上周帮朋友清理手机。相册里那个“AI消除路人”的功能，他用了大半年，我随手点开设置——离线可用。他愣了一下：不联网也能修图？那这玩意儿是住在手机里的？
是。而且它住得特别局促。挤。憋屈。跟一个原本该住三居室的家伙，被硬塞进了一个行李箱。
这就是模型压缩要解决的事。
那些模型，到底胖在哪儿
先说个前提。一个AI模型，本质上一大堆数字。几十亿个，几百亿个。每个数字都得存下来，算的时候还得读出来。
存一个数字，常见是16位或者32位浮点。听着挺少的对吧。可你乘一下——几十亿乘四字节，这不是几十亿，是好几个GB，十几个GB。这还没算跑起来需要的临时空间，那玩意儿是成倍往上翻的。
我见过有人跑模型报显存不足。他第一反应是代码写错了，翻来覆去查了一下午。其实什么事都没有，就是装不下。模型太胖，房间太小。
有点像搬家。你所有家当都堆在客厅，想出门拿个钥匙，得先把整座山挪开。
瘦身的三条路，说穿了都不神秘
剪枝。神经网络里有很多连接，权重小到几乎没什么意义。砍掉它们，网还在，只是稀疏了。像一棵树，枯枝剪了照样长。
量化。把32位浮点换成8位整数，甚至4位。数字表示变粗糙了。原来能写到小数点后七八位，现在只能记到个位。粗是粗了，但快很多，小很多。
蒸馏。让一个小模型，去学一个大模型的输出。大模型像老师，小模型像学生。学生不用理解老师脑子里那套逻辑，只要模仿老师给的答案分布，慢慢也能学个七七八八。
是不是有点作弊的意思。还真不是。这套东西在工业界已经跑了快十年了。
一个常见的误解：压缩不是“无损打包”
总有人以为模型压缩像压个zip。解压回来一模一样，只是占地方少点。不是这么回事。
量化是有损失的。你把一把精确到毫米的尺子，换成刻度只有厘米的——量桌子还行，量一根头发丝就不行了。
所以做量化的人，最头疼的从来不是“怎么变快”，是“哪些层不能碰”。有些层特别娇贵，一压就崩。第一层和最后一层常常要留着高精度。中间那些反倒皮实。
还有个事容易被忽略：压完之后，模型有时候不是“变笨”，是“变怪”。回答突然变得特别啰嗦，或者某一类问题死活答不对。这种退化，跑个平均分根本看不出来。
所以我挺不待见那种“压缩后精度只掉了零点几个百分点”的说法。平均分不掉，不代表你真正关心的那类问题没塌。
你其实天天在用它，只是不知道
手机相册的人物抠图。输入法的联想。相机的夜景降噪。语音转文字。
这些活儿背后，都有压缩过的模型在干活。
端侧跑模型，约束特别死。功耗、发热、内存，还有隐私——很多场景根本不想把你的照片传到云端去。那怎么办，只能把模型塞进手机里。
云端那边其实也一样。不是只有手机才想省钱。一次推理少用一点算力，乘上每天几十亿次请求，那就是一座发电厂的差别。
踩过的坑：别一上来就问能压到几bit
见过太多人开口就是，这个模型能压到几位。
这问题本身就有毛病。
你得先知道瓶颈在哪儿。是模型文件太大装不进设备？是推理太慢？还是内存峰值爆了？这三个问题的解法完全不一样。
文件大——量化收益最直接。推理慢——有可能是算子没优化好，量化救不了你。内存峰值炸了——有时候是中间激活值的事，跟权重量化关系不大。
先测，再动手。靠眼睛猜，最后大概率白忙一场，还觉得自己做了很多事。
我自己的习惯是，先把原始模型老老实实跑起来，记下速度、内存、还有三类典型问题的表现。压完拿这三组数字对着比。不这么干，你会陷入一种很难受的状态：好像快了，但说不清到底是哪里变差了……
说到底，压缩是一门取舍的手艺
模型不是越大越好，也不是越小越好。
它是一笔预算。你有多少内存，多少电，多少延迟能忍，多少精度不能丢。压缩就是在这几项之间来回找平衡。
跟出门旅行收箱子一个道理。想带的东西永远比箱子能装的多。你不是把衣服都剪短了，你是想清楚这趟到底要干嘛。
所以下次你手机上某个功能，离线也能用，反应还挺快——那背后大概率站着一个被反复瘦过身的小模型。它没原来那个聪明，但它刚好够用。而且，它就在你手边。
挺了不起的。