绿荫在线
文明满屏

扩散模型到底在扩散什么?从一张糊成马赛克的照片说起

糊照片能救?先看它怎么被“撒沙子”

前几天朋友发来一张照片。糊。特别糊。像隔着毛玻璃看火锅。他问,这种还能救吗?我说能,但我更想聊它为什么能——这背后站着一类东西,叫扩散模型。 别急着想公式。你先想象一张清楚的照片。然后有人往上撒沙子。撒一点,照片还能认。再撒一点,轮廓开始晃。继续撒,撒到只剩一片电视雪花。这个“从清楚到全糊”的过程,在扩散模型里叫前向加噪。 关键来了。它不是随便撒一次就完事,而是一步一步、很多很多步地撒。每一步都只加一点点噪声。最后,原始图片几乎被噪声吞掉。你看到的就是一团随机像素。
扩散模型前向加噪反向去噪流程图 手绘笔记风格
扩散模型前向加噪反向去噪流程图 手绘笔记风格
那生成图片呢?把这个过程倒过来。从一团纯噪声开始,问模型:这里面藏着一张什么图?模型说不知道,但它能猜——这一步的噪声长什么样。然后擦掉一点点。再猜。再擦。重复几十次、几百次。最后,噪声退得差不多,一张图就浮出来了。 听起来像变魔术?其实更像雕刻。一块石头,先看不出形状。凿一下,再凿一下。不是一锤子就变出人像。

它学的不是画图,是“擦掉自己撒的沙子”

很多人第一次听扩散模型,会以为模型在学“猫长什么样”“人脸怎么画”。更准确的说法是:它在学怎么预测噪声。 训练时,人类给图片加噪声,并且知道每一步加了多少、加在哪里。模型看到一张被弄脏的图,要猜出这层脏东西是什么。猜对了,参数就改一点。猜错了,也改一点。反复几百万次、几千万次,它慢慢学会一件事:哦,这种颗粒感大概来自哪一步,那种模糊大概该怎么减掉。 所以生成的时候,它并不是从数据库里翻出一张图。它是在一团随机噪声里,一步步减去自己认为的噪声。每一步都只去掉一部分不确定性。 这里有个容易绕晕的点。模型预测的是噪声,不是直接输出“最终图片”。但当你把预测的噪声从当前图里减掉,就得到一张稍微干净一点的图。再把这个结果喂回去,继续减。循环。 这就像房间太乱。你不是一秒变整洁,而是先捡地上的衣服,再收桌上的杯子,再擦灰。每一步都不完美,但方向对。

为什么它比GAN好使?也别急着封神

早几年火的是GAN,生成对抗网络。一个网络负责造假,一个网络负责鉴别。互相卷。卷到最后,造假那个能画出很像真的图。问题是,它难训。有时候会崩。有时候生成来生成去都是同一张脸,这叫模式崩溃。 扩散模型不一样。它的训练目标更稳:预测噪声。没那么多猫鼠游戏的拉扯。生成质量也常常更细腻。 但代价呢?慢。真的很慢。早期扩散模型生成一张图,可能要跑几百上千步。你按一下按钮,去泡碗面,回来还没好。后来有了各种加速采样方法,比如DDIM,还有把过程搬到更小空间里的潜空间扩散。这才让普通人能在自己电脑上玩起来。 所以别把它当魔法。它更像一个特别有耐心的修图师。修得细,但手速一开始不快。
Stable Diffusion潜空间文本生成图像架构示意图
Stable Diffusion潜空间文本生成图像架构示意图

你输入的提示词,到底被拿去干了什么

现在最出圈的玩法是文生图。你打一句“一只穿西装的猫,站在雨夜便利店门口”。几秒后,图出来了。 这中间发生了什么?简单说,文字被编码成一种机器能理解的向量。这个向量会参与去噪过程。每一步,模型都回头看一眼你的文字条件:现在这张噪声图,往“穿西装的猫”那个方向擦,还是往“雨夜便利店”那个方向擦? 现在很多开源模型,比如Stable Diffusion,不会直接在原图像素上折腾。它先把图片压缩到一个更小的潜空间。你可以理解成,把一张大图塞进一个更省空间的抽屉。去噪在抽屉里完成,最后再解码回正常图片。这样省算力,也省显存。 文本条件怎么进去?靠类似交叉注意力的机制。别被词吓到。你可以想成模型在每一步都问一句:我的提示词里,哪个词现在最该管用?是“西装”?是“猫”?还是“雨夜”? 所以提示词不是命令,更像给修图师递的一张便签。写得太空,他就自由发挥。写得太矛盾,他也可能左右为难。

几个容易想歪的地方

第一,它不是把网上的图切碎了再拼。至少不是简单拼贴。它学到的是某种统计规律和去噪方向。但训练数据当然会影响它。数据里猫多,它画猫就顺手。数据里偏见多,它也可能把偏见吐出来。 第二,同一句提示词,每次结果不一样。因为起点是随机噪声。随机种子不同,最后走向就不同。这跟人类画家每次落笔不同有点像。 第三,它不是在“还原真相”。如果你给一张糊照片,让它变清晰,它做的其实是猜。猜得很有章法,但没拍到的细节,它不知道。它可能给你一张清晰的脸,但那张脸不一定是原来那个人。 第四,扩散模型不只会画图。音频、视频、3D、分子结构,都有人在用类似思路做生成。核心还是那件事:加噪,学去噪,再从噪声里一步步往回走。

留个怪问题

留个怪问题
留个怪问题
有时候我会想,人类画画是不是也在去噪?脑子里先有一团模糊的感觉。然后一笔一笔,把不确定的东西减掉。画错了,覆盖。画偏了,调整。最后留下的,不一定是最初那个念头,但至少是能看见的东西。 扩散模型也是。它从一团噪声出发,每一步都在减少不确定性。它不懂美,也不懂猫,更不懂雨夜便利店。它只是学会了一个很窄、但很有用的本事:预测噪声,然后擦掉一点。 下次你再看到一张图从马赛克里慢慢浮出来,可以想想这个过程。不是魔法。是一遍又一遍地猜,一遍又一遍地擦。 擦得多了,图就来了。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:扩散模型到底在扩散什么?从一张糊成马赛克的照片说起
文章链接:https://www.lylxb.com/tech/1135.html