扩散模型 · Transformer · 文生图
MV-Split 对比 DAR:修好扩散 Transformer 的残差流
两篇论文同指残差流从未为扩散设计:MV-Split 治深层塌缩(1000 层 FID 2.77),DAR 治幅值膨胀(FID 9.67 降到 7.56,迭代仅 1/8.75)。
共同的问题:语言模型零件装进了扩散模型
DiT 之后的图像和视频生成器,架构几乎都是从 NLP 原样搬来的:x = x + sublayer(x) 的残差相加、PreNorm、LayerScale,全是二手件。2026 年的两篇论文测量了这套继承来的管线,发现它在语言模型里从没暴露过的失灵方式:扩散要在几十个噪声水平上复用同一个网络,而图像 DiT 正在被推到语言模型很少尝试的深度。
MMS(均值模式尖叫)打的是深度轴:超过几百层,图像 DiT 悄悄停止变好或直接崩,而且一直没有一个有名字、有机制的解释。DAR(扩散自适应路由)打的是常规深度下的扩散轴:哪怕只有 28 个 block 的 SiT,也有语言 Transformer 不会出现的病理,因为从没人替「在多个噪声水平上运行的模型」重新审视过残差相加。
两篇都是先诊断、后动刀。这正是它们值得一起读的原因:各自独立抵达「继承来的残差流是扩散 Transformer 里的错误对象」,然后修的是它两种不同的坏法。
先定位一下:两个模型服务的去噪形式化比这两个修复老得多,可以追溯到 DDPM——分数匹配训练循环就是这一整族模型继承下来的。新的不是扩散过程,而是它内部的 Transformer 管线。
失灵模式一:深度一上来,均值就接管
MMS 的机制在塌缩类论文里少见地具体。注意力图是行随机的:softmax 矩阵每一行加和为 1。这个性质会保留序列的纯 token 均值分量,却压制去均值的 token 间变化。层数越堆,去均值分量乘性缩小,token 表示趋于同质,深层里 token 间余弦相似度逼近 1.0。一旦对齐,softmax 雅可比的零空间抹掉查询/键梯度,注意力学不动,网络锁死在均值主导态。
诊断附带两个可测特征。塌缩是尖锐事件而非缓慢漂移:残差写入梯度范数在进入该态那一刻陡然飙升,这就是「尖叫」的由来。作者还拟合出对齐-放大律:梯度放大随 token 对齐度标度,注意力与 FFN 写入器的拟合 R 方都超过 0.9,发散事件处放大约达 13 倍。
标准稳定器修不了它,因为两者被一视同仁地对待:LayerScale 用同一个逐通道标量等比例缩小均值相干分量和去均值分量,压住失控均值模式的同时,也把有用的信号一并压死。这就是深层 DiT 在 LayerScale 下历史上「莫名其妙就发散」的原因。
失灵模式二:前向膨胀,反向挨饿
DAR 作者在 SiT-XL/2 的 28 个 block 上测出三个病理,全都不需要极端深度。其一,前向幅值膨胀:加法式残差流的范数随深度累积增大,而 PreNorm 归一化每个 block 的输入,越深的 block 实际拿到的输入越被稀释,训练不足。其二,反向梯度急剧衰减:同样的累加在反向传播里让早期层挨饿,传到底层的梯度迅速变小。其三,block 间冗余:相邻 block 最终算出近乎重复的更新,浪费了 28 层模型本该用来学不同特征的容量。
时间步维度让这成为扩散特有的问题。同一个网络在高噪声的早期步和接近干净的后期步上运行,但静态残差强迫每个噪声水平用完全相同的信息路由。DAR 把「相加」换成对历史子层输出的可学习、随时间步自适应的加权聚合:聚合是非增量的,block 可以下调甚至跳过早期贡献,而不必被迫扛着累积幅值往前走;路由权重随时间步自适应,高噪声步和近干净步可以用不同的路由。
关键数字
| 测量项 | MV-Split(MMS) | DAR | 设置与来源 | 同口径? |
|---|---|---|---|---|
| 首要目标 | 几百层以上不塌缩地训练 | 常规深度下压 FID 和迭代数 | 两篇各自的定位 | 目标不同 |
| 验证深度 | 400 层与 1000 层 | 28 block(SiT-XL/2) | 各自的头条设置 | 否 |
| ImageNet 256 FID | 2.60(400 层)、2.77(1000 层) | 7.56,基线 9.67 | MMS:自有 DiT、latent、50k 步;DAR:SiT-XL/2 静态配置 | 否,不可互比 |
| ImageNet 256 IS | 185.5(400 层)、217.3(1000 层) | 我们的解读页未报告 | MMS,latent 设置 | 否 |
| 同设置基线 | LayerScale 400 层:同检查点 FID 2.90、IS 165.5,且未跑完即发散 | SiT-XL/2 普通残差:FID 9.67 | 各自的内部对照 | 各论文内部同口径 |
| 训练效率 | 不是主张;稳定性才是 | 迭代量为基线 1/8.75 追平收敛质量;叠 REPA 早期约 2 倍加速 | DAR,FID-迭代曲线 | DAR 论文内部同口径 |
| 机制证据 | 去均值梯度带比 LayerScale 高 2-3 倍;放大律 R 方 > 0.9,发散处约 13 倍 | 三个实测病理:前向膨胀、反向衰减、block 间冗余 | 各自的诊断 | 无共同度量 |
最重要的一行写着「不可互比」。MMS 的 2.60 和 DAR 的 7.56 都是 ImageNet-256 的 FID,但骨干、像素对 latent 的设置、训练预算全不同。谁拿其中一个压另一个,就是同时误读了两篇论文。
每篇论文找到了什么、该怎么改变你的做法
来自 MMS:深度扩展曾是 Transformer 唯一推不动的轴,而原因是一个有名字、有机制的失效模式,不是什么玄学的「优化变难」。修复便宜且有针对性:MV-Split 把残差的均值相干分量与去均值分量分开走各自的可学习逐特征增益,均值子空间走漏积分器路径抑制失控模式,去均值子空间保留标准残差路径。它只增加逐特征增益,在同深度维持比 LayerScale 高 2-3 倍的去均值梯度带。实际读法:如果你的 DiT 路线图里有几百层,障碍已除;1000 层是稳定性证明而非质量纪录,因为它自己的 FID(2.77)略逊于 400 层(2.60)。
来自 DAR:常规深度 DiT 的收敛质量,一直在为一次路由修复就能省回的迭代买单。静态变体用固定可学系数、不做时间步条件化,就拿下头条 FID 提升,推理几乎零成本,这也是从业者该先评估的配置。8.75 倍迭代缩减是对照基线最终质量在 FID-迭代曲线上量的,属于早中期训练的对比,不保证优势能一路保持到很长的完全收敛训练。
两篇的分歧与共识
共识是前提:加法式残差流是为语言模型调的,从没为扩散重新推导过,一测量就露出真病理。隐含的分歧在于哪个病理才是瓶颈:MMS 说去均值信号随深度死亡,所以用分离增益救它;DAR 说累积幅值本身就是问题,所以别累积了,改路由。两种修法并不矛盾——路由层原则上可以像 MV-Split 的增益那样在均值与去均值模式间分配。两篇都没测过这个组合。
科学姿态也不同。MMS 领先的是一个可证伪的律(对齐预测放大,R 方拟合超过 0.9)和在基线根本无法运行的极端深度上的稳定性演示;DAR 领先的是一个工程数字(迭代 1/8.75),建立在基线被充分刻画的常规架构上。MMS 告诉你深层 DiT 为什么死,DAR 告诉你它们活着时残差一直在收你多少税。
怎么选
瓶颈是深度,就用 MV-Split:视频 DiT 和高分辨率级联正是被往几百层堆的模型,也正是 LayerScale 类稳定器一直在悄悄失效的地方。瓶颈是常规深度下的算力,就用 DAR:如果你在预训练一个 20 到 30 个 block 的 DiT、FID-迭代曲线就是你的预算,静态 DAR 是在加数据或换采样器之前值得先试的即插改动。两者都不是你的场景,两篇论文依然值得做一次审计:量一量自己模型里 token 余弦相似度随深度的变化,量一量前向范数增长和浅层梯度幅值。诊断可以迁移,即使具体药方不通用。
局限与存疑
MMS 的 1000 层模型在 FID 上并没有赢过自己 400 层模型,所以深度主张是关于稳定训练,不是免费质量;深度在这些规模上到底买不买得来好处,仍是开放的实证问题。它的 ImageNet-256-latent、50k 步设置也离前沿文生图训练很远,那边数据分布和条件化方式都会改变图景。
DAR 的头条效率因子是早中期训练的对比,最强结果集中在单一架构家族(SiT)且以 FID 为指标;FID 奖励分布匹配,感知质量没明显变化时也会移动,所以这一增益需要在更高分辨率和人类偏好上再确认。动态、随时间步条件化版本的开销,是采用前要细究的那个细节。
对两篇共同的检验是:修复都在 DiT 式骨干内评估,同样的病理在图像与文本 token 交错的统一多模态 Transformer 里是否同样要命,正是下一代架构要回答的问题。
常见问题
能把 DAR 的 FID 7.56 和 MV-Split 的 2.60 直接比吗?
不能。数字来自不同骨干(SiT-XL/2 对 MMS 自有 DiT)、不同输入设置(像素对 latent)、不同训练预算。能比较的是各论文内部的增量:DAR 对自家 9.67 基线,MV-Split 对同检查点的 LayerScale 对照。
为什么 LayerScale 失败了而 MV-Split 成功了?
LayerScale 用同一个逐通道标量等比例缩小均值相干分量与去均值分量,压住失控均值模式的同时也把 token 间变化压死。MV-Split 给两个分量各自的增益,一边抑制均值模式,一边保住去均值路径,这正是同深度下去均值梯度带能维持高 2-3 倍的原因。
常规深度的 DiT 上最便宜的第一步试什么?
DAR 的静态变体。它用固定可学路由系数、不做时间步条件化,拿下头条 FID 提升,推理几乎零成本。动态变体用路由开销换时间步自适应性,采用前先量这笔开销。
1000 层 DiT 创下 ImageNet FID 纪录了吗?
没有,论文自己也很坦诚:1000 层模型 FID 2.77,略逊于 400 层 MV-Split 的 2.60。主张是训练到这么深现在稳定了,不是单靠深度就能出更好的图。
两个修复能叠加吗?
没人验证过。它们诊断的是同一残差流的不同病理,一个既随时间步自适应、又分离均值与去均值分量的路由层是合理的组合方向,但两篇都没测。把叠加当作研究假设,别当成已成立的结论。