视频生成 · 扩散模型 · 高效 AI

Echo-Infinity 对比 MIGA:无限长视频生成的两条路线

Echo-Infinity 学一个固定大小记忆:24 小时超 130 万帧、H100 上 18.5 FPS;MIGA 免训练只改采样器,VBench 97.82、1000+ 帧恒定显存。

Echo-Infinity 对比 MIGA:无限长视频生成的两条路线

共同的问题:视频会忘了自己从哪出发

每个自回归视频模型都在短片段上训练,滚过训练长度后无一幸免:主体变形、背景漂移、物理规律悄悄改主意。本页对比的两篇论文从成本谱系的两端解决这个问题,放在一起读才有意义。Echo-Infinity 一次性付出训练成本,学「该记什么」;MIGA 训练成本为零,改的是采样器,让一个冻结的短视频模型直接流出 1000 帧以上。

它们回答的也是两个不同的运营问题。Echo-Infinity 面向交互:模型边跑边接收动作或新提示,必须以人能玩的帧率保持数小时的连贯。MIGA 面向成片长度:把你现有的视频扩散模型拉长,不重训。两者都宣称「恒定显存」,都报了 VBench 家族的分数,但数字落在不同的基座和不同的评测 regime 上。下面讲清楚什么才真正可比。

两者各自的原理

Echo-Infinity:学出来的固定大小记忆。 自回归视频扩散模型要 attend 历史,而历史无限增长。此前的无限视频方法用固定规则裁剪历史:KV 缓存窗口、固定压缩比、推理时拉伸 RoPE。Echo-Infinity 用一小组可学习的 Memory Query token 替换规则:一帧离开局部注意力窗口时,它的信息经注意力加门控折进这些 query,query 因此携带至今全部内容的压缩摘要,并随扩散 Transformer 端到端训练。记忆是定长 token 集,所以任意长度下每帧计算量恒定,且由模型自己学哪些历史该过滤、抽象、压缩。配套的 Unified Relative RoPE Recipe 锚定 sink 帧、把帧号增长压在基座预训练的最大位置 id 以内,消除了自回归滚动最常会撞上的 RoPE 外推失败。

MIGA:对齐冻结模型所见分布的采样器。 FIFO-Diffusion 这类滑窗采样器本来就能免训练地流出长视频:对一个噪声级别交错的帧队列做去噪。坑在训练与推理的错位:基座模型训练时见到的帧共享同一噪声级别,滑窗喂给它的是混合分布,质量随之退化、画面漂移。MIGA 加两个免训练机制:两阶段训练-推理对齐先在窄窗口(论文最优宽度 4 帧)内做之字形迭代去噪,把各帧拉向共享噪声级别,再做统一噪声级别去噪,对齐训练分布;双重一致性增强加入自反思步骤,让模型在采样中复查并修正自己的预测,外加长程帧引导(最优 6 帧)把新帧锚到早期内容上。全程不动权重,所以能跨基座迁移。

关键数字

测量项Echo-InfinityMIGA设置与出处同一套评测?
头部分数VBench 总分 85.35(5 秒);VBench-Long 30 秒 85.61VBench 总分 97.82(128 帧)基座、片长、VBench 版本全不同否
长程质量VBench-Long 240 秒 82.01;语义 59.53NarrLV 场景 79.32 / 目标属性 67.87 / 目标动作 67.94(Wan2.1-1.3B)长程 regime,基准不同否
一致性(未单列)主体 97.66、背景 96.99;对 FIFO 各 +4.7%、+2.0%MIGA 自己的 VBench 轮次是,MIGA 内部
速度单卡 H100 18.5 FPS非卖点;采样器每帧增加之字形、自反思、引导计算Echo 对同类记忆方法部分
速度参照LongLive 20.7、MemFlow 18.7、Memorize-and-Generate 21.7 FPS不适用竞品与 Echo 只差几 FPS是,Echo 内部
演示最大长度24 小时实时滚动超 130 万帧1000+ 帧稳定性演示对实际成片长度否
显存增长定长 Memory Query,每帧计算恒定滑窗恒定显存两者都宣称恒定是,各自成立
内部消融(页面未报)仅 TTA +2.03、仅 DCE +1.73 总分MIGA 消融,两半都承重是,MIGA 内部
展示的基座一个 AR 视频 DiT 家族VideoCrafter2(16 latents)、Wan2.1-1.3B(21 latents)MIGA 展示了跨基座迁移不适用

前两行先读缺什么。MIGA 的 97.82 和 Echo-Infinity 的 85.35 都是「VBench」,很容易读成 97.82 更好。两者不可比:MIGA 的分数来自 128 帧 VideoCrafter2 生成、用标准 VBench 套评测,其中一致性子项对所有方法本来就都在 95 分以上;Echo 的 85.35 是 5 秒短片分数,真正属于本页主题的数是 240 秒的 VBench-Long 82.01。一个在 128 帧拿 97.82 的模型并不「领先」于在 240 秒守住 82.01 的模型,两个数描述的是离起始帧不同的距离。跨论文诚实的主张要窄得多:两者都比各自的无干预基线更久地守住了质量,且各自在自己的评测套内证明了这一点。

两篇论文各自真正的主张

来自 Echo-Infinity 的主张关于持续滚动。24 小时、130 万帧的演示是稳定性与吞吐量的结果,论文自称首次;速度故事刻意谦虚:H100 上 18.5 FPS 与 LongLive(20.7)、MemFlow(18.7)、Memorize-and-Generate(21.7)同一区间。差异点在于可学习记忆让 VBench-Long 在 240 秒仍保持 82.01,而固定调度缓存会漂移。论文自己的长程语义分是诚实的保留:240 秒 59.53 对 5 秒 81.49,视觉质量守得比语义久。

来自 MIGA 的主张关于入场成本。它不是训练更好的视频模型,而是让你现有的模型在恒定显存下流到 1000 帧以上不崩:对 FIFO-Diffusion 的 VBench 提升约 2.8 分(97.82 对 95.02),对 FreeLong 不到 1 分(96.95)。消融是诚信检查:仅 TTA +2.03、仅 DCE +1.73,方法的两半都在承重。Wan2.1-1.3B 上的 NarrLV(67.87 目标属性、67.94 目标动作)是诚实的保留:画面稳了,叙事语义仍停在 60 大几。

怎么选

  • 已有好用的短视频检查点、只要更长的成片:MIGA 是更便宜的路径。不重训、不新增权重,至少跨两个基座家族可迁移,一致性收益(对 FIFO 主体 +4.7%、背景 +2.0%)来自可独立开关的采样器改动。
  • **要实时交互、不只是一个长文件:**Echo-Infinity 为此而生:单卡 H100 18.5 FPS、每帧计算恒定,论文还在 60 秒交互 regime 下评测(质量 81.71、CLIP 34.10)。这是游戏、仿真器、具身滚动需要的画像。
  • **完全不能训练:**两者里只有 MIGA 可选;Echo-Infinity 的记忆 query 是随骨干端到端训出来的。
  • **关心一分钟之后发生什么:**两篇都没解决语义。Echo 自己的语义分从 5 秒 81.49 掉到 240 秒 59.53,MIGA 的叙事属性分停在 60 大几。用例需要长程故事连贯时,要给回访式评测留预算,不能只看 VBench。
  • **选型轴上还有流式这一维:**如果真实约束是直播流式每段延迟而非总长度,Stream-T1 这类测试时扩展方法是值得先基准测试的相邻选项,再决定是否上无限长设计。

局限与存疑

没有人把这两种方法放进同一套 harness,所以「学出来的记忆对免训练对齐」还没有共享基准答案。Echo-Infinity 的数字来自单一家族的骨干,学出来的压缩在硬切镜或分布外场景变化、超长滚动下没有表征;它的 24 小时主张证明的是吞吐与稳定,不是小时级语义连贯,而 VBench 家族根本不测这个。MIGA 继承基座模型的全部弱点,且每帧增加采样器计算,「恒定显存」不等于免费:之字形去噪、自反思、引导帧的 wall-clock 成本不是论文卖点,部署前值得实测。两篇都在各自的基座、各自的分辨率上评测,上面这张表的每一行才都标了可比性。两篇留下的是同一个开放问题:什么记忆设计能让语义(不只是像素)在小时级尺度上稳定,两篇论文里的基准都答不了。

常见问题

两篇的 VBench 分数能直接对比吗?

不能。MIGA 的 97.82 是 128 帧 VideoCrafter2 生成在标准 VBench 套上的得分,其中一致性子项对所有方法本就在 95 分以上;Echo-Infinity 的 85.35 是 5 秒分数,其长程对应值是 240 秒 VBench-Long 的 82.01。基座、片长、套件版本全不同,两个数描述的是不同 regime,不是排名。

哪种方法生成的视频更长?

按演示规模是 Echo-Infinity:24 小时实时滚动超 130 万帧。MIGA 演示到 1000+ 帧,已覆盖多数实际长片需求。两个演示的含义也不同:Echo 证明实时交互下的稳定性,MIGA 证明冻结的短视频模型可以被推过训练长度而不重训。

Echo-Infinity 如何让每帧成本保持恒定?

靠一小组定长的可学习 Memory Query token。帧被淘汰时经注意力加门控折入 query,历史是被摘要而不是被存储,每帧计算量不随片长增长。配套的 Unified Relative RoPE Recipe 把帧号增长压在基座预训练的最大位置 id 以内,避免外推失败。

MIGA 需要任何训练或微调吗?

不需要。它纯是采样时干预:两阶段训练-推理对齐加双重一致性增强,不动任何权重。所以它能跨 VideoCrafter2、Wan2.1-1.3B 等基座迁移,消融(仅 TTA +2.03、仅 DCE +1.73)也能各自独立开关。

什么情况下该选流式方法而不是这两者?

如果约束是直播流式每段延迟而不是总长度,流式测试时扩展这一相邻家族更值得先 benchmark。无限长记忆和每段速度是两个相关但独立的问题,一个轴上的强项说明不了另一个轴。