Cosmos 3 对比 OmniDreams:NVIDIA 世界模型的两条路线
Cosmos 3 用一套开源权重统吃语言、图像、视频、音频和动作;OmniDreams 是 Cosmos 系驾驶模拟器,单卡 68 FPS,闭环事故率从 10.1% 降到 4.7%。
两篇论文在回答同一个问题
2026 年 6 月的两天里,NVIDIA 连发两个设计赌注完全相反的世界模型。Cosmos 3 是通才:一个开源模型,在单一 mixture-of-transformers 架构里读写语言、图像、视频、音频和机器人动作。OmniDreams 是专才:从更早的 Cosmos-Predict 2.5 扩散模型蒸馏而来的生成式驾驶模拟器,一直压到能以帧率驱动闭环自动驾驶栈。
两篇都自称 Physical AI 世界模型,都不算吹牛。区别在于各自牺牲了什么。Cosmos 3 拿单项专注度换一份权重覆盖五种模态;OmniDreams 拿广度、摄像头数和开放性换单卡 68 FPS。放在一起读,才能回答那个实际问题:别人说”上世界模型吧”,他要的到底是这两个里的哪一个。
Cosmos 3:一份权重,五种模态
Cosmos 3 把语言、视觉、音频和动作 token 路由给不同的 transformer 专家,但共享同一条联合序列,所以任意输出都能以任意输入组合为条件。文生图、图生视频、视频加指令出动作、世界模拟,全都变成同一张网的不同路由,而不是四个产品。动作模态是它之所以能进机器人榜单的原因:给像素和指令,它输出下一步动作。
按 NVIDIA 发布时的口径:Artificial Analysis 上最强的开源文生图和图生视频模型,以及 RoboArena 榜首的策略模型。开放程度在 2026 年也算罕见:checkpoint、训练数据、评测基准全部按 OpenMDW-1.1 放出,不只是权重。294 位作者的署名说明这是组织级工程,不是小组原型。
诚实的读法:摘要以榜单名次开头,而不是参数量或消融,所以统一化的确切代价从摘要本身看不到;且”最强开源”的名次随对手发布月月变动。五模态骨干在只需要一种任务时,运行成本也比专才高。
OmniDreams:把 Cosmos 压成实时驾驶模拟器
OmniDreams 不与 Cosmos 3 竞争,它把同一条谱系往另一个方向压到底:压出一个机器人界真正需要的数字,每秒帧数。底座是 Cosmos-Predict 2.5,一个预训练扩散视频模型。OmniDreams 先用 2.1 万小时真实驾驶日志做 mid-train(RDS 数据集:300 万段 20 秒片段,外加精选的 114 万段 RDS-HQ-1M,覆盖 15 国),再用 Diffusion Forcing 加因果掩码让每帧只看过去,用 Self Forcing 和 Distribution Matching Distillation 蒸成 2 步生成器,配固定大小的滚动 KV cache 支撑任意长 rollout。
何必费这个事?像 NuRec 这样的重建式模拟器在回放已采集轨迹时确实很清晰,但它外推不了:开出采集轨迹之外、塞进没录过的物体、调出罕见天气,它就退化或拒答。生成式模拟器能合成这些场景,代价是长 rollout 会漂移。
论文里的关键数字:单视图 2B 模型在单张 GB300 上 118 毫秒出 8 帧,约 68 有效 FPS(704x1280);四视图版要到 105 FPS 每路摄像头需要 16 卡 GB300 机柜,单卡跑同模型只有约 12 FPS。蒸馏后的 Self-Forcing 模型在 RDS-HQ-1M 上 FVD 24.8,低于双向教师的 26.8 和多步因果模型的 31.7,在合成帧上跑下游 3D 检测(LET-AP 0.400)和车道线 F1(0.828)也是最好。20 秒长 rollout 上,渐进式长上下文教师把平均分段 FVD 从 240.0 降到 179.4,但质量仍逐段下滑:前 5 秒 95.5,后 5 秒 268.4。闭环仿真里只换传感器模拟器(501 个场景),OmniDreams 方案的 All Incidents 是 4.7%,完整 Alpamayo 1.5 是 10.1%,双摄像头变体 20.9%,单摄像头变体 51.9%。当策略用(574 个场景)时,从 OmniDreams 后训练出的 World-Action Model 把碰撞率从 6.9% 降到 4.2%,参数量约 2B 对约 10B,作者自己标注这是初步结果。
关键数字对照
| 维度 | Cosmos 3 | OmniDreams |
|---|---|---|
| 定位 | Physical AI 通用全模态世界模型 | 自动驾驶专用生成式模拟器 |
| 架构 | 五种模态共享的 transformer 专家混合 | Cosmos-Predict 2.5 扩散,因果化后蒸成 2 步生成器 |
| 模态 | 语言、图像、视频、音频、动作 | 多路驾驶摄像头视频,以文本、场景地图、驾驶动作为条件 |
| 实时目标 | 不是重点;生成加策略上榜 | 全部意义所在:单卡 68 FPS 单视图;四视图 105 FPS 需 16 卡机柜,单卡 12 FPS |
| 生成质量 | 发布时 Artificial Analysis 最强开源文生图/图生视频(NVIDIA 口径) | FVD 24.8 对教师 26.8、多步因果 31.7;LET-AP 0.400;车道线 F1 0.828 |
| 长程表现 | 摘要未报告 | 渐进教师把 20 秒分段 FVD 从 240.0 降到 179.4;前 5 秒 95.5 对后 5 秒 268.4 |
| 闭环结果 | 发布时 RoboArena 榜首策略(NVIDIA 口径) | 换模拟器后事故率 4.7% 对 Alpamayo 1.5 的 10.1%;WAM 碰撞率 6.9% 降到 4.2% |
| 训练数据 | 摘要未逐项列出;权重、数据、基准全放 | 2.1 万小时驾驶日志;300 万片段加 114 万精选片段,15 国 |
| 开放程度 | OpenMDW-1.1:checkpoint、数据、基准 | 无公开代码和权重;依赖 Cosmos 与内部 AlpaSim/Alpamayo |
| 硬件门槛 | 一份骨干同时做感知、生成、动作 | 68 FPS 要一张 GB300;多摄像头帧率默认 16 卡 GB300 机柜 |
每行各带一句提醒:OmniDreams 的质量和闭环数字全部是内部同口径对比,且闭环测试把策略节流在模拟器 533 毫秒的出块速率上,不是完整 10 Hz 策略;Cosmos 3 的名次是发布日对开源对手的站位,是会过期的资产。
两篇论文在哪里达成一致
两篇都拒绝”世界模型就是更好看的视频生成器”这个说法。Cosmos 3 把动作模态花在机器人策略上;OmniDreams 把全部架构预算花在因果性上,好让驾驶策略能一步步走进去。两者里,世界模型存在的意义都是预测动作的后果,这正是把它和多模态聊天模型区分开的定义,世界模型 vs LLM 里有更宽的展开。
两篇也各自用不同的单位承认同一个弱点。Cosmos 3 的摘要只有名次没有消融,统一化的单项代价不可见;OmniDreams 直接量出自己的漂移,20 秒 rollout 末尾比开头差出近三倍 FVD。长程可靠性是两篇都没付清的账单。
怎么选
要通用 Physical AI 骨干,也就是一个机器人栈需要同一套权重同时做感知、视频生成和动作,还要开放数据和基准可建,选 Cosmos 3。它的价值在跨模态一致性和开放的彻底程度,而不是每个专才榜都第一。
要 AV 闭环仿真,且现有重建式模拟器撞上了外推墙(偏航、注入罕见事件、没见过的天气),选 OmniDreams。生成式仿真在那里已经是可选项而不是 demo,前提是硬件预算够 GB300 级机柜的多摄像头帧率。
两边硬件都够不着的话,Kairos 是光谱上的第三个点:4B 原生世界模型栈,单张 RTX5090 上 11.4 秒生成一段 480P rollout,PAI-Bench 拿到 80.84。它比 Cosmos 3 小、也比它窄,但小团队真能跑、真能改的就是它。
两个 FPS 数字别互相串用:105 FPS 必须带着 16 卡机柜一起报,单卡跑四视图只有 12 FPS。World-Action Model 的结果,也就是 2B 模型在碰撞率上赢约 10B 的 VLA,按作者的态度读:一次初步的留出集扫描,不是已验证的生产替代。
局限与存疑
Cosmos 3 的局限是证据形状的:摘要里没有参数量和消融,五模态统一的代价单凭论文定价不了,榜单名次折旧很快。OmniDreams 的局限是结构性的:无公开代码权重;长 rollout 漂移没有任何教师能完全消掉;闭环评测拿 NuRec 回放当真实世界的替身,rollout 偏离采集轨迹越远越靠不住。这样训出的 World-Action Model 能否泛化出 NuRec 评测集,作者明说未知。
两篇放在一起提出的开放问题:如果把 Cosmos 蒸馏成因果 2 步模拟器,能在驾驶上买到 68 FPS 加 FVD 24.8,同样的处理对 Cosmos 3 里另外四种模态能买到什么?这个数字还没人发表。
常见问题
OmniDreams 就是 Cosmos 3 吗?
不是。OmniDreams 建自更早的 Cosmos-Predict 2.5 扩散视频模型,向驾驶方向特化;Cosmos 3 是单独的、更新的全模态版本,一个 mixture-of-transformers 统一语言、图像、视频、音频和动作。两者共享 Cosmos 谱系和 Physical AI 目标,但一个是通才,一个是实时驾驶模拟器。
这两个里面哪个开源?
Cosmos 3,而且开得彻底:checkpoint、训练数据、评测基准都按 OpenMDW-1.1 放出。OmniDreams 没有公开代码和权重,复现依赖 Cosmos 访问权和部分内部的 AlpaSim、Alpamayo 栈。
OmniDreams 单卡真能实时吗?
单路摄像头可以:2B 单视图模型在单张 GB300 上 118 毫秒出 8 帧,约 68 有效 FPS(704x1280)。四路摄像头的 105 FPS 每路需要 16 卡 GB300 机柜;同一份四视图模型单卡只有约 12 FPS。
World-Action Model 的结果该怎么信?
从 OmniDreams 后训练出的约 2B World-Action Model,在 574 个留出场景上把碰撞率从 6.9% 降到 4.2%,对手是约 10B 的 Alpamayo 1.5。作者标注为初步结果:训练时排除了 OmniDreams 训练过的场景,真实世界参照用的是 NuRec 回放。把它读作”一套生成骨干既能渲染也能驾驶”的证据,而不是生产级驾驶策略的已验证替代品。