WBench、MulTaBench、VideoKR 对比:先堵捷径再打分的多模态基准
三篇 2026 基准治「看着多模态、其实走了捷径」:WBench 跑 1058 轮交互,MulTaBench 只留 41% 候选,VideoKR 放出 315K 条样本。
三个基准问的是同一个问题
多模态 demo 造假的成本很低。模型完全可以靠读文字说明在视频基准上拿分,在多模态表格数据上无视那张配图,在世界模型榜单上靠一支精美短片出头。2026 年 5 月到 6 月的一个月内,三篇基准论文从三个方向围攻这个漏洞,它们共享一条设计哲学:在测量模型有多好之前,先确认这个测量方式能在模型作弊时察觉。
WBench(2026-05-25)不靠给单支短片打分来测交互式视频世界模型,而是反复「驾驶」它。MulTaBench(2026-05-11)建多模态表格基准的第一步,是把所有「额外模态只是装饰」的数据集全部扔掉。VideoKR(2026-06-03)在只靠文字答不出来的问题上训练和测试视频理解。模态不同,怀疑相同。
WBench:这个世界被反复驾驶后还成立吗?
WBench 的出发点很直接:大多数视频生成评测只看「一句提示出一支片子」,但世界模型的本职是被驾驶的:给个指令、看结果、再根据结果调整。单支短片的分数永远测不出这个世界在一连串干预之后还撑不撑得住。
所以 WBench 是多轮的:289 个测试案例、共 1058 轮交互,平均每个案例约 3.7 轮。它定义了四种交互类型,覆盖真实用户驾驶世界模型的方式:导航(在环境里移动)、主体动作(让某个实体做事)、事件编辑(改变发生的事)、视角切换(移动镜头)。由于参评系统里有文本驱动、相机控制、动作条件三类模型,这四种交互让同一张卷子能比较控制通道完全不同的系统。
每一轮被拆成 22 个自动子指标,归拢成五个维度:画质、设定遵从、交互遵从、一致性、物理合规。让它可信的关键一步是验证:WBench 不用一个大模型评委包打天下,而是给不同维度配专长的视觉模型加多模态评估器,再拿人工判断做校准——每个指标与人工的 Spearman 相关性至少 0.94,其中事件编辑、主体动作、视角切换、空间一致性四个方面达到完全相关。
随后 20 个最先进模型入测,头号发现是个「非结果」:没有任何一个模型五项全赢。画质惊艳的系统照样违反物理、跑出设定。这正是单短片基准藏起来的失败模式,也说明「世界模型质量」折成单一榜单数字从根上就是误导。
局限也要记住:自动指标的上限受其所依赖模型的上限限制;「物理合规」这一维最可能只被近似而非真正验证;289 个精选案例规模不大,模型理论上可以被针对性调参。WBench 更像一套协议,而不是一张永久排名。
MulTaBench:那个额外模态到底扛不扛事?
MulTaBench 对付的是一种更隐蔽的作弊。很多数据集给表格配一段文本或一张图,但其中不乏表格本身已含全部信号的例子,图只是摆设。在这种数据集上测多模态融合,什么都测不出来。
所以 MulTaBench 先筛再测:联合信号筛选要求两个模态合用的确胜过单用任何一个,约 23% 的文本-表格候选数据集在此出局;任务感知筛选再扔掉那些冻结通用嵌入就已榨干全部信息的数据集,剩余者中又有 36% 被淘汰。文献里一共捞出 56 个文本-表格候选,只有 41% 通过双筛;图像-表格更难,文献接受率约 31%,靠人工整理才补满最终名额。最后留下 40 个数据集,正好 20 个图像-表格、20 个文本-表格,分类与回归各半,行数从约 400 到 114,000,结构化特征从 1 列到 245 列。
测量环节刻意朴素:把非结构化模态变成特征有两条路:冻结路线(e5 做文本、DINO-v3 做图像,PCA 降到约 30 维)和目标感知路线(先拿预测目标微调编码器再抽特征)。上游学习器全用标准表格模型:LightGBM、CatBoost、TabM、TabPFNv2、TabPFN-2.5 负责筛选,另用 XGBoost、RandomForest、RealMLP、TabDPT、TabICLv2、TabSTAR、ConTextTab、AutoGluon-Multimodal 做稳健性复核。
结果一致到可以成为经验法则:目标感知嵌入在全部五个主学习器、两种模态上都胜过冻结嵌入,且效应能迁移到没参与筛选的学习器上。最尖锐的版本:小编码器加目标感知,胜过大编码器加冻结。PetFinder 上,LightGBM 从 77.2%(仅图像)提到 85.7%(双模态加目标感知),TabPFN-2.5 从 81.1% 提到 88.0%。把编码器调大有用,但把表示调到任务上更有用。
作者自己点破的结构性弱点也要记着:筛选流水线本身用表格模型决定数据集资格,于是入选标准和被测方案纠缠在一起,参与筛选的模型在这个基准上无法被公平打分,目标感知路线也比冻结路线多出实打实的微调算力。「都去微调嵌入」这条建议,得带着这两个星号读。
VideoKR:模型答得出只有视频才知道的事吗?
VideoKR 治的是视频理解里的文字捷径。常规视频 QA 常常能靠字幕、标题或语言先验蒙对一部分,模型看起来懂视频,其实没怎么看。VideoKR 的解法在数据设计:一条人在回路、面向技能的生成流水线,产出瞄准层层加深视频推理的样本,难度、多样性、可靠性连同 CoT 推理解一同把关。
语料规模是 315K 条视频推理样本,覆盖 145K 个新采集的 CC 协议专家领域视频。与之配套,作者还整理出 VideoKR-Eval:专家标注的评测集,题目必须真正看视频、做知识密集推理才答得出,堵住纯文字捷径。
论文示范的用法是后训练而非刷榜:在标准 SFT→GRPO 流程下,用 VideoKR 后训练的模型在知识密集型视频推理上胜过此前各后训练方法,同时在通用视频推理上保持竞争力——说明在这条能力轴上,数据设计和模型规模一样能拉开差距。对开发者最实际的读法是:VideoKR 主体是训练语料,防捷径评测挂在上面,而不是又一个 leaderboard。
关键数字
| 基准 | 堵哪种捷径 | 规模 | 让它可信的数字 |
|---|---|---|---|
| WBench | 单短片分数掩盖世界模型漂移 | 289 案例、1058 轮、20 个模型 | 22 个子指标归 5 维;每个指标与人工 Spearman ≥ 0.94,4 个方面完全相关;无模型五项全赢 |
| MulTaBench | 额外模态只是装饰的数据集 | 40 数据集(20 图像-表格 + 20 文本-表格) | 56 候选仅 41% 过双筛(23% 卡联合信号,其余 36% 卡任务感知);目标感知在 5 个学习器全胜;PetFinder 77.2 → 85.7(LightGBM)、81.1 → 88.0(TabPFN-2.5) |
| VideoKR | 视频 QA 的文字捷径 | 315K 样本 / 145K 个 CC 视频 | 人在回路技能导向生成;VideoKR-Eval 专家标注;VideoKR 上 SFT→GRPO 胜过此前后训练 |
这张表要当三件各自一维的仪器读,而不是排名。没有模型同时进过三张榜,没有共享测试环境,三类指标(维度分、准确率、后训练迁移)不可互相折算。可比较的是共同发现:一旦各自把捷径堵上,表面的能力就会缩水或显出偏科,这正是漂亮 demo 藏起来的信息。
怎么选
按你最怀疑的那条捷径对号入座。做或买交互式视频世界模型(游戏引擎底座、机器人仿真器、agent 环境)的,WBench 是三者中唯一测「持续驾驶」的,五维记分卡(画质、设定、交互、一致性、物理)能告诉你模型死在哪个轴上,而不是把失败平均成一个数。做多模态表格学习的,MulTaBench 既是基准也是方法论:先拿它的筛选逻辑过一遍自己的数据集,再谈融合数字可不可信;嵌入预算也要给目标感知留出来,因为「小微调胜过大冻结」说明增量不在编码器规模上。训视频推理模型的,VideoKR 是唯一带训练数据的(315K 条),用 VideoKR-Eval 当你训出模型的捷径探测器。
如果你是在读供应商数字而不是自己产数字,跨榜的教训是买家版:问每个分数堵的是哪条捷径。一个从没测过交互、从没检查模态是否扛事、从没拦过纯文字答案的基准,测出来的东西比挂在它身上的宣称要容易。
局限与存疑
三个基准共享同一个结构性局限:各自只堵自己瞄准的那条捷径,也就各自看不见别的捷径。WBench 的自动指标受组成它们的视觉与多模态模型上限所限,「物理合规」这一维是近似而非真正验证,289 个精选案例也小到可能被针对性调参。MulTaBench 的入选标准与做筛选的表格模型纠缠,这些模型在榜上无法被公平打分,而它推荐的目标感知路线多出的微调算力,头部准确率数字里并没有计价。VideoKR 的评测结果只对应一套后训练配方(SFT→GRPO)和一条数据流水线,315K 样本的配方换基底模型或训练栈未必复现,专家领域视频分布也未必覆盖普通网络视频。这些都不足以否定三个基准,但给每个数字能诚实地声称什么划了界。
常见问题
WBench 比其他视频基准多测了什么?
测交互行为。不给单提示单短片打分,而是跑 289 案例共 1058 轮交互,覆盖导航、主体动作、事件编辑、视角切换四类操作,用 22 个子指标在五个维度上打分,且指标全部经过人工判断校准。
MulTaBench 怎么判定一个数据集是真多模态?
两道筛:联合信号(双模态必须胜过任一单模态)和任务感知(冻结嵌入不能已经榨干全部信号)。56 个文本-表格候选只有 41% 双筛通过,约 23% 倒在联合信号,剩余者 36% 倒在任务感知。
MulTaBench 的主要结论是什么?
目标感知嵌入(拿预测目标微调过的编码器)在全部五个主学习器和两种模态上都胜过冻结预训练嵌入,小模型微调能胜过大模型冻结。PetFinder 上 LightGBM 从 77.2%(仅图像)提到 85.7%(双模态加目标感知)。
VideoKR 是基准还是训练数据集?
两者都是。语料是 315K 条视频推理样本、覆盖 145K 个 CC 协议视频;VideoKR-Eval 是要求真看视频的专家标注评测。论文主结果关于后训练:在 VideoKR 上做 SFT→GRPO 胜过此前后训练方法。
能跨 WBench、MulTaBench、VideoKR 比分数吗?
不能。三者测不同模态、不同指标、不同模型。可以在设计层面比较:各堵一条捷径(单短片打分、装饰模态、文字捷径),选哪个取决于你的场景怕哪条捷径。
一句话:WBench、MulTaBench、VideoKR 对不同模态做的是同一件事,先堵便宜的捷径,再计数。细节见 WBench、MulTaBench、VideoKR三篇解读。