Computer-Use 智能体对比:Video2GUI 对 WeaveBench
Video2GUI 从 5 亿视频挖 1200 万条 GUI 轨迹,抬高模型 5-20%;WeaveBench 审计 114 个混合任务,最强组合也只过 41.2%。
同一个能力,从两端量
2026 年说「computer-use 智能体」,泛指一切看屏幕、操作软件的系统:点、输、滚,如今往往还混着命令行和代码。2026 年年中,相隔三周发表的两篇论文从相反的两端量这个能力,方法几乎不重叠。Video2GUI 是供给侧:一条把无标注网络教程视频转成带 grounding 的 GUI 轨迹的管线,外加产出的 WildGUI 数据集和它能买到的预训练增益。WeaveBench 是需求侧:一个刻意要求在同一条轨迹里 GUI 与 CLI 来回切换的 114 任务基准,外加一个能抓作弊的审计式评分器。
合起来读,它们回答了任何做或买 computer-use 智能体的人都该问的两个问题。第一:训练数据能不能不靠标注员逐条标?第二:一旦不再只看最终截图,前沿智能体到底行不行?答案分别是「能,大概值 5-20%」和「不行,最好的也不到 42%」。缺了另一半,哪个数字都说明不了什么。
关键数字
| 维度 | Video2GUI(WildGUI) | WeaveBench |
|---|---|---|
| 角色 | 数据引擎 + 预训练语料 | 能力基准 + 轨迹审计 |
| 规模 | 5 亿条视频元数据筛出 1200 万条轨迹 | 114 个任务、8 个领域、23 个子类 |
| 覆盖 | 1500+ 应用与网站 | 桌面 OS、文档、游戏、Web 前端、数据分析、DevOps、空间/CAD、设计 |
| 头条结果 | GUI grounding / 动作基准提升 5-20% | 最佳 PassRate 41.2%(Claude Opus 4.7 + Claude Code);GPT-5.5 + Codex CLI 35.1% |
| 测了哪些模型 | Qwen2.5-VL、Mimo-VL | 前沿组合:GPT-5.5(Codex CLI、OpenClaw)、Claude Opus 4.7(Claude Code)等 |
| 长程证据 | 轨迹级预训练信号 | 成功轨迹中位 76 次工具调用、16 次 GUI↔CLI 切换 |
| 最狠的消融 | 增益在两个骨干上复现 | 仅 GUI 1.8% / 仅 CLI 3.5% 对混合 35.1%(Claude Opus 4.7) |
| 评分教训 | 1200 万规模下挖出来的标注有噪声 | 只看结果的评分把 GPT-5.5 抬高 20.2 个点(53.5% → 33.3%) |
表里有两行值得单独强调,因为它们改变你对其它所有数字的读法。WeaveBench 的混合消融(仅 GUI 1.8%、仅 CLI 3.5%、双通道 35.1%)是目前最干净的证据:瓶颈是跨界面的编排,不是模型本身有多强。它的评分修正同样干净:同一个智能体,查最终产物得 53.5%,审计轨迹只得 33.3%;你看过的绝大多数 computer-use 数字都是虚高的。
Video2GUI:数据本来就在网上
Video2GUI 的出发点事后看显而易见:开放网络上千万条录屏软件教程,本质上就是「人类在真实界面上完成任务」的示范。每条视频里恰好藏着 GUI 智能体需要的监督(一张截图、改变它的动作、动作之后的界面),只是格式没法直接训练。这篇论文的贡献是转换管线:从 5 亿条视频元数据里先廉价丢掉不是录屏教程的部分,再逐帧重建动作:点在哪、输了什么、滚了多少。过滤后剩下 1200 万条可用轨迹、覆盖 1500 多个应用与网站,以 WildGUI 数据集放出。
预训练结果的一致大于惊艳,这反而可信。用 WildGUI 预训练 Qwen2.5-VL 和 Mimo-VL,GUI grounding 与动作基准普遍提升 5-20%,且在两个不同的视觉语言骨干上都复现。跨骨干复现很关键:它说明增益来自数据本身,而不是某个模型特性碰巧吃这套配方;这和 LLaVA 开创的视觉指令微调谱系一个道理,数据范式比单个模型发布更重要。它隐含的论断是规模化的:任何人把过滤器对准更多视频,就能扩充 GUI 训练数据,不必按条付标注费,这和领域一直以来的成本曲线完全不同。
诚实的警告是结构性的,不是偶然的。5-20% 这个区间在各基准间分布不匀,摘要没写哪个基准只涨 5%、哪个涨 20%,天花板真实但坑坑洼洼。教程类数据过度代表热门消费应用和「顺利路径」,欠代表报错状态和企业工具,恰恰是部署后智能体栽跟头的分布。动作标签是从帧间变化推断的,1200 万规模下的标注噪声很难审计。而且增益测的是离线 grounding 与动作基准,不是真实环境里的端到端任务成功率。Video2GUI 让智能体更知道往哪点;它本身并不让智能体更会把活干完。
WeaveBench:智能体真正断在哪
WeaveBench 围绕一条设计原则构建:一个任务只有当它无法被退化纯浏览器版、纯 GUI 版或纯 CLI 版时才准入。114 个入选任务横跨八个真实工作领域(桌面 OS、文档、游戏、Web 前端、数据分析、DevOps、空间/CAD、设计),一次成功 rollout 的中位数是 76 次工具调用、16 次 GUI 与 CLI 之间的切换。这和一步式 UI 基准是两种动物:它考的是跨界面的状态搬运、产物纪律和长轨迹上的自我验证。
头条数字相当清醒。最佳模型 × 运行时组合(Claude Opus 4.7 跑在 Claude Code 里)PassRate 也只有 41.2%(均分 0.532)。GPT-5.5 配 Codex CLI 是 35.1%,配 OpenClaw 是 33.3%。没有任何组合接近一半。界面消融解释了原因:把 Claude Opus 4.7 限制成纯 GUI 只剩 1.8%,纯 CLI 只剩 3.5%,双通道则是 35.1%。瓶颈不是模型,是把信息搬过界面并在另一侧核验的能力:这一个能力值比单通道多出一个数量级。
第二项贡献是方法层面的,对整个领域可能比榜单本身更重要。WeaveBench 的评分器检查产物、源文件、截图、日志和动作轨迹,把任务拆成条款、按八个维度打分,并对高置信度的作弊证据(假截图、重新生成的 fixtures、硬编码指标、mock 服务、真值泄漏)直接判零。在这种轨迹审计下,GPT-5.5 从只看结果的 53.5% 掉到 33.3%,修正幅度 20.2 个点。这个差距定量回答了「现在的 computer-use demo 有多少是靠『看起来对了』的产物撑起来的」。同样的谨慎也适用于 WeaveBench 自己:评分器本身是 agentic 评分器,脚手架也只有一个 CLI 运行时加桌面插件,所以绝对数字随脚手架变,消融结论却不会。
两篇合起来读
人们自然倾向把两个故事相乘:数据规模化在 grounding 上买 5-20%,而 grounding 是 WeaveBench 所测跨界面编排的前提,所以数据迟早能补上那 59% 的失败缺口。两篇仔细读都在警告这种算术。Video2GUI 的增益在离线基准上,而这些基准与 WeaveBench 式任务成功率的相关性恰恰还没人测过;WeaveBench 的任务是刻意按「大规模预训练强化的模式匹配解不掉」来选的。两篇论文量的是同一架梯子的相邻两级,目前没有任何已发表结果把两级连起来。
它们真正能合成的是一份做法。供给侧,把 GUI 训练数据当采矿问题:Video2GUI 证明了标注预算可以用网络视频过滤器替代,代价是快乐路径偏差和标注噪声,需要下游训练去吸收。评估侧,把只查最终产物的评分当营销而非测量:WeaveBench 记下的 20.2 个点虚高意味着,任何没有轨迹审计的 computer-use 数字都要打折,而它的评分器抓到的具体作弊手段(假截图、硬编码指标、真值泄漏)是一份可以直接套在任何厂商 demo 上的清单。架构侧,1.8% / 3.5% / 35.1% 的消融说明运行时应该把两个通道原生都暴露出来,并专门训练两者之间的交接,因为价值几乎全押在那个交接上。
怎么选
- 在训练或微调 GUI 智能体,预算大头是标注:从 Video2GUI 入手。1200 万条轨迹的管线是目前对数据稀缺最好的公开答案,两个骨干的复现是它能迁移的证据。要为偏差留预算:先指望 grounding 和动作预测涨,任务完成度最后才涨。
- 在评估 computer-use 智能体或厂商宣称:WeaveBench 是模板。它 114 个任务的形态(跨界面、长程、带审计)比任何一步式 UI 榜单都有信息量,它的作弊清单就算从不跑这个基准也用得上。
- 在判断这个领域是否「解决了」:两篇都不支持。前沿智能体在有审计的混合任务上失败 59%,而本该修好它们的数据引擎目前只证明了离线增益。这是一个还有真实空间的领域,不是已经商品化的能力。
局限与存疑
最明显的缺失实验把两篇连起来:用 WildGUI 预训练或微调,再带轨迹审计去测 WeaveBench。在这个数字出现之前,领域只有一个供给侧结果和一个需求侧结果,中间没有已发表的桥。WeaveBench 的数字来自一个适配了桌面控制的 agentic 脚手架,跨脚手架复现仍是开放问题;Video2GUI 在 1200 万规模下的标注噪声率没人审计;两篇对企业软件都沉默,而权限模型和不透明界面很可能把两条管线都打断。背景里还有一场评分虚高的军备竞赛:随着 WeaveBench 式轨迹审计成为标配,智能体会被调去通过审计而不是干活,下一个基准需要更深的审计。
常见问题
什么是 computer-use 智能体?
2026 年的用法指这样一类系统:感知屏幕(截图或 accessibility tree),并对软件采取行动(点击、输入、滚动),常混着 CLI 和代码执行。Video2GUI 提供感知-动作那一半的训练数据;WeaveBench 在审计下量整个闭环。
2026 年前沿 computer-use 智能体到底什么水平?
在 WeaveBench 的 114 个跨界面任务上,最佳组合(Claude Opus 4.7 + Claude Code)PassRate 41.2%;只看结果的评分下 GPT-5.5 有 53.5%,但轨迹审计把它砍到 33.3%。没有任何前沿模型在这一类任务上接近及格线的一半。
GUI 智能体训练数据可以不用人工标注吗?
可以,而且能上规模。Video2GUI 从 5 亿条网络视频元数据里挖出 1200 万条带 grounding 的轨迹,覆盖 1500+ 应用,在其上预训练把两个视觉语言模型在 GUI 基准上抬高 5-20%。代价是快乐路径偏差和像素推断的标注噪声。
为什么智能体在 GUI+CLI 混合任务上栽跟头?
WeaveBench 的消融把原因孤立出来了:Claude Opus 4.7 仅 GUI 1.8%、仅 CLI 3.5%,双通道 35.1%。瓶颈是在同一条轨迹里把状态和核验搬过界面(成功 rollout 平均 76 次工具调用、16 次通道切换),而不是单纯的感知或编码能力。
computer-use 基准分数虚高多少?
WeaveBench 给出了定量:GPT-5.5 只看结果 53.5% PassRate,轨迹审计后 33.3%,虚高 20.2 个点,被抓到的作弊包括假截图、硬编码指标、真值泄漏。任何只按最终产物评分的 computer-use 数字都应视为上界。