DRIFT 对比 Arbor:诊断还是预防深研 agent 失灵

两篇论文在绕同一个问题

深研 agent 跑上十几轮搜索、阅读、推理,最后仍可能给出错误答案。终局分数只说「败了」,不说「败在哪」。两篇 2026 年的论文从同一个盲区出发,朝相反方向走。DRIFT 往回看:给定一条已经跑完的轨迹,指出哪个语义片段里的无根论断污染了最终答案。Arbor 往里看:趁工作还在进行,把每次尝试存进一棵假设树,只有通过留出集评估的分支才允许合并。一个做事后诊断,一个让坏结果根本进不了主干。

只评结果的测法是两篇共同的对手。像 Agents’ Last Exam 这样的能力基准,记录一次长程任务成没成,这有用,但两篇论文都不把它当调试信号。它们的赌注一致:agent 的可靠性卡在状态管理上,解法是让运行过程的更多部分可检查。

DRIFT:用论断审计做事后诊断

DRIFT 把调试重新定义成片段级错误定位:轨迹切成语义片段(平均每条 11.95 个,约一打),任务是标出含有害错误的片段,同时放过健康的探索。「有害」是承重词:探错又绕回来的死胡同不算错误,一个把正常探索也 flagged 的检测器毫无用处。

配套 benchmark TELBench 是全文最耐用的工件。作者收集了 2,790 条原始轨迹,来自 2 个 agent 框架(MiroFlow、OAgent)、3 个底座模型(GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4.5)、3 个基准(GAIA-val、XBench、BrowseComp-test,各抽 200 题,共约 465 题)。归一化并经专家加 LLM 协助评审后,留下 1,000 个核验实例,难易拆分 600 比 400,各自标注有害片段。错误体系把故障归为 6 族 18 类:约束处理、搜索检索、证据接地、实体映射、信息加工、流程控制。这套词汇即使不用它的检测器也复用得上。

DRIFT 本体是三段审计:Claim Keeper 给 agent 提出的每条论断立台账,记下何时出现、何处被复用;Support Seeker 把要紧的论断跟轨迹证据核对,分成直接支持、弱支持、缺失、冲突四类;Dependency Tracer 只保留真正传导进最终答案的风险论断。设计赌注很清楚:审计「接不接地」胜过判断「像不像」。

成绩(评审模型均为 Claude-Sonnet-4.6):macro-F1 总分 54.91%,易拆 60.00%、难拆 47.28%,比把原始轨迹直接丢给同一个模型高出至多 30 个百分点;首个错误定位准确率最高 24.10%。论文自己的口径很诚实:F1 不到 55% 是研究基线,不是发布闸门。

Arbor:用假设树做运行中预防

Arbor 治的是另一种失败:agent 一直在打磨错误的东西。它对「跨越多日的研究该留下什么」的回答是假设树:每个节点把一个假设绑到工件版本、实验证据、分数和一条蒸馏出的洞察上。长寿的协调器决定扩展哪些前沿节点、剪掉哪些;短寿的执行器在隔离 worktree 里一次验一个假设,交回简报。

让树不只是日志的机构是合并闸门:开发集反馈只用于搜索,分支要升格,改进必须迁移到留出集评估上。探索期好看但迁移不了的分支照样被拒,这是它对刷指标冲分的防御。

数字分两组。六个自主优化任务(覆盖模型训练、harness 工程、数据合成)上,Arbor 全部拿到最佳留出结果,在相同任务接口与资源预算下,平均相对留出增益是 Codex 和 Claude Code 的 2.5 倍以上。MLE-Bench Lite 上,配 GPT-5.5 拿到 86.36% Any Medal,是其对照中的最好成绩。Claude Opus 4.6 的消融最干净:完整 Arbor 81.82%,抽掉树剩 63.64%,抽掉洞察反馈剩 54.54%。成本记了账:六个完整任务各花 2,012 万到 4,319 万 token,作者称与单轨迹基线相当。

两条环路在哪里交汇

三处重叠比包装差异更要紧。其一,两篇都把 agent 历史当结构化状态,而不是聊天记录:一边是语义片段,一边是树节点。其二,两篇共用一把尺子:Codex 和 Claude Code 既出现在 DRIFT 的 agentic 基线里,也出现在 Arbor 的能力对照里。其三,两篇都给仪器标价:DRIFT 报了多段审计的准确率换成本曲线,Arbor 按任务记 token 预算。藏着成本的可靠性工作还称不上可靠性工程。

更深的共识在哲学层面:最终答案是过程的有损摘要,可检查的对象是过程本身。分歧在环路位置与举证责任:DRIFT 容忍带噪判断(什么叫有害由标注者加 LLM 协助定),运行期零开销;Arbor 要求可执行评估器和开发/测试划分,每个分支都付费。DRIFT 的天花板是检测器只对一半;Arbor 的天花板是合并闸门只在留出评估有意义的场合成效。

关键数字

维度	DRIFT(TELBench)	Arbor(AO 任务 + MLE-Bench Lite)
环路角色	事后诊断已完成的轨迹	运行中用合并闸门预防
状态单元	语义片段,平均每条 11.95 个	树节点:假设 + 工件版本 + 证据 + 洞察
基准规模	1,000 个核验实例(易 600 / 难 400),来自 2,790 条原始轨迹	6 个 AO 任务(训练、harness、数据合成)加 MLE-Bench Lite
头名数字	macro-F1 54.91%(Claude-Sonnet-4.6),比裸读轨迹至多 +30 分	6 个 AO 任务全部最佳留出结果;GPT-5.5 拿 86.36% Any Medal
相对增益	同模型裸读基线至多 +30 个百分点	同接口同预算下平均相对留出增益为 Codex 和 Claude Code 的 2.5 倍以上
最难子指标	首个错误定位准确率 24.10%	抽掉洞察反馈的消融:54.54% Any Medal
消融	三段各自贡献、缺一不可	完整 81.82% / 无树 63.64% / 无洞察 54.54%(Claude Opus 4.6)
失败词汇	6 族 18 类故障	留出闸门对冲开发集刷分
成本口径	多段审计,报了准确率换成本	六个任务各 2,012 万到 4,319 万 token
共同参照	Codex、Claude Code 当 agentic 读者	Codex、Claude Code 当能力基线

同一次运行,两种读数:这张表不是一张可排名的总榜,这正是要点。DRIFT 的百分比量的是一个模型审计另一个模型干活的水平;Arbor 的百分比量的是带闸门的流程能否赢过开放式强 agent。

怎么选

agent 已上线、用户反馈答案有错:先上 DRIFT 式片段审计。把失败轨迹重放进论断审计回路,用 6 族 18 类的词汇归类;这套词汇比检测器本身长寿。
在搭或加固研究 harness:直接抄 Arbor 的合并闸门。任何候选改进必须先迁移到留出集评估才能替换现任工件,树全程可审计。
要向只认榜的团队论证可靠性投入:DRIFT 给基准(TELBench)和天花板(F1 不足 55%);Arbor 给流程和成本账。挑跟你的风险对得上的证据形式。
两者都负担得起:原则上自然可组合。DRIFT 式轨迹告诉你哪类片段最常出错,这些片段变成 Arbor 式执行器要验的假设,留出结果再告诉你修复是否泛化。

局限与存疑

DRIFT 的天花板低且明说:总分 54.91%,难拆 47.28%,首个错误 24.10%。TELBench 也只覆盖少数框架和模型、三个 QA 式基准,「有害」的判断由标注过程固化,词汇表能否迁移到编码 agent 或多 agent 系统未验证。Arbor 需要可执行评估器、开发/测试划分和可版本化的工件,真实研究里一大半场景不满足;基线对比可能依赖具体接口、评估器与时限;作为活体技术报告,其数字是扎实的项目报告,不是定型的标准。两篇都没给部署期错误动作定价,也都没证明方法跨基准族迁移。共同留下的开放问题:当诊断与闸门都便宜之后,agent 可靠性还是不是瓶颈,还是说瓶颈会移到评估器设计上。

常见问题

该用 DRIFT 还是 Arbor 来提升研究 agent 的可靠性?

各修一半。DRIFT 告诉你跑完的轨迹断在哪,适合已有轨迹和反复失败的阶段;Arbor 在运行中裁定什么算进展,适合在工件上反复迭代的场景。面向用户的 agent 先要前者,研究 harness 先要后者。

DRIFT 的 54.91% macro-F1 够格当发布闸门吗?

不够,论文原样报出这个数字本身就说明了口径:有害片段标对一半、首个错误找对四分之一,只能当调试辅助,用来给人工复核排优先级,不能自动卡发布。

Arbor 的 86.36% Any Medal 意味着研究能力超过 Codex 和 Claude Code 吗?

在 MLE-Bench Lite 配 GPT-5.5 的条件下,这是报告数字,六个 AO 任务上相对这两家的平均留出增益也超过 2.5 倍。但主张比「更会做研究」窄:它赢的是这套带闸门的精修流程,且限于可执行任务加留出划分。

两套系统跑起来各花多少?

DRIFT 事后运行,论文给出三档配置间准确率换成本的曲线,便宜的配置准确率也低。Arbor 记了账:六个完整任务各花 2,012 万到 4,319 万 token,据称与单轨迹基线相当。两边都不免费,但都把价格摆到明处,这正是要点。