主动式 AI 助手怎么评：Pi-Bench、SoCRATES、TIDE 对比

三篇论文在绕同一个问题

「主动」是 2026 年助手营销里最受宠的形容词，但这个词至少藏着三种不同的能力：预判用户没说出口的需求、判断何时该介入人类冲突、以及发现没人报告的问题。三篇 2026 年的论文分别为其中一种造了可检查的测试，第四篇 Digital Colleague 综述 则给出系统层面的框架，解释为什么三者都难。把它们放在一起对比，能帮你判断自己的产品到底缺的是哪种「主动」，因为这三个榜的头名数字并不一起动。

Pi-Bench：长程关系里的预判

Pi-Bench(上海 AI Lab）测的是助手能否解决用户从未明说的需求。100 个多轮任务各带一个初始请求、一组隐藏意图和一份可验证的清单；五个职业人设（研究员、市场、法务实习生、药剂师、金融）各自在持久化环境里跑 20 个 session，六个依赖组强制上下文延续。分数拆成两项：主动性（自己解决隐藏意图的比例）和完整性（清单完成度）。

结果：GPT-5.4 主动性 67.0%(±2.1)、完整性 65.6%;Claude Opus 4.6 是 65.5% / 67.6%。九个受测模型没有一个主动性超过 70%，跨度达 24 个百分点。最锋利的发现是记忆消融：抽掉先前 session，主动性平均掉 9.5 分而完整性只掉 2.5,GPT-5.4 从 78.5% 掉到 64.9%。现在看起来「主动」的行为大半是在吃累积上下文。领域差异同样大：法务交接 84.1% 完整性对 38.1% 主动性，药物设计恰好反过来。注意它全部跑在单个 Nanobot 改造脚手架上、用户是模拟的，排名未必迁移。

SoCRATES：什么时候该介入冲突

SoCRATES 把「主动」从任务助理搬到社会判断：LLM 调解员该不该介入多方冲突、介入得怎么样。场景由 agentic 管线从真实冲突生成，覆盖 8 个领域，沿五条社会认知轴施压：策略姿态、当事方构成、历史长度、情绪反应、文化身份，共 8 个前沿模型参评。评分用话题局部化评估器，只在该话题推进的轮次上打分，专门压掉跑题噪声。

两个数字撑起全文：评估器与人类专家对齐达 0.82，比逐轮基线翻了一倍多：调解质量恰恰是最容易被朴素逐轮打分误判的东西；而最强的调解模型只弥合了无调解共识差距的约三分之一，且在五条轴上波动剧烈。直白地说：最好的模型也只是一个明显不完整的人类调解替代品，而且弱点随当事人和历史情绪变化而移动。

TIDE：发现没人提交的问题

TIDE 测第三种「主动」：面对一团乱上下文，发现多个隐藏问题，每个都要有证据支撑并配上可执行动作。单次预测会锚定最显眼的问题、产出泛泛之谈，所以 TIDE 每轮小批量地产出候选、以已发现问题为条件迭代，并用从已解案例蒸馏的思维模板导航（工作区 20 个模板、代码库 108 个；分别迭代 10 轮和 3 轮）。

测试集很具体：30 个工作区装 150 个问题（每个 4 到 6 个问题、88 到 113 个候选工件）,11 个项目的 20 个多 bug 代码库实例装 146 个问题（每个实例 2 到 41 个问题、6 到 646 个候选函数）。四个底座：GPT-5 mini、Claude Sonnet 4.5、Gemini 3.5 Flash、Qwen 3.6 Flash。工作区设定下 GPT-5 mini 检索覆盖 69.06 / F1 70.46，对最佳单 agent 基线 47.60 / 54.32，平均分 +20.01(p < 0.001);Gemini 3.5 Flash 更高到 83.84 / 84.91，而同一框架下 Claude Sonnet 4.5 只有 32.01 / 37.01，说明这套方法放大的是本已强的底座，而不是救弱底座。代码库设定对所有人都难得多（GPT-5 mini 覆盖仅 16.82)。消融支持设计：抽掉模板，GPT-5 mini 工作区检索掉到 62.48；换成少样本示例只有 10.40。评审 LLM 本身经过校准（与人类 89.2% 完全一致，人之间 88.1%,Fleiss κ = 0.80)；每个工作区任务 $0.444，与它打败的多 agent 基线 $0.442 持平，比它领先 20 分的单 agent（$0.047）贵不到十倍。

综述框架：为什么三者都难

Digital Colleague 综述(腾讯优图、清华等）给出三个基准隐含的词汇表。它的主张是质变在于 workspace 加 skill：代理持有持久状态（文件、日志、权限），加载可复用流程（SKILL.md 式目录资产，不只是提示词也不只是工具），而不是每次即兴发挥。Pi-Bench 和 TIDE 那种主动，只有在这层持久性之上才可能发生；对先前 session 没有记忆的代理谈不上预判，9.5 分的记忆消融正好量化了这一点。

综述还把评测分成四阶：Stage I 评最终答案，Stage II 评推理轨迹，Stage III 评任务闭合（环境是否到了目标状态，如 SWE-bench、OSWorld),Stage IV 加工作区能力与安全。三个基准落在不同台阶：Pi-Bench 最接近 Stage IV 的关系型测试，TIDE 是 Stage III 式的状态检查，SoCRATES 评的交互质量四个台阶都不完全覆盖。不过把这当地图用：它本身没有实验，而且自认 skill 会在界面改版、依赖升级时失效，这正是 Pi-Bench 消融从基准侧暴露的同一种脆弱性。

关键数字对照

维度	Pi-Bench	SoCRATES	TIDE
「主动」指什么	解决用户没说的意图	何时、如何介入冲突	发现没人报告的问题
规模	100 任务、5 人设、20 session	真实冲突生成、8 领域	150 工作区问题 + 146 代码库问题
头名结果	GPT-5.4 67.0% 主动性，无人超 70%	评估器 0.82 专家对齐；最强调解弥合约 1/3 差距	GPT-5 mini +20.01 分（p < 0.001);Gemini 83.84 覆盖
底座差异	9 个模型主动性跨 24 分	沿 5 条轴波动剧烈	同框架 Gemini 83.84 vs Claude 32.01
上下文角色	抽记忆：主动性 −9.5，完整性 −2.5	历史长度是一条施压轴	每轮以已发现问题为条件迭代
评分设计	规则 + rubric 清单评分	话题局部化评估器 0.82	校准评审，89.2% 人类一致，κ=0.80

三篇的共同结论：前沿离天花板都还很远；上下文是主动的底材，抽掉就不成比例地退化；三篇最耐用的贡献都是怎么打分，而不是任何一个榜上的数字。

怎么选

三篇的最小单元不同：Pi-Bench 评对单个用户随时间的行为，SoCRATES 评多方社交场合的判断，TIDE 评对无人完整描述状态的覆盖：它们是互补而非竞争。对号入座：

• 做长程助理产品（日程、研究支持、客户跟进）：用 Pi-Bench 式的主动性/完整性拆分，并在相信自己的「主动」之前，拿真实日志复现它的记忆消融。
• 产品会碰到纠纷、谈判、多方决策：SoCRATES 的五条社会认知轴就是检查表，它 0.82 对齐的评估器设计比榜更值得抄。
• agent 盯着工作区、代码库或运维面找问题：TIDE 的迭代加模板是方法，而它的工作区与代码库对照是个警告：在密集技术状态下做问题发现要难得多。
• 在设计 harness 本身：Digital Colleague 综述的 workspace 加 skill 论点与四阶评测给了你词汇表，持久状态和技能库先就位，三篇基准才轮得到跑。

三篇用的是不同证据形式（受控消融、评估器对齐、显著性检验），选跟你风险匹配的那种。

局限与存疑

三篇都对着模拟或编写的代理而非真实用户评，调过的系统可以过拟合代理。Pi-Bench 单脚手架，排名未必迁移；SoCRATES 不报模型名，可复现性受限；TIDE 的提升集中在底座本就强的设定，代码库绝对值人人偏低，框架在密集技术状态下的天花板不明。三篇都没有评部署成本、延迟，或一次错误主动动作的代价，后者往往比漏掉更贵。综述的 workspace 加 skill 论点也仍未被证明：还没有受控实验证明持久状态加技能库能在任务闭合率上赢过强无状态基线。

常见问题

测主动式助手该用哪个基准？

没有一个覆盖全概念。按你交付的能力对号入座：长程助理关系用 Pi-Bench 式的隐藏意图，冲突调解用 SoCRATES 式的五轴检查表，工作区或代码库的问题发现用 TIDE 式迭代模板。

三个基准里最重要的一个数字是什么？

Pi-Bench 的记忆消融：抽掉先前 session，主动性掉 9.5 分、完整性只掉 2.5,GPT-5.4 从 78.5% 掉到 64.9%。这是「主动=吃上下文」最干净的证据，而且拿自己的日志就能复现。

三个基准的结果能放在一起给模型排名吗？

三篇模型和脚手架互不重叠，跨榜排名不存在。TIDE 内部同框架下 Gemini 3.5 Flash 领先、Claude Sonnet 4.5 大幅落后；Pi-Bench 九个模型主动性跨 24 分。主动不是模型无关的通货。

这些基准公开吗？

Pi-Bench 页面未描述工件开放情况；SoCRATES 报告了评估器设计但没给模型名单和工件；TIDE 报了四个底座和基线，页面未详述发布内容。复现前先去各论文项目页确认。