FreeToken:把个人电脑当成弹性推理平台,本地跑大型 MoE 模型
开源大模型越来越重,但本地推理还按“把数据中心的办法缩小”的思路做。FreeToken 围绕本地 AI 的两个现实(智能体负载持续变化、每台机器的资源配比不同),联合设计模型加载、专家驻留、CPU-GPU 协同执行与内存管理,带宽允许时让个人机器也能流畅服务大 MoE 模型。
- 214 星/7日
- 2 引用
- 109 点赞
开源大模型越来越重,但本地推理还按“把数据中心的办法缩小”的思路做。FreeToken 围绕本地 AI 的两个现实(智能体负载持续变化、每台机器的资源配比不同),联合设计模型加载、专家驻留、CPU-GPU 协同执行与内存管理,带宽允许时让个人机器也能流畅服务大 MoE 模型。
Prime Agent 是一个开源的长程智能体框架:常驻 IPython 会话让模型用代码做测试时计算,历史、记忆、技能和子智能体配置可以跨任务保留,递归子智能体之间直接通信协作,人类还能随时查看和管理后台会话。
Ouroboros 是一个自我迭代的编程智能体框架:工具、提示词、上下文组装乃至核心实现都通过“经评审的提交”逐步进化,并成为后续运行的基础,支持递归自由进化和经验驱动核心进化两种模式。作者还报告了长达 161 天、横跨七个人类交流界面的真实部署,强调当智能体开始重写自己时,安全护栏必须始终保持最高权威。
长程智能体常在膨胀的上下文里丢状态,还把错误的自我评估带进后续决策。该框架把任务状态显式维护在执行之外,只用环境里能独立核实的事实更新状态,配合 Manage-Execute-Audit 循环,让经理、执行、审计三角色互相制衡。
AutoDesign 把多模态学术海报生成当成长程智能体过程:一个元优化器读取执行反馈、递归改写代码智能体所用的工具 harness。在作者提出的 100 篇论文 PosterBench 上得分超过 Claude Design,学到的 harness 还能迁移提升七种不同代码智能体;全自主循环跑 40 分钟、253 次工具调用,成本不到 3 美元。
Meta 闭源的 Muse 演示了「只属于一个人的 agent」长什么样之后,这篇报告先根据公开资料逐条拆解 Muse 的构建方式,再给出开源对应物 nanoMuse(GPL-3.0):一个 agent 跑遍你名下的手机、电脑等设备,通过任何人都能自托管的中继共享同一段对话。每个动作执行前都要过 Sentinel 审批,记忆以用户可直接阅读的文件存放,底层模型也由用户自己选。
MOSS-Image 是一套开源图像生成系统,针对的痛点是:开源权重模型在密集文字和复杂版式上仍然吃力。系统由两部分组成:一个从零预训练的 5B 单流扩散 Transformer,官方称它支持中英双语长文渲染和精确版式控制;再加一个意图感知的智能体提示增强模块,把用户随口一句需求自动展开成详细的内容与排版规格。报告提出两个新基准 LongLongTextBench 和 RealLayoutArena,并报告 MOSS-Image 在双语长文渲染上以 96.3% 的平均文字覆盖率位居开源模型第一,在端到端复杂版式生成上排名第二。作者表示将开源模型、训练配方和评测框架。
手动搭的 agent 执行框架往往绑死某个领域,撑不起跨领域的长程任务。Raven 把「模型 + 执行框架」的组合当成可拼接的智能单元:Host Agent 负责拆目标、调度各专业子 agent 并合并结果;host archive 和 EverOS 把任务经验沉淀下来,再由 Skill Forge 提炼成可复用的流程。论文还给出在统一资源预算下扩大可靠任务覆盖面的充分条件。
OpenGCUA 把通用电脑操作智能体(GCUA)的技术栈整个开源重建,动机是 GPT-6 Astra 等前沿系统的 computer use 实现大多闭源、无法系统研究。核心思路是:模型在「视觉点鼠标」和「直接写代码执行」之间自由选择,中间结果可以反过来决定后续操作;同时提出 harness-to-model 决策转移,把部分观察与任务状态判断从写死的 harness 规则挪进模型自己手里。作者报告称,在 OSWorld-v2 上整套配置对全部 8 个受测模型(含 GPT-6 Astra 和 Claude Opus 5)都有提升,平均 partial score 提高 19.6 分,相对纯 GUI 批量执行平均每任务报告的步数减少 53.0%。除实现与 prompt 外,团队还公开了 8 个模型的全部评测轨迹,以及真机 harness 和跨设备 SDK 的早期版本(覆盖电脑、手机与浏览器);在真机 harness 的 4 个 macOS 任务上,其数据显示部分 Qwen3.8-Max 运行报告的推理 token 用量是 GPT-6 Astra 的 19.4 倍,提示各模型在真机执行效率上差异很大。
这篇论文把 GPT-6-Astra 当作通用具身智能体来考察,而不是某个机器人上的专用模型:测试覆盖桌面操作、人形、移动平台和灵巧手共 12 个基准,还外加 8 套真实机器人部署。作者的发现是:给它上下文示例并拉长执行时程后,它能展现出相当广的操作与导航能力;但「System 2 慢思考 + 底层控制器」的组合成本高,示教采集昂贵,失败往往源于无法挽回的物理失误而非推理出错。结论是:GPT-6-Astra 已基本跨过「具备具身能力」的门槛,但距离实用的具身智能还有距离,论文还给出了下一代更难基准的设计思路。
MemT-1.0(Nano 与 Flash 两个尺寸)把「记忆」做成模型计算的一部分,而不是把历史塞进上下文窗口:在 Metis 架构上用 Gated DeltaNet-2 配合 Mixture-of-Storage 层,每轮对话在 token 级别稳定更新记忆。论文报告其平均超过纯参数记忆基线、与检索增强方法相当,128K token 历史下端到端推理有约 1.86 倍加速、持久化存储仅为全量 KV cache 的 1/66,内化检索到的经验后还能提升智能体任务成功率。
这篇 66 页的长文把「脚手架自进化」正式定义成一个问题:模型权重不动,智能体却持续改写自己的软件外壳,包括提示词、记忆、工作流、可执行组件和插件组合;被采纳的修改会跨次运行保留下来。作者把「改什么」与「谁来提案、谁来准入」分开刻画,用演化优化和 PAC 学习式分析给出泛化界与准入规则,并强调每次准入都要用新鲜的独立验证数据。论文同时讨论了这种方法对科研可信度和组织工作流的影响。
用视频生成 agent 拍长片,最容易崩的是镜头与镜头之间的连续性:单纯把提示词或几帧最近画面传给下一个镜头,模型既没有一个统一的「空间坐标系」来回到同一个场景,也没有一条按时间索引的事件记录来重演之前发生的事。ATAS 的做法是把剧本「编译」成带明确位置、机位和事件时间引用的镜头请求,并在生成回路背后维护两份记忆:一份登记静态场景几何的场景记忆,一份按场景、事件、时间索引动态观测的事件记忆。每个生成片段会被重建并登记回记忆,但要先通过审查与状态校验才被采纳。作者报告:该框架在四个视频生成底座上都提升了所有受测的跨镜头一致性指标,在空间重访和事件重演上优于对比 agent 和 3D 引导方法,并在全部六项人工评分标准上拿到最高分。
语言模型的 scaling law 在物理世界数据上已经成熟,但具身智能体在虚拟世界里还成不成立?这篇论文做了系统性对照实验:沿数据量、多样性、模型规模三个轴扫描 120 组训练配置,覆盖 0.8B 到 27B 四种模型尺寸、50 到 1600 小时六档数据预算、从纯 Minecraft 到多世界混合的五种数据配方。主要结论:数据加量只提升训练世界内的表现;数据多样性能迁移到相近世界,对遥远世界几乎无效;大模型数据效率更高,但在单一世界训练时对遥远世界的泛化反而更差。训练过程还呈现出「先学通用界面、再学具体世界」两阶段特征。作者据此拟合了验证损失关于数据量、多样性和规模的 scaling law,并指出遥远世界持续存在的差距意味着通用具身智能体需要持续预训练之外的更多训练阶段。
这篇综述围绕一个核心问题展开:机器人的网络参数部署后保持不变,如何只靠示范或交互就学会新任务?作者按「上下文证据如何接到执行端」把已有方法分成四类:上下文条件策略、几何示范迁移、基于世界模型的控制,以及技能或 agent 式执行,并逐一比较它们的迁移假设,以及训练、对应关系和记忆各自如何让上下文真正生效。综述还梳理了评测该怎么区分「听懂教学」「物理泛化」「经验复用增益」三条轴,最后给出通往物理递归自我改进的研究议程,配套 GitHub 仓库汇总了相关论文。