Kimi K3:2.8 万亿参数、百万上下文的开源混合专家模型
Kimi K3 是月之暗面发布的开源 MoE 模型:总参数 2.8 万亿、每 token 激活 1040 亿,原生支持视觉输入和百万 token 上下文,基于 Kimi Delta Attention 架构,并在通用、智能体、编程等方向做了多档推理强度的强化学习后训练。
- 35 星/7日
- 16 引用
- 519 点赞
- #1 mathvision
Kimi K3 是月之暗面发布的开源 MoE 模型:总参数 2.8 万亿、每 token 激活 1040 亿,原生支持视觉输入和百万 token 上下文,基于 Kimi Delta Attention 架构,并在通用、智能体、编程等方向做了多档推理强度的强化学习后训练。
Prime Agent 是一个开源的长程智能体框架:常驻 IPython 会话让模型用代码做测试时计算,历史、记忆、技能和子智能体配置可以跨任务保留,递归子智能体之间直接通信协作,人类还能随时查看和管理后台会话。
开源大模型越来越重,但本地推理还按“把数据中心的办法缩小”的思路做。FreeToken 围绕本地 AI 的两个现实(智能体负载持续变化、每台机器的资源配比不同),联合设计模型加载、专家驻留、CPU-GPU 协同执行与内存管理,带宽允许时让个人机器也能流畅服务大 MoE 模型。
小米机器人团队的视觉-语言-动作基础模型,用 10 万小时以上的真机 UMI 轨迹做预训练,并自动标注场景转换语言,再经后训练适配不同本体和人类的指令式提示。论文称数据量和参数量增加时性能持续提升,在新环境里可以开箱即用,灵巧任务上也能高效微调。
符号式音乐模型能显式规划作曲,但成品不像真正的录音;音频模型能生成整首歌,编曲逻辑却藏在里面。YuE2 把两者统一到单个 AR-NAR 混合 Transformer 架构里:先生成可读的乐谱,再展开成语义音乐 token,最后渲染成完整歌曲,并配套 MERT2、SheetSage2 两个表征模型,从没有对齐乐谱的录音中学习。论文称其在 WildSongBench 的 SongBench Global 平均得 6.73(best-of-8 为 6.96);专家盲听中 best-of-8 版本胜过 Suno v4.5、与 Suno v5 基本持平。生成的乐谱是可读的,外部语言模型 agent 可以直接按乐谱修改编曲。
这篇工作为双工语音模型设计了一套流式记忆架构:左脑负责事实信息,右脑负责情绪与个性化,让语音助手在实时对话中同时记住“你说了什么”和“你是怎么说的”。
Meta 闭源的 Muse 演示了「只属于一个人的 agent」长什么样之后,这篇报告先根据公开资料逐条拆解 Muse 的构建方式,再给出开源对应物 nanoMuse(GPL-3.0):一个 agent 跑遍你名下的手机、电脑等设备,通过任何人都能自托管的中继共享同一段对话。每个动作执行前都要过 Sentinel 审批,记忆以用户可直接阅读的文件存放,底层模型也由用户自己选。
手动搭的 agent 执行框架往往绑死某个领域,撑不起跨领域的长程任务。Raven 把「模型 + 执行框架」的组合当成可拼接的智能单元:Host Agent 负责拆目标、调度各专业子 agent 并合并结果;host archive 和 EverOS 把任务经验沉淀下来,再由 Skill Forge 提炼成可复用的流程。论文还给出在统一资源预算下扩大可靠任务覆盖面的充分条件。
长程智能体常在膨胀的上下文里丢状态,还把错误的自我评估带进后续决策。该框架把任务状态显式维护在执行之外,只用环境里能独立核实的事实更新状态,配合 Manage-Execute-Audit 循环,让经理、执行、审计三角色互相制衡。
这篇综述把自我改进的智能体拆成“基础模型 + 提示词、记忆、工具、控制逻辑组成的运行脚手架”,并把“改进”定义为一个自我触发的更新算子:把经验转化为能力积累,尽量少依赖人工。作者按更新对象和驱动信号梳理了大量工作,从改提示词、改记忆一直到权重级的自我修改。
这篇工作给“递归自我改进”找了一个具体机制:系统记录每个用户回合预测的能力档位、实际路由到的服务层和交互结果,把这些记录经结构校验与六维语义评估后转成训练样本,保留交错推理、工具调用和 harness 上下文,驱动下一轮 agentic 后训练。
通用视觉编码器没见过密集文字,直接套文档任务效果差。MonkeyOCRv2 构建了 1.13 亿张、17 语种的文档预训练语料,把图转文生成和像素级笔画重建结合起来联合预训练,让模型真正学会字符级的文档感知。
Edge0 是一个开源推理引擎,让 35B 混合专家模型在单张 24GB 显卡上跑起来:专家权重按需从 SSD 流式加载,每层用一个训练好的预路由头提前一个 token 预测下一层该激活哪些专家,让磁盘读取藏在计算背后;再配一个恢复 LoRA 补回 int4 量化的质量损失。作者称单卡可达约 20 tok/s、峰值活跃显存约 3GiB,五个公开基准上平均只比 fp16 原版低几个点。
ABot-World-0 是动作条件视频世界模型,用 3A 游戏、仿真引擎和互联网视频的多源数据训练,直接以原始键盘输入操控,并用参考角色记忆保证第三人称滚动的身份一致。作者称单张 RTX 5090 即可流式输出 720p、最高 16 FPS 的交互画面,动作到首帧延迟约 1.2 秒,目标是真正能玩的长程闭环交互。
Frontis-MA1 附带 OpenMLE 全栈开源系统(任务环境、强化学习算子学习、进化搜索),用来研究递归自我改进;其 350 亿参数元进化智能体围绕 Draft、Improve、Debug、Crossover 四类程序进化算子做后训练,作者称在 MLE-Bench Lite 上超过 GPT-5.5 加 Codex 的组合,组件还能迁移到没见过的 NatureBench Lite。
反复自动修改智能体的 harness(提示词、控制流、工具、记忆)看似在自我进化,实则常常只是背熟了训练任务,一换基准就露馅。RRSI 给进化环的两端都加上正则:提案方在时间退火预算下工作、被鼓励走向没试过的路径;筛选方用 critic 挡掉针对特定基准的修改,用 pruner 剔除太小、太贵或已无用的编辑。论文称在进化所用划分上最多提升 14.1 分,在五个分布外基准上最多提升 4.7 分,且进化出的 harness 运行少用 30% 的 policy token。
SEED 让智能体在强化学习中自我进化:把跑通的轨迹改写成自然语言“事后技能”,再把技能带来的行为变化蒸馏回策略,与基于结果的强化学习联合训练,形成一个稠密的 token 级信号。作者称这同时提升了样本效率、最终成绩,以及面对没见过的文本和视觉智能体任务时的泛化能力。
Ouroboros 是一个自我迭代的编程智能体框架:工具、提示词、上下文组装乃至核心实现都通过“经评审的提交”逐步进化,并成为后续运行的基础,支持递归自由进化和经验驱动核心进化两种模式。作者还报告了长达 161 天、横跨七个人类交流界面的真实部署,强调当智能体开始重写自己时,安全护栏必须始终保持最高权威。
数据智能体只能透过通用工具看到列名和文件路径,看不到数据本身的含义,这就是 agent-data 鸿沟。EvoOntology 把本体(schema、内容、工具三层)封装成一个 MCP 服务器,让智能体运行时可以主动查询;构建由 builder 智能体自动完成,之后通过归因引导的编辑持续进化,每处修改都要经过与 backbone 对照的成对评估才被接受。论文称在三个数据智能体基准、四个 LLM backbone 上稳定优于强基线和手工语义层方案。
这篇报告把“持续、可验证地推进真实工作”作为训练目标:一方面扩大可执行文件、搜索、代码环境的多样性与可验证性(环境扩展),另一方面训练智能体拆解长任务、并行委派、整合异步结果并随时重规划(协同扩展)。