Kimi K3:2.8 万亿参数、百万上下文的开源混合专家模型
Kimi K3 是月之暗面发布的开源 MoE 模型:总参数 2.8 万亿、每 token 激活 1040 亿,原生支持视觉输入和百万 token 上下文,基于 Kimi Delta Attention 架构,并在通用、智能体、编程等方向做了多档推理强度的强化学习后训练。
- 39 星/7日
- 16 引用
- 519 点赞
- #1 mathvision
Kimi K3 是月之暗面发布的开源 MoE 模型:总参数 2.8 万亿、每 token 激活 1040 亿,原生支持视觉输入和百万 token 上下文,基于 Kimi Delta Attention 架构,并在通用、智能体、编程等方向做了多档推理强度的强化学习后训练。
开源大模型越来越重,但本地推理还按“把数据中心的办法缩小”的思路做。FreeToken 围绕本地 AI 的两个现实(智能体负载持续变化、每台机器的资源配比不同),联合设计模型加载、专家驻留、CPU-GPU 协同执行与内存管理,带宽允许时让个人机器也能流畅服务大 MoE 模型。
Prime Agent 是一个开源的长程智能体框架:常驻 IPython 会话让模型用代码做测试时计算,历史、记忆、技能和子智能体配置可以跨任务保留,递归子智能体之间直接通信协作,人类还能随时查看和管理后台会话。
符号式音乐模型能显式规划作曲,但成品不像真正的录音;音频模型能生成整首歌,编曲逻辑却藏在里面。YuE2 把两者统一到单个 AR-NAR 混合 Transformer 架构里:先生成可读的乐谱,再展开成语义音乐 token,最后渲染成完整歌曲,并配套 MERT2、SheetSage2 两个表征模型,从没有对齐乐谱的录音中学习。论文称其在 WildSongBench 的 SongBench Global 平均得 6.73(best-of-8 为 6.96);专家盲听中 best-of-8 版本胜过 Suno v4.5、与 Suno v5 基本持平。生成的乐谱是可读的,外部语言模型 agent 可以直接按乐谱修改编曲。
小米机器人团队的视觉-语言-动作基础模型,用 10 万小时以上的真机 UMI 轨迹做预训练,并自动标注场景转换语言,再经后训练适配不同本体和人类的指令式提示。论文称数据量和参数量增加时性能持续提升,在新环境里可以开箱即用,灵巧任务上也能高效微调。
这篇工作为双工语音模型设计了一套流式记忆架构:左脑负责事实信息,右脑负责情绪与个性化,让语音助手在实时对话中同时记住“你说了什么”和“你是怎么说的”。
Ouroboros 是一个自我迭代的编程智能体框架:工具、提示词、上下文组装乃至核心实现都通过“经评审的提交”逐步进化,并成为后续运行的基础,支持递归自由进化和经验驱动核心进化两种模式。作者还报告了长达 161 天、横跨七个人类交流界面的真实部署,强调当智能体开始重写自己时,安全护栏必须始终保持最高权威。
Meta 闭源的 Muse 演示了「只属于一个人的 agent」长什么样之后,这篇报告先根据公开资料逐条拆解 Muse 的构建方式,再给出开源对应物 nanoMuse(GPL-3.0):一个 agent 跑遍你名下的手机、电脑等设备,通过任何人都能自托管的中继共享同一段对话。每个动作执行前都要过 Sentinel 审批,记忆以用户可直接阅读的文件存放,底层模型也由用户自己选。
用视频生成 agent 拍长片,最容易崩的是镜头与镜头之间的连续性:单纯把提示词或几帧最近画面传给下一个镜头,模型既没有一个统一的「空间坐标系」来回到同一个场景,也没有一条按时间索引的事件记录来重演之前发生的事。ATAS 的做法是把剧本「编译」成带明确位置、机位和事件时间引用的镜头请求,并在生成回路背后维护两份记忆:一份登记静态场景几何的场景记忆,一份按场景、事件、时间索引动态观测的事件记忆。每个生成片段会被重建并登记回记忆,但要先通过审查与状态校验才被采纳。作者报告:该框架在四个视频生成底座上都提升了所有受测的跨镜头一致性指标,在空间重访和事件重演上优于对比 agent 和 3D 引导方法,并在全部六项人工评分标准上拿到最高分。
Frontis-MA1 附带 OpenMLE 全栈开源系统(任务环境、强化学习算子学习、进化搜索),用来研究递归自我改进;其 350 亿参数元进化智能体围绕 Draft、Improve、Debug、Crossover 四类程序进化算子做后训练,作者称在 MLE-Bench Lite 上超过 GPT-5.5 加 Codex 的组合,组件还能迁移到没见过的 NatureBench Lite。
手动搭的 agent 执行框架往往绑死某个领域,撑不起跨领域的长程任务。Raven 把「模型 + 执行框架」的组合当成可拼接的智能单元:Host Agent 负责拆目标、调度各专业子 agent 并合并结果;host archive 和 EverOS 把任务经验沉淀下来,再由 Skill Forge 提炼成可复用的流程。论文还给出在统一资源预算下扩大可靠任务覆盖面的充分条件。
ABot-World-0 是动作条件视频世界模型,用 3A 游戏、仿真引擎和互联网视频的多源数据训练,直接以原始键盘输入操控,并用参考角色记忆保证第三人称滚动的身份一致。作者称单张 RTX 5090 即可流式输出 720p、最高 16 FPS 的交互画面,动作到首帧延迟约 1.2 秒,目标是真正能玩的长程闭环交互。
真实的 agent 环境里,工具返回常常带噪声,用户的纠正也往往含糊,而大多数训练好的 agent 只会硬着头皮继续往前走。人民大学团队的这篇工作设计了一条三段式管线(RSD、ReSFT、ORPO):先从 agent 轨迹里挖掘反思行为,再蒸馏进 8B 的底座模型,最后用强化学习把「主动反思」磨得更灵。模型基于 Qwen3-8B,作者在六个 agent 评测套件上都报告了提升,并在他们构造的 AgentNoiseBench(往工具反馈里注入真实噪声)上验证了更强的鲁棒性。
Edge0 是一个开源推理引擎,让 35B 混合专家模型在单张 24GB 显卡上跑起来:专家权重按需从 SSD 流式加载,每层用一个训练好的预路由头提前一个 token 预测下一层该激活哪些专家,让磁盘读取藏在计算背后;再配一个恢复 LoRA 补回 int4 量化的质量损失。作者称单卡可达约 20 tok/s、峰值活跃显存约 3GiB,五个公开基准上平均只比 fp16 原版低几个点。
长程智能体常在膨胀的上下文里丢状态,还把错误的自我评估带进后续决策。该框架把任务状态显式维护在执行之外,只用环境里能独立核实的事实更新状态,配合 Manage-Execute-Audit 循环,让经理、执行、审计三角色互相制衡。
会看屏幕、会点鼠标的电脑操作模型,面对游戏却常常失灵——游戏世界视觉信息丰富、机制五花八门,而靠大规模演示视频训出来的管线只能覆盖动态游戏状态的一小部分。Player-1 改用「合成经验」做后训练:先扩展电脑操作的动作空间,加入相对指针移动、持续按键和复合动作;再用 6044 条精选游戏轨迹配合任务指令和视觉推理做监督微调;最后在 Player-1-Gym 里跑 PPO——这是 16 个围绕各类游戏共通操控需求设计的合成 2D/3D 环境,奖励可程序化验证,观测与控制动态随机化。作者报告:Player-1-9B 和 Player-1-35B-A3B 在 MineDojo-300 上比自己微调后的起点分别高出 27.8 和 17.7 个百分点,其中 9B 模型以 38.33% 的成功率对最强基线的 12.63%,在 ViZDoom-10 和 GameWorld 上也有提升,且收益能迁移到训练环境之外。
这篇 66 页的长文把「脚手架自进化」正式定义成一个问题:模型权重不动,智能体却持续改写自己的软件外壳,包括提示词、记忆、工作流、可执行组件和插件组合;被采纳的修改会跨次运行保留下来。作者把「改什么」与「谁来提案、谁来准入」分开刻画,用演化优化和 PAC 学习式分析给出泛化界与准入规则,并强调每次准入都要用新鲜的独立验证数据。论文同时讨论了这种方法对科研可信度和组织工作流的影响。
视频理解 agent 大多依赖慢速的链式思考解码,而很多任务要求 agent 对视频流及时做出选择,等它「想完」就晚了。VideoJev 反其道而行:把时序定位和视频多选问答统一成结构化决策任务,把多模态大模型原来的自回归答案头换成一个共享打分头,直接给候选时间段和文本选项对视频打分,并用 GRPO 训练。对同一段视频上的连续提问,它通过缓存推理与联合推理复用视觉计算。作者报告:在 4B 和 35B-A3B 底座上,时序定位平均 mIoU 分别提升 6.7 和 10.8 个点、定位提速 2.8-3.1 倍;视频问答上精度追平 Thinking 模式的同时提速超过 100 倍。
扩散模型做在线强化学习微调一直有两难:Flow-GRPO 这类反向过程方法信用分配差、算力浪费;DiffusionNFT 这类前向方法快但不稳,还依赖精心调过的 EMA。DiffusionART 把每个 prompt 的奖励聚合成一个统一的改进方向,再加一步信赖域遮罩的修正更新,既不需要可微奖励模型,也不用逐任务调参。作者报告在 HunyuanVideo-13B 上用它训到与 DiffusionNFT、Flow-GRPO-Fast 后期相当的奖励水平,GPU 时数大约省 12 倍;开源框架同时覆盖文生图、文生视频和图生视频,并内置六个基线方法方便对照。
OmniCompass 把视频理解拆成三个互补任务:时间定位(目标何时出现)、空间定位(目标在哪里)和问答(发生了什么),并分成两条赛道。OmniCompass-VL 考视觉语言模型,含 820 个视频、2,460 条实例;一个音频丰富的子集构成 OmniCompass-AV(240 个视频、720 条实例),考模型能否联合音视频证据作答。每条实例都在「纯文本」和「文本+图像」两种配对设定下测试,数据全部人工标注并多轮质检。作者评测了 50 个多模态大模型,报告开源模型整体仍落后闭源模型,音视频联合理解差距尤其明显,精确的时间与空间定位对头部模型也仍是难点。