Research Papers
EN ZH

大模型论文精选

大模型论文精选 · 2026-W42

统计窗口: 2026-07-20 – 2026-10-17 冻结于 2026-10-18

2

YuE2：先写出可读的乐谱、再据此渲染成完整歌曲音频的统一音乐生成模型

符号式音乐模型能显式规划作曲，但成品不像真正的录音；音频模型能生成整首歌，编曲逻辑却藏在里面。YuE2 把两者统一到单个 AR-NAR 混合 Transformer 架构里：先生成可读的乐谱，再展开成语义音乐 token，最后渲染成完整歌曲，并配套 MERT2、SheetSage2 两个表征模型，从没有对齐乐谱的录音中学习。论文称其在 WildSongBench 的 SongBench Global 平均得 6.73(best-of-8 为 6.96);专家盲听中 best-of-8 版本胜过 Suno v4.5、与 Suno v5 基本持平。生成的乐谱是可读的,外部语言模型 agent 可以直接按乐谱修改编曲。

  • 810 星/7日
  • 0 引用
  • 216 点赞

arXiv · multimodal-art-projection/YuE

3

小米机器人一号：10 万小时以上真机轨迹预训练的视觉-语言-动作模型

小米机器人团队的视觉-语言-动作基础模型，用 10 万小时以上的真机 UMI 轨迹做预训练，并自动标注场景转换语言，再经后训练适配不同本体和人类的指令式提示。论文称数据量和参数量增加时性能持续提升，在新环境里可以开箱即用，灵巧任务上也能高效微调。

  • 8 星/7日
  • 15 引用
  • 75 点赞
  • #3 robocasa

arXiv · XiaomiRobotics/Xiaomi-Robotics-1

5

Frontis-MA1：开源的 350 亿“元进化”智能体，递归改进自己的机器学习工程

Frontis-MA1 附带 OpenMLE 全栈开源系统（任务环境、强化学习算子学习、进化搜索），用来研究递归自我改进；其 350 亿参数元进化智能体围绕 Draft、Improve、Debug、Crossover 四类程序进化算子做后训练，作者称在 MLE-Bench Lite 上超过 GPT-5.5 加 Codex 的组合，组件还能迁移到没见过的 NatureBench Lite。

  • 33 星/7日
  • 3 引用
  • 186 点赞

arXiv · FrontisAI/OpenRSI

6

Agent-Reflex：教语言 agent 在工具反馈出错时学会停下来反思、自我纠正

真实的 agent 环境里，工具返回常常带噪声，用户的纠正也往往含糊，而大多数训练好的 agent 只会硬着头皮继续往前走。人民大学团队的这篇工作设计了一条三段式管线（RSD、ReSFT、ORPO）：先从 agent 轨迹里挖掘反思行为，再蒸馏进 8B 的底座模型，最后用强化学习把「主动反思」磨得更灵。模型基于 Qwen3-8B，作者在六个 agent 评测套件上都报告了提升，并在他们构造的 AgentNoiseBench（往工具反馈里注入真实噪声）上验证了更强的鲁棒性。

  • 229 星/7日
  • 0 引用
  • 198 点赞

arXiv · RUC-NLPIR/Agent-Reflex

7

Player-1：不靠模仿游戏视频，而是在 16 个合成游戏世界里用强化学习把「电脑操作模型」练成玩家

会看屏幕、会点鼠标的电脑操作模型，面对游戏却常常失灵——游戏世界视觉信息丰富、机制五花八门，而靠大规模演示视频训出来的管线只能覆盖动态游戏状态的一小部分。Player-1 改用「合成经验」做后训练：先扩展电脑操作的动作空间，加入相对指针移动、持续按键和复合动作；再用 6044 条精选游戏轨迹配合任务指令和视觉推理做监督微调；最后在 Player-1-Gym 里跑 PPO——这是 16 个围绕各类游戏共通操控需求设计的合成 2D/3D 环境，奖励可程序化验证，观测与控制动态随机化。作者报告：Player-1-9B 和 Player-1-35B-A3B 在 MineDojo-300 上比自己微调后的起点分别高出 27.8 和 17.7 个百分点，其中 9B 模型以 38.33% 的成功率对最强基线的 12.63%，在 ViZDoom-10 和 GameWorld 上也有提升，且收益能迁移到训练环境之外。

  • 131 星/7日
  • 0 引用
  • 330 点赞

arXiv · TencentARC/Player-1

8

从「何时、何地、何事」三个维度考视频模型的新基准，含音视频联合赛道

OmniCompass 把视频理解拆成三个互补任务：时间定位（目标何时出现）、空间定位（目标在哪里）和问答（发生了什么），并分成两条赛道。OmniCompass-VL 考视觉语言模型，含 820 个视频、2,460 条实例；一个音频丰富的子集构成 OmniCompass-AV（240 个视频、720 条实例），考模型能否联合音视频证据作答。每条实例都在「纯文本」和「文本+图像」两种配对设定下测试，数据全部人工标注并多轮质检。作者评测了 50 个多模态大模型，报告开源模型整体仍落后闭源模型，音视频联合理解差距尤其明显，精确的时间与空间定位对头部模型也仍是难点。

  • 79 星/7日
  • 0 引用
  • 574 点赞

arXiv · PolyU-VCLab/OmniCompass

9

VideoJev：一个「系统一」视频模型，快到能对视频流边理解边做选择

视频理解 agent 大多依赖慢速的链式思考解码，而很多任务要求 agent 对视频流及时做出选择，等它「想完」就晚了。VideoJev 反其道而行：把时序定位和视频多选问答统一成结构化决策任务，把多模态大模型原来的自回归答案头换成一个共享打分头，直接给候选时间段和文本选项对视频打分，并用 GRPO 训练。对同一段视频上的连续提问，它通过缓存推理与联合推理复用视觉计算。作者报告：在 4B 和 35B-A3B 底座上，时序定位平均 mIoU 分别提升 6.7 和 10.8 个点、定位提速 2.8-3.1 倍；视频问答上精度追平 Thinking 模式的同时提速超过 100 倍。

  • 159 星/7日
  • 0 引用
  • 205 点赞

arXiv · MCG-NJU/VideoJev

10

Edge0：35B MoE 权重放 SSD，靠提前一个 token 预测路由实现单卡流式推理

Edge0 是一个开源推理引擎，让 35B 混合专家模型在单张 24GB 显卡上跑起来：专家权重按需从 SSD 流式加载，每层用一个训练好的预路由头提前一个 token 预测下一层该激活哪些专家，让磁盘读取藏在计算背后；再配一个恢复 LoRA 补回 int4 量化的质量损失。作者称单卡可达约 20 tok/s、峰值活跃显存约 3GiB，五个公开基准上平均只比 fp16 原版低几个点。

  • 1,335 星/7日
  • 0 引用
  • 8 点赞

arXiv · Edge0-AI/edge0

11

40 亿参数的指哪打哪模型：精准指向物体，给机器人当眼睛

GroundingPI 是一个 40 亿参数的 grounding 基座模型，把点和框表示为统一词表里的量化坐标，通过多模态与空间预训练、监督微调和 GRPO 强化学习分阶段训练。作者报告它在覆盖 11 类感知能力的 34 个 grounding 基准上平均得分 73.68%，超过 44 个基线，也高于参数量更大的 GPT-6 Astra(71.54%)。作为下游任务的视觉主干，报告它在 RoboTwin 2.0 机器人操作的四个分布外设定下都优于所有参评主干模型，用在 nuScenes 自动驾驶上开环 L2 误差降到 0.296 米。

  • 100 星/7日
  • 0 引用
  • 260 点赞

arXiv · groundingpi/GroundingPI

13

Realtime-Venus：两个 9B 全双工模型，对话不停歇，工具任务交给后台 harness 异步执行

Realtime-Venus 是一个主动式全双工交互系统，由两个分别训练的 9B 模型组成：Realtime-Venus-Omni 负责音视频对话，Realtime-Venus-Audio 负责纯语音对话，两者都把持续感知、对话控制和原生语音生成整合在同一条因果时间线上。双循环运行时让前台对话不中断：工具任务交给 Realtime-Venus-Harness 在后台异步执行，结果再汇回正在进行的对话。作者报告 Omni 在八个视频基准中的六个上领先参评在线模型，Audio 在 Full-Duplex-Bench 的三项续说指标上均超过 Gemini 3.1 Live 和 GPT-4o。

  • 53 星/7日
  • 0 引用
  • 195 点赞

arXiv · inclusionAI/Realtime-Venus

14

0.8B 到 4B 的小模型，直接输出结构化选项和校准概率，替代自由文本作答

Intern-Decision 是一组 0.8B、2B、4B 的多模态决策模型，面向游戏、图形界面、浏览器这类「从有限选项里挑动作」的场景，直接输出结构化选项和候选概率，省去逐条生成自由文本的延迟。它用自回归掩码语言建模目标，在一份完整 JSON 骨架里每个字段放一个决策占位符：真值符号只出现在监督信号里，推理时所有字段在单次前向中由主干模型的原生语言模型头一次算完。作者报告 4B 模型在七个评测套件上平均准确率达 90.02%；单张 RTX 4090 上对一个 289 token、三字段的固定请求，4B 平均延迟 44.16 毫秒。他们还展示了小样本试点上温度缩放改善校准，以及在难例公开基准上把低置信决策转交大模型后，准确率从 73.87% 提升到 87.39%。

  • 202 星/7日
  • 0 引用
  • 25 点赞

arXiv · InternLM/Intern-Decision

本周 · 大模型论文精选