Research Papers
EN ZH

大模型论文精选

大模型论文精选 · 2026-W43

统计窗口: 2026-07-27 – 2026-10-24 冻结于 2026-10-25

2

YuE2：先写出可读的乐谱、再据此渲染成完整歌曲音频的统一音乐生成模型

符号式音乐模型能显式规划作曲，但成品不像真正的录音；音频模型能生成整首歌，编曲逻辑却藏在里面。YuE2 把两者统一到单个 AR-NAR 混合 Transformer 架构里：先生成可读的乐谱，再展开成语义音乐 token，最后渲染成完整歌曲，并配套 MERT2、SheetSage2 两个表征模型，从没有对齐乐谱的录音中学习。论文称其在 WildSongBench 的 SongBench Global 平均得 6.73(best-of-8 为 6.96);专家盲听中 best-of-8 版本胜过 Suno v4.5、与 Suno v5 基本持平。生成的乐谱是可读的,外部语言模型 agent 可以直接按乐谱修改编曲。

  • 596 星/7日
  • 0 引用
  • 216 点赞

arXiv · multimodal-art-projection/YuE

4

Frontis-MA1：开源的 350 亿“元进化”智能体，递归改进自己的机器学习工程

Frontis-MA1 附带 OpenMLE 全栈开源系统（任务环境、强化学习算子学习、进化搜索），用来研究递归自我改进；其 350 亿参数元进化智能体围绕 Draft、Improve、Debug、Crossover 四类程序进化算子做后训练，作者称在 MLE-Bench Lite 上超过 GPT-5.5 加 Codex 的组合，组件还能迁移到没见过的 NatureBench Lite。

  • 22 星/7日
  • 3 引用
  • 186 点赞

arXiv · FrontisAI/OpenRSI

5

Edge0：35B MoE 权重放 SSD，靠提前一个 token 预测路由实现单卡流式推理

Edge0 是一个开源推理引擎，让 35B 混合专家模型在单张 24GB 显卡上跑起来：专家权重按需从 SSD 流式加载，每层用一个训练好的预路由头提前一个 token 预测下一层该激活哪些专家，让磁盘读取藏在计算背后；再配一个恢复 LoRA 补回 int4 量化的质量损失。作者称单卡可达约 20 tok/s、峰值活跃显存约 3GiB，五个公开基准上平均只比 fp16 原版低几个点。

  • 1,708 星/7日
  • 0 引用
  • 8 点赞

arXiv · Edge0-AI/edge0

6

机器人脚手架几乎为零时，视觉语言模型编程智能体还能走多远？一个极简 harness 报告了 RoboDojo 新纪录

HexaShell 是一个刻意做薄的机器人控制 harness：它只做一件事——把编程智能体的指令翻译成机械臂动作；智能体拿到的是三路标定相机画面、一条命令行、失败日志，以及自己编写可复用工具的能力（工具靠相机射线三角化和射线-平面交点来估算物体与夹爪位置）。工具库只在 10 个布局、每个任务 1 个种子上训练后冻结，然后在每任务 10 个未见布局上接受全部 42 个 RoboDojo 任务检验（智能体为 Codex + GPT-6-Astra 中等推理档）。作者报告 39.7% 成功率和 48.0 进度分，称其为 RoboDojo 新纪录；分任务看，推物 92.5%、记忆类 65.0%，但紧致插孔只有 8.3%。分析指出瓶颈在物理接触而非推理：智能体常常知道该怎么做，却无法把动作可靠地执行出来。工具库已开源。

  • 135 星/7日
  • 0 引用
  • 289 点赞

arXiv · HexaFuture/HexaShell

7

WeVisOne-VL:一个开源 VLM 统一搞定检测、分割、计数和 OCR,细到像素级掩码

细粒度视觉感知通常要把检测、分割、计数、OCR 等一堆专用模型拼在一起。微信视觉团队提出的 WeVisOne-VL 把物体级和像素级任务统一进一个视觉语言模型:通过一个特殊 <OBJ> token 接入轻量像素解码器,同一个模型就能按用户指定的粒度输出框、点、掩码乃至 alpha 抠图。模型采用三阶段课程式 SFT 加多任务 RL 训练,作者在 30 多个基准上报告了领先成绩,并且专门优化了「图中根本没有这个东西」时的拒答能力——这正是这类系统落地时最常翻车的地方。

  • 140 星/7日
  • 0 引用
  • 229 点赞

arXiv · Tencent/WeVisOne-VL

8

StartLux-Decision：0.8B–27B 决策模型，有把握的直答、没把握的才调出显式推理

现在的决策模型有个别扭之处：哪怕答案一眼就能看出来，每次调用也得照样跑完一整条长长的推理链，成本一分不少。StartLux-Decision 训练了一族 0.8B 到 27B 的模型，其中 Instant 变体在全注意力层里引入双向注意力、单次前向直接给答案；AutoThink 变体则按置信度分流——有把握的直答，没把握的才调出显式推理。它的 RLCD² 训练阶段冻结模型，用恰当评分规则奖励决策概率质量的提升，并对过长的推理链施加软惩罚；作者报告这使在生成上限内收尾的推理比例最多提高 48 个百分点、平均推理长度最多缩短 65%，同时决策准确率基本不受影响。他们还发布了 DecisionPivot 基准：由只在一个「会改变答案的细节」上不同的对照样本对组成，答案可以程序化验证。

  • 878 星/7日
  • 0 引用
  • 10 点赞

arXiv · StartLuxLabs/StartLux-Decision

9

从「何时、何地、何事」三个维度考视频模型的新基准，含音视频联合赛道

OmniCompass 把视频理解拆成三个互补任务：时间定位（目标何时出现）、空间定位（目标在哪里）和问答（发生了什么），并分成两条赛道。OmniCompass-VL 考视觉语言模型，含 820 个视频、2,460 条实例；一个音频丰富的子集构成 OmniCompass-AV（240 个视频、720 条实例），考模型能否联合音视频证据作答。每条实例都在「纯文本」和「文本+图像」两种配对设定下测试，数据全部人工标注并多轮质检。作者评测了 50 个多模态大模型，报告开源模型整体仍落后闭源模型，音视频联合理解差距尤其明显，精确的时间与空间定位对头部模型也仍是难点。

  • 47 星/7日
  • 0 引用
  • 574 点赞

arXiv · PolyU-VCLab/OmniCompass

10

VideoJev：一个「系统一」视频模型，快到能对视频流边理解边做选择

视频理解 agent 大多依赖慢速的链式思考解码，而很多任务要求 agent 对视频流及时做出选择，等它「想完」就晚了。VideoJev 反其道而行：把时序定位和视频多选问答统一成结构化决策任务，把多模态大模型原来的自回归答案头换成一个共享打分头，直接给候选时间段和文本选项对视频打分，并用 GRPO 训练。对同一段视频上的连续提问，它通过缓存推理与联合推理复用视觉计算。作者报告：在 4B 和 35B-A3B 底座上，时序定位平均 mIoU 分别提升 6.7 和 10.8 个点、定位提速 2.8-3.1 倍；视频问答上精度追平 Thinking 模式的同时提速超过 100 倍。

  • 84 星/7日
  • 0 引用
  • 205 点赞

arXiv · MCG-NJU/VideoJev

11

40 亿参数的指哪打哪模型：精准指向物体，给机器人当眼睛

GroundingPI 是一个 40 亿参数的 grounding 基座模型，把点和框表示为统一词表里的量化坐标，通过多模态与空间预训练、监督微调和 GRPO 强化学习分阶段训练。作者报告它在覆盖 11 类感知能力的 34 个 grounding 基准上平均得分 73.68%，超过 44 个基线，也高于参数量更大的 GPT-6 Astra(71.54%)。作为下游任务的视觉主干，报告它在 RoboTwin 2.0 机器人操作的四个分布外设定下都优于所有参评主干模型，用在 nuScenes 自动驾驶上开环 L2 误差降到 0.296 米。

  • 68 星/7日
  • 0 引用
  • 260 点赞

arXiv · groundingpi/GroundingPI

12

Player-1：不靠模仿游戏视频，而是在 16 个合成游戏世界里用强化学习把「电脑操作模型」练成玩家

会看屏幕、会点鼠标的电脑操作模型，面对游戏却常常失灵——游戏世界视觉信息丰富、机制五花八门，而靠大规模演示视频训出来的管线只能覆盖动态游戏状态的一小部分。Player-1 改用「合成经验」做后训练：先扩展电脑操作的动作空间，加入相对指针移动、持续按键和复合动作；再用 6044 条精选游戏轨迹配合任务指令和视觉推理做监督微调；最后在 Player-1-Gym 里跑 PPO——这是 16 个围绕各类游戏共通操控需求设计的合成 2D/3D 环境，奖励可程序化验证，观测与控制动态随机化。作者报告：Player-1-9B 和 Player-1-35B-A3B 在 MineDojo-300 上比自己微调后的起点分别高出 27.8 和 17.7 个百分点，其中 9B 模型以 38.33% 的成功率对最强基线的 12.63%，在 ViZDoom-10 和 GameWorld 上也有提升，且收益能迁移到训练环境之外。

  • 55 星/7日
  • 0 引用
  • 330 点赞

arXiv · TencentARC/Player-1

13

Ropedia W0：一个世界模型同时预测人和多种机器人的移动与操作

Ropedia W0 自称是目前第一个同时覆盖人和多种形态机器人的第一人称移动-操作世界基础模型。针对动作空间各不相同的难题，作者用相机位姿编码移动、用投影骨架编码操作，机器人骨架则由各形态的正运动学加上人工关键点标注来构建。配套方面，他们发布了约 1 万小时人类第一视角视频加 3 千小时机器人数据的 Xp-Data 数据集，以及一个长程真机遥操作基准 Xp-Teleop；论文报告在五个跨形态基准和留出的人类第一视角视频上，零样本、少样本、全数据三种设定均取得最优成绩。作者还展示了蒸馏后的模型可以实时滚动一分钟以上的画面，用于 VR 交互、策略评估和基于模型的规划。

  • 83 星/7日
  • 0 引用
  • 187 点赞

arXiv · Ropedia/ropedia-w0

14

Mage-VL:借鉴视频编码器的流式多模态模型,视觉 token 用量砍掉 75% 以上

常规 VLM 把视频当成均匀抽帧的一叠图片,做流式感知时非常浪费。Mage-VL 的做法是向视频编码器借力:自研的 Mage-ViT tokenizer 只编码运动矢量和残差能量指示的高信息量区域,视觉 token 用量减少 75% 以上,同时保住时空上下文。模型用约 5.6 亿张无标注图片和 1 亿帧无标注视频从头训练,再配上仿生的双系统架构——轻量的 System 1 事件门决定「什么时候看」,因果式 System 2 解码器负责推理。作者报告 Mage-VL-4B 在静态任务上打平 Qwen3-VL-4B,在视频理解和 2D/3D 空间推理上更强,墙钟推理速度最高提升 3.5 倍,并全面超过 15B 的 Phi-4-reasoning-vision。

  • 14 星/7日
  • 3 引用
  • 37 点赞

arXiv · microsoft/Mage

本周 · 大模型论文精选