TrOPD:面向小模型的信任域在线策略蒸馏
TrOPD 只在教师真正可信的 token 上做在线策略蒸馏,在数学、代码、STEM 上比标准 OPD 平均高出 3.06 到 3.52 分。
机构
University of Oxford
世界上历史最悠久的大学之一,机器学习研究覆盖深度学习理论、自然语言处理与强化学习。
Research Papers Research Papers 机构
世界上历史最悠久的大学之一,机器学习研究覆盖深度学习理论、自然语言处理与强化学习。
TrOPD 只在教师真正可信的 token 上做在线策略蒸馏,在数学、代码、STEM 上比标准 OPD 平均高出 3.06 到 3.52 分。