🎮 强化学习¶
💬 EMNLP2026 · 7 篇论文解读
📌 同领域跨会议浏览: 🧠 NeurIPS2026 (237) · 🎞️ ECCV2026 (12) · 📷 CVPR2026 (25) · 🔬 ICLR2026 (400) · 💬 ACL2026 (46) · 🧪 ICML2026 (110)
🔥 高频主题: 强化学习 ×5
- Beyond SFT-Optimality: Cold-Start Data Selection for Reinforcement Learning via Gradient Subspace Coverage
-
针对传统以 SFT 性能为导向的数据选择准则无法预测下游强化学习样本效率的倒挂现象,本文提出 RL-Proxy-Coverage 方法,利用紧凑的 RL 锚点提示与验证器奖励估计低秩奖励梯度子空间,并通过贪心对数行列式目标选择提供非冗余覆盖的冷启动 SFT 子集,显著提升下游数学推理 RL 的样本效率。
- EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning
-
EDGE 提出将检索经验从推理期常驻的提示拐杖转变为训练期的瞬态探索脚手架,通过组内无损评估经验边际增益并以反向 KL 散度蒸馏至自身参数,实现了无需推理期检索依赖的自主探索智能体。
- Expanding the Solvable Frontier: Policy-Adaptive Curriculum Learning for Reasoning RL
-
针对推理强化学习中静态难度标签与学生模型实际能力脱节的痛点,本文提出策略自适应课程框架 PAD-Curriculum,基于学生贪婪采样轨迹划分已解与未解边界,并利用冻结评分模型归一化 KL 散度对已解题目精细排序与动态重排,在不引入 token 级模仿的前提下显著提升数学推理性能。
- HIPO: Instruction Hierarchy via Constrained Reinforcement Learning
-
本文提出 HIPO 对齐框架,将大语言模型的分层指令遵循(HIF)形式化为约束马尔可夫决策过程(CMDP),利用解耦式判别器和基于组相对优势的原对偶安全强化学习,在严格满足系统提示词约束的可行域内最大化用户效用。
- How Much Supervised Fine-Tuning Is Enough? Dissecting the Impact of SFT Extent on Downstream Reinforcement Learning Performance
-
本文系统剖析了监督微调(SFT)深度对下游强化学习(RL,如GRPO)性能的制约机制,提出衡量解码概率集中度的刚性指数(Rigidity Index)与精度-刚性拐点准则,证明在拐点处由SFT切换至RL能在保障领域对齐的同时最大化下游探索收益。
- Long Document Reconstruction Unlocks Scalable Long-Context RLVR
-
本文提出了一种完全无监督的长文本可验证奖励强化学习(RLVR)框架,通过遮蔽长文档中的段落并让大模型从打乱的候选池中重构正确顺序,利用文档自身固有的篇章结构提供自动化、可验证的稠密奖励与课程学习信号,无需人工问答标注或教师模型蒸馏即可显著提升大模型的长上下文检索与综合推理能力。
- Source-Grounded Semantic Reinforcement Learning for Low-Resource Target-Language Generation
-
针对低资源目标语言生成中平行数据稀缺的问题,SG-SRL 提出“训练-强化-恢复”三阶段框架,利用多语言重排器构建无目标参考的源端语义奖励,将海量高资源源语言单语数据转化为强化学习语义监督,并通过轻量级微调消除奖励作弊、恢复目标语言格式。