⚖️ 对齐 / RLHF¶
🧠 NeurIPS2026 · 44 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (6) · 📷 CVPR2026 (12) · 🔬 ICLR2026 (102) · 💬 ACL2026 (38) · 🧪 ICML2026 (37) · 🤖 AAAI2026 (17)
🔥 高频主题: 对齐/RLHF ×20 · LLM ×13 · 对抗鲁棒 ×4 · 强化学习 ×3
- Alignment Dynamics in LLM Fine-Tuning
-
本文基于经验神经正切核与对齐得分推导出大模型微调中对齐演化的闭式解,将对齐更新正交分解为驱动力与回弹力,揭示了后验狭窄度加速对齐逆转的机理,并发现及验证了重曝光诱发更快二次对齐的“预热启动效应”。
- Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable
-
论文固定错误答案、只改变背书者,用方向移除与独立拟合的归因补丁证明:在三个开放权重模型家族中,服从错误来源与迎合用户具有可选择性干预的差异,不能用同一种迎合评测代替。
- Back to Blackwell: Closing the Loop on Intransitivity in Multi-Objective Preference Fine-Tuning
-
针对大模型偏好微调中多目标打分引起的偏好非传递性与最优策略不存在问题,本文提出最大熵布莱克威尔优胜者博弈解概念并推导出无须对抗训练的单玩家回归算法 PROSPER,在指令遵循与通用聊天基准上显著超越传统标量化对齐基线。
- Bayesian Preference Learning for Test-Time Steerable Reward Models
-
本文提出变分上下文奖励建模框架(ICRM),将测试时偏好建模转化为基于 Beta 先验的摊销变分推断,仅凭少量示例即可实现对未见偏好标准的单目标与多目标测试时动态调控,并从理论上证明了 KL 正则项对奖励过度优化的抑制作用。
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback
-
提出了无需训练的贝叶斯框架 BASIS,通过标量打分、成对偏好或验证器等弱交互反馈,在测试时联合推断候选目标与任务对齐的相似度准则,并在信息增益准则下主动选择探针。
- Beyond Pairs: Your Language Model is Secretly Optimizing a Preference Graph
-
针对传统 DPO 强行将多采样候选切解为独立样本对而丢弃偏好传递性的缺陷,本文提出 GraphDPO,将采样候选项构建为有向无环偏好图并沿被支配邻域执行基于 Plackett–Luce 的局部归一化损失,在等价类分层下实现线性时间复杂度并显著提升数学推理与程序合成性能。
- BSO: Safety Alignment Is Density Ratio Matching
-
本文揭示了安全对齐最优策略的似然比可闭式分解为数据比与参考分布,从而将安全对齐严格重塑为基于 Bregman 散度的密度比匹配问题(BSO),在无需任何辅助奖励/成本模型的前提下统一了现有方法并取得了更优的安全性与有用性 Pareto 权衡。
- Consolidating Rewarded Perturbations for LLM Post-Training
-
针对权重空间后训练(如 RandOpt)在推理阶段需对测试样本执行数十次前向推理投票的高昂代价,本文提出无梯度算子 CoRP,通过发掘高奖励扰动在权重空间的低秩子空间共性并结合兼容性重加权与留出验证门控,以单次前向推理部署合并更新,在仅用十分之一采样预算下恢复超半数集成增益。
- Diffusion LLMs are Natural Adversaries for any LLM
-
将大模型对抗提示词搜索的离散优化难题重构为扩散大模型(DLLM)的摊销推理任务,通过在联合分布上对目标有害回复进行逆向条件补全采样,无需访问目标模型权重即可高效生成高迁移性、低困惑度的越狱提示词。
- Distributionally Robust Token Optimization in RLHF
-
针对多步推理任务中大语言模型对浅层输入扰动脆弱的问题,本文将分布鲁棒优化(DRO)引入令牌级 RLHF 框架,提出在片段划分上构建 KL 与 \(\chi^2\) 散度不确定性集合的 DRTO 方法,在无需额外计算开销的前提下大幅提升多步数学与代码推理的分布外泛化能力。
- Every Sample Counts: Supervised Fine-Tuning of Language Models with Pointwise Constraints
-
提出一种带有逐样本约束的语言模型监督微调框架,通过增广拉格朗日对偶上升与自适应弹性松弛机制,在保持模型平均下游性能的同时有效消除长尾极端违例。
- Explaining and Preventing Alignment Collapse in Iterative RLHF
-
将迭代RLHF形式化为策略为主导者、奖励模型为跟随者的Stackelberg博弈,揭示了标准近视策略优化忽略参数引导项而诱发对齐崩溃的机理,并提出前瞻策略优化(FPO)通过正则化未来奖励模型参数漂移彻底根治奖励作弊。
- Geometry Conflict: Explaining and Controlling Forgetting in LLM Continual Post-Training
-
本文提出将大语言模型持续后训练的遗忘归因于“状态相对的更新整合失败”,通过归一化 Bures-Wasserstein 距离刻画任务协方差几何冲突,并构建几何冲突 Wasserstein 融合算法(GCWM),在无需回放数据的条件下实现了受控的几何感知增量融合更新。
- How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies
-
论文将智能体强化学习(Agentic RL)的数据维度解构为任务、环境与轨迹三条基数轴,发现环境缩放收益显著优于任务和轨迹(\(\alpha_{\mathrm{E}} \gg \alpha_{\mathrm{T}} \gg \alpha_{\tau}\)),并基于合成折价与崩溃阈值推导出 Chinchilla 风格的计算最优分配配方。
- How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis
-
本文在单指标模型框架下理论揭示了神经网络奖励模型在指数加权下的特征学习与策略优化机制,证明奖励加权不仅能将第一层方向恢复的样本复杂度从信息指数降至生成指数,还能解耦特征学习与策略部署温度并严格刻画下游策略价值差距。
- InSPO: Unlocking Intrinsic Self-Reflection for LLM Preference Optimization
-
提出了内生自我反思偏好优化(InSPO),通过将成对样本中的备选回答作为训练期特权信息构建对称交叉条件策略,彻底解决了传统 DPO 族方法对标量化函数与参考策略缺乏不变性及成对对比信息利用不足的问题,并在推理阶段保持零额外开销。
- IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning
-
提出了基于 Rényi 散度的连续插值自博弈微调框架 IRIS,通过将目标函数解耦为标注数据与合成数据上的两个倾斜风险项并结合自适应阶数调度,统一了现有基于固定散度的自博弈方法并在多轮迭代中持续提升大模型性能。
- Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
-
提出了知识级一致性强化学习框架 KLCF,将长文本事实对齐转化为策略模型表达知识与基座模型参数知识的双向分布匹配,通过事实核对清单与轻量级真实性奖励模型的“双重事实对齐”机制,在无需训练期外部检索的前提下协同优化事实召回率与精确率。
- Learning Where It Matters: Geometric Anchoring for Robust Preference Alignment
-
GAPO 在当前策略附近沿批次平均偏好间隔的下降方向构造临时几何锚点,以各偏好对的间隔退化量调低脆弱样本的更新权重,在多个对齐评测和受控噪声实验中取得改进,但不保证所有模型、指标都胜出。
- LLM Active Alignment: A Nash Equilibrium Perspective
-
本文提出基于人类子群体混合策略的博弈论框架,通过封闭形式解析大语言模型群体的纳什均衡,揭示并消解多智能体策略竞争下对特定群体的“政治排斥”现象。
- MaPPO: Maximum a Posteriori Preference Optimization with Prior Knowledge
-
针对直接偏好优化(DPO)基于最大似然估计(MLE)导致的概率挤压与高分响应过度惩罚问题,MaPPO将先验奖励差引入最大后验(MAP)目标,在无需新增超参数的情况下自适应调节负样本惩罚权重,显著提升策略校准与对齐性能。
- measuring safety alignment effects in autonomous security agents
-
论文构建了包含 30 项本地沙盒安全任务与 1,500 条多轮轨迹的系统级评测基准,对比官方安全对齐模型与未审查/消融衍生模型,揭示单轮拒绝率无法解释智能体效能,实际差异根源于本地证据接地、衍生模型血统与工具接口协议的稳健性。
- Online Data Selection for Instruction Tuning via Gaussian Processes
-
针对现有在线数据选择局限于随机批次内部局部优选(batch-constrained)的瓶颈,GAIA提出利用高斯过程对全量训练集的连续效用流形进行全局建模,并通过固定份额Hedge算法在非平稳质量评分下实现无后悔自适应策略选择,在MMLU、SamSum等任务上显著加速收敛并提升下游泛化。
- Oracle-Robust Online Alignment for Large Language Models
-
针对在线大语言模型偏好对齐中预言机偏离真实分布的问题,本文提出基于点态不确定集的最坏情况鲁棒目标,证明其在对数线性策略下可精确闭式分解为标称损失加显式灵敏度惩罚,并建立了基于投影随机复合梯度的 \(\widetilde{\mathcal{O}}(\varepsilon^{-2})\) 驻点收敛复杂度界。
- PAIR: Prefix-Aware Internal Reward Model for Multi-turn Agent Optimization
-
提出两阶段前缀感知内部奖励模型 PAIR,利用冻结隐状态探针估计信念一致性并结合多层注意力结构特征校正前缀污染偏差,在近零边际计算成本下为多轮智能体 GRPO 提供致密单步奖励。
- Prompts to Proxies: Emulating Human Preferences via a Compact LLM Ensemble
-
提出了偏好重构理论与两阶段框架 P2P(Prompts to Proxies),利用熵导向的主动禀赋生成与 L1 正则化受限回归,仅凭无需微调与人口学隐私数据的 API 推理,以极低成本构建紧凑代理集成忠实重现人类群体偏好分布。
- Response Time Enhances Alignment with Heterogeneous Preferences
-
针对匿名异质标注者场景下传统二元偏好对齐无法识别总体平均偏好的根本缺陷,本文引入无感记录的响应时间并基于漂移扩散模型构建 Richardson 外推两阶段一致估计器,突破了选择数据的失真下界。
- Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks
-
提出了递归评分细则分解(RRD)框架,通过递归分解粗粒度准则、过滤方向偏差与冗余项并采用白化空间均匀加权,构建出高信息量、高覆盖度且无冗余的评分细则集合,显著提升了大模型裁判的偏好判决准确率,并为开放式生成任务的强化微调(RFT)提供了强效稳定的奖励信号。
- Reward Bias Substitution: Single-Axis Bias Mitigations Redirect Optimization Pressure
-
揭示了单轴偏见缓解(如惩罚长度)会通过“测量与优化差距”将优化压力转移到相关代理特征(如过度自信)上造成奖励偏见替代,证明了仅凭审计分布评估无法区分成功缓解与偏见替代,并给出了基于策略诱导分布的多轴检验准则。
- Robust Nash Alignment under Preference Uncertainty
-
本文提出偏好不确定性下的鲁棒纳什对齐(Robust Nash Alignment)框架,将成对偏好核建模在伯努利-KL散度不确定集内,并通过四玩家原始-对偶代理博弈克服非矩形约束求解的NP困难性,实现了 \(\mathcal{O}(1/\sqrt{T})\) 收敛率与认证最差情况胜率保证。
- S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF
-
针对传统 RLHF 仅依赖序列级标量奖励导致信用分配模糊、策略更新方差过大的痛点,本文提出两阶段分层信用分配框架 S2T-RLHF,先通过句子间合作讨价还价分配语义奖励,再通过轻量狄利克雷网络实现有界词元级微调,在无需重训奖励模型的前提下显著提升了对齐训练的稳定性与鲁棒性。
- SCOPE-RL: Stable and Quantitative Control of Policy Entropy in RL Post-Training
-
本文针对大模型强化学习后训练(RLVR/GRPO)中的熵坍塌难题,揭示了高温采样下正负样本对策略熵具有相反作用的温度-正负符号非对称性,提出仅利用少于 2% 的温度自适应正样本构建轻量辅助正则化项的 SCOPE-RL 框架,实现探索熵值的稳定定量可控,并在多个推理基准与 Pass@k 上一致超越现有强基线。
- SCOPE-RL: 基于温度自适应正样本的策略熵稳定与定量控制
-
针对大语言模型强化学习后训练中 GRPO 常见的策略熵崩塌难题,SCOPE-RL 揭示了采样温度与正负样本符号对熵演化的非对称效应,并利用占比不足 2% 的温度自适应正样本构建正则化项,实现稳定、定量的探索控制并在数学与知识推理任务上全面提升 Pass@1 与 Pass@k。
- SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization
-
针对大推理模型在探索出高潜力思路后仍频繁切换导致的“浅度思考”与Token浪费问题,提出基于显式标记与边界熵突变双通道检测切分思维单元,并通过Logit控制单向推演合成正负偏好对,在发散分歧点实施长度归一化的思维级偏好优化(STPO),在显著缩减高达63.8% Token消耗的同时稳步提升了多基准推理准确率。
- Steering Frozen LLMs: Adaptive Social Alignment via Online Prompt Routing
-
本文提出共识聚类 LinUCB 老虎机框架(CCLUB),在冻结大模型参数的前提下,通过双特征上下文表征与保守的双图相交共识聚类机制,实现在线系统提示词动态路由与亚线性遗憾保证的自适应社会化对齐。
- Theoretical Limits of Language Model Alignment
-
本文首次推导出KL正则化大语言模型对齐的精确信息论极限,证明最优期望奖励增益由Jeffreys散度完全表征并可纯基于基模样本协方差无训练估计,从理论上揭示了代理奖励欺骗的指数放大机理与奖励集成的收敛性,并实证发现Best-of-N极度逼近理论帕累托前沿而PPO与GRPO显著次优。
- Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance
-
将评估标准(Rubric)从传统的外部事后奖励器内化为模型生成回答前的显式思考步骤,并通过自生成与黄金 Rubric 双源一致性奖励进行 DAPO 优化,在 IFEval 等基准上大幅提升指令遵循准确率并展现无外部标注下的自我进化潜力。
- TIC-GRPO: Provable and Efficient Optimization for Reinforcement Learning from Human Feedback
-
针对群体相对策略优化(GRPO)中负优势截断失效与长响应步长方差爆炸问题,本文提出 TIC-GRPO,通过单向上截断与全轨迹重要性权重修正,在理论上将响应级方差由 \(\mathcal{O}(1)\) 降至 \(\mathcal{O}(1/T)\),并在多项数学与代码推理评测中显著提升优化稳定性与性能。
- Training-Free Cultural Alignment of Large Language Models via Persona Disagreement
-
本文提出免训练的文化对齐方法 DISCA,利用世界价值观调查(WVS)构建的群体角色智能体在道德决策中的分歧方差作为校准可靠性信号,通过损失规避的前景理论重要性采样与双通道可靠性门控实现自适应对齐,在无需权重更新与额外训练数据的黑盒推理条件下使 MultiTP 文化失准度降低 10–24%。
- Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
-
揭示了 GRPO 中组相对优势估计(GRAE)在组级与样本级存在的隐式优势对称性,指出其阻碍未采样正确路径探索及导致难度分配僵化的问题,并提出动态解耦对称性的非对称优势估计(A-GRAE),在数学与多模态推理任务上全面提升精度与 Pass@k。
- Visual-ERM: Reward Modeling for Visual Equivalence
-
提出了多模态生成式视觉等价奖励模型 Visual-ERM,直接在渲染图像空间提供细粒度、可解释且跨任务通用的判别与反馈,使 Qwen3-VL-8B 在图表到代码任务上提升 8.4 分,并显著增强测试时反思修正能力。
- When Helpfulness Becomes Sycophancy: Sycophancy is a Boundary Failure Between Social Alignment and Epistemic Integrity in Large Language Models
-
本文将大语言模型中的阿谀奉承(Sycophancy)重新定义为社会性对齐与认识完整性之间的边界失效,提出了判定阿谀奉承的三条件判定准则及涵盖对齐目标、交互机制与危害严重度的三维分类学。
- When Policy Entropy Constraint Fails: Preserving Diversity in Flow-based RLHF via Perceptual Entropy
-
揭示了流匹配 RLHF 中策略熵恒定与感知多样性坍缩并存的反常悖论,提出在感知特征空间度量的感知熵及其正则化约束,在显著提升生成质量的同时保持多样性。
- Avoiding Obfuscation with Prover-Estimator Debate
-
针对递归AI辩论中不诚实辩手通过构造复杂子问题制造“混淆论据”导致诚实对手无法反驳的根本缺陷,提出了非对称的“证明者-估计者”辩论协议与 \(\rho\)-稳定性条件,证明了在无需计算力压制对手的前提下诚实辩手可在近似 Stackelberg 均衡中以极大概率获胜。