跳转至

⚖️ 对齐 / RLHF

💬 EMNLP2026 · 16 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (43) · 🎞️ ECCV2026 (6) · 📷 CVPR2026 (12) · 🔬 ICLR2026 (102) · 💬 ACL2026 (38) · 🧪 ICML2026 (37)

🔥 高频主题: 对齐/RLHF ×6 · 个性化生成 ×2 · LLM ×2

Aligning Cultural Behaviors in Arabic Language Models via Preferences

针对大语言模型缺乏泛阿拉伯跨国细粒度文化偏好对齐的问题,本文构建了覆盖阿拉伯国家联盟 22 国、16 个门类与 200 个维度的首个大规模双语行为偏好与测试基准 ARABPREF,并通过人类在环验证与多种对齐算法(DPO/KTO/SFT)系统性提升了模型在具体文化语境下的行为适切性与鲁棒性。

An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

本文首次在摘要、问答有益性与安全对齐三大测试基准上系统评测了五类主流偏好对齐目标与不同域自适应策略在分布偏移下的泛化表现,揭示了离线对齐方法严重的域脆弱性,并证明伪标签虽能最大化目标域胜率却会引发剧烈的模板模式坍塌,阐明了偏好对齐中泛化性与多样性不可兼得的核心权衡。

ARCA: Attribution-Regularized Causal Alignment for Task-Aware Bias Mitigation

针对传统去偏方法与下游微调解耦导致偏见效应再引入的痛点,ARCA 提出在下游任务微调过程中利用差分梯度归因构建任务特异性因果干预词表,在线生成反事实样本并进行表征级因果对齐正则化,在保持任务精度的同时显著降低预测翻转率与概率散度。

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

针对显式风格指令易破坏模型隐式个性化特质的“个性化崩溃”问题,提出将个性化建模为分布残差的轻量级即插即用框架 PsPLUG,通过风格条件偏好优化与推理期缩放系数,在冻结基座下实现风格遵循与个性化强度的动态可控平衡。

DSPA: Dynamic SAE Steering for Data-Efficient Preference Alignment

DSPA 提出了一种无需更新基座模型权重的推理期动态偏好对齐方法,利用早期/中期输入 SAE 提取 Prompt 特征,结合离线构建的稀疏条件差异映射矩阵检索并仅对解码中当前 Token 活跃的后期输出 SAE 隐变量进行动态消融与增强,以极高的计算与数据效率提升开放式生成质量并实现干预轨迹的可解释审计。

Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM

系统揭示专家角色提示能强化对齐任务(安全与偏好)却普遍损害预训练知识检索准确率的核心规律,并提出无需外部数据的门控自蒸馏框架 PRISM,实现兼顾对齐增益与知识无损。

From Rollouts to Recipes: Self-Contained Post-Training for LLMs

针对现有可验证任务后训练统一采用单一优化目标、忽略样本学习状态差异的缺陷,本文提出无需外部教师的 Self-Routing 框架,依据采样采样的正确率与置信度动态将样本路由至 GRPO、链上自蒸馏、正则化或跳过,在数学推理任务上显著优于统一配方及固定混合基线。

GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training

针对大语言模型SFT与RL混合后训练中固定配比无法应对动态噪声与梯度冲突的问题,GAC通过最小化混合梯度均方误差推导闭式最优混合权重,并利用轻量系数空间代理实现在线噪声感知与三级平滑控制,在计算开销低于1%的前提下显著提升数学与推理对齐效果。

LQ-Rewriter: Generative Reward Model-Guided Lazy Query Rewriting for Role-Playing Dialogue

针对真实角色扮演对话中用户高频输入模糊简短“懒惰Query”导致剧情停滞的痛点,本文提出由真实在线换代偏好驱动的生成式奖励模型(GRM)指导的懒惰Query改写器(LQ-Rewriter),通过融合剧情推进与微观笔法的改写策略及二阶段对齐训练,显著提升下游角色扮演回复的情感张力与对话留存。

Mechanism Alignment for Socially Embedded Decision Making in LLMs

针对大语言模型在多智能体社会模拟中常以表面叙事直觉或单一同伴捷径替代网络效用聚合的缺陷,本文提出了基于网络效用理论的基准评测体系与隐式效用状态监督机制对齐框架(SEDM-alignment),显著提升了微观决策规则复原精度与跨任务泛化性,并修正了金融资产泡沫与劳动力层级分流的宏观涌现动力学。

P-Search: A Parallel Plan–Act–Verify Framework with Decoupled GRPO for Deep Research

针对开放网页深度搜索中单路径ReAct容易陷入局部假设锚定以及端到端RL信用分配稀释的难题,本文提出了串行推进「背景建模-分支规划-并行执行-迭代验证-最终合成」的P-Search框架,并通过星状子图合成数据与解耦GRPO分别对齐搜索报告策略与结构化规划策略,在GAIA与Xbench-DeepSearch上显著超越同规模基线。

PAPO: Stabilizing Rubric Integration Training via Decoupled Advantage Normalization

针对基于结果奖励(ORM)的 GRPO 训练在推理后期出现的信号耗尽与质量不可分问题,以及直接引入评判标准过程奖励(PRM)带来的严重长度作弊与精度崩溃,本文提出 PAPO,在优势层将全样本二值结果优势与仅在正确子集内归一化的过程优势解耦相加,彻底阻断了错误样本利用评判标准套利的作弊路径,并在全对样本组中持续提供有效梯度,在 5 种模型配置和 6 大基准上均取得显著提升。

SafeSteer: Localized On-Policy Distillation for Efficient Safety Alignment

SafeSteer 针对安全特征在词表中天然稀疏的特性,构建基于激活干预的拒绝教师并以此挖掘安全敏感词子集,仅在该子集上实施无重归一化的在线策略逆 KL 蒸馏,仅用 100 条有害样本且无需任何通用数据,即可在大幅降低攻击成功率的同时消除对齐税。

Stick to What You Know: A Study of Knowledge-Aligned Supervised Fine-Tuning

本文提出将指令微调目标约束在基座模型参数化知识边界内的“知识对齐 SFT”范式,设计了无需外部检索即可闭环探针验证事实召回一致性的 Recall Rewrite 方法,在大幅削减事实性幻觉并强化未知拒答的同时完整保留通用下游能力。

The Weakest Link Tells It All: Outcome-Supervised Process Reward Modeling via Learnable Credit Assignment

针对结果监督过程奖励模型中信用分配无法锚定步骤正确性的困境,本文基于“木桶短板/弱链接假说”将PRM建模为多示例学习(MIL)问题,提出带平滑弱链接先验的软最大加权和(SWS)池化与截断梯度优化,在无需任何中间步骤标注与蒙特卡洛采样的前提下实现了高精度的首错定位与测试时缩放能力。

VISA: Value Injection via Shielded Adaptation for Personalized LLM Alignment

VISA 针对下游知识微调导致无意识价值漂移的问题,提出将冻结的内容生成基座与轻量级价值重写器解耦的屏蔽式自适应架构,通过 GRPO 强化学习联合优化价值注入精度与语义保真度,在不牺牲事实内容的前提下实现低成本的受控个性化价值对齐。