Inference-time Alignment via Sparse Junction Steering

会议: NeurIPS 2026
arXiv: 2602.21215
领域: 安全
关键词: 推理时对齐, 稀疏转向, 价值模型, 熵门控, 大语言模型

一句话总结

本文提出稀疏推理时对齐框架（SIA），通过信息熵动态识别自回归生成轨迹中的关键决策节点，仅在 20%–80% 的高熵分支点介入轻量级价值引导，在大幅降低多达 6 倍计算开销的同时，有效避免全步干预对模型原生分布的破坏，性能比肩甚至超越大规模后训练对齐模型。

研究背景与动机

大语言模型对齐通常依赖指令微调（Instruction Tuning）以及基于人类反馈的强化学习（RLHF、DPO 等）。尽管训练期对齐已取得显著成效，但频繁的参数更新不仅计算成本高昂，且难以灵活适应推理阶段动态变化的偏好约束。为此，推理时对齐（Inference-time Alignment）作为一种无需更改基础权重、轻量即插即用的替代范式迅速崛起。其中，Token 级受控解码通过在自回归生成过程中引入外部奖励信号逐步微调输出分布，理论上具备最细粒度的轨迹控制能力。

然而，现有的 Token 级对齐方法（如 ARGS、Transfer Q*、GenARM 等）普遍隐含着一个“全步均等”的假设，即在每一个解码步都施加固定强度的外部干预。这种稠密干预策略带来了两大不可忽视的硬伤：首先，在词表 candidate 维度高频评估奖励导致推理计算开销成倍膨胀；更致命的是，语言模型在绝大多数确定性解码步（如语法虚词、惯用搭配）本就具备高度稳定的先验分布，外部价值信号在这些平坦区域的估计噪声会强行扭曲模型的原生语言建模能力，引发语义劣化与文本流畅度暴跌。

文本生成中的决策影响在时间轴上存在极强的异质性——真正决定对齐成败与内容走向的，往往只是局部极少量的关键分岔路口。本文的核心切入点在于打破“步步干预”的惯性，将对齐干预的时机显式建模为离散的稀疏跳转。核心 idea：利用自回归预测分布的信息熵精准捕捉生成轨迹中的高不确定性决策节点（Junctions），仅在稀疏的关键点引入基于全局奖励蒸馏的高保真 Token 级价值引导，从而以极低计算代价实现帕累托最优的对齐效果与分布保真度。

方法详解

整体框架

稀疏推理时对齐（Sparse Inference-time Alignment, SIA）在 Token 级马尔可夫决策过程（MDP）框架下运行。针对提示词输入，基础语言模型自回归生成下一个 Token 的候选分布。系统实时计算该步预测分布的信息熵；当且仅当熵值超过设定阈值时，二值门控机制被激活，触发轻量级价值模型对候选 Token 空间打分并执行加权重排，使生成轨迹向高收益状态偏转；而在低熵的确定性过渡步，系统直接遵循基础模型原生分布解码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 与历史 Prefix<br/>s_t = [x, y_<t]"] --> B["基础模型前向传播<br/>输出候选概率分布 π_base(·|s_t)"]
    B --> C["熵门控决策<br/>计算局部预测分布熵 E_t"]
    C -->|E_t > τ_H: 激活关键节点| D["高保真 Token 级价值引导<br/>计算后继状态价值 V*(s_{t+1})"]
    C -->|E_t ≤ τ_H: 确定性过渡步| E["原生策略解码<br/>直接沿用基线分布 π_base"]
    D --> F["Logits 空间重加权<br/>π_sparse ∝ π_base · exp(β V*)"]
    E --> G["Token 采样与状态转移<br/>生成 y_t 并转移至 s_{t+1}"]
    F --> G

关键设计

1. 轨迹全局奖励蒸馏的 Token 级价值模型：消除局部信用分配失真与在线采样开销

现有方法直接使用轨迹级奖励模型评估局部未完结序列时，由于奖励模型缺乏对中间状态的敏感度，会导致强烈的打分噪声；而多步前瞻模拟（如 Transfer Q*）虽能提升预见性，却引入了极高的采样方差与在线延迟。SIA 设计了一种离线蒸馏策略，直接训练一个与主干模型同尺度的轻量级 Token 价值模型 \(V_\theta\)。具体做法是以高质量预训练序列级奖励模型（如 Skywork-Reward-V2）提供的全局打分 \(\mathbf{R}(\mathbf{x}, \mathbf{y})\) 作为全局监督信号，强制让完整回复序列中所有前缀状态预测价值的平均值逼近全局真实奖励：

\[\mathcal{L}^{*}(\theta)=\mathbb{E}_{(\mathbf{x},\mathbf{y})\sim\mathcal{D}}\left[\left\|\frac{1}{T}\sum_{t=1}^{T}V_{\theta}(\mathbf{x},y_{\leq t})-\mathbf{R}(\mathbf{x},\mathbf{y})\right\|_{2}^{2}\right]\]

通过在离线数据对（涵盖 3H 对齐维度的 157k 样本）上使用 LoRA 微调，该价值网络学会了在生成早期和中期准确感知长期偏好走势，同时完全规避了推理时的在线前瞻展开。

2. 基于模型内生不确定性的信息熵门控：自适应定位决策分岔点

为了以最小开销精准识别对齐关键步，SIA 系统比较了随机门控、位置窗口门控、局部/长程注意力跨度门控（WAAD）以及信息熵门控。研究发现，文本生成中对齐失败往往源于模型在面对多个高概率候选路径时的歧义摇摆。SIA 显式计算当前步词表预测分布的香农熵 \(E_t = -\sum_{v\in\mathcal{V}} P(v\mid\mathbf{x}, y_{<t}) \log P(v\mid\mathbf{x}, y_{<t})\)，并构造二值门控函数：

\[\mathcal{G}(s_{t})=\mathbb{I}(E_{t} > \tau_{H})\]

实验证实，绝对熵阈值 \(\tau_H \approx 1.0\) 在不同模型家族（Qwen3、Llama-3）及不同对齐目标（安全性、有用性、真实性）上表现出惊人的一致性。在有害提示词下，安全防御所需的高熵节点自然集中在序列头部拒答触发处；而在通用创作和问答中，高熵节点则均匀分布在论点展开与逻辑转折处。熵门控由此成为一种无需任务特化规则即可通用自适应的关键节点探测器。

3. 稀疏受控解码与噪声正则化机制：化解奖励强度与分布保真度的零和博弈

传统稠密引导在每一步根据指数加权调整输出概率：\(\pi^*(y_t|s_t) \propto \pi_{base}(y_t|s_t) \exp(\beta V^*(s_{t+1}))\)。理论分析（Proposition B.3）表明，当真实状态优势差异极小（即平坦非关键步）时，若估计价值存在方差为 \(\sigma^2\) 的高斯噪声，稠密转向引入的期望 KL 散度偏移高达 \(\frac{1}{2}\beta^2 \sigma^2\)。SIA 将门控整合至解码策略：

\[\pi_{\text{sparse}}(y_{t}|s_{t})=\begin{cases}\frac{1}{Z}\pi_{base}(y_{t}|s_{t})\exp(\beta\mathbf{V}^{*}(s_{t+1})),&\text{若 }\mathcal{G}(s_{t})=1\\\pi_{base}(y_{t}|s_{t}),&\text{若 }\mathcal{G}(s_{t})=0\end{cases}\]

在非关键节点主动回退到 \(\pi_{base}\)，天然滤除了估计误差的累积放大，发挥了显著的隐式正则化效果。这解耦了引导强度 \(\beta\) 与语言流畅度的绑定关系，允许系统在关键分岔点施加更强劲的纠偏力道（更大的 \(\beta\)）而不会诱发词频漂移或死循环乱码。

损失函数 / 训练策略

价值模型微调采用 LoRA 架构（\(r=16, \alpha=32, \text{dropout}=0.1\)），仅需优化轻量适配层及末层线性标量 Head。模型在 WildGuardMix（3.8 万条安全指令对）和 UltraFeedback（ShareGPT 与 UltraChat 子集约 3 万条指令，每条含 4 个由不同模型生成的候选回复）混合构造的 15.7 万条多样化数据上进行蒸馏训练。优化器学习率设为 \(1\times 10^{-4}\)，批大小 16，序列截断长度 1024。在单张 NVIDIA H200 GPU 上仅需训练 3 个 epoch（数小时即可收敛），训练效率极高。

实验关键数据

主实验

为了验证价值信号质量，论文在 Qwen3-1.7B 和 Llama-3.2-1B 上对比了不同价值来源在全步干预下的表现，使用独立的 SOTA 裁判模型 Skywork-Reward-V2-Llama-3.1-8B 评分。同时，在标准稀疏干预设置下，对比了不同模型在无干预 Base、官方 Instruct 模型、句子级 Best-of-8（BoN-8）、Chunk 级束搜索（CBS-8）与 SIA（20%–40% 干预率）的效果。

模型	方法/配置	HEx-PHI (安全性) ↑	AlpacaEval (有用性) ↑	计算相对开销
Qwen3-1.7B	Base (无干预)	-6.47	1.81	\(1\times\)
Qwen3-1.7B	ARGS (序列级RM未完结前缀打分)	-3.51	-9.57	\(\approx 10\times\)
Qwen3-1.7B	Transfer Q* (前瞻采样启发式)	-4.52	-2.94	\(>15\times\)
Qwen3-1.7B	本文 Token 级价值模型 (100% 稠密)	13.70	4.47	\(\approx 10\times\)
Qwen3-1.7B	BoN-8 (句子级重排)	11.20	5.80	\(\approx 8\times\)
Qwen3-1.7B	CBS-8 (Chunk级束搜索, L=16)	12.80	6.50	\(\approx 8\times\)
Qwen3-1.7B	SIA (稀疏干预 20%)	14.10	6.10	\(\approx 2\times\)
Qwen3-1.7B	SIA (稀疏干预 40%)	14.85	7.20	\(\approx 3.5\times\)
Qwen3-1.7B	官方 Instruct (大规模后训练)	14.50	6.80	\(1\times\) (需离线高成本训练)

消融实验

针对门控机制选择与干预比例的消融分析（以 Qwen3-1.7B 在 HEx-PHI 安全基准与 AlpacaEval 为代表）：

门控策略	干预比例/阈值	HEx-PHI 评分 ↑	AlpacaEval 评分 ↑	表现说明
随机门控 (Random)	50% 稀疏	3.20	2.10	缺乏针对性，无法阻断关键失配
位置门控 (Position \(t\le w\))	前 30% Token	11.80	1.95	安全任务早期敏感度高，但通用任务后续漂移严重
注意力跨度门控 (WAAD)	Top 40% 跨度	8.90	3.40	结构化特征泛化差，随转向强度上升剧烈波动
绝对熵门控 (SIA)	20% (高熵节点)	14.10	6.10	精准捕获语义决策分岔，效率性能兼备
绝对熵门控 (SIA)	60% 节点	14.90	7.15	各对齐维度达到最佳性能上限峰值
稠密全步干预 (Dense)	100% Token	13.70	4.47	性能反而回退，低熵位受价值估计噪声污染

关键发现

• 稀疏干预严格优于稠密干预：在几乎所有模型与数据集上，干预比例在 20%–80% 之间即可达到对齐峰值；超过 80% 甚至 100% 全量干预时，性能普遍停滞或急剧下滑。这证实了在低熵确定性节点引入外部引导不仅白白消耗算力，反而会注入估计噪声。
• 强 Base 模型可凭极低比例干预超越 Instruct 模型：对于具备优秀基础语言能力的 Qwen3 系列模型，仅需干预 20%–40% 的 Token，即可在绝大多数指标上追平甚至超越经过完整 SFT+RLHF 流程的官方 Instruct 模型。
• 以弱控强（Weak-to-Strong）的非对称引导更具稀疏性：当使用轻量级 4B 价值模型引导 Qwen3-14B，或者用 3B 价值模型引导 Llama-3.1-8B 时，最优对齐性能往往在更低的干预比例（15%–30%）即可达成，且计算开销仅增加数个百分点。

亮点与洞察

• 将对齐视作针对生成不确定性的熵抑制过程：论文通过实验发现适度的稀疏引导能够系统性降低输出分布熵，驱使模型从无序/有害偏离收敛向有序对齐状态；但过度干预（过大 \(\beta\) 或 100% 比例）会诱发“熵反弹”（Entropy Rebound），这一观察对理解推理时受控解码的动力学提供了极富启发性的视角。
• 与粗粒度搜索方法无缝互补形成分层搜索：将 SIA 与句子级 Best-of-N 结合后，SIA 能够在早期剪枝掉高熵潜在偏离分支，将算力集中在对齐潜力更高的候选路径上，仅需 2–3 个采样子序列即可大幅超越标准 BoN-8 的表现，算力节省 3–6 倍。
• 熵阈值具备跨场景的天然普适性：虽然安全对齐（高风险拒绝）相比通用助人任务触发了更多比例的高熵节点，但两者取得峰值效果的最优绝对熵阈值高度一致地稳定在 \(\tau_H \approx 1.0\)，这为工程落地免去了针对新目标繁琐调参的顾虑。

局限与展望

• 作者承认的局限：当前的绝对香农熵门控虽然简洁普适，但仍属于基于词表统计的粗粒度启发式指标，可能把由同义词引起的纯表层语言不确定性误判为对齐分歧；此外，转向方式局限于 Logits 层的重加权，未触及更深层的隐藏状态激活空间。
• 自主发现的局限：对基础模型的语言基底依赖较重。从 Llama-3.2-1B 等小尺寸 Base 模型的实验可见，在通用有用性任务上，由于模型自身逻辑结构与流畅度受限，单纯凭借 Logits 引导依然难以完全弥补与经过数万步指令后训练模型的差距。
• 后续改进方向：可进一步探索语义熵（Semantic Entropy）在句意聚类层面的引导，将稀疏干预拓展至隐藏层激活转向（Activation Steering），并向视觉语言模型（VLM）等跨模态注意力分岔点延伸。

相关工作与启发

• vs ARGS / Transfer Q: ARGS 依赖未完结序列在整句奖励模型上的直接打分，中间状态信号信噪比极低；Transfer Q 依赖复杂的多步采样估计 \(Q^*\)，延迟巨大且方差高。SIA 采用离线全局奖励蒸馏训练专职 Token 级价值网络，信噪比大幅提升，推理时单步仅需一次轻量前向传播。
• vs Best-of-N / Chunk-based Search: 传统的 BoN 与 CBS 依赖多路并行采样展开全序列或大块文本，受限于采样多样性且开销按候选数线性翻倍。SIA 工作在微观 Token 级且仅在稀疏高熵点介入，以局部早期阻断替代整句后验筛选，效率提升 4–6 倍。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从理论与实证层面打破推理时对齐“全步干预”的固有思维，建立稀疏高熵决策点引导范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3H 对齐基准、不同模型规模（0.6B–14B）、Weak-to-Strong 设置，并提供严密数学界与熵演化分析。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论与经验直觉相互印证，图表清晰详实。
• 价值: ⭐⭐⭐⭐⭐ 为轻量级即插即用模型对齐及低延迟大模型部署提供了极具实用价值的全新技术路线。

相关论文

• [NeurIPS 2026] Inference-Time Nash Alignment
• [NeurIPS 2026] Inference-Time Vulnerability Beyond Shallow Safety: Alignment Along Generation Trajectories
• [NeurIPS 2026] Logit-Gap Steering: A Forward-Pass Diagnostic for Alignment Robustness
• [NeurIPS 2026] Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds
• [NeurIPS 2026] MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering