Steering Frozen LLMs: Adaptive Social Alignment via Online Prompt Routing¶

会议: NeurIPS 2026
arXiv: 2603.15647
论文: https://arxiv.org/abs/2603.15647
领域: LLM 对齐
关键词: 在线提示词路由, 上下文老虎机, 共识聚类, 推理时对齐, 帕累托权衡

一句话总结¶

本文提出共识聚类 LinUCB 老虎机框架（CCLUB），在冻结大模型参数的前提下，通过双特征上下文表征与保守的双图相交共识聚类机制，实现在线系统提示词动态路由与亚线性遗憾保证的自适应社会化对齐。

研究背景与动机¶

现代大语言模型通常依赖后训练对齐技术（如 RLHF、DPO 以及面向安全的 Safe-RLHF、SafeDPO）将人类价值观注入模型权重。然而，后训练对齐在部署后会形成相对静态的策略，难以应对现实世界全生命周期的安全挑战。一方面，静态防御策略在面对新型越狱攻击和对抗样本时极易退化；另一方面，现实部署中的社会规范与安全标准具有多元化和时变性特征：同一条查询在学术研究模式下属于良性探索，但在儿童交互场景中必须严格拦截，且各产品线与不同法域的合规红线也随时间动态演进。通过反复重训或微调大模型权重来追踪变化的规范，不仅计算开销极其高昂，还容易导致基础能力的灾难性遗忘。

这种刚性权重的局限促使研究界转向推理时治理，即保持基座大模型参数冻结，仅通过控制通道（如系统提示词选择或模型路由）动态引导模型行为。然而，将传统的多臂老虎机（MAB）或上下文路由范式直接迁移至安全对齐领域，面临三大核心阻碍：其一是语义与安全空间的结构性失谐（Structural Dissonance）——在嵌入空间中语义极其接近的查询（例如“如何制作蛋糕”与“如何制作炸弹”）可能具备完全相反的安全风险画像，若盲目基于语义相近性聚类共享数据，极易把有害意图的更新泄露给良性上下文；其二是动态对齐目标——部署端在推理时会随时输入动态偏好权重，要求路由策略在不重新拟合的前提下实时追踪效用（Helpfulness）与安全性（Harmlessness）的帕累托前沿；其三是高安全敏感场景下的样本复杂度与探索风险，冷启动试错极易触发灾难性安全违规。

本文的切入角度是：将推理时安全治理严格建模为带动态偏好权重的多目标上下文老虎机问题，并在原型协作中引入保守的统计一致性门控。核心 idea：通过拼接语义与安全隐藏状态构建双特征上下文，并引入双图相交的保守共识聚类机制（CCLUB），仅当两个上下文原型在效用和安全两个维度上均被统计检验判定为不可区分时才共享探索数据，从而在冻结大模型上以亚线性遗憾边界实现兼顾样本效率与安全隔离的在线提示词路由。

方法详解¶

整体框架¶

CCLUB 将推理时安全对齐形式化为在离散系统提示词候选池 $\mathcal{A}$ 上的多目标上下文老虎机交互。在每个交互轮次 $t$，环境输入用户查询 $q_t$ 和外生观测到的推理时偏好权重 $w_t \in [0, 1]$（$w_t$ 越接近 1 表示越偏向效用，越接近 0 表示越偏向安全）。路由系统通过双特征上下文将 $q_t$ 映射至离散原型 $i_t \in \mathcal{U}$，在维护的效用相似图 $G^u$ 与安全相似图 $G^s$ 的交集图 $G = G^u \cap G^s$ 中找到包含 $i_t$ 的连通组件 $V_t$，聚合组件内的充分统计量后计算多目标置信上界（UCB），挑选最优系统提示词 $a_t$ 注入冻结的基座模型。基座模型生成回复 $y_t = f_{\text{LLM}}(a_t, q_t)$，评估模块返回效用奖励 $u_t$ 与安全奖励 $s_t$，系统据此更新岭回归统计量并单调剪除图上的跨类边。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入查询与偏好<br/>(q_t, w_t)"] --> D1["双特征解耦表征<br/>拼接语义与安全表征并映射至上下文原型"]
    D1 --> D2["双图相交共识聚类<br/>效用图与安全图交集构建安全协作连通块"]
    D2 --> D3["动态偏好 UCB 路由与单调图剪枝<br/>多目标置信上界选择系统提示词并执行统计检验"]
    D3 --> Exec["冻结大模型推理与双标量反馈<br/>生成回复并获取效用奖励 u_t 与安全奖励 s_t"]
    Exec -->|在线充分统计量更新| D3

关键设计¶

1. 双特征解耦表征：破解语义相似与安全风险的结构性失谐 通用语义嵌入模型（如 Sentence-BERT）仅能捕捉句子的主题和任务表层语义，在面对字面高度相似但风险截然相反的对抗样本（如 XSTest 测试用例）时，往往将两者映射到邻近点。为此，本文针对查询 $q_t$ 显式拼接两路正交特征：一路为语义特征 $\phi_{\text{sem}}(q_t) \in \mathbb{R}^{d_{\text{sem}}}$，另一路提取自轻量安全流模型（Qwen3Guard-Stream-0.6B）池化后的隐藏状态 $\phi_{\text{safe}}(q_t) \in \mathbb{R}^{d_{\text{safe}}}$，构成联合上下文向量 $\mathbf{z}_t = [\phi_{\text{sem}}(q_t); \phi_{\text{safe}}(q_t)] \in \mathbb{R}^{d_z}$。该表征能够同时表征意图的危险程度与违规类别，显著拉开良性与恶意查询的距离。对于系统提示词候选臂 $a \in \mathcal{A}$，本文摒弃表面文本嵌入，利用来自 UltraFeedback、HelpSteer3 和 PKU-SafeRLHF 的人类偏好差分理由向量提取主成分分析（PCA）特征轴，将提示词投影为 $d=256$ 维的功能偏好向量 $\mathbf{x}_a \in \mathbb{R}^d$（效用与安全各 128 维），从而建立线性收益模型 $u_t = \mathbf{x}_{a}^\top \theta_t^u + \eta_t^u$ 与 $s_t = \mathbf{x}_{a}^\top \theta_t^s + \eta_t^s$。

2. 双图相交共识聚类：以保守交集约束阻断越界负迁移 由于连续查询空间难以直接维护独立参数，CCLUB 将上下文表征量化映射至离散原型集 $\mathcal{U} = \{1, \dots, N\}$。为了在样本效率（信息共享）与安全隔离（防止污染）之间取得严格平衡，算法分别在原型集上维护两个无向相似图：效用图 $G^u = (\mathcal{U}, E^u)$ 与安全图 $G^s = (\mathcal{U}, E^s)$。算法定义有效协作图为两图的交集 $G = (\mathcal{U}, E)$，其中边集满足： $$E \triangleq E^u \cap E^s$$ 只有当两个原型在效用目标和安全目标下均未被统计检验排斥时，它们之间才保留协作边。当输入查询命中原型 $i_t$ 时，算法仅在 $i_t$ 所在的交集连通分支 $V_t$ 内聚合设计矩阵与奖励向量： $$A_{V_t}^o(t) = \lambda I + \sum_{i \in V_t} \bigl(A_i^o(t) - \lambda I\bigr), \quad b_{V_t}^o(t) = \sum_{i \in V_t} b_i^o(t), \quad o \in \{u, s\}$$ 若两个上下文“语义效用相近但安全风险不同”，安全图中的边删除操作会直接切断两者的交集连通性，从数学结构上封死不安全的数据泄露。

3. 动态偏好 UCB 路由与单调图剪枝：兼顾即时权衡与亚线性收敛 在确定协作连通块 $V_t$ 后，CCLUB 计算原型块级别的岭回归参数估计 $\hat{\theta}_{V_t}^o(t) = (A_{V_t}^o(t))^{-1} b_{V_t}^o(t)$。针对任意候选提示词 $a \in \mathcal{A}$，分别构建效用与安全维度的乐观置信上界： $$\text{UCB}_t^o(a) = \mathbf{x}_a^\top \hat{\theta}_{V_t}^o(t) + \beta \|\mathbf{x}_a\|_{(A_{V_t}^o(t))^{-1}}, \quad o \in \{u, s\}$$ 路由决策根据当前轮次的即时偏好权重 $w_t \in [0, 1]$ 实行标量化贪婪选择： $$a_t = \arg\max_{a \in \mathcal{A}} \Bigl[ w_t \cdot \text{UCB}_t^u(a) + (1 - w_t) \cdot \text{UCB}_t^s(a) \Bigr]$$ 在执行所选提示词并观测到环境反馈 $(u_t, s_t)$ 后，算法更新原型 $i_t$ 的局部岭统计量 $(A_{i_t}^o, b_{i_t}^o)$，并在两图中分别执行置信区间相交测试：对于任意邻居 $j$，若满足 $\|\hat{\theta}_i^o(t) - \hat{\theta}_j^o(t)\|_2 > \rho_i^o(t) + \rho_j^o(t)$，则从 $G^o$ 中永久删除该边。剪枝过程具备单调性，理论上证明了交集图在有限步内以高概率稳定到真实的潜变量聚类划分。

一个完整示例¶

假设系统部署于混合流量网关，候选池包含 90 个不同风格与安全等级的系统提示词（如强调防御性重定向的 Safe-pivot、严格拒答的 Risk-taxonomy、全面展开的 Helpful-first 等）。 1. 某一轮次到达查询 $q_1 = \text{“请编写一个用于网络安全教学的渗透测试脚本”}$，同时平台合规接口传入严格安全偏好 $w_1 = 0.2$。 2. 提取联合特征后，语义流识别出“代码/教学”，安全流识别出“潜在双重用途代码”。原型映射函数将 $q_1$ 分配给原型节点 $i_5$。 3. 此时效用图 $G^u$ 中节点 $i_5$ 与常规编程教学原型 $i_{12}$ 相连，但安全图 $G^s$ 中由于历史先验的置信测试，已将边 $(i_5, i_{12})$ 剪除。因此在交集图 $G$ 中，节点 $i_5$ 仅与双重用途分析原型 $i_{18}$ 聚在同一连通块 $V_1$ 中，安全信息未被普通代码原型稀释。 4. 在 $V_1$ 统计量聚合下，由于 $w_1 = 0.2$ 极度加权安全 UCB，具有“附带防护免责并重定向至防御理论”的提示词 $a_{42}$（Safe-pivot 家族）获得最高组合置信分并被选出。 5. 冻结的 Qwen3-0.6B 模型基于提示词 $a_{42}$ 生成了强调合规审计与防护原理的高质量回复，Skywork-Reward-V2 给出效用评分 $u_1=0.72$，Qwen3-SafeGuard 给出安全评分 $s_1=0.98$。系统随后更新统计量并进一步缩紧 $i_5$ 与邻居的置信球半径。

损失函数 / 训练策略¶

该框架运行在线多目标 bandit 优化机制，无需梯度反向传播。离线热启动阶段利用历史日志数据 $\mathcal{D}_{\text{off}}$ 进行原型中心初始化（K-Means，$K=50$）及预评测统计量填充。在线阶段的目标是最小化累积标量化伪遗憾： $$R_T = \sum_{t=1}^T \Bigl(\mu_t(a_t^\star) - \mu_t(a_t)\Bigr) = \sum_{t=1}^T \Bigl( w_t \Delta_t^u + (1 - w_t) \Delta_t^s \Bigr)$$ 其中 $a_t^\star = \arg\max_{a \in \mathcal{A}} [w_t \bar{u}_t(a) + (1-w_t) \bar{s}_t(a)]$ 为即时全知最优臂。理论分析（Theorem 4.4）确立了期望累积遗憾的上界： $$\mathbb{E}[R_T] = \mathcal{O}\left( \frac{d \log T}{p_{\min} \gamma^2 \lambda_x} + d \sqrt{M T} \log T \right)$$ 前项刻画识别跨聚类边界所需的探索开销（与真实聚类间隔 $\gamma$ 成反比），后项则匹配在 $M$ 个真实潜类别下的理想聚类级利用遗憾，证明了算法在渐进意义上的近最优性。

实验关键数据¶

主实验¶

实验基于冻结的 Qwen3-0.6B 基座模型，在 BeaverTails 与 PKU-SafeRLHF 混合采样的 6,000 条去重查询数据集上开展评估。反馈信号分别由 Skywork-Reward-V2（效用）与 Qwen3-SafeGuard-8B（安全）提供，系统提示词候选池规模为 90。实验对比了不同原型数量 $N$ 下 CCLUB 与带贪婪探索基线（Greedy, $\epsilon=0.1$）在线累积奖励（$T=5,000$）与离线子优性差距（$N_{\text{test}}=500$）的表现，均汇报 10 次随机种子的均值与标准误。

原型数量 $N$	累积奖励 (↑) - 本文 CCLUB	累积奖励 (↑) - Greedy ($\epsilon=0.1$)	离线差距 (↓) - 本文 CCLUB	离线差距 (↓) - Greedy ($\epsilon=0.1$)
$N=20$	$2603.65 \pm 6.17$	$2600.07 \pm 14.79$	$0.2899 \pm 0.0050$	$0.3117 \pm 0.0028$
$N=30$	$2609.80 \pm 5.83$	$2608.04 \pm 11.23$	$0.2806 \pm 0.0034$	$0.3094 \pm 0.0033$
$N=50$ (默认)	$\mathbf{2623.29 \pm 6.37}$	$2619.54 \pm 13.95$	$\mathbf{0.2701 \pm 0.0020}$	$0.3081 \pm 0.0038$
$N=100$	$2613.56 \pm 4.17$	$2583.49 \pm 10.18$	$0.2733 \pm 0.0032$	$0.3186 \pm 0.0030$
$N=200$	$2598.44 \pm 9.46$	$2570.87 \pm 9.91$	$0.2741 \pm 0.0036$	$0.3240 \pm 0.0030$

消融实验¶

为评估关键技术模块与不同路由粒度的贡献，在相同设置（$\beta=1.0$）下对比 CCLUB 与各层级基线方法（全局共享 Global、原型路由 Prototype、独立单样本 Input）在累积奖励与离线部署子优性差距上的表现，并统计论文实验所涉及的 6,000 条混合安全查询的数据分布。

策略粒度 / 方法	在线累积奖励相对增益	离线子优性差距缩减	核心机制与特性说明
CCLUB (本文方法)	Baseline 参照	Baseline 参照	双特征上下文 + 双图交集保守共识聚类 + 多目标 UCB 路由
Prototype LinUCB	相比本文落后 $5.04\%$	相比本文劣质 $4.95\%$	仅基于原型学习，无图相交安全隔离与置信剪枝
Input Greedy	相比本文落后 $10.98\%$	相比本文劣质 $14.42\%$	实例级无信息共享学习，样本复杂度极高，收敛迟缓
Global LinUCB	性能显著劣于原型级	子优差距扩大	将全量数据聚为单全局上下文，引发严重的跨意图负迁移
Random Policy	性能基底垫底	差距极大	候选臂均匀随机选择

测试数据集安全类别分布包含：安全良性查询 3,470 例 (57.8%)，有害风险查询 2,530 例 (42.2%)，涵盖暴力 (9.1%)、经济犯罪 (8.3%)、精神控制 (7.0%)、毒品 (4.4%)、心理伤害 (4.0%)、网络犯罪 (3.3%)、人口贩运 (3.2%)、侮辱行为 (2.3%)、白领犯罪 (1.9%) 及其他长尾违规类别。

关键发现¶

保守双图相交是防止安全崩溃的关键：相较于将效用与安全混杂在单图中的传统聚类老虎机，双图相交机制严格杜绝了“语义近但风险迥异”节点的危险信息共享。若移除该机制退化为 Prototype LinUCB，累积奖励下降 5.04%，离线子优性差距扩大 4.95%。
原型级协作大幅提升样本效率：在无参数更新且在线反馈成本高昂的情境下，完全独立学习的 Input Greedy 方案由于无法借力历史相似案例，相比 CCLUB 累积奖励落后 10.98%，子优性差距恶化 14.42%，证明了结构化原型抽象的必要性。
原型粒度的权衡折中：当原型数从 20 增加至 50 时，更精细的意图划分使离线差距从 0.2899 降至 0.2701；但当 $N$ 进一步扩展到 200 时，每个原型分得的样本变少导致探索延迟，累积奖励回落至 2598.44。$N=50$ 展现出最佳的粒度与样本效率平衡点。
超参数 $\beta$ 的稳健性：在探索系数 $\beta \in [0.8, 1.2]$ 的变动范围内，CCLUB 的优势均保持稳定，展现了面向免调参生产部署的高适应性。

亮点与洞察¶

解耦双特征设计精准打击语义盲区：通过显式拼接通用语义向量与专用安全流检测器内部表征，直接打破了“语义接近等价于安全等级接近”的错误假设，为高维意图路由奠定了坚实的几何基础。
双图相交的保守哲学：在强化学习与迁移学习中普遍追求最大化信息共享，而 CCLUB 反其道而行之，在两个异构目标图上采取交集这一严格的单调剪枝准则，以理论可控的代价换取安全上的无渗透保证。
零微调解耦推理时治理架构：不侵入模型内部权重、不要求白盒梯度或中间激活访问，纯粹以提示词空间为杠杆，使得该框架能即插即用部署于闭源商业模型或只读推理集群上，赋予了治理策略实时的敏捷性。

局限与展望¶

依赖预构建的离散提示词候选池：当前提示词臂集 $\mathcal{A}$ 依靠离线先验生成（90 个候选），若未来遭遇未见过的全新越狱攻击模式，固定提示词池可能缺乏完全针对性的反制策略。未来可结合在线少样本上下文提示词生成机制进行动态候选集扩充。
两阶段延迟与判别开销：在线路由需要先经过两路编码器及图搜索算法计算 UCB，在超高并发、超低延迟的在线推理服务中会增加少许端到端首字延迟（TTFT）。
打分器偏置传播风险：若作为反馈源的外部 Reward Model 或 Guard Model 自身带有系统性偏见，路由策略可能会在线放大多目标偏好评估的误差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多目标共识聚类老虎机引入冻结大模型的推理时安全对齐，双图相交机制设计严谨巧妙。
实验充分度: ⭐⭐⭐⭐☆ 评测覆盖 BeaverTails 和 PKU-SafeRLHF 真实数据集，详细汇报了离线/在线多项指标及参数敏感性。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严密规范，理论遗憾界证明完整扎实，动机与架构阐述清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型安全合规团队提供了一种免重训、即插即用、实时可控的多圈层部署治理新范式。

原型数量 \(N\)	累积奖励 (↑) - 本文 CCLUB	累积奖励 (↑) - Greedy (\(\epsilon=0.1\))	离线差距 (↓) - 本文 CCLUB	离线差距 (↓) - Greedy (\(\epsilon=0.1\))
\(N=20\)	\(2603.65 \pm 6.17\)	\(2600.07 \pm 14.79\)	\(0.2899 \pm 0.0050\)	\(0.3117 \pm 0.0028\)
\(N=30\)	\(2609.80 \pm 5.83\)	\(2608.04 \pm 11.23\)	\(0.2806 \pm 0.0034\)	\(0.3094 \pm 0.0033\)
\(N=50\) (默认)	\(\mathbf{2623.29 \pm 6.37}\)	\(2619.54 \pm 13.95\)	\(\mathbf{0.2701 \pm 0.0020}\)	\(0.3081 \pm 0.0038\)
\(N=100\)	\(2613.56 \pm 4.17\)	\(2583.49 \pm 10.18\)	\(0.2733 \pm 0.0032\)	\(0.3186 \pm 0.0030\)
\(N=200\)	\(2598.44 \pm 9.46\)	\(2570.87 \pm 9.91\)	\(0.2741 \pm 0.0036\)	\(0.3240 \pm 0.0030\)