LiSA: Lifelong Safety Adaptation via Conservative Policy Induction¶

会议: NeurIPS 2026
arXiv: 2605.14454
OpenReview: https://openreview.net/forum?id=UJDUd0ySXi
领域: 强化学习
关键词: 安全护栏, 终身学习, 策略归纳, 保守置信度门控, AI智能体安全

一句话总结¶

针对AI智能体在真实部署环境中面临的上下文隐私与安全规范长尾风险，LiSA提出一种基于结构化记忆的保守策略归纳框架，通过泛化策略抽象、冲突感知局部细化及Beta后验置信度门控，无需重新微调基座模型即可从稀疏且带噪的用户反馈中持续进化安全护栏。

研究背景与动机¶

随着大型语言模型从单纯的问答对话界面演进为能够读取私有数据、调用特权工具并执行多步复杂工作流的自主智能体系统，安全护栏已成为防范实际部署危害的关键最后防线。在涉及私有凭证与物理环境操作的实际场景中，护栏的判定失误不再只是回答质量好坏的瑕疵，而是会直接导致敏感机密泄漏、授权危险操作，或是错误拒绝合法业务请求而阻断正常工作。然而，现有的护栏机制（无论是通用安全分类器、拒绝导向微调还是静态规则验证器）大多依赖部署前固定的预定义安全边界，无法穷举真实场景中极其依赖上下文的规范变化——一项行为究竟是否合规，往往取决于机构内部细则、动态变化的用户预期以及特定任务的风险容忍度。

这种现实脱节迫使护栏必须在部署运行过程中依据真实环境的反馈持续演进，但在实践中面临三重严苛约束。首先是稀疏监督瓶颈：真实部署中用户极少提供高密度的系统标注，反馈通常仅以偶发的失败报错形式零星出现；其次是反馈噪声干扰：用户之间的主观认知分歧、对错误的误判或将个人偏好混淆为安全违规，都会在错误报告中引入标签翻转；更重要的是安全决策的保守性要求：若从零星的局部样本中激进过拟合或盲目泛化，极易诱发大范围的过度防御拒绝，或是因过早采信缺乏验证的放行规则而酿成严重安全漏洞。

面对通用预训练模型参数固定与持续微调成本高昂、易灾难性遗忘的矛盾，本文的切入角度是：摒弃反复微调基座护栏权重的传统模式，转向基于在线-离线闭环的结构化策略记忆管理。核心 idea：构建双层结构化策略记忆库，将偶发失败聚类归纳为可复用的泛化策略，对混合标签的模糊邻域诱导冲突感知局部规则，并基于 Beta 后验下界实施证据感知的保守置信度门控，仅在积累了足够实际证据时才激活记忆复用。

方法详解¶

整体框架¶

LiSA 将终身安全护栏适配建模为一个交替进行的在线部署与离线刷新闭环系统。在在线阶段，基座分类器保持冻结，系统对每一条输入请求同时检索语义相关的泛化策略和局部规则，仅当泛化策略的后验置信度下界达到标签敏感阈值时才将其作为前置上下文输入护栏，如果无任何策略被激活则平滑回退至纯基座护栏决策，并将用户纠错记录进日志；在离线阶段，累积的失败案例被全局聚类重构，提取覆盖广度的泛化抽象条目，并在标签冲突严重的边界区域生成辨析性局部规则，同时继承历史置信度统计量以指导下一轮在线复用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["输入请求 xt"] --> Ret["双层策略语义检索<br/>Gemini-embedding-001"]

    subgraph Mem["结构化策略记忆库"]
        direction TB
        M_broad["泛化策略抽象集 M"]
        L_local["冲突感知局部规则集 L"]
    end

    Ret <--> Mem
    Ret --> Gate{"证据感知置信度门控<br/>Conf(m) ≥ τ(ℓm)"}

    Gate -->|通过过滤| Prompt["组装护栏推理 Prompt<br/>候选泛化策略 + 局部辨析规则"]
    Gate -->|未通过且无局部规则| Fallback["回退基座护栏决策<br/>Gbase(xt)"]

    Prompt --> Decision["在线轻量护栏决策 ŷt<br/>Flash-Lite / Haiku-4.5"]
    Fallback --> Decision
    Decision --> Log["日志收集偶发错误反馈 (xi, ỹi)"]

    Log --> Offline["离线全局记忆刷新循环<br/>聚类归纳 + 冲突辨析 + 统计量继承"]
    Offline --> Mem

关键设计¶

1. 泛化策略抽象：从单点失败提炼高可复用规范

稀疏反馈场景下的首要痛点是偶发报错信息量有限，如果仅将失败用例作为孤立的几样本样例存入检索库，其语义覆盖范围极窄，难以泛化至变体场景。LiSA 在离线阶段调用离线策略管理大模型（如 Gemini-3.1-pro），将批次收集到的新增失败案例归纳为结构化的自然语言泛化策略 $m = (r_m, \ell_m, \nu_m)$，其中 $r_m$ 为规范性指导文本（例如“即使具备保密职责的专业人员，共享公开事实信息也是合理的”），$\ell_m \in \{0, 1\}$ 表示推荐的二元动作（放行或拒绝），$\nu_m$ 维护其证据来源、支持计数 $s_m$ 与反驳计数 $c_m$。跨周期更新时，系统利用文本嵌入做凝聚层次聚类，合并语义重叠的规则并累加统计计数，确保策略抽象具有广泛的复用能力而不随周期呈无序线性膨胀。

2. 冲突感知局部细化：解耦混合标签边界防止过度泛化

泛化策略抽象虽然显著提高了少样本下的复用覆盖率，但其固有缺陷在于粗粒度状态容易抹杀局部决策边界的细微差异——在隐私和上下文安全领域，极其相似的场景往往因细微的意图或身份差异而导致安全标签完全相反（例如同僚间协调日常事务合理，但传递未经授权的客户健康保险细节则违规）。若强行用单一泛化策略覆盖该区域，必然导致少数类标签的系统性误判。LiSA 通过计算语义状态下的冲突质量进行局部判别： $$ \Delta(z) \leq \Pr(Z = z) \cdot \min{\eta_B(z), 1 - \eta_B(z)} $$ 其中 $\eta_B(z) = \Pr(Y = 1 \mid Z = z)$ 为该粗粒度状态下的拒绝率。当且仅当状态内的支持与反驳均占显著比例（即冲突质量非零）时，LiSA 判定此处跨越了真实安全边界，并从对应案例中析出细粒度的局部细化规则 $e = (r_e, \ell_e, \nu_e)$。在推理时，局部规则作为高优先级的局部边界提示直接序列化至提示词中，向模型提供细粒度例外辨析，阻止泛化规则在边界区域的盲目误杀。

3. 证据感知置信度门控：基于 Beta 后验下界的保守复用机制

在反馈稀疏且存在噪声的真实环境中，凭经验准确率衡量策略极其脆弱：一条仅被验证过一次且无反对的策略，其经验准确率高达 100%，但其统计证据量极度匮乏，极易被单次带噪反馈污染并破坏大面积推理。为此，LiSA 假设泛化策略的先验迁移可靠度服从均匀分布 $\theta_m \sim \text{Beta}(1, 1)$，在观测到支持数 $s_m$ 与反驳数 $c_m$ 后，其后验分布更新为 $\theta_m \mid \text{data} \sim \text{Beta}(1 + s_m, 1 + c_m)$。LiSA 将置信度定义为后验分布的下 $\delta$ 分位数（默认 $\delta = 0.05$）： $$ \text{Conf}(m) = Q_\delta\left(\text{Beta}(1 + s_m, 1 + c_m)\right) $$ 在在线推理时，仅当泛化策略满足 $\text{Conf}(m) \geq \tau(\ell_m)$ 时才被允许呈现给基座护栏，其中 $\tau(\ell_m)$ 允许为拒绝和放行设置非对称阈值（$\tau_{\text{refuse}}, \tau_{\text{allow}}$）。该设计在数学上严格保证了激活策略的后验期望错误率上界不超过 $(1 - \tau) + \delta$。在默认 $\tau = 0.55$ 下，一条无任何反对的策略至少需要累积约 5 次正向支持验证才能突破置信度门槛，从而彻底隔绝了偶发孤例和轻度噪声对在线护栏的直接干扰。

损失函数 / 训练策略¶

LiSA 在线部署期间无需更新神经网络权重，基座护栏模型参数保持固定。离线策略更新采用周期性批处理流程： - 全局重构机制：每次离线刷新时，基于累积的所有历史反馈重新运行凝聚层次聚类（余弦距离阈值 0.20，平均连接法），提取具有代表性的中心策略文本，避免追加式增长（Append-only）导致的规则重叠与时序依赖。 - 运行时统计量对齐：仅对在重新聚类中存活的代表性策略保留并继承历史支持数 $s_m$ 与反驳数 $c_m$，在线命中并判定正确时 $s_m \leftarrow s_m + 1$，发生误判纠错时 $c_m \leftarrow c_m + 1$。 - 差异化门控策略：局部规则由于本身就是为了揭示冲突边界而设计，若同样套用置信度门控将直接抑制其应有的预警功能，因此局部规则不参与门控过滤，检索到即作为辅助证据输入上下文。

实验关键数据¶

主实验¶

实验在三个包含复杂上下文与长尾安全风险的基准上开展评估：PrivacyLens+（隐私规范意识）、ConFaide+（情境完整性理论隐私合规）以及 AgentHarm（多步自主智能体危害评测）。模拟部署设置每日流式接收请求，仅在日终接收模型自身误判的纠错报告，基座在线护栏采用 Gemini-3.1-flash-lite 与 Claude-Haiku-4.5。以下展示五次随机种子测试集评测宏平均 F1 得分（以 Gemini-3.1-flash-lite 为底模）：

方法	机制类型	PrivacyLens+	ConFaide+	AgentHarm	平均 F1
Pure Prediction	无自适应基座	0.824	0.812	0.818	0.818
AGrail	动态检查清单式自适应	0.863	0.849	0.859	0.857
Synapse	纯案例检索几样本示例	0.897	0.884	0.892	0.891
ReasoningBank	仅泛化策略抽象归纳	0.941	0.929	0.938	0.936
LiSA (本文)	泛化抽象 + 局部细化 + 置信门控	0.965	0.957	0.964	0.962

消融实验与噪声鲁棒性分析¶

针对各核心模块的剥离实验在无噪声（$\rho = 0\%$）及不同标签翻转噪声率（$\rho = 10\%, 20\%$）下的全基准平均宏 F1 表现如下表所示：

配置 / 变体	$\rho = 0\%$ (基准)	$\rho = 10\%$ (低噪)	$\rho = 20\%$ (高噪)	说明
LiSA 完整框架	0.962 (±0.013)	0.933	0.917 (±0.025)	完整双层记忆 + Beta后验门控
w/o 置信度门控	0.959 (±0.025)	0.894	0.854 (±0.044)	移除门控后方差与噪声崩塌剧烈
w/o 局部细化规则	0.931 (±0.021)	0.902	0.881	缺少局部细化直接损失边界辨析能力
w/o 两者 (同泛化基线)	0.925 (±0.038)	0.882	0.857	退化为纯策略抽象，高噪下受害严重
经验准确率门控 $s/(s+c)$	0.960	0.911	0.883 (±0.032)	忽略样本量，单次偶发规则易过早激活

关键发现¶

局部规则主导边界精度，置信度门控主导稳健性：在干净反馈下，移除局部细化规则导致平均 F1 从 0.962 锐减至 0.931，证明在模糊和标签混杂的上下文邻域中，唯有显式提供局部细化规则才能打破泛化过度的僵局；而置信度门控在干净环境下主要起压缩方差的作用，但在 20% 标签噪声下，有无门控的 F1 分别为 0.917 与 0.854，证实后验下界是抵御错误反馈污染的核心压舱石。
Beta 后验下界显著优于经验准确率：消融表明，采用简单的经验正确率 $s/(s+c)$ 门控在 20% 噪声下仅达到 0.883，因其无法区分“1次支持/0次反驳”与“20次支持/0次反驳”的证据量差异；Beta 后验分位数自然惩罚低样本量，兼顾了方差与均值，实现了自适应的证据保守性。
突破静态护栏的模型缩放帕累托前沿：在延迟与性能权衡分析中，基于轻量模型（Gemini-3.1-flash-lite）搭载 LiSA 架构所取得的安全防护 F1（0.962），显著超越了未适配的超大规模基座护栏，且单次请求延迟远低于直接使用大模型，展现了通过轻量化外部记忆管理达成安全自适应的优越性价比。

亮点与洞察¶

将安全护栏适配从模型参数微调解耦为符号化记忆诱导：传统安全对齐多依赖周期性 SFT 或 RLHF，但在企业部署中成本极高且容易诱发灾难性遗忘。LiSA 表明通过轻量嵌入检索与自然语言规范的结构化注入，即可在冻结基座的前提下实现高效的环境规范适配。
概率置信度与认知边界的有机融合：创新性地利用 Beta 分布后验下界为 LLM 生成的定性规则提供严格的统计置信度度量，使得符号化的定性策略能够根据历史验证频次定量决定是否生效，巧妙化解了 LLM 记忆系统中“过早采信”与“难于泛化”的经典权衡难题。
离线计算成本摊销的实用落地价值：离线归纳策略仅在检测到错误时按批次消耗计算，单次错误平均消耗约 427 输入 token 与 2300 输出 token；而在随后的上百次在线推理中被持续复用，使得单次决策分摊的额外计算开销几乎可忽略不计。

局限与展望¶

受控模拟部署与真实工业流的差距：评测目前基于离线基准构建的流式部署模拟，现实生产环境中用户的反馈可能存在严重的时序自相关性、延迟甚至对抗性蓄意投毒，更复杂的噪声模式尚待验证。
离线管理器能力依赖：实验表明离线归纳高度依赖高质量大模型（Gemini-3.1-pro 替换为轻量级模型后 F1 从 0.962 掉落至 0.915），表明在资源极度受限场景下，离线策略提取的自动化仍是瓶颈。
语言与领域泛化边界：目前评测聚焦于英文环境下的隐私与自主智能体操作，未来可拓展至多语言跨文化合规规范，并探索多模态视觉智能体在实体交互中的长尾安全性。

评分¶

新颖性: ⭐⭐⭐⭐ [针对安全护栏独特的单次失误代价高昂特性，提出双层记忆结合贝叶斯后验下界门控的自适应架构]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖三大基准、两个轻量护栏底模，提供长程模拟、噪声鲁棒性分析及详尽的离线成本核算]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑严谨，数学公式与设计原理环环相扣，实验与理论动机高度呼应]
价值: ⭐⭐⭐⭐⭐ [为真实落地场景中大模型智能体应对动态上下文规范、组织隐私边界提供了一条高性价比的无微调演进路径]