EMER-Guard: Protocol-Grounded Verification for LLM Emergency Instructions¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/datasets/qq0518/emer-guardbench
领域: 安全
关键词: 应急指令验证, 协议证据约束, 非对称风险评估, 反事实评估基准, 多任务表征学习
一句话总结¶
针对大语言模型在应急场景下生成指令存在的非对称真实风险(漏报致命与误阻避险代价悬殊),本文提出了基于反事实编辑的评测基准 EMER-GuardBench、多任务协议监督验证器 EGIS 以及非对称加权评估指标 SWMR,将安全研究范式从无约束生成与提示词判别重塑为协议约束下的可审计验证。
研究背景与动机¶
随着大语言模型逐步嵌入面向公众的信息基础设施,政府救援机构、救灾响应组织与公共卫生应急平台正尝试利用其生成疏散路线、就地避险与疫情阻断指导。然而在高度涉险的应急场景下,单一聚合准确率无法掩盖模型判断失误带来的生命代价:一条遗漏致命风险的错误指令会导致居民执行危险行为(如火灾中因“开窗通风”吸入有毒浓烟与助长火势),而一条被过度拒答(Over-refusal)拦截的正当避难指南则会剥夺公众在黄金救援期的生存机会。这种由决策错误带来的非对称人类代价,使得传统的安全护栏(如 OpenAI Moderation、Llama Guard)在应急场景下彻底失灵——通用护栏聚焦于粗粒度的有害内容审查,缺乏领域专业规范的比对能力,面对紧急避险求助时常出现极其严重的过度拦截或因表面权威语气的修饰而放行致命缺陷。
现有的上下文感知安全评估和检索增强决策虽然开始引入外部场景信息,但仍未能从根本上解决“依据权威应急协议进行事后审计(Post-hoc Auditing)”的系统性难题。在知识增强生成(如 E-KELL、MoRA-RAG)中,研究重心几乎全部偏向于前端的决策生成,然而不论生成器内部是否接入知识库,其输出文本仍会因推理幻觉出现细微而致命的操作畸变(如逆转行动方向、篡改安全距离阈值、删减关键保护步骤)。更严重的是,以往学术界评测往往依赖全域混合或简单的词面重叠划分,导致测试集与训练集在基础动作层面上发生严重数据泄漏,掩盖了模型依靠浅层词频捷径而非真正理解规程的真实缺陷。当使用前沿大模型作为零样本评判者(LLM-as-a-Judge)时,过度拒答率动辄突破 20% 甚至 50%,在真实应急响应中完全不具备可用性。
面对聚合安全分数的失真与安全护栏的两难困境,本文从任务定义、评测基准与优化指标三个维度实现了根本性的范式反转:从“放任模型端到端生成应急建议”转向“依据权威法规与机构标准的事后精准核验”;从“仅在推理提示中拼贴证据”转向“在训练阶段用权威规程深度塑造验证器表征”;从“单一标量准确率排名”转向“将漏报与误报置于非对称风险曲面上的向量化联合评估”。核心 idea:构建动作组严格隔离的 6.9 万条反事实应急指令验证基准 EMER-GuardBench,提出联合优化风险感知危害分类、机制归因、严重度预估、证据支撑与成对排序的多任务证据条件验证器 EGIS,并引入严重度加权遗漏率 SWMR,在零样本 LLM-Judge 的帕累托前沿外实现了高危害检出率与超低过度拒答的兼得。
方法详解¶
整体框架¶
EMER-GuardBench 与 EGIS 的整体验证流程涵盖权威协议构建、反事实扰动与严格去泄漏划分、证据条件多任务联合编码,以及非对称成本敏感的后验判定与人工分级升级四个主要阶段。验证器以灾害场景描述 \(c\)、权威规程引文 \(e\) 以及待审计的候选指令 \(x\) 作为输入,直接预测三元组 \((y, m, s)\),其中 \(y \in \{0, 1\}\) 表示是否存在危害,\(m \in \mathcal{M}\) 判定六大危害机制之一,\(s \in \{1, 2, 3, 4\}\) 给出危害严重度等级(低、中、高、极其致命),同时辅助预测证据对指令的逻辑支撑关系 \(e_{\text{sup}}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:灾害场景 c + 权威规程证据 e + 候选指令 x"] --> B["防泄漏分组隔离基准 EMER-GuardBench<br/>10类灾害 × 6大反事实编辑机制"]
B --> C["多任务证据条件验证器 EGIS<br/>BGE-M3 双路编码与分层解冻微调"]
C --> D["联合推理头多重预测<br/>危害 y + 机制 m + 严重度 s + 证据支撑 e_sup"]
D --> E["非对称成本评价指标 SWMR<br/>严重度加权遗漏率与过度拒答率 ORR 联合度量"]
E --> F["输出:帕累托占优决策与高危升级转接"]
关键设计¶
1. 防泄漏分组隔离基准 EMER-GuardBench:彻底消除语义动作层面的训练测试污染 传统安全评测基准大多采用随机划分或行级哈希划分,导致相似甚至完全相同的动作谓词及其语义结构在训练集与测试集中广泛重叠,使模型仅凭浅层记忆就能取得虚高的分类准确率。EMER-GuardBench 基于 FEMA、CDC、WHO、OSHA 和红十字会等权威机构的专业指南,定义了 10 类突发灾害场景(地震、洪水、野火、飓风/龙卷风、极端高温、冬季风暴、海啸、危化品泄漏、突发公共卫生事件、活跃暴力威胁)。对每种场景提炼出权威安全的原子指令,并系统施加六类受控最小编辑算子:动作逆转(Action Reversal, \(m_1\))、时间扰乱(Temporal Corruption, \(m_2\))、数量与安全阈值篡改(Quantity/Threshold, \(m_3\))、前置触发条件错配(Condition Mismatch, \(m_4\))、关键安全步骤缺失(Critical Omission, \(m_5\))以及虚假安全保证(False Assurance, \(m_6\)),生成成对的最小编辑反事实样本对。在数据划分上,基准强制执行严格的指令族完全隔离(Instruction-Group-Disjoint Split)——派生自同一基础原子指令的所有正反例变体、上下文包装及改写全部归入同一划分集,确保训练集与评估集之间在基础动作与谓词尾部语义上保持绝对零重叠,同时保留了 1,000 条包含紧急语气词但完全安全的良性压力测试集(Benign-Stress Set),迫使模型必须依据规程进行语义逻辑检验。
2. 多任务证据条件验证器 EGIS:将权威协议内化为监督表征学习而非仅作提示拼接
直接通过通用大模型在提示词中追加证据文本(RAG 范式)往往会导致模型注意力发散并显著恶化过度拒答,而单纯的轻量分类器又难以建立细粒度的规则对齐。EGIS 选用多语言通用文本嵌入底座 BGE-M3(基于 XLM-RoBERTa-large 架构,共 568.3M 参数),采用 [CLS] Evidence [SEP] Instruction [SEP] 的序列交互编码机制。为避免对通用语言表征的破坏并兼顾训练效率,系统冻结底层 Embedding 层及前 12 层 Transformer 参数,仅微调高层 12 层表征空间(152.7M 可训参数),并挂载四个并行的多任务预测头:风险加权危害分类头(预测 \(y\))、六分类机制识别头(预测 \(m\))、四级序数严重度回归头(预测 \(s\))以及证据支撑/反驳验证头(预测 \(e_{\text{sup}}\))。在训练期间,EGIS 引入成对边际排序损失(Pairwise Margin Ranking Loss),在同一微批次中成对喂入最小编辑安全/危害正反例,迫使模型将危害变体的危害预测分数推至显著高于对应安全母本的超平面,从表示学习层面建立起对细微危险扰动的极高敏感度。
3. 非对称成本评价指标 SWMR:打破标量伪安全并实现拒答与漏检的联合约束 在生命攸关的应急决策中,漏判一条严重度为 4 的致命毒气防护指令,与误拦一条普通防寒建议具有截然不同的危害后果,传统的标量准确率或单项 Macro F1 掩盖了模型在极高风险样本上的致命失误。本文形式化提出了严重度加权遗漏率 SWMR(Severity-Weighted Miss Rate,作为残余危害质量的无偏代理指标),其数学定义为: $$ \text{SWMR} = \frac{\sum_{i \in \text{FN}} s_i}{\sum_{i \in \text{hazard}} s_i} $$ 其中 \(s_i \in \{1, 2, 3, 4\}\) 为第 \(i\) 条危害指令的真实严重度级别,\(\text{FN}\) 表示被模型错误预测为安全(漏报)的危害样本集合。SWMR 显式计算了模型漏检导致的残余危害严重度占总体危害严重度的比例。在实际应用评估中,SWMR 严禁脱离过度拒答率(Over-Refusal Rate, ORR)单独存在——因为系统只需极端无脑拒答即可令 SWMR 轻易降至 0。SWMR 与 ORR、危害检出 F1(Harm F1)构成了三维多目标评估曲面。实验表明,EGIS 在多达 364 个 LLM-Judge 阈值操作点中均实现了帕累托严格占优,杜绝了靠牺牲可用性虚标安全指标的现象。
损失函数 / 训练策略¶
EGIS 的联合优化损失由四部分复合而成:针对危害标签的风险加权二元交叉熵损失 \(\mathcal{L}_{\text{hazard}}\)(加入标签平滑 \(\epsilon = 0.05\) 与正例加权系数 \(\alpha = 0.25\))、针对危害子类型的分类交叉熵 \(\mathcal{L}_{\text{mech}}\)、针对严重度等级的平滑 \(\text{L}_1\) 损失 \(\mathcal{L}_{\text{sev}}\)、针对规程匹配的证据支撑损失 \(\mathcal{L}_{\text{sup}}\),以及施加在成对最小编辑反事实正负例之间的成对间隔排序损失 \(\mathcal{L}_{\text{pair}}\): $$ \mathcal{L}{\text{total}} = \mathcal{L}}} + \lambda_{\text{mech}} \mathcal{L{\text{mech}} + \lambda}} \mathcal{L{\text{sev}} + \lambda}} \mathcal{L{\text{sup}} + \lambda $$ 其中成对排序损失定义为 }} \mathcal{L}_{\text{pair}\(\mathcal{L}_{\text{pair}} = \max(0, \delta - (P(y=1|x_{\text{hazard}}, e) - P(y=1|x_{\text{safe}}, e)))\),间隔超参数设为 \(\delta = 0.5\)。模型使用 AdamW 优化器,学习率设为 \(2 \times 10^{-5}\),搭配 10% 线性预热及线性衰减。批大小设为 4 并配合 8 步梯度累积(等效批大小 32),全精度采用 bfloat16 混合精度与梯度检查点技术,早停策略基于验证集 Macro F1。
实验关键数据¶
主实验¶
在严格遵循指令族完全隔离的 6,000 条 IID 测试集以及 1,000 条全良性压力测试集上,EGIS 与主流前沿闭源/开源提示型大模型评判者、NLI 基线及同参数规模微调模型进行全面对比(固定阈值 \(\tau = 0.5\)):
| 模型体系 | 结构 / 运行配置 | 良性压力集误报率 ORR_benign (%) ↓ | IID测试集误报率 ORR_IID (%) ↓ | 危害识别 Harm F1 (%) ↑ | 反事实一致性 CC (%) ↑ | 严重度加权遗漏率 SWMR ↓ |
|---|---|---|---|---|---|---|
| DeepSeek-V3.2 | 0-shot 默认提示词 | 12.5 | 27.3 | 86.5 | 85.0 | 0.029 |
| DeepSeek-V3.2 + 协议 | 0-shot 输入拼接规程引文 | 10.9 | 34.5 | 83.5 | 84.8 | 0.035 |
| DeepSeek-V3.2 (强提示) | 6机制细则 + 6-shot CoT | 12.8 | 52.2 | 78.7 | 79.4 | 0.012 |
| DeepSeek-V3.2 (最强配置) | 细则 + 6-shot CoT + 规程证据 | 18.7 | 44.2 | 78.7 | 77.5 | 0.062 |
| Kimi-K2.5 | 0-shot 默认提示词 | 10.1 | 23.9 | 88.6 | 83.6 | 0.014 |
| Kimi-K2.5 (强提示) | 6机制细则 + 6-shot CoT | 14.0 | 54.0 | 78.0 | 89.4 | 0.017 |
| GLM-5 | 0-shot 默认提示词 | 10.2 | 53.7 | 78.8 | 82.0 | 0.000 |
| Qwen3-8B (Ours) | Logit校准概率抽取 (0-shot) | 0.7 | 17.3 | 79.6 | 89.7 | 0.223 |
| Retrieval + NLI | 0-shot mDeBERTa 推理判定 | 54.2 | 71.2 | 66.2 | 71.9 | 0.155 |
| XLM-R Seq. Clf. | 仅指令微调序列分类器 | 10.0 | 20.7 | 85.3 | 96.8 | 0.088 |
| XLM-R + Evidence | 指令+证据二元微调 | 3.2 | 14.6 | 88.0 | 94.6 | 0.085 |
| Qwen3-8B + LoRA (Ours) | 8.19B 全量训练集有监督微调 | — | 12.5 | 87.8 | — | — |
| EGIS (无证据消融) | BGE-M3 去除证据输入通道 | 10.0 | 20.1 | 87.1 | 91.7 | 0.063 |
| EGIS (Full, 本文完整模型) | BGE-M3 多任务协议监督 | 0.0 | 10.4 | 89.9 | 94.4 | 0.088 |
消融实验¶
为了严格检验规程证据引入的有效性是否具备跨架构普适性,研究设计了在 BGE-M3 与紧凑型 mDeBERTa-v3 两种截然不同的编码器底座上的 \(2 \times 2\) 交叉消融实验:
| 骨干网络底座 | 参数量 | 是否引入协议证据 | Harm F1 (%) ↑ | Macro F1 (%) ↑ | IID测试集 ORR (%) ↓ | 良性压力集 ORR (%) ↓ | MCC 关联系数 ↑ |
|---|---|---|---|---|---|---|---|
| BGE-M3 | 568M | 否 (w/o Evidence) | 87.1 | 86.3 | 20.1 | 10.0 | 0.733 |
| BGE-M3 | 568M | 是 (Full EGIS) | 89.9 | 89.9 | 10.4 | 0.0 | 0.798 |
| 增益 \(\Delta\)(BGE-M3) | — | 证据注入增益 | +2.8 | +3.6 | -9.7 | -10.0 | +0.065 |
| mDeBERTa-v3-base | 86M | 否 | 87.6 | 87.0 | 17.5 | 0.0 | 0.744 |
| mDeBERTa-v3-base | 86M | 是 | 88.6 | 88.0 | 16.4 | 0.0 | 0.764 |
| 增益 \(\Delta\)(mDeBERTa) | — | 证据注入增益 | +1.0 | +1.0 | -1.1 | 0.0 | +0.020 |
关键发现¶
- 大模型提示词评判者的“安全退化”困境:给予通用前沿大模型越详尽的机制细则与思维链(CoT),其召回率虽可微升至 98% 以上,但精确率却断崖式下跌至 65% 左右,导致其在正常求助上的过度拒答率暴涨至 52%–54%(如 DeepSeek 与 Kimi 均落入该陷阱)。GLM-5 展现出的 SWMR=0.000 表面极致安全,本质上是靠暴力拦截了超过 53.7% 的合法避险咨询换取的病态边界。
- 协议证据在训练期重塑表征,而非推理期检索查找:因果扰动实验(打乱、跨场景替换、截断 50% 证据,见附录 Table A8 与 A11)表明,在推理阶段剧烈破坏甚至颠倒输入证据内容,模型的预测翻转率仅在 1.2%–1.4% 之间(与不相关安慰剂无统计学显著差异,两样本检验 \(z = -0.279, p = 0.780\)),且安全行从未发生翻转。这强力证明 EGIS 的证据接入是在训练阶段构建了严格符合安全规程的几何判别流形,并非在推理时机械执行字符级检索对齐。
- 参数规模无法弥补结构化监督与排序约束:参数量达 8.19B、约为 EGIS 14.4 倍且训练开销高出 5 倍的 Qwen3-8B+LoRA 强基线模型,最终 Harm F1 为 87.8%,IID ORR 为 12.5%,依然显著落后于 568M 参数的 EGIS(89.9% / 10.4%),证明多任务辅助头与反事实边际排序目标带来的结构性增益超越了单纯的参数堆叠。
- 严重度分层漏检分布分析:在真实 IID 测试集中,EGIS 对严重度等级 \(s=4\) 的极危致命指令识别召回率高达 94.0%(漏检严重度质量仅 340),对 \(s=3\) 高危指令召回率为 90.3%,其整体 0.088 的 SWMR 绝大多数来自于 \(s=2\) 的中度风险条目(召回率 37.7%),杜绝了灾难性致命指令的漏网。
亮点与洞察¶
- 将数据隔离升格为核心方法论设计:摒弃通用的行级交叉验证,采用严格的指令族完全隔离(Group-Disjoint),并在反事实构建中结合 1,000 条良性压力集,杜绝了“测安全实为测记忆”的评测黑盒。
- 揭示了单标量安全指标的虚妄性:提出 SWMR 必须与 ORR 联合考量。通过全网 364 个大模型评判点构建的帕累托前沿分析,从理论和数据上证实了现有闭源大模型在应急指挥部署上的不可用性。
- 训练期先验塑造的验证器范式:不仅打破了 RAG 提示拼接必然生效的经验主义迷思,也为高风险垂直领域(如医疗处方核验、航空特情处置)提供了“专用蒸馏小模型担任后验独立审计员”的低成本可靠落地方案。
局限与展望¶
- 受控最小编辑与自然化表达间的分布迁移鸿沟:基准基于严谨的权威规程受控合成,当面对真实社交媒体中大量俚语、缩写和复杂句式的深度改写时,EGIS 的 Harm F1 下跌至 64.1%,ORR 升至 25.0%,暴露出受控探针在嘈杂野外语料上的鲁棒性限制。
- 前置条件错配(Condition Mismatch, \(m_4\))识别能力存在瓶颈:在六大机制中,前置条件错配的分类 F1 最低(仅 51.6%),原因在于其表面动作与安全指南完全一致(如“闻到煤气泄漏开窗通风” vs “听到异响开窗通风”),纯语义匹配模型缺乏物理世界的因果链与时空状态机推理能力。
- 未来方向:探索与真实动态检索时效门控(Freshness Gate)及多智能体多轮对话轨迹审计的结合,并在训练集中引入 5%–10% 的显式反事实证据依赖样本,以增强模型对跨法域与突发法规更新的动态适应力。
相关工作与启发¶
- vs Llama Guard & OpenAI Moderation: 后者聚焦于通用涉黄涉暴或越狱攻击等内容过滤,在应急避险领域既无法解析细粒度规程约束,又在良性紧急求助上面临严重的过敏性拒答;本文将任务收敛至以权威预案为基准的结构化审计,实现零良性过拒。
- vs E-KELL & MoRA-RAG: 后者致力于利用知识图谱或多智能体 RAG 在灾害中生成指挥建议;本文直击其生成阶段不可避免的微小幻觉,构建了在管线后方不可或缺的确定性后验防线。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出协议证据约束下的应急指令反事实审计基准,评价指标从标量颠覆为非对称风险曲面。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6.9 万条基准、364 个大模型 Pareto 评估点、多骨干网络消融、多随机种子验证、因果证据扰动及独立专家盲审,论据极其扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,叙述客观克制,诚实呈现实验中因果扰动的消极与积极结论,兼具深刻的方法论反思。
- 价值: ⭐⭐⭐⭐⭐ 对应急救援、灾害指挥以及生命财产安全相关的关键 NLP 应用落地具有重大指导意义与直接实用价值。