跳转至

Visual Compliance via Executable Safety Rule Entailment in Multimodal LLMs

会议: EMNLP 2026
论文: ACL Anthology
领域: 大模型安全
关键词: 多模态大模型安全, 神经符号视觉落地, 规则蕴含, 可执行安全防护, 场景图推理

一句话总结

本文针对复杂法规下端到端视觉安全防护适应性差与推理不可解释的瓶颈,提出将视觉合规评估重构为可执行规则蕴含框架 GUARDEN,通过安全规则编译与基于场景图的落地执行,在包含食品、建筑、平台内容与广告四大领域基准上将 F1 提升 9.8 并降低逾 80% 的伪违规偏置。

研究背景与动机

随着大型语言模型(LLM)与多模态视觉语言模型(VLM)的快速演进,自动化内容安全防护系统逐渐从初级的敏感词过滤与浅层模式匹配,转向针对上下文语义和高层多模态风险的综合研判。然而,在食品卫生规范(如 FDA Food Code)、建筑施工规范(如 NYC Building Code)、社交平台治理标准(如 Meta 社区准则)以及广告法规(如英国 CAP Code)等真实高风险场景中,现实世界的违规模式正以极快速度演化,监管要求往往包含层层嵌套的前提条件、豁免条款与跨条目约束。当前主流的端到端微调防护方案(如 LlamaGuard、LlavaGuard)受制于固定的分类体系,一旦遇到法规条文更新或新违规形态出现,便需要重新进行昂贵的人工标注与全量微调,导致系统在面对动态演进的合规风险时反应滞后。

更严峻的核心矛盾在于,端到端模型对复杂合规规则缺乏显式、可验证的逻辑推理能力,极易陷入两类灾难性的系统性偏置。其一是视觉敏感性偏置(Visual Sensitivity Bias):当输入画面出现血液、抗议标语、损毁物体等高唤醒度视觉元素时,模型会泛化粗粒度视觉刺激,从而绕过规则适用前提直接误判为违规;其二是规则诱导偏置(Rule-Induced Bias):法规条文中严肃的规范性用语(如“恐怖主义组织”、“暴力煽动”)会给大模型注入强烈的先验倾向,使其将画面中合法的纪录片或新闻报道断章取义地裁定为越界。现有的免微调方法无论是采用直接提示词(Direct Prompting)、隐式表示对齐(如 SafeCLIP),还是单步视觉工具调用(如 ViperGPT、CompAgent),都将多层次的法规扁平化为单一提示,难以忠实反映法律条文的析取、合取与条件否定等组合逻辑结构。

面对上述困境,本文主张彻底改变视觉安全评估的底层范式:合规审查不应是一个模糊的端到端感知分类问题,而应形式化为严格的视觉命题逻辑蕴含任务(Regulatory Entailment)。系统必须将复杂的监管条文显式外化为符号化的逻辑组合,并将每个基础命题锚定到可感知的视觉客观事实与实体关系上,从而切断概念偏置对整体判决的污染。核心 idea:将多模态合规检测形式化为可执行规则蕴含任务,通过安全规则编译生成原子命题树,并在测试期利用场景图与工具感知视觉对齐自底向上落地求解,实现对动态演进法规的可解释、无偏置零样本验证。

方法详解

整体框架

GUARDEN(Guarding by Safety Rule Entailment)将图像 \(I\) 针对法规 \(R\) 的视觉安全评估形式化为逻辑蕴含判定 \(I \models R\)。根据逻辑原子论与形式语义学,任意法规条文均可分解为有限原子命题集合 \(P = \{p_1, \dots, p_n\}\) 的逻辑组合 \(\Phi(P)\),即 \(I \models R \iff \Phi(p_1, \dots, p_n)\),其中每个原子命题 \(p_i\) 均为可对图像进行客观真值检验的布尔表达式。GUARDEN 包含两大核心阶段:离线的安全规则编译(Safety-Rule Compilation)将法规条文解析为可执行的命题树;在线测试期的场景图落地执行(Scene-Grounded Execution)则在图像中提取物体、属性及空间拓扑关系构建场景图,自底向上递归求值以得出最终判定,并在底层检测受阻时触发工具感知视觉对齐(Tool-Aware Visual Grounding)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 图像 I + 法规条文 R"] --> B["安全规则编译<br/>分解-验证循环生成命题树"]
    B --> C["场景图落地执行<br/>提取实体/关系并自底向上求值"]
    C -->|置信度不足/语义抽象| D["工具感知视觉对齐<br/>闭环对齐代理修正检索代理词"]
    D -->|更新别名缓存| C
    C --> E["输出: 符号化合规/违规判决与证据链"]

关键设计

1. 安全规则编译:解决法规逻辑层级与价值偏置问题 -> 反馈驱动的目标分解与可验证命题树 -> 消除规则诱导假阳性并支持零样本法规演进
传统的安全防护模型将长篇法规直接拼接输入给大模型,模型极易被法规标题中带有情感偏向和警示性的词汇(如“暴力威胁”、“危害组织”)误导,从而产生广泛的误报。为此,GUARDEN 引入离线安全规则编译机制,基于自顶向下的目标分解(Top-Down Goal Decomposition)将法规条文重构为可执行命题树 \(T_R = (\phi_R, \{T_r\}_{r \in \text{sub}(R)})\)。内部节点为基础布尔逻辑算子 \(\phi \in \{\land, \lor, \neg\}\),叶子节点均为客观中立的原子命题 \(p \in P\)。原子命题统一规范为两类基础格式:单实体属性谓词 \((o, \sigma, \emptyset)\)(表示目标物体 \(o\) 具有状态或属性 \(\sigma\))以及双实体关系谓词 \((o_1, \rho, o_2)\)(表示实体 \(o_1\) 与 \(o_2\) 存在拓扑或空间关系 \(\rho\))。编译过程由分解器(Decomposer)\(D\) 与验证器(Verifier)\(V\) 构成闭环回环:在第 \(t\) 轮迭代中,\(D\) 提出候选拆解及算子,条件受控于上一轮的反馈信息 \(\eta_r^{(t-1)}\);\(V\) 则综合打分 \(s_r^{(t)} \in [0, s_{max}]\)、输出改进反馈 \(\eta_r^{(t)}\) 并判定原子性标志 \(a_r^{(t)} \in \{\text{True}, \text{False}\}\)。该优化过程持续迭代直至评分饱和或达成完全原子化。通过将价值负载的规范性陈述彻底剥离为客观属性与关系的无偏组合,不仅消除了大模型的先验违规预设立场,还使得新法规的引入或修订只需更新命题树,无需重新训练任何神经网络。

2. 场景图落地执行:解决多模态感知与复杂规则逻辑断层问题 -> 双阶段实体选取与空间几何关系场景图重构 -> 保证端到端判决的因果可解释性
即使构建了规范的逻辑结构,若直接让通用多模态大模型判断图像是否满足叶子命题,依然会出现注意力漂移与上下文幻觉。GUARDEN 提出在测试阶段自底向上构建场景图 \(G(I) = (V(I), E(I))\),并将命题树转化为代换表达式 \(T_R^{(I)} = T_R[p \mapsto p \in G(I) : p \in P]\)。执行过程包含两个子阶段:首先在选取阶段(Selection),由轻量级选择器 VLM \(M_{sel}\) 根据各叶子命题及图像全局生成感知议程,明确所需检索的目标候选集 \(O_{req}^{(I)}\) 与关系候选集 \(\Gamma_{req}^{(I)}\);随后在落地阶段(Grounding),利用开放词表检测器 SAM 3 与 Google Document OCR 提取实体的边界框与文本内容,同时引入单目深度估计模型 Depth Anything 3 恢复三维相对位置信息。对于关系集合中的关系候选,GUARDEN 依据严格的形式化几何与深度投影规则(包含空间包含 inside、空间邻近 near、相邻接触 adjacent、垂直上下 above/below、垂直承载接触 on 以及局部遮盖 covering 等)自动判定真值并向 \(E(I)\) 添加边。最终,命题树各叶子节点通过场景图节点的匹配查询获得确切布尔值,并顺着逻辑运算符向上冒泡完成短路求值。该设计将原本黑盒的合规审计彻底转变为具有完整视觉定位证据与逻辑推导路径的白盒过程。

3. 工具感知视觉对齐:解决视觉基础模型抽象鸿沟与词汇鸿沟 -> 闭环代理词迭代对齐与语义缓存机制 -> 恢复漏检证据并摊销在线推理延迟
通用的视觉定位模型(如 SAM 3 或目标检测器)受限于预训练数据的分布边界,在面对法律文本特有的高度抽象概念(如食品卫生法规中的“不易辨认的散装食品原料”)时存在抽象鸿沟(Abstraction Gap),而在处理法规专用术语或组合生词(如“专用洗手设施遮挡物”)时存在词汇鸿沟(Lexical Gap),导致目标检测置信度无法达到判定门槛(\(\tau = 0.8\)),从而在场景图中产生致命的无声信息遗漏。针对该瓶颈,GUARDEN 构建了工具感知视觉对齐机制:当某目标实体 \(o\) 的初次检测置信度 \(c_o < \tau\) 时,激活对齐智能体 \(M_{ground}\)。该智能体结合原始目标语义、上一轮猜测词、检测器返回的当前图像局部反馈,自适应推导并提出与检测器表征空间兼容的具体视觉代理关键词 \(k_o^{(t+1)}\)(例如将抽象的“散装食品”实例化为具体的“透明袋装面粉”或“调味粉罐”),交由检测器重新尝试。一旦检测置信度达标并经 \(M_{ground}\) 确认语义一致,系统便将该成功替代词持久化写入别名替代缓存 \(C[o]\)。在流式处理过程中,该缓存机制能够使后续相同概念的原子命题直接复用命中结果,不仅成功找回关键违规证据,更将首阶段对齐耗时平摊至极限,使单张图像整体端到端推理时间稳定在 8.6 至 11.6 秒之间。

损失函数 / 训练策略

GUARDEN 属于纯测试期神经符号可执行安全框架,模型本身不依赖特定领域安全违规数据的后验微调。所有基础视觉感知工具(SAM 3、SigLIP 2、Depth Anything 3、Google Document OCR)均保持冻结的预训练权重;安全规则编译在离线阶段使用 GPT-5.4 作为分解器与验证器生成,测试期推理主干采用开源大模型 Gemma 4 26B(或兼容的 Qwen 3.5 27B / GPT-5.4-mini)。在附录对照实验中,作者评估了在包含充足训练样本的食品安全与建筑安全领域使用 LoRA(Rank=16,学习率 \(1\times 10^{-4}\),AdamW 优化器,bfloat16 精度)在两块 NVIDIA RTX A6000 显卡上微调 Gemma 4 26B 的方案(耗时 4.5 至 7.0 小时)。实验证实,即使微调模型在训练集上充分收敛,其在未知长尾法规上的测试表现依然显著逊色于无需微调的零样本 GUARDEN 架构。

实验关键数据

主实验

评估基准选用新构建的真实多领域法定合规基准 SAFETYVISIONBENCH,涵盖食品安全(FDA Food Code)、建筑安全(NYC Building Code)、平台内容安全(Meta 社区准则)与广告合规(英国 CAP Code)四大板块,共计 24,000 个真实违规样本及 10,000 个经过删除、新增、置换、反转四类微扰构造的高难反例安全样本(Hard Safe Cases)。测试主干模型为 Gemma 4 26B。

方法 食品安全 (Recall / F1) 建筑安全 (Recall / F1) 平台内容安全 (Recall / F1) 广告内容安全 (Recall / F1) 平均 F1 提升
Direct Prompting 34.5±2.4 / 45.4±2.3 72.0±1.6 / 78.6±1.5 16.5±3.6 / 26.6±4.4 57.5±1.3 / 57.1±0.8 基线 (51.9)
ViperGPT (Surís et al., 2023) 73.1±0.4 / 72.5±0.4 84.0±0.0 / 74.0±0.3 43.9±1.6 / 53.3±4.0 60.6±0.3 / 45.5±0.7 +9.2
ETA (Ding et al., 2025) 83.7±0.8 / 82.6±0.2 95.8±1.2 / 83.6±1.2 39.7±4.3 / 52.0±7.5 73.4±0.3 / 57.4±1.2 +14.8
SafeCLIP (Zhao et al., 2025) 82.9±1.2 / 81.6±0.2 79.0±0.0 / 84.2±0.7 41.8±2.1 / 53.5±2.1 71.9±0.9 / 55.2±1.7 +14.5
CLUE (Wang et al., 2025) 66.0±0.8 / 71.7±0.6 87.1±1.0 / 72.1±0.7 53.2±2.5 / 57.9±2.6 55.3±1.2 / 44.2±0.3 +9.6
CompAgent (Ghosh et al., 2026) 76.8±1.9 / 77.9±1.0 91.6±1.8 / 80.6±1.2 54.9±3.2 / 59.5±2.1 64.3±2.4 / 53.7±1.4 +16.0
GUARDEN (本文) 89.3±1.2 / 84.4±3.5 92.9±0.8 / 86.4±0.1 70.0±4.0 / 69.0±2.6 69.8±0.5 / 74.9±3.6 +26.8 vs DP (+9.8 vs SOTA)

消融实验

作者在四大领域系统剥离 GUARDEN 的核心模块,使用 Gemma 4 26B 评估各变体带来的 F1-score 降幅(报告三次独立运行均值):

消融配置 食品安全 F1 建筑安全 F1 平台内容 F1 广告内容 F1 相对平均降幅说明
GUARDEN 完整管线 84.4 ± 3.5 86.4 ± 0.1 69.0 ± 2.6 74.9 ± 3.6 基准性能 (平均 F1: 78.7)
移除关系落地 (w/o Relation Grounding) 77.7 ± 3.6 52.0 ± 7.6 45.5 ± 2.8 44.9 ± 13.4 -30.1% (物体间空间/相对关系丢失引发断崖式崩溃)
移除验证器闭环 (w/o Verifier Loop) 74.6 ± 3.1 62.2 ± 15.7 46.3 ± 1.8 45.1 ± 12.8 -27.4% (命题树存在语法歧义与逻辑算子反转)
移除工具感知对齐 (w/o Tool-Aware Grounding) 76.2 ± 4.6 75.5 ± 6.8 64.6 ± 2.9 46.5 ± 12.8 -16.5% (抽象词汇与冷门术语导致检测器严重漏检)
移除场景图执行 (w/o Scene-Grounded Execution) 75.9 ± 1.4 80.5 ± 4.4 64.7 ± 4.6 53.4 ± 9.6 -12.8% (退化为让 VLM 在整图上直接裸答原子命题)

关键发现

  • 复杂上下文领域增益尤为显著:在规则高度依赖上下文且带有规范性词汇的广告安全与平台内容安全领域,GUARDEN 相比最强基线 F1 分别提升了 17.5 分(74.9 vs 57.4)与 9.5 分(69.0 vs 59.5),充分验证了解构逻辑组合对阻断大模型常识幻觉的必要性。
  • 关系语义是物理合规的基石:消融表明,移除实体间的关系判定(如物体是否“阻塞通道”、“放置于离地15厘米以上”)导致建筑安全 F1 暴跌 34.4 分(86.4 \(\to\) 52.0),表明仅凭独立物体的检测绝无法支撑严密的合规审计。
  • 大幅抑制系统性偏置:在平台安全领域,端到端直接提示词(DP)在出现血液/伤害、仇恨符号、抗议骚乱等敏感画面时产生 15.5% 的伪违规误报,而 GUARDEN 降至 3.2%(降低 80.4%);对于规范性法规(如“危险组织与个人”),误报率从 52.8% 锐减至 7.8%(降低 85.2%)。
  • 零微调架构完胜领域全量微调:在保有充分数据的食品与建筑安全领域,经过 LoRA 微调的 Gemma 4 26B 取得 81.2 与 89.1 F1,而完全无需训练的 Base + GUARDEN 达到 88.7 与 91.1 F1,证明外化规则推理比将规则隐式死记在参数中更具鲁棒性。

亮点与洞察

  • 将安全合规范式从“端到端黑盒评分”转向“符号化规则蕴含”:通过将自然语言法规形式化为命题树,使大模型从容易受情绪词汇感染的法官,退回为只需负责中立属性检索的感知执行器,从根本上隔离了价值偏置。
  • 抽象/词汇鸿沟的闭环代理词对齐机制:利用 VLM 动态猜词并结合底层检测置信度反馈构建自愈对齐循环,同时通过实体别名缓存摊销推理开销,既解决了开放词表定位器在法律特定术语上的失灵,又保障了工程落地可用性。
  • 法律规则与工程架构的敏捷解耦:当法规发生修定时(如案例中英国 CAP Code 对赌博广告从“超额吸引未成年人”收紧为“强烈吸引未成年人”),传统模型需重新标注样本重训,而 GUARDEN 仅需重新编译单条命题树分支,秒级实现零样本合规升级。

局限与展望

  • 强依赖书面法规的完备性与清晰度:编译质量分析显示,86% 的编译瑕疵源于法规文本中本身存在的“过大”、“微量”、“适度”等含糊用词,导致系统对于缺乏量化阈值的弹性条款难以完全自动符号化。
  • 缺失类比推理与判例法机制:目前系统主要侧重演绎推理(Deductive Entailment),而在英美法系及真实司法实践中,大量边界争议依赖于判例检索(Precedent Retrieval)与类比权衡,作者尝试外挂简单检索器后虽有 0.8~2.4 分提升,但深层融合仍待探索。
  • 多模块协同的高延迟短板:尽管关键路径并行化将时间控制在 10 秒左右,但相比端到端模型的百毫秒级响应,仍难以直接部署于高并发的社交网络即时发帖拦截拦截流,未来需探索离线知识蒸馏与混合快慢路径架构。

相关工作与启发

  • vs ViperGPT (Surís et al., 2023): ViperGPT 采用纯 Python 代码生成组织视觉 API 调用,易受复杂法律逻辑生成过程中的代码语法错误和无限循环困扰;GUARDEN 采用受限命题逻辑树与分解-验证闭环,逻辑形式更严谨可控。
  • vs CLUE (Wang et al., 2025): CLUE 探索了将规则分解为视觉前提条件,但仅采用扁平化的条件过滤并依赖输出 Token 概率兜底;GUARDEN 完整保留了复杂的合规/析取/例外逻辑嵌套,广告安全 F1 大幅领先 CLUE 30.7 分。
  • vs CompAgent (Ghosh et al., 2026): CompAgent 依赖多智能体 ReAct 自由探索工具,容易在复杂多图中漫无目的地漂移;GUARDEN 依靠感知议程直接指导检测取词与深度空间计算,更加确定高效。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将多模态安全审计形式化为严格的神经符号规则蕴含与可执行命题树,切入视角极具突破性]
  • 实验充分度: ⭐⭐⭐⭐⭐ [自建涵盖四类真实法规的超大规模基准,实验包含大量消融、偏置量化、抗噪测试与案例剖析]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰,形式化定义精炼准确,图表与附录数据极其详实]
  • 价值: ⭐⭐⭐⭐⭐ [为大模型在工业界高合规领域(食品卫生、建筑工程安全审查、金融广告监管)的落地点明了兼具可信度与自适应性的演进道路]