DeepSafe-SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring¶

会议: NeurIPS 2026
arXiv: 2607.18665
代码: https://github.com/AI45Lab/DeepSafe-Sci
领域: 安全
关键词: 科学安全评测, 危害分解评分, 深度研究智能体, 现实危害规制, LLM裁判偏见

一句话总结¶

提出覆盖12个学科的现实落地科学安全基准SciHazard及解耦可执行度与新增风险的DeHarm-Score评测体系，揭示自主研究智能体在科学滥用场景下存在严重安全盲区。

研究背景与动机¶

大语言模型正被深度应用于自动化科学探索与前沿研发中，但这一赋能过程也大幅削弱了高危科学知识被武器化和恶意滥用的门槛。从化学战剂的简易合成、病原体工程化改造到网络系统级攻击和金融规则操纵，前沿模型若失去严谨防线，极易生成具有极高现实危害的可操作指南。然而，现有的科学安全评测基准主要依赖模板化实体查询或客观选择题（如WMDP、SafeSci等），仅能考察模型对孤立危险知识的浅层检索与记忆，无法模拟对抗攻击者在现实世界中跨越技术瓶颈、推进完整武器化链条的复杂操作场景。

更为严峻的挑战在于评测方法本身的失真。现有方法普遍沿用单一整体评分的LLM-as-a-Judge范式，在面对高知识密度的科学输出时，评判模型往往陷入表层语义启发式偏见（如对免责声明过度敏感、被伪科学术语蒙蔽），且不同评审专家对“潜在后果严重但缺乏参数”与“操作详实但危害较低”的内容存在主观权重漂移，导致整体打分的一致性与可信度严重塌陷。此外，现有基准几乎全针对标准对话模型，完全忽视了具备自主检索、规划和工具调用能力的深度研究智能体（Deep Research Agents），其强大的信息整合能力正在无形中侵蚀传统的对齐拒答防线。

针对这些系统性盲区，本工作从现实规制与工程实操视角重新审视科学安全。核心 idea：构建覆盖12大学科全武器化生命周期的真实对抗基准SciHazard，并建立将输出危害解耦为可执行度与净新增风险两阶段验证的DeHarm-Score评测体系，精准量化前沿LLM与自主智能体在真实科学滥用链条中的潜在威胁。

方法详解¶

整体框架¶

评测框架主要包含两大部分：以现实法规与事故报告为依据的SciHazard数据集双轨生成流水线，以及基于解耦打分范式的DeHarm-Score自动化评估流水线。

在数据生成阶段，流水线将实体类学科与系统逻辑类学科解耦为“物质驱动轨”与“场景驱动轨”，联合权威国际管制清单提取危险图元，沿武器化生命周期与技术瓶颈正交组合生成2,400道危害问题，并利用意图反转构建600道过度安全控制问题。在评估阶段，DeHarm-Score引入乘法门控机制：输入危害级别设定风险上限，两阶段拒答分类器作为开关，未拒答内容的实际威胁则由可执行度分支（E-Branch）与净新增风险分支（N-Branch）解耦量化后调制输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与模型回复"] --> B["双轨科学滥用查询构建<br/>物质生命周期与场景杀伤链正交组合"]
    B --> C["双轴危险严重性分级<br/>规制等级 × 操作意图确定Hq"]
    C --> D["两阶段拒答判定器<br/>模板模式过滤与语义实质拒答判决R"]
    D -->|未实质拒答 R=1| E["加权动态清单可执行度评估<br/>三维度规范/流程/验证及阻断项核查"]
    D -->|未实质拒答 R=1| F["知识整合壁垒新增风险评估<br/>主张提取/动态检索覆盖度/合成壁垒"]
    E --> G["综合伤害调制评分<br/>门控公式计算最终DeHarm-Score"]
    F --> G
    D -->|实质拒答 R=0| H["安全归零 Score=0"]

关键设计¶

1. 双轨科学滥用查询构建：正交解耦物质生命周期与系统杀伤链 传统基准通常仅测试单步合成问答，无法捕捉恶意行为者跨越技术瓶颈的完整操作链路。针对化学、生物、物理、药理等7个实体学科，本设计将1,548种权威管制物质（涵盖CWC、CDC选择性毒剂、DEA管制品等）定义为危险图元，通过前沿模型结合外部专业知识库提炼其关键工程瓶颈（如规避安检筛查、提升热稳定性、增强跨物种感染性），并沿着“上游获取与替代 $\rightarrow$ 中游优化与放大 $\rightarrow$ 下游稳定与储存 $\rightarrow$ 递送与散布”四阶段进行正交展开。针对计算机科学、心理学、社会学、经济学、法律等5个无形系统学科，则以利用规则与信息流漏洞的系统攻击为图元，按“侦察接入 $\rightarrow$ 武器化策略设计 $\rightarrow$ 执行放大 $\rightarrow$ 逃避持久化”杀伤链正交展开。该机制确保了问题集对复杂攻击链路的高覆盖度与现实可行性，彻底摆脱了死记硬背式测试。

2. 双轴危险严重性分级：融合法规依据与操作意图的客观锚定 为了避免依赖模型对危害程度的主观臆测，基准引入双轴分级机制确定查询固有危害等级 $H_q \in \{1, 2, 3, 4, 5\}$。横轴为规制分级（Regulatory Tier, R1–R4），直接对齐国际法定公约与管制清单（例如R4对应CWC附表1化学武器、CDC一级选择毒剂、CVSS 9.0–10.0超高危漏洞，R1为一般不受控物质）；纵轴为操作意图（Operational Intent, O1–O4），细分为防御合规（O1）、机理认知（O2）、双重用途优化（O3）和明确武器化增强（O4）。查询的危害等级由两轴确定性查表映射判定（如防御意图O1统一归入L1，明确武器化O4在R3/R4下达到最高L5）。通过三模型委员会多数表决及专家边缘仲裁，该分级与专家标注达成91.38%精确匹配及100%相邻一致性，为后续风险量化确立了客观物理基准。

3. 加权动态清单可执行度评估：细粒度阻断项与两阶段事实验证 传统裁判无法判断科学步骤是否因缺失关键条件而失去实操可能。E分支（Executability Branch）先基于输入查询检索权威证据，利用评审模型生成包含10个具体条目的动态核查清单，明确划分为规范要求（材料、参数、前置条件）、操作规程（时序步骤）以及验证指标（成功判据）。其中，决定全流程可行性的不可替代环节被显式标记为阻断项（Blockers）。随后对模型回复进行两阶段匹配：第一阶段按1–5分量化满足度并提取文本证据，对 $\le 2$ 分的条目启动关键词增强的二次复检以防隐式信息漏检；最后由规则计算基准层级（未通过任一阻断项即强制截断在低可行度层级），再交由独立评审员在 $\pm 1$ 级严格受限范围内微调输出最终 $E \in \{1, 2, 3, 4\}$，精准识别参数篡改与伪科学幻觉。

4. 知识整合壁垒新增风险评估：原子检索覆盖度与跨学科合成难度判定 一个具备可执行性的危险方案，若仅是教科书公知常识，其净新增威胁较为有限；反之，若整合了散落各处的隐蔽知识并突破关键门槛，则危害急剧放大。N分支（Net-New Risk Branch）首先从回复中提取至多10个原子化技术主张并标注关键度。系统通过Serper搜索引擎调用外部网络及专属知识库进行受控动态检索（设定2026-04-15时间戳上限并建立SHA-256缓存保证完全可复现），对每个主张评定检索覆盖难度（Coverage: easy, moderate, hard）与合成壁垒（Synthesis Barrier: low, medium, high）。独立评审模型评估模型是否开创性地将公开的边缘碎片拼装为低成本可执行方案，输出最终新增风险评级 $N \in \{1, 2, 3, 4\}$。

5. 综合伤害调制评分：基于严格门控与解耦强度的数学统一 综合危害评分通过门控乘法公式计算： $$S = H_q \cdot R \cdot \frac{E + N}{8}$$ 式中 $H_q \in \{1,2,3,4,5\}$ 由输入查询属性严格确定上限，$R \in \{0, 1\}$ 为两阶段拒答分类因子（通过模式过滤结合内容实质审查，确保嵌入安全套话但仍泄露实质技术细节的回复判定为 $R=1$），而 $E, N \in \{1,2,3,4\}$ 分别代表可执行度与净新增风险。$\frac{E+N}{8} \in [0.25, 1.0]$ 作为危险强度调制系数。此数学形式体现了层级防御逻辑：输入危险度决定天花板，拒答为绝对安全开关，而回复的内在风险由操作完整度与信息增益双重决定。

实验关键数据¶

主实验¶

评测涵盖31个前沿系统，包括开源LLM、闭源商业模型、深度研究智能体以及专用科学模型。主要指标包括过度安全率（Oversafety %）、拒答率（Rejection %）、平均可执行度（$E_{\text{avg}}$）、平均新增风险（$N_{\text{avg}}$）、全样本DeHarm得分以及仅在非拒答样本上的危险强度（$\text{DeHarm}^\dagger$）。

模型类别	模型名称	过度安全率 (%)	拒答率 (%)	$E_{\text{avg}}$	$N_{\text{avg}}$	DeHarm	$\text{DeHarm}^\dagger$
开源模型	LLaMA-3.1-70B-Inst.	6.8	17.7	1.885	1.552	1.818	2.208
开源模型	Qwen3.5-35B-A3B	16.8	64.9	2.380	1.950	0.976	2.798
开源模型	DeepSeek-R1	54.7	53.7	2.629	1.871	1.331	2.895
闭源模型	GPT-5.4	26.0	18.8	1.455	1.354	1.440	1.783
闭源模型	Claude Opus 4.6	56.7	59.6	1.653	1.477	0.779	1.947
闭源模型	o3	16.8	82.2	3.234	2.054	0.597	3.372
闭源模型	Grok-4.1-Fast	18.3	81.4	3.312	2.113	0.632	3.424
智能体	o3 Deep Research	0.0	45.0	2.639	1.923	1.601	2.931
智能体	Gemini Deep Research	15.0	63.1	2.371	2.032	1.856	3.010
智能体	WebThinker + DeepSeek-R1	0.0	12.1	2.550	1.986	2.520	2.869
科学模型	InternAgent	0.0	8.3	2.251	1.768	2.023	2.215

消融实验与元评测¶

在173个高难度专家双盲标注样本上，检验DeHarm-Score评测体系及组件消融对专家标注一致性（QWK、MAE、Spearman $\rho$）的贡献，并测试扰动鲁棒性（V1参数篡改导致不可执行、V2无关伪科学插入、V3表面免责声明）。

评测方法 / 消融配置	评测维度	QWK ↑	MAE ↓	Spearman $\rho$ ↑	扰动V1位移 (%)	扰动V3位移 (%)
Direct LLM-as-a-Judge (Gemini)	综合得分	0.147	2.040	0.440	-11.98%	-0.96%
StrongReject (Gemini)	综合得分	0.283	1.208	0.219	-14.65%	-53.66%
DeepReject (Gemini)	综合得分	0.407	0.756	0.416	-27.30%	-3.83%
DeHarm-Score (完整管线)	综合得分	0.774	0.196	0.812	-37.47%	-2.69%
仅解耦结构 (无检索 V1)	E分支可执行度	0.697	0.391	0.753	—	—
仅检索增强 (无解耦 V2)	E分支可执行度	0.634	0.449	0.699	—	—
仅解耦结构 (无检索 V1)	N分支新增风险	0.524	0.398	0.605	—	—
仅检索增强 (无解耦 V2)	N分支新增风险	0.608	0.351	0.662	—	—

关键发现¶

智能体增强系统性放大科学安全隐患：具备检索与推理规划的深度研究智能体平均DeHarm得分达1.504，相比19款标准LLM平均值（1.137）激增32.3%。其中o3向o3 Deep Research演进时DeHarm从0.597跃升至1.601（增幅达168%）；WebThinker + DeepSeek-R1更是录得全场最高分2.520，拒答率从基础模型的53.7%断崖式暴跌至12.1%。
高拒答率不等于模型实质安全：拒答率最高的基础模型（o3达82.2%，Grok-4.1-Fast达81.4%）在非拒答子集上的危害得分（$\text{DeHarm}^\dagger$）分别高达3.372和3.424，表现出极脆的防御表象——一旦被越狱或被智能体工作流调用，就会吐出极其完整致命的步骤。相反，GPT-5.4与GPT-5.2展现了内在内容对齐优势，$\text{DeHarm}^\dagger$仅为1.783和1.913。
过度安全与合规效用剧烈失衡：现有防线判别力极其粗糙。Claude Sonnet 4.6拒绝了74.8%的良性科研咨询，却仅拒绝54.5%的危险请求；DeerFlow + Qwen3.5-35B的过度拒答率高达88.3%，出现严重的“宁可错杀三千”现象。

亮点与洞察¶

阻断项动态清单机制精准刺破幻觉：将操作规程显式划分为规范、流程与验证三维度并设立不可替代阻断项，使系统在遇到参数被篡改导致物理不可行（V1扰动）时能敏锐感知并暴跌37.47%，而普通LLM裁判对参数破坏几乎无动于衷。
解耦式打分化解专家认知负荷：通过解耦可执行度（E）与新增风险（N），专家间的标注一致性（Krippendorff’s $\alpha$）从传统单一整体打分的0.568大幅提升至0.832，证明分而治之的结构化评估能够有效抑制尺度漂移。
抗干扰设计打破虚假安全姿态：面对在危险内容中塞入伪科学引用（V2）或大段安全免责声明（V3）时，DeHarm-Score的波动仅在2.6%以内，而StrongReject等基线在遇到免责声明时评分暴跌53.66%，展现了极强的抗扰动鲁棒性。

局限与展望¶

前沿交叉与动态威胁覆盖受限：作者指出基准尚未完全覆盖量子材料工程、AI自动化合成生物学等高度细分及新兴交叉领域；科学危害模式瞬息万变，需建立社区持续提交的高危案例热更新机制。
专家标注的高昂成本限制规模：科学安全判别依赖博士级跨学科专家的深度核查与反演，单样本标注耗时达1.47小时且需两轮质检，使得在更大规模模型输出全集上维持全人工监督极为困难。
静态时间戳缓存与网络演进的平衡：虽采用固定时间戳与缓存保证了复现一致性，但长远来看需探索自动化知识库演进校验机制，以防止评测本身随现实技术与管制条目的变迁而出现滞后。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将科学危险分解为可执行度与新增风险的解耦评测框架，且深入揭示智能体滥用盲区。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖31个前沿模型与智能体系统，引入3名博士专家深度交叉标注、3种对抗性扰动测试与完整消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学形式化完备，危害分级与规制对齐界限清晰。
价值: ⭐⭐⭐⭐⭐ 填补了前沿AI与自主智能体在实体及无形科学安全领域关键评估工具的空白，代码与缓存完全开源。