DiagnosticIQ: A Benchmark for LLM-Based Industrial Maintenance Action Recommendation from Symbolic Rules¶

会议: NeurIPS 2026
arXiv: 2605.08614
代码: https://github.com/dhavalnp/DiagnosticIQ
领域: 推荐系统
关键词: 工业运维推荐、大语言模型基准、符号规则解析、析取范式、决策支持系统

一句话总结¶

针对工业物联网中“规则报警易、维修决策难”的痛点，本文提出首个基于专家符号规则的工业设备运维动作推荐评测基准 DiagnosticIQ（含 6,690 道选择题及 5 个针对性变体），揭示出当前前沿模型本质上依赖模板表面匹配而非真实逻辑求值的严重脆弱性。

研究背景与动机¶

在现代数据中心、风电场和商业楼宇等关键基础设施中，空调箱（AHU）、离心式冷水机组和工业锅炉等重型资产的高效稳定运行至关重要。工业界普遍通过部署物联网传感器与故障检测与诊断（FDD）系统进行实时监控。然而，工业运维的真实瓶颈往往不在于“故障检测”，而在于“动作响应”：基于行业标准（如 ASHRAE 指南）构建的符号规则能够精准捕获异常指标（如温度越限或焓值过低），但一旦警报触发，现场技术人员究竟应当执行何种检查、校准或更换步骤，高度依赖针对特定设备型号、工况与历史失效模式的专业经验。这种领域专业知识壁垒极高，使得自动化监控系统长期停留在“报知异常却无法指导维修”的断层状态。

大语言模型（LLM）因其强大的常识联想与指令遵循能力，被寄予厚望成为辅助现场运维排障的决策支持系统。然而，评估 LLM 能否胜任从“符号触发规则”到“最优运维动作”的推理映射面临双重阻碍：一方面，现实生产中的工业故障规则属于高度专有的私域知识，公开基准长期缺失；另一方面，通用问答评测（如 MMLU、GPQA）或现有的工业识别基准（如 FailureSensorIQ、PHM-Bench）仅关注静态知识问答或故障模式识别，缺乏针对复合逻辑条件解析、相近干扰动作排查以及多步推演可靠性的端到端评测设计。

本文直面这一空白，将研究边界收敛于“触发条件已知下的运维动作推荐”这一核心决策环节。研究团队利用历经 7 年沉淀、经现场工程团队严格验证的智慧楼宇专家运维规则库，设计了一套将符号逻辑规则确定性转换为高质量多项选择题（MCQA）的标准化流水线。核心 idea：将多约束工业符号规则解析并归一化为析取范式（DNF）以解耦触发场景，结合基于语义嵌入的对抗性干扰项采样构建包含 6,690 道题目的 DiagnosticIQ 评测套件，并通过条件取反（Aug）、选项扩增（Pro）、扰动测试（Pert）和语言重述（Verbose）等多维探针，全方位揭示 LLM 工业运维推荐能力的真实边界与表面模式匹配缺陷。

方法详解¶

整体框架¶

DiagnosticIQ 的流水线旨在将专家编写的故障诊断文档转换为具备严谨逻辑约束与真实场景区分度的评测题目。整体处理过程包含四个核心阶段：首先解析原始运维规则文档，提取传感器布尔谓词表达式（条件树）、推荐检查动作集合以及设备元数据；其次将复杂的嵌套条件树标准化为析取范式（DNF），使每个析取项对应现实监控中一次独立的警报触发场景；随后基于规则嵌入相似度矩阵分别针对“选择型（Selection）”与“排除型（Elimination）”两类题目进行非对称干扰项采样；最后融合专家撰写的设备类型物理上下文与持续时间阈值，装配成标准 MCQA 样本及 5 大针对性压力测试变体。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["专家运维规则库<br/>118 条规则 / 16 类工业设备"] --> B["条件解析与 DNF 展开<br/>嵌套条件树转单合取触发场景"]
    B --> C["语义相似度驱动干扰项采样<br/>RRSim 余弦检索生成高难度候选"]
    C --> D["资产上下文与提示词装配<br/>注入设备物理描述与时间约束"]
    D --> E["DiagnosticIQ 多维变体派生<br/>Pro / Pert / Aug / Verbose / Rationale"]

关键设计¶

1. 条件解析与 DNF 展开：解耦复合触发逻辑为独立运维场景

实际工业规则通常包含多层嵌套的合取（AND）、析取（OR）甚至否定（NOT）逻辑，直接以整棵条件树作为输入不仅脱离现场运维系统的真实呈现方式，还会使单条规则的评测覆盖面严重受限。为了模拟监控看板中单一警报触发的微观场景，流水线将每条规则 $\mathcal{R}^i$ 的条件树 $\mathcal{TR}^i$ 统一归一化为析取范式： $$\mathcal{TR}^i_{\text{DNF}} = \bigvee_{k=1}^{K}\left(\bigwedge_{j=1}^{m_k} c^i_{kj}\right)$$ 其中每个合取子句 $\bigwedge_{j=1}^{m_k} c^i_{kj}$ 均构成一组充分必要且物理上自洽的独立触发状态。通过这种展开，单条复杂规则可衍生出 $K$ 个不同的题目条件输入 $QC$，既保证了逻辑有效性，又大幅扩展了测试样本的工况多样性。同时，论文在条件中严格保留了传感器数值必须持续超限的时间阈值 $t^i$（如“持续 2 小时”），以精确考查模型对时序物理过程的敏感度。

2. 语义相似度驱动干扰项采样：构建非对称的高混淆度候选项

选择题基准的有效性高度依赖干扰项（distractors）的区分度。若随机抽取干扰项，LLM 仅凭常识词汇分布即可轻易排除。DiagnosticIQ 设计了一套基于规则级语义相似度（RRSim）的双向非对称采样策略。团队首先利用 all-mpnet-base-v2 将所有规则的文本化条件树编码为密集向量，构建全量成对余弦相似度矩阵。在生成“选择型（Selection）”题目时，针对目标规则 $\mathcal{R}^i$，算法检索在语义空间中距离最远但同属于运维动作池的候选规则集合，从中采样 $\alpha$ 个干扰动作与真实运维动作 $\mathcal{O}^i$ 配对，确保干扰项在操作语义上合理（同属相近机械排查动作）却不构成真实解；而在“排除型（Elimination）”题目中，逻辑极性完全反转，正解为不属于当前规则的无关动作，干扰项则从该规则原有的正确动作集合中提取。这种双向设计有效阻断了单纯依赖文本表面特征走捷径的可能。

3. 资产上下文与提示词装配：赋予工业级物理实体约束

同类工业设备由于制造厂商、系统配置与服役环境差异，其运维要求截然不同。消融实验表明，脱离具体设备物理语境的提问会导致模型性能严重退化。为此，基准专门组织资深设备专家为 16 类资产编写了结构化的设备物理描述文本 $AD$（涵盖气流循环、制冷剂相变、加压机制等工业机理），并将其作为强制先验信息注入提示词。最终生成的标准题元组形如 $(AD, QC, QP, OPT, A)$，要求模型必须协同理解设备机理描述、传感器状态越限事实与逻辑关联，方能给出正确的排障步骤建议。

4. 多维探针变体派生：精准剥离表面模式匹配与真实逻辑推理

为克服单一准确率指标对模型真实能力的粉饰，基准系统化构建了 5 个针对性变体：（1）DiagnosticIQ Pro：将选项从 4 个扩增至 10 个，逼近现实复杂排障空间；（2）DiagnosticIQ Pert：引入选项重排、标号替换等语义不变的表面扰动以测量格式鲁棒性；（3）DiagnosticIQ Verbose：将形式化符号谓词改写为自然语言散文，评测符号向语言迁移的损失；（4）DiagnosticIQ Aug：通过反转所有数值比较符（$< \leftrightarrow >$、$\le \leftrightarrow \ge$）构建逻辑反转探针，并加入“None of the above”选项，专门检验模型究竟是在推理条件真值，还是在机械背诵规则与动作的联想模板；（5）DiagnosticIQ Rationale：采集完整思维链（CoT）并开展人工专家打分与微调验证。

实验关键数据¶

主实验¶

评测涵盖 29 款主流 LLM（包括 2026 年最新前沿模型）及 4 种无监督嵌入基线，覆盖标准版（4 选项）与 Pro 版（10 选项）。由于资产类别天然不平衡（AHU 占 58%），论文同时汇报微平均（Micro）与资产级宏平均（Macro）准确率。

模型类别	模型名称	DiagnosticIQ Macro (%)	DiagnosticIQ Micro (%)	DiagnosticIQ Pro Macro (%)	DiagnosticIQ Pro Micro (%)
前沿闭源	claude-opus-4-6	73.59	77.76	59.81	58.68
前沿闭源	gpt-5.4	73.27	75.86	59.21	57.47
前沿闭源	gemini-3.1-pro-preview	72.74	75.92	57.74	59.67
早期闭源	claude-3-7-sonnet	70.61	72.66	56.63	53.80
开源权重	Qwen3.6-35B	69.90	73.03	55.61	56.85
早期闭源	o1	65.41	70.22	24.79	26.11
开源权重	deepseek-v3	67.02	67.89	41.38	35.80
开源权重	llama-3-1-405b	56.56	59.03	38.82	35.58
嵌入基线	all-mpnet-base-v2	52.73	41.39	38.89	23.39

消融与鲁棒性实验¶

论文通过跨领域泛化微调（AHU 设备向其他设备迁移）以及逻辑反转压力测试（DiagnosticIQ Aug），揭示了模型的微调适配特性与真实逻辑盲区。

模型	微调范式	AHU 准确率 (%)	Other 资产准确率 (%)	Macro 准确率 (%)
Llama-3.1-8B	原始基座 (Base)	50.88	44.52	48.61
Llama-3.1-8B	监督微调 (SFT)	52.31	56.44	54.09
Llama-3.1-8B	强化学习 (GRPO)	52.95	61.76	61.45
Qwen3-8B (Reasoning)	原始基座 (Base)	56.47	66.85	61.63
Qwen3-8B (Reasoning)	监督微调 (SFT)	68.89	80.28	72.12
Qwen3-8B (Reasoning)	强化学习 (GRPO)	55.27	64.76	64.49

模型名称 (Aug 逻辑反转探针)	选择原动作 (模式匹配/错误)	选择 None of above (逻辑正确)	选择新增干扰项
claude-opus-4-6	63.43%	20.73%	15.82%
mistral-medium	50.19%	15.50%	34.30%
mistral-small	48.75%	16.63%	34.60%

关键发现¶

选项扩增导致断崖式下跌：在 Pro 变体下（选项由 4 个增至 10 个），即便是第一梯队模型相对准确率也暴跌 19%，而中轻量级模型跌幅超 60%。无监督嵌入匹配模型 all-mpnet-base-v2（38.89% Macro）在 Pro 难度下甚至反超了包括 o1（24.79%）在内的半数评测 LLM，表明高混淆选项下大模型极易退化为浅层词汇共现检索。
严重依赖“规则-动作”模板记忆：在 Aug 条件反转测试中，当原规则逻辑完全失效、唯一合法答案变为“None of the above”时，表现最佳的 claude-opus-4-6 竟然有 63.43% 的概率继续选择原动作，展现出严重的“逻辑惯性”，实证表明当前大模型主要在做形态模式匹配而非严谨条件求值。
微调范式与基座架构显著分化：以非推理模型（Llama-3.1）为基座时，基于正确性奖励的 GRPO 强化学习泛化效果最佳（Macro 达 61.45%）；而对原生推理模型（Qwen3），基于专家思维链的 SFT 监督微调提升最显著（Macro 跃升至 72.12%，GRPO 反而欠佳）。
难度归因：结构赋能，计算致盲：Logistic 回归分析表明，规则中包含的算术与比较算子数量是导致回答错误的最强负向因子（每增加一个计算符，正确胜率降低 47%）；相反，布尔逻辑子句数量增加反而因提供了更丰富的结构脚手架（Scaffolding）而显著提升了模型准确率。

亮点与洞察¶

将生产级运维隐性知识转化为可复现学术基准：把工业现场历经 7 年验证的 118 条专家规则，通过规范化 DNF 展开与非对称语义对抗采样，无损转化为 6,690 道高质量 MCQA，填补了工业故障检测下游运维推荐的标准评测空白。
构筑“逻辑逆转”金标准探针：DiagnosticIQ Aug 巧妙利用工业规则的物理单调性进行符号反转，直击 LLM“看似在思考、实则背模板”的认知幻觉核心，为评估大模型在严肃工业控制场景中的可靠性提供了通用测试范式。
准确率与运维经济价值存在解耦：实验发现准确率排第二的 gemini-3.1-pro-preview 挽回的预估能耗与停机经济损失（3.13–4.82M 美元）反而超过准确率第一的 claude-opus-4-6，启示工业决策系统的模型选型必须引入“影响权重加权（Impact-Weighted）”评估。

局限与展望¶

语言与交互范式局限：目前评测全部基于英文单轮静态 MCQA，未涉及多语言运维手册、现场工人交互式排障对话及带工具调用的自主 Agent 决策闭环。
工业物理机理深度受限：数据集目前覆盖 16 类楼宇与供能关键设备（且 AHU 占比较高），对于电力电子、重型数控机床或航空发动机等包含数百种细分失效机理的复杂系统，基准广度与深度仍有待扩充。
探索与工业仿真环境脱节：静态文本评测无法反映技工执行动作后的设备动态反馈与状态转移，未来需进一步接入闭环数字孪生或工业物理仿真引擎。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立针对符号规则到物理运维动作推荐的严谨工业基准，反转探针设计极具洞察力。
实验充分度: ⭐⭐⭐⭐⭐ 评测 29 款横跨多代的前沿模型与 4 种嵌入基线，覆盖 5 个压力测试维度与真实人类专家评测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，符号定义清晰，实验统计与误差分析扎实透彻。
价值: ⭐⭐⭐⭐⭐ 揭示了前沿大模型在关键工业决策场景下的脆弱性本质，对落地安全评估与工业垂类模型调优具有重大指导价值。