CHORD: Cross-Model Hallucination Detection via Relational Graph Discrimination¶

会议: NeurIPS 2026
arXiv: 2610.38314
代码: https://github.com/MiracleworkerD/CHORD
领域: 幻觉检测
关键词: 跨模型泛化, 幻觉检测, 关系图判别, 关系感知注意力, 元学习

一句话总结¶

针对传统基于内部表征的幻觉检测器在跨模型时因表征语义不一致而退化至随机猜测的瓶颈，CHORD 提出将跨层、跨 Token 与特征块重组为联合关系图，通过关系感知注意力网络捕获可迁移结构信号，并结合 Feature-Critic 元学习在 8 款模型与 7 个任务基准上取得平均 0.8042 AUROC 的优异泛化表现。

研究背景与动机¶

基于大语言模型内部隐藏状态（hidden states）构建轻量分类器的训练型幻觉检测方法，在单模型内部分布下表现亮眼，但长期存在一个致命局限：学到的检测器极度依赖特定模型的几何空间，一旦直接迁移至未见过的目标大模型，检测性能往往断崖式下跌至接近随机猜测（AUROC 仅 0.47~0.52）。这种跨模型迁移失败的根源在于不同大模型在架构家族、参数规模及训练方案上的异构性，使得各模型内部隐藏状态存在强烈的语义不一致（semantic inconsistency）。在真实部署环境中，为每个新上线或迭代的模型单独标注并重训专用检测器带来了极其高昂的计算、标注与运维成本。

针对跨模型幻觉检测（Cross-Model Hallucination Detection, CMHD）这一挑战，核心症结在于如何摆脱对模型特异性绝对坐标语义的依赖，提取在异构表征间稳定且具备判别力的通用信号。最近的分析表明，表征在几何局部邻域诱导的相对拓扑结构在不同模型间具有更强的对齐稳定性。然而，单一维度的相对关系（如仅考虑 Token 间转移或浅层相似度）能提供有限的跨模型信号，但与强大的免训练语义熵基线相比仍有明显代差，不足以支撑复杂推理和智能体环境下的鲁棒检测。

本文发现大模型在深浅层语义分层递进、序列生成步长状态演变以及特征块激活模式三者交织的联合关系结构中，蕴含着高度跨模型可迁移的幻觉判别线索。核心 idea：将大模型内部隐藏状态重组为跨层-Token-特征块的联合关系图，利用结合位置与内容差异的双重关系感知注意力编码拓扑动态，并通过留一伪目标模型的元学习机制驱动探测器剥离模型特异捷径、收敛至可跨模型迁移的稳健判别信号。

方法详解¶

整体框架¶

CHORD 的整体流程划分为四个核心阶段：异构隐藏状态维度离散映射（Scattered Padding）、联合关系图构建（Joint Relational Graph Construction）、关系感知图编码与注意力池化（Relation-Aware Attention & Pooling），以及基于 Feature-Critic 的元学习训练（Meta-Learning Training）。输入为源大模型或未知目标大模型针对问题 $\mathbf{Q}$ 生成的回答 $\mathbf{A}$ 内部提取的隐藏状态，输出为该回答是否为事实真实（Truthful）的概率估计。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：生成隐藏状态<br/>H ∈ R^(T × d_i)"] --> B["1. 异构表征离散重组<br/>散列映射与特征块切分"]
    B --> C["2. 联合关系图构建<br/>层-Token-块三元组全连接图"]
    C --> D["3. 关系感知注意力编码<br/>注入相对拓扑与内容差分"]
    D --> E["注意力池化与概率预测<br/>AttPool 与分类 MLP"]
    E --> F["4. Feature-Critic 元学习<br/>留一源模型模拟跨模型泛化"]
    F --> G["输出：跨模型判别概率<br/>y_hat ∈ [0, 1]"]

关键设计¶

1. 异构表征离散重组：均匀散列与特征块切分 针对跨模型场景下不同大模型隐藏维度 $d_i$ 参差不齐的问题，CHORD 并不依赖针对特定目标模型学习的对齐投影，而是设计了一种确定性且无参数的离散散列重映射机制。将所有模型的内部维度均匀离散映射至预设的公共统一空间 $\mathbb{R}^{d^\star}$（其中 $d^\star \ge \max_i d_i$，默认取 8192）： $$p_i(\kappa) = \left\lfloor (\kappa - 1) \frac{d^\star}{d_i} \right\rfloor + 1, \quad \kappa \in \{1, \dots, d_i\}$$ 原始坐标被严格放置于 $p_i(\kappa)$ 对应位置，其余未触及位置填充 0。相比于集中在末尾补零的平凡填充，这种散列设计避免了零值偏置，使得切分出的每个局部特征块都能均衡承载原始激活信息。随后，将映射后的维度均匀等分为 $B$ 个连续特征块（默认 $B=64$），每个块维度为 $d^\star/B$（即 128 维），为后续精细的拓扑节点建立提供统一维度的输入。

2. 联合关系图构建：三元交互与位置内容双重边表征 针对单一 Token 或单层切片信息表征局限的问题，CHORD 在生成回答末尾选取 $r$ 个关键 Token 步长 $\mathbf{T}^{\text{sel}}$（默认 3 个）并在网络中间选取 $m$ 个相对深度层 $\mathbf{L}^{\text{sel}}$（默认 3 层），将每个 (层 $\ell_u$, Token $t_u$, 块 $b_u$) 组合定义为图中的一个微观节点 $u \in \{1, \dots, N\}$，节点总数为 $N = m \cdot r \cdot B$（默认 576 个节点）。节点初始向量通过线性投影结合可学习的层、Token、块绝对位置嵌入获得： $$\mathbf{x}_u = \mathbf{W}_{\text{p}} \bar{\mathbf{h}}_{t_u}^{\ell_u}[\mathcal{I}_{b_u}] + \mathbf{e}_\ell(\ell_u) + \mathbf{e}_t(t_u) + \mathbf{e}_b(b_u)$$ 图结构采用全连接有向图，任意节点对 $(u, v)$ 之间构建丰富的边特征 $\mathbf{e}_{uv}$。边特征融合了三维索引上的离散相对偏移差（通过查找表映射）以及节点特征的内容几何差异（余弦相似度 $c_{uv}$ 与欧氏距离 $d_{uv}$）： $$\mathbf{e}_{uv} = \text{MLP}_1 \Big( \big[ \boldsymbol{\phi}_\ell(\ell_u - \ell_v), \boldsymbol{\phi}_t(t_u - t_v), \boldsymbol{\phi}_b(b_u - b_v), \cos(\mathbf{x}_u, \mathbf{x}_v), \|\mathbf{x}_u - \mathbf{x}_v\|_2 \big] \Big)$$ 这一设计使边表征不仅包含节点在模型内部计算网格中的拓扑相对偏置，更动态编码了特定样本在不同抽象层次上的激活响应差异。

3. 关系感知注意力编码：边增强消息传递与图级注意力池化 为了让节点吸收全图的拓扑关系与差分特征，CHORD 引入关系感知多头自注意力机制（Relation-Aware Attention）。在第 $q$ 层注意力的每个注意力头 $h$ 中，边向量 $\mathbf{e}_{uv}$ 分别投影为键偏置 $\mathbf{a}_{uv}^{K, (q, h)}$ 和值偏置 $\mathbf{a}_{uv}^{V, (q, h)}$： $$s_{uv}^{(q, h)} = \frac{(\mathbf{q}_u^{(q, h)})^\top (\mathbf{k}_v^{(q, h)} + \mathbf{a}_{uv}^{K, (q, h)})}{\sqrt{d_h}}, \quad \alpha_{uv}^{(q, h)} = \frac{\exp(s_{uv}^{(q, h)})}{\sum_{v'=1}^N \exp(s_{uv'}^{(q, h)})}$$ $$\mathbf{m}_u^{(q, h)} = \sum_{v=1}^N \alpha_{uv}^{(q, h)} (\mathbf{v}_v^{(q, h)} + \mathbf{a}_{uv}^{V, (q, h)})$$ 经过多头拼接、残差连接、层归一化和前馈网络后，经过 $Q=2$ 层的迭代聚合，节点表示充分融合了全图的相对关系动态。随后，模型通过注意力池化（Attention Pooling）自适应加权收拢全图节点生成全局图表征 $\mathbf{z} \in \mathbb{R}^{d_{\text{m}}}$，最终通过轻量级 $\text{MLP}_2$ 和 Sigmoid 激活函数输出真值概率 $\hat{y}$。置换不变的池化操作进一步消除了不同大模型内部计算图节点枚举顺序差异带来的不稳定性。

4. Feature-Critic 元学习：留一源模型模拟跨模型泛化 针对常规经验风险最小化（ERM）容易使检测器拟合源模型特异性激活捷径的问题，CHORD 引入基于 Feature-Critic 的元学习训练范式。在多源模型训练阶段，每个元迭代随机将一个源模型保留为伪目标模型（$\mathcal{M}_{\text{val}} = \{i_{\text{val}}\}$），其余作为元训练域（$\mathcal{M}_{\text{trn}}$）。系统引入轻量级集合嵌入判别器（Critic 网络）$h_\omega$，根据当前批次的图表征计算非负辅助正则损失 $\mathcal{L}_{\text{aux}}$。算法先在元训练集上模拟一次包含辅助损失的虚更新生成新参数 $\psi^{\text{new}}$，并在留出伪目标模型上检验其验证损失变动： $$\mathcal{L}_{\text{meta}}(\omega) = \tanh \left( \mathcal{L}_{\text{bce}}(\mathcal{B}_{\text{val}}; \psi^{\text{new}}, \phi) - \mathcal{L}_{\text{bce}}(\mathcal{B}_{\text{val}}; \psi^{\text{old}}, \phi) \right)$$ 通过元目标反向优化 Critic 参数 $\omega$，迫使 Critic 学会奖赏那些能够促进跨模型迁移的特征梯度方向。随后以该正则目标更新主检测器网络，有效剥离特定模型的分布偏置。

实验关键数据¶

主实验¶

在严苛的“留一模型家族”（Leave-One-Family-Out）评测协议下，CHORD 在 8 款跨家族/不同尺寸的大模型（Llama-3.2-3B/3.1-8B/3.3-70B、Ministral-3-8B/14B、Qwen3-8B/14B、Qwen3.5-35B-A3B）以及 7 个多样化基准（涵盖事实问答、推理、代码与智能体工具调用）上与免训练及训练型基线进行了全面对比。下表呈现了最具代表性的四款目标模型上的跨家族泛化 AUROC 数据：

评测方法	类型	Llama3.1-8B 平均	Llama3.3-70B 平均	Qwen3-8B 平均	Ministral3-14B 平均	全体 8 模型全任务总均值
Perplexity	免训练	0.6477	0.6691	0.6518	0.6409	0.6506
Semantic Entropy	免训练	0.7060	0.7211	0.6948	0.6952	0.7053
EigenScore	免训练	0.6877	0.7016	0.6846	0.6829	0.6885
InterrogateLLM	免训练 (最强基准)	0.7158	0.7374	0.7092	0.7114	0.7152
MM (Mass-Mean)	训练型 (表征)	0.5058	0.5150	0.4995	0.5054	0.5064
SEP	训练型 (表征)	0.5203	0.5225	0.5063	0.5076	0.5168
SAPLMA	训练型 (表征)	0.5212	0.5232	0.5112	0.5090	0.5177
LapEigvals	训练型 (注意力谱)	0.4919	0.5082	0.4970	0.4930	0.4976
CHORD (本文)	训练型 (关系图)	0.8056	0.8299	0.8034	0.7959	0.8042

消融实验¶

消融实验系统评估了关系感知注意力网络模块与 Feature-Critic 元学习优化策略的各自贡献（AUROC 指标）：

配置与变体	Llama3.2-3B 平均	Llama3.1-8B 平均	Llama3.3-70B 平均	Qwen3-8B 平均	8 款模型总体总均值
最强免训练基准 (Best Training-free)	0.7067	0.7158	0.7374	0.7092	0.7152
最强传统训练基准 (Best Training-based)	0.5208	0.5212	0.5232	0.5112	0.5177
CHORD w/o RelAttn (去关系感知注意力)	0.6937	0.7156	0.7425	0.7016	0.7078
CHORD w/o Meta (去元学习/退化为ERM)	0.7137	0.7331	0.7632	0.7166	0.7268
CHORD 完整模型	0.7941	0.8056	0.8299	0.8034	0.8042

此外，细粒度关系边通道消融显示： - 剔除 Token 维度边连接（w/o Token）全模型平均 AUROC 降至 0.7592（在智能体任务 xLAM 上跌幅最显著）； - 剔除层间演化边连接（w/o Layer）全模型平均 AUROC 降至 0.7629（在数学推理 GSM8K 上跌幅最大）； - 剔除块内特征差异边（w/o Intra）全模型平均 AUROC 降至 0.7607（在代码任务 MBPP 上受影响最重）。

关键发现¶

传统训练型表征探测器（MM、SAPLMA、SEP）在跨模型评估下严重失效，AUROC 全面落入 0.49~0.52 之间，证实仅做维度对齐根本无法克服异构模型的内部语义不一致。
关系拓扑结构具有天然的跨模型迁移能力。CHORD 在 56 项“模型-数据集”全矩阵测试中均夺得第一，相比最强免训练基准 InterrogateLLM 取得接近 0.09 的显著总均值提升（0.8042 vs 0.7152）。
跨任务异质性显著：CHORD 在结构化智能体工具调用（xLAM，0.8564）与多步链式推理（GSM8K，0.8298）中表现尤为强劲，表明推理轨迹断裂与工具参数失配会在层-Token 拓扑上留下显著的异常扰动；而在代码生成（MBPP，0.7337）中优势相对收窄，反映出代码逻辑正确性与程序执行语义高度绑定。
架构与算法双轮驱动：移除关系感知注意力导致 AUROC 损失 9.64 个百分点，退化元学习损失 7.74 个百分点，证明图拓扑表征与元学习分布正则化两者缺一不可。

亮点与洞察¶

从绝对语义映射转向相对拓扑判别：跳出了传统工作试图将不同模型嵌入“强行投影至同一连续语义流形”的思维定式，转而从层间变迁、前后 Token 差异以及局部激活块的关系图入手，成功抓住了不受大模型绝对坐标系干扰的不变量。
三维联合张量图重组与轻量化开销：通过非参数的 Scattered Padding 与特征块切分，将原本高维不可比的隐藏状态压缩为 576 个微观节点的致密关系图，在保持对计算资源极度友好的同时（单卡可训），精确刻画了模型内部多层级交互。
可复用的元学习泛化范式：将不同大模型视作异构域，利用 Feature-Critic 动态奖励具备跨域泛化潜能的参数更新梯度，该策略不仅适用于幻觉检测，亦可为大模型水印检测、安全越狱探查等其他内部状态跨模型探测任务提供坚实范例。

局限与展望¶

白盒表征访问限制：该框架依赖大模型中间层隐藏状态与注意力权重的提取，无法直接应用于仅开放文本输出或仅提供首词 Logits 的封闭黑盒商业 API。
长文本及深层计算扩展瓶颈：随着选取的层数 $m$、Token 窗口 $r$ 或特征块数量 $B$ 扩张，全连接图的计算与显存开销呈平方阶增长；未来需探索自适应剪枝或稀疏图注意力机制，以处理更长生成的幻觉捕捉。
代码执行语义等特定模态的鸿沟：在 MBPP 等强依赖单元测试通过率的领域表现提升受限，未来可将外部静态语法树、执行状态轨迹等异构上下文融合进关系图谱中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化跨模型幻觉检测（CMHD）难题，提出基于层-Token-特征块的联合拓扑图表征及元学习框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款覆盖 3 大主流家族不同规模的大模型、7 个跨越不同认知维度的基准任务，消融与细粒度通道分析极其详尽。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次分明，从探索性实验逐步引出方法设计，行文流畅且数学符号表达统一规范。
价值: ⭐⭐⭐⭐⭐ 为轻量级表征安全探针在异构模型生态下的通用迁移提供了全新的架构思路与坚实的实证基础。