跳转至

CodeTD: Topology of Attention Detects Hallucinations in Code LLMs

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/VoronkovaDasha/CodeTD
领域: NLP 理解
关键词: 代码大模型, 幻觉检测, 拓扑数据分析 (TDA), 注意力图, 执行前验证

一句话总结

CodeTD 将代码大模型的注意力矩阵建模为加权图,利用拓扑数据分析(TDA)中的流形拓扑分歧(MTD)抽取提示词与生成代码间的 0 维连通分支与 1 维绕道环特征,实现了无需运行测试用例的高精度执行前代码幻觉检测与采样重排序。

研究背景与动机

代码大模型(如 CodeLlama、StarCoder2、DeepSeek-Coder 和 Qwen2.5-Coder 等)已经深刻重塑了现代软件工程流程,但在实际生成过程中仍频繁出现各类型幻觉。在这类模型生成的错误代码中,语法错误占比通常极低(仅占个位数),绝大部分(约 78%)均表现为功能与逻辑错误——即代码语法完全合规且能够被解释器加载,却未能按照输入提示词的规范正确转换输入数据,从而在功能测试中触发 AssertionError 或引发严重的安全漏洞与内存泄露。

在工业落地与高可靠系统中,验证代码正确性的传统手段严重依赖单元测试等功能执行。然而在现实开发场景中,自动化测试用例往往不可用、覆盖不全、构建代价极其高昂,甚至在多线程、分布式微服务或涉及敏感系统调用的代码中存在严峻的执行安全风险。静态代码分析工具(如 Pylint)难以触碰高层逻辑不匹配,而现有的自评估方法(如 Self-Eval 或 CodeJudge)要么依赖大模型昂贵的二阶段自省推理,要么在复杂代码场景下泛化性脆弱。与此同时,现有基于注意力标量统计(如注意力熵、最大特征值或平均对数概率)的方法,由于忽略了提示词约束与生成代码在深层表示中的非局部几何联结,难以捕捉注意力流漂移的细微结构变化。

代码生成的本质要求模型在整个自回归过程中始终将解题逻辑锚定在问题规范(Prompt)所界定的约束流形上;一旦模型产生逻辑幻觉,注意力流便会从提示词上结构性脱落。这一现象的核心矛盾在于:局部的、离散的注意力权重无法直观表征提示词与生成代码之间的全局拓扑连通度,简单的固定阈值切分更是破坏了连续注意力的几何稳定性。本文的切入角度是将多头因果注意力矩阵视作加权图,引入代数拓扑中的持续同调与流形拓扑分歧工具,在多尺度下追踪提示词与生成标记集合间的拓扑演化。核心 idea:将因果自注意力转化为提示词与生成代码集合间的相异度加权图,利用流形拓扑分歧(MTD)在 0 维连通分支与 1 维循环拓扑维度提取非对称拓扑特征,并通过轻量梯度提升树实现免执行的代码幻觉判别与重排序。

方法详解

整体框架

CodeTD 的核心目标是在代码完全不执行的前提下,仅凭大模型单次前向传播产生的多头注意力图,判定所生成的代码是否存在功能性逻辑错误。其端到端流程包含五个主要阶段:首先将任务提示词 \(P\) 与生成的代码序列 \(G\) 拼接并输入代码大模型,捕获全模型所有层与所有注意力头的原始自注意力矩阵;随后将每个注意力头映射为全连接加权图,并将注意力强度转化为角相异度形式的边权重;接着以提示词子图为基准执行单调递增过滤,提取反映 \(P\) 与 \(G\) 间多尺度连通性的 0 维与 1 维 Cross-Barcode;随后计算长度积分获得规范化的 MTD 标量特征并融合对角自注意力统计;最后将组合特征输入轻量级 XGBoost 分类器,输出代码正确的置信概率并用于幻觉判别或 Best-of-N 候选重排序。

方法的整体工作流如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["代码任务提示词 P + 生成代码 G"] --> B["注意力图向加权图与相异度过滤映射<br/>反转注意力权重构造相异度距离矩阵"]
    B --> C["非对称多尺度拓扑分歧特征计算<br/>追踪 H0 连通分支与 H1 绕道环持久性"]
    C --> D["结构化稀疏分类器与下游缓解决策<br/>XGBoost 自动筛选 5% 关键注意力头"]
    D --> E["预执行幻觉判别与 Best-of-N 选优"]

关键设计

1. 注意力图向加权图与相异度过滤映射:解决局部离散注意力无法捕捉全局拓扑交互的痛点

传统方法在分析 Transformer 注意力矩阵时,通常采用简单阈值二值化将注意力矩阵截断为稀疏邻接矩阵,或者直接计算矩阵行列式与特征值。然而,固定阈值需要人工经验调优,并在权重发生微小扰动时导致图拓扑结构发生剧烈的不连续跳跃,无法适应不同任务和模型的动态动态尺度。

针对这一问题,CodeTD 将解码器每层每头的因果自注意力矩阵 \(A \in [0, 1]^{n \times n}\) 视为包含 \(n = |P| + |G|\) 个顶点的全连接无向图 \(G = (V, E, W)\)。为了反映标记之间的语义亲和力与几何连通度,设计将边权重定义为相异度变换: $\(w_{i,j} = 1 - a_{i,j} \quad (i > j)\)$ 在流形拓扑分歧(Manifold Topology Divergence, MTD)的过滤框架下,算法首先包含所有顶点以及提示词内部所有已存在边构建初始子图 \(G_0\),随后按照边权重 \(w_{i,j}\) 的升序(即原始注意力值 \(a_{i,j}\) 的降序)逐步向图中添加其余边。这种设计确保了注意力权重最高(交互最强)的标记对最先建立连接。根据代数拓扑中的稳定性定理,持续同调条形码在权重无穷范数扰动下满足 Lipschitz 连续性,即 \(d_B(B(W), B(W')) \le \|W - W'\|_\infty\),这赋予了 CodeTD 面对注意力噪声与模型微弱扰动时极高的鲁棒性。

2. 非对称多尺度拓扑分歧特征计算:解决单纯连通分支无法识别代码内部自洽但脱离规范的痛点

在代码生成任务中,提示词与生成代码的关系具有高度的非对称性——生成代码必须受控于提示词,而提示词本身独立完整。如果仅使用对称图距离或 0 维连通分支数量,容易被代码内部自洽但完全偏离题意的“逻辑死循环”所欺骗:生成代码可能在自身词元间高度互相关注(局部连通),但与提示词脱节。

CodeTD 显式引入代数拓扑中的 0 维持续同调 \(H_0\)(连通分支合并)与 1 维持续同调 \(H_1\)(拓扑环/空洞)共同表征跨集合分歧。对于任意给定的维度 \(k\),过滤过程记录拓扑特征诞生时间 \(b_i\) 与消亡时间 \(d_i\),构成 Cross-Barcode 集合,并计算其区间总长度积分: $\(\text{MTD}_k = \sum_{(b_i, d_i) \in \text{CrossBarcode}_k} (d_i - b_i)\)$ 在 \(H_0\) 维度上,\(\text{MTD}_0(P, G)\) 等价于在各个相异度阈值下尚未连通至提示词子图的生成代码连通分支数的积分面积,直接度量了生成代码接入规范流形所需的多尺度代价;在 \(H_1\) 维度上,由于提示词内部是全连通的,所有非平凡的 1 维循环均为“绕道环(detour loop)”——即一条经由生成代码节点再折返回提示词的路径。当生成代码紧密遵循提示词规范时,这类绕道环在边权重很小时便被迅速填平消亡;而当模型发生幻觉时,代码在提示词外部漂移漫游,导致绕道环在长区间内持久存在,使 \(\text{MTD}_1\) 显著偏大。为了消除输入文本与生成代码长度的绝对尺度影响,特征统一除以顶点集合势进行归一化: $\(\mathbf{f}_{\text{topo}} = \left[ \frac{\text{MTD}_0(P, G)}{|G|}, \frac{\text{MTD}_0(G, P)}{|P|}, \frac{\text{MTD}_1(P, G)}{|G|}, \frac{\text{MTD}_1(G, P)}{|P|}, \frac{1}{|P|}\sum_{i \in P} a_{i,i}, \frac{1}{|G|}\sum_{i \in G} a_{i,i} \right]\)$ 对角自注意力均值补充了节点级自我注意信号,共同构成了该注意力头的高判别度拓扑指纹。

3. 结构化稀疏分类器与下游缓解决策:解决高维注意力存储与全模型调优开销大的痛点

如果在每个前向步都完整存储大模型所有层(例如 32 层、32 头)的高维稠密注意力矩阵,仅在 HumanEval 规模上就需要消耗数百 GB 甚至接近 1 TB 的存储空间,无法在资源受限的环境中运行。此外,先验假设仅少数固定头具有预测能力的启发式规则往往会丢失深层交互。

CodeTD 采取在线即时计算并直接丢弃原始矩阵的策略:在模型前向时并行提取各层各头的标量特征向量,拼接成轻量级表格数据后,交由 XGBoost 分类器进行全模型特征拟合。实验发现,XGBoost 展现出极强的自然稀疏选择性——仅需根据特征重要性保留前 5% 的关键注意力头,即可达到与使用 100% 特征完全相当的分类性能(ROC-AUC 几乎无损),单次推理内存占用降至数百兆字节(如 HumanEval 仅需约 190 MB)。在下游部署时,CodeTD 输出的判别置信度能够无缝集成至 Best-of-N 采样框架中,在无需执行代码沙箱的情况下对 \(N\) 个并行采样候选直接按置信度排序选优,从根本上兼顾了推理效率与代码安全性。

实验关键数据

主实验

主实验在 HumanEval (HE)、MBPP 和高难度真实库场景 BigCodeBench (BCB) 上进行,涵盖从 1.5B 到 34B 参数量的 10 款主流代码大模型,采样温度 \(T=0.8\),采用 5 折分层分组交叉验证(确保测试集与训练集任务完全无交集)。下表汇报了代表性模型在各基准上的幻觉检测 ROC-AUC 分数:

评估模型 检测方法 HumanEval (HE) MBPP BigCodeBench (BCB)
DeepSeek-Coder-6.7B Prompt Length 58.0 ± 6.7 49.5 ± 4.1 54.9 ± 2.3
Generation Length 58.5 ± 3.7 55.4 ± 1.7 54.7 ± 2.7
Mean Log. Prob. 68.9 ± 3.0 60.7 ± 2.2 50.1 ± 2.9
Pylint (Static Analysis) 54.7 ± 1.1 52.8 ± 0.9 61.2 ± 1.1
CodeT5-base ft. 63.1 ± 4.7 52.8 ± 3.2 54.5 ± 2.8
Self-Eval 57.3 ± 4.5 51.0 ± 0.8 52.9 ± 1.6
AttnLogDet 78.8 ± 3.6 77.3 ± 5.1 67.5 ± 4.8
AttnEigvals 75.1 ± 3.2 75.9 ± 3.5 67.6 ± 1.9
LapEigvals 81.7 ± 1.9 77.6 ± 4.5 64.6 ± 0.5
CodeTD (本文) 86.4 ± 1.8 81.2 ± 3.7 69.2 ± 2.8
StarCoder2-7B Prompt Length 56.3 ± 5.9 55.2 ± 4.0 51.3 ± 6.5
Generation Length 58.9 ± 2.4 59.5 ± 1.2 61.7 ± 3.1
Mean Log. Prob. 69.4 ± 1.7 61.9 ± 3.6 79.4 ± 3.3
LapEigvals 80.6 ± 2.9 79.3 ± 2.8 85.3 ± 2.4
CodeTD (本文) 82.5 ± 2.1 81.4 ± 3.6 83.7 ± 4.3
CodeLlama-7B Prompt Length 61.6 ± 4.4 59.1 ± 4.2 51.3 ± 4.3
Generation Length 60.1 ± 5.3 60.8 ± 2.5 58.7 ± 2.4
Mean Log. Prob. 64.1 ± 2.0 61.0 ± 3.7 57.1 ± 3.5
LapEigvals 79.7 ± 2.7 73.1 ± 3.6 68.8 ± 2.9
CodeTD (本文) 85.6 ± 3.9 83.4 ± 3.3 75.0 ± 3.4
Qwen2.5-Coder-7B Mean Log. Prob. 61.4 ± 3.6 61.6 ± 0.7 51.5 ± 3.0
LapEigvals 78.4 ± 2.6 76.8 ± 4.3 66.4 ± 0.9
CodeTD (本文) 81.6 ± 4.7 80.9 ± 3.5 70.0 ± 1.4
Magicoder-S-DS-6.7B Mean Log. Prob. 68.8 ± 4.1 60.0 ± 2.4 54.7 ± 5.0
LapEigvals 76.7 ± 3.9 79.5 ± 1.4 66.8 ± 1.0
CodeTD (本文) 79.3 ± 3.5 80.7 ± 2.5 68.4 ± 1.5

消融实验

为了严格验证各特征组件的增量贡献,论文在固定使用 XGBoost 分类器的条件下,依次逐步叠加特征维度(从对角自注意力、到 0 维连通分支 MTD,再到 1 维绕道环 MTD):

测试模型 特征配置 HumanEval (HE) MBPP 机制增益说明
DeepSeek-Coder-6.7B 仅对角自注意力 (Diag. Feat.) 84.2 ± 1.5 81.0 ± 3.5 基线节点级注意力
+ MTD 0-dim 85.7 ± 3.3 81.7 ± 2.7 引入提示词-生成连通分支追踪 (+1.5% HE)
+ MTD 0,1-dim (完整模型) 86.4 ± 1.8 81.2 ± 3.7 增加绕道环拓扑消除假性自洽 (+2.2% HE)
StarCoder2-7B 仅对角自注意力 (Diag. Feat.) 83.4 ± 2.0 80.1 ± 3.3 基线节点级注意力
+ MTD 0-dim 83.4 ± 2.9 80.4 ± 3.3 连通性补充提升 MBPP 鲁棒性
+ MTD 0,1-dim (完整模型) 82.5 ± 2.1 81.4 ± 3.6 MBPP 上达到最高 81.4 ROC-AUC
CodeLlama-7B 仅对角自注意力 (Diag. Feat.) 83.2 ± 4.3 78.8 ± 2.2 基线节点级注意力
+ MTD 0-dim 84.7 ± 3.8 81.7 ± 1.1 0维连通分支大幅提升 (+2.9% MBPP)
+ MTD 0,1-dim (完整模型) 85.0 ± 3.9 82.5 ± 1.0 双拓扑特征达到最优 (+3.7% MBPP)
Qwen2.5-Coder-7B 仅对角自注意力 (Diag. Feat.) 80.0 ± 2.8 76.5 ± 4.1 基线节点级注意力
+ MTD 0-dim 80.6 ± 4.0 79.4 ± 3.3 显著提升 MBPP (+2.9%)
+ MTD 0,1-dim (完整模型) 81.6 ± 4.7 80.9 ± 3.5 双拓扑特征协同提升 (+4.4% MBPP)
Magicoder-S-DS-6.7B 仅对角自注意力 (Diag. Feat.) 79.4 ± 2.9 80.4 ± 1.0 基线节点级注意力
+ MTD 0-dim 80.5 ± 2.9 79.5 ± 2.7 HE 提升显著
+ MTD 0,1-dim (完整模型) 79.3 ± 3.5 80.7 ± 2.5 全面保持稳健性能

关键发现

  • Best-of-N 性能跃升:在代码生成重排序实验中,使用 CodeTD 预测置信度进行样本选择,相比随机基线在所有模型上带来显著的 pass@1 提升。例如在 HumanEval 上,StarCoder2-7B 从 28.6% 跃升至 43.3%(+14.7 pp),DeepSeek-Coder-6.7B 从 39.1% 升至 56.7%(+17.6 pp),CodeLlama-7B 从 26.0% 升至 39.7%(+13.7 pp)。
  • 极度结构化稀疏性:XGBoost 树模型的特征重要性分析表明,全模型仅约 25% 的特征有实质贡献;进一步的两阶段特征选择实验证实,仅保留全局 5% 的关键注意力特征即可保持无损检测精度,这证明代码幻觉信号并非均匀弥散,而是高度富集在特定的注意力头中。
  • 卓越的多语言与跨基准迁移能力:在 MultiPL-E(涵盖 Java、Go、Rust、Lua)评测中,CodeTD 在约 84% 的语言-模型组合上优于谱图最强基准 LapEigvals;在 HumanEval 与 MBPP 跨数据集迁移中,CodeTD 保持了高达 67.7%~80.3% 的迁移 ROC-AUC,明显优于下降剧烈的 LapEigvals(降幅超 13~20 个点)。
  • 细粒度错误类型定位:CodeTD 还能被训练为多分类器以区分 Python 异常类型,对 IndexError 识别准确率达到 97.8%,RecursionError 达到 100%,SyntaxError 达到 93.3%,并能有效分离逻辑错误(AssertionError)与运行时环境错误。

亮点与洞察

  • 拓扑代数与注意力流分析的深度结合:首次将流形拓扑分歧(MTD)与 1 维循环持续同调引入代码大模型内部自省,克服了标量特征无法表征跨集合全局耦合结构的本质瓶颈。
  • 免执行的端到端轻量部署模式:彻底规避了沙箱动态执行的性能开销与安全隐患,在线抽取 MTD 特征仅需几百毫秒与数百兆显存,且能直接赋能 Best-of-N 推理重排。
  • 绕道环(Detour Cycles)的物理直觉映射:将代数拓扑中的 \(H_1\) 空洞与代码生成中的“游离漫游”建立严格映射,证明了绕道环的消亡速度正是代码是否严格受控于提示词的拓扑学指纹。

局限与展望

  • 单步错误精确定位能力的缺失:作者指出当前 CodeTD 能在整段代码粒度上精确断言功能正确性,但尚无法指出引发缺陷的具体代码行数或具体词元位置。
  • 几何表征无法解释底层预训练偏置:当前方法主要捕捉在注意力流形中显性表征出来的几何脱节,尚无法反向解耦深层根因(如训练语料中偶发的伪相关、RLHF 偏置或解码温度漂移)。
  • 流式增量检测与智能体回滚机制:未来可基于并查集(Union-Find)在生成词元流式吐出时近实时更新 MTD0,一旦检测到脱节立即触发回滚并重新解码,构筑实时防御闭环。

相关工作与启发

  • vs TOHA (Bazarova et al., 2026):TOHA 主要面向 RAG 自然语言检索问答,采用单头筛选后平均的启发式聚合,仅利用单向 \(MTD_0(P,G)\);而 CodeTD 面向确定性代码执行逻辑,同时利用双向非对称 \(MTD_0\) 与 \(MTD_1\)(绕道环)以及对角自注意力,并利用 GBDT 联合自适应学习全模型特征,性能与跨基准迁移能力显著优于 TOHA。
  • vs 谱图注意力检测器 (LapEigvals / AttnEigvals):拉普拉斯特征值法在矩阵近简并情况下极易出现特征向量排序震荡;CodeTD 依托的持续同调具备严格的 Lipschitz 稳定性定理,在分布外迁移实验中展现出远超谱图方法的鲁棒性。
  • vs 大模型自评估 (Self-Eval / CodeJudge):自评估方法需要再次调用大参数模型执行第二阶段思考,推断延迟数以倍增且可能引发二次幻觉;CodeTD 直接重用单次生成的内部注意力矩阵,计算开销可忽略不计。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将 TDA 中的 MTD 理论及 1 维绕道环拓扑引入代码大模型幻觉检测,数学严谨且物理直觉清晰。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 款模型、4 个基准、5 门语言,包含消融、稀疏性、跨基准/跨模型迁移与细粒度异常分类。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进,从拓扑动机、代数过滤算法到下游缓解路径阐述得非常透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为生产环境中的免执行代码安全审查与轻量级重采样重排序提供了兼具理论与实用的全新范式。