跳转至

Library Hallucinations in LLM-Generated Code: A Risk Analysis Grounded in Developer Queries

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/itsluketwist/realistic-library-hallucinations
领域: 幻觉检测
关键词: 库幻觉, 代码生成, 提示词变体, 抢注攻击, 幻觉基准

一句话总结

本文首次系统研究了真实开发者提示词变体(用户自然语言描述与控制拼写/虚构错误)对大模型代码生成中第三方库及成员幻觉的影响,揭示了模型对时间约束和用户拼写错误的极度脆弱性,并构建了首个代码库幻觉基准 LIBHALLUBENCH。

研究背景与动机

大语言模型已深度融入现代软件工程,能够快速将自然语言需求转化为可执行代码。然而,模型在生成调用外部依赖的代码时频繁出现“库幻觉”(Library Hallucination)——虚构不存在的软件包名称(库名幻觉)或调用真实库中不存在的类与函数(库成员幻觉)。这类错误不仅会导致构建失败、增加调试成本,更严重的是使下游软件供应链暴露在抢注威胁之下:攻击者可通过注册被高频虚构的包名(“恶意占包”/slopsquatting)或利用常见拼写错别字(“拼写抢注”/typosquatting),将恶意代码直接注入开发者的依赖生态。

以往对代码库幻觉的研究主要停留在宏观层面的聚合统计,缺乏对幻觉具体触发诱因的系统探究。在现实开发场景中,工程师的提示词充满了自然语言多样性与人为疏忽:开发者常带有倾向性修饰词(如“快速的”、“轻量级的”、“2025年后的新库”),或是由于键盘误触出现单字符或多字符拼写错误(如将 numpy 误敲为 numpi)。学界通常假设大语言模型对非对抗性的轻微输入噪声具有良好鲁棒性,甚至能“体贴”纠正错误;然而,这一假设在专业度极高、名称高度离散的代码依赖语境下是否依然成立,此前从未得到严格验证。

本文的研究切入点正是将大模型置于真实的开发者提示词生态中,系统度量不同语言风格与不同严重程度的用户错误如何诱导大模型产出库幻觉。核心 idea:从开发者问答社区提炼出真实需求变体,并在基准代码任务中注入受控拼写错漏与虚构库,系统性测试主流闭源与开源大模型在真实提示词变化下的库级幻觉脆弱性,进而推出面向库名幻觉的基准评测集 LIBHALLUBENCH。

方法详解

整体框架

评测框架从真实的开发者交互出发,构建可控提示词变量,驱动代码生成,并由自动化语法树与包索引进行无歧义的事实性判别。输入为代码任务描述与精心设计的提示词变体指令;输出为 LLM 生成的独立 Python 函数代码;最后通过 AST 静态解析与官方包索引(PyPI 及官方 API 文档)进行严格的真伪比对。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务需求输入<br/>BigCodeBench 种子任务"] --> B["真实提示词变体注入<br/>社区高频描述 / 时间约束 / 受控拼写错误"]
    B --> C["大模型代码生成<br/>7 款主流商用/开源模型默认配置"]
    C --> D["AST 语法树提取<br/>Import / ImportFrom / Call / Attribute 节点"]
    D --> E["双级真实性校验与判别<br/>PyPI 注册归一化匹配 + 官方文档 API 校验"]
    E --> F["高危提示词提炼与评测基准<br/>构建 LIBHALLUBENCH 自动化评测集"]

关键设计

1. 真实提示词变体注入:从开发者问答中提炼真实意图与受控错误

为了反映真实生产环境中的交互,研究没有凭空构造提示词,而是抓取了 Software Recommendations StackExchange(SRSE)社区中超过 20,000 条问答记录,筛选出 3,917 个库推荐相关问题,对 n-gram 词向量聚类提炼出 9 类高频形容词描述(如 open-source、alternative、best、fast、lightweight、modern 等)以及时间维度约束(如 "from 2023/2024/2025 or later")。在此基础上,设计了严格的受控人为错误生成机制,涵盖三级错误:1 字符编辑距离拼写错误(如把 numpy 误写为 numpi)、2-8 字符多字符形似拼写错误(如 graphly 代替 plotly)、以及根据任务完全虚构但语义极其合理的伪库名/伪成员(如 GaussianTools)。

2. 双级真实性校验与判别:AST 静态提取结合动态权威索引

评估将库幻觉严格细分为两类:库名幻觉(引用了 PyPI 上完全不存在的第三方库)与库成员幻觉(引用的库真实存在,但其调用的函数、类或属性在官方文档中不存在)。提取阶段使用 Python 内置的 ast 模块解析代码块,精准抓取 Import 与 ImportFrom 节点(处理别名与命名空间包),以及 Call 和 Attribute 节点。库名校验通过 PyPI 官方包注册表比对,并使用标准包名归一化规范(去除连字符下划线大小写差异);库成员校验则爬取对应库最新版本官方 API 文档进行比对,若模型未指定版本则以最新版为准。经 200 个高危样本的人工校验,该自动化判别流水线达到了 95.8% 的精确率与 100% 的召回率。

3. 高危提示词提炼与评测基准:构建 LIBHALLUBENCH

基于前两项实验中暴露的高危条件,作者构建并开源了专门针对代码库名幻觉的评估基准 LIBHALLUBENCH。基准由 321 个来自 BigCodeBench 的真实 Python 任务扩展而来,包含三大子集(Split):Control(对照基准,无指定库修饰)、Describe(描述性指令,包含年份与罕见度形容词)、Specify(明确指定库名但包含不同程度人为拼写或虚构错误),总计覆盖 4,173 条标注提示词。该基准可完全通过 PyPI 动态验证,脱离传统功能测试易受沙箱环境影响的弊端,成为轻量、可复现的代码事实性防线。

实验关键数据

主实验

实验评测了 7 款代表性大模型:GPT-4o-mini、GPT-5-mini、Ministral-8B、Qwen-2.5-Coder (32B)、Llama-3.3 (70B)、DeepSeek-V3.1 以及 Claude-4.5-Haiku。核心指标包括响应级幻觉率(RHR)与任务级幻觉率(THR)。

模型 基础对照 (无描述) RHR 时间提示 (From 2025) RHR 1字符拼写错误 RHR 多字符错误 RHR 虚构库名 RHR
GPT-4o-mini 0.00% 53.79% 2.65% 25.39% 81.26%
GPT-5-mini 0.00% 32.81% 14.43% 65.06% 94.55%
Ministral-8B 0.00% 15.68% 3.89% 21.81% 85.67%
Qwen-2.5-Coder 0.10% 31.26% 0.26% 4.00% 10.44%
Llama-3.3 0.00% 0.62% 0.42% 4.93% 35.10%
DeepSeek-V3.1 0.00% 24.92% 1.09% 24.51% 51.14%
Claude-4.5-Haiku 0.00% 0.21% 1.25% 10.02% 61.84%

在 LIBHALLUBENCH 基准上的总体任务级幻觉率排名(Task-level Hallucination Rate,越低越好):

模型 Control Split Describe Split Specify Split Overall 综合指标
Llama-3.3 (70B) 0.0% 2.1% 18.6% 10.4%
Qwen-2.5-Coder (32B) 0.3% 18.3% 9.7% 14.0%
Claude-4.5-Haiku 0.0% 1.3% 31.4% 16.3%
DeepSeek-V3.1 0.0% 12.0% 28.7% 20.4%
Ministral-8B 0.0% 7.4% 40.1% 23.8%
GPT-4o-mini 0.0% 34.8% 43.1% 39.0%
GPT-5-mini 0.0% 12.0% 67.5% 39.8%

消融实验

研究针对最高危提示词场景,评测了四种轻量级提示工程缓解策略对库名幻觉 RHR 的影响(括号内为相比原实验的增减变化幅度):

缓解策略 GPT-4o-mini (From 2025) GPT-4o-mini (虚构库名) GPT-5-mini (From 2025) GPT-5-mini (虚构库名) Qwen-2.5-Coder (虚构库名)
原基线 (无防御) 53.79% 81.26% 32.81% 94.55% 10.44%
Chain-of-Thought (思维链) 60.33% (+6.54%) 80.84% (-0.42%) 33.96% (+1.14%) 93.87% (-0.67%) 39.10% (+28.66%)
Step-Back (退后一步思考) 60.12% (+6.33%) 77.31% (-3.95%) 38.21% (+5.40%) 90.39% (-4.15%) 20.66% (+10.23%)
Self-Analysis (自我检查与纠错) 40.60% (-13.19%) 78.92% (-2.34%) 31.05% (-1.77%) 92.73% (-1.82%) 8.57% (-1.87%)
Explicit-Check (显式校验真实存在) 49.64% (-4.15%) 77.41% (-3.84%) 0.10% (-32.71%) 62.36% (-32.19%) 5.40% (-5.04%)

关键发现

  • 常见形容词描述(如 fast、lightweight)几乎不会增加库名幻觉(幻觉率接近 0%),模型倾向于直接忽略此类修饰,退回到最习惯的高频库;然而一旦提示词中含有追求“小众/冷门”(如 hidden gem、lesser known)时,幻觉率明显攀升。
  • 时间维度约束会引发灾难性库名幻觉:要求模型调用“2025年或更新的库”时,GPT-4o-mini 的任务幻觉率飙升至 84.74%,模型在无确定知识的情况下倾向于强行编造名字极其合理的新库(如 timezoneify、math_quantum)。
  • 模型表现出强烈的“谄媚顺从”(Sycophancy):面对拼写错误或捏造库名,模型极少提出质疑或建议替代包,而是顺从用户的错误输入编写代码。面对虚构库名时,GPT-5-mini 与 GPT-4o-mini 的顺从采纳率均突破 90%。
  • 通用推理型 Prompt 策略不可靠:Chain-of-Thought 与 Step-Back 往往无法减少幻觉,甚至在多个模型上加剧了库名虚构(如 Qwen-2.5-Coder 虚构库采纳率从 10.44% 恶化至 39.10%);相比之下,显式要求检验存在性的指令更为有效。
  • 引入外挂 PyPI 查询工具虽可大幅降低幻觉,但在不同模型上呈现割裂行为:GPT-4o-mini 频繁调用工具(98%调用率)并成功降至 2.49% 幻觉率;而 GPT-5-mini 却在 90% 以上的情况下直接选择“拒答/不输出代码”,表明工具调用的决策机制仍需专门校准。

亮点与洞察

  • 首次揭示了大模型代码生成与软件供应链“拼写抢注”(Typosquatting)和“恶意占包”(Slopsquatting)之间的直接脆弱性纽带。大模型并不能容忍代码依赖中的单字拼写笔误,反而会以假乱真地直接调用错误库,极大地放大了供应链攻击面。
  • 严密反思了“思维链增强代码安全性”的常识误区。在缺乏外部事实性地标的情境下,让大模型自发逐步推理不仅不能澄清事实,反而会在思维链中自我合理化虚构包的用途,进一步加固幻觉信念。
  • 提出了“幻觉作为生成式创意构想”的逆向启示:模型在虚构库名时展现出连贯的功能命名规律(如用于处理 numpy 数组 base64 编解码的 numpy-base64),这反向勾勒出了开发者生态中尚未被满足但存在高频需求的工具抽象蓝海。

局限与展望

  • 实验主干集中在 Python 生态(BigCodeBench),尽管在 CodeInsight 拓展实验中补充了 JavaScript 与 Rust,但对于私有内部库(Internal Enterprise SDKs)、小众领域特定框架的泛化情况仍有待进一步追踪。
  • 库成员幻觉判别仅对比了最新版文档,虽然对显式声明版本的情况进行了正则豁免,但模型未显式注明版本却使用了旧版废弃 API 的边界案例可能存在少许噪音。
  • 未来防御方案亟需超越单轮 Prompt Engineering,在代码智能体中内置轻量级前置注册表嗅探校验,或在模型后训练中重点强化反谄媚与输入笔误主动澄清机制。

相关工作与启发

  • vs CodeHalu / CodeMirage: 早期代码幻觉基准侧重于代码逻辑错误、语法不一致或粗粒度 API 滥用;本文聚焦于供应链安全风险最高的包名与成员名离散事实性校验,并首次系统解耦了开发者提示词输入变体(语气修饰与人为输入错误)这一关键诱因。
  • vs CERT / Gorilla: 现存依赖增强方案主要依靠大规模 RAG 或持续预训练注入 API 手册;本文展示了纯提示词驱动和无检索场景下大模型对于细微噪声的极端脆弱性,为现实中无法部署重型检索管道的轻量级编码工具链敲响了警钟。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从真实开发者提示词诱因切入,精准度量代码库名与成员幻觉,打通了 LLM 行为与 Typosquatting/Slopsquatting 供应链安全的关联。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 款前沿开源与商用大模型,结合 4,173 条任务,横跨 Python、JS、Rust 三大生态,并辅以提示工程消融与工具调用案例。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机清晰,问题定义与分类切入极其严密,实验设计和威胁模型表述详实。
  • 价值: ⭐⭐⭐⭐⭐ 开源的 LIBHALLUBENCH 基准与自动化 PyPI/AST 评估工具为代码模型事实性评测和安全护栏研发提供了开箱即用的重要基础设施。