跳转至

DSEffi-Bench: Demystifying Large Language Models’ Capabilities in Data Science Programming

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Albert-Gong/DSEffi-Bench
领域: 代码智能
关键词: 数据科学代码生成, 代码执行效率, 基准评测, 效率缺陷分类学, 模型路由

一句话总结

构建了首个针对数据科学代码生成执行效率的评测基准 DSEffi-Bench(包含 1,000 个源自真实 Stack Overflow 痛点的人类验证实例与压力测试套件),揭示出正确性与效率的显著解耦现象,提出了细粒度五分类效率根因分类学,并通过分类学引导优化与库感知路由实现了高达 +14.7% 的效率增益与 13.0× 的成本缩减。

研究背景与动机

随着大语言模型在辅助编程领域的快速演进,数据科学编程(Data Science Coding)已成为最为核心的应用场景之一。在数据科学场景下,代码不仅需要实现正确的数学逻辑或数据变换,更高度依赖于调用经过底层编译优化的高效库原语(如 NumPy、Pandas、SciPy、PyTorch 和 Polars)。然而,现有的数据科学代码生成基准(如 ExeDS、DS-1000、DSCodeBench)均将“功能正确性”(Functional Correctness)视作衡量模型能力的唯一代理指标,完全忽略了代码在物理环境中的实际执行时间。

在实际数据处理任务中,功能等价但写法不同的实现方案,其执行时间往往相差数个数量级。例如,在 Pandas 中计算分组累积最大值时,直接调用向量化原生原语 df.groupby('k').cummax() 与使用逐行回调的 df.groupby('k').apply(lambda g: g.cummax()) 输出完全相同,但后者由于 Python 解释器在逐组迭代时的巨大开销,执行耗时高出整整一个数量级。现有以 LeetCode 竞技编程为代表的代码效率评测工作(如 EffiBench、Mercury)主要关注算法时间复杂度阶数的差异(如 \(O(N^2)\) 与 \(O(N \log N)\)),无法触及数据科学中特有的底层框架调度、内存布局与向量化原语选择等领域痛点。

针对该空白,本文的核心诉求是探索大模型在数据科学代码生成中的执行效率表现,解耦正确性与效率的相互关系,并明确模型在底层原语选择与系统开销控制上的系统性弱点。核心 idea:构建包含压力测试与人类精修参考解的 1,000 题数据科学代码执行效率基准 DSEffi-Bench,通过对数空间相对效率谱系与五类根因分类学揭示正确性与效率解耦的本质,并以此驱动针对性的推理时优化与库感知路由。

方法详解

整体框架

DSEffi-Bench 从 Stack Overflow(SO)收集真实开发中的性能痛点问题,通过严密设计的四阶段质量门控流水线过滤出 1,000 个高质量实例,并配套建立双维度评测协议。整体流程分为:(1) 效率导向的原始帖子检索;(2) 问题相关性与答案可行性的两阶段 LLM-as-Judge 语义过滤;(3) 规范化实例转录,包括统一函数接口、包含正确性与压力测试的模糊测试输入生成器和输出验证器,并由异构模型进行四维度质量打分;(4) 人类专家(具有 5 年以上 DS 开发经验)校验并精修参考基准答案;(5) 跨 3 个层级的 16 个代表性大模型在统一定制硬件环境(双路 Intel Xeon 8468V + 4× NVIDIA H200)下执行生成,构建任务级效率谱系并计算对数空间相对效率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Stack Overflow 种子贴检索<br/>21个DS库标签 × 21个效率关键词"] --> B["相关性与可行性语义过滤<br/>问题级相关性 + 答案级可复现性"]
    B --> C["规范化实例转录与多维评分<br/>生成X与测试脚手架T + 异构模型打分"]
    C --> D["专家校验参考解构建<br/>50.3%采用替代策略 / 32.2%精修"]
    D --> E["双维度评测与对数谱系度量<br/>正确性Pass + 对数归一化Beyond|Pass"]

关键设计

1. 四阶段质量门控基准构建:从真实社区痛点到标准压力测试脚手架

针对以往合成基准缺乏真实工程背景或纯关键词匹配命中大量无关内容的问题,构建流水线将真实 SO 帖子严谨转化为可执行评测实例。首先,使用 21 个核心 DS 库标签(涵盖数值计算、DataFrame、经典机器学习、深度学习、可视化、编译加速等)与 21 个效率关键词进行高级检索,共采集 2021 年至 2025 年的 17,257 篇候选帖子。随后采用 Claude-Sonnet-4.6 执行问题级相关性(检查是否涉及 Python DS 代码、效率优化诉求与完备上下文)和答案级可行性过滤(验证是否提供具体且可复现的高效库解决方案),将候选数过滤至 4,360 篇。两名作者人工抽样复核的 Cohen's \(\kappa\) 分别达到 0.93 和 0.71。

在转录阶段,模型生成标准函数签名 def solution(input_data=None): 的五字段任务描述 \(X\)(包含任务说明、输入输出规范及示例),并构建测试脚手架 \(T\)。\(T\) 包含包含小型用例、边界用例在内的正确性子域与大规模高负载的压力测试子域,配套提供输入生成函数 input_generator(seed, domain)(保证测试用例充分覆盖,在 5 个用例下使语句覆盖与分支覆盖率均突破 95%)与浮点容差比对器 output_validator。最后,使用来自不同模型家族的 GPT-5.4 从任务清晰度、I/O 完备性、生成器质量与验证器健壮性四维度进行 1-3 分评级,淘汰任何含 1 分的低质实例,最终产出 2,301 篇高质量候选。

2. 专家精修参考解与对数归一化效率谱系:建立可区分的性能标尺

为了防止将低效的社区采纳答案直接作为基准黄金答案,两名拥有五年以上专业数据科学编程经验的作者对质量评分靠前的候选任务进行人工重写与验证,直至获得 1,000 个最终实例。在参考答案标注中,仅有 17.5% 直接采纳了 SO 原答案的实现;多达 32.2% 针对原方案去除了冗余中间分配与分支并做了精细化改进,而 50.3% 则完全重构、采用了数学上或库机制上更高效的替代策略(例如将二次方复杂度的 Pandas expanding().apply() 回调替换为使用 bisect 维护有序列表的 C 级快速二分插入)。这保证了参考解具备极高的性能基准线(在最终评测中人类参考解取得 86.6% 的超高效率分)。

针对各模型生成代码耗时跨度极大(最慢与最快解的比值中位数达到 14.5×,90分位数达到 522.0×)导致经典线性归一化(如 Mercury)出现 46.6% 的正确解压缩在 0.95 以上、严重丧失区分度的问题,本文在构建效率谱系时引入对数空间归一化。对于任务的正确解集合,记模型候选解 \(S_c\) 的执行耗时为 \(t_c\),当前谱系中最慢与最快耗时分别为 \(t_{max}\) 和 \(t_{min}\),其相对效率得分定义为:

\[\text{Beyond}(S_c) = \frac{\log t_{max} - \log t_c}{\log t_{max} - \log t_{min}}\]

对未能通过测试或超过 5 秒超时的方案直接赋予 0 分。为了将效率评测与功能正确性解耦,本文重点报告 \(\text{Beyond|Pass}\)(B|P,即仅在正确通过的任务子集上计算的平均效率分数)。

3. 数据科学代码效率缺陷五分类法:系统性定位领域特有性能短板

为了解剖模型在数据科学代码生成中产生效率缺陷的根本成因,作者对所有模型在相同任务上产生正确解、且耗时差距超过 1.5× 的 868 对慢-快代码对进行了全面人工标注(标注一致性 Cohen's \(\kappa=0.82\)),提炼出 5 大一级类别与 19 个二级子模式:

  • 优化原语利用(Optimized Primitive Utilization, OPU, 23.3%):慢方案未调用库已有高度优化的原语(例如使用嵌套循环手工计算距离,而未调用 scipy.spatial.distance.cdist,带来高达 389.4× 的耗时差异)。
  • 降低复杂度计算(Complexity-Reducing Computation, CRC, 20.9%):慢方案缺乏算法设计或存在重复计算,未能利用闭式代数恒等式替换通用数值例程(例如在 2×2 矩阵批处理中逐个调用 np.linalg.det 触发通用 LU 分解,而快方案直接利用 \(ad-bc\) 向量化解析计算,加速 183.8×)。
  • 循环向量化(Loop-to-Vectorization, L2V, 19.2%):慢方案在 Python 解释器层进行逐元素/逐行循环或调用 apply,快方案利用广播或张量操作下沉到底层 C 编译后端(例如对 3×3 邻域滑动窗口求和,慢方案使用 Python 逐元素切片求和,快方案通过 9 个移位视图直接相加,提速 167.4×)。
  • 数据布局优化(Data Layout Optimization, DLO, 20.2%):慢方案频繁触发中间对象拷贝或使用过重的数据结构,快方案利用视图复用、就地修改或预分配连续 NumPy 缓冲(例如批量插入固定行时,快方案预分配连续数组并一次性构建 DataFrame,比 DataFrame 内部多次拼接快 95.5×)。
  • 开销感知技术栈匹配(Overhead-Aware Stack Matching, OSM, 16.5%):慢方案引入了与任务计算量不匹配的笨重技术栈、函数内重复导入或防御性死代码(例如在函数体内部执行 import torch 并构造冗余分支,慢了 218.4×;或在小规模数据上滥用 Numba JIT,中位数减速超 1,131×)。

统计显示,除 CRC 属于传统算法复杂度范畴外,其余四类(共占 79.1%)全部属于数据科学库生态特有的系统开销与底层原语调用问题。

实验关键数据

主实验

评测涵盖 3 个层级的 16 个代表性模型:闭源前沿模型(Closed Frontier: GPT-5.4, GPT-5.4-mini, Claude-Opus-4.6, Claude-Sonnet-4.6)、开源前沿通用模型(Open Frontier: DeepSeek-V4-Flash, DeepSeek-V3.2, Kimi-K2.5, MiniMax-M2.5, Qwen3.5-397B/A17B)以及开源代码专精模型(Open Coder: Qwen3-Coder-Next, Devstral-2-123B, Qwen2.5-Coder-32B/14B, Codestral-22B, DeepSeek-Coder-33B/V2-Lite)。在贪心解码(T=0.0)下的整体与各库表现如下表所示:

| 模型 | 模型层级 | 任务通过率 (Pass, %) | 全局效率分 (Beyond, %) | 通过任务效率 (B|P, %) | NumPy B|P (%) | Pandas B|P (%) | PyTorch B|P (%) | SciPy B|P (%) | Polars B|P (%) | |---|---|---|---|---|---|---|---|---|---| | GPT-5.4 | Closed Frontier | 66.9 | 48.0 | 71.7 | 78.9 | 71.2 | 53.6 | 82.3 | 59.7 | | GPT-5.4-mini | Closed Frontier | 62.2 | 44.6 | 71.6 | 77.2 | 71.9 | 60.9 | 67.3 | 57.4 | | Claude-Opus-4.6 | Closed Frontier | 61.3 | 42.4 | 69.2 | 73.4 | 69.6 | 49.4 | 80.3 | 66.9 | | Claude-Sonnet-4.6 | Closed Frontier | 59.7 | 39.4 | 66.1 | 68.3 | 69.6 | 48.2 | 74.6 | 57.4 | | Kimi-K2.5 | Open Frontier | 40.2 | 29.6 | 73.6 | 79.6 | 74.0 | 59.1 | 87.6 | 58.1 | | Qwen3.5-397B/A17B | Open Frontier | 57.6 | 39.1 | 67.9 | 70.2 | 72.2 | 51.0 | 69.8 | 62.0 | | DeepSeek-V4-Flash | Open Frontier | 57.7 | 37.5 | 65.0 | 70.7 | 63.2 | 40.4 | 67.6 | 72.1 | | DeepSeek-V3.2 | Open Frontier | 56.1 | 30.4 | 54.2 | 59.9 | 52.3 | 46.2 | 64.2 | 41.1 | | MiniMax-M2.5 | Open Frontier | 42.8 | 26.0 | 60.6 | 64.4 | 60.3 | 35.5 | 64.9 | 56.0 | | Qwen3-Coder-Next | Open Coder | 50.5 | 28.7 | 56.8 | 58.9 | 57.1 | 53.2 | 54.5 | 56.8 | | Devstral-2-123B | Open Coder | 43.0 | 23.5 | 54.6 | 57.8 | 55.8 | 40.2 | 64.1 | 51.0 | | Qwen2.5-Coder-32B | Open Coder | 34.1 | 18.7 | 54.7 | 56.5 | 52.2 | 73.3 | 47.4 | 69.9 | | Qwen2.5-Coder-14B | Open Coder | 32.8 | 15.2 | 46.4 | 44.0 | 50.6 | 53.2 | 39.9 | 61.0 | | Codestral-22B | Open Coder | 27.4 | 13.8 | 50.5 | 49.5 | 53.5 | 44.0 | 61.1 | 55.2 | | DeepSeek-Coder-33B | Open Coder | 17.5 | 8.0 | 45.5 | 47.2 | 45.2 | 42.4 | 61.7 | 39.5 | | DeepSeek-Coder-V2-Lite | Open Coder | 17.1 | 7.3 | 42.6 | 32.5 | 36.3 | 84.2 | 31.1 | 50.5 | | Human Reference | - | 100.0 | 86.6 | 86.6 | 88.5 | 85.8 | 78.7 | 94.2 | 78.1 |

消融与诊断实验

1. 分类学指导的推理时自我优化 (Taxonomy-Guided Optimization):在现有 SOTA 代码优化框架 Effi-Learner(EL,基于每行耗时 Profile 进行多轮重提示)基础上,注入包含五大类别、对应模式与代码示例的分类学处方(EL w/ Rx)。在 3 轮迭代优化预算下,对模型正确生成的任务进行优化测试:

| 模型 | 策略配置 | Pass (%) | Beyond (%) | B|P (%) | 相对基线提升 (B|P) | 提速≥10%占比 (OPT10) | 提速≥50%占比 (OPT50) | 退化/错误率 (Regr.) | |---|---|---|---|---|---|---|---|---| | DeepSeek-V4-Flash | Basic (未优化基线) | 57.7 | 37.5 | 65.0 | - | - | - | - | | DeepSeek-V4-Flash | Vanilla EL (通用 Profile) | 57.3 | 41.2 | 72.0 | +7.0% | 22.7% | 11.4% | 3.8% | | DeepSeek-V4-Flash | EL w/ Rx (分类学处方增强) | 56.6 | 44.1 | 77.9 | +12.9% | 35.5% | 20.8% | 6.1% | | Kimi-K2.5 | Basic (未优化基线) | 40.2 | 29.6 | 73.6 | - | - | - | - | | Kimi-K2.5 | Vanilla EL (通用 Profile) | 39.4 | 33.7 | 85.5 | +11.9% | 37.6% | 19.4% | 3.2% | | Kimi-K2.5 | EL w/ Rx (分类学处方增强) | 39.3 | 34.7 | 88.3 | +14.7% | 54.5% | 27.6% | 4.5% |

2. 库感知开源模型路由 (Library-Conditioned Routing, Lib-Routing):基于各模型在不同库上的非对称优势,在按时间切分的时序测试集(N=304)上,将任务动态路由至训练集验证出的 Top-3 开源专家模型并取最快正确解,与闭源前沿基准进行成本与性能对比:

| 方案配置 | 方案类型 | Pass (%) | Beyond (%) | B|P (%) | 单任务成本 ($/task) | |---|---|---|---|---|---| | Claude-Opus-4.6 | 闭源 Best@1 | 63.5 | 43.7 | 68.9 | $0.018 | | Claude-Opus-4.6 Best@3 | 闭源 Best@3 | 72.0 | 53.8 | 74.6 | $0.052 | | GPT-5.4 | 闭源 Best@1 | 63.5 | 46.4 | 73.0 | $0.014 | | GPT-5.4 Best@3 | 闭源 Best@3 | 73.4 | 58.9 | 80.3 | \(0.043 | | **Lib-Routing (K=3, 开源路由)** | 开源专家协作 | **69.4** | **51.4** | **74.1** | **\)0.004** |

关键发现

  • 正确性与效率严重解耦:功能正确率最高的模型并不等同于代码最高效。GPT-5.4 的 Pass 率(66.9%)大幅领先 GPT-5.4-mini(62.2%),但两者在解出题目上的效率得分几乎持平(71.7% vs 71.6%)。更极端的是,Kimi-K2.5 在前沿模型中 Pass 垫底(40.2%),但在正确题目上的效率(B|P 达 73.6%)位列全场 16 个模型榜首;反观 DeepSeek-V3.2 虽然解题率更高(56.1%),但效率分仅为 54.2%,落后 Kimi 整整 19.4%。
  • 代码专精微调未能缩小效率鸿沟:经过海量代码语料微调的开源代码模型(Open Coder)整体平均 B|P 仅为 50.2%,显著落后于开源通用模型(Open Frontier,平均 64.3%)。此外,人类参考解达到 86.6% 的 B|P,比最强模型高出 13.0%,表明大模型生成高效数据科学代码的能力远未达到饱和。
  • 不同层级模型具有鲜明且对立的盲点迁移:随着模型能力的演进,效率缺陷从显式的“循环未向量化”(L2V 从 Open Coder 的 29.6% 锐减至 Closed Frontier 的 7.3%)演变为了隐蔽的“防御性过度设计与框架开销”(OSM 从 Open Coder 的 9.3% 激增至 Closed Frontier 的 29.3%)。以 GPT-5.4 为例,其 45.5% 的效率落后均由于 OSM(如在函数体内引入局部 import 或冗余类型检查与中间转换)。
  • 效率优势在各库之间轮换,单一模型无法全盘统治:Kimi-K2.5 在 NumPy (79.6%)、Pandas (74.0%) 和 SciPy (87.6%) 上领跑;GPT-5.4-mini 在 PyTorch 上领先闭源模型 (60.9%);DeepSeek-V4-Flash 则在 Polars 展现统治力 (72.1%)。这直接印证了数据科学代码优化知识具有极强的库专用性,从而为“开源小模型组合路由抗衡闭源旗舰”提供了坚实的可行性基础。

亮点与洞察

  • 将评测锚点从算法渐近复杂度推进到库级工程实践:论文清晰区分了算法题的复杂度优化与数据科学中的“原语级选择”(79.1% 的效率损失来自数据科学库特性),弥补了学术界将 LeetCode 作为代码效率唯一标准的狭隘视角。
  • 构建了高质量的人类专家重构基准而非简单转录:超过 82.5% 的基准参考答案由资深数据科学家重新设计或精细重构,避免了社区采纳答案质量参差不齐带来的污染,奠定了坚实的效率评估黄金标准。
  • “过度设计”是顶级闭源模型的隐秘杀手:发现越聪明的闭源模型越倾向于编写结构复杂的“工业级”防错代码,但这些防御性脚手架在高性能计算场景下成了沉重的运行时负担;相反,部分轻量模型因生成简明直接的原生调用反而取得了更低的开销。
  • 以低成本开源路由逼近顶尖闭源模型能力:利用不同模型对各个库掌握程度的互补性,仅耗费 $0.004/task(较 Claude-Opus-4.6 Best@3 降低 13.0×)便取得了逼近顶尖闭源模型的整体效率(74.1% vs 74.6% B|P)。

局限与展望

  • 语言生态局限于 Python:当前基准仅涵盖 Python 生态下的数据科学库,尚未拓展至 R、Julia 或 C++ 等同样在科学计算中广泛应用的语言。
  • 硬件与软件版本的强依赖性:代码执行时间严重依赖于特定的 CPU/GPU 微架构、内存带宽以及底层 BLAS/MKL 编译库的版本,难以像静态文本那样做到跨机器完全确定性的重现。
  • 任务粒度仍偏向单函数级别:基准目前主要测试单函数签名的局部代码段生成,未来仍需拓展至长程、多步骤、含复杂状态流的端到端 Jupyter Notebook 交互式数据分析场景。

相关工作与启发

  • vs Mercury / EffiBench: Mercury 和 EffiBench 聚焦在 LeetCode 算法题上评估大模型生成的执行效率,瓶颈主要集中在循环层级与时间复杂度阶数。DSEffi-Bench 首次将效率评测引入数据科学领域,证明了数据科学代码的效率差距更多来源于底层原语、向量化、内存布局与框架开销,而非单纯的算法渐近复杂度。
  • vs DS-1000 / DSCodeBench: DS-1000 与 DSCodeBench 开创了基于真实社区与 GitHub 场景的数据科学代码评测,但均严格将单元测试通过率作为唯一标尺。DSEffi-Bench 证明了正确性与执行效率存在严重解耦,填补了数据科学代码生成中执行性能量化评测的空白。
  • vs Effi-Learner (EL): 传统的 EL 仅依靠运行时耗时 Profile 启发模型进行局部修改。本文证明在此基础上引入领域特有的分类学先验(EL w/ Rx),能为大模型提供明确的原语替换与去冗余思路,从而释放更大的自我优化潜力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性开辟数据科学代码生成的执行效率评测赛道,揭示了与正确性解耦的核心事实。
  • 实验充分度: ⭐⭐⭐⭐⭐ 评测 16 个模型、1,000 个精修实例,涵盖 868 对人工细粒度归因诊断、Profile 指导优化及开销经济性路由。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证结构极其严密,问题定义精准,图表详实且极具洞察力。
  • 价值: ⭐⭐⭐⭐⭐ 为未来代码大模型在科学计算与数据工程中的高效推理、对齐微调和智能路由指明了极具实用价值的方向。