fxBench: Evaluating and Understanding Formula Suggestions in Spreadsheets¶

会议: NeurIPS 2026
arXiv: 2610.24729
论文: https://arxiv.org/abs/2610.24729
领域: 代码智能
关键词: 电子表格、公式建议、基准评测、上下文表征、程序生成

一句话总结¶

本文针对电子表格即时公式建议缺乏真实基准与能力分解的问题，构建了首个经防泄露与时间快照处理的503例基准fxBench，解耦评测了四项核心能力并提出紧凑表征Minisheet，揭示出意图理解是当前最关键的瓶颈。

研究背景与动机¶

电子表格是全球应用最广泛的端用户计算工具，而公式是其实现自动化分析与业务逻辑的核心基石。然而，手动编写公式对普通用户而言繁琐且极易出错。近年来，尽管各类基于自然语言提示词的表格助手层出不穷，但在实际日常编辑场景中，用户往往期望系统能在输入等号（=）的瞬间即时给出恰当的公式补全，此时周围环境已包含大量结构与文本线索，额外输入冗长的自然语言指令反而打断心流。

尽管即时公式建议具有极高的实用价值并在现代软件中得到支持，学术界此前却缺少针对真实工作簿的公开评测基准。早期的探索性工作（如SpreadsheetCoder）依赖固定的局部窗口且模型容量有限，后来的表格大模型评测则多聚焦于多轮对话或复杂代理操纵，未能覆盖即时键入触发的低延迟约束场景。更严重的是，直接从最终保存的工作簿中提取公式存在严重的未来信息泄漏：目标单元格下方或右侧同行同列的重复计算公式会成为明显的提示，导致模型只需简单复制而非根据上下文意图进行推理。

为了系统性诊断公式建议的技术瓶颈，亟需建立一个无未来信息泄漏、覆盖复杂真实公式类型、且能解耦评估系统各个子能力的评测基准。核心 idea：构建经过两阶段时空快照过滤与人工校验的503例基准fxBench，将公式建议解耦为上下文收集、表征理解、意图推断与公式撰写四项独立能力，并探究紧凑表征与监督微调对小模型即时补全的使能作用。

方法详解¶

整体框架¶

fxBench的评测流程与研究框架围绕电子表格即时公式建议的核心生命周期展开。给定待填写的电子表格工作簿与目标单元格位置，系统首先通过上下文收集器抽取相关单元格并进行序列化表征；大语言模型接收表征后解析上下文结构、推断作者计算意图并生成候选公式；最后通过执行引擎验证公式计算结果是否与用户意图一致。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["工作簿与目标单元格<br/>定位补全锚点"] --> B["防泄漏时空快照构建<br/>时空分割与未来区域清洗"]
    B --> C["意图与引用标注机制<br/>解耦Direct与Data Intent"]
    C --> D["Minisheet紧凑表格表征<br/>边界保留与数值范围折叠"]
    D --> E["候选意图推理与公式合成<br/>大模型采样与多候选生成"]
    E --> F["执行对齐评测与拒答检验<br/>xlwings计算值比对判定"]

关键设计¶

1. 防泄漏时空快照构建：消除顺手推导与后续区域的未来信息泄露

真实收集的电子表格文件处于最终完成态，目标单元格右侧和下方的单元格往往已经填入了相同模板的派生公式或结果，大语言模型极易通过简单的模式复制抄袭答案。为了还原用户在敲下等号那一瞬间的工作簿真实状态，fxBench设计了双阶段LLM时空快照管线。第一阶段（分割），模型将工作表无重叠地划分为若干逻辑区域（如数据表、独立计算块、文本描述等），并依据从上到下、从左到右的人类书写顺序梳理区域间的拓扑依赖，剔除在目标区域之后建立的后续计算块；第二阶段（清洗），在包含目标单元格的区域内部，算法基于阅读顺序与时间维度，删除位于目标单元格右方与下方且承担相同逻辑角色的同质公式单元格，同时严格锁定并保留目标公式引用的数据输入区、列头和行标签。通过这两阶段清洗，既保证了求解上下文的完备性，又彻底阻断了未来标签的泄露。

2. 意图与引用标注机制：将黑盒生成分解为四项可控能力评测

传统的端到端生成评测无法定位公式写错究竟是因为没有看到对应数据、看不懂表格格式、猜不透用户算什么还是不会写特定函数的语法。fxBench将公式建议明确拆分为四个正交能力：收集上下文（Gather Context）、理解上下文表征（Understand Context）、理解用户计算意图（Understand Intent）以及编写公式（Write Formula）。为此，基准为每个测试用例标注了直接意图单元格集合 $D_i$（如目标列上方的表头“Percent Rank”或行标签“Total”）、数据描述单元格集合 $A_i$（如被引范围对应的属性列头“Percent Male”）以及实际引用的数据单元格集合 $R_i$。在此基础上定义了覆盖率指标与理论性能上限： $$ \textsc{Upper}(s) = \frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\left[\,D_{i}\subseteq P_{i,s}\,\land\,(A_{i}\cup R_{i})\subseteq M_{i,s}\,\right] $$ 其中 $P_{i,s}$ 为策略 $s$ 显式打印（Printed）的单元格集合，$M_{i,s}$ 为显式提及或范围覆盖（Mentioned）的单元格集合。配合7种渐进式Oracle变体（逐步注入格式、依赖链、同列同构公式、邻域网格及自然语言描述），能够精确剥离各模块的技术瓶颈。

3. Minisheet紧凑表格表征：以边界提取与倒排索引实现高覆盖与极低Token开销

针对全表序列化（Full-sheet）在非平凡表格中Token消耗动辄数万、以及局部滑动窗口（Viewport）频繁丢失远距离引用的矛盾，本文提出了专为即时补全设计的Minisheet表征。Minisheet利用泛洪填充算法检测非空连续单元格构成的几何连通块（Blob）；针对每个连通块仅打印外围宽度为 $w$ 的边界文本单元格（保留关键的列头、行标与边缘注释），并折叠相邻同构公式；针对块内部海量的数值单元格，Minisheet借鉴倒排索引思想，根据格式字符串聚类并将数值范围紧凑表述为类型-范围元组（如数值区间 B6:F23）；最后显式保留结构化表格对象。实验证明，在 $w=2$ 时，Minisheet仅需Viewport大窗口约四分之一的Token量即可达到88.3%的理论意图覆盖上限。

4. 执行对齐评测与拒答检验：规避等价公式误判并考察不确定性自知

电子表格公式具有极高的句法多样性，例如 =SUM(A1:A10) 与 =A1+A2+...+A10 文本完全不同但计算语义一致，依赖字符串编辑距离或BLEU会引入大量假阴性。fxBench通过自动化桥接工具（xlwings）将模型预测公式写回目标单元格并在真实Excel执行环境中重新计算，直接比对最终格式化显示值（Displayed Value）作为判定标准（True Positive）。同时，基准中特别设计了49个真实无解或意图模糊的拒答用例（Abstain），测试模型在上下文线索不足时能否保持克制、拒绝生成伪造公式，从而全面涵盖TP、FP、TN与FN评测。

实验关键数据¶

主实验¶

基准在全量503个用例上评测了前沿闭源模型（GPT-5.2、Claude Sonnet 4.6）与开源小模型（Qwen3-8B）在不同上下文序列化策略下的公式生成准确率（acc）、相对于该策略理论覆盖上限的归一化准确率（acc†）以及引用单元格重叠召回率（ovl）。

表格表征策略	类别	GPT-5.2 (acc / acc† / ovl)	Sonnet 4.6 (acc / acc† / ovl)	Qwen3-8B (acc / acc† / ovl)	平均Token数 (cl100k)
HTML	全量表征 (F)	58.3% / 58.3% / 67.6%	60.0% / 60.0% / 71.0%	20.7% / 20.7% / 36.1%	19,984
CSV	全量表征 (F)	49.7% / 49.7% / 63.5%	53.3% / 53.3% / 64.9%	9.3% / 9.3% / 21.6%	19,984
JSON	全量表征 (F)	56.9% / 56.9% / 67.1%	60.4% / 60.4% / 69.7%	14.5% / 14.5% / 30.6%	19,984
Pipe-delimited	全量表征 (F)	58.8% / 58.8% / 66.3%	59.8% / 59.8% / 69.9%	12.1% / 12.1% / 27.4%	19,984
Viewport (20×10)	窗口截取 (W)	56.9% / 82.4% / 64.9%	58.4% / 84.7% / 67.4%	14.1% / 20.5% / 27.9%	2,603
SpreadsheetCoder	窗口增强 (W)	52.9% / 89.6% / 62.7%	57.1% / 96.7% / 68.0%	14.7% / 24.9% / 27.3%	1,806
SheetCompressor	紧凑表征 (D)	54.7% / 57.8% / 64.8%	50.7% / 53.6% / 63.7%	11.3% / 12.0% / 25.4%	5,156
Minisheet (w=2)	紧凑表征 (D)	42.3% / 48.0% / 54.3%	49.7% / 56.3% / 62.8%	12.5% / 14.2% / 26.5%	1,798

消融实验¶

1. Oracle上下文递进消融（GPT-5.2分析瓶颈归属）¶

为了剖析模型在各个能力维度上的性能天花板，在Base Oracle（提供正确引用单元格、数值、函数名与意图单元格）基础上逐步注入上下文信号：

Oracle 上下文配置	TP 计数	绝对准确率 (acc)	相比 Base 提升 ($\Delta$)	核心洞察说明
Base Oracle	287	66.2%	—	即使提供真实引用与目标函数，零样本仍有1/3做错
+ cell format	287	66.2%	+0.0%	单元格显示格式对意图推断帮助极微弱
+ dependency chain	318	72.4%	+6.2%	递归计算链显著降低中间计算歧义
+ same column	319	70.8%	+4.6%	同列公式展示向下填充的计算规律
+ neighbor (5×7)	339	70.6%	+4.4%	局部几何排列提供上下文结构先验
+ formulas	333	71.4%	+5.2%	全表公式语法习惯提供全局一致性参考
all of the above	364	76.9%	+10.7%	结构化表格信号叠加后的综合性能上限
+ NL Description	443	97.2%	+31.0%	一旦给出明确自然语言意图，公式撰写错误近乎清零

2. Minisheet表征下的Qwen3微调消融¶

针对Minisheet紧凑表征未被预训练模型充分适应的问题，研究团队在Sheetpedia非重叠子集上对开源小模型进行全参数微调实验：

训练配置 / 数据集	基础模型	样本量	pass@1	pass@3	best@8	表现与现象说明
Zero-shot Base	Qwen3-4B	—	10.8%	12.6%	13.9%	零样本无法有效解析紧凑倒排索引
Zero-shot Base	Qwen3-8B	—	9.7%	12.2%	14.5%	模型尺度增加未带来紧凑格式的自适应
Zero-shot Base	Qwen3-14B	—	10.0%	13.4%	15.5%	零样本性能普遍在10%左右徘徊
Curated (精选多样式)	Qwen3-4B	25,614	16.5%	25.7%	32.8%	微调带来大幅跳升，学会读取紧凑范围
Curated (精选多样式)	Qwen3-8B	25,614	21.2%	30.4%	38.0%	pass@1净增11.5%，best@8达到38.0%
Curated (精选多样式)	Qwen3-14B	25,614	19.5%	30.3%	40.2%	采样多样性更优，best@8突破40%
Random (随机无筛选)	Qwen3-8B	25,000	11.3%	17.3%	22.1%	缺乏多样性控制导致收益骤降
Simple Only (仅简单公式)	Qwen3-8B	25,000	14.1%	21.2%	27.4%	无法泛化到嵌套函数与复杂引用
Complex Only (仅复杂公式)	Qwen3-8B	25,000	14.8%	23.5%	31.2%	基础简单聚合能力出现欠拟合
Scaled (扩增至2000上限)	Qwen3-8B	39,161	20.6%	30.5%	38.8%	pass@3与best@8微幅提升，pass@1饱和
Scaled 2× (强行扩展)	Qwen3-8B	50,000	19.6%	29.2%	37.4%	同源数据量继续翻倍反而导致过拟合与退化

关键发现¶

表格公式补全的根本瓶颈在于意图推断，而非公式语法生成：Oracle实验极具说服力地证明，当通过NL给出明确计算意图时，大模型准确率瞬间飙升至97.2%，错误类型（如函数选用错误、范围错误）近乎全部消失；而在仅有表格周围结构信号时，最高仅能达到76.9%。这表明模型已经完全掌握了Excel函数语法，痛点在于无法从含糊的二维表头和排版中稳定猜准用户到底想算什么。
紧凑表征存在严重的“理论可达但模型难读”鸿沟：Minisheet在 $w=2$ 时以极低的Token量实现了88.3%的理论意图覆盖，但前沿模型在零样本下的准确率却仅有40%~50%，远落后于理论覆盖仅60%但格式直观的SpreadsheetCoder（其acc†高达89%~96%）。模型很难将倒排索引提及的区间直接反向接地到具体单元格坐标上。
监督微调能教会小模型理解紧凑表征，但排序瓶颈显著：经过2.5万条多样化数据微调，Qwen3-8B在Minisheet上的pass@1翻倍（9.7% $\to$ 21.2%），best@8暴涨至38.0%。然而，best@8比pass@1高出近17~21个百分点，表明模型往往已经在前8个候选里生成了正确公式，但无法将其精准排在首位，这为后续接入重排序（Reranking）模型提供了强烈动机。
单源数据微调快速饱和：在Sheetpedia分布内将微调数据量从2.5万扩充到5万，不仅没有带来性能提升，反而引起指标微跌。这表明纯粹增加同质表格数量无法解决长尾函数和多样业务排版，拓展数据源的异质性比盲目堆量更关键。

亮点与洞察¶

两阶段防泄漏清洗算法解决了时序倒流假象：以往静态表格数据集直接抠掉单元格做完型填空，忽略了后续单元格的镜像重复规律；fxBench提出的时空分割与阅读顺序清洗范式，为代码与表格生成领域的防泄露数据构建树立了严谨标杆。
结构化意图单元格与渐进式Oracle评测体系：通过将“算什么”的单元格显式标注出来，构建了从Base到全结构信号再到NL描述的7级阶梯评测，将黑盒LLM生成的误差精准归因到上下文收集不足或意图推导偏差上。
Minisheet的边缘保留哲学：发现“意图大多存活在连续数据块的边缘边界（Headers & Labels）”，仅保留边缘文本并折叠内部同质数值的压缩策略，实现了高覆盖与低Token占用的优美平衡，极为适合低延迟在线交互。

局限与展望¶

单工作表限制与语言单一性：fxBench当前仅评测单个Worksheet内的公式推断，跨表（Cross-sheet）引用的案例仅占8.5%且未引入多表联合抽取；同时评测语料全部为英文表格，对中文等其他语种的表头与业务场景缺乏直接覆盖。
意图完备性未做细粒度分级：人工标注的直接意图单元格仅采用了二值化判定，未区分部分意图（Partial intent）能否被推导，且某些业务表格需要极强的领域外部知识（如特定财税核算口径）。
未来方向：探究面向公式生成的轻量级重排序（Generate-and-Rank）机制，利用交互式Top-k补全UI提升可用性；引入包含多工作表依赖的复杂业务模型评测。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首个严格防泄漏的即时公式建议基准，四维能力解耦与Minisheet紧凑表征设计新颖）
实验充分度: ⭐⭐⭐⭐⭐（涵盖闭源与开源模型、7种表征策略、8级Oracle消融、多种微调配比与详细定性失败分类）
写作质量: ⭐⭐⭐⭐⭐（逻辑极其严密，概念定义清晰，图表完备，消融实验直指技术痛点）
价值: ⭐⭐⭐⭐⭐（为电子表格智能Copilot与低延迟端侧代码生成提供了坚实的基准工具与清晰的优化路径）