跳转至

X-Coder: Advancing Competitive Programming with Fully Synthetic Tasks, Solutions, and Tests

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/JieWu02/X-Coder
领域: LLM / NLP
关键词: 竞赛编程、合成数据、双重验证、强化学习、长思维链

一句话总结

针对竞赛编程中真实题目与测试用例严重稀缺且容易被刷榜污染的痛点,X-Coder 构建了首个完全不直接依赖真实赛题与测例的端到端合成训练闭环,通过特征演化任务生成与双重交叉验证生成高质量题目、长思维链解法及可靠测试套件,在 LiveCodeBench 等顶尖基准上将 14B 模型成绩大幅提升超过 40 个百分点。

研究背景与动机

大语言模型在基础编程任务(如 HumanEval 与 MBPP)上已逼近性能天花板,代码智能的研究重心因而全面转向更具挑战性的竞赛编程(Competitive Programming)。与常规函数补全不同,竞赛编程(如 Codeforces、AtCoder 以及 LiveCodeBench 基准)要求模型具备极深度的算法逻辑推演、复杂数据结构组合与苛刻的边界复杂度控制能力。近年来,以 DeepSeek-R1、AceReason 为代表的推理模型凭借大规模监督微调(SFT)与强化学习(RL)展现了惊人的推理解题能力,但这种依赖海量后训练数据的范式正面临严峻的可持续性瓶颈:全球真实竞赛题目的存量极其有限,APPS、CodeContests 和 TACO 等高质量公开基准已被各大模型过度拟合与反复蒸馏,导致潜在的测试集近邻污染与严重的数据枯竭。

这一瓶颈迫切引发了一个核心思考:代码模型能否在后训练阶段完全摆脱对真实赛题、官方参考答案及真实测试用例的直接依赖,仅依靠合成训练工件支撑起从 SFT 到 RL 的完整后训练生命周期?实现这一愿景存在三重极其苛刻的现实阻碍:首先,合成题目极易出现语义歧义、输入约束自相矛盾或过于平凡浅显,无法提供足够的算法挑战度;其次,高质量 SFT 必须依赖严谨无误的长链思维(Long-CoT)解法,在没有真实评测系统的前提下,盲目采样模型解法会导致错误推理模式注入监督数据;最后,RL 优化极度依赖可靠的执行奖励信号,弱小或错误的合成测试用例不仅难以捕捉隐蔽的逻辑缺陷,还会提供高方差的噪声奖励,甚至诱发严重的模型欺骗(Reward Hacking)。

面对这些结构性矛盾,现有的通用代码合成框架往往在复杂算法推理上失效。本文的切入视角在于:真实题目虽然不可直接用于后训练,但其底层的算法概念与编程技巧模式可以被抽象为特征;同时,通过异构大模型间的多解共识与测试用例难度加权,能够建立一个无需真实判题系统的双重验证闭环。核心 idea:构建完全由合成题目、验证长链解法与可靠测试用例支撑的 SFT-then-RL 竞赛编程训练范式,通过领域特征树演化生成多风格复杂赛题,并结合多模型共识投票与留出集验证的双重验证策略,在彻底消除真实训练题直接污染的同时实现专家级算法推理能力。

方法详解

整体框架

X-Coder 提出了一套端到端的纯合成数据后训练体系,涵盖题目生成、测试输入构造、候选解采样以及双重验证四大核心阶段。系统首先从 TACO 数据集中提炼抽象的算法、数据结构及优化技巧特征,构建覆盖广度与深度的竞赛领域特征树;随后采用两阶段子树选择与情境融合策略,生成涵盖 Codeforces、LeetCode 和 AtCoder 多种风格的自洽题目;接着结合提示驱动与专用测试工具 CYaRon 自动化合成多尺度边界与压力测试输入;在此基础上,利用先进开源推理模型采样包含完整长思维链的候选解答;最后,引入双重验证机制,分别完成测试用例输出的多数投票共识与黄金解法的加权留出集验证。验证后的题目与黄金解法对 \((q, A_{\text{golden}})\) 用于 SFT 阶段,而题目与黄金测试套件 \((q, T_{\text{golden}})\) 则在分布式沙箱支持下作为执行奖励驱动 GRPO 强化学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["抽象特征种子<br/>从 10k TACO 抽取竞赛概念"] --> B["特征树双向演化与多风格两阶段题目生成<br/>广度深度裂变 + 角色标注与情境融合"]
    B --> C["多尺度测试输入构造<br/>Prompting 边缘生成 + CYaRon 专用工具库"]
    C --> D["候选长链解法采样与 AST 静态语法清洗<br/>DeepSeek-R1 / Qwen3 采样 + 语法与长度过滤"]
    D --> E["双重交叉验证<br/>Step 1: 多模型共识投票确定测试标签<br/>Step 2: 难度加权评分与留出集泛化验证"]
    E --> F["纯合成工件双阶段后训练<br/>SFT: 200k 验证 Long-CoT 轨迹模仿<br/>RL: 40k 题目执行通过率连续奖励 GRPO 优化"]

关键设计

1. 特征树双向演化与多风格两阶段题目生成:破解合成题目平凡化与模式单一难题 为了避免大语言模型在端到端生成题目时自动将复杂提示退化为平凡浅显的玩具示例,作者将题目生成显式解耦为特征演化、子树语义角色标注与提示去偏两阶段生成。首先,系统从 10,000 个 TACO 代码片段中抽取编程语言、算法(如单源最短路、动态规划)、数据结构(线段树、并查集)、时空复杂度约束与优化技巧等多维属性,通过在大模型指导下进行横向广度扩充(增加同级变种)与纵向深度细化(如前缀和裂变为差分数组与树状数组),构建出包含超过 58 万个节点的领域特征树。在具体构题时,第一阶段递归遍历采样的特征子树,为叶节点标注潜在用途(potential_use)并输出融合策略,强制筛选具有协同逻辑的特征组合(例如将 Dijkstra 最短路、Edmonds-Karp 网络流与线段树融合构建动态网络容量重构问题);第二阶段再根据选定的子树生成叙述完整的赛题。整个流程按 70:15:15 的比例生成叙事丰富的 Codeforces 风格、带固定签名的 LeetCode 风格与简洁明了的 AtCoder 风格题目,使得生成题目的平均预测难度集中在 2400–2600 这一专家级竞赛评分区间。

2. 多尺度测试输入构造:兼顾基础边界覆盖与大规模随机压力测试 缺乏真实判题测试用例是合成数据用于代码 RL 的致命缺陷。X-Coder 同时探索并结合了两种互补的测试输入生成路径。第一种是基于提示工程的启发式生成(Prompting-based),引导大模型在深入解析题目边界约束的基础上,显式构造覆盖空输入、极限最大/最小值、特定奇异排列等 15 组代表性边界与多规模测试输入;第二种是基于专业工具库的代码驱动生成(Tool-based),引入广泛应用于信息学奥林匹克的随机测试数据生成库 CYaRon。通过将该库的图论拓扑、树形结构、凸包多边形及大数序列等 API 规范注入提示词,让模型自动编写可执行的 Python 测例生成脚本,批量产出具有极高随机性、结构复杂度与规模化压力的大输入用例。对比实验证明,工具库方法在真实参考解答上的评测准确率高达 87.9%,显著优于纯提示生成的 77.4%,且能暴露出更多模型容易出现的死锁、内存越界与超时缺陷。

3. 候选长链解法采样与 AST 静态语法清洗:保障监督微调样本的结构与逻辑完整性 为了赋予学生模型媲美顶尖选手的自我规划与纠错反思能力,X-Coder 采用 DeepSeek-R1-0528 与 Qwen3-235B 等前沿推理模型作为教师,为每个题目采样 \(m\) 个候选解法。每个候选解不仅包含最终的 Python 可执行代码,还完整保留了详细的分析推演、方案推翻与边缘验证等长思维链轨迹。为杜绝低质样本对 SFT 的损害,数据流水线施加了四道严格的静态过滤规则:首先舍弃题干长度低于 200 token 的残缺或琐碎题目;其次剔除缺失完整 <think> 或 <answer> 标签的未闭合响应;第三,利用抽象语法树(AST)解析器严格校验代码块,彻底剔除语法错误以及包含多个混乱代码块的无效输出;第四,强制将总 token 长度截断并过滤在 25,000 token 以内,既避免长程过拟合与无休止复读(overthinking),又大幅降低长序列填充引入的训练开销。

4. 双重交叉验证:多模型共识投票与难度加权留出集双重把关 在没有预置参考答案的情况下,如何确保合成题目对应的测试输出与参考解答完全正确是整个系统的核心命题。X-Coder 设计了一套严密的两步双重验证算法: - 步骤一(共识投票生成测试真值):对于任意测试输入 \(x_i\),在沙箱中并发执行 \(m\) 个候选解答得到输出集合 \(\{y_1^i, y_2^i, \dots, y_m^i\}\)。利用异构模型候选解的多数表决机制确定该输入的临时输出标签 \(\hat{y}_i = \arg\max_y \sum_{j=1}^m I(y_j^i = y)\)。在真实数据集的离线验证表明,当采样解法数量 \(n=8\) 时,该投票机制的假阳性率仅为 5.27%,标签准确率高达 94.73%;且跨家族异构模型混合表决能有效打破单一模型族群的系统性偏见。 - 步骤二(难度加权与留出集泛化验证):将生成的测试用例集合对半划分为留出验证集 \(T_{\text{val}}\) 与加权测试集 \(T_{\text{golden}}\)。根据用例输入文件大小作为内存与计算复杂度的代理变量,将用例划分为 4 个分位数权重桶 \(w(x_i) \in \{1, 2, 3, 4\}\)。候选解在 \(T_{\text{golden}}\) 上的表现根据加权得分评估选出最优候选 \(A'_{\text{golden}}\): $\(A'_{\text{golden}} = \arg\max_{A_j \in \{A_1, \dots, A_m\}} \sum_{(x_i, \hat{y}_i) \in T_{\text{golden}}} w(x_i) \cdot I\left(A_j(x_i) = \hat{y}_i\right)\)$ 仅当 \(A'_{\text{golden}}\) 在完全未参与评分的留出集 \(T_{\text{val}}\) 上同样取得所有候选解中的最高未加权准确率时,该解法才被最终确认为黄金解法 \(A_{\text{golden}}\),否则整道题目直接丢弃。最后,通过调用 GPT-5-High 进行可解性终审,若顶尖模型在所有投票测例上通过率为 0(占比约 36.9%),则判定该题表述含混并予以剔除,确保最终入库题目的高度可靠性。

损失函数 / 训练策略

模型训练严格遵循两阶段 SFT-then-RL 规程: 1. 监督微调(SFT)阶段:使用验证合格的 200,000 个 \((q, A_{\text{golden}})\) 样本,在保留包含长推理过程的完整轨迹上最小化标准自回归交叉熵损失: $\(J_{\text{SFT}}(\theta) = -\mathbb{E}_{(x, y) \sim \mathcal{D}}\left[\sum_{t=1}^{|y|} \log \pi_\theta(y_t \mid x, y_{<t})\right]\)$ 训练采用学习率 \(5\times 10^{-5}\),全局 batch size 为 128,全量训练 8 个 epoch。 2. 强化学习(RL)阶段:基于 GRPO(Group Relative Policy Optimization)优化策略模型。为避免格式奖励带来的虚假捷径,模型在 SFT 阶段已掌握规范思考标签,RL 阶段仅施加基于沙箱执行结果的功能性连续奖励信号。针对每个查询采样 \(G=8\) 条轨迹,奖励函数根据代码是否编译以及通过测试用例的比例进行阶梯化平滑赋值: $\(R = \begin{cases} -2, & \text{若未能提取有效代码或编译失败} \\ 0, & \text{代码成功编译但未通过任何测试用例} \\ 5.0 \times \frac{\#\text{passed}}{\#\text{total}}, & \text{其他(按通过比例提供密集奖励)} \end{cases}\)$ 强化学习使用 Redis 消息队列驱动分布式 FastAPI 沙箱并发评测,采用全局 batch size 512,学习率 \(7\times 10^{-5}\),温度 1.0,迭代 270 步。

实验关键数据

主实验

论文在极具挑战性且严格防范数据污染的动态评测基准 LiveCodeBench(LCB)v5 和 v6 上进行了深入评估,指标统一采用 8 次独立采样的均值(avg@8)。

模型系列 / 代表基准 参数规模 训练范式 训练数据来源 LCB v5 (avg@8) LCB v6 (avg@8)
Qwen2.5-Coder-7B-Instruct (Base) 7B 基础开源模型 真实语料 17.5 21.7
Qwen2.5-Coder-14B-Instruct (Base) 14B 基础开源模型 真实语料 24.0 23.4
Bespoke-Stratos (SFT) 7B SFT 17k 真实数据 16.2 (pass@1) 8.6
OlympicCoder (SFT) 7B SFT 100k 真实数据 40.9 19.3
OCR-Qwen-Instruct (SFT) 7B SFT 736k 真实数据 51.3 (avg@64) 44.5
OpenThinker3 (SFT) 7B SFT 1.2M 混合数据 51.7 40.8
Qwen3-8B 8B SFT 真实数据 57.5 48.4
Skywork-OR1 (RL) 7B RL 124k 真实数据 47.6 (avg@32) 40.0
DeepCoder-Preview (RL) 14B RL 24k 真实数据 57.9 (pass@1) 48.5
AReal-boba² (RL) 14B RL 24k 真实数据 58.1 (avg@32) 56.7
AceReason1.1 (SFT-then-RL) 7B SFT+RL 2.2M 真实数据 57.2 52.1
MiMo (SFT-then-RL) 7B SFT+RL 130k 未公开数据 57.8 49.3
Klear-Reasoner (SFT-then-RL) 8B SFT+RL 106k 真实数据 61.6 53.1
X-Coder-7B-SFT 7B SFT 200k 纯合成数据 60.3 ± 2.5 53.5 ± 1.7
X-Coder-7B-RL 7B SFT+RL 40k 纯合成测试套件 62.9 ± 1.8 55.8 ± 1.9
X-Coder-14B-SFT 14B SFT 200k 纯合成数据 64.2 ± 1.7 59.1 ± 2.5
X-Coder-14B-RL 14B SFT+RL 40k 纯合成测试套件 67.5 ± 1.2 63.4 ± 2.6

消融实验

为验证数据质量控制与合成各设计维度的贡献,作者对验证策略、数据规模维度及思维链长度进行了系统性消融。

实验切片与配置对比 核心指标 (LCB v5) 说明与影响分析
原始解法训练 (Raw Solution, 64k) 47.0% 未经双重验证直接训练,受噪声与幻觉解法干扰
双重验证解法训练 (Verified Solution, 64k) 53.4% 引入共识投票与留出验证,性能净提升 +6.4%
单步端到端题目生成 (One-Step) 34.8% 提示词将特征与构题混在一起,易退化为琐碎题
两阶段子树筛选题目生成 (Two-Stage) 40.1% 明确拆分解耦角色分配与场景融合,提升 +5.3%
扩展任务内解法数量 (\(8k \times 8\) 解法) 44.4% 重复见同一道题的不同变体,泛化算法广度受限
扩展题目数量 (\(64k \times 1\) 解法) 47.0% 在相同总 Token 预算下,题目多样性显著优于解法多样性
短思维链微调 (Short-CoT, Epoch 8) 43.1% 收敛快但缺乏深度推演,难以应对复杂竞赛题
长思维链微调 (Long-CoT, Epoch 8) 60.3% 深度反思与推演轨迹带来质的跃迁,绝对提升 +17.2%
开源教师管道 (Qwen3.5-35B, 32k) 27.7% (+10.2 over Base) 证明无需封闭闭源前沿模型亦可实现实质性提升

关键发现

  • 题目多样性远重于解法多样性:在固定总计算开销下,\(64\text{k}\times 1\) 的配置不仅超越了 \(8\text{k}\times 8\)(47.0% vs 44.4%),并且随着独立题目规模扩展至 200k,性能单调上升至 62.7%。这证明竞赛编程泛化能力依赖于广泛算法场景与逻辑约束的见识广度,而非对少数特定问题的反复拟合。
  • SFT 贡献一阶主要跃迁,RL 提供高价值功能补充:长思维链 SFT 完成了模型从普通代码补全向深度算法规划者的核心认知转变(贡献了超过 80% 的性能增幅);而基于沙箱执行反馈的 RL 则能有效纠正推理与代码落地间的细微错位,并在更强 SFT 初值的基础上发挥更大威力。
  • 双重验证有效拦截噪声,但算法逻辑仍是最终瓶颈:错误分布分析显示,经过 SFT+RL 优化后,解答错误(Wrong Answer)依然占据主导地位(由基准模型的 194.6 降至 67.9),其次是超长推理导致的上下文耗尽(Context Exhaustion)和运行超时(TLE),这表明未来竞赛智能的核心挑战在于更紧凑可控的高效逻辑收敛。

亮点与洞察

  • 纯合成闭环颠覆了数据天花板假说:首次系统确证了完全不包含真实赛题、官方代码与真实测例的纯合成工件能够驱动模型达到超真实数据训练的前沿竞赛推理水平。
  • 两阶段角色标注驱动的高难度构题机制:将题目生成拆解为“特征角色化标注与子树组合”和“无提示赛题生成”,有效阻止了 LLM 将复杂概念退化成玩具代码的天然倾向,使得 90.4% 的题目难度达到 Codeforces 2400+ 专家水平。
  • 加权留出集双重验证极大压低伪标签风险:将自洽多数表决扩展为结合输入规模权重的留出集确认,把伪标签错误率压至 5.27%,为大规模自动化代码数据构造提供了工业级的高可靠参考方案。

局限与展望

  • 依赖自包含算法问题的边界设定:当前方法主要聚焦于自包含、强逻辑、输入输出边界极度清晰的竞赛编程场景,对于包含复杂依赖树、跨文件环境调用以及动态上下文交互的工程级仓库代码(如 SWE-bench)尚无法直接无缝平移。
  • 双重共识对教师模型族群偏见的残留容忍:人工抽样审计表明,双重验证在极端复杂用例上仍存在 12.7% 的残余错误率,尤其当同系列或具有相似先验的教师模型出现共性算法盲区时,共识投票可能失效产生关联错误。
  • 测试期推理长度与解题正确率的反向折损:实验发现推理 token 越长往往对应越难的问题,但也导致上下文窗口耗尽与复读风险剧增,未来工作亟需在深度反思与高效紧凑推理之间建立自适应停止机制。

相关工作与启发

  • vs OpenCodeReasoning (NVIDIA):OpenCodeReasoning 依赖约 2.8 万道从历史竞赛网站爬取的真实赛题进行百万级解法蒸馏;X-Coder 彻底切断了对真实任务内容的依赖,在同等 token 预算下依靠更丰富的纯合成任务多样性在 LiveCodeBench 中等与困难子集上展现出更强的泛化优势。
  • vs EpiCoder:EpiCoder 首次验证了通用代码场景下的特征组合生成;X-Coder 针对竞赛编程进行深度专业化改造,引入树状演化、两阶段语义角色融合与 CYaRon 专业测试库,在 LCB v5 上取得了较通用方案高出 20.9% 的绝对增益。
  • vs AceReason / Klear-Reasoner:既有端到端 SFT+RL 架构在很大程度上混合了数学解题与真实代码数据;X-Coder 验证了纯代码密集型连续奖励强化学习在纯合成题目下的收敛稳定性与有效性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次证实纯合成任务、解法与测试用例三位一体足以支撑从 SFT 到 RL 的全流程竞赛智能进阶。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LiveCodeBench、Codeforces、LiveBench 等多基准,包含详尽的数据缩放、消融及人工审计证据。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,从问题解耦、系统架构到微观验证算法推演一气呵成。
  • 价值: ⭐⭐⭐⭐⭐ 彻底打破了高门槛算法推理依赖稀缺真实题目的死锁,为大模型推理能力的自举进化开辟了极具前景的路径。