Detecting RLVR Training Data via Structural Convergence of Reasoning

会议: NeurIPS 2026
arXiv: 2602.11792
代码: https://stevenzhb.github.io/detect-rlvr-data/
领域: 预训练
关键词: 强化学习可验证奖励, 基准污染检测, 推理多样性收敛, 成员推理攻击, 黑盒检测

一句话总结

针对基于可验证奖励的强化学习（RLVR）训练数据未公开导致基准污染难以排查的问题，本文发现 RLVR 会导致模型在已见题目上出现符号推理结构收敛与生成僵化现象，据此提出了无需参考模型与 token 概率的纯黑盒检测指标 Min-kNN Distance，在多个开源推理模型上取得领先检测性能。

研究背景与动机

基于可验证奖励的强化学习（RLVR）已成为构建现代高水平推理大模型（如 DeepSeek-R1、SimpleRL、DAPO 等）的核心技术。通过对具备客观对错答案的数学与代码题目直接施加答案奖励信号，模型能够自主探索并强化生成高准确率的长思维链（CoT）。然而，社区频繁发现许多推理模型在已知公开基准上表现优异，但在面对时间更新、题目变形或更高难度的竞赛题时性能急剧滑坡。加之多数开源项目仅公开强化学习后的最终模型权重，闭源其 RLVR 训练数据与基座模型，使得评测界难以判定所谓“强推理能力”究竟是泛化突破还是对特定测试题目的后训练数据污染与过拟合。

这一检测任务的核心挑战在于优化范式的本质差异：传统的预训练或监督微调（SFT）依赖最大似然目标，模型直接拟合真实 token 序列，会留下显著的似然度偏置与局部困惑度（PPL）异常，因而容易被传统的成员推理攻击（MIA，如 Min-K%、Min-K%++）捕获；但 RLVR 并不对标准答案 CoT 做交叉熵回归，而是依据模型自身采样的轨迹及稀疏最终奖励实施策略梯度更新，这使得基于 token 似然度、困惑度分布或局部熵的传统检测指标彻底失效，检测 AUC 往往逼近随机猜测。

本文的切入视角是考察 RLVR 训练过程中生成多样性的动力学演变。研究发现，RLVR 在对已见题目（seen prompts）持续强化少数高奖励路径时，会导致推理轨迹的结构空间发生不可逆的模式坍塌，且这种僵化主要集中在承载推理骨架的符号代数转换片段上，并将生成路径收敛到少数几个离散的结构模式中；相比之下，未见题目（unseen prompts）依然保留着充分的探索性与发散性。核心 idea：通过黑盒采样待测 Prompt 的多条推理轨迹并计算其归一化编辑距离的 \(k\) 近邻均值（Min-kNN Distance），直接量化模型在该问题上的推理结构收敛程度，实现无需模型内部概率的高精度 RLVR 训练数据污染检测。

方法详解

整体框架

Min-kNN Distance 的整体流程包含轨迹采样、编辑距离计算、局部近邻检索与平均打分四个阶段。给定待检测的提示词 \(x\) 与黑盒 RLVR 目标模型 \(M_{\text{RLVR}}\)，系统首先以特定解码温度独立随机采样 \(m\) 条完整的推理轨迹；接着对所有轨迹对提取归一化 Levenshtein 编辑距离，构建距离矩阵；随后针对每条轨迹找出除自身外的最近邻距离，反映局部模式的聚类紧密度；最后提取全局最小的 \(k\) 个最近邻距离取算术平均，输出检测标量。由于已见题目的推理轨迹向少数固定模式坍塌，其近邻编辑距离显著小于未见题目，从而通过设定阈值实现二分类判定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入待测 Prompt x 与黑盒模型"] --> B["多轨迹随机采样<br/>独立生成 m 条推理回复"]
    B --> C["轨迹对齐与归一化编辑距离矩阵<br/>计算序列级差异"]
    C --> D["k 个最小近邻距离检索<br/>捕获模式坍塌簇"]
    D --> E["Min-kNN Distance 标量评分<br/>低分判定为 RLVR 训练样本"]

关键设计

1. 推理多样性收敛与结构模式坍塌规律 现有基于似然度的检测方法在 RLVR 场景失效，根本原因在于强化学习只奖励答案正误，缺乏标准生成轨迹约束。作者系统追踪了 DAPO 与 GRPO 训练过程中词汇（EAD 调整后 n-gram 独立比）、逻辑（NLI 蕴含/矛盾比例）及语义（Embedding 余弦相似度差异）三项多样性指标。实验揭示，RLVR 训练导致生成多样性全局单调下降；通过层次凝聚聚类（HAC）对高频 3-gram 分析发现，频繁复现的片段主要分为三类：题干复述、套话连接词以及符号/代数推理片段。其中符号代数片段在训练过程中增长最为剧烈，且所有生成轨迹并非收缩为单一确定性输出，而是收敛至 2 到 4 个稳定的离散结构模式（Structural Modes）。更关键的是，已见样本的模式收敛与僵化程度（高频逻辑 3-gram 数量及小聚类尺寸占比）显著强于未见样本，构成了可迁移的特征印记。

2. 归一化 Levenshtein 编辑距离矩阵构建 针对模型生成的 \(m\) 条轨迹 \(O(x) = \{o_1, o_2, \ldots, o_m\}\)，为了摆脱长 CoT 生成中随机填充词、空白符及不同回复长度对绝对距离测度的干扰，必须构建尺度不变的结构距离度量。方法采用归一化 Levenshtein 编辑距离 \(d(o_i, o_j)\)：

\[D_{ij} = d(o_i, o_j) = \frac{\text{Levenshtein}(o_i, o_j)}{\max(|o_i|, |o_j|)}, \quad 1 \leq i, j \leq m\]

该度量综合反映了字符/token 插入、删除与替换的最少操作代价，并严格受限于 \([0, 1]\) 之间。当多条轨迹落入相同的推导范式（例如相同的代数代换步骤）时，尽管表面连接词有轻微抖动，归一化编辑距离依然极小，从而精准捕捉结构层面的相似性。

3. 最小 \(k\) 近邻聚合（Min-kNN Distance） 单纯计算全部 \(m\) 条轨迹的两两平均距离容易受到个别发散轨迹或不同模式间距离的稀释，无法体现“落入同一紧密模式簇”的特性。设计先为每条轨迹 \(o_i\) 检索其在生成集中的最近邻距离：

\[\mathrm{NN}_i(x) = \min_{j \neq i} D_{ij}\]

将所有 \(m\) 个最近邻距离按升序排列得到 \(\mathrm{NN}_{(1)}(x) \leq \mathrm{NN}_{(2)}(x) \leq \cdots \leq \mathrm{NN}_{(m)}(x)\)，并截取最小的 \(k\) 个距离值计算平均，定义最终检测统计量：

\[\mathrm{Min\text{-}kNN}(x) = \frac{1}{k} \sum_{t=1}^k \mathrm{NN}_{(t)}(x)\]

对于 RLVR 训练见过的题目，由于其轨迹集中在少数紧密模式中，多条轨迹会密集聚集在各模式核心，导致前 \(k\) 个最近邻距离极小；而未见题目保持充分的发散性与探索性，近邻距离均较大。由于 \(\mathrm{Min\text{-}kNN}(x_{\text{seen}}) < \mathrm{Min\text{-}kNN}(x_{\text{unseen}})\)，直接对该标量施加全局阈值即可完成成员判定，全程仅依赖采样文本，无需模型内部参数、概率分布或预训练参考模型。

实验关键数据

主实验

实验在两大体系上全面评估：其一是开源真实 RLVR 模型（DAPO-Qwen-32B、JustRL-DeepSeek-1.5B、Open-Reasoner-Zero-7B、SimpleRL-32B），各采集 300 条训练集样本为成员，从未见权威数学竞赛基准（AIME 2024/2025、Beyond-AIME、Omni-Math、MATH-500）抽取 300 题为非成员；其二是受控 RL-MIA 基准（DeepSeek-Math-7B 与 Qwen2.5-7B 在 K&K 和 SAT 任务上 PPO 微调）。评价指标为受试者工作特征曲线下面积（AUC）。

方法	黑盒采样 (BB)	DAPO (32B)	JustRL (1.5B)	ORZ (7B)	SimpleRL (32B)	DS-KK	QW-KK	DS-SAT	QW-SAT	平均 AUC
PPL (Shi et al., 2023)	✗	0.63	0.61	0.72	0.72	0.59	0.56	0.44	0.54	0.60
Min-K% (Shi et al., 2023)	✗	0.37	0.43	0.29	0.28	0.53	0.44	0.53	0.47	0.42
Min-K%++ (Zhang et al., 2024)	✗	0.37	0.48	0.56	0.39	0.56	0.53	0.66	0.52	0.51
CDD (Dong et al., 2024)	✓	0.52	0.51	0.36	0.45	0.49	0.46	0.50	0.47	0.47
Recall (Xie et al., 2024)	✗	0.50	0.52	0.51	0.62	0.54	0.52	0.56	0.47	0.53
Self-Critique (Tao et al., 2025)	✗	0.58	0.51	0.48	0.49	0.54	0.53	0.43	0.49	0.51
Min-kNN Distance (本文)	✓	0.72	0.66	0.75	0.76	0.80	0.68	0.68	0.57	0.70

在所有 8 个评估模型与基准上，Min-kNN Distance 取得了平均 0.70 的 AUC，相比最强传统基准（PPL 的 0.60）实现了 17% 的相对提升，而传统概率白盒基准 Min-K% 及强化学习检测基线 Self-Critique 的平均 AUC 仅徘徊在 0.42-0.51（接近随机猜测）。

消融实验

研究针对核心超参数（近邻数 \(k\)、采样轨迹数 \(m\)、采样温度 \(T\)）以及泛化场景（Prompt 改写、模型蒸馏、代码/数学不同领域）进行了详尽消融与鲁棒性验证。

评估维度 / 变体设置	配置参数	评测模型 / 数据集	检测指标 (AUC)	说明
近邻选择 \(k\) 敏感性	\(k=2 \to 10 \to 20\)	8 个模型平均	快速上升后饱和 (~0.70)	\(k\) 过小时难以稳定捕获模式簇，\(k \in [8, 16]\) 表现极为平稳
采样条数 \(m\) 影响	\(m=4 \to 16 \to 32 \to 64\)	8 个模型平均	随采样数平稳上升	轨迹越多越容易暴露重叠模式簇，\(m=32\) 兼顾效率与精度
采样温度 \(T\) 敏感性	\(T=0.3 \to 0.7 \to 1.0\)	SimpleRL-32B	随温度升高 AUC 显著提升	较高温度放大了未见题目的探索发散度，强化了已见题目的对比信号
提示词改写 (Paraphrase)	原始输入 \(\to\) GPT-4o 改写	DAPO-Qwen-32B	0.72 \(\to\) 0.71	结构坍塌跨语义等价表述泛化，仅轻微下降 0.01
蒸馏数据检测 (Distillation)	蒸馏学生模型	OpenR1-Distill-7B	0.76 (PPL: 0.70, SC: 0.65)	证明 RLVR 教师的结构收敛痕迹能有效迁移至蒸馏学生模型
领域差异：数学 vs 代码	ProRL 设定 (数学 / 代码)	Nemotron-Reasoning-1.5B	数学 0.80 / 代码 0.69	代码灵活性更高致检测难度增加，但仍大幅领先 PPL (0.36) 与 SC (0.47)

关键发现

• RL 算法与规模不变性：方法在 PPO（Open-Reasoner-Zero-7B）、GRPO（SimpleRL-32B）与 DAPO（DAPO-Qwen-32B）上均表现优异，模型尺寸从 1.5B 跨越到 32B 均保持高辨识度，证明结构收敛是 RLVR 的通用内在规律。
• 改写与蒸馏鲁棒性：当使用 GPT-4o 对题目进行同义句式改写后，AUC 仅从 0.72 降至 0.71；在 OpenR1-Distill-7B 蒸馏模型上依然取得 0.76 AUC，表明该检测信号反映的是深层解题模式而非表面词法记忆。
• 预训练与后训练双阶段解耦：在 GSM8K 双阶段污染分析中，作者利用 PPL 筛除预训练高污染子集后，Min-kNN Distance 的检测效果进一步凸显，表明该指标专门捕获 RLVR 后训练带来的增量收敛，可与前序预训练检测方法互补结合。

亮点与洞察

• 发现 RLVR 的“多模态”结构坍塌机制：指出了 RLVR 与 SFT 模式坍塌的本质不同——RLVR 并非将输出收敛到单一标准答案路径，而是收敛至 2-4 个离散的符号解题范式，为理解长 CoT 推理模型的行为特征提供了全新的机理视角。
• 极端简易却高效的黑盒设计：完全摆脱了模型白盒权限、token logit 依赖以及基座参考模型需求，仅靠普通 API 多次采样与串编辑距离即可达到 SOTA，具备极强的工业界落地方便度与审计实用性。
• 解题模式的蒸馏遗传性：实验首次证实经由 RLVR 模型采样轨迹微调得到的蒸馏模型，同样保留了教师模型的推理结构僵化特征，为开源社区排查“暗中蒸馏闭源 RL 模型”提供了技术抓手。

局限与展望

• 计算开销随采样数增加：每个 Prompt 需要采样 32 条且长度可达 1024 token 的回复，在 Open-Reasoner-Zero-7B 上的平均单样检测耗时为 6.65 秒，显著高于单次前向的 PPL 统计（1.43 秒）。
• 非结构化与高开放度任务适用度有限：在代码生成或开放式探索任务中，由于语法和实现方式极其灵活，结构收敛幅度（AUC 0.69）不如数学公式推导（AUC 0.80）那般显著，需进一步探索抽象语法树（AST）级别的距离度量。
• 自适应对抗攻击防御未解：若模型训练者有意在采样时加入多样性正则化（如显式惩罚近邻编辑距离），检测信号可能被主动削弱，未来需研究抗混淆的拓扑不变性检测算子。

相关工作与启发

• vs 预训练数据检测方法 (Min-K% / Min-K%++ / Recall)：传统方法依赖真实文本前向传播的 token 似然度与困惑度统计，但在无标准答案 CoT、纯奖励优化的 RLVR 场景中，自生成 token 的似然度信号几乎完全失效（AUC 0.42-0.51）；本文从序列分布发散度切入，实现完全黑盒且针对后训练优化特性的有效检测。
• vs RL 数据污染检测 (Self-Critique)：Self-Critique 通过模型自我审查的前后 token 熵序列相似性来判断污染，需要白盒获取各位置的熵分布；本文仅需黑盒文本采样，且在各类开源模型上平均 AUC 达 0.70，全面领先 Self-Critique 的 0.51。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示 RLVR 导致长思维链出现离散结构模式坍塌的内在机理，并开创性提出基于编辑距离近邻的黑盒检测方案。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个模型（1.5B 到 32B）、三大主流 RL 算法、Prompt 改写、模型蒸馏及数学/代码跨领域验证，分析极为扎实。
• 写作质量: ⭐⭐⭐⭐⭐ 问题定义直击后训练大模型缺乏基准透明度的痛点，机理分析层层递进，图表规范且数据详实。
• 价值: ⭐⭐⭐⭐⭐ 为开源社区治理基准作弊、排查测试集污染以及核验模型真实泛化能力提供了即插即用的轻量化黑盒审计基准。

相关论文

• [NeurIPS 2026] Extracting Training Data from Diffusion Language Models via Infilling
• [ICML 2026] Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability
• [NeurIPS 2026] Lumos: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
• [NeurIPS 2026] Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data
• [ECCV 2026] GryphOne: Symbol-Aware Masked Diffusion for Structural Refinement in Offline Handwritten Mathematical Expression Recognition