From Noise to Diversity: Random Embedding Injection in LLM Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.11936
代码: https://github.com/heejunkim00/RSP
领域: Reasoning
关键词: 随机软提示, 大模型推理多样性, 轨迹分支, 隐空间扰动, 强化学习探索

一句话总结¶

本文提出完全免训练的随机软提示（Random Soft Prompts, RSP），通过向输入追加拟合预训练嵌入均值与方差的各向同性高斯随机向量，在解码初期借助注意力扰动促使推理轨迹充分分支，并利用 KV 缓存增长自然衰减注意力影响，从而以零训练成本大幅提升 Pass@N 多样性并促进强化学习探索。

研究背景与动机¶

在大语言模型推理任务中，为了提升模型的问题求解能力并克服全量微调高昂的算力开销，参数高效的连续向量提示方法（Soft Prompt / Prefix-Tuning）成为了重要研究方向。近年来针对数学推理涌现出了大量代表性工作，如基于推理轨迹熵最小化在线优化前缀的 TTSV、利用辅助模型生成隐式软思维链的 SoftCoT、以及针对单题置信度最大化逐题微调软提示的 LTPO 等。这些方法虽然在注入位置、训练目标与提示形态上各不相同，但它们在理论设定和归因上共享一个基本假设：即性能收益来源于这些连续向量在特定优化目标下所学到的表征内容。

然而，现有软提示优化范式面临着显著瓶颈。首先，面向特定基准的有监督优化往往极易对领域过拟合，在分布外复杂问题上经常出现性能衰退；更关键的是，已有注意力理论证明连续前缀在本质上仅能使注意力输出在固定方向上产生偏置，难以在不改变内容 token 相对注意力模式的情况下引入真正的新能力。这就引发了一个长期被学界忽视的根本性疑问：软提示带来的推理增益，究竟多大程度上源自精心优化的向量内容，又有多大程度上仅仅是“在输入序列中注入连续嵌入”这一结构性操作本身的副产物？此前从未有工作将嵌入注入行为本身与其优化内容进行严格解耦。

针对这一核心矛盾，本文提出用完全不含任何学习信息的随机软提示（Random Soft Prompts, RSP）作为对照基准，以彻底剥离优化内容的影响。令人惊讶的是，即使完全移除训练阶段，仅输入从嵌入表统计量采样的纯随机高斯向量，模型不仅没有崩溃，反而展现出与精心优化的软提示相当的推理精度，并在格式不匹配时恢复高达近 30 个百分点的准确率。核心 idea：软提示对大模型推理的增益本质上主要源于嵌入注入带来的输入端随机方向扰动与解码初期轨迹分支效应；通过各向同性高斯分布实现最恶劣方向方差最大化覆盖，并依赖自回归 KV 缓存增长自动稀释注意力影响，免训练的随机注入即可实现隐式的“先探索后利用”机制。

方法详解¶

整体框架¶

RSP 的整体流水线极其简洁精妙：在推理或强化学习采样阶段，无需任何梯度回传或前缀优化，直接基于预训练模型的嵌入矩阵统计量实时采样一段连续向量，并追加到输入序列末尾（Suffix 形式）。在自回归生成的起始阶段，由于引入了词表外（Out-Of-Vocabulary, OOV）的未见过连续嵌入，自注意力机制被迫将部分注意力权重分配给这些随机位置，导致前几个生成的 token 概率分布平坦化，使模型从基线的单一确定性路径分叉到更广阔的候选语义空间；随着自回归解码持续推进，KV 缓存长度不断增加，随机向量所占的相对注意力权重被严格从数学上压低衰减，生成轨迹自然收敛并稳定在已选定的解题路径上。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词词嵌入 X<br/>尺寸 T x d"] --> B["各向同性高斯统计采样<br/>拟合嵌入表均值与方差"]
    B --> C["免训练随机软提示 H<br/>尺寸 L x d 拼接为 [X; H]"]
    C --> D["首阶段注意力扰动与分支<br/>OOV 效应打平初始 Logit 分布"]
    D --> E["KV 缓存增长与注意力衰减<br/>定理 1 保证随机影响单调稀释"]
    E --> F["输出多元推理轨迹<br/>大幅扩展 Pass@N 解空间"]

关键设计¶

1. 各向同性高斯统计采样：实现最恶劣方向方差的最大最小覆盖 以往软提示方法试图寻找能够直接引导正确答案的特异性连续向量，但在免训练设定下，我们无法预先获知哪一个输入扰动梯度方向能打开正确的解题分支。如果采用确定性注入，扰动方向被永久锁定；如果从真实词表中离散重采样，又会继承嵌入表严重的各向异性（Anisotropy）与高频偏置。为了在固定的能量预算下不偏向任何特定方向，RSP 从预训练嵌入矩阵 $\mathbf{W}_E \in \mathbb{R}^{V \times d}$ 的全局统计均值 $\mu_E$ 和方差 $\sigma_E^2$ 出发，独立采样长度为 $L$ 的向量序列： $$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d), \quad j = 1, \dots, L$$ 理论证明（Proposition 1），在所有协方差迹有界的零均值分布族中，使最小方向投影方差最大化（Maximin directional coverage）的充要条件当且仅当协方差矩阵为球形各向同性 $\Sigma = (\rho^2/d) \mathbf{I}_d$。该设计确保了投影到任意由模型雅可比矩阵拉回的 Logit 决策方向上都具备非零的扰动方差，从而能够以非零概率跨越局部判别边界，触发 Logit 重排与分支状态（Branching state）。

2. 注意力精确正交分解：解耦随机扰动尺度与真实表征流 在自注意力层中，随机向量究竟对隐藏状态施加了多大程度的改变？本文从数学上对含有 $L$ 个 RSP 向量与 $n$ 个真实 token 的自注意力头输出给出了无近似的精确分解。定义注意力层在查询位置 $i$ 对所有随机 token 的总注意力权重为 $w_{r,i}^{(\ell)} = \sum_{j=1}^L \alpha_{i, n+j}^{(\ell)}$，自注意力头的输出向量 $\mathbf{o}_i^{(\ell)}$ 可以严格分解为重归一化的真实 token 项 $\tilde{\mathbf{o}}_i^{(\ell)}$ 与随机贡献项 $\boldsymbol{\eta}_i^{(\ell)}$： $$\mathbf{o}_i^{(\ell)} = (1 - w_{r,i}^{(\ell)}) \tilde{\mathbf{o}}_i^{(\ell)} + \boldsymbol{\eta}_i^{(\ell)}, \quad \text{其中} \quad \tilde{\mathbf{o}}_i^{(\ell)} := \sum_{j=1}^n \frac{\alpha_{ij}^{(\ell)}}{1 - w_{r,i}^{(\ell)}} \mathbf{v}_j^{(\ell)}, \quad \boldsymbol{\eta}_i^{(\ell)} := \sum_{j=1}^L \alpha_{i, n+j}^{(\ell)} \mathbf{v}_{r_j}^{(\ell)}$$ 这一分解揭示出一个关键机制：随机扰动对真实语义信号的衰减比率精确受控于单一标量 $(1 - w_{r,i}^{(\ell)})$，且随机扰动的模长上界严格被 $w_{r,i}^{(\ell)} \max_j \|\mathbf{v}_{r_j}^{(\ell)}\|$ 所约束。在解码初始阶段，由于 KV 缓存极短，标量 $w_{r,i}^{(\ell)}$ 处于显著非零区间，使随机向量能够有效扰动顶层隐藏状态 $\mathbf{s}^{(t)}$，迫使前几个 token 的候选概率重新洗牌。

3. KV 缓存增长诱导的自然退火：免调度的自适应探索-利用 随机扰动如果在整个生成过程中始终保持强力介入，必然会导致模型胡言乱语、逻辑崩塌。传统强化学习往往需要复杂的人工温度衰减或探索调度，而 RSP 揭示出 Transformer 自回归解码机制自带天然的退火属性。定理 1（Theorem 1）严格证明，在固定单头 Key 维度 $d_{\text{head}}$ 与查询-键 Logit 差距 $\Delta_i$ 的前提下，总随机注意力权重随着已解码真实 token 数量 $n$ 的增加而单调严格衰减： $$w_{r,i} \leq \frac{L}{L + n \exp(\Delta_i / \sqrt{d_{\text{head}}})}$$ 当 $n \to \infty$ 时，该理论上界严格趋近于 0。这意味着在解码初期的几个步骤之后，真实 token 的积累迅速摊薄了随机嵌入的相对权重，分支事件发生的概率急剧下降，模型能够自发收敛并坚定地顺着已经打开的推理路径进行严密推导，实现了完全无需外部超参干预的“隐式先探索、后利用（Explore-then-Exploit）”。

4. 独立重采样驱动的解空间积累：从单次分支到 Pass@N 扩展与 DAPO 强化学习 为了使局部的 token 重排真正转化为任务级别的推理成功率，算法对每一次采样（Rollout）独立重采样全新的随机矩阵 $\mathbf{H}$。理论分析表明，若所有生成共享同一个固定的随机软提示，样本间相互独立性条件失效，多样性收益荡然无存；而在独立重采样下，解题成功率满足 $\Pr(\mathrm{Pass@}N) \geq 1 - (1 - p_{\min}(x))^N$ 的指数级覆盖积累。进一步地，该机制被自然拓展至大模型对齐与强化学习阶段：将 RSP 作为输入端探索机制无缝融入 DAPO（带有非对称裁剪的多样本强化学习算法）的采样过程，在输入侧通过分支隐状态为策略提供更宽广且不损失语义连贯性的候选探索轨迹。

实验关键数据¶

主实验¶

在统一测评基准下，免训练的 RSP 与经过复杂任务级优化的主流软提示基线（TTSV、SoftCoT、LTPO）在 Qwen2.5-Math 系列模型上的数学推理精度对比。

模型	基准测试	Baseline (无软提示)	RSP (免训练随机)	TTSV (轨迹熵优化)	SoftCoT (辅助模型软 CoT)	LTPO (置信度逐题优化)
Qwen2.5-Math-7B-Instruct	MATH-500	83.20%	84.20%	83.80%	82.80%	83.00%
Qwen2.5-Math-7B-Instruct	GSM8K	95.45%	95.68%	95.30%	95.00%	94.84%
Qwen2.5-Math-7B-Instruct	AIME24	13.33%	16.67%	23.30%	16.67%	13.33%
Qwen2.5-Math-1.5B-Instruct	MATH-500	73.00%	75.20%	75.20%	76.00%	72.40%
Qwen2.5-Math-1.5B-Instruct	GSM8K	85.29%	85.75%	85.70%	84.46%	84.53%
Qwen2.5-Math-1.5B-Instruct	AIME24	10.00%	20.00%	6.70%	6.67%	10.00%

消融与多样性分析实验¶

为了验证 RSP 带来的分布重排与简单提高采样温度（Temperature）的本质区别，下表展示了首个 Token 生成分布与精度指标对比（基于 Qwen2.5-Math-1.5B-Instruct, MATH-500）。同时给出了语义多样性（BGE-M3 聚类分析）与强化学习 DAPO 整合的消融结果。

实验维度 / 配置	测量指标	基线 / 对照组	RSP / 改进组	效果说明
首 Token 分布与精度	Spearman 秩相关 $\rho$	1.000 ($\tau=2.0 / 3.0$)	0.709 ($\tau=1.0$)	温度缩放保序($\rho=1$)，RSP 发生真实重排
首 Token 分布与精度	Top-10 以外概率质量	5.18% ($\tau=2.0$) / 29.11% ($\tau=3.0$)	21.86%	RSP 显著扩展有效候选空间
首 Token 分布与精度	单样本准确率 Acc (%)	20.77% ($\tau=2.0$) / 1.42% ($\tau=3.0$)	73.30% ($\tau=1.0$)	高温导致逻辑崩溃，RSP 保持高精度
语义多样性 (300 轨迹)	成对余弦距离	0.0612	0.0879	语义多样性提升 1.4 倍
语义多样性 (DBSCAN 聚类)	类间距离 (Inter-cluster)	0.0183	0.0982	轨迹聚类分离度提升 5.4 倍
语义多样性 (DBSCAN 聚类)	类内距离 (Intra-cluster)	0.0526	0.0528	类内紧凑性保持高度一致
强化学习 DAPO 训练峰值	5 大数学基准均分 (Avg)	53.20% (标准 DAPO)	54.36% (DAPO + RSP)	输入端探索使最终峰值提升 +1.16 pp

关键发现¶

软提示增益的去神秘化：完全免训练、实时独立采样的各向同性高斯随机向量，在多个基准和模型配置上取得了完全匹敌甚至超越精心优化的软提示（如 LTPO、SoftCoT）的推理准确率，证明了现有软提示方法的增益在很大程度上是嵌入注入结构性机制的体现，而非学到了所谓的高维泛化知识。
格式不匹配容忍度的惊人修复：当将未针对对话格式微调的 Base 模型输入 ChatML 模板时，模型往往出现严重的格式错配导致性能雪崩；在此场景下，加入 RSP 使得 Qwen2.5-Math-1.5B 的 GSM8K 准确率暴涨 +29.6 pp（从 37.45% 恢复至 67.02%），证明随机注入有效打破了模型因非对齐 prompt 陷入的死锁分布。
与温度采样的正交互补性：温度采样仅仅是单调保序变换，无法改变候选 Token 的相对优先次序；强行提高温度会导致输出完全混乱（$\tau=3.0$ 时准确率跌至 1.42%）。而 RSP 打破了秩次（$\rho=0.709$），在维持 73.3% 高准确率的同时激发了全新语义解题分支，二者结合在 $N=16$ 时将 AIME24 的 Pass@16 从基线大幅提升至 36.67%。

亮点与洞察¶

将免训练对照组做成有效方法：论文最初仅将随机向量设计为探究软提示有效性根源的负对照组（Control group），却意外发现其本身就是一个极低成本、即插即用且能跨模型复现的强力推理增强策略。
自注意力机制自发实现的 Explore-then-Exploit：通过数学严谨证明了注意力稀释定理，揭示了 Transformer 因果自回归生成天然具备随 KV 缓存增长而稀释输入端初始扰动的特性，使探索与收敛阶段浑然天成。
输入扰动与策略优化的双轮驱动：成功将原本用于单次推理的随机分支扩展到 RL 训练回路中，与损失函数级的 DAPO 形成互补，为强化学习解决大模型 CoT 探索匮乏提供了全新的低开销输入侧干预手段。

局限与展望¶

模型架构与位置编码的依赖边界：作者明确指出，当前理论与实验主要建立在采用旋转位置编码（RoPE）的因果解码器模型上，对于绝对位置编码或双向编码架构，随机扰动的空间扩散特征是否仍然保持单调退火仍需进一步检验。
离散超参数与连续控制调节器的缺失：目前的扰动强度主要通过截断长度 $L$ 进行粗粒度离散调节，缺乏类似采样温度那样平滑连续可调的超参数旋钮（如注入向量的范数缩放系数或混合权重）。
任务领域的普适性尚待扩展：实验主要集中在具备确定性答案的数学推理任务中，对于代码生成、多轮 Agent 决策及开放式文本创作等具备多重正确分支的更宽广场景，RSP 的多样性收益与生成质量之间的平衡仍有待深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出将纯随机软提示作为解耦对照，反直觉地证明了免训练注入的有效性并给出了数学证明。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 token 秩相关、注意力权重衰减、语义聚类、Pass@N 规模化定律及 DAPO 强化学习全链条验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导与实验分析环环相扣，从数学定理、可视化分析到实证数据层次极度清晰，叙事优雅有力。
价值: ⭐⭐⭐⭐⭐ 对软提示与大模型推理机制的研究具有重要的澄清与去伪存真价值，同时为 RL 探索提供了即插即用的新范式。

实验维度 / 配置	测量指标	基线 / 对照组	RSP / 改进组	效果说明
首 Token 分布与精度	Spearman 秩相关 \(\rho\)	1.000 (\(\tau=2.0 / 3.0\))	0.709 (\(\tau=1.0\))	温度缩放保序(\(\rho=1\))，RSP 发生真实重排
首 Token 分布与精度	Top-10 以外概率质量	5.18% (\(\tau=2.0\)) / 29.11% (\(\tau=3.0\))	21.86%	RSP 显著扩展有效候选空间
首 Token 分布与精度	单样本准确率 Acc (%)	20.77% (\(\tau=2.0\)) / 1.42% (\(\tau=3.0\))	73.30% (\(\tau=1.0\))	高温导致逻辑崩溃，RSP 保持高精度
语义多样性 (300 轨迹)	成对余弦距离	0.0612	0.0879	语义多样性提升 1.4 倍
语义多样性 (DBSCAN 聚类)	类间距离 (Inter-cluster)	0.0183	0.0982	轨迹聚类分离度提升 5.4 倍
语义多样性 (DBSCAN 聚类)	类内距离 (Intra-cluster)	0.0526	0.0528	类内紧凑性保持高度一致
强化学习 DAPO 训练峰值	5 大数学基准均分 (Avg)	53.20% (标准 DAPO)	54.36% (DAPO + RSP)	输入端探索使最终峰值提升 +1.16 pp