Total Variation Distance Estimation in Autoregressive Models¶

会议: NeurIPS 2026
arXiv: 2607.19510
OpenReview: https://openreview.net/forum?id=NfXgepjfRz
代码: https://github.com/XunZhiyang/llm-tv-estimation
领域: 其他
关键词: 总变差距离、自回归模型、分布测试、多层蒙特卡洛、LLM服务审计

一句话总结¶

本文系统研究了长度为 $n$ 的自回归模型分布间总变差（TV）距离的估计问题，建立了样本访问、Logit 访问与含噪 Logit 访问下的紧致或近紧致查询复杂度界，并基于多层蒙特卡洛与回放评分机制实测揭示了 vLLM 与 SGLang 在相同权重下高达 0.586 的真实分布差异。

研究背景与动机¶

在大语言模型（LLM）的实际部署与服务中，模型的实际输出行为远非仅由权重参数决定。底层的 GPU 硬件架构、动态批处理（Continuous Batching）调度、定制计算核（如 FlashAttention 与 cuDNN）、数值浮点累加次序、量化压缩（如 AWQ、KIVI）以及投机采样等低阶实现细节，都会导致输出分布产生显著偏离。更甚者，同一开源权重的不同商业 API 服务商在吞吐与延迟优化的驱动下，频繁出现模型静默替换或低精度劣化。为了审计模型服务的一致性与推理栈的无损替换，迫切需要一种在统计学上原则严密、尺度直观且对微小工程截断鲁棒的分布距离度量工具。

然而，工业界此前普遍依赖的 KL 散度在这一场景下面临根本性失效。自回归模型的序列级 KL 散度极易因极小概率截断（如 top-$k$ 采样在 $k=20$ 与 $k=30$ 间的阈值波动、安全词过滤）而产生支集不匹配（Support Mismatch），导致经验 KL 散度发散至正无穷 $+\infty$；引入伪计数平滑不仅缺乏一致的逼近保证，更严重依赖超参数人为微调。相比之下，总变差（Total Variation, TV）距离严格有界在 $[0, 1]$ 内，具备清晰的操作性物理含义（最大耦合下的样本非一致概率以及贝叶斯二分类判别错误率），能够包容微小支集差异。但 TV 距离在自回归分解下不存在类似于 KL 散度的逐 Token 链式分解法则（Chain Rule），使得直接从前缀条件查询中估计全序列 TV 距离在统计与算法上极具挑战。

面对这一挑战，本文跳出传统启发式检验的局限，从理论计算机科学的分布测试（Distribution Testing）视角出发，将自回归模型抽象为不同 API 权限下的前缀条件预言机。核心 idea：通过混合分布对称表示规避支集截断带来的无界方差，结合多层蒙特卡洛（MLMC）在耦合轨迹增量上的几何级方差衰减，实现样本、Logit 与含噪 Logit 访问下紧致的 TV 距离查询复杂度，并借助回放评分机制消除工业级推理引擎自评分系统偏差。

方法详解¶

整体框架¶

本文针对长度为 $n$、词表为 $\Sigma$（大小为 $m=|\Sigma|$）、单步最大支集大小为 $K \leq m$ 的自回归模型 $\pi$ 与 $\mu$，构建了完备的理论框架与算法体系。针对三种典型的 API 访问设定（仅样本访问、确定性 Logit 访问、含相对方差 $\sigma^2$ 的含噪分布访问），设计了对应的 TV 距离估计器并给出了理论上下界证明。随后，针对真实推理引擎的数值不稳定性与并发调度噪声，提出了具有防偏差设计的回放评分预言机（Replay Scoring Oracle）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：自回归分布对 (π, μ) 与目标精度 ε"] --> Rep["混合分布对称表示<br/>Z(X) = |π(X)-μ(X)| / (π(X)+μ(X)), X ~ (π+μ)/2"]
    Rep --> Oracle{"预言机访问类型判定"}
    Oracle -->|无噪声 Logit 访问| Alg1["似然比直接采样估计<br/>N = O(1/ε²) 轨迹，每条轨迹 n 次前缀查询"]
    Oracle -->|含噪 / 仅样本访问| MLMC["多层蒙特卡洛方差缩减<br/>几何级递增重复次数 r_ℓ 与几何级递减样本数 N_ℓ"]
    MLMC --> Coup["耦合增量估计<br/>同一轨迹样本 X 计算 Y_ℓ = Z_ℓ(X) - Z_ℓ-1(X)"]
    Alg1 --> Out["输出 TV 距离估计值 d̂ (在误差 ε 内)"]
    Coup --> Out

关键设计¶

1. 混合分布对称表示与有界估计量：摆脱全序列支集驯化包袱

传统条件采样估计 TV 距离的方法（如 Meel et al., 2025）多依赖单边似然比 $(1 - \mu(X)/\pi(X))_+$，当 $\pi(X)$ 极小而 $\mu(X) > 0$ 时估计量方差巨大，不得不引入全词表均匀分布衬底（Taming）强行截断，导致查询复杂度劣变至 $O(n^3 m / \varepsilon^5)$。本文引入了基于混合分布 $M = \frac{\pi + \mu}{2}$ 的对称表示： $$ \mathrm{TV}(\pi, \mu) = \mathbb{E}{X \sim M}\left[\frac{|\pi(X) - \mu(X)|}{\pi(X) + \mu(X)}\right] = \mathbb{E}[Z(X)] $$ 其中函数 $Z(x) = \frac{|\pi(x) - \mu(x)|}{\pi(x) + \mu(x)} \in [0, 1]$ 处处有界。通过前缀查询构建多步乘积经验分布 $\widehat{\pi}_r(x) = \prod_{i=0}^{n-1} \widehat{p}_{x_{1:i}, r}(x_{i+1})$，论文证明了其二阶差分界： $$ \mathbb{E}_{X \sim M}\left[(\widehat{Z}(X) - Z(X))^2\right] \leq 16\chi^2(\widehat{\pi}_r | \pi) + 16\chi^2(\widehat{\mu}_r | \mu) \leq \frac{C n \sigma^2}{r} $$ 这一界不仅消除了对总词表 $m$ 的显式依赖，而且在单步采样时（取 $\sigma^2 \leq K$）直接将基线复杂度优化至 $O(n^2 K / \varepsilon^4)$。

2. 多层蒙特卡洛（MLMC）方差缩减：消除精度阶数惩罚

直接使用单层估计量需要设置极大的单步采样次数 $r = O(n\sigma^2 / \varepsilon^2)$，导致全序列查询开销达到 $O(n^2 \sigma^2 / \varepsilon^4)$。为将精度依赖从 $\varepsilon^{-4}$ 降至近最优的 $\varepsilon^{-2}$，本文提出了分层伸缩估计结构。设定层级 $\ell = 0, 1, \dots, L$（其中 $L = O(\log(1/\varepsilon))$），单点重复次数设为 $r_\ell = 1 + \lceil c n \sigma^2 2^\ell \rceil$。最关键的机制在于：在定义相邻层级修正增量 $Y_\ell = Z_\ell(X) - Z_{\ell-1}(X)$ 时，强行耦合外层序列抽取 $X \sim M$ 使用完全相同的样本。由此，相邻估计的差值直接继承二阶误差界的消融效应，得到方差以几何级数衰减： $$ \mathrm{Var}[Y_\ell] \leq C \cdot 2^{-\ell} $$ 算法在粗糙层（$\ell$ 较小，单样本便宜但方差大）分配密集的样本量 $N_\ell = \lceil A \frac{L+1}{\varepsilon^2} 2^{-\ell} \rceil$，而在精细层（$\ell$ 较大，单样本昂贵但方差极小）仅分配极少样本。通过各层级独立重复后中位数聚合，将总查询复杂度压缩至 $\widetilde{O}(\frac{n + n^2 \sigma^2}{\varepsilon^2})$。

3. 相对方差噪声模型与信息论下界构建：证明维数与支集依赖的必然性

本文将推理引擎的不稳定性统一建模为相对方差有界预言机：$\mathbb{E}_{a \sim p}[\mathrm{Var}(\widehat{p}(a)/p(a))] \leq \sigma^2$。论文证明了高斯扰动 Logit 在软最大化后天然满足此条件，且仅样本访问是其 $\sigma^2 = K-1$ 的极端特例。为证明复杂度的紧致性，论文构建了双重下界： - Logit 访问下的 $\Omega(n / \varepsilon^2)$ 下界：构造长为 $r$ 的前缀块索引与长为 $t = n-r$ 的叶子后缀，通过将伯努利参数 $p$ 的差异隐藏在叶节点最后 1 个 bit，迫使任何自适应算法必须耗费 $\approx n$ 次前缀查询才能捕获单次硬币投掷信息。 - 含噪分布/样本访问下的 $\Omega(n \sigma^2 / (\varepsilon^2 \log K))$ 下界：通过“稀有逃逸（Rare-Escape）”自回归过程，模型以 $1 - 1/n$ 概率输出恒等滞留符号 0，仅以 $1/n$ 概率逃逸并吐出有限域分布 $P$ 或 $Q$ 的样本。该过程严格保持了 $\mathrm{TV}(\pi_P, \mu_Q) = \Theta(\mathrm{TV}(P, Q))$，但迫使每次前缀查询仅携带 $O(1/n)$ 的有效样本信息，从而将 Jiao et al. (2018) 的有限域极小化极大下界放大了 $n$ 倍。

4. 生产级推理引擎回放评分预言机（Replay Scoring Oracle）：根除系统性接口偏差

在实测 vLLM 与 SGLang 时，直接调用引擎自带的序列级 log-probability API 会产生毁灭性偏差：因为批量序列评分路径与自回归解码路径使用的 Kernel、调度及浮点规约不同，导致模型对自身刚采样出的序列在 37%（SGLang）和 0.6%（vLLM）的轨迹上给出 0 概率（即自评经验 KL 为 $+\infty$）。为解决这一工程难题，设计了带 Teacher Forcing 的回放评分预言机：在引擎自回归解码每一步，通过 Logit Processor 拦截并将输入强行注入为给定轨迹的真实 Token，同时精准截取 Logit Processor 生效前的原始 Top-$k$ 软最大化概率并完成重归一化。实测验证该机制使自身序列零概率错判率归零，单次相对标准差压低至 $\sigma \approx 3 \times 10^{-4}$。

实验关键数据¶

主实验¶

论文对相同权重参数（Qwen3-0.6B，bf16，top-$k=20$）在 vLLM (0.19.1) 与 SGLang (0.5.10.post1) 上的实际生成分布进行了全方位 TV 距离测量，并在单 GH200 (96GB HBM3e) 节点上验证了算法特性。

实验评估配置	序列长度 $n$	评测批大小 $B$	估计 TV 距离	支集失配成分占比	核心实验结论
基准采样条件（Reference）	500	512	0.586	49.5% (0.290)	相同权重跨推理引擎 TV 超过 0.58；近半数由 Top-$k$ 支集错配导致（KL 发散）
长文本评估（Long Sequence）	2000	512	0.677	70.9% (0.480)	随长度增长 TV 显著上升；KV 缓存压力导致 SGLang 自采轨迹出现 52% 支集错配
重评分批大小 $B=256$	500	256	0.363	35.8% (0.130)	调度切分改变并发批结构，vLLM 引入 $\sigma=0.019$ 预言机噪声
重评分批大小 $B=1024$	500	1024	0.423	37.8% (0.160)	批大小改变直接移动输出分布，证明分布距离高度依赖服务运行时形态
Top-$k=5$ 严截断	500	512	0.860	84.9% (0.730)	严苛截断导致尾部频繁移出阈值，支集失配支配整体统计距离
Top-$k=100$ 宽截断	500	512	0.450	13.3% (0.060)	扩大支集大幅削弱失配分量，平滑 Logit 差异占比升至 86.7%
代码任务 Prompt（Code）	500	512	0.370	18.9% (0.070)	高置信度内容（平均 Token 概率 0.70）跨引擎差异显著低于发散性文本

消融实验：多层蒙特卡洛方差缩减效率¶

在合成数据与真实引擎含噪重评分场景下，评测 Algorithm 3 的分层采样调度相对于单层（Single-level）网格搜索最优配置的效率优势（测试集采用前 64 条轨迹作为 Pilot 动态估计方差并确定调度，统计包含 Pilot 全部开销）。

评估数据集与场景	理论评估量 $\theta$	RMSE 比例 (MLMC / Single)	等精度下算力开销缩减比 (Peak Saving)	调度退化表现与原因说明
引擎对测 $n=2000$ (采样条件)	0.680 (单边)	0.80	4.4× (vs Pilot单层) / 1.3× (vs 理想事后单层)	噪声显著时 MLMC 大幅压低大重复次数下的全序列生成成本
引擎对测 $B=256$ 重评分	0.363	0.91	1.5× (vs Pilot单层)	成功滤除并发批调度引起的 $\sigma=0.019$ 相对高斯噪声
引擎对测 $B=1024$ 重评分	0.423	1.00	1.0× (退化至单层)	预言机接近完全确定性 ($\sigma \leq 0.006$)，Pilot 机制自适应退化至单层
合成测试 $\sigma=0.04$	0.388	0.38	7.0×	方差比率 $\rho_\ell < 0.02$，4层深层调度发挥极限缩减效益
仅样本访问 vs Logit 访问	0.388	—	~600× 样本数差距 (RMSE=0.05)	经验验证了定理 1 与定理 2 之间 $n K$ 因子在低概率 Token 上的悬殊鸿沟

关键发现¶

真实推理栈的实质性偏离：相同模型权重在 vLLM 与 SGLang 上的全序列 TV 距离高达 0.586。这意味着在超过一半的采样概率质量上两者的行为存在实质区分，且约 $50\%$ 的距离来自于支集不匹配（即一方生成的 Token 在另一方 Top-$k$ 中概率为 0），证明在量化和部署验收中盲目使用 KL 散度必然遭遇数值发散。
Prompt 差异的本质是置信度轮廓：跨 Prompt 评测显示故事生成（0.59）与代码生成（0.37）差异巨大。消融发现两者每 Token 偏差满足唯一定律 $\sigma(\Delta \mid \widehat{p}) \approx 0.09(1 - \widehat{p})$，代码的高确定性使 Token 远离截断边界，从而收缩了 TV 距离。
预言机噪声可被自适应平抑：通过先导试验（Pilot）计算相邻层级方差比率 $\rho_\ell = \mathrm{Var}[Y_\ell] / \mathrm{Var}[Z_\ell]$，能够在消耗算力前精准判定最优多层深度；当预言机确定性极高时无缝退化为单层，避免冗余开销。

亮点与洞察¶

将连续并发推理噪声转化为严格统计预言机：创新性地提出相对方差 $\sigma^2$ 模型，既严密刻画了 GPU 算子累加不确定性，又自然将黑盒采样（$\sigma^2 < K$）与白盒 Logit（$\sigma^2 = 0$）统一在同一理论坐标系下。
耦合增量打破全序列多步误差累积壁垒：MLMC 中最精妙的设计是让相邻层级强制共享同一条随机前缀路径 $X \sim M$，使得高阶近似误差直接在差分中对消，方差呈 $2^{-\ell}$ 几何衰减，从而完全消除了前人方法中因乘积累积而导致的 $\varepsilon^{-5}$ 阶复杂度惩罚。
揭露工业级评分接口隐形陷阱：发现并量化了主流推理引擎序列评分 API 的系统性代码路径偏差（高达 37% 的自判零概率），提出的回放评分机制为后续所有自回归模型黑盒/灰盒审计确立了金标准范式。

局限与展望¶

理论界的维度间隙仍未完全闭合：在前缀采样预言机下，理论上界为 $\widetilde{O}(n^2 K / \varepsilon^2)$，而信息论下界为 $\Omega(n K / (\varepsilon^2 \log K))$，两者之间仍存在一个序列长度因子 $n$ 的未决差距（即是否存在次二次方序列依赖的采样算法）。
回放评分对非白盒 API 的部署受限：回放机制依赖对解码步 Token 强制替换（Teacher Forcing）及原始 Logit 读取权限，在仅提供生成文本端点的纯黑盒商业商 API 上无法直接部署，退化至纯采样模式时开销极其巨大。
动态长度与可变终止符的处理扩展：当前理论与实验均基于固定长度 $n$ 截断，对带有不定长终止符（EOS）且提前结束的实际对话轨迹，需要引入停时理论与截断加权扩展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立自回归模型 TV 距离估计的完整复杂度理论，提出优雅的 MLMC 耦合估计框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成验证、五大开源模型算子校准、vLLM/SGLang 真实引擎全场景切片实测与消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，预言机抽象贴合系统工程实际，附录实测细节极其详实。
价值: ⭐⭐⭐⭐⭐ 为开源与商业 LLM 推理系统的一致性检验、量化无损性验证提供了坚实度量工具与基准范式。

评估数据集与场景	理论评估量 \(\theta\)	RMSE 比例 (MLMC / Single)	等精度下算力开销缩减比 (Peak Saving)	调度退化表现与原因说明
引擎对测 \(n=2000\) (采样条件)	0.680 (单边)	0.80	4.4× (vs Pilot单层) / 1.3× (vs 理想事后单层)	噪声显著时 MLMC 大幅压低大重复次数下的全序列生成成本
引擎对测 \(B=256\) 重评分	0.363	0.91	1.5× (vs Pilot单层)	成功滤除并发批调度引起的 \(\sigma=0.019\) 相对高斯噪声
引擎对测 \(B=1024\) 重评分	0.423	1.00	1.0× (退化至单层)	预言机接近完全确定性 (\(\sigma \leq 0.006\))，Pilot 机制自适应退化至单层
合成测试 \(\sigma=0.04\)	0.388	0.38	7.0×	方差比率 \(\rho_\ell < 0.02\)，4层深层调度发挥极限缩减效益
仅样本访问 vs Logit 访问	0.388	—	~600× 样本数差距 (RMSE=0.05)	经验验证了定理 1 与定理 2 之间 \(n K\) 因子在低概率 Token 上的悬殊鸿沟