A Theory of Time-Sensitive Language Generation: Sparse Hallucination Beats Mode Collapse¶
会议: NeurIPS 2026
arXiv: 2605.11302
OpenReview: https://openreview.net/forum?id=AAGGtvkuee
领域: 幻觉检测
关键词: 极限语言生成, 时间敏感语言生成, 稀疏幻觉, 模式坍塌, 生成密度下界
一句话总结¶
本文在极限语言生成（Language Generation in the Limit）博弈框架中首次引入“时效性（Timeliness）”截止期限约束，从理论上证明了任何最终一致（无幻觉）的生成器在任意截止期限下都必然发生模式坍塌（密度下界为 0），并提出了一种带稀疏投机探索的黑盒归约算法（SBG），通过允许渐近趋零的稀疏幻觉，在任意超线性截止期限下恢复了 \(1/2\) 的最优时效生成密度下界。
研究背景与动机¶
自 Kleinberg 与 Mullainathan 提出“极限语言生成（Language Generation in the Limit）”在线博弈框架以来，理论界一直在探讨语言生成中的两个核心诉求之间的内生张力：一是避免幻觉（Consistency），即生成器在有限步之后必须仅输出目标语言 \(K\) 内的合法字符串；二是生成广度（Breadth），即避免模式坍塌（Mode Collapse），使输出能够充分覆盖目标语言。早期针对强广度定义（如穷尽生成所有未观测字符串）的研究（如 Kalavasis et al.、Peale et al.）普遍得出了悲观的不可能性结论，似乎暗示一致性必然导致模式坍塌。直到近期 Kleinberg 与 Wei (2025) 引入了基于字符串全局偏好序（Preference Order，编码奥卡姆剃刀、短程序优先或高奖励证明等归纳偏置）的生成密度（Density）指标，才构造出既满足最终一致性、又能在极限下达到 \(1/2\) 最优前缀密度下界的生成算法。
然而，仅要求“在无穷远的时间极限下”覆盖高优先级的字符串忽视了一个关键的现实维度：时效性（Timeliness）。在实际代码合成、定理证明或对话生成中，归纳偏置中排名靠前（更简单、更合理）的候选字符串应当在博弈早期被优先生成，而不是被无限期推迟。如果为目标语言按偏好排序的第 \(j\) 个字符串设定一个截止期限 \(D(j)\)，要求只有在该期限前生成的字符串才计入有效覆盖，那么现有的最终一致算法是否依然有效？本文揭示了一个尖锐的核心矛盾：只要存在包含“零测度链（Measure-Zero Chain）”结构的语言族，任何最终一致（Eventually Consistent）的生成器为了在中间子语言上绝不犯错，都必须保持极端保守，从而在任意截止期限 \(D\) 下必然遭遇严重的模式坍塌（时效生成密度下界严格退化为 \(0\)）。即便放宽最终一致性、允许幻觉率随时间渐近趋零，在线性截止期限 \(D(i)=O(i)\) 下非平凡的时效密度下界依然不可能实现。
为了打破这一理论僵局，本文从“用受控的稀疏幻觉换取时效探索广度”的视角切入，系统刻画了截止期限增长速度与最小必要幻觉率之间的定量权衡边界。核心 idea：提出时间敏感语言生成的理论框架，证明受控的渐近趋零幻觉是克服截止期限下模式坍塌的充要条件，并设计分阶段投机黑盒生成算法（Speculative Blackbox Generation, SBG），在保持渐近一致性的同时将任意无期限高密度生成器无损转化为满足任意超线性截止期限的时效最优生成器。
方法详解¶
整体框架¶
本文针对对手（Adversary）与生成器（Generator）轮流行动的在线语言生成博弈展开研究。给定定义在可数无限字符串全集 \(U=(u_1, u_2, \dots)\)（按全局归纳偏置排序）上的可数语言集合 \(\mathcal{L}=(L^1, L^2, \dots)\)，对手选定未知目标语言 \(K \in \mathcal{L}\) 并按某种可容许序列 \(E=(e_1, e_2, \dots)\) 逐步揭示样本；生成器 \(\mathcal{A}\) 在每一轮 \(t\) 观测前缀 \(e_{1:t}\) 后，输出一个此前未被双方生成或展示过的新字符串 \(o_t \in U\)。本文的整体理论与算法框架包含三个紧密衔接的核心模块：首先建立时效生成博弈与零测度链幻觉壁垒，严格界定截止期限函数 \(D\)、元素级时效密度 \(\mu_{\mathrm{low}}\) 与累计幻觉率 \(H_{\mathcal{A}}(t)\)，并通过构造嵌套稀疏的零测度链证明幻觉率低于 \(\Omega(D^{-1}(t)/t)\) 时必然导致模式坍塌；其次设计元素级到前缀级密度的受控时间膨胀归约，将严苛的逐元素截止期判定松弛为前缀整体截止期判定；最后提出投机黑盒生成算法（SBG），将任意无期限最终一致黑盒生成器 \(\mathcal{B}\) 与稀疏随机候选语言投机采样相结合，并针对上密度（Upper Density）松弛场景进一步给出基于一致猜测的确定性生成算法（GCG）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["在线语言生成博弈输入<br/>语言族 L、偏好序 U、观测流 e_1:t"] --> B["时效生成博弈与零测度链幻觉壁垒<br/>界定截止期 D(j) 与最小必要幻觉率 ω(D^-1(t)/t)"]
B -->|超线性截止期可行配置 (D, H)| C["元素级到前缀级密度的受控时间膨胀归约<br/>构造慢速前缀期限 D_pfx 与耦合预算 H_pfx"]
C --> D["投机黑盒生成算法（SBG）<br/>以 1-δ_m 保留黑盒 B 输出，以 δ_m 均匀投机前 C(m) 个候选语言"]
B -->|线性截止期 D(i)=i 与上密度目标| E["基于一致猜测的确定性生成算法（GCG）<br/>追踪严格超集假设列表 G 并按阈值 α_m 推进"]
D --> F["时效密集语言输出序列 o_t<br/>下密度 μ_low = 1/2 且幻觉率 H(t) → 0"]
E --> F关键设计¶
1. 时效生成博弈与零测度链幻觉壁垒：形式化时效性与幻觉的定量下界
为了度量生成器能否在合理时间内优先输出高偏置字符串，本文将目标语言 \(K=(k_1, k_2, \dots)\)（按全局偏好序排列）的前 \(i\) 个元素记为前缀 \(K_i\)。给定单调不减的截止期限函数 \(D: \mathbb{N} \to \mathbb{N}\)，第 \(j\) 个目标字符串 \(k_j\) 必须在时间步 \(D(j)\) 之前被生成器输出才算有效命中。据此，生成器输出序列 \(\mathcal{A}(E)\) 在目标语言 \(K\) 前缀 \(K_i\) 上的元素级时效密度（Timely Element-Wise Density）与时刻 \(t\) 的期望幻觉率（Hallucination Rate）分别定义为：
生成器的核心目标是在最坏情况的语言 \(K \in \mathcal{L}\) 与枚举序列 \(E\) 下，最大化极限下密度 \(\mu_{\mathrm{low}}(\mathcal{A}, D) = \inf_{K, E} \liminf_{i \to \infty} \mu_i(\mathcal{A}(E), K, D)\)，同时保证幻觉率渐近消失（即 \(\lim_{t \to \infty} H_{\mathcal{A}}^{\mathcal{L}, K, E}(t) = 0\)）。为什么传统的最终一致生成器（即存在有限时刻 \(T\) 使得 \(t \ge T\) 后绝不输出 \(K\) 之外的元素）无法兼顾时效密度？本文提炼出了阻碍一致时效生成的本质代数结构——零测度链（Measure-Zero Chain，Definition 1）：即存在一列嵌套语言 \(L^1 \subseteq L^2 \subseteq \dots \subseteq L^\infty\)，满足 \(\bigcup_{j \ge 1} L^j = L^\infty\)，且每个中间语言 \(L^j\) 在极限语言 \(L^\infty\) 中的渐近下密度均为零（\(\liminf_{i \to \infty} \mu_i(L^j, L^\infty, \infty) = 0\)，例如将自然数划分为长度为 \(2^m\) 的二进块 \(B_m\)，令 \(L^j\) 仅完整包含前 \(j\) 个块而在后续每个块中只取首元素 \(2^m\)）。面对这一结构，对手可以分阶段构造 \(L^\infty\) 的枚举序列：在第 \(j\) 阶段直至足够大的时刻 \(t_j\)，对手展示的序列与中间语言 \(L^j\) 的枚举完全无法区分。如果生成器的幻觉率过低，满足 \(H_{\mathcal{A}}(t) = o(D^{-1}(t)/t)\)（其中 \(D^{-1}(t) := \min\{n \in \mathbb{N}: D(n) \ge t\}\) 为时刻 \(t\) 尚未过期的最小元素下标），那么为了不在真实目标恰好为 \(L^j\) 时违反幻觉上界，生成器在 \(t_j\) 之前至多只能输出 \(o(D^{-1}(t_j))\) 个落在 \(L^j\) 之外的试探性字符串；而留在 \(L^j\) 内部的输出在 \(L^\infty\) 的前缀 \(L^\infty_{i_j}\)（\(i_j = D^{-1}(t_j)\)）中占比又趋于 \(0\)。结合 Markov 不等式与第一 Borel-Cantelli 引理即可证明（Lemma 1 幻觉壁垒）：任何幻觉率低于 \(o(D^{-1}(t)/t)\) 的随机化算法都必然以概率 \(1\) 遭遇 \(\mu_{\mathrm{low}}(\mathcal{A}, D) = 0\)。这一引理直接推导出两条根本不可能性定理：一是任何最终一致生成器（等价于大时间后幻觉率为 0）在任意截止期限下下密度必为 \(0\)（Theorem 1）；二是即便允许渐近消失的幻觉，在线性截止期限 \(D(i)=O(i)\) 下（此时 \(D^{-1}(t)/t = \Omega(1)\)，与 \(H(t)=o(1)\) 矛盾）任何渐近无幻觉生成器的下密度也必为 \(0\)（Theorem 2）。由此严格确立了可行配置（Feasible Profile，Definition 2）的充要边界：截止期限 \(D\) 必须是超线性增长函数，且允许的消失幻觉率预算必须满足 \(D^{-1}(t)/t \ll H(t) \ll 1\)。
2. 元素级到前缀级密度的受控时间膨胀归约：解耦单元素截止期约束
直接针对每个元素 \(k_j\) 追踪其独立截止期 \(D(j)\) 会导致算法分析中不同元素的过期状态高度耦合。为此，本文引入了松弛的前缀级时效密度（Prefix-Wise Density，Definition 3）：
该指标不再苛求每个元素 \(k_j\)（\(j \le i\)）必须在各自的 \(D(j)\) 前生成，而是统计到前缀整体截止时刻 \(D(i)\) 为止，前缀 \(K_i\) 中共有多少比例的元素已被生成。为了证明优化 \(\mu_{\mathrm{low}}^{\mathrm{pfx}}\) 与优化原始 \(\mu_{\mathrm{low}}\) 完全等价（Lemma 2 / Lemma 5），本文设计了一种巧妙的受控时间膨胀（Time-Dilation）变换：给定任意超线性可行配置 \((D, H)\)，构造一个增长更平缓但依然超线性的辅助前缀截止函数 \(D_{\mathrm{pfx}}(i) := D(s(i))\)（其中 \(s(i) \to \infty\) 且 \(s(i) = o(i)\)）。在前缀 \(K_i\) 中，只有那些原始截止期早于 \(D_{\mathrm{pfx}}(i)\) 的元素（其最大下标记为 \(r(i) := \max\{j \le i : D(j) < D_{\mathrm{pfx}}(i)\}\)）在时刻 \(D_{\mathrm{pfx}}(i)\) 前被生成时可能已经错过自身截止期；而后半部分元素 \(\{k_{r(i)+1}, \dots, k_i\}\) 由于满足 \(D(j) \ge D_{\mathrm{pfx}}(i)\)，只要在 \(D_{\mathrm{pfx}}(i)\) 前生成就必然满足各自的元素级截止期。由于 \(D\) 单调，必有 \(r(i) \le s(i) = o(i)\)，这意味着前缀级密度转化为元素级密度时的损失项 \(r(i)/i\) 渐近为 \(0\)。与此同时，时间尺度的放慢会将时刻 \(t\) 的幻觉控制点推迟到下一个前缀截止时刻 \(D_{\mathrm{pfx}}(\tau(t))\)（其中 \(\tau(t) := \min\{n \in \mathbb{N} : D_{\mathrm{pfx}}(n) > t\}\)）。通过利用渐近控制引理（Lemma 6-8）对 \(s(i)\) 进行双向夹逼构造，使得 \(\tau(t)/t = o(H(t))\)，并配套定义一个收紧的辅助幻觉率 \(H_{\mathrm{pfx}}(t) := H(t)/\sqrt{\inf_{u \ge t} u H(u)/\tau(u)}\)，即可保证在慢时间尺度 \((D_{\mathrm{pfx}}, H_{\mathrm{pfx}})\) 下满足前缀级保證的任何生成器，在原始配置 \((D, H)\) 下自动达到相同的元素级时效密度 \(\rho\) 与幻觉率上界 \(H(t)\)。
3. 投机黑盒生成算法（SBG）：稀疏随机探索与一致黑盒的在线混合
在完成向前缀级密度的归约后，核心问题转化为：如何利用一个仅在无穷极限下保证密度 \(\mu_{\mathrm{low}}(\mathcal{B}, \infty) = \rho\) 的确定性最终一致黑盒生成器 \(\mathcal{B}\)（例如 Kleinberg & Wei 2025 提出的达到 \(\rho = 1/2\) 的最优一致生成器 \(\mathcal{B}_{\mathrm{KW}}\)），构造出满足任意可行配置 \((D, H)\) 的时效生成器 \(\mathcal{A}_{\mathcal{B}}\)（Lemma 3 / Algorithm 1）。如果单纯依赖黑盒 \(\mathcal{B}\)，对手可以利用零测度链将其输出长时间困在稀疏子语言中；反之，如果频繁盲目猜测未确证的候选语言，又会突破幻觉预算 \(H(t)\)。SBG 算法的核心机制是将时间轴按前缀截止期划分为连续的轮次区间（Epochs）\(m = 1, 2, \dots\)，第 \(m\) 个区间对应时间步 \(t \in [D(m-1)+1, D(m)]\)，并选取一个单调无界增长的候选窗口函数 \(C: \mathbb{N} \to \mathbb{N}\)，使其同时满足两个渐近稀疏约束：
在第 \(m\) 个 epoch 的每一轮 \(t\)，SBG 以 \(1 - \delta_m\) 的高概率直接采纳黑盒生成器 \(\mathcal{B}(e_{1:t})\) 的输出（确保继承黑盒在极限下的高密度主体贡献），并以极小概率 \(\delta_m\) 触发一次“投机探索（Speculation）”：从当前前 \(C(m)\) 个候选语言 \(\{L^1, \dots, L^{C(m)}\}\) 中均匀随机抽取一个下标 \(\mathrm{choice}_t \sim \mathrm{Unif}([C(m)])\)，直接输出该语言 \(L^{\mathrm{choice}_t}\) 中按全局偏好序排列的第一个尚未被双方输出或观测到的元素 \(\mathsf{NextUnused}(L^{\mathrm{choice}_t})\)。这一混合机制之所以能同时达成三个看似冲突的目标，原因在于：第一，在幻觉控制上，黑盒 \(\mathcal{B}\) 最终一致，只会产生有限次幻觉 \(N_{\mathcal{B}} < \infty\)，而到时刻 \(t\) 为止所有投机步的期望总数至多为 \(10 \sum_{m \le m(t)} C(m) = o(t H(t))\)，故总幻觉率严格受控于 \(H(t)\)；第二，在目标语言的及时探索上，因为 \(C(m) \to \infty\)，真实目标语言 \(K = L^{i^\star}\) 必然在某个有限阶段后进入候选池（\(C(m) \ge i^\star\)），此后每个时间步抽中真实语言 \(K\) 的概率恰好为 \(\delta_m / C(m) = 10 / (D(m) - D(m-1))\)，对整个第 \(m\) 个 epoch 求和后，无论区间多长，每个 epoch 都能稳定贡献期望为 \(10\) 个来自真实语言 \(K\) 的最靠前未使用元素！到时刻 \(D(i)\)（即前 \(i\) 个 epoch 结束）时，针对 \(K\) 的有效投机次数期望至少为 \(5i\)，由 Chernoff 界与 Borel-Cantelli 引理可知几乎必然至少命中 \(i\) 次；第三，在黑盒密度保持上，若黑盒与对手耗尽前缀 \(K_i\) 的时刻 \(t_i \ge D(i)\)，上述至少 \(i\) 次针对 \(K\) 的贪心投机已直接保证填满对手未占用的 \(( \rho - o(1) )i\) 个前缀元素；若 \(t_i < D(i)\)，由于后期轮次的投机丢弃率 \(\delta_m \to 0\)，利用针对自然滤流 \(\mathcal{F}_{t-1}\) 的鞅差序列与 Freedman 不等式（Theorem 7）可证，黑盒在 \(t_i\) 前产出的属于 \(K_i\) 的有效元素被投机步随机覆盖的比例仅为 \(o(i)\)。由此，SBG 以概率 \(1\) 实现了 \(\mu_{\mathrm{low}}(\mathcal{A}, D) \ge 1/2\) 的最优时效下密度（Theorem 3），且该黑盒归约无需感知底层观测生成机制，直接推广至部分枚举（Partial Enumeration）与有限污染（Finite Contamination）等广义数据模型（Theorem 9, Theorem 11）。
4. 基于一致猜测的确定性生成算法（GCG）：上密度松弛下的线性截止期突破
既然下密度（要求在所有足够长的前缀上均匀保持高密度）在最终一致性或线性截止期限下均告失败，如果将评估标准放宽为只要求在无穷多个孤立前缀下标上达到高密度的上密度（Upper Density，\(\mu_{\mathrm{up}}\)，Definition 4），最终一致生成器能否逆转战局？本文给出了肯定的回答，并设计了基于一致猜测的生成算法（Generation via Consistent Guessing, GCG，Algorithm 2），证明在最严苛的恒等线性截止期限 \(D(i) = i\) 下，确定性最终一致生成器即可达到 \(\mu_{\mathrm{up}}(\mathsf{GCG}, D) = 1/2\)（Theorem 4 / Theorem 12）。GCG 依托 Kleinberg & Wei (2025) 的确定性一致学习器 \(\mathsf{Accurate}\)：该学习器在每一步给出猜测语言 \(\hat{L}^t\)，保证有限时刻 \(T\) 后 \(\hat{L}^t \subseteq K\)（不再产生幻觉），且无穷多次精确命中 \(\hat{L}^t = K\)。GCG 维护一个候选语言队列 \(G = (g_1, g_2, \dots)\) 与当前阶段指针 \(m\)：每当检测到猜测语言发生严格超集扩张（\(\hat{L}^t \supsetneq \hat{L}^{t-1}\)）时，就将 \(\hat{L}^t\) 追加进队列 \(G\)；在每一轮生成时，GCG 从当前锁定的候选语言 \(g_m\) 中贪心输出第一个既未过期（在 \(D(i)=i\) 下尚未迟到）也未被双方使用过的元素 \(\mathsf{OnTimeUnused}(g_m)\)，并持续锁定 \(g_m\) 直到其在当前时刻的经验时效密度达到渐近逼近 \(1/2\) 的阈值 \(\alpha_m = 1/2 - 2^{-m}\) 后，才将指针推进至 \(m \leftarrow m+1\)。由于在进入阶段 \(m\) 的时刻 \(T_m\) 之前，最多只有前 \(T_m\) 个元素因超时失效、且对手最多抢占了 \(T_m\) 个后续元素，因此在 \(t > 2T_m\) 后，生成器与对手在剩余至少 \(t - 2T_m\) 个可用元素上轮流博弈，至少能按时斩获 \(\lfloor (t - 2T_m)/2 \rfloor\) 个有效元素，保证每个阶段 \(m\) 都必在有限时间内跨越阈值 \(\alpha_m < 1/2\) 并终止；而真实语言 \(K\) 在队列 \(G\) 中要么最终永久驻留、要么无穷多次出现，从而沿着命中 \(K\) 的阶段子列 \(\{m_j\}\) 实现了 \(\limsup_{i \to \infty} \mu_i = 1/2\)。
实验关键数据¶
本文是一篇纯理论计算机科学/统计学习理论论文，不包含经验数据集上的神经网络训练实验。其核心贡献体现为对不同一致性约束、截止期限函数 \(D(i)\)、密度评估指标（下密度 \(\mu_{\mathrm{low}}\) vs. 上密度 \(\mu_{\mathrm{up}}\)）以及不同对抗观测数据模型下的紧致可实现性边界（Tight Achievability & Impossibility Bounds）的完整数学刻画。以下两张表格系统汇总了本文证明的核心理论结果与跨数据模型泛化保证。
主实验¶
表 1：不同一致性约束、截止期限与密度指标下的生成密度理论界对比（全枚举模型 \(\mathfrak{D}_{\mathrm{enum}}\)）
| 生成器一致性类别 | 截止期限函数 \(D(i)\) | 幻觉率上界 \(H_{\mathcal{A}}(t)\) | 评估指标 | 可达密度界 | 对应定理与核心机制说明 |
|---|---|---|---|---|---|
| 最终一致生成器 ([16]) | 无期限 \(D(i) = \infty\) | 有限步后为 \(0\) | 下密度 \(\mu_{\mathrm{low}}\) | \(0\) | 经典一致生成可实现，但发生严重模式坍塌 |
| 最终一致最优广度生成器 ([17, 18]) | 无期限 \(D(i) = \infty\) | 有限步后为 \(0\) | 下密度 \(\mu_{\mathrm{low}}\) | \(1/2\)（最优） | 仅在无穷时间极限下按偏好序达到最优密度 |
| 任意最终一致生成器（本文） | 任意截止期 \(D: \mathbb{N} \to \mathbb{N}\) | 有限步后为 \(0\) | 下密度 \(\mu_{\mathrm{low}}\) | \(0\)（不可能） | Theorem 1：受困于零测度链，时效下密度必坍塌 |
| 任意亚阈值稀疏幻觉生成器（本文） | 任意单调不减 \(D(i)\) | \(o\big(D^{-1}(t)/t\big)\) | 下密度 \(\mu_{\mathrm{low}}\) | \(0\)（不可能） | Lemma 1（幻觉壁垒）：探索不足以跳出稀疏中间语言 |
| 任意渐近无幻觉生成器（本文） | 线性截止期 \(D(i) = O(i)\) | \(o(1)\) | 下密度 \(\mu_{\mathrm{low}}\) | \(0\)（不可能） | Theorem 2：线性期限要求 \(\Omega(1)\) 幻觉率，与 \(o(1)\) 矛盾 |
| SBG 随机化生成器（本文） | 任意超线性 \(D(i) = \omega(i)\) | \(\omega\big(D^{-1}(t)/t\big) \le H(t) \ll 1\) | 下密度 \(\mu_{\mathrm{low}}\) | \(1/2\)（最优） | Theorem 3：通过稀疏投机探索恢复最优时效下密度 |
| GCG 确定性一致生成器（本文） | 恒等线性期限 \(D(i) = i\) | 有限步后为 \(0\)（最终一致） | 上密度 \(\mu_{\mathrm{up}}\) | \(1/2\)（最优） | Theorem 4：首次建立 \(\mu_{\mathrm{up}}\) 与 \(\mu_{\mathrm{low}}\) 的定量分离 |
消融实验¶
表 2：黑盒归约框架（Lemma 2 + Lemma 3）在不同对抗观测数据模型与关键机制组件下的性能剖析
| 数据模型 / 机制配置 | 观测流假设 \(\mathfrak{D}(K)\) | 底层一致黑盒 \(\mathcal{B}\) 及其无期限密度 \(\rho\) | 归约后时效下密度 \(\mu_{\mathrm{low}}(\mathcal{A}_{\mathcal{B}}, D)\) | 幻觉率保证 (\(t \to \infty\)) | 理论依据与机制作用分析 |
|---|---|---|---|---|---|
| Full SBG（标准全枚举模型） | \(\mathfrak{D}_{\mathrm{enum}}\)：全部来自 \(K\) 且枚举全部 \(K\) | \(\mathcal{B}_{\mathrm{KW}}\) ([18])，\(\rho = 1/2\) | \(1/2\)（几乎必然） | \(\le H(t) = o(1)\) | Theorem 3：生成器与对手输出并集的下密度达到 \(1\) |
| 广义模型 1：部分枚举模型 | \(\mathfrak{D}_{\mathrm{part}, \alpha}\)：仅枚举 \(K\) 中下密度 \(\ge \alpha\) 的子集 | \(\mathcal{B}_{\mathrm{KW}}\) ([18])，\(\rho \ge \alpha/2\) | \(\ge \alpha/2\)（几乎必然） | \(\le H(t) = o(1)\) | Theorem 9：归约与数据模型无关，无缝迁移部分观测界 |
| 广义模型 2：有限污染模型 | \(\mathfrak{D}_{\mathrm{fin\text{-}cont}}\)：含有限个假阳性与有限个永久缺失样本 | \(\mathcal{B}_{\mathrm{MVYZ}}\) ([20]+[18])，\(\rho \ge 1/2\) | \(\ge 1/2\)（几乎必然） | \(\le H(t) = o(1)\) | Theorem 11：对有限对抗噪声与缺失具备完全鲁棒性 |
| w/o 稀疏投机步（令 \(\delta_m \equiv 0\)） | \(\mathfrak{D}_{\mathrm{enum}}\)（零测度链 \(\mathcal{L}_{\mathrm{chain}}\)） | 任意最终一致黑盒 \(\mathcal{B}\)，\(\rho = 1/2\) | 退化为 \(0\) | 有限步后为 \(0\) | 退化为纯最终一致生成器，触发 Theorem 1 无法通过时效检验 |
| w/o 慢速时间膨胀（令 \(D_{\mathrm{pfx}} = D\)） | \(\mathfrak{D}_{\mathrm{enum}}\) | 满足前缀密度 \(\mu_{\mathrm{low}}^{\mathrm{pfx}} \ge \rho\) 的生成器 | 无法保证元素级 \(\mu_{\mathrm{low}} \ge \rho\) | \(\le H(t)\) | 缺少 Lemma 2 的 \(D_{\mathrm{pfx}}(i)=D(s(i))\) 缓冲，\(r(i)/i\) 损失不可忽略 |
| 固定幂律超线性期限特例 | \(D(i) = i^{1+\alpha}\)（\(\alpha > 0\)） | \(\mathcal{B}_{\mathrm{KW}}\)，\(\rho = 1/2\)，目标 \(K = L^s\) | \(1/2\)（几乎必然） | \(\omega(t^{-\frac{\alpha}{1+\alpha}})\) | Conjecture 1：开始对 \(L^s\) 投机的延迟约为 \(s^{1/\alpha}\)，平衡点为黄金分割比 \(\varphi\) |
关键发现¶
- 稀疏幻觉是时效广度探索的必要代价：Lemma 1 与 Theorem 3 共同锁定了一个精确的相变阈值 \(D^{-1}(t)/t\)。当允许的幻觉率低于 \(o(D^{-1}(t)/t)\) 时，下密度恒为 \(0\)；一旦允许幻觉率略微超过该阈值（即 \(H(t) = \omega(D^{-1}(t)/t)\)），可实现的时效下密度直接从 \(0\) 跃迁至理论上限 \(1/2\)。而且截止期限 \(D(t)\) 增长得越快，反函数 \(D^{-1}(t)\) 增长越慢，所需的最小探索幻觉率就越低。
- 候选池扩张速度 \(C(m)\) 主导了“冷启动延迟”与“幻觉预算”的权衡：在 SBG 算法中，只有当 epoch 下标 \(m\) 增长到使 \(C(m) \ge i^\star\) 时，真实目标语言 \(K = L^{i^\star}\) 才会被纳入投机采样池。在此之前的早期阶段，算法完全依赖黑盒 \(\mathcal{B}\)；放宽截止期函数或提高幻觉预算允许 \(C(m)\) 更快增长，从而显著缩短对排名靠后的目标语言 \(L^{i^\star}\) 启动有效时效覆盖的等待时间。
- 下密度与上密度在时效约束下存在本质鸿沟：在无截止期限（\(D(i)=\infty\)）时，最终一致生成器在 \(\mu_{\mathrm{low}}\) 和 \(\mu_{\mathrm{up}}\) 下都能达到 \(1/2\)；但一旦施加哪怕最严苛的线性截止期限 \(D(i)=i\)，最终一致生成器的 \(\mu_{\mathrm{low}}\) 彻底归零，而 \(\mu_{\mathrm{up}}\) 却依然能通过 GCG 算法维持在 \(1/2\)。这首次在语言生成理论中严格证明了均匀前缀覆盖与间歇性前缀覆盖之间的定量分离。
亮点与洞察¶
- 颠覆性地为“幻觉的建设性作用”提供严格数学背书：以往理论工作大多将幻觉视为需要彻底消除的缺陷（追求 Eventual Consistency）或无可奈何的统计副产物；本文通过“零测度链（Measure-Zero Chain）”精辟地揭示出，在存在归纳偏置和时间窗口压力的生成博弈中，彻底消灭幻觉必然迫使模型陷入极端保守的模式坍塌，而受控的稀疏幻觉（Sparse Hallucination）本质上扮演了在线强化学习中“探索（Exploration）”的角色。
- 双层黑盒归约（Time-Dilation + Speculative Mixing）的模块化设计极其优雅：作者没有从零重新设计复杂的在线语言识别与生成耦合算法，而是先通过受控时间膨胀（Lemma 2）把棘手的逐元素截止期归约为前缀整体截止期，再通过按 epoch 衰减的 Bernoulli 投机采样（Algorithm 1）将任意无期限一致生成器黑盒转化为时效生成器。这种解耦使得正结果天然具备数据模型无关性（Data-Model Agnostic），一行证明即可平推到部分枚举和对抗污染场景。
- 连接语言级时效与字符串级时效的“黄金分割率猜想（Golden-Ratio Barrier）”：在讨论部分，作者敏锐地指出当截止期为 \(D(i)=i^{1+\alpha}\) 时，目标语言 \(K=L^s\) 被纳入投机池的启动延迟约为 \(s^{1/\alpha}\)；若同时要求字符串级截止期指数 \(1+\alpha\) 与语言级启动延迟指数 \(1/\alpha\) 达到对称平衡（即 \(1+\alpha = 1/\alpha \iff \alpha^2 + \alpha = 1\)），最优指数恰好收敛到黄金分割比 \(\varphi = (1+\sqrt{5})/2\)，为后续双层归纳偏置理论开辟了极具美感的研究方向。
局限与展望¶
- 完全依赖已知且固定的全局可数枚举结构：本文沿用了极限语言生成的经典假设，要求字符串全集 \(U\) 的偏好序以及候选语言集合 \(\mathcal{L}=(L^1, L^2, \dots)\) 的枚举序对生成器完全已知且无计算复杂度限制。在实际大语言模型中，输出空间隐式编码在参数分布中，无法显式维护候选语言列表并执行精确的 \(\mathsf{NextUnused}(L^{\mathrm{choice}_t})\) 查询。
- 仅考虑了字符串级时效，渐近常数隐藏了指数级冷启动开销：正如作者在 Section 5 中坦承的，定理 3 的下密度保证是在 \(i \to \infty\) 的渐近极限下成立的，其证明中要求候选池大小满足 \(C(m) = o(t H(t))\) 且 \(C(m) = o(D(m)-D(m-1))\)；当目标语言 \(K = L^s\) 在语言族中的排名 \(s\) 较大，或截止期仅略微超线性（如 \(D(i) = i \log i\)）时，等待 \(C(m) \ge s\) 所需的预热步数可能极其庞大。
- 未来可向概率分布距离与双层偏好序扩展：后续工作可进一步探索如何同时针对语言假设空间 \(\mathcal{L}\) 的先验偏好序和字符串空间 \(U\) 的偏好序建立联合时效密度界（验证 Conjecture 1 的黄金分割律），或将确定性集合归属关系松弛为分布意义下的近似生成与奖励模型阈值判定。
相关工作与启发¶
- vs Kleinberg & Mullainathan (NeurIPS 2024, [16])：他们开创了极限语言生成（Language Generation in the Limit）博弈框架，证明了对任意可数语言族均存在最终一致的生成器，但其构造靠不断收缩到极小安全子集来避开幻觉，导致严重的模式坍塌；本文在此框架上引入了偏好序截止期限 \(D(i)\)，从反面证明了纯粹追求他们定义的最终一致性在时效约束下必然导致零密度坍塌。
- vs Kleinberg & Wei (FOCS 2025 [17] & STOC 2026 [18])：他们引入了基于全局偏好序的前缀密度指标（对应本文无截止期限 \(D(i)=\infty\) 的退化情形），并构造出达到 \(1/2\) 最优下密度的最终一致生成器 \(\mathcal{B}_{\mathrm{KW}}\)；本文证明了他们的算法在任意有限截止期下均失效（下密度为 \(0\)），同时将 \(\mathcal{B}_{\mathrm{KW}}\) 作为核心黑盒嵌入本文的 SBG 投机算法中，在允许稀疏幻觉的前提下将其 \(1/2\) 密度保证成功提升至任意超线性截止期限。
- vs Kalavasis et al. (STOC 2025 [13] & ALT 2026 [14]) / Kalai & Vempala (STOC 2024 [12])：这些工作从穷尽生成广度或统计校准角度论证了幻觉与模式坍塌之间的不可兼得性；本文则在更贴近实际归纳偏置的“偏好序时效覆盖”设定下给出了精确的定量折中曲线 \(\omega(D^{-1}(t)/t) \le H(t) \ll 1\)，不仅证明幻觉不可避免，更建设性地展示了极稀疏的渐近消失幻觉就足以彻底消除模式坍塌。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 在极限语言生成框架中首次引入“时效性（截止期限）”维度，通过零测度链与稀疏投机归约深刻揭示了幻觉作为探索机制的必要性。
- 实验充分度: ⭐⭐⭐⭐ 纯理论论文，无数值或模型实验，但不可行性下界（Theorem 1-2, Lemma 1）与可达性上界（Theorem 3-4）严丝合缝，且拓展到了部分枚举与有限污染模型。
- 写作质量: ⭐⭐⭐⭐⭐ 定义清晰严谨，从直观动机、证明梗概（Proof Sketch）到附录完整鞅集中不等式推导层次分明，可读性极佳。
- 价值: ⭐⭐⭐⭐⭐ 为理解大语言模型中“抗幻觉对齐导致多样性坍塌（Mode Collapse）”以及“适度投机采样恢复生成广度”提供了坚实的理论基石。