Effective Context in Transformers: An Analysis of Fragmentation and Tokenization¶

会议: NeurIPS 2026
arXiv: 2605.13485
OpenReview: https://openreview.net/forum?id=GzkBhDQNKM
代码: https://github.com/Amiroo23jf/bytes-are-not-enough
领域: 预训练
关键词: 有限上下文预测, 序列分词, 碎片化表示, 马尔可夫源, 有效上下文

一句话总结¶

本文从有限上下文马尔可夫源的信息论视角出发，证明了将符号无损拆分为细粒度碎片会因相位不确定性产生不可消除的预测损失下界，而贪心分词则通过跨越更多源符号将短窗口扩展为更长的有效上下文，给出了基于源跨度下尾分布的损失可达性理论保证。

研究背景与动机¶

现代自回归语言模型在进行架构设计、参数缩放与数据工程之前，面临着一个更为底层的离散化表征选择：是将输入序列直接表示为原生字节、字符（如 ByT5、CANINE 等 token-free 模型），还是通过预先训练的分词词表（如 BPE、WordPiece、SentencePiece）将其聚合成子词 token。虽然这些不同粒度的表征方案在形式上都是对源文本的无损编码（lossless recoding），但在固定上下文窗口长度的自回归 Transformer 预测中，它们所暴露给注意力机制的历史有效信息量却存在本质差异。在实践中，token-free 模型往往需要大幅扩展窗口长度并配合层级下采样才能逼近子词模型的表现，而子词分词器为何能在更短的序列长度下实现更低的熵率预测，长期缺乏形式化的理论刻画。

这种表征权衡的核心矛盾在于：无损转换并不保证有限观测窗口下的信息等价。当把原始符号拆分成细粒度的子符号（如字节或比特）时，即便把模型物理窗口等比例拉长至标称覆盖相同数量的源符号，局部自回归步骤在预测当前碎片时，仍然会遭遇由于符号边界切分导致的上下文不对齐与内部相位缺失。相反，当利用贪心字典算法将多个源符号压缩为一个宏观 token 时，下一个 token 的边界划分又动态依赖于尚未生成的未来字符。这使得学界难以判定：字节级模型的性能劣势究竟源于神经网络容量不足与优化困难，还是存在某种内在的信息论损失壁垒；而字典分词器到底在何种统计条件下能够无损地将短 token 窗口转化为等效的长源上下文。

本文切入该问题的核心角度是构建受控的平稳有限阶马尔可夫源预测框架，将复杂的现实语料抽象为阶数明确的信息源，从而在理论上严格剥离模型容量与优化动态的干扰。核心 idea：将细粒度编码形式化为碎片化（fragmentation）并证明其由于相位隐蔽必然导致最优有限上下文对数损失严格劣于源级别预测，同时将贪心分词刻画为源跨度（source span）随机变量，证明 token 窗口能以高概率等效模拟长源上下文，并由源跨度的下尾失效概率与分词器压缩率严格控制超额损失界。

方法详解¶

整体框架¶

本文的方法分析围绕两种相反的序列无损重编码操作展开：将源符号 $Y$ 细化拆分为子符号块的碎片化映射 $\varphi: \mathcal{Y} \to \mathcal{X}^M$，以及将连续源符号贪心聚合成词表宏观单元的分词映射 $\Pi_{\mathcal{Z}}: \mathcal{Y}^* \to \mathcal{Z}^*$。通过在有限上下文预测器类 $\mathcal{Q}_w$ 上统一定义每源符号比特（bits per source symbol）的群体对数损失，系统量化表征变换对有限预测能力的影响。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["平稳k阶马尔可夫源序列 Y"] --> B["前向表征选择"]
    B -->|向下拆分 M 细粒度单元| C["碎片化过程 X = phi(Y)<br/>周期平稳与切分断界"]
    B -->|向上贪心聚合至词表 Z| D["贪心分词 Z = Pi_Z(Y)<br/>前缀树最长匹配解码"]
    C --> E["碎片化内在损失界分析<br/>窗口 Mw 条件熵与相位随机化"]
    D --> F["有效源跨度下尾分析<br/>S(Z) 统计量与转移预测器构造"]
    E --> G["固有超额损失定理<br/>上下文亏损项 + 相位互信息项"]
    F --> H["分词有效上下文保证<br/>典型覆盖度 (epsilon, w, ws) 与压缩率 R_Z 约束"]
    G --> I["理论统一：表征决定有限窗口可达损失极限"]
    H --> I

关键设计¶

1. 碎片化过程与周期平稳相位隐蔽建模：量化细粒度表示的内在损失赤字

为了探究字节或字符级建模劣势的本质，该设计将每个源字母 $\mathcal{Y}$ 经双射 $\varphi$ 映射为大小为 $M$ 的子符号块 $\mathcal{X}^M$。对于源级别平稳过程 $\{Y_i\}$，碎片化后的序列 $\{X_j\}$ 不再满足强平稳性，而是构成了周期为 $M$ 的周期平稳（cyclostationary）过程。因果 Transformer 或马尔可夫预测器在时刻 $j$ 预测下一个碎片 $X_j$ 时，其上下文窗口大小为 $Mw$（在标称长度上刚好对应 $w$ 个源符号）。然而，因果注意力无法获知当前预测点落在块内部的具体相位 $\theta \in \{1, \ldots, M\}$。通过引入与过程独立的均匀随机相位变量 $\Theta \sim \mathrm{Uniform}(\{1, \dots, M\})$，构造相位平均平稳过程 $X'_j = X_{j+\Theta}$，碎片化序列的最优预测对数损失被严格等价化为隐藏相位后的条件熵： $$\mathcal{L}_{X}^{\mathrm{frag}}(Mw) = M \cdot H(X_{\Theta} \mid X_{\Theta-Mw}^{\Theta-1}).$$ 将该损失与未碎片化源的最优损失 $\mathcal{L}_Y(w) = \sum_{\theta=1}^M H(X_\theta \mid X_{1-Mw}^{\theta-1})$ 进行链式法则差分比对，严格解耦出超额损失的两个非负正定分量： $$\mathcal{L}_{X}^{\mathrm{frag}}(Mw) - \mathcal{L}_Y(w) = \sum_{\theta=2}^M I(X_\theta; X_{1-Mw}^{\theta-Mw-1} \mid X_{\theta-Mw}^{\theta-1}) + M \cdot I(\Theta; X_\Theta \mid X_{\Theta-Mw}^{\Theta-1}).$$ 其中第一项为上下文亏损（context-deficit），刻画滑动窗口未对齐源边界时缺失的前缀信息；第二项为相位歧义（phase-ambiguity），刻画由于模型无法区分当前在预测第几个碎片而付出的互信息代价。即使物理窗口 $w > k$ 完全覆盖马尔可夫阶数导致上下文亏损归零，相位互信息项依然严格大于零，从信息论上证明了细粒度表示的性能瓶颈是表征固有的，而非优化或模型容量缺陷。

2. 贪心分词前缀树解析与序列概率转移构造：破解自回归边界依赖

与细化相反，分词器借助前缀闭合词表 $\mathcal{Z} \subset \mathcal{Y}^*$ 将长序列压缩为较短的 token 序列 $Z = \Pi_{\mathcal{Z}}(Y)$。难点在于：贪心分词的最长匹配规则会导致候选词在被更长词匹配时遭到抑制，使得 token 序列上的概率转移并不等同于源马尔可夫转移的简单重构。为了证明一个观察 $w$ 个 token 的预测器能够完全模拟观察 $w_s$ 个源符号的预测能力，设计了显式抵消贪心边界效应的转移预测器 $\tilde{q} \in \mathcal{Q}_w^{\mathcal{Z}}$： $$\tilde{q}(z_i \mid z_{i-w}^{i-1}) = \frac{q^{\mathrm{seq}}(\gamma(z_i) \mid H_i) \left(1 - \sum_{a \in \operatorname{Ext}_{\mathcal{Z}}(z_i)} q(a \mid \operatorname{suf}_{w_s}(H_i \gamma(z_i)))\right)}{1 - \sum_{a \in \operatorname{Ext}_{\mathcal{Z}}(z_{i-1})} q(a \mid \operatorname{suf}_{w_s}(H_i))},$$ 其中 $H_i = \Gamma_{\mathcal{Z}}(z_{i-w}^{i-1})$ 为展开的历史源字符串，$\operatorname{Ext}_{\mathcal{Z}}(z) = \{a \in \mathcal{Y} : za \in \mathcal{Z}\}$ 为当前 token 在词表中的单字符合法扩展集合。该式分母精确校正了“上一个 token $z_{i-1}$ 已经终止且未被继续延展”的后验条件，分子则将源预测器的累积序列似然 $q^{\mathrm{seq}}$ 与“当前 token $z_i$ 到此为止不再被进一步延长”的终止概率联合相乘。在沿整条贪心解析路径连乘时，各步的停机概率因子 $R_i / R_{i-1}$ 形成精确的伸缩抵消（telescoping cancellation），最终证明在最坏源跨度 $w_s(w) \geq k$ 条件下，token 级最优损失与源级损失满足 $\mathcal{L}_Z^{\mathrm{tok}}(w) \leq \mathcal{L}_Y(w_s)$，完全消除了渐进转换损耗。

3. 源跨度随机变量与典型下尾松弛界：确立有效上下文的实用诊断标准

在真实文本中，词表必然包含单字符等兜底短 token，导致最坏情况源跨度 $w_s(w) = \min S(z_1^w)$ 可能退化为极小值。为解决这一理论与实际的鸿沟，该设计定义了窗口源跨度随机变量 $S(Z_{i-w}^{i-1}) = |\Gamma_{\mathcal{Z}}(Z_{i-w}^{i-1})|$，并引入 $(\epsilon, w, w_s)$-典型分词器概念，仅要求窗口覆盖不足 $w_s$ 个源字符的失效率满足 $\Pr[S(Z_1^w) < w_s] \le \epsilon$。针对小概率失效事件，构造在正常状态下执行转移预测、在下尾不足状态下回退到词表均匀分布的混合预测器 $\tilde{q}_{\mathrm{typ}}$。结合分词器均匀编码压缩率 $R_{\mathcal{Z}} = \frac{\log_2 |\mathcal{Z}|}{\alpha_{\mathcal{Z}} \log_2 |\mathcal{Y}|}$（其中 $\alpha_{\mathcal{Z}} = \mathbb{E}[|\Gamma_{\mathcal{Z}}(Z_0)|]$ 为平均 token 长度），严格推导出了带有松弛惩罚的有限上下文可达性上界： $$\mathcal{L}_Z^{\mathrm{tok}}(w) \le \mathcal{L}_Y(w_s) + \epsilon(w, w_s) R_{\mathcal{Z}} \log_2 |\mathcal{Y}|.$$ 该界表明，评估分词器时不能只看平均压缩长度 $\alpha_{\mathcal{Z}}$，决定有效上下文倍率的关键在于源跨度下尾分布 $\epsilon(w, w_s)$ 的陡峭程度。只要失效率 $\epsilon$ 保持在极小区间，窗口长度为 $w$ 的 token 预测器就能以几乎忽略不计的松弛代价，达到甚至匹敌 $3\times \sim 5\times$ 物理长度的源上下文预测精度。

损失函数 / 训练策略¶

在受控验证实验中，所有 Transformer 统一采用标准因果 Pre-LN 结构，无偏置线性层，搭配正弦绝对位置编码与 GELU 激活函数，输入嵌入与输出投影层不进行权重绑定（no weight tying）。优化器选用 AdamW，权重衰减固定为 $0.01$，梯度裁剪阈值为 $1.0$。所有跨表示的对数损失均统一归一化为每源符号比特（bits per source symbol）：原始字符序列直接计算交叉熵损失，碎片化模型将 $M$ 个片段的累积交叉熵求和计算，而分词模型则将 token 级别的交叉熵损失除以实际经验压缩比 $|\mathcal{Y}|/|\mathcal{Z}|$，从而确保跨越不同表征粒度与词表大小时的公平横向评测。

实验关键数据¶

主实验¶

论文在两套主要基准上验证了理论结论：一是合成的平稳高阶马尔可夫源（阶数 $k=12$，狄利克雷分布浓度参数 $\alpha=0.4$），对比不同 BPE 词表规模 $V$ 与窗口长度 $W$ 下 Transformer 的收敛对数损失；二是在真实 WikiText-103 语料上测定真实分词器（BPE、WordPiece、SentencePiece、BERT、GPT-2）的源跨度尾部分布与有效上下文扩展因子。

表 1 汇总了合成马尔可夫源（$k=12$）上，不同分词词表规模在固定窗口与扩展窗口下的收敛平台损失（bits per source symbol），基线原始二进制表示（$V=2$）需要物理窗口达到 $W=12$ 方能逼近熵率极限（约 $0.460$ bits/sym）。

| 词表大小 $V$ | 经验压缩比 $|\mathcal{Y}|/|\mathcal{Z}|$ | 窗口 $W=4$ 损失 | 窗口 $W=6$ 损失 | 窗口 $W=12$ 损失 | 达到熵率所需最小窗口 | |---|---|---|---|---|---| | $V=2$（无分词原源） | 1.000 | 0.812 | 0.675 | 0.461 | $W=12$ | | $V=4$ | 1.590 | 0.724 | 0.548 | 0.460 | $W=8$ | | $V=6$ | 2.071 | 0.621 | 0.472 | 0.460 | $W=6$ | | $V=8$ | 2.546 | 0.535 | 0.461 | 0.460 | $W=5$ | | $V=10$ | 2.944 | 0.482 | 0.460 | 0.460 | $W=5$ | | $V=15$ | 3.614 | 0.463 | 0.460 | 0.460 | $W=4$ | | $V=20$ | 4.172 | 0.460 | 0.460 | 0.460 | $W=3$ |

消融实验¶

消融实验重点验证定理 3.1 对碎片化超额损失的精确解耦：在 $K=0$ 与 $K=2$ 的马尔可夫源下（每个源符号切分为 $M=3$ 个比特），分别对比源级别模型、碎片化模型，并解析测算上下文亏损与相位互信息理论值与实际经验超额损失的匹配度。

实验配置 $(k, M, W)$	经验碎片化总超额损失	理论相位歧义项 $M \cdot I(\Theta; X_\Theta \mid \dots)$	理论上下文亏损项 $\sum I(X_\theta; \dots)$	理论预测总损失差距	误差说明
$k=2, M=3, W=1$	0.642 bits/sym	0.285 bits/sym	0.354 bits/sym	0.639 bits/sym	窗口不足，双项均显著存在
$k=2, M=3, W=2$	0.381 bits/sym	0.284 bits/sym	0.098 bits/sym	0.382 bits/sym	窗口增大，亏损项急剧收缩
$k=2, M=3, W=3$ ($W>k$)	0.283 bits/sym	0.284 bits/sym	0.000 bits/sym	0.284 bits/sym	上下文亏损归零，相位赤字固化
$k=1, M=2, W=2$ ($W>k$)	0.191 bits/sym	0.192 bits/sym	0.000 bits/sym	0.192 bits/sym	验证不同切分块大小下的相位惩罚

关键发现¶

相位缺失是碎片化表征的绝对壁垒：当模型窗口 $W > k$ 时，尽管当前窗口覆盖了跨越该马尔可夫阶数所需全部源符号的碎片，经验损失依然比源级别模型高出整整 $0.283$ bits/sym；该数值与解析计算的相位互信息项完全重合（误差 $<0.003$），无可辩驳地证明了字节/字符级模型面临的性能劣势具有表征内在性。
分词词表规模对有效上下文的超线性增益：如表 1 所示，当词表从 $V=2$ 扩展至 $V=20$ 时，Transformer 仅需 $W=3$ 个 token 上下文即成功达到了原本需要 $W=12$ 个源符号才能触及的熵率平台，且在训练迭代步数上表现出更快的收敛速率。
真实分词器的典型有效跨度倍率约为 3 到 5 倍：在 WikiText-103 上，无论是在 $W=32, 64$ 还是 $W=128$ 窗口下，GPT-2、BERT、WordPiece 等分词器的松弛项 $\epsilon(w, w_s) R_{\mathcal{Z}} \log_2 |\mathcal{Y}|$ 在 $w_s \le 3.5w \sim 4.8w$ 的范围内几乎严格等于 0，直至超过 5 倍窗口后下尾失效率才陡增。

亮点与洞察¶

将语言模型表征粒度权衡抽象为严格的信息论猜想：首次通过周期平稳过程与相位随机化工具，把“Token-free 为什么难训、表现差”从模糊的工程经验推导上升为有严格数学证明的极限定理，确立了有限上下文下的内在表示损失。
破除对平均 Token 长度的单一迷信：揭示了决定下游预测能力的并非分词器的平均压缩比 $\alpha_{\mathcal{Z}}$，而是源跨度分布的下尾失效概率 $\epsilon(w, w_s)$；这为未来评估和训练新一代分词器提供了可直接量化计算的理论诊断工具。
具有普适性的序列转移预测器构造方法：论文在定理 4.1 中构造的贪心停机伸缩抵消机制极为巧妙，成功解决了因果序列模型在非独立同分布离散编码下概率匹配难以闭合的证明难题，可直接迁移至其它基于字典/压缩感知的表征学习分析中。

局限与展望¶

马尔可夫源与真实自然语言长程依赖的鸿沟：论文核心理论建立在具有明确截断阶数 $k$ 的平稳马尔可夫源上；而自然语言具有形式文法嵌套、分层主题及幂律长程依赖特性，在非有限阶隐马尔可夫或无界记忆过程中的有效上下文拓展仍待进一步泛化。
存在性证明与神经网络拟合能力的分离：定理 4.1 与 4.3 证明了在信息论层面存在一个 token 级预测器可达到目标损失界，但未形式化证明多层注意力网络通过梯度下降在有限样本下必然能够收敛到该理想转移分布。
未来的优化方向：理论直接启发了“面向有效上下文下尾优化”的新型分词算法设计——通过在贪心合并过程中惩罚极端短词的产生，最大化给定窗口 $w$ 下的高置信源跨度 $w_s$，从而在不盲目膨胀词表的同时最大化模型的有效注意力范围。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立有限上下文下碎片化与分词表征的信息论分析体系，理论闭环优雅深刻。
实验充分度: ⭐⭐⭐⭐☆ 理论证明极其完备，合成马尔可夫控制实验与真实语料分词诊断均严格契合推导，若有真实大规模自回归预训练验证则更佳。
写作质量: ⭐⭐⭐⭐⭐ 符号定义严谨，逻辑链路层层递进，定理证明构造精巧，图表信息表达高度清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型领域长期争论的 Token-free vs Tokenized 范式之争奠定了坚实的理论基石，对分词器设计具有深远指导意义。

实验配置 \((k, M, W)\)	经验碎片化总超额损失	理论相位歧义项 \(M \cdot I(\Theta; X_\Theta \mid \dots)\)	理论上下文亏损项 \(\sum I(X_\theta; \dots)\)	理论预测总损失差距	误差说明
\(k=2, M=3, W=1\)	0.642 bits/sym	0.285 bits/sym	0.354 bits/sym	0.639 bits/sym	窗口不足，双项均显著存在
\(k=2, M=3, W=2\)	0.381 bits/sym	0.284 bits/sym	0.098 bits/sym	0.382 bits/sym	窗口增大，亏损项急剧收缩
\(k=2, M=3, W=3\) (\(W>k\))	0.283 bits/sym	0.284 bits/sym	0.000 bits/sym	0.284 bits/sym	上下文亏损归零，相位赤字固化
\(k=1, M=2, W=2\) (\(W>k\))	0.191 bits/sym	0.192 bits/sym	0.000 bits/sym	0.192 bits/sym	验证不同切分块大小下的相位惩罚