Information from coincidences¶

会议: NeurIPS 2026
arXiv: 2606.25042
代码: https://github.com/akshayba/coincidences
领域: 学习理论
关键词: 混合巧合恒等式, Rényi散度, 最大熵, 局部典型性, 多先验信息论

一句话总结¶

本文证明了一个单一的非渐近代数“混合巧合恒等式”（Mixed Coincidence Identity），将玻尔兹曼巧合计数、指数族配分函数、最大熵变分原理与 KL 质心优化统一在同一算子下，为集中不等式、多假设检验与 PAC-Bayes 界提供了统一代数骨架，并在大语言模型词表与基因组序列分析中得到了实证验证。

研究背景与动机¶

信息论的核心大厦长期建立在若干经典奠基性定理之上——香农编码定理确定了熵作为最优编码长度，Sanov 定理给出了经验分布的大偏差集中速率，Chernoff 与 Hoeffding 界刻画了二元假设检验的渐近误差指数，而 Donsker-Varadhan 变分原理则构成了统计学习与 PAC-Bayes 测度变换的底层基石。尽管这些结果在概念上紧密交织，但传统教材与文献往往通过截然不同的数学工具分别推导：有的依赖多项式组合与 Stirling 近似，有的依赖凸对偶与 Legendre 变换，还有的依赖测度集中与鞍点逼近。这种工具割裂使得多分辨率观测、非独立同分布数据以及多个异构先验融合时的理论刻画变得异常零散。

在现代机器学习与跨模态推理任务中，观测者在特定尺度下往往同时面对多个局部先验或预测源，例如大语言模型的不同上下文提示词、多模态特征输入或多窗口局部平滑特征。此时产生了一个根本性的概率推断疑问：在有限分辨率给定的局部先验信息约束下，该尺度所对应的“典型”概率分布应该是什么形态？传统单先验典型集概念无法直接处理多先验几何冲突，而经验分布在多先验约束下的条件收敛性也缺少显式、非渐近且能直接计算的有限样本闭式刻画。

为了消除这层理论割裂，本文从最基本的“玻尔兹曼巧合计数”物理直觉出发，探讨多个独立抽样重合于同一状态的交叠质量。核心 idea：证明统一的代数混合巧合恒等式，将对数混合计数 $\log \mathbb{E}_{\nu}[\prod_{i=1}^W \pi_i^{\alpha_i}(x)]$ 同时等同于玻尔兹曼巧合权重、指数族归一化子、对数损失约束下的最大熵解以及 KL 质心极值，从而将集中性、假设检验、测度变换与投影几何收敛为单一非渐近代数算子的特例。

方法详解¶

整体框架¶

本文构建的方法体系围绕混合配分函数 $Z(\boldsymbol{\alpha})$ 展开，将多源局部先验在数据空间中的交叠概率转化为统计物理与凸分析中的自由能形式。整个理论管道首先由多先验对数损失约束定义局部相容线性族，然后通过变分拉格朗日求解出几何混合（乘积幂分布）典型态；接着，借助代数展开确立混合巧合恒等式并赋予其四种等价解释；最终，该算子向下游实例化为多路假设检验的巧合散度 $\mathsf{C}_{\boldsymbol{\alpha}}$、多先验 PAC-Bayes 罚项以及大字母表词表分布评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多源局部先验集合 {π_i} 与指数向量 α"] --> B["构建对数损失约束线性族与几何混合平衡分布"]
    B --> C["混合巧合恒等式：变分等价与自由能分解"]
    C --> D["四大支柱特化：Sanov分解 / 巧合散度 / 测度变换 / 巧合阈值"]
    D --> E["大字母表高效计算：Hölder确定性双边界与轨迹特征"]

关键设计¶

1. 混合巧合恒等式：变分极值与自由能统一分解 针对传统信息论中各类熵、散度与配分函数定义割裂的痛点，该设计提出了一个适用于任意实指数向量 $\boldsymbol{\alpha} = (\alpha_1, \dots, \alpha_W) \in \mathbb{R}^W$ 与未归一化可测因子 $\pi_1, \dots, \pi_W \geq 0$ 的非渐近精确恒等式。定义混合配分函数 $Z(\boldsymbol{\alpha}) := \mathbb{E}_{x \sim \nu}[\prod_{i=1}^W \pi_i^{\alpha_i}(x)]$ 以及几何混合（对数线性池）密度 $p^{\star}_{\boldsymbol{\alpha}}(x) := \frac{1}{Z(\boldsymbol{\alpha})}\prod_{i=1}^W \pi_i^{\alpha_i}(x)$。对于任意合法概率密度 $p$，恒等式严格成立： $$-\log Z(\boldsymbol{\alpha}) + \text{D}(p \| p^{\star}_{\boldsymbol{\alpha}}) = \sum_{i=1}^W \alpha_i \text{D}(p \| \pi_i) + \Big(\sum_{i=1}^W \alpha_i - 1\Big)\text{H}(p)$$ 该恒等式立刻锁定了 $-\log Z(\boldsymbol{\alpha})$ 在 $p = p^{\star}_{\boldsymbol{\alpha}}$ 处取得下确界，并将四种核心视角融于一体：① 玻尔兹曼巧合概率：各先验以重数 $\alpha_i$ 独立抽取并发生碰撞的单轮总概率；② 指数族归一化子：充分统计量为 $-\log \pi_i(x)$ 的自然对数配分函数；③ 最大熵变分值：在交叉熵约束 $\text{H}(p, \pi_i) \leq \beta_i$ 下的非约束对偶拉格朗日最优值；④ KL 质心：当 $\boldsymbol{\alpha}$ 位于概率单形 $\Delta_W$ 时，退化为经典对数意见池（log-linear pool），其值为最小化加权 KL 散度之和 $\min_p \sum_i \alpha_i \text{D}(p \| \pi_i)$。这一统一结构摆脱了渐近极限，且支持未归一化测度与连续测度索引。

2. 多路巧合散度与假设检验最优误差指数 经典 Chernoff 信息仅定义于二元假设检验，难以自然推广至多分布几何。基于混合恒等式，本文在概率单形 $\boldsymbol{\alpha} \in \Delta_W$ 上定义多路巧合散度 $\mathsf{C}_{\boldsymbol{\alpha}}(\pi_1, \dots, \pi_W) := -\log Z(\boldsymbol{\alpha})$。该散度严格满足非负性、重排不变性、先验联合凸性、指数凹性、马尔可夫核下的数据处理不等式（DPI）以及独立乘积下的张量化加性。通过将 $\mathsf{C}_{\boldsymbol{\alpha}}$ 在单形上优化，揭示了两种互补的极值刻画： $$\text{全单形最大化（逆向KL半径）:}\quad \max_{\boldsymbol{\alpha} \in \Delta_W} \mathsf{C}_{\boldsymbol{\alpha}}(\pi_{1:W}) = \min_p \max_{i \in [W]} \text{D}(p \| \pi_i)$$ $$\text{单形棱边限制（多路MAP误差指数）:}\quad \lim_{n \to \infty} -\frac{1}{n} \log P_{e,n}^{(W)} = \min_{i \neq j} \max_{\boldsymbol{\alpha} \in \Delta_{ij}} \mathsf{C}_{\boldsymbol{\alpha}}(\pi_{1:W}) = \min_{i \neq j} \max_{s \in [0,1]} \mathsf{C}_s(\pi_i, \pi_j)$$ 全单形最优解对应寻找一个与所有先验在正向 KL 上同时最近的单中心分布（覆盖问题）；而单形棱边限制则精确退化为由最难区分的一对假设所决定的 Bayes 误差指数，建立了多假设检验几何与单形拓扑骨架的严格对应。

3. 多先验 PAC-Bayes 惩罚与精细 Sanov 分解 在多任务学习、领域自适应与元学习中，学习器通常具备多个参考先验，但传统 PAC-Bayes 泛化界仅支持单先验 KL 惩罚 $\text{D}(\rho \| \pi)$。本文利用混合巧合恒等式直接推导出了多先验 PAC-Bayes 显式重分解： $$\text{D}(\rho \| p^{\star}_{\boldsymbol{\alpha}}) = \sum_{w=1}^W \alpha_w \text{D}(\rho \| \pi_w) - \mathsf{C}_{\boldsymbol{\alpha}}(\pi_{1:W})$$ 该式表明，当使用几何池化先验 $p^{\star}_{\boldsymbol{\alpha}}$ 替代单一先验时，泛化惩罚项等于后验与各独立源先验的加权散度，减去一个显式的“巧合奖励”（Coincidence Bonus）$\mathsf{C}_{\boldsymbol{\alpha}}$。若多先验在假设空间中几何交叠高度一致，$\mathsf{C}_{\boldsymbol{\alpha}}$ 显著为正，能直接削减复杂度惩罚。此外，在线性约束族 $\mathcal{A}$ 上，利用投影的正交性给出了有限样本下的精细 Sanov 恒等式：$-\log \Pr_{P_0^n}(\widehat{P}_n \in \mathcal{A}) = n \text{D}(P^{\star}_{\mathcal{A}} \| P_0) + \text{D}(\mu_{\mathcal{A}} \| P^{\star n}_{\mathcal{A}})$，将经验分布违约概率分解为主导指数与条件相关性损失。

4. 确定性 Hölder 双边界与大字母表高效算法 现代大语言模型的输出词表通常规模庞大（$|\mathcal{V}| \approx 5 \times 10^4$），直接计算所有项或采样逼近容易产生数值下溢或高方差。为了在 $O(WV)$ 时间内严格认证 $Z(\boldsymbol{\alpha})$，本文利用广义 Hölder 不等式构建了确定性双边截断界。选取高概率前缀集合 $S \subset \mathcal{V}$（如各先验 Top-$K$ 词元的并集），记 $Z_S(\boldsymbol{\alpha}) := \sum_{v \in S} \prod_i p_i^{\alpha_i}(v)$，则尾部误差受到严格控制： $$Z(\boldsymbol{\alpha}) - Z_S(\boldsymbol{\alpha}) \leq \prod_{i=1}^W \left( \sum_{v \notin S} p_i(v)^{\bar{\alpha}} \right)^{\alpha_i / \bar{\alpha}}, \quad \bar{\alpha} = \sum_{i=1}^W \alpha_i$$ 该界给出完全确定性的区间 $[Z_{\mathrm{lo}}(K), Z_{\mathrm{hi}}(K)]$。在真实语言模型表征下，由于激活值方差巨大使得传统坐标采样软极大估计器失效退化，而该确定性截断界能在 $K \leq 20$ 时迅速将相对误差压缩至 $10^{-6}$ 以下，并在 $K=150$ 时达到机器精度，实现了对超大字母表配分函数的高效精准求解。

实验关键数据¶

主实验¶

论文在两类结构化大字母表场景开展了实验评测：一是 GPT-2 语言模型在不同提示词邻域下的下一词元分布（词表大小 $|\mathcal{V}| = 50,257$），分为相关邻域（同义复述）与多样邻域（跨主题模板）；二是人类基因组 hg38 药物基因位点上的调控区段检测（$k$-mer 序列结合 ENCODE cCRE 注释，联合词表大小 $|\mathcal{V}_{\text{joint}}| = 20,480$）。

在 hg38/ENCODE 药物基因位点基准测试中，评估了不同局部先验组合下的混合配分几何量与边界检测能力，核心数据如下：

评估指标	稳定区段 (Stable)	边界区段 (Boundary)	多样区段 (Diverse)	物理/理论含义
序列单形散度 $\Phi_{\text{seq}}$	0.169	0.173	0.687	序列先验之间的不一致程度
联合单形散度 $\Phi_{\text{joint}}$	0.199	0.241	0.978	序列与调控注释融合后的发散度
算术-几何池化间隙 $J(\bar{p}) - \Phi$ (seq)	0.054	0.056	0.123	几何混合相对于算术平均的典型聚焦收益
算术-几何池化间隙 $J(\bar{p}) - \Phi$ (joint)	0.103	0.122	0.272	联合字母表上先验异质性度量
95% 覆盖所需词元比例 $K_{95} /	\mathcal{V}_{\text{joint}}	$	0.755	0.765
2阶有效支持集大小 $\mathrm{S}_2$ (joint)	$1.27 \times 10^3$	$1.55 \times 10^3$	$3.06 \times 10^3$	几何混合的有效载荷状态数
整数重数巧合散度 $\mathsf{C}_{(1,1,1)}$	14.01	14.59	17.45	3-先验单轮碰撞惩罚自由能
经验巧合概率 $p_{\text{coinc}}$ ($n=100$)	0.559	0.370	0.026	样本量 $n=100$ 时发生重叠抽样的实测概率

消融与理论验证实验¶

针对大字母表随机细分过程（Random Subdivision）中的巧合相变阈值 $m \approx \Psi(\boldsymbol{\alpha}) \log n$（其中 $\Psi(\boldsymbol{\alpha}) = |\boldsymbol{\alpha}| / (-\log Z(\boldsymbol{\alpha}))$）以及确定性 Hölder 认证界进行了系统消融与实测对比：

实验基准与配置	理论复杂度斜率 $\Psi(\boldsymbol{\alpha})$	截断集规模 $K$	相对界宽度 $(U-L)/L$	实测相变符合度	说明
合成 Zipf 分布 ($	\mathcal{V}	=10^4, \boldsymbol{\alpha}=(2,2,2)$)	0.62	$K=20$	$\leq 10^{-6}$
GPT-2 相关复述 (Paris_Corr_3, $W=3$)	0.37	$K=5$	$1.2 \times 10^{-2}$	热力图完全重合	头部词元迅速饱和有效质量
GPT-2 相关复述 (Paris_Corr_3, $W=3$)	0.37	$K=20$	$8.4 \times 10^{-7}$	机器精度收敛	截断误差呈指数级收敛
GPT-2 多样模板 (Paris_Div_3, $W=3$)	0.59	$K=5$	$4.1 \times 10^{-3}$	理论与经验边界严格贴合	显著区分于相关邻域的斜率
GPT-2 多样模板 (Paris_Div_3, $W=3$)	0.59	$K=150$	$\leq 10^{-11}$	达到双精度浮点极限	远优于坐标采样基线
基因组调控边界分类 (ROC-AUC)	—	联合序列+cCRE	0.897	显著超越单序列基线	单一序列特征时 AUC 仅为 0.567

关键发现¶

巧合概率相变高度可预测：在随机细分实验中，无论先验来自合成 Zipf 分布还是预训练语言模型（GPT-2），多轮巧合事件消退的深度临界线始终严格沿着 $m = \Psi(\boldsymbol{\alpha}) \log n$ 演进，泊松化代理 $1 - e^{-\lambda}$ 与经验发生率高度拟合。
算术与几何池化间隙是强大的无监督判别器：算术混合与几何混合的归一化子差值 $J(\bar{p}) - \Phi(\boldsymbol{\lambda})$ 以及内部能量 $E(\boldsymbol{\lambda})$ 无需任何下游标签，即可绝对无重叠地切分“相关同义提示词”与“跨主题多样提示词”（相关组间隙 $\geq 0.38$，多样组 $\leq 0.13$）。
确定性 Hölder 界完胜随机采样器：在实际模型的高方差词表表征下，现有基于坐标采样的随机 Softmax 估计器由于方差激增会退化为全量计算，而确定性 Hölder 上下界仅依靠 $O(WV)$ 前缀求和，在 $K=20$ 即可锁定 6 位有效数字，为计算配分函数提供了工业级精度保障。
序列轨迹的结构化共振：在自回归生成或基因组滑动扫描中，重合度统计量 $\log Z_t(\mathbf{1})$ 会随输入结构的语法/生物学属性自发展开“呼吸”——语言中的闭类功能词（介词、连词）共识度极高形成峰值，而开类实词产生低谷；基因组中匹配细胞类型的启动子与增强子区域同样出现尖锐的巧合峰，证明该理论在全尺度具有通用的结构解析力。

亮点与洞察¶

跨学科的深刻大一统：将信息论中零散的多项式计数、Sanov 集中、Chernoff 误差指数、Donsker-Varadhan 变换与 Rényi 散度族，全部收敛为对“混合乘积幂积分配分函数”的单步拉格朗日求解，展现了极高的数学自洽与美感。
修正直觉的几何惩罚项：在 PAC-Bayes 框架中推导出显式的“多先验巧合红利” $-\mathsf{C}_{\boldsymbol{\alpha}}(\pi_{1:W})$，从数学上解释了为什么融合多个已有重叠的先验时模型的真实泛化误差远低于传统最坏情况界。
极具实用价值的计算工具包：将抽象理论落地为可在现代 LLM 与生物大模型上直接运行的代码与算法，包括 $O(WV)$ 确定性 Hölder 误差证书以及自回归重叠轨迹分析，无缝兼容对比解码（Contrastive Decoding）与语义熵幻觉检测。

局限与展望¶

独立同分布张量化依赖：虽然核心混合巧合恒等式完全非渐近且适用于任意单一样本，但将其桥接至宏观渐近集中定理（如 Sanov 与 Chernoff 极限定理）时仍依赖于 i.i.d. 样本张量化假设，在具有长期强记忆性的非平稳序列上的扩展有待进一步深化。
模型规模消融范围有限：文中实验主要在单机 CPU 验证环境（GPT-2 与 Pythia-160M）上进行，对于百亿至千亿级密集与 MoE 架构大语言模型，先验重叠与内部能量的分离度仍需更广泛的计算验证。
调控边界评估的基准自洽性：在基因组序列分析中，边界真值部分依赖于先验分布自身的熵分位数，虽然证明了算子能够精准解析先验中蕴含的异质性，但对未知下游从头（de novo）调控元件的盲测泛化能力仍需前瞻实验佐证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多先验混合巧合恒等式，打破信息论四大基石的推导割裂，理论格局宏大。
实验充分度: ⭐⭐⭐⭐☆ 涵盖合成幂律分布、大语言模型全词表统计以及人类基因组序列三类跨模态场景，消融详尽。
写作质量: ⭐⭐⭐⭐⭐ 数学严密流畅，从代数直觉到信息几何映射层次分明，定理陈述与附录证明扎实完整。
价值: ⭐⭐⭐⭐⭐ 为多源先验融合、多任务泛化界、大模型解码与生物序列分析提供了极具穿透力的新数学视角。

评估指标	稳定区段 (Stable)	边界区段 (Boundary)	多样区段 (Diverse)	物理/理论含义
序列单形散度 \(\Phi_{\text{seq}}\)	0.169	0.173	0.687	序列先验之间的不一致程度
联合单形散度 \(\Phi_{\text{joint}}\)	0.199	0.241	0.978	序列与调控注释融合后的发散度
算术-几何池化间隙 \(J(\bar{p}) - \Phi\) (seq)	0.054	0.056	0.123	几何混合相对于算术平均的典型聚焦收益
算术-几何池化间隙 \(J(\bar{p}) - \Phi\) (joint)	0.103	0.122	0.272	联合字母表上先验异质性度量
95% 覆盖所需词元比例 $K_{95} /	\mathcal{V}_{\text{joint}}	$	0.755	0.765
2阶有效支持集大小 \(\mathrm{S}_2\) (joint)	\(1.27 \times 10^3\)	\(1.55 \times 10^3\)	\(3.06 \times 10^3\)	几何混合的有效载荷状态数
整数重数巧合散度 \(\mathsf{C}_{(1,1,1)}\)	14.01	14.59	17.45	3-先验单轮碰撞惩罚自由能
经验巧合概率 \(p_{\text{coinc}}\) (\(n=100\))	0.559	0.370	0.026	样本量 \(n=100\) 时发生重叠抽样的实测概率