Coherence Mechanisms for Provable Self-Improvement¶

会议: NeurIPS 2026
arXiv: 2511.08440
领域: 学习理论
关键词: 自我提升, 一致性机制, Bregman散度, 几何投影, 刚性定理

一句话总结¶

本文提出了基于任务保持变换下输出一致性（Coherence）的自我提升几何理论框架，证明了基线模型向一致性模型集的 Bregman 投影能够单调降低与理想模型的散度误差，并建立了保证可证明提升的机制必然等价于一致性投影的刚性特征定理。

研究背景与动机¶

大语言模型与复杂智能系统的自我提升（Self-Improvement）是实现自主对齐与能力泛化的核心路径。然而，当前主流的自我提升技术（如基于自生成指令微调的 Self-Instruction、模型自评估自反馈 RLAIF 以及推理时自洽性采样的 Self-Consistency）高度依赖经验启发式设计与模型自身的质量评判。这种缺乏形式化理论保证的闭环机制存在根本性缺陷：模型对自身输出的打分与反思往往带有内在偏差，极易诱发训练崩溃（Model Collapse）、灾难性遗忘或加剧特定盲区，无法从数学上严格排除性能劣化。

经验性自我提升机制的关键症结在于缺乏客观、可度量且无需真实外部标签的优化监督信号。以模型自评作为代理奖励本质上是在放大模型未经校准的先验假设；而真正的泛化保证需要系统满足某种内在不变性约束。人类智能系统在推理过程中表现出高度的内部自洽性——即面对本质相同的语义提问或任务保持变换时，给出的回答分布应当严格一致。

本文从信息几何与凸分析的切入视角出发，指出模型内在一致性（Coherence）是衡量其预测质量的形式化代理指标。核心 idea：将自我提升建模为基线模型向任务不变性所诱导的“一致性模型凸集”的 Bregman 几何投影，利用广义毕达哥拉斯定理严格证明其对未知理想模型的单调误差递减，并证明满足普遍提升保证的机制在拓扑与代数结构上必然刚性等价于一致性投影。

方法详解¶

整体框架¶

本文构建了一个端到端的几何投影与不变性自提升分析框架。给定输入空间 $\mathscr{X}$ 与离散输出空间 $\mathscr{Y}$，条件语言模型表示为映射 $\pi\colon\mathscr{X}\to\Delta(\mathscr{Y})$。考虑定义在输入空间上的任务保持对合变换 $\Phi\colon\mathscr{X}\to\mathscr{X}$（满足 $\Phi(\Phi(x))=x$，例如句法语义重述、主被动语态转换或视角旋转），理想模型应当满足任务不变性 $\pi^*(x)=\pi^*(\Phi(x))$。基于此不变性约束，所有一致性模型构成的集合 $\mathscr{C}_{\mathrm{coh}}$ 在紧凸模型类 $\Pi$ 内形成一个封闭凸子集。

算法机制的整体流程为：给定初始基线模型 $\pi_0\in\Pi$，系统在选定的 Legendre 函数 $F$ 生成的 Bregman 散度 $\mathsf{B}_F$ 下，计算 $\pi_0$ 向一致性目标集的投影。系统支持单步直接投影（Direct Projection）与两步松弛投影（Two-Step Projection），后者首先投影到未归一化的无约束一致性锥，再投影回概率单纯形。信息几何的结构保证了所得模型 $\widehat{\pi}$ 严格逼近潜在的理想模型 $\pi^*$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基线模型与任务变换<br/>输入分布与对合映射"] --> B["Bregman几何投影机制<br/>单步投影或双步重心分解"]
    B --> C["一致性模型集约束<br/>闭凸模型族与任务不变空间"]
    C --> D["单调提升理论保证<br/>广义毕达哥拉斯定理递减"]
    D --> E["刚性特征定理分析<br/>普遍提升迫使块常数结构"]

关键设计¶

1. Bregman散度下的单步一致性投影：利用广义毕达哥拉斯定理实现单调提升

针对经验启发式调优缺乏数学保证的缺陷，本文将自我提升严格形式化为凸约束优化问题：寻找在期望 Bregman 散度下距离基线模型 $\pi_0$ 最近的一致性模型 $\widehat{\pi}\in\mathscr{C}_{\mathrm{coh}}\cap\Pi$。在 Legendre 生成函数 $F$ 下，期望散度 $\mathsf{B}_{\mathsf{F}}(\pi\parallel\pi')=\mathbb{E}_{x\sim\mathscr{D}_{\mathscr{X}}}[\mathsf{B}_F(\pi(x)\parallel\pi'(x))]$ 继承了凸性与 Legendre 性质。若理想模型 $\pi^*$ 本身满足一致性（$\pi^*\in\mathscr{C}_{\mathrm{coh}}\cap\Pi$），根据 Bregman 投影的广义毕达哥拉斯定理，对任意参考点均有正交分解不等式成立： $$\mathbb{E}_{x\sim\mathscr{D}_{\mathscr{X}}}[\mathsf{B}_F(\pi^*(x)\parallel\widehat{\pi}(x))] \leq \mathbb{E}_{x\sim\mathscr{D}_{\mathscr{X}}}[\mathsf{B}_F(\pi^*(x)\parallel\pi_0(x))] - \mathbb{E}_{x\sim\mathscr{D}_{\mathscr{X}}}[\mathsf{B}_F(\widehat{\pi}(x)\parallel\pi_0(x))]$$ 该式表明，只要基线模型存在内在不一致（即投影距离严格大于零），更新后的模型 $\widehat{\pi}$ 相对理想模型 $\pi^*$ 的期望散度就实现严格单调下降。若进一步假设 $F$ 是 $\mu$-强凸的，则散度下降量存在显式下界： $$\mathbb{E}[\mathsf{B}_F(\pi^*\parallel\widehat{\pi})] \leq \mathbb{E}[\mathsf{B}_F(\pi^*\parallel\pi_0)] - \frac{\mu}{2}\mathbb{E}_{x\sim\mathscr{D}_{\mathscr{X}}}\left[\lambda(x)(1-\lambda(x))\|\pi_0(x)-\pi_0(\Phi(x))\|^2\right]$$ 其中 $\lambda(x)=\frac{\mathbb{P}(x)}{\mathbb{P}(x)+\mathbb{P}(\Phi(x))}$。这一解析下界证明了消除模型在变换前后的输出方差必然转化为对真实分布的逼近。

2. 双步投影分解与重心等价性：分离代数一致性与单纯形归一化

直接在带有单纯形约束的凸集 $\Pi\cap\mathscr{C}_{\mathrm{coh}}$ 上投影往往在计算上耦合了概率归一化与跨输入一致性。为此，本文设计了双步投影机制：第一步将 $\pi_0$ 投影到未受约束的非负一致性锥 $\mathscr{C}_{\mathrm{coh}}^{\dagger}$（即仅要求 $\pi(x)=\pi(\Phi(x))\ge 0$）得到中间解 $\overline{\pi}$；第二步将 $\overline{\pi}$ 投影到目标集合 $\Pi\cap\mathscr{C}_{\mathrm{coh}}$ 得到最终解 $\widehat{\widehat{\pi}}$。针对非受限线性子空间 $\mathscr{C}_{\mathrm{coh}}^{\dagger\dagger}$，本文利用 Fenchel 对偶证明了毕达哥拉斯等式（Pythagorean Equality）：对任意仿射集投影，散度满足精确等式分解。

更为关键的是，对于包含负熵（KL散度）、二次函数（欧氏距离及马氏距离）以及所有可分离生成元的广义 Legendre 函数族，中间投影 $\overline{\pi}(x)$ 在每个轨道 $\{x,\Phi(x)\}$ 上严格退化为基线模型在对偶坐标系下的 Bregman 重心： $$\overline{\pi}(x) = (\nabla F)^{-1}\left(\lambda(x)\nabla F(\pi_0(x)) + (1-\lambda(x))\nabla F(\pi_0(\Phi(x)))\right)$$ 由于这类生成元梯度的逆映射自动保持非负性，线性子空间投影必然落在非负锥内，从而严格证明了单步投影与双步投影完全等价（$\widehat{\pi}=\widehat{\widehat{\pi}}$）。这一设计将一致性操作转化为对偶梯度加权平均，并证明了其对任意最坏情况目标分布 $\pi^*$ 具有最大最小最优性（Maximin Optimality）。

3. 泛化、非可实现性与松弛约束：面向有限样本与近似对称的理论鲁棒化

针对现实部署中数据有限、真实分布非完美对称及硬约束难以求解等问题，本文构建了三维鲁棒扩展体系。首先，在非可实现设定下（即真实目标 $\pi^*$ 不完全一致，其到一致性集的散度为 $\epsilon$），若生成元同时具备 $\mu$-强凸与 $L$-平滑，证明了只要不可实现误差满足 $\epsilon < (\frac{\mu}{2L})^2 \mathbb{E}[\mathsf{B}_F(\widehat{\pi}\parallel\pi_0)]$，模型更新依然能实现严格期望提升。其次，在样本量为 $m$ 的经验经验分布下，证明了基于 Rademacher 复杂度误差界 $\epsilon_m$ 的经验投影解 $\widehat{\pi}_S$ 满足 $O(\epsilon_m)$ 级的泛化差距；在目标强凸假设下，提升量差距收敛至 $O(\sqrt{\epsilon_m})$。最后，将硬等式约束松弛为散度罚项 $\mathbb{E}[\mathsf{D}(\pi(x),\pi(\Phi(x)))]\le \Lambda$，证明了当松弛阈值 $\Lambda$ 充分小时，依据模型初始不一致差距 $\Delta_{\mathrm{coh}}$ 仍能维持确定性的单调收益。

4. 普遍提升下的拓扑与代数刚性：一致性机制的唯一必然性

为探讨“一致性投影是否只是诸多可行方案之一”，本文证明了深层次的刚性定理（Rigidity Theorem）。若一个自提升映射 $\mathcal{M}\colon\pi_0\mapsto\widehat{\pi}_F$ 对凸生成元族中的固定 Legendre 散度满足强提升保证，则该机制的输出必然是 $\pi_0$ 在自身等价水平集所诱导的一致性集上的 Bregman 投影。进一步地，若要求该机制在整个连通的生成元族上实现“普遍提升”（即对所有 $F\in\widetilde{\mathcal{F}}$ 均能减少散度），在拓扑稳定性（输出映射连续性）与一致严格性假设下，所有生成元对应的投影解在输入空间 $\mathscr{X}$ 上诱导的等价划分必须完全相同；在仿射约束集合上，代数正交性也强力导出了完全相同的块常数划分刚性。这表明，可证明的自提升在结构上完全等价于一致性投影，一致性是自提升数学闭环的本质核心。

一个完整示例¶

考虑输入空间包含三个提示词 $\mathscr{X}=\{1,2,3\}$，二分类输出标签 $\mathscr{Y}=\{0,1\}$，以正类概率 $p(x)=\Pr[y=1\mid x]$ 刻画模型。设输入提示词的先验采样分布均匀（权重各为 $1/3$），变换算子要求提示词 1 与 2 在语义上对同，即约束可行域为满足 $p(1)=p(2)$ 的仿射多面体，而输入 3 保持独立。初始不自洽基线模型为： $$p_0(1)=0.10,\quad p_0(2)=0.80,\quad p_0(3)=0.40$$ 系统对基线模型进行一致性投影自提升：由于坐标 3 未参与约束，更新后模型保持 $p(3)=p_0(3)=0.40$。对于输入 1 与 2，模型在约束子空间内寻找对偶梯度重心 $q^\star=p(1)=p(2)$： - 若采用平方欧氏距离（$F_{\mathrm{sq}}(p)=\frac{1}{2}p^2$），对偶梯度为恒等映射，重心为算术平均数 $q^\star=\frac{0.10+0.80}{2}=0.45$，自提升模型为 $\widehat{\pi}_{\mathrm{sq}}=(0.45, 0.45, 0.40)$。 - 若采用相对熵 KL 散度（负熵生成元 $F_{\mathrm{KL}}(p)=p\log p$），对偶梯度为对数加权，重心转化为几何平均数 $q^\star=\sqrt{0.10\times 0.80}\approx 0.2828$，自提升模型为 $\widehat{\pi}_{\mathrm{KL}}=(0.2828, 0.2828, 0.40)$。 - 若采用负对数生成元（Itakura-Saito 散度，生成元 $F(p)=-\log p$），对偶梯度为调和平均数 $q^\star=\frac{1}{\frac{1}{2}(1/0.1 + 1/0.8)}=\frac{8}{45}\approx 0.1778$，更新模型为 $\widehat{\pi}_{\mathrm{IS}}=(0.1778, 0.1778, 0.40)$。

不同几何度量给出的数值解虽有差异，但所有自提升解的等价水平集划分离散空间为完全一致的结构块 $\mathscr{X}_1=\{1,2\}$ 与 $\mathscr{X}_2=\{3\}$。

损失函数 / 训练策略¶

在连续参数化神经网络（如 Transformer）中落地该机制时，无需显式求解精确投影，可采用拉格朗日松弛目标直接进行梯度优化。结合经验自监督一致性损失，未标记提示词样本集上的总体优化目标表示为： $$\min_{\theta} \mathcal{L}(\theta) = \frac{1}{m}\sum_{i=1}^m \mathsf{B}_F(\pi_\theta(x_i) \parallel \pi_{\theta_0}(x_i)) + \lambda \frac{1}{m}\sum_{i=1}^m \mathsf{D}(\pi_\theta(x_i), \pi_\theta(\Phi(x_i)))$$ 其中 $\pi_{\theta_0}$ 为冻结的基线模型参数，前项保证模型不发生表征漂移并保留先验知识储备，后项通过强凸散度 $\mathsf{D}$（如 JS 散度、对称 KL 散度）驱动网络在语义变换下向一致性流形对齐。

实验关键数据¶

主实验¶

为了验证不同 Bregman 生成元在一维及多维非线性几何空间中的投影行为与刚性保持特性，论文构建了非仿射球面约束 $\Pi=\{\pi\in\mathbb{R}_{\ge 0}^2: p_1^2+p_2^2=1\}$ 下的核化映射与投影数值对比。设非对称初始基线为 $\pi_0=(1.0, 0.5)$，通过二阶多项式特征映射 $\phi(\pi)=(p_1^2, p_2^2)$ 将圆弧曲面严格线性化为仿射超平面特征空间 $\phi(\Pi)=\{z\in\mathbb{R}_{\ge 0}^2: z_1+z_2=1\}$。不同 Bregman 生成元在原空间与特征空间中的投影数据如下表所示：

生成元类型 $F$	散度度量形式	原始空间投影 $\widehat{\pi}_F$	特征空间像 $\phi(\widehat{\pi}_F)$	特征空间一致性仿射和 $z_1+z_2$
$F_{\mathrm{sq}}$ (标准二次)	欧氏距离 $L_2$	$(0.894, 0.447)$	$(0.800, 0.200)$	$1.000$
$F_W$ (加权二次)	异方差加权距离 $\frac{1}{2}(p_1^2+10p_2^2)$	$(0.985, 0.174)$	$(0.970, 0.030)$	$1.000$

实验结果清晰表明，尽管在弯曲的原始流形中不同生成元产生的投影坐标差异显著（$0.894$ vs $0.985$），但在核诱导的特征空间中，两者严格收敛在相同的一维仿射单形上，验证了高维特征线性化下刚性定理代数正交性成立。

消融实验¶

论文对多生成元族下的 Minimax 鲁棒投影与纯轨道平均（Orbitwise Averaging）进行了反例构造与消融分析。在六维产品单形空间 $\Delta_3\times\Delta_3$ 中设置对合交换变换，基线模型为 $\pi_0(x_1)=(1,0,0), \pi_0(x_2)=(0,1,0)$，候选目标为理想对称模型 $\pi^*=(0,1,0, 0,1,0)$，生成元族由对角 Hessian 矩阵参数 $M$ 控制。消融对比了直接 Minimax 鲁棒优化解与轨道加权模型在毕达哥拉斯提升条件上的满足状态：

机制配置	优化目标准则	评估散度 $\mathsf{B}_{F_2}(\pi^*\parallel\cdot)$ 差值表达式	$M=10$ 时散度差值	毕达哥拉斯单调提升状态
Minimax 鲁棒投影	$\min_\pi \max_{F\in\mathcal{F}} \mathsf{B}_F(\pi\parallel\pi_0)$	$\frac{M-5}{8}$	$+0.625$	失败（散度增大，反向劣化）
轨道几何平均 $\widehat{\pi}_{\mathrm{orbit}}$	联合凸生成元轨道对偶加权	$\le 0$（由联合凸性 Jensen 保障）	$-0.250$	成功（严格保证单调提升）

关键发现¶

盲目使用 Minimax 对抗极小极大化寻找对生成元族鲁棒的一致性模型会导致几何投影的正交性断裂，当生成元各向异性强时（$M>5$），最坏情况优化解与真实目标之间的散度反而超过初始基线，证明了简单极小极大鲁棒化无法替代精确的单生成元几何投影。
只有当生成元族中的散度满足联合凸性（Joint Convexity）时，基于对偶权重的轨道平均模型 $\widehat{\pi}_{\mathrm{orbit}}$ 才能充当在所有散度度量下普遍提升的通用解；一旦联合凸性缺失，任何一致性候选模型都会存在退化反例。

亮点与洞察¶

将经验性的模型自洽与自反思提升抽象为严密的凸集 Bregman 投影，首次为无监督无标签环境下的模型自提升给出了非渐近单调误差收敛保证。
证明了双步投影与单步投影在广义可分离及二次生成元下的恒等性，揭示了一致性更新的物理本质是模型在对称轨道上的对偶梯度均值滤波。
提出了自提升机制的拓扑与代数刚性定理，表明任何能保证泛化改善的算法在本质上均迫使模型结构坍缩为特定的一致性块常数划分，确立了一致性在自提升理论中的公理级地位。

局限与展望¶

核心理论推导依赖于对合算子 $\Phi$（或有限轨道群作用）的完美闭合性，而大模型在自然语言实际推理中的重述映射往往具有开集、非确定性及近似对称特征。
强刚性定理依赖于流形局部扰动的稳定性与严格性条件，对于带有复杂非凸几何约束的高曲率神经网络参数空间，投影算子的全局连续性仍有待更深入的理论拓展。
未来的发展方向包括将确定性映射扩展至生成式随机马尔可夫核、联合因果图模型推断，以及在多智能体交互博弈中设计多机协同一致性自演进机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从 Bregman 散度投影与几何刚性角度建立了模型自我提升的公理化理论框架。
实验充分度: ⭐⭐⭐⭐☆ 理论证明极其完备严谨，数值与反例构造清晰，但缺乏超大规模语言模型上的工程预训练落地实验。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密流畅，几何直觉、变分对偶与拓扑证明层层递进。
价值: ⭐⭐⭐⭐⭐ 为解决 LLM 自我提升中的虚假自洽与模型崩溃问题提供了坚实的数学理论指引。

生成元类型 \(F\)	散度度量形式	原始空间投影 \(\widehat{\pi}_F\)	特征空间像 \(\phi(\widehat{\pi}_F)\)	特征空间一致性仿射和 \(z_1+z_2\)
\(F_{\mathrm{sq}}\) (标准二次)	欧氏距离 \(L_2\)	\((0.894, 0.447)\)	\((0.800, 0.200)\)	\(1.000\)
\(F_W\) (加权二次)	异方差加权距离 \(\frac{1}{2}(p_1^2+10p_2^2)\)	\((0.985, 0.174)\)	\((0.970, 0.030)\)	\(1.000\)

机制配置	优化目标准则	评估散度 \(\mathsf{B}_{F_2}(\pi^*\parallel\cdot)\) 差值表达式	\(M=10\) 时散度差值	毕达哥拉斯单调提升状态
Minimax 鲁棒投影	\(\min_\pi \max_{F\in\mathcal{F}} \mathsf{B}_F(\pi\parallel\pi_0)\)	\(\frac{M-5}{8}\)	\(+0.625\)	失败（散度增大，反向劣化）
轨道几何平均 \(\widehat{\pi}_{\mathrm{orbit}}\)	联合凸生成元轨道对偶加权	\(\le 0\)（由联合凸性 Jensen 保障）	\(-0.250\)	成功（严格保证单调提升）