Fine-Tuning Improves Information Conveyance in Language Models¶

会议: NeurIPS 2026
arXiv: 2605.30844
代码: https://github.com/WeiyiTian/canopy-entropy
领域: LLM 其他
关键词: 微调, 信息论, 树状生成空间, 树冠熵, 语义多样性

一句话总结¶

提出了树冠熵（Canopy Entropy）及长度-熵率关联度量，揭示微调并未简单压缩语言模型生成空间，而是系统重组了不确定性分布并显著提升了语义信息传递效率。

研究背景与动机¶

微调（包括指令微调与人类偏好对齐）是大语言模型在自然语言理解、数学推理与代码生成等任务中取得优异表现的核心推手。然而学界普遍存在一种认知：对齐微调会压缩模型的生成空间，导致输出确定性增加、多样性显著降低，使得对齐模型在采样时趋向单一且平庸的模式，因而基座模型常被认为具备更高的随机性与探索创造力。包括分支因子（Branching Factor）、词汇丰富度（如 Type-Token Ratio）及局部 token 不确定度在内的一系列指标，此前似乎都佐证了微调导致生成空间收缩的结论。

然而，现有分析框架普遍忽略了生成长度（Output Length）这一根本性的混淆变量。一方面，词汇多样性与 n-gram 统计本身就对文本长度极度敏感，更短的文本由于词汇复用率低往往在统计上虚高，而微调模型因偏好训练更倾向于生成更长、更具结构化的详细回答；另一方面，经典研究大多将多样性视为静态输出集合的统计属性，从未考察不确定性在生成路径随时间步展开时的动态演化。基座模型在长生成过程中熵率往往迅速衰减并陷入高度冗余的低信息循环，而微调模型能否在更长的展开路径中持续维持有效的信息密度，此前缺乏严格的量化手段。

面对长输出掩盖信息增益与传统指标无法度量整条生成树形态的局限，本文转换了观察视角：自回归生成本质上是一棵随历史路径演化的随机决策树，模型在每个节点的局部选择与最终停止时间共同决定了生成空间的整体容量。本文的核心 idea 是从树状生成空间出发提出树冠熵（Canopy Entropy, $\mathrm{CE}^{\star}$）与长度-熵率关联度量 $\rho(N, r_N)$，证明其严格等价于序列与长度的联合香农熵，并揭示微调不仅没有简单降低多样性，反而在结构上重组了不确定性，将 token 级随机性转化为更高效的语义多样性。

方法详解¶

整体框架¶

自回归大语言模型的生成轨迹可自然抽象为以 Prompt 为根节点、随上下文历史动态分支的随机路径树。树的大小由两项互补机制共同决定：每个节点处的下一个 token 采样分布的扩散程度（决定局部宽度），以及生成过程随机终止前的步数（决定路径深度）。树冠熵（Canopy Entropy）正是为了衡量所有潜在生成叶节点所构成的完整生成空间有效容量。

从整体计算管线来看，系统输入 Prompt 分布与语言模型采样策略，通过蒙特卡洛多路径展开追踪每个时间步的局部香农熵与终止信号；进而解耦出全局树冠熵 $\mathrm{CE}^{\star}$、序列归一化的生成困惑度（GenPPL）与路径归一化的分支因子（BF）；最后计算 Prompt 条件下的长度-熵率关联 $\rho(N, r_N)$，并通过 Beta 混合效应模型检验熵率向语义多样性的转化效能。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 集合及采样策略"] --> B["自回归树状展开与局部熵追踪"]
    B --> C["树冠熵度量与理论等价分解"]
    C --> D["双重视角归一化：GenPPL 与 BF"]
    D --> E["长度-熵率动态关联分析"]
    E --> F["Beta 混合效应回归检验语义转化率"]

关键设计¶

1. 树冠熵定义与联合熵等价性：构建全局生成空间的统一信息论度量

传统分支因子等局部指标只关注单词采样的局部宽度，忽略了模型何时停止的随机深度。本文定义树冠熵为完整生成路径上累积局部条件熵的期望：

\[\mathrm{CE}^{\star} := \mathbb{E}_{x, \{g_t\}_{t=1}^{N(x)}} \left[ \sum_{t=1}^{N(x)} H(Z_t \mid G_t = g_t, X = x) \right]\]

其中 $Z_t \in \mathcal{V} \cup \{\texttt{EOS}\}$，包含词表与终止符。本文通过定理证明了关键结论：自回归一步生成等价于两阶段随机决策过程（先决定 STOP 还是 CONT，若 CONT 再从词表采样），且树冠熵严格等价于 Prompt 条件下序列长度 $N$ 与生成内容 $Y_{1:N}$ 的联合香农熵：

\[\mathrm{CE}^{\star} = H(N, Y_{1:N} \mid X) = H(N \mid X) + H(Y_{1:N} \mid N, X)\]

该式清晰地将全局不确定性分解为两部分：停止时间的随机性（长度不确定性 $H(N \mid X)$）与给定长度下生成内容的发散度（内容不确定性 $H(Y_{1:N} \mid N, X)$）。$\exp(\mathrm{CE}^{\star})$ 直观代表了模型生成候选完整句子的有效可能空间规模。

2. 双重视角归一化：GenPPL 与 BF 的粒度解耦

由于 $\mathrm{CE}^{\star}$ 累积了整条轨迹的绝对熵值，直接用于跨模型长短对比仍受长度缩放影响。为此，本文建立了两种具有明确概率论基础的归一化指标：

生成困惑度（GenPPL）：采用 token 级别的全局期望长度归一化： $$\mathrm{GenPPL} := \exp\left( \frac{\sum_{X \sim p_X} H(N, Y_{1:N} \mid X=x)}{\sum_{X \sim p_X} \mathbb{E}[N \mid X=x]} \right)$$ GenPPL 将所有 token 视作等权，代表生成序列中典型 token 的有效分支数，非常适合用于考察代码与数学等对逐 token 精度要求极高的结构化任务。
分支因子（BF）：采用轨迹级别的熵率期望归一化： $$\mathrm{BF} := \exp\left( \mathbb{E}_X \mathbb{E}_N [r_N \mid X=x] \right), \quad r_N = \frac{H(Y_{1:N} \mid N=n, X=x)}{n}$$ 其中 $r_N$ 为每 token 的平均内容不确定度（熵率）。BF 将各条生成路径视作等权，因此削弱了长序列中冗余 token 对全局指标的放大作用，更适合故事生成等开放式叙事任务。

3. 长度-熵率关联度量：量化生成过程的信息传递效率

为解答「长回答究竟是言之有物还是注水废话」，本文提出了 Prompt 受控的长度-熵率关联指标 $\rho(N, r_N)$：

\[\rho(N, r_N) = \mathbb{E}_{X \sim p_X} \left\{ \mathrm{Corr}(N, r_N) \mid X=x \right\}\]

在具体估计中，为避免直接平均受限相关系数带来的统计偏差，通过 Fisher-$z$ 变换对每个 Prompt 的 Pearson/Spearman 相关系数进行方差稳定化加权聚合，对 Kendall's $\tau$ 采用对数加权。若 $\rho(N, r_N) > 0$，说明模型生成越长，单位 token 维持的熵率反而越高或越稳健，表明深入展开的论述具备高信息密度；反之若 $\rho(N, r_N) < 0$，则表明长输出是低熵坍缩导致的无效冗余。

4. 截断蒙特卡洛一致估计器与误差界

面对指数级巨大的路径空间，本文设计了截断上界为 $T_{\max}$ 的无偏蒙特卡洛估计器 $\widehat{\mathrm{CE}}^{\star}_{\max, P, M}$。对 $P$ 个 Prompt 各自独立采样 $M$ 条路径，累积每条路径真实生成的局部熵之和。理论分析证明，该估计器的均方误差（MSE）严格可分解为 Prompt 间采样方差 $O(1/P)$、Prompt 内路径蒙特卡洛方差 $O(1/(PM))$ 以及截断偏差 $g^2(T_{\max})$：

\[\mathbb{E}\left[ (\widehat{\mathrm{CE}}^{\star}_{\max, P, M} - \mathrm{CE}^{\star})^2 \right] \leq \frac{H_{\max}^2}{P} \mathrm{Var}_X(\mathbb{E}[N_{\max} \mid X]) + \frac{H_{\max}^2}{PM} \mathbb{E}[N_{\max}^2] + g^2(T_{\max})\]

当长度尾部分布呈现指数级衰减时，截断偏差 $g(T_{\max})$ 随 $T_{\max}$ 呈指数级收敛至 0。在实验中设定 $T_{\max} = 4000$ 时截断率低于 4.32%（微调模型几乎为 0%），保证了估计量的统计一致性与严密性。

训练策略 / 统计建模配置¶

在实证验证部分，评测覆盖 LLaMA-3.1-8B、Qwen3-8B 与 Gemma-3-12B 三大模型家族的 Base 与 Instruct 版本。针对数学推理（GSM8K）、代码编写（BigCodeBench）、句子补全（HellaSwag）与故事创意生成四大任务，各抽取 $P=100$ 个 Prompt，每 Prompt 独立展开 $M=100$ 条采样轨迹（解码参数 $T=1.0, \text{top-}k=100$）。为控制长度混淆因素，对生成文本用 ModernBERT 计算成对余弦距离度量语义多样性 $D_{tpm} \in [0, 1]$，并通过 Beta 混合效应模型建模其与熵率、模型微调指示变量、逆序列长度样条项 $\mathrm{ns}(\mathrm{invN}, 4)$ 及其交互作用。

实验关键数据¶

主实验¶

在四种典型任务与三个模型家族上，Base 与 Instruct 模型的 GenPPL、BF 与绝对树冠熵 $\mathrm{CE}^{\star}$ 变化展示出显著的任务依赖特征。

任务类型	模型家族	GenPPL (Base)	GenPPL (Instruct)	BF (Base)	BF (Instruct)	$\mathrm{CE}^{\star}$ (Base)	$\mathrm{CE}^{\star}$ (Instruct)
数学推理 (Math)	Qwen3-8B	1.23	1.17 (-4.44%)	1.23	1.16 (-5.76%)	55.7	40.5 (-27.3%)
数学推理 (Math)	LLaMA-3.1-8B	3.57	1.74 (-51.2%)	5.31	1.57 (-70.5%)	458	98.7 (-78.4%)
数学推理 (Math)	Gemma-3-12B	4.56	1.17 (-74.4%)	4.98	1.15 (-76.9%)	487	59.1 (-87.9%)
代码生成 (Coding)	Qwen3-8B	1.68	1.23 (-27.1%)	2.08	1.21 (-41.9%)	207	81.2 (-60.7%)
代码生成 (Coding)	LLaMA-3.1-8B	3.16	1.31 (-58.4%)	4.96	1.31 (-73.7%)	326	135 (-58.6%)
代码生成 (Coding)	Gemma-3-12B	2.60	1.05 (-59.7%)	3.24	1.05 (-67.8%)	492	17.7 (-96.4%)
句子补全 (Sentence)	Qwen3-8B	4.77	1.68 (-64.9%)	4.20	1.55 (-63.0%)	826	112 (-86.5%)
句子补全 (Sentence)	LLaMA-3.1-8B	6.73	2.56 (-62.0%)	7.80	2.75 (-64.8%)	969	201 (-79.3%)
句子补全 (Sentence)	Gemma-3-12B	8.81	1.80 (-79.6%)	9.49	1.74 (-81.6%)	1084	515 (-52.5%)
故事生成 (Story)	Qwen3-8B	3.57	2.28 (-36.0%)	4.03	2.11 (-47.6%)	445	454 (+1.92%)
故事生成 (Story)	LLaMA-3.1-8B	7.40	3.24 (-56.2%)	8.24	3.37 (-59.1%)	1320	543 (-58.9%)
故事生成 (Story)	Gemma-3-12B	7.98	2.22 (-72.2%)	8.68	2.17 (-75.0%)	692	925 (+33.7%)

长度-熵率关联与语义多样性回归实验¶

任务领域	模型	$\rho(N, r_N)$ Pearson (Base)	$\rho(N, r_N)$ Pearson (Instruct)	关联绝对变化值 (Abs. Change)
数学推理 (Math)	Qwen3-8B	-0.018 ± 0.016	0.087 ± 0.037	+0.11 ± 0.042
数学推理 (Math)	LLaMA-3.1-8B	-0.27 ± 0.016	0.38 ± 0.040	+0.65 ± 0.044
数学推理 (Math)	Gemma-3-12B	-0.13 ± 0.014	0.19 ± 0.040	+0.32 ± 0.043
代码生成 (Coding)	Qwen3-8B	-0.41 ± 0.014	0.61 ± 0.034	+1.02 ± 0.037
代码生成 (Coding)	LLaMA-3.1-8B	-0.38 ± 0.011	0.29 ± 0.021	+0.67 ± 0.021
代码生成 (Coding)	Gemma-3-12B	-0.27 ± 0.012	0.39 ± 0.035	+0.67 ± 0.037
句子补全 (Sentence)	Qwen3-8B	0.062 ± 0.017	0.52 ± 0.024	+0.46 ± 0.027
句子补全 (Sentence)	LLaMA-3.1-8B	-0.26 ± 0.015	-0.20 ± 0.024	+0.053 ± 0.028
句子补全 (Sentence)	Gemma-3-12B	-0.23 ± 0.015	0.12 ± 0.038	+0.36 ± 0.041
故事生成 (Story)	Qwen3-8B	-0.27 ± 0.017	0.16 ± 0.021	+0.43 ± 0.027
故事生成 (Story)	LLaMA-3.1-8B	-0.24 ± 0.012	-0.10 ± 0.020	+0.14 ± 0.022
故事生成 (Story)	Gemma-3-12B	-0.17 ± 0.012	-0.049 ± 0.027	+0.12 ± 0.032

在控制序列长度非线性自然样条项 $\mathrm{ns}(\mathrm{invN}, 4)$、任务固定效应及 Prompt/模型随机效应后，Beta 混合效应回归显示： - 熵率主效应显著为正（$\beta = 0.708, p < 2 \times 10^{-16}$）； - 微调与熵率的交互项极显著为正（$\beta_3 = 1.183, p < 2 \times 10^{-16}$），使得微调模型对熵率的敏感斜率达到 $0.708 + 1.183 = 1.891$，为基座模型的近 3 倍； - 微调指示项主效应为负（$\beta_2 = -0.377, p = 1.23 \times 10^{-5}$），表明在固定相同熵率与长度时微调模型的基础发散度被压缩，但其保留的不确定性转化率极大增强。

关键发现¶

结构化与开放式任务呈现双向分化：在数学、代码与完形填空中，微调模型剪除了无效的错误分支，$\mathrm{CE}^{\star}$ 显著收缩（最大降幅达 96.4%）；但在开放式故事生成中，微调模型打破了基座模型容易陷入的「短补全陷阱（Completion Traps）」，路径深度的显著增长反超了局部宽度的缩减，导致 Gemma-3-12B 的 $\mathrm{CE}^{\star}$ 激增 33.7%。
长生成的信息维持能力显著反转：基座模型的 $\rho(N, r_N)$ 在多数任务中为负（最低至 -0.41），表明其越往后写越陷入低信息密度套话；微调后全线显著转正（代码任务中 Qwen3-8B 暴增 1.02 达到 +0.61），证明长回答是连贯且具有高信息密度的深化论述。
不确定性向语义多样性的高效变现：微调模型虽然在宏观上表现得更确定，但在微观上微调使模型能够更高效地将单位 token 不确定性转化为成对语义余弦距离的扩散，消除了表面词汇伪随机。

亮点与洞察¶

信息论视角的概念统一：巧妙将自回归序列生成过程与随机停时理论相联系，证明树冠熵与序列-长度联合熵的数学恒等式，为以往经验主义的生成多样性评测奠定了严密的概率基础。
破解「长度混淆」假象：指出现有声称「微调损害创造力与多样性」的结论很大程度是统计指标被序列长度偏置扭曲所致，引入受控相关性与 Beta GLMM 剥离混淆效应。
可迁移的评价体系：$\rho(N, r_N)$ 能够直接迁移至长文本生成、CoT 推理过程质量监控与强化学习（RLHF/RLAIF）的 Reward 坍缩检测，为大模型对齐动态提供无监督诊断工具。

局限与展望¶

度量仅反映不确定性而非事实正确度：高熵率与高树冠熵仅刻画生成空间的容量与非冗余性，并不能直接保障事实真实性或指令遵循的忠实度，极高熵仍可能伴随模型幻觉。
统计描述性而非因果性解释：该文从实证与混合回归视角确认了微调重组不确定性的现象，但微调具体在 Transformer 的注意力层或前馈网络中如何引起该动力学转移的机理仍需深入探究。
极端长文本扩展与计算成本：每 Prompt 采样 100 条轨迹且长达 4000 token 的 Monte Carlo 评估在大规模模型在线评测中计算开销较高，需探索更轻量级的在线替代估计算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从树冠熵与联合香农熵视角建立长短受控的 LLM 生成空间完备测度。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大主流开源家族、4 大典型任务，设计严格的蒙特卡洛误差界与 Beta GLMM。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备，概念阐释生动清晰，统计检定严密自洽。
价值: ⭐⭐⭐⭐⭐ 纠正了社区关于「对齐必然扼杀多样性」的片面认知，对长文本生成与 RL 对齐具有重要指导意义。