Hypothesis Generation and Updating in Large Language Models¶

会议: NeurIPS 2026
arXiv: 2605.05851
领域: Reasoning
关键词: 大语言模型, 假设生成, 贝叶斯推断, 归纳偏置, 科学推断

一句话总结¶

本文基于经典数感博弈（number game）实验，通过后验预测、假设评估与假设生成三种互补探针，揭示大语言模型在少样本假设生成与更新中具备类似贝叶斯的更新形态，但存在强烈的强抽样强加紧致偏置、评估与生成的系统性割裂，以及无法泛化至未观测值域的结构性缺陷。

研究背景与动机¶

在现代科学发现与智能体代码调试等复杂任务中，认知系统必须具备从少量甚至带噪的部分观测中提出解释性假设，并随着后续证据的到达动态修正这些假设的能力。人类认知天然擅长这种归纳推断：儿童仅凭数个示例就能归纳出泛化概念，门捷列夫从不完备的化学性质测量中总结出周期表规律并预测未发现元素。然而，当前被广泛用于科学探索与复杂问题解决的大语言模型（LLMs），其在上下文学习中展现的假设生成与信念更新过程，究竟是否遵循严密的概率推断原则，其内在推断与最优贝叶斯基准及人类认知相比究竟存在怎样的系统性偏差，学术界一直缺乏可量化、可解析的受控诊断。

现有的解释视角往往将上下文学习类比为隐式在线梯度下降或贝叶斯模型平均，但大多数研究局限于合成函数回归或黑盒端到端表现，难以将“假设的先验倾向”与“观测证据的似然约束”显式解耦。特别是在少样本归纳任务中，少量正例往往在逻辑上与无穷多种候选规则和区间范围相兼容，这构成了经典的不充分决定性问题（underdetermination）。如果在单一探针下仅观察模型的最终输出，极易掩盖模型在内部假设表示、后验一致性以及跨值域泛化等方面的深层认知局限。

本文的切入角度是引入认知科学中经典的数感博弈（Tenenbaum's number game），将其作为大语言模型假设推断的“果蝇模型”。数感博弈拥有清晰离散的整数值域与数学规则/数值区间的双重假设空间，使得构建精确的贝叶斯参考基准成为可能。核心 idea：通过构建涵盖先验权重与抽样强度的两参数贝叶斯模型，并设计“后验预测”、“假设评估”与“假设生成”三种互补探针，全景式剖析 LLMs 的后验更新轨迹，揭示模型内在的奥卡姆剃刀归纳偏置、评估与生成之间的表征割裂，以及向未见域外推时的结构性失效。

方法详解¶

整体框架¶

本文构建了一套受控的贝叶斯诊断框架，以测试 LLMs 如何在离散整数值域 $D_d = \{1, \dots, d\}$（基准为 $d=100$，外推测试扩展至 $d=200$）中依据输入的正例集合 $X$ 进行假设生成与更新。方法的总体流程包括四个核心阶段：首先，构建完备的数学规则与邻近数值区间的双族先验假设空间 $\mathcal{H}$；其次，分别采用三种探针独立提取大语言模型的后验表现（逐点后验预测、候选假设评估、自由假设生成）；接着，将三种探针的输出统一投影到同一离散后验预测概率空间，通过最小化与参数化贝叶斯预测的均方误差拟合先验敏感度参数 $\alpha$ 与强抽样似然强度参数 $\beta$；最后，基于拟合参数与预测分布，对比不同采样提示语、思考模式（thinking mode）以及值域外推下的后验一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["正例观测输入 X ⊆ D_d<br/>如 {16, 8, 2, 64}"] --> B["多重探针提取假设后验"]
    B --> C["后验预测 (Predict)<br/>逐目标整数强制 Yes/No 概率"]
    B --> D["假设评估 (Eval)<br/>候选规则与紧凑区间置信度打分"]
    B --> E["假设生成 (Generate)<br/>开放式自由生成 10 个假设及置信度"]
    C & D & E --> F["统一预测空间投影<br/>加权支持集映射到离散分布"]
    F --> G["两参数贝叶斯体系拟合 (α, β)<br/>解耦先验敏感度与强抽样尺寸原则"]
    G --> H["跨探针后验一致性与外推检验<br/>评估-生成权衡分析与未见域外推"]

关键设计¶

1. 规则与区间复合的假设空间与两参数贝叶斯拟合体系：量化解耦先验依赖与似然收缩
为了精确诊断 LLMs 在少样本下的归纳偏置，基准假设空间 $\mathcal{H}_{t,d} = \mathcal{R}_{t,d} \cup \mathcal{I}^{\mathrm{nat}}_d$ 显式整合了数学规则集（包含奇偶、平方、立方、质数、倍数、幂次、末位数字等）与自然区间集（以 5 为网格端点的连续区间）。针对给定的正例观测 $X_s$，如果假设强抽样（Strong Sampling），即正例是在假设所覆盖的集合 $h$ 中均匀抽取的，似然度满足 $p(X_s \mid h) \propto |h|^{-|X_s|}$（若 $X_s \subseteq h$），从而天然对元素个数较少的小集合产生奥卡姆剃刀式的指数惩罚；若为弱抽样（Weak Sampling），则不具备对集合大小的严格惩罚。为了量化 LLMs 的实际推断行为，本文引入包含先验敏感度指数 $\alpha$ 与似然抽样强度指数 $\beta$ 的两参数贝叶斯参数化族，其在目标整数 $y \in D_d$ 上的模型预测定义为： $$ \hat{q}{\alpha,\beta}(y \mid X_s) = \sum $$ 通过在全部观测呈现集合 }} \mathbf{1}[y \in h] \, \frac{\mathbf{1}[X_s \subseteq h] \, p(h)^\alpha |h|^{-\beta |X_s|}}{\sum_{h' \in \mathcal{H}} \mathbf{1}[X_s \subseteq h'] \, p(h')^\alpha |h'|^{-\beta |X_s|}$\mathcal{S}$ 上最小化模型实测逐点概率 $q_m^{(d)}(y \mid X_s)$ 与 $\hat{q}_{\alpha,\beta}(y \mid X_s)$ 的均方误差： $$ \mathcal{L}(\alpha,\beta) = \frac{1}{|\mathcal{S}|} \sum_{s \in \mathcal{S}} \frac{1}{|\mathcal{Y}s|} \sums} \left( q_m^{(d)}(y \mid X_s) - \hat{q}(y \mid X_s) \right)^2 $$ 配置参考点 $(\alpha,\beta)=(1,1)$ 即对应标准贝叶斯推断。若拟合的 $\beta > 1$，表明模型施加了比理论更强的尺寸偏向；若 $\alpha > 1$，则表明模型更固守先验，较少受数据似然驱动。

2. 互补三探针与统一预测空间映射：打破单一读出的认知伪象
为了解决单一提示形式无法衡量后验内在一致性的弊端，本文设计了三种正交的探针任务：(1) 后验预测：针对值域内的每个目标整数 $y \in D_d$，采用强制二分类“程序是否会对数字 $y$ 说 Yes”，通过首 token 概率或归一化 Yes/No 对数概率提取逐点后验边缘概率 $q_m^{(d)}(y \mid X)$；(2) 假设评估：向模型展示包含当前先验假设族及与当前样例紧致绑定的候选列表 $K(X)$（包含外扩 10、外扩 5、紧凑极值区间 $[\min X, \max X]$ 及全集），记录模型对各显式候选假设赋予的置信度权重；(3) 假设生成：不提供候选列表，直接要求模型自由输出 10 个最能解释观测 $X$ 的自然语言假设及置信度。为了在同一基准下对比三者，假设评估与生成得到的各有效规则/区间标签 $\ell$（权重为 $w_r(\ell \mid X)$，支持集为 $S(\ell) \subseteq D_d$）被统一线性投影为空间离散预测： $$ \tilde{q}r(y \mid X) = \sum} $$ 该映射消除了不同任务在输出格式上的异构性，使得研究者能够通过 Jensen-Shannon 散度（JSD）和 } w_r(\ell \mid X) \, \mathbf{1}[y \in S(\ell)], \quad r \in {\mathrm{eval}, \mathrm{gen$(\alpha, \beta)$ 拟合直接检验三探针是否源自模型内部同一后验分布。

3. 值域扩张外推诊断机制：检验规则抽象是真泛化还是记忆泄漏
真正的科学假设必须能够跨越支持其建立的数据边界，对未曾观测的区域产生确定性推断。为了检验模型表现出的规则性是真正形成了稳固的抽象潜变量，还是仅仅停留在所见数值范围内的表层拟合，本文构建了值域外推诊断方案：观测正例严格限制在原始区域 $X \subset \{1, \dots, 100\}$，但在提示中将查询与假设定义的值域扩展至 $D_{200} = \{1, \dots, 200\}$。理想贝叶斯模型在重归一化至原始区间后应精确保持原有后验分布形态，即保证原域内分布不变，同时仅为具有外推意义的“规则型假设”（如偶数、4的倍数）在外推区间 $\{101, \dots, 200\}$ 分配结构化概率质量，而对“区间型假设”（如 10 到 30）在未见域分配严格为 0 的质量。诊断机制计算未见区间分配的总概率质量 $M_{\mathrm{ext}} = \sum_{y=101}^{200} q_m^{(200)}(y \mid X)$，并度量原域重归一化分布 $\tilde{q}_m^{(200 \to 100)}$ 与原 $d=100$ 预测间的 KL 散度，从而精准甄别模型是遵循归纳规则外推，还是发生了无规律的概率泄漏。

一个完整示例¶

以正例集合 $X = \{16, 8, 2, 64\}$ 为例： 1. 后验预测探针：向模型输入数字集合 $\{16, 8, 2, 64\}$，随后分别独立询问 $y=4$ 与 $y=37$ 是否满足规律。在标准贝叶斯下，由于 4 个正例均符合紧致规则“2 的幂次”，强抽样使得 $|h_{\mathrm{pow2}}| = 6$（100以内）的似然权重远高于宽泛规则“偶数”（$|h_{\mathrm{even}}| = 50$），因此模型在 $y=4$ 处给出高概率 Yes，在 $y=37$ 处给出极低概率。 2. 假设评估探针：向模型展示候选清单，包含“2 的幂次”、“偶数”、“[2, 64] 区间”等。模型倾向于选择不仅包含所有正例且范围适中的候选。 3. 假设生成探针：模型自由提出假设，高度倾向于输出简洁符号规则（如“powers of 2”）。 4. 跨探针对比与外推：当值域扩展到 200 时，若模型具有真正的概念表征，它在面对 $y=128$（2 的幂次外推点）时应给予高度支持，而在 $y=130$（仅满足偶数而非幂次）处保持极低支持。实验发现，大多数 LLM 在拓展到未见域时，规则与区间的区分度严重退化，$y=130$ 与其他非规则数字处同样分配了杂乱概率，说明域内表征并未真正外推为全局潜假设。

实验关键数据¶

主实验¶

主实验在经典 Tenenbaum99（8 组代表性刺激集）与大规模 Bigelow16（255 组刺激集）上评测了包括 Gemma 4 系列（A4B、E4B、E2B）、Qwen 3 系列（3.6 A3B、3.5 4B、3.5 2B）、GPT-5.4 Mini 以及 Nemotron 3 Nano 等 8 个主流大语言模型。主要考察其后验预测拟合的 $(\alpha, \beta)$、与贝叶斯参考的 KL 散度，以及在不同采样提示与思考模式下的推断行为。

下表总结了默认提示语下（Default Prompt，非思考模式）各模型在全量刺激集上的贝叶斯参数拟合表现、与理论贝叶斯分布的 KL 散度以及后验预测熵：

模型 / 参照系	先验敏感度 $\alpha$	抽样强度 $\beta$	与贝叶斯预测的 KL 散度	预测熵 (Entropy)	核心特性说明
Bayesian Reference	1.00	1.00	0.00	—	理论最优参考点，完美平衡先验与尺寸原则
Human Baseline	1.34	0.58	0.28	—	人类行为更偏向先验，尺寸原则惩罚弱于强抽样
GPT-5.4 Mini	1.08	0.94	0.19	2.14	最接近贝叶斯参考点，尺寸原则拟合紧密
Qwen 3.6 A3B	1.15	1.02	0.22	2.08	展现较强尺寸原则，适度偏好紧致假设
Gemma 4 A4B	0.96	1.12	0.25	1.95	$\beta > 1$，施加了较强的强抽样收缩偏置
Gemma 4 E4B	1.21	0.88	0.27	2.22	偏向更保守的先验依赖，似然敏感度略低
Nemotron 3 Nano	0.91	1.18	0.31	1.88	极度偏好超窄假设，受局部小规则支配
Qwen 3.5 4B	1.26	0.79	0.29	2.30	呈现偏人类特征的先验依赖形态

消融实验¶

消融分析集中评估了三种机制变体：(1) 提示采样假设（强抽样提示、弱抽样提示、显式展示候选清单）；(2) 思考模式（Thinking Mode）开启；(3) 三大探针（预测、评估、生成）在 MAP 估计上的特性差异。

下表给出了不同提示设定与推断配置在模型平均层面的拟合与表现变化：

实验配置	拟合 $\alpha$	拟合 $\beta$	KL 散度 (vs. Bayes)	Top-1 样例一致性	说明与机制变化
Default Prompt (Non-thinking)	1.10	0.98	0.25	—	默认呈现强抽样行为，自动触发奥卡姆剃刀
Strong Sampling Prompt	1.05	1.03	0.21	—	明确强抽样机制，与贝叶斯参考最为吻合
Weak Sampling Prompt	1.42	0.54	0.38	—	弱抽样提示显著削弱 $\beta$，模型更严重倒向先验
Explicit Candidate Prompt	1.35	0.82	0.32	—	显式列出候选名单并未改善整体贝叶斯匹配
Thinking Mode Enabled	1.28	0.72	0.28	—	开启深度思考使 $\alpha$ 上升、$\beta$ 下降，抑制激进收缩
Hypothesis Eval (MAP)	0.82	1.36	0.44	0.86	评估倾向于选择包含全部样例但范围略宽的假设
Hypothesis Gen (MAP)	1.15	1.05	0.28	0.71	生成极度倾向紧凑规则，易遗漏部分样例

关键发现¶

大模型内生强抽样假定（Implicit Strong-Sampling Assumption）：在默认无特定抽样说明的提示下，LLMs 表现出的 $(\alpha, \beta)$ 拟合几乎与明确指定强抽样的 Strong Prompt 完全重合，而与 Weak Prompt 大相径庭。这意味着大模型在没有上下文相反指示时，默认假定所有见到的数据均是由目标概念紧密约束生成的，天然带有一种追求紧凑解释的奥卡姆剃刀归纳偏置。
思考模式抑制了“尺寸原则”（Thinking Dampens Size Principle）：开启思维链/思考模式后，配对实验显示模型平均的 $\alpha$ 普遍上升而 $\beta$ 显著下降。思考模式引导模型更多审视全局背景规则与可替换解释，从而削弱了因连续几个正例就草率收缩为超窄假设的冲动，使其行为在分布几何上更接近人类被试的先验主导特征。
准确率与简洁性的显著割裂（Evaluation–Generation Gap）：在 MAP 假设估计中，假设评估（Eval）倾向于选择覆盖所有已知样例但集合范围适度偏大的假设（样例一致性达 0.86，支持集占比相对更大）；而自由假设生成（Generate）则极度偏好语法简洁、形式规则化的数学假设，甚至在面临部分复杂样例时宁愿牺牲一致性（样例一致性降至 0.71）。这表明大模型“能够识别出正确的大假设”，但“自主生成时却被语法规则的简洁性先验绑架”。
未见值域的外推失效（Extrapolation Collapse）：当把值域由 $\{1,\dots,100\}$ 扩充到 $\{1,\dots,200\}$ 时，理论贝叶斯应将区间假设限制在原域、仅将规则假设延展到新域；但实验中 LLMs 的扩展质量极不稳定，在非规则目标上也出现了显著的概率泄漏，说明 LLMs 在上下文中学到的仅仅是局限于可见上下文窗口的局部伪模式，并未建立起可在全局坐标轴上自由投射的稳固潜变量概念。

亮点与洞察¶

认知科学范式与 LLM 评估的精妙结合：论文规避了传统问答或生成基准难以定量的黑盒难题，把经典的 Tenenbaum 数感博弈移植为 LLM 认知诊断的标准化“探针箱”，借助全集可枚举的先验数学结构，实现了大模型少样本信念更新的显式解耦分析。
为“LLM-as-a-Judge”的高效性提供了认知推断解释：实验发现的“评估-生成割裂”现象从概率推断角度解释了为何当前 LLM 评审与判别（Judge）往往比直接生成更为可靠——因为评估任务直接卸载了假设空间的离散搜索负担，使得模型能够利用更全面的一致性准则进行打分，而自由生成则极易陷入局部规则诱导的欠拟合先验中。
对 AI 科学发现（AI for Science）范式的警示：当前将大语言模型直接用于科学假说生成存在根本性隐患；模型在所见数据范围内看起来头头是道的“规则推理”，在外推到新实验条件或更大参数空间时极易发生表征塌缩与伪相关泄漏。

局限与展望¶

作者承认的局限：受控数感博弈是一维离散整数上的小规模玩具任务，规则和区间结构虽然完备但在现实中较为简化；主实验的多项指标依赖单次确定性解码或缓存推理，尚未穷尽多轮随机采样的温度敏感性；跨探针投影在一定程度上依赖于作者定义的基准规则解析器。
审视局限：外推任务仅测试了一维空间尺度的倍增（100 到 200），尚未涉及连续变量、高维符号结构或图结构数据的概念泛化；评估与生成之间客观存在的提示信息量不对称（候选列表 vs. 自由生成）部分混淆了搜索策略与内在表征能力的界限。
改进与拓展思路：未来可将该两参数贝叶斯分析框架推广至代码补全中的变量类型推断、符合作图定理的符号回归以及分子晶体结构的局部微环境外推中；此外，可在后训练（Post-training）阶段显式引入贝叶斯一致性强化学习奖励（Bayesian Coherence RL），约束模型在自生成、打分与逐点预测之间的跨探针分布守恒。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将认知科学数感博弈系统性引入 LLM 假设推断评测，提出 $(\alpha, \beta)$ 拟合解耦框架]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 8 款主流开源与闭源前沿模型，涵盖三种探针、多种抽样提示及外推实验]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰，认知科学背景与机器学习实验结合得极为优雅顺畅]
价值: ⭐⭐⭐⭐⭐ [对理解 LLM 上下文推理机制、评估/生成不对称性及科学智能体的局限性具有极高的基础理论启发]