CruxBench: A Benchmark of Information Discovery¶

会议: NeurIPS 2026
arXiv: 2609.35879
代码: https://github.com/ai-prophet/cruxbench
领域: LLM评测
关键词: 信息发现, 预测基准, 信息价值, 预测市场, 大语言模型评测

一句话总结¶

提出了首个评估大语言模型“信息发现”能力的开放式基准 CruxBench，利用预测市场量化模型分解出的子问题（crux）对终极预测目标的信息价值（VOI），发现前沿模型仅微弱超越随机基线且与理论上限存在数量级差距。

研究背景与动机¶

现有大语言模型（LLM）基准评测主要聚焦于在静态测试集上评估给定问题的回答准确率。然而，在复杂决策与长周期未来预测等真实场景中，核心瓶颈往往不是在已知问题上输出答案，而是自主识别“哪些问题值得被提出”。当人类专家与决策者面对诸如经济衰退或地缘冲突等长期终极问题时，必须能够主动将宏观复杂不确定性解构为关键的中间子问题（称之为关键节点/关键转折点，crux），通过追踪这些子事件的发生与解决来动态校准并更新对终极目标的信念分布。以往的评测范式因固守预定义标准答案，不仅无法考核这种发散、开放的“信息发现”（Information Discovery）能力，而且普遍面临预训练数据污染的严重威胁。

虽然将评测目标锚定在未来未知事件的预测基准（Forecasting Benchmarks）在一定程度上抵御了数据泄露，但它们依然只停留在终极预测结果的概率校准上，无法量化模型提炼中间高价值信号的敏锐度。设计一个评估信息发现能力的基准存在多重困难：模型提出的子问题完全开放且表述多样，缺乏唯一的标准文本或数值答案；如果采用人工打分或模型自评，主观性与幻觉将难以避免；而若要度量信息的有效性，必须在现实世界中找到高流动性、能实时反映群体信念变化的客观载体。

本文正是从填补这一方法空白的角度切入，引入了基于统计决策论与信息论的信息价值（Value of Information, VOI）框架，并创造性地将其锚定在真实预测市场（Polymarket）的大规模价格变动上。核心 idea：利用预测市场中终极事件价格作为群体真实信念载体，构建首个开放、抗污染且客观接地的评测基准 CruxBench，通过单样本无偏 KL 散度估计器量化模型所提子问题（crux）解决时对终极问题引起的信念更新幅度（VOI）。

方法详解¶

整体框架¶

CruxBench 的核心目标是端到端量化模型生成子问题的信息价值，整个流水线涵盖数据筛选、子问题生成、独立自动化裁决以及群体信念差分估计四个串联阶段。对于任意终极预测问题 $U_i$（如“美国未来两年内是否会发生衰退”），系统首先在不重叠的时间窗口内向待测生成模型提供窗口开启前的标准化检索新闻；模型必须提出一个预期在该窗口内明确解决的二元子问题 $Q_{ij}$。随后，由独立的裁决智能体结合全网证据判定子问题是否可裁决、裁决结果及发生时间戳 $t_{ij}$。最后，评测系统从 Polymarket 对应市场的真实交易历史中提取 $t_{ij}$ 前后 24 小时成交量加权的市场胜率，计算无偏信息价值指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["终极预测市场与时间窗口选择<br/>Polymarket 筛选 293 个活跃市场"] --> B["阶段 1：标准化上下文下的子问题生成<br/>检索限定时间新闻，生成候选 crux"]
    B --> C["阶段 2：基于外部证据的独立自动化裁决<br/>判定二元结果与精准解决时间戳"]
    C --> D["阶段 3：成交量加权的真实市场信念抽取<br/>平滑提取前后 24 小时胜率"]
    D --> E["阶段 4：基于 KL 散度的无偏信息价值估计<br/>单分支观测下的群体 VOI 计算"]

关键设计¶

1. 基于 KL 散度的单分支无偏信息价值估计器：解决反事实不可观测与方差发散难题

在经典决策论与信息论中，一个子问题 $Q$ 对于终极问题 $U$ 的信息价值（VOI）定义为先验信念 $p=P(U=1)$ 与后验随机变量 $\mathbb{P}'=P(U=1 \mid Q)$ 之间的互信息或期望熵减： $$\mathrm{VOI}(Q,U) := H(p) - \mathbb{E}_Q[H(\mathbb{P}')] = I(U;Q)$$ 但在真实世界中存在根本性识别障碍：现实历史只能走一条分支（要么 $Q=1$ 发生，要么 $Q=0$），反事实后验无法观测，且子问题真实先验概率 $q=P(Q=1)$ 无法精确获取。若直接采用传统熵减 $\Delta H(p,p') = H(p) - H(p')$，在单一已实现分支上往往会出现严重负值（例如当先验概率偏向极端 $p=0.9$ 而突发丑闻将后验拉回最大不确定性 $p'=0.5$ 时，熵反而增加，导致 $\Delta H < 0$，违背信息有价值的直觉），且包含一阶扰动项而带来巨大的抽样方差。

本文严谨证明了采用后验相对先验的伯努利 KL 散度作为单样本估计函数 $g(p,p') = \mathrm{KL}(p,p')$，同样构成了总体信息价值 $\mathrm{VOI}$ 的严格无偏估计： $$\mathrm{KL}(p,p') := \mathrm{KL}\big(\mathrm{Bern}(p') \,\big\|\, \mathrm{Bern}(p)\big) = p'\log_2\frac{p'}{p} + (1-p')\log_2\frac{1-p'}{1-p}$$ 根据泰勒展开，当信念变动 $\delta = p' - p$ 较小时，$\mathrm{KL}(p,p+\delta) = \frac{\delta^2}{2\ln(2)p(1-p)} + O(\delta^3)$，自然消除了熵减中正比于 $\log\frac{p}{1-p}\delta$ 的一阶方差贡献，从而保证了在单样本级别恒满足非负性，且在小扰动弱信号机制下拥有更低的抽样方差。

2. 严格时序隔离与抗污染的真实子问题生成协议：杜绝前瞻偏差与信息不对称

为确保基准对当前及未来模型绝对免疫于数据泄露与预训练污染，CruxBench 将所有评估问题的时间下限强制设定在 $t_0 = 2025\text{ 年 } 9\text{ 月 } 1\text{ 日}$ 之后，晚于所有参评模型的官方公开训练截止期。对于每个终极问题 $U_i$，将其存续周期划分为若干 30 天的不重叠评测窗口，并在窗口截止前保留 3 天缓冲期（$\tau = 3\text{ 天}$），防止子问题解决与终极问题收盘结算出现流动性交叉。

在生成阶段，评测协议完全禁用生成模型的外部网络搜索，改为通过 AskNews API 提取在该 30 天窗口开启时间点之前公开发布的至多 10 篇最相关高质量新闻作为标准化上下文输入。这一机制使所有模型在面对同一个未来预测目标时站在同一认知起点上，必须自主推理出既在时间窗口内具有可观测落地抓手、又对终极胜负具有强相关指示作用的中间事件。

3. 外部证据对齐的双层自动化裁决管线：保证时间戳与判决结论客观精确

由于大模型生成的子问题不是金融交易所中现成的标准化合约，无法直接从外部数据库中抓取结算记录。为此，系统引入了独立于待测模型的 Claude-Sonnet-4.6 作为裁决智能体（Resolver），配备专属新闻检索工具（最多 10 次调用），自主搜寻指定时间窗口内的公开事实，输出该子问题是否客观可解、二元判定标签 $Q_{ij} \in \{0,1\}$ 以及最早出现决定性证据的时间戳 $t_{ij}$。

为了消除裁决幻觉与跨模型偏差，系统进一步部署了 Claude-Sonnet-5 担任时间戳核验与对齐智能体（Verifier），对照底层公共证据核实具体发生时刻，并统一不同模型针对同一现实事件生成子问题时的结算时间戳。若一个子问题属于由于表述含糊、缺乏公开可查依据而无法判定的情况，系统将其截断赋值为 $\mathrm{KL}=0$，从机制上严厉惩罚模型依靠泛化、不可判定的空话套取分数的投机行为。人工盲审抽样验证表明，该裁决管线与人类标注的一致率高达 92.6%，标签准确率达 96.9%，时间戳精确度达 95.7%。

4. 成交量敏感的预测市场真实信念滤波：滤除低流动性虚假挂单噪音

去中心化预测市场中的原始交易对行情通常记录最优买卖报价的中间价（midpoint），在成交稀疏时，做市商撤单或无成交的宽幅摆动会造成虚假的价格跃迁。为此，CruxBench 建立了基于交易量的连续平滑滤波器：设定前后 12 小时滑动窗口内的 USDC 实际交易量为 $V_t$，构建平滑权重 $\alpha_t = \min(1, V_t / 1000)$。

平滑后的有效价格序列递推定义为 $p_t = \alpha_t p_t^{\mathrm{raw}} + (1-\alpha_t) p_{t-1}$。只有当局部交易量充分充沛（$\ge 1000\text{ USDC}$）时，系统才完全信任原始价格；流动性为零时则自动保持历史价格前滚。随后，评测从滤波后的价格曲线中提取 $t_{ij}$ 前后各 24 小时的均值作为先验 $\hat{p}_{ij}$ 与后验 $\hat{p}'_{ij}$，确保捕获的跳变代表真实资金真金白银博弈后的群体信念重定价。

实验关键数据¶

主实验¶

在从 Polymarket 严格过滤出的 293 个高流动性宏观/政治/经济终极预测问题上，对 8 种代表性前沿与开源模型进行了完整测评。基线包括在窗口内所有候选时刻取平均的“随机时机基线”（Random timing baseline），以及在事后挑选窗口内市场最大单次波动的理论上限“事后先知上限”（Hindsight Oracle）。

模型	$\widehat{\mathrm{VOI}}^{\mathrm{KL}}$ (bits)	95% 置信区间	可裁决子问题数 (率)	知识截止日期	综合能力相关系数 ($r$)
Claude-Opus-4.6	0.016**	[0.009, 0.023]	279 (95.2%)	Aug 2025	—
Gemini-3.1-Pro-Preview	0.014*	[0.007, 0.020]	274 (93.5%)	Jan 2025	—
GPT-5.4	0.013*	[0.007, 0.019]	268 (91.5%)	Aug 2025	—
DeepSeek-V3.1	0.012	[0.003, 0.020]	262 (89.4%)	Aug 2025	—
Qwen3-235B-A22B	0.012	[0.005, 0.018]	271 (92.5%)	Jul 2025	—
Llama-3.3-70B	0.010	[0.005, 0.016]	252 (86.0%)	Dec 2023	—
Llama-3.1-8B-Instruct	0.010	[0.005, 0.015]	271 (92.5%)	Dec 2023	—
GPT-3.5-Turbo	0.009	[0.005, 0.013]	275 (93.9%)	Sep 2021	—
随机时机基线 (Random)	0.007	[0.006, 0.009]	—	—	—
事后先知上限 (Oracle)	0.129	[0.100, 0.157]	—	—	—

注：** 表示相对随机基线达到 $p<0.01$ 显著性；* 表示 $p<0.05$。

消融与评测指标对比分析¶

论文系统对比了不同信息度量函数在相同评测集上的表现差异，包括传统熵减 $\widehat{\mathrm{VOI}}^{\Delta H}$、绝对概率变化量 $|\Delta p|$ 以及基于方差的二次概率变化量 $\Delta p^2 = (p'-p)^2$。

| 模型 | $\widehat{\mathrm{VOI}}^{\mathrm{KL}}$ (Rank) | $\widehat{\mathrm{VOI}}^{\Delta H}$ (Rank) | $|\Delta p|$ (Rank) | $\Delta p^2$ (Rank) | 下游预测 Brier 改进 | 下游预测 AUC 改进 | |---|---|---|---|---|---|---| | Claude-Opus-4.6 | 0.016 (1) | 0.017 (1) | 0.027** (1) | 0.004* (1) | 0.198 → 0.176 (+0.022) | 0.690 → 0.730 (+0.040) | | Gemini-3.1-Pro-Preview | 0.014 (2) | 0.011 (3) | 0.024* (2) | 0.003* (2) | 显著改进 | 显著改进 | | GPT-5.4 | 0.013 (3) | 0.009 (6) | 0.023 (3) | 0.003 (3) | 轻微改进 | 无显著改善 | | DeepSeek-V3.1 | 0.012 (4) | 0.014 (2) | 0.020 (5) | 0.003 (4) | 小幅改进 | 无显著改善 | | Qwen3-235B-A22B | 0.012 (5) | 0.007 (8) | 0.021 (4) | 0.003 (5) | 小幅改进 | 无显著改善 | | Llama-3.3-70B | 0.010 (6) | 0.009 (7) | 0.019 (7) | 0.002 (6) | 小幅改进 | 无显著改善 | | Llama-3.1-8B-Instruct | 0.010 (7) | 0.010 (5) | 0.019 (8) | 0.002 (8) | 小幅改进 | 无显著改善 | | GPT-3.5-Turbo | 0.009 (8) | 0.011 (4) | 0.019 (6) | 0.002 (7) | 微弱改进 | 无显著改善 |

关键发现¶

前沿模型与理论上限存在巨大鸿沟：虽然 Claude-Opus-4.6、Gemini-3.1-Pro-Preview 和 GPT-5.4 在统计学上显著战胜了随机基线（$0.013 \sim 0.016\text{ bits}$ vs $0.007\text{ bits}$），但所有开源模型及旧一代模型与随机基线均无显著差异。更重要的是，顶级模型得分距离事后先知上限（$0.129\text{ bits}$）相差近一个数量级，这表明即使目前最强大的模型在主动发现关键前瞻性转折点上依然处于非常初级的探索阶段。
VOI 与通用智能及预测能力呈极强正相关：模型生成的 crux VOI 得分与 Epoch AI 综合能力指数（ECI，涵盖 50+ 基准）呈现高度强相关（Pearson $r=0.90, p<0.01$）；与模型自身在终极问题上的初始预测准确率同样高度正相关（对负 Brier 分数 $r=0.76$，对 AUC $r=0.85$）。
高质量 crux 对下游外部预测有实质赋能：将模型提出的已解决 crux 提供给三款完全独立的下游预测模型（Claude-Haiku-4.5、Gemini-3-Flash、GPT-5-Mini），高 VOI 模型能够带来显著的预测误差下降（Brier 得分从 0.198 降至 0.176）并显著提升判别力（AUC 从 0.690 提升至 0.730）。
语义相似性不能等同于操作等价性：不同模型在面对同一终极问题时生成的子问题语义余弦相似度均值高达 0.75，但在设定了具体数值阈值的配对中，高达 84% 采用了完全不同的数值截断点；24% 的语义相似问题最终得出了相反的 Yes/No 裁决。例如在“卢浮宫失窃珠宝归还”案例中，要求“抓捕或起诉”的子问题及时捕获了市场跳变（$\mathrm{KL}=0.135$），而要求“必须抓捕并同时被起诉”的严格措辞由于公诉滞后了 4 天导致得分归零（$\mathrm{KL}=0.002$）。这表明信息发现极度依赖精准的现实可操作性定义，而非仅靠表层语义。

亮点与洞察¶

将“信息发现”从主观评估锚定为客观物理世界博弈：该研究摆脱了传统基准对标准答案比对或大模型裁判打分的依赖，利用真金白银交易的去中心化预测市场价格流变作为群体信念真值，成功实现对开放式提问能力量化打分的范式创新。
KL 散度估计器在弱信号机制下的优雅低方差特性：推导并实验证明了单样本 KL 散度与传统信息熵减在期望意义下的等价性与无偏性，并通过泰勒展开揭示其二阶截断属性，完美解决了小扰动下熵减由于一阶波动引发的负值反直觉与方差发散问题。
揭示了前沿模型生成“虚假承诺”的风格偏差：深入分析发现 GPT-5.4 虽具备较高的市场变动相关性，但偏好生成关注“机构公开声明/表态意向”的软性子问题，虽然能引发短暂市场情绪波动，但对终极胜负的实质判别力（AUC）提升不如 Claude-Opus-4.6 扎实，为评估模型推理的严谨性提供了全新微观证据。

局限与展望¶

单分支现实观测无法解构单题绝对 VOI：由于历史仅发生一个分支，目前理论框架只能保证在总体（Population-level）大样本平均下的无偏估计，无法针对单次特定终极问题与子问题精确计算其绝对的真实双分支期望信息价值。
市场价格与纯粹因果归因的潜在耦合噪声：预测市场的价格波动可能同时混杂了与该 crux 无关的宏观突发新闻、流动性冲击或做市商噪音，24 小时时间窗口虽然有效平滑了微观波动，但无法做到绝对的因果隔离。
目前依赖事后回溯评估而非实时活体推断：受限于模型知识截止期与测试集泄露风险，当前实验采用事后切片回溯评测，未来需进一步扩展至完全流式、面向真实未来事件的实时自动化在线竞技场。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以群体预测市场为真值检验模型开放式信息发现与提问能力的评测范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款主流前沿与开源模型、293 个真实市场、蒙特卡洛方差模拟与三方独立下游预测校验。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨自洽，对无偏估计器数学特性的分析和实验案例剖析极具说服力。
价值: ⭐⭐⭐⭐⭐ 为长周期战略规划、决策智能体及未来预测大模型开辟了极具挑战性且天花板极高的新评测赛道。