FutureSim: Replaying World Events to Evaluate Adaptive Agents¶

会议: NeurIPS 2026
arXiv: 2605.15188
OpenReview: https://openreview.net/forum?id=VBt2tCcXYT
论文: https://arxiv.org/abs/2605.15188
代码: https://openrewardstandard.io/
领域: LLM Agent
关键词: 智能体评测, 开放世界预测, 测试时适应, 严格沙箱隔离, Brier技能分数

一句话总结¶

FutureSim 通过严格防未来信息泄露的沙箱回放模型知识切断期之后的真实新闻流与事件解析序列，以开放式概率预测与 Brier 技能分数全面衡量前沿大模型智能体的长程测试时自适应与不确定性推理能力。

研究背景与动机¶

当前基于大语言模型的自主智能体（LLM Agents）在静态问答、编程竞赛以及固定规则游戏（如 BALROG、ARC-AGI 3）中取得了显著突破，但在长期演化、信息动态涌现的开放世界环境中，模型常常暴露出无法持续适应的严峻短板。现有的智能体长程交互评测多局限于人类手工编写的虚拟游戏、软件演化（如 SWE-Evo）或模拟经济场景（如 Vending-Bench、YC-Bench），其环境动力学由规则预设或合成模型生成，无法真实反映人类社会的演化复杂性；而直接接入真实预测市场（如 ProphetArena、PredictionArena）的在线交互固然具备极高真实感，却受制于市场行情不可复现、周期昂贵且极难进行受控消融实验的困境。

导致这一评测瓶颈的核心矛盾在于：如何在保证环境演化具备真实世界复杂度的同时，构建一个完全确定、可严格复现且不受未来信息污染（Data Leakage）的评测基准。此外，交互式动作如果直接干预真实世界，将引发反事实模拟不可验证或干预成本过高的问题；而前瞻性预测（Forecasting）任务天然具备“行动不改变底层客观现实”的特性，能够完美将真实世界时间戳作为演化分布漂移的天然来源。

本文的切入点在于利用带有可靠发布时间戳的离线客观新闻快照（CCNews），将真实世界的历史进程按天步长进行离线仿真回放，要求智能体在信息逐渐披露的过程中动态更新对未来事件的概率信念。核心 idea：构建严格防未来泄露的交互式事件回放沙箱 FutureSim，将真实新闻演化转化为多选概率分布更新任务，以严格真评分规则 Brier 技能分数驱动并检验前沿智能体的长程测试时适应、自主检索、持久记忆与不确定性标定能力。

方法详解¶

整体框架¶

FutureSim 是一个按离线真实日历推进的交互式预测仿真系统。在每个模拟日，系统向智能体暴露两个核心状态：任务状态（存储待预测问题元数据、背景信息、判定准则、已解析结果及历史预测的只读状态文件）与上下文状态（严格时间切分的离线新闻数据库）。智能体通过标准化动作空间在环境中自主探索与决策：既可以调用终端命令、文件读写和混合检索工具在当天已放开的新闻子集中收集证据，也可以主动提交或修正多个问题的预测结果，并在处理完当天事务后推进日历。

整个交互流程严格限制在两类环境操作及若干辅助信息检索工具中，整体架构如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：330道切断期后真实预测问题 + CCNews离线时间快照"] --> B["环境状态推进与严格沙箱隔离<br/>bwrap沙箱按日放开目录，切断外网与未来泄露"]
    B --> C["时序交互与长程预测循环<br/>submit_forecast提交子分布，next_day结算推进"]
    C --> D["测试时自适应基线脚手架<br/>上下文消耗反馈 + 显式分层记忆 + 强制压缩阶段"]
    D --> E["严格真评分评测协议<br/>基于BSS与Top-1匹配验证校准度与适应增益"]
    E --> F["输出：智能体长程测试时自适应轨迹与能力剖析"]

关键设计¶

1. 严格防未来信息泄露的沙箱与离线语料构建：解决公开 API 时间过滤失效与未来知识污染痛点

在线搜索引擎（如 Brave API）即便指定时间范围过滤，也常因维基百科/新闻网站的事后编辑更新或搜索索引排名污染导致答案在解析日前提前泄露（例如米兰冬奥会奖牌得主在比赛日前就被检索到更新后的百科摘要）。针对这一致命问题，FutureSim 彻底切断外部实时网络访问，基于 Common Crawl News（CCNews）在 2023 年 1 月至 2026 年 3 月的 736 万篇去重去噪新闻构建本地只读语料库，并在 Linux 服务器上依托 bwrap 实施深度沙箱隔离。系统按模拟日期（2025-12-24 至 2026-03-28）逐步放开对应日期的只读新闻子目录，并配备基于 LanceDB 的本地混合检索工具（结合 Qwen3-Embedding-8B 语义向量与 BM25 关键词），在底层索引代码中硬编码日期上界约束，同时将任务元数据 state.csv 设为只读，确保智能体绝对无法触及未来的客观事实。

2. 开放式多结果概率预测与严格真评分机制：解决自由生成任务中置信度标定与惩罚失衡

传统自由问答或预测基准要么只考查单输出准确率，要么预先给定选择题选项，无法真实模拟面对未来时的开放式探索。FutureSim 允许智能体针对每个问题自主提出至多 5 个互斥的候选离散结果 \(\Omega_q = \{o_1, \dots, o_k\}\) 并赋予相应概率 \(p_q(o_i) \ge 0\) 且满足次概率分布约束 \(\sum_{i=1}^k p_q(o_i) \le 1\)。为了在无固定选项前提下对预测质量与置信度校准实施无偏奖惩，作者推导并引入了面向次概率分布的 Brier 技能分数（Brier Skill Score, BSS）：

\[BSS(q) = 1 - \sum_{o \in \Omega_q \cup \{y_q\}} \left( p_q(o) - \mathbf{1}[o = y_q] \right)^2\]

其中 \(y_q\) 为由 DeepSeek-V3.2 语义裁判核实判定的真实发生结果。未被命名的候选结果其分配概率隐式视为 0。该指标满足严格真评分（Strictly Proper Scoring Rule）性质：当智能体给出完全笃定的正确预测（\(p=1\)）时得满分 1；当智能体选择弃权完全不预测（\(p=0\)）时得 0 分；而若狂妄地将全部概率分配给错误结果，则遭遇极刑惩罚得 -1 分。这从博弈论和信息论层面杜绝了智能体瞎猜刷分的可能，促使其在不确定性下进行理性概率校准。此外，环境还引入考虑预测提前期的时间加权分数（Time-Weighted Score, TW），对尽早给出高确定度准确预测的智能体予以额外累积奖励：

\[TW = 100 \sum_{q \in \mathcal{Q}} \frac{1}{|T_q|} \sum_{t \in T_q} BSS_t(q)\]

3. 测试时自适应增强脚手架（Baseline Harness）：针对长程上下文失忆与预测固着的结构化引导

直接将大模型置于长达 88 天、跨越数千轮工具调用（GPT-5.5 消耗超 3,700 轮、1240 万 token）的原始交互环境中，开源模型往往出现第一天预测后就无休止调用 next_day() 空转、或因上下文滑动窗口截断压缩而遗忘历史搜集证据等严重病态。为此，论文设计了一套非侵入式轻量级增强脚手架： - 上下文消耗自省与日清机制：每次工具调用后实时反馈剩余上下文预算及占用率，在每日跨越时显式清空交互上下文，迫使智能体将证据外部化存储； - 分层显式持久记忆（Structured & Per-question Memory）：提供全局反思记忆与单问题专属记忆工具，将经验教训、候选人名单、历史依据分槽结构化读写； - 强制压缩阶段（Forced Memory Phase）：在调用 next_day() 推进日历或上下文饱和前，强制激活总结压缩流程，防止关键证据在滑动窗口压缩中蒸发； - 流程化预测引导（Procedural Scaffolding）：引导智能体每日按照“巡检问题状态 \(\to\) 按临期与不确定性定优先级 \(\to\) 定向检索增量新闻 \(\to\) 提交/更新预测 \(\to\) 整理记忆 \(\to\) 推进下一天”的标准闭环运作，彻底激活了测试时动态自适应潜能。

一个完整示例¶

假设系统发布预测问题：“2026 年 2 月第 60 届超级碗（Super Bowl LX）冠军将是哪支球队？”（真实结果：西雅图海鹰 Seattle Seahawks）。 - 在模拟初期（1 月中旬），智能体检索常规赛与季后赛赛况，在全局 memory 记录四强赔率，调用 submit_forecast 提交：{"Seattle Seahawks": 0.35, "Kansas City Chiefs": 0.40, "San Francisco 49ers": 0.15}（总和 0.90，留 0.10 不确定性余量）； - 随着 1 月下旬新一轮新闻入库，智能体在每日流程中发现海鹰队分区决赛获胜，通过结构化记忆更新该问题专属 notes，于 2 月初调用 submit_forecast 将预测修正为：{"Seattle Seahawks": 0.65, "Kansas City Chiefs": 0.25}； - 2 月 9 日赛事揭晓，系统结算该题真实答案。由于智能体分配给海鹰队 0.65 概率、酋长队 0.25 概率，其实际单题 BSS 计算为 \(1 - (0.65-1)^2 - (0.25-0)^2 = 1 - 0.1225 - 0.0625 = 0.815\)。若智能体初期过于盲目偏信酋长队并给其打出 0.80 且未做动态调整，其最终 BSS 将暴跌至 \(1 - (0.80-0)^2 - (0-1)^2 = -0.64\)，严重拖累总分。

实验关键数据¶

主实验：前沿模型在原生环境与增强脚手架下的综合表现¶

主实验在 2025 年 12 月 24 日至 2026 年 3 月 28 日（88 天模拟窗口，330 道真实世界预测事件）上对闭源旗舰模型及开源顶尖权重模型展开全周期评测。各模型均在最高推理计算预算（Maximum Reasoning Effort）及 3 次独立随机种子下运行。

模型	交互框架 (Harness)	终局 Top-1 准确率 (%)	初始 BSS (Day 0)	终局 BSS (Day 88)	交互操作总步数
GPT-5.5	Native Codex	24.8	+0.04	+0.16	~3,700
Claude Opus 4.6	Native Claude Code	16.5	-0.12	-0.05	~2,100
DeepSeek-V4 Pro	Native Claude Code	14.2	-0.21	-0.11	~2,000
GLM-5.1	Native Claude Code	12.1	-0.18	-0.14	~1,200
Qwen-3.6 Plus	Native OpenCode	8.4	-0.32	-0.38	~520
Claude Opus 4.6	Our Baseline Harness	19.4	-0.10	+0.06	~2,500
DeepSeek-V4 Pro	Our Baseline Harness	18.2	-0.18	+0.04	~2,400
GLM-5.1	Our Baseline Harness	15.6	-0.16	+0.01	~1,600
Qwen-3.6 Plus	Our Baseline Harness	13.5	-0.28	+0.02	~1,100

注：BSS > 0 代表模型预测优于完全弃权（不预测得 0 分）；所有开源模型在原生框架下 BSS 全程为负，意味着盲目给出高置信度的错误猜测，其预测价值低于不给预测。

消融实验：长程交互核心能力解耦分析（以 GPT-5.5 / Our Harness 为基准）¶

消融配置 / 评测设定	Top-1 准确率 (%)	Brier 技能分数 (BSS)	核心机制与结论说明
完整配置 (Full Simulation + Agentic Search)	24.8	+0.16	随时间持续感知每日 24.4 万篇增量新闻并自主多轮检索
w/o 增量新闻 (语料冻结在 Day 0)	17.9	-0.08	缺乏增量信息导致模型反复反思产生自强化过拟合与虚假自信
w/o 自主多轮检索 (单次标题语义召回)	12.4	-0.15	单次检索无法捕捉多跳证据链，导致极端不校准
全知独立直测 (解析前 1 天单题全信息检索)	31.2	+0.15	无历史预测锚定干扰下的理论上限，揭示长程自适应的滞后损耗
w/o 持久外部记忆 (Ablate Memory Tools)	18.1	+0.03	依赖短期上下文，记忆被压缩后频繁发生概念漂移与重复探索
推理算力缩减 (Reasoning Effort: None)	9.2	-0.42	缺乏测试时思维链的模型几乎无法完成复杂置信度概率校准

关键发现¶

前沿模型普遍存在严重的“不良锚定”与测试时更新惰性：在控制初始预测为最差模型（Qwen-3.6 Plus）预测集的实验中，即使后续给入真实新闻与负分反馈，包括 GPT-5.5、Opus 4.6 在内的所有顶尖模型均被初始答案深度锚定，最终 BSS 甚至无法反弹回 0（不预测基线），揭示出 LLM 在动态长程情境中自我纠偏和打破先入之见能力的极大欠缺。
开源模型高度依赖外置脚手架释放潜能：Qwen-3.6 Plus 和 GLM-5.1 在原生编程智能体框架中表现低迷，Qwen 甚至出现校准恶化（BSS 从 -0.32 恶化到 -0.38）；而在引入强制记忆压缩与流程化引导的 Baseline Harness 后，全线跨越 0 分线进入正向收益区间，表明现阶段开源模型的瓶颈很大程度来自长任务编排机制而非纯粹的参数规模。
与人类预测市场表现高度相关，甚至领先局部群体：在与 Polymarket 真实人类交易行情的比对中，GPT-5.5 在第 60 届超级碗及葡萄牙大选等交易量数亿美元的重大市场上，其预测更新拐点领先于人类市场情绪；但在高度依赖人类主观喜好的格莱美奖项上大幅落后，表明该基准能敏锐反映智能体在不同社会学任务中的世界理解深度。

亮点与洞察¶

将预测任务作为长程演化与真实世界评测的零风险抓手：利用真实新闻时间流切分，既彻底规避了传统交互环境中模拟反事实的虚假性（Sim2Real Gap），又保证了环境在经济学与社会学维度的高价值和高信息密度。
严格数学性质的 Brier 技能分数扩展：成功将多分类严格真评分规则适配至自由生成（Free-form）且候选数可变、允许次概率分布的智能体预测场景，为未来开放式不确定性评估提供了严密数学工具。
揭示了“自条件反射（Self-Conditioning）”的病态过拟合机制：模型在写下反思笔记后，往往在后续时间步将自己曾经写下的推测当成客观真理反复引用，形成虚假置信度滚雪球效应，这为大模型长程记忆检索与置信度更新机制设计敲响了警钟。

局限与展望¶

单向预测对物理世界交互性探索受限：任务限定在纯预测领域（Predictive Setting），智能体的行动无法反向作用并改变客观现实，因此无法直接评测执行式强化学习或具有执行性（Performative）的干预决策场景。
语料多模态与实时广度仍有扩展空间：当前离线语料主要基于新闻快报（Al Jazeera 及 CCNews 文本），缺乏社交媒体（如 X/Twitter、Reddit 讨论帖）以及多模态音视频新闻的实时高频流动，导致智能体对快节奏舆论事件的感知略微滞后。
计算与评测成本高昂：单次 GPT-5.5 或 Opus 4.6 的 90 天全流程仿真需调用数千步并消耗超千万 token，难以支持超大规模的高频回归测试。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用离线新闻时序回放破局智能体长程真实自适应评测，数学推导完备。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大旗舰模型、跨 88 天真实长程仿真、1200 万 token 级轨迹及详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 叙述流畅自然，图表翔实，论证极为严密。
价值: ⭐⭐⭐⭐⭐ 为长程测试时自适应、自纠偏、动态检索与置信度校准提供了不可多得的标准化真实基准。