Deep Reasoning in General Purpose Agents via Structured Meta-Cognition¶

会议: NeurIPS 2026
arXiv: 2605.11388
代码: https://github.com/DeanLight/dolores
领域: LLM Agent
关键词: 元认知推理, 动态脚手架, 联想与形式化推理, 递归子问题分解, 认知负荷分配

一句话总结¶

提出 Deep Reasoning 形式化元认知语言与 Dolores 通用智能体，通过将人类元推理轨迹转化为小规模上下文原子分解示例，在测试时动态构建即时脚手架（just-in-time scaffold），以递归线程分散单步认知负荷，跨四大复杂基准平均超越最强脚手架基线 24.8%。

研究背景与动机¶

人类在解决复杂多步问题时，能够在规划、执行、子目标修正与逻辑推演间灵活切换认知模式：遇到概念模糊或模式匹配任务时采用直觉联想，遇到精确规则与计算时则调用形式化流程。然而，现有的 LLM 智能体脚手架（如 ReAct、CodeAct、Deep Research 与 RLM）普遍采用预先硬编码的推理模式与固定交互拓扑。当外部任务与预设的执行路径完全吻合时，这些静态脚手架表现优异；一旦面对需要动态调整思考架构的高难度长程推理，固化的拓扑便会失去弹性。

现有智能体在长链与高负荷任务中频现失败，其核心矛盾在于单次调用认知过载与静态脚手架的结构性僵化。实验分析表明，主流基线在无限 token 预算下的主要失败模式是过早终止（占比 78%）与幻觉编造（占比 45%）：智能体试图在单个 LLM 上下文线程中同时完成多跳信息检索、海量文档过滤、精确符号计数及全局任务规划，过大的工作记忆负载导致上下文混乱与推理走偏，继而草率放弃或臆造工具输出。尽管人类天然具备精细分配认知负荷的元推理能力，但目前学术界仍缺乏一种严谨的形式化机制，将人类内隐的元认知分解原则结构化并无缝注入智能体系统。

本文的切入角度是：借鉴认知科学中的双加工理论与元认知监控体系，将元推理本身抽象为一种形式化可执行语言，让智能体在测试期根据具体输入与中间执行状态即时生成专属于当前任务的推理脚手架。核心 idea：将人类元推理轨迹形式化为「联想推断-形式计算-递归子问题分解」的三元原子组合，通过少量上下文示例引导智能体在测试期动态构建即时执行脚手架，以受控的细粒度递归线程分摊认知负荷。

方法详解¶

整体框架¶

Deep Reasoning 框架将复杂任务求解建模为三层递进的认知解耦流程。针对任意自然语言任务句子 $x$，系统首先由建模函数 $m$ 依据提示词中的原子分解示例，将其解构为一个嵌套了联想推断、形式执行与元推理调用的形式化程序；随后，宿主环境（Python REPL 解释器 $\mathcal{E}$）执行该代码，并在遇到子任务时递归派发独立的 Dolores 智能体实例 $\mathcal{I}_{\mathrm{D}}$ 或单步联想调用 $\mathcal{A}$，最终汇总子线程的确定性执行结果返回全局答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["复杂输入任务句子 x"] --> B["形式化元建模<br/>原子分解映射"]
    B --> C["双重解释器执行环境<br/>Python REPL 调度"]
    C -->|形式化规则与聚合| D["形式化计算与符号归约"]
    C -->|受限直觉推断| E["单步联想推理"]
    C -->|复杂子问题派发| F["递归 Dolores 子代理<br/>独立上下文线程"]
    D --> G["解题结果与变量汇聚"]
    E --> G
    F --> G
    G --> H["最终确定性答案输出"]

关键设计¶

1. 形式化元建模：将人类元推理轨迹形式化为原子分解示例

针对传统硬编码脚手架无法泛化到未知结构任务的缺陷，本文设计了 Deep Reasoning 形式化元语言。系统界定了理想真实解释器 $\mathcal{I}$、神经联想解释器 $\mathcal{A}$（如大语言模型单次调用）与形式化确定性解释器 $\mathcal{E}$（如 Python 执行环境）。对于输入句子 $x$，形式化模型集合定义为所有满足执行等价性的代码句子： $$\mathcal{M}_{\mathcal{E}}(x) = \{y \in \mathbf{L} \mid \mathcal{E}(y) = \mathcal{I}(x)\}$$ 建模函数 $m: \mathbf{\Sigma}^+ \to \mathbf{L}$ 将人类言语化的元推理轨迹直接映射为包含三种基元的原子代码：委托给形式代码的符号操作（原则 P1）、由元推理递归分解直到单步负载处于上下文容量内的对象级任务（原则 P2），以及将元认知决策拆解为可组合单元的渐进建模调用（原则 P3）。在具体实现中，系统仅需 5-10 个代表性人类元推理示例注入系统提示词，即可使建模模型 $m$ 自适应推断出与新任务拓扑匹配的执行代码，完全避免了针对每个任务领域硬编码控制器。

2. 递归智能体执行回路：Dolores 即时动态脚手架

为解决将过多规划与推理杂糅在单线程所引起的上下文污染与注意力涣散，Dolores 将元推理与实际执行紧密绑定在多层嵌套的运行回路中。数学上，Dolores $\mathcal{I}_{\mathrm{D}}$ 与原子建模函数 $m^{a}$ 的递归执行关系定义为： $$\mathcal{I}_{\mathrm{D}}(x) = \mathcal{E}_{\mathcal{I}_{\mathrm{D}},\,\mathcal{A}}\!\left(m^{a}_{\mathcal{I}_{\mathrm{D}},\,\mathcal{A}}(x)\right)$$ 在 Python REPL 环境中，每个推理步均包含建模模型 $m$ 生成的简短思考链及紧随其后的正式代码块。解释器在执行代码时，不仅能调用外部常规工具与符号运算，还能向内部注入的 llm() 接口发起直观模式匹配，或通过 DoLoReS.add_task() 递归调用全新的 Dolores 智能体实例。各递归子智能体在干净且物理隔离的子 REPL 环境中独立运行，仅通过确定的返回值与父级环境交互。这种机制切断了历史对话中冗长噪点向后续步骤的雪崩式传导，将高风险的多跳推理收敛为一系列受控子步骤的确定性程序流。

3. 认知负荷受控分配机制：细粒度推理线程与防早停策略

针对复杂任务中单步过载诱发的幻觉与过早放弃，Dolores 确立了严格的负荷分摊范式。在处理多跳问答或超长上下文聚合时，Dolores 不允许单次模型调用直接输出最终跨越式结论，而是要求建模模型将依赖关系解耦为多段检索与抽取链。在每一跳中，前序检索产出的精简实体或文本段被独立喂入专属的抽取子线程；对于统计或枚举任务，系统通过符号匹配切分文档块后分派并行子代理，各代理仅在局部片段内完成局部计数，最后由 Python 符号加和完成聚合。这种设计保证了每个 LLM 上下文线程处理的信息量远低于模型的认知负荷极限，从而消除了单步查询失败导致的连锁性放弃。

一个完整示例¶

以超长对话文本（Oolong-real）中的复杂规则统计为例（例如统计特定 D&D 战役中所有掷骰子总数及骰点为 4 的百分比）： 1. 文档结构切分（原则 P1 & 形式化执行）：主代理首先在 REPL 中执行确定性切分代码，通过匹配 [START OF EPISODE] 与 [END OF EPISODE] 分隔符，将上百万 token 的全局长文本切分成 8 个独立剧集片段。 2. 并发子任务派发（原则 P2 & 递归子代理）：主代理通过 DoLoReS.add_task() 注册 8 个并发子任务，为每个剧集文本指定专门的抽取提示词，派发给隔离上下文的 Dolores 子线程。各子线程在专属局部窗口内完成单集骰点计数，输出形如 (total_rolls, fours_count) 的数值元组。 3. 确定性聚合与归约（原则 P1 & 符号计算）：8 个子线程运行完成后，主环境直接调用 Python 内置符号运算：total_rolls = sum(r[0] for r in results) 与 total_fours = sum(r[1] for r in results)，并通过 round((total_fours / total_rolls) * 100) 计算百分比并输出最终结果。整个过程规避了单模型大上下文阅读时的幻觉遗漏与数字心算失误。

实验关键数据¶

主实验¶

在涵盖合成多跳推理（SynthWorlds）、长链实体追踪（PhantomWiki-500）、深度信息搜集（DeepSearchQA）及超长上下文聚合（Oolong-real）四大评测基准上，Dolores 与 ReAct、CodeAct、Deep Research 及 RLM 进行了全面对比（分数区间 0–1，越高越好；NA† 表示基线受上下文长度限制无法评测）：

模型规模	基准评测集	ReAct	CodeAct	Deep Research	RLM	Dolores (本文)
Qwen3-8B Thinking	SynthWorlds	0.176	0.268	0.206	0.058	0.305
	PhantomWiki	0.144	0.153	0.120	0.043	0.172
	DeepSearchQA	0.124	0.149	0.142	0.139	0.161
	Oolong-real	NA†	0.045	NA†	0.065	0.076
Qwen3-32B Thinking	SynthWorlds	0.228	0.281	0.275	0.169	0.346
	PhantomWiki	0.167	0.252	0.212	0.160	0.369
	DeepSearchQA	0.177	0.213	0.230	0.190	0.241
	Oolong-real	NA†	0.060	NA†	0.077	0.132
Llama-3.3-70B Instruct	SynthWorlds	0.300	0.480	0.308	0.401	0.359
	PhantomWiki	0.244	0.381	0.160	0.270	0.512
	DeepSearchQA	0.155	0.184	0.127	0.175	0.187
	Oolong-real	NA†	0.079	NA†	0.064	0.151

消融实验¶

在 Qwen3-32B 模型上，对 Dolores 的核心驱动机制——上下文元推理原子分解示例进行了严格消融，分别测试移除示例（no-examples）以及将示例替换为纯自然语言分解设计原则（with-principles）的表现：

基准评测集	变体配置	F1 分数	精确匹配率 (EM)	核心表现说明
SynthWorlds	no-examples	0.041	0.006	移除示例导致结构分解能力严重退化
	with-principles	0.036	0.007	纯自然语言指导甚至略低于无示例
	Dolores (完整版)	0.345	0.325	具备结构化原子示例带来大幅性能跃升
PhantomWiki	no-examples	0.113	0.076	缺乏原子示例时无法自发形成多跳链
	with-principles	0.080	0.052	自然语言规则未被模型有效执行
	Dolores (完整版)	0.373	0.279	完整模型性能达到 baseline 变体的 3-4 倍
DeepSearchQA	no-examples	0.139	0.139	搜索与规划路径退化
	with-principles	0.117	0.117	纯原则提示词甚至引发模式干扰
	Dolores (完整版)	0.241	0.241	即时脚手架稳步提升深层检索命中率
Oolong-real	no-examples	0.036	0.033	丢失切分与聚合示例后无法处理百万上下文
	with-principles	0.033	0.031	模型无法自发生成并发聚合代码
	Dolores (完整版)	0.137	0.107	保持高准确率的长上下文聚合表现

关键发现¶

跨越参数规模的性能倒挂：Dolores 使得小参数模型能够越级击败大参数基线。配备 Qwen3-8B 的 Dolores 在 SynthWorlds（0.305 vs 0.281）和 Oolong-real（0.076 vs 0.060）上全面超越采用 Qwen3-32B 的最强基线 CodeAct；Qwen3-32B 版 Dolores 在 DeepSearchQA 和 Oolong-real 上的得分亦超越了 Llama-3.3-70B 驱动的所有基线。
单线程负荷大幅骤降：尽管由于递归线程增多，Dolores 总消耗 token 增加约 12.9 倍，但在单线程维度，平均每次模型调用的推理 token 减少了 71%，非推理 token 减少了 76%。在等 token 预算基线重投票（Token-Matched Majority Voting）对照实验中，多数投票对基线提升仅在 -0.019 至 +0.024 之间，Dolores 依然显著胜出，证实增益来源于计算分布结构的优化而非单纯的算力堆积。
递归深度高度收敛自控：全量 14,148 次跨模型评测运行中，Dolores 的平均最大递归深度仅为 2.88，超过 99.92% 的执行轨迹最大深度未超过 10，未出现无休止死循环递归，生产部署中设置深度截断（如阈值 10）即可稳健落地。

亮点与洞察¶

将元认知建模为可执行的一级公民：区别于传统仅将任务拆解为文字计划或工具调用的静态脚手架，Deep Reasoning 建立了涵盖联想推断 $\mathcal{A}$、形式计算 $\mathcal{E}$ 与递归元认知 $\mathcal{I}_{\mathrm{D}}$ 的形式化代数体系，使认知模式切换具备了严格的数学表达。
以上下文示例实现即时脚手架生成：完全绕开高昂的脚手架强化学习与微调训练开销，仅凭 5-10 个高度原子化的人类元认知轨迹代码示例，即可在推理时诱导 LLM 动态自适应生成最匹配当前任务的调用树拓扑。
多线程细粒度分流化解认知过载：深入揭示了 LLM 智能体在复杂长程任务中因上下文窗口单步过载而频繁过早终止与编造幻觉的本质痛点，确立了「拆细上下文负荷、将多跳串联交由确定性代码控制流」的实用系统架构模式。

局限与展望¶

依赖高质量人类先验元推理示例：Dolores 的性能很大程度上建立在精心设计的领域原子分解示例基础之上，在缺乏对应人类元认知示例的新领域中无法零样本泛化，存在一定的人工先验注入门槛。
推理总 token 开销与并发延迟较高：由于大量生成递归子代理与并行调用线程，系统总体 token 开销高于单体基线，在计算资源受限或严苛实时响应场景下存在调用成本挑战。
未来方向：探索从自然语言教科书、代码仓库或用户交互日志中自动挖掘并合成原子分解示例；引入上下文 Prompt 缓存技术以大幅摊薄共享前缀的计算开销；探索按子任务认知复杂度自适应路由至轻量级小模型的层级调度架构。

评分¶

新颖性: 4.5 / 5.0
实验充分度: 4.8 / 5.0
写作质量: 4.6 / 5.0
价值: 4.7 / 5.0