Deep Reasoning in General Purpose Agents via Structured Meta-Cognition¶

会议: NeurIPS 2026
arXiv: 2605.11388
代码: https://github.com/DeanLight/dolores
领域: others
关键词: LLM智能体, 元认知, 深度推理, 测试时脚手架, 动态分解

一句话总结¶

提出形式化元认知语言 Deep Reasoning 与通用智能体 Dolores，通过将复杂任务动态分解为联想推断、形式化代码计算与递归子问题求解，以测试时构建的轻负荷推理线程超越固定脚手架基线。

研究背景与动机¶

大语言模型智能体在复杂推理、长上下文聚合与多跳问答中展现出巨大潜力，但现有系统往往依赖于静态预设的脚手架（Scaffold）。诸如 ReAct、CodeAct、Deep Research 以及 RLM 等主流框架，通常以硬编码方式规定了任务的分解逻辑与推理流程。例如，ReAct 强制将任务拆解为线性的联想推断与工具调用链，CodeAct 将工具调用固化为单步代码执行，而 Deep Research 则预先限定为两层“管理者-搜索者”架构。这些脚手架只有在任务本身恰好契合其预设结构时才能生效，一旦面对需要根据中间状态灵活调整推理形式的复杂场景，便会表现出高度脆弱性。

这种局限的本质在于，现有脚手架在未见具体任务前就锁死了“元推理”（Meta-Reasoning）的决策路径，缺乏人类在面对复杂问题时自适应切换认知模式的能力。人类在求解难题时能够无缝融合形式逻辑（规则符号操作）与联想推断（直觉模式匹配），并在目标层（针对具体任务操作）与元层次（规划求解策略、监控进度与调整子目标）之间动态往复。当现有智能体将过重的长链推理或跨文档追踪负荷强加给单一 LLM 上下文线程时，极易诱发灾难性的过早终止与实体幻觉。

为了克服固定脚手架的结构僵化，亟需建立一种能够在推理阶段根据问题特性“即时”（Just-in-Time）构建任务专属脚手架的系统性方法。核心 idea：将人类认知中的元推理过程抽象为一套兼具联想推断、形式化执行与递归子调用的形式化语言 Deep Reasoning，并在 Dolores 智能体中通过极少数上下文示例引导模型动态构建细粒度、低认知负荷的子推理线程。

方法详解¶

整体框架¶

Deep Reasoning 的核心设计思想是区分“推理如何展开”（联想推理 $\mathcal{A}$ 与形式解释器 $\mathcal{E}$）以及“推理指向什么”（目标层任务对象与元层次控制流程），从而将原本由单一模型硬抗的庞大认知负荷，分散到具备依赖关系的原子化多线程中。Dolores 智能体依托 Python REPL 交互环境，将任务输入解析为形式化模型，并在遇到复杂未决子任务时递归调用自身创建独立上下文线程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["复杂任务输入 x"] --> B["原子建模函数 ma<br/>由示例引导的元推理分解"]
    B --> C["形式执行器 E<br/>Python REPL 环境"]
    C -->|直觉模糊解析| D["联想解释器 A<br/>轻量级单步 LLM 调用"]
    C -->|确定性规则/聚合| E["符号代码计算<br/>精确计数/过滤/算术"]
    C -->|复合子问题| F["递归调用 Dolores ID<br/>派生独立子 REPL 线程"]
    D --> G["中间变量状态更新"]
    E --> G
    F --> G
    G -->|未完结/增量建模| B
    G -->|推导完毕| H["最终结构化答案"]

关键设计¶

1. 三维认知解耦原则与形式化元推理语言：消除单线程认知过载

针对传统脚手架单步提示词承载过多逻辑与上下文导致的推理崩溃问题，Deep Reasoning 提出了三条互为支撑的形式化原则：P1（联想与形式解耦）将歧义消解、实体识别等直觉任务分配给联想解释器 $\mathcal{A}$，将严谨规则、条件判断与算术统计无条件委托给确定性形式解释器 $\mathcal{E}$（Python 代码）；P2（目标层与元层解耦）利用元推理逐步将复合目标分解，直至每个叶子节点的认知负荷完全落在单个 LLM 上下文的安全容量内；P3（原子化增量建模）允许建模函数调用自身，即在中间代码中保留尚未完全解析的子目标，交由后续建模步骤渐进式推进。通过这一套形式化表述，人类高阶元推理轨迹被标准化为可组合执行的符号表达式。

2. 递归智能体 Dolores 的环境实例化：隔离上下文与保持跨线程依赖

Dolores 将上述理论严密映射到工程实现中：形式解释器 $\mathcal{E}$ 为标准的 Python REPL 运行时，联想解释器 $\mathcal{A}$ 为基础大语言模型，建模函数 $m^a$ 同样由具备上下文分解示例的 LLM 担当。系统的核心递归方程表述为： $$\mathcal{I}_{\mathrm{D}}(x) = \mathcal{E}_{\mathcal{I}_{\mathrm{D}}, \mathcal{A}}\Big( m^a_{\mathcal{I}_{\mathrm{D}}, \mathcal{A}}(x) \Big)$$ 在 Python 环境内部，$\mathcal{E}$ 将 $\mathcal{A}$ 封装为单步自然语言推断函数 llm(...)，并将系统本身 $\mathcal{I}_{\mathrm{D}}$ 暴露为可递归调用的外部函数。当面对需多层展开的问题时，Dolores 在当前 REPL 中派生子智能体运行于全新的独立命名空间与上下文线程中，子任务执行完毕后仅将紧凑的显式返回值注回父环境，从物理上杜绝了长上下文噪声堆叠和多任务相互干扰。

3. 人类元推理轨迹的上下文少样本注入：无需微调的自适应脚手架构建

为了让 Dolores 掌握何时拆解代码、何时调用子智能体，作者并未采用高成本的强化学习或监督微调，而是直接将人类专家的口语化解题思维映射为 Deep Reasoning 形式化语法，形成少量的上下文示例（每类基准仅需 5-10 个少样本提示）。每个示例展示如何将自然语言问题转化为包含思维链短文本、Python 代码块、变量捕获以及递归 DoLoReS.add_task(...) 的执行流。模型通过强大的在位模式匹配能力，在测试时动态根据当前问题的拓扑结构推演出匹配的脚手架形式，并在执行中根据中间运行报错或返回观测实时修正后续代码。

一个完整示例¶

以长文本信息聚合基准 Oolong-real 中统计多集 D&D 跑团跑骰点数任务为例： 1. 文档切分阶段：主线程首先通过确定性代码匹配 [START OF EPISODE] 与 [END OF EPISODE] 分隔符，将数万行全局对话划分为 8 个独立的剧集文本块 episodes； 2. 并行递归分发：主线程循环调用 DoLoReS.add_task(...)，为每个剧集派发一个独立的子智能体线程，提示词限定为“统计当前单集文本中的骰子投掷总数及点数为 4 的次数”； 3. 隔离执行与聚合：8 个子线程各自在清晰、未被截断的局部上下文中专注抽取数字并返回二元组 $(total_i, fours_i)$； 4. 确定性汇总：主线程直接使用 Python 内置语法 total = sum(r[0] for r in results) 计算精确百分比，避免了基线模型将长文本一次性喂给 LLM 导致的计数幻觉与上下文超限。

损失函数 / 训练策略¶

本文的方法完全工作在纯推理阶段（Inference-Time），模型本身不涉及任何参数更新、梯度反向传播或额外的强化学习微调。推理引擎基于 vLLM 部署，并配置最高递归深度阈值（实验中默认最大递归深度截断设置为 10，实测 99.9% 以上的任务在深度不超过 10 时自然终止收敛）。

实验关键数据¶

主实验¶

评估涵盖四类高难度推理基准：SynthWorlds（合成知识图谱多跳推理）、PhantomWiki（合成大宇宙跨实体多跳 QA）、DeepSearchQA（深度搜索与开放式验证信息收集）、Oolong-real（超长真实对话长上下文状态聚合）。对比基线包括 ReAct、CodeAct、Deep Research 与 RLM，跨越 Qwen3-8B Thinking、Qwen3-32B Thinking 以及 Llama-3.3-70B-Instruct 三种模型规格。

数据集	评测模型	Dolores (本文)	最优对比基线	最优基线名称	相对提升
SynthWorlds (F1)	Qwen3-32B	0.346	0.281	CodeAct	+23.1%
PhantomWiki (F1)	Qwen3-32B	0.369	0.252	CodeAct	+46.4%
DeepSearchQA (Acc)	Qwen3-32B	0.241	0.230	Deep Research	+4.8%
Oolong-real (Relaxed Acc)	Qwen3-32B	0.132	0.077	RLM	+71.4%
SynthWorlds (F1)	Qwen3-8B	0.305	0.268	CodeAct	+13.8%
PhantomWiki (F1)	Qwen3-8B	0.172	0.153	CodeAct	+12.4%
DeepSearchQA (Acc)	Qwen3-8B	0.161	0.149	CodeAct	+8.1%
Oolong-real (Relaxed Acc)	Qwen3-8B	0.076	0.065	RLM	+16.9%
PhantomWiki (F1)	Llama-3.3-70B	0.512	0.381	CodeAct	+34.4%
Oolong-real (Relaxed Acc)	Llama-3.3-70B	0.151	0.079	CodeAct	+91.1%

注：在 Llama-3.3-70B 上，SynthWorlds 任务中 CodeAct (0.480) 高于 Dolores (0.359)；全套 12 个评测组合中 Dolores 在 11 个设定下胜出，平均超越最优基线 24.8%。

消融实验¶

基于 Qwen3-32B 在四个基准上测试上下文示例的作用机制。对比变体：(1) no-examples（彻底移除系统提示中的分解示例）；(2) with-principles（不给具体代码示例，仅提供 P1-P3 设计原则的自然语言指引描述）。

评测基准	Dolores (完整模型 F1)	no-examples (无示例 F1)	with-principles (自然语言原则 F1)	结论与分析
SynthWorlds	0.345	0.041	0.036	移除示例性能塌陷近 90%
PhantomWiki	0.373	0.113	0.080	自然语言指导反而劣于完全无提示
DeepSearchQA	0.241	0.139	0.117	模型难以通过抽象抽象指导操作化元推理
Oolong-real	0.137	0.036	0.033	缺乏具体模式匹配时递归分解机制失效

关键发现¶

跨越参数规模代差（Bridging the Scaling Gap）：Dolores 搭配较小的 Qwen3-8B 模型时，在 SynthWorlds (0.305) 和 Oolong-real (0.076) 上的得分，全面超越了使用同系列 32B 大参数模型的全部基线方案（包括 32B CodeAct 的 0.281 与 32B RLM 的 0.077）。
根除过早终止与幻觉瓶颈：自动化归因与专家核验分析表明，基线脚手架的主要失败模式为过早放弃（78%）与逻辑幻觉（45%）。基线单线程在面对多步失败或超长上下文时极易“直接给出敷衍结论”；而 Dolores 将总计算量分散为多个单线程独立子任务后，单线程平均推理 token 减少 71%、非推理 token 减少 76%，大幅减轻了单个上下文负荷。
Token 对齐验证：当通过多轮多数投票（Majority Voting@K）将基线模型推至与 Dolores 相同的总 Token 预算时，基线性能最高仅变动 0.024，Dolores 在四个基准上依然保持绝对优势，证实收益源于“结构化推理的分配方式”而非单纯消耗了更多算力。

亮点与洞察¶

将元推理转化为代码执行的外部函数：将元认知自调用封装为 Python 环境中的可调用对象 DoLoReS(...)，使得抽象的思维层级跳跃转变为具象的编程调用与状态堆栈，具备优异的可解释性与调试便利性。
自然语言原则 vs 模式匹配示例：消融实验揭示了现代 LLM 的核心局限——模型无法依靠抽象的自然语言指导自觉践行复杂的元推理，必须通过高信噪比的形式化少样本示例激发模式匹配能力。
认知负荷分流的工程范式：传统长文本与复杂多跳智能体试图无限扩展单一模型的注意力上下文，而 Dolores 证明通过显式线程隔离与符号化结果回传，小参数模型即可凭借高度控制的局部注意力战胜盲目堆砌上下文的大模型。

局限与展望¶

对高质量示例的高度依赖：系统性能强烈依赖人工编写的高质量 Deep Reasoning 示例，面对完全陌生的业务场景若无先验示例，模型泛化分解能力会显著受限。
总推理成本与延迟较高：虽然单线程上下文开销降低，但多层递归产生的子线程总数使整体 Token 消耗量平均达到基线的 12.9 倍，需要配合 KV 缓存共享或自适应小模型路由技术以控制生产落地成本。
未来方向：探索从教科书、解题日志中自动挖掘并诱导元推理示例，建立能够自主演进的终身学习型元认知分解库。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立严格解耦形式逻辑与联想认知的元推理形式语言，并实现了测试时即时自适应构建脚手架的通用智能体架构。