MiroEval: Benchmarking Multimodal Deep Research Agents in Process and Outcome¶

会议: NeurIPS 2026
arXiv: 2603.28407
OpenReview: https://openreview.net/forum?id=iGWauw47NW
代码: https://github.com/MiroMindAI/MiroEval
领域: 多模态VLM
关键词: 深度研究智能体, 多模态评测, 过程级评估, 事实性核查, 动态基准

一句话总结¶

针对现有深度研究评测仅盯静态终稿且缺乏多模态支持的痛点，MiroEval 构建了包含 100 个真实需求任务（70 文本 + 30 多模态）的双路径可刷新基准，并提出结合自适应任务评语、动静态跨源事实性核查与过程级因果轨迹审计的三维评估体系，全面诊断 13 款前沿系统的研究全流程。

研究背景与动机¶

大语言模型与多模态大模型的快速演进，正驱动智能体从单一被动交互向具备自主长程规划、多步检索、跨源整合能力的“深度研究”（Deep Research）系统跨越。这些智能体被广泛寄予厚望以承担金融尽调、医疗综述、法律推演等高风险复杂任务。然而，现有的评测体系与真实用户场景严重脱节：绝大多数基准（如 DRBench、ReportBench 等）仅依赖静态且通用的规则直接给模型输出的最终长文报告打分，完全忽视了生成该报告背后的研究全过程。这种单一视角的“黑盒”终验极易让擅长文风修饰但缺乏严谨调查的系统蒙混过关，无法察觉其中是否存在浅层检索、无效循环或中间事实脱节等结构性缺陷。

不仅如此，现有基准在模态与数据动态性上也面临严峻壁垒。真实世界的专业调研绝大多数高度依赖图表、财务报表、行业扫描件等异构附件，但过往多模态评测往往局限于短程视觉问答（VQA），极度欠缺针对融合长文交互与多模态附件的长程深度研究评测；同时，采用学术或合成任务构建的静态数据集无法随着即时知识的膨胀而演进，极易遭遇数据过时与测试集污染。因此，评估智能体是否真正展开了可溯源、跨模态且具批判性的扎实研究，亟需一套将交付产物与研究过程彻底解耦、且能够动态更新的双轨机制。

本文的核心 idea 是解耦深度研究交付物与探究过程，构建包含 100 个真实与网络趋势驱动任务的动态双路径基准，并通过自适应综合质量、跨异构源事实性核查与包含双向可溯源性的过程级审计三大互补维度展开全景评测。

方法详解¶

整体框架¶

MiroEval 框架包含两大核心支柱：动态可周期性刷新的基准构建管线与解耦式三维评估套件。基准构建端通过“真实用户模式隐私化重写”与“实时网络趋势驱动生成”两条互补路径产出 100 个高难度任务（70 个纯文本、30 个多模态），涵盖 12 个专业领域与 10 种复杂推理任务类型。在评估端，框架打破传统的单一终验模式，将评估划分为产物级综合质量评判、细粒度事实性验证和过程级执行轨迹审计三大层面，原生支持对图像、PDF、表格等异构多模态输入的高精度评定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入任务 Q=(I, A)<br/>自然语言指令 + 多模态附件"] --> B["动态双路径基准构建<br/>用户模式隐私重写(65) + 实时趋势驱动生成(35)"]
    B --> C["被测深度研究系统<br/>自主规划、多步检索、跨源推理"]
    C -->|产物层| D["自适应任务评语质量评估<br/>动态生成维度 D_dynamic + 关键事实锚点"]
    C -->|事实层| E["智能体级事实性核查<br/>原子主张分解 + 网页/附件跨源四态校验"]
    C -->|轨迹层| F["过程级因果轨迹审计<br/>结构化原子动作解析 + 双向对齐 P-to-R / R-to-P"]
    D --> G["三维综合诊断雷达<br/>综合质量、事实精度与研究过程严密性"]
    E --> G
    F --> G

关键设计¶

1. 动态双路径任务构建与逆向质量筛选：兼顾真实复杂性与周期动态刷新 为了确保评测任务紧贴真实深研需求并防止基准老化，MiroEval 采用了双轨并行策略。第一条路径从闭门内测的真实用户模式中抽象出 65 个任务（35 文本 + 30 多模态），通过严格的隐私过滤与实体替换，并依据 8 项核心能力分类路由至 6 种不同难度梯度的重写策略（涵盖事实矛盾注入、虚假前提构造等高阶考题）。第二条路径则基于 12 个宏观主题与 36 个子主题，通过实时搜索接口抓取最新行业热点，由模型扮演多重专业角色生成候选问题。为确保问题必须依赖深度网络探索而非模型内部参数记忆，设计了三级递进筛选机制，尤其是创新的逆向质量评估（Inverse Quality Assessment）：先在无搜索权限下测量基线回答质量 $\sigma(q) \in [0,1]$ 与离散等级 $\ell(q)$，强制筛选出参数化知识无法胜任的硬核深研问题集合： $$\mathcal{Q}_{\text{gen}} = \left\{ q \;\middle|\; \sigma(q) \leq 0.75 \;\wedge\; \ell(q) \neq \text{high} \;\wedge\; \text{requires\_search}(q) \right\}$$ 该双路径机制确保了基准任务可以在现实知识演进时随时重新触发执行，保持评测的 live 特征。

2. 动静结合的自适应任务评语与多模态锚点提取：破解通用打分模糊性 针对长篇研究报告在不同专业领域中评判重点迥异的难题，框架放弃了固化评分表，提出了自适应评语空间构建策略： $$D = D_{\text{fixed}} \cup D_{\text{dynamic}}(Q)$$ 其中固定维度 $D_{\text{fixed}}$ 涵盖覆盖度、见解深度、指令遵循度与清晰度四个通用基石；动态维度 $D_{\text{dynamic}}(Q)$ 则依据具体任务实时定制。针对纯文本任务，自动派生 1 至 3 个领域专属专业性维度（如跨国法规比较中的“政策务实性”）；针对携带附件的多模态任务，上游关键事实抽取模块首先将表格、图表、PDF 结构化版面提炼为可量化验证的事实锚点（例如“识别出某季度企业销量反超拐点”），进而派生出“扎根性与专属专业度”复合维度，精准考核报告对非文本线索的吸纳深度，严厉扣除浅层浮于表面的引用或机械复述。同时，评估器在数学约束 $\sum_{d\in D} W_d = 1$ 与 $\sum_c w_{d,c} = 1$ 下为各维度及准则分配动态权重，实现多层次加权打分 $S_{\text{quality}} = \sum_{d\in D} W_d \sum_c w_{d,c} s_{d,c}$。

3. 智能体级多模态事实性核查与四态细粒度判定：直面异构冲突与幻觉 针对长文报告中事实真伪验证的严峻挑战，框架引入基于自主智能体（MiroFlow）的事实核查机制。首先将终稿分解为原子事实命题集合 $\mathcal{S}(Q,R) = \{s_1, \dots, s_n\}$，对每一个原子主张 $s$，核查智能体主动并发调用外部实时搜索引擎与多模态附件查询工具，构建双轨证据集 $E(s) = E_{\text{search}}(s) \cup E_{\text{attach}}(s)$。针对多模态附件，系统支持端到端视觉模型直接解析图像与版面，对于复杂的表格与演示文稿则采用文本分块与局部向量检索混合策略。在证据链判定阶段，突破了传统二元（对/错）分类局限，创新性确立了四态一致性评估空间： $$y(s) \in \{\text{RIGHT}, \text{WRONG}, \text{CONFLICT}, \text{UNKNOWN}\}$$ 其中标志性的 $\text{CONFLICT}$ 标签专门捕获来自开放网络证据与用户本地附件证据产生实质性冲突的情形，迫使智能体如实标明分歧，避免将多源冲突粗暴降维。

4. 过程级因果轨迹审计与双向溯源对齐：打通研究过程与报告断层 为了彻底探明智能体是否具备严密的调研过程，框架将原始执行日志规整解析为原子操作序列（涵盖信息获取、证据审视、中间综合、规划更新、反思排错等），并在内在过程质量与双向对齐两大方面展开审计。内在指标重点考察搜索广度、分析深度、渐进精炼度、批判性思维与探索效率五大维度。更为关键的是，框架设计了双向语义可溯源性检验： - 过程到报告（$P\to R$）：核验调研过程中挖掘出的关键事实是否在最终交付报告中得到实质性呈现，识别“有调研却无沉淀”的信息浪费。 - 报告到过程（$R\to P$）：核查终稿中罗列的核心论点与推论能否在调研执行轨迹中找到明确证据支撑，严格狙击“调研未提及却在终稿中凭空捏造”的幻觉或黑盒无根推理。 - 冲突检测（$\text{Contr}$）：衡量系统在遇到多源互斥数据时是否主动识别并化解矛盾，而非直接无视。综合过程得分由内在执行质量与双向对齐得分线性加权得出：$S_{\text{process}} = \alpha S_{\text{intrinsic}}(P) + (1-\alpha) S_{\text{align}}(P,R)$。

一个完整示例¶

以金融科技跨国投资调研任务为例：“分析全球固态电池商业化进展，并结合所附某独角兽量产成本 Excel 表评估其在 2027 年的盈亏平衡点”。 1. 任务与锚点生成：输入被分解，上游模块提取出附件关键数据点（如“电芯物料清单中锂硫复合电解质采购单价 $42/kWh”）；自适应维度生成“供应链鲁棒性”与“附件量产成本贴合度”动态指标。 2. 多模态核查与冲突感知：模型在报告中声称“该企业预计 2026 年底实现全固态装车，成本降至 $60/kWh”。核查智能体通过必应/谷歌检索到行业最新公告判定该装车时间属实（$\text{RIGHT}$）；但核对其上传的 Excel 研发台账时发现其量产损耗率预估偏离行业均值，触发 $\text{CONFLICT}$ 标签，扣除未经化解的事实分。 3. 轨迹与双向对齐审计：在模型日志中，智能体进行了 14 次检索，但 6 次为近义词重复查询（导致探索效率分仅为 58.0）；日志中明确推导了正极良率瓶颈但未写进终稿（$P\to R$ 扣分）；终稿中突然得出的“欧洲建厂补贴折现”结论在搜索日志中毫无痕迹（$R\to P$ 骤降至 42.0），最终暴露其产物与过程严重割裂。

实验关键数据¶

主实验¶

评测涵盖了当前主流的 13 种商用与前沿深度研究系统，包括 OpenAI Deep Research、Gemini-3.1-Pro Deep Research、Claude-Opus-4.6 Research、Kimi-K2.5、Manus-1.6-Max 以及开源 MiroThinker 系列。评测划分为纯文本（70 任务）与多模态（30 任务）两大核心赛道，各维度满分均归一化至 100 分。

模型	文本综合 (Synthesis)	文本事实 (Factuality)	文本过程 (Process)	文本总分 (Overall)	多模态综合	多模态事实	多模态过程	多模态总分	全任务总评
MiroThinker-H1	76.7	81.1	74.7	77.5	71.5	78.5	73.5	74.5	76.6
OpenAI Deep Research	73.8	83.3	73.1	76.7	66.7	77.0	66.8	70.2	74.8
MiroThinker-1.7	74.3	79.4	72.7	75.5	69.0	78.4	67.4	71.6	74.3
Gemini-3.1-Pro Deep Research	71.2	71.3	67.1	69.9	66.4	73.7	64.1	68.1	69.3
Claude-Opus-4.6 Research	67.3	69.8	66.0	67.7	62.5	70.7	65.9	66.4	67.3
MiniMax-M2.5 Research	63.3	71.8	67.1	67.4	56.7	71.0	62.2	63.3	66.2
ChatGLM Agent	63.2	68.6	65.6	65.8	61.6	71.6	57.7	63.6	65.1
Manus-1.6-Max Wide Research	55.4	72.6	64.2	64.0	54.3	70.0	61.8	62.0	63.4
Qwen-3.5-Plus Deep Research	60.0	73.1	61.1	64.7	44.6	69.9	53.8	56.1	62.1
Grok Deep Research	58.7	63.7	58.3	60.2	56.3	71.5	53.9	60.5	60.3
Kimi-K2.5 Deep Research	75.7	65.4	64.2	68.4	–	–	–	–	–
MiroThinker-1.7-mini	74.0	76.2	68.5	72.9	–	–	–	–	–
Doubao Deep Research	64.2	64.9	53.1	60.7	–	–	–	–	–

消融实验与深入分析¶

为揭示系统在各细分能力上的短板，下表汇总了各模型在产物级 5 大维度（覆盖度、见解性、指令遵循、清晰度、特异性）以及过程级核心指标（内在深度/效率、双向对齐）的细粒度表现对比：

评估子项	表现最佳模型与得分	行业主流基准均值	表现最弱模型与得分	关键结论与性能落差洞察
产物特异性 (Specificity)	MiroThinker-H1 (70.0)	57.3	Manus-1.6-Max (48.1)	行业普遍瓶颈，所有模型均比自身覆盖度指标低 10-14 分，缺乏深层量化支撑
产物见解深度 (Insight)	MiroThinker-H1 (80.3)	68.2	Manus-1.6-Max (54.8)	辨识度最高指标，跨模型极差高达 25.5 分，体现从信息聚合到深层推演的能力断层
事实真伪比率 (Factuality Ratio)	OpenAI Deep Research (83.3)	71.8	Grok Deep Research (63.7)	严格的事实纪律分化明显；OpenAI 错误主张仅 170 条，而部分模型错误数超 500 条
搜索广度 vs 分析深度	广度: Claude-Opus (79.1)	广度: 72.4 / 深度: 60.3	深度: Doubao (41.6)	普遍存在“广而不深”结构失衡，广度普遍超 70 分，但后续针对性追问深度普遍偏低
过程到报告 ($P\to R$) 对齐	MiroThinker-H1 (87.0)	76.4	Qwen-3.5-Plus (59.6)	过程挖掘出的有效线索多能较好进入终稿，主流模型表现平稳
报告到过程 ($R\to P$) 溯源	MiroThinker-H1 (63.3)	48.9	Doubao (36.8)	核心系统性盲区，全行业得分极低，说明大量终稿结论无法在执行轨迹中找到事实依归
矛盾检测与化解 (Contr)	MiroThinker-H1 (86.4)	70.8	Doubao (54.2)	面对多源冲突信息时，落后系统多采取盲目忽略或生硬拼贴策略

关键发现¶

三大评测维度呈正交互补性：终稿质量优异绝不代表事实严谨。典型如 Kimi-K2.5，其文本综合得分高达 75.7（仅次于 MiroThinker-H1），但在事实性验证中产生 595 处错误主张与 1256 处未知主张，事实分跌至 65.4；相反，Manus 综合得分仅 55.4（因见解深度过低），但事实正确率高达 72.6。单看任何单一维度均会造成严重的系统性能误判。
研究过程质量强力预测最终成效：过程评估与综合产物得分呈现极强的正相关性（皮尔逊相关系数 $r=0.88$）。过程分排名前三的 MiroThinker-H1、OpenAI 与 MiroThinker-1.7 同样统治了总分排行榜；而过程得分最低的 Doubao（53.1）总分亦位于垫底区间。
报告到过程（$R\to P$）的溯源鸿沟广泛存在：所有测试系统的 $P\to R$ 得分均显著高于 $R\to P$ 得分（极差多在 23 至 30 分）。这表明当前深度研究智能体严重存在“暗中捏造”或“黑盒跳步推理”的不良习性，大量写进终稿的断言根本无法在其搜索与分析步骤中复现。
多模态场景引发显著性能跌落：引入多模态附件后，系统总分普遍骤降 3 到 10 分，其中 Qwen-3.5-Plus 跌幅最大达 8.6 分（综合质量暴跌 15.4 分）。瓶颈主要集中在针对非文本图表的深度语义结合与高阶推理上，而在事实性保持上相对稳健。
真实用户衍生任务显著难于自动合成任务：在用户衍生子集上各系统得分普遍比实时网络趋势自动生成任务低 1 到 7 分，证实了涵盖模糊表述与专业黑话的现实痛点更具考验度。

亮点与洞察¶

解耦式三维评估范式：将传统“唯最终报告论”的黑盒打分拆解为产物自适应评语、智能体级事实校验与执行过程因果审计，为深度研究系统提供了可追溯、可归因的白盒诊断工具。
逆向质量评估的动态基准机制：在自动生成研究任务时引入参数化知识探测与逆向过滤，强制保留模型依靠自身记忆无法解答的硬核问题，确保了基准的有效性与可周期性更新的生命力。
四态事实一致性空间化解证据冲突：引入 $\text{CONFLICT}$ 标签专门标识多源异构证据间的互斥现象，为现实科研与产业分析中常态化的“数据打架”提供了符合学术规范的评估机制。
双向对齐精准捕获幻觉与断层：通过比对 $P\to R$ 与 $R\to P$，直接抓取智能体“检索了不用”与“没检索瞎写”两类致命隐患，对推动可信落地具有极强的工程指导意义。

局限与展望¶

白盒日志依赖限制：过程级评估高度依赖系统如实导出中间思考与动作执行轨迹；对于拒绝提供完整执行调用链的完全封闭商业黑盒，过程维度的评估覆盖度受到客观制约。
异构冲突判定尚未闭环：当前事实性评估在识别出网络证据与附件证据矛盾后仅打上 $\text{CONFLICT}$ 标记予以扣分预警，尚未具备自主仲裁何方证据权重更高的溯源评判能力。
多模态交互广度有待拓展：目前多模态附件评测主要支持静态文件（图像、PDF、表格、幻灯片），未来可进一步引入动态视频流、交互式可执行数据沙盒等多模态交互环境。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首个系统解耦过程与产物、覆盖多模态长程研究的动态深度评测框架)
实验充分度: ⭐⭐⭐⭐⭐ (评测 13 款主流闭源与开源前沿系统，跨文本与多模态双赛道，双向对齐分析详实)
写作质量: ⭐⭐⭐⭐⭐ (逻辑链条紧凑严谨，三维体系与逆向过滤机制表述极具启发性)
价值: ⭐⭐⭐⭐⭐ (直击深度研究系统不可信与缺乏诊断标尺的行业痛点，推动研究智能体向可验证方向发展)