ANCHOR: Audio-Visually Grounded Chain-of-Thought Reasoning Benchmark¶

会议: NeurIPS 2026
arXiv: 2610.22964
OpenReview: https://openreview.net/forum?id=a4PqqhFMnJ
论文: https://arxiv.org/abs/2610.22964
代码: https://anchorbenchmark.github.io
领域: VLM Reasoning
关键词: 多模态推理, 视听思维链, 感知证据对齐, 幻觉评估, 细粒度空间时间定位

一句话总结¶

提出了包含 2,319 个视频与 8,272 个问答对的视听对齐思维链推理基准 ANCHOR，通过 SAM3 空间边界框、时序证据区间与声学线索的精细化人机协同标注，以及解耦的多维度大模型裁判体系，系统揭示了多模态大模型在回答正确但推理伪对齐的核心瓶颈。

研究背景与动机¶

多模态大语言模型（MLLM）在图文与视听问答任务中展现出了强大的思维链（CoT）推理能力，能够将复杂的逻辑问题逐步分解为多步推导。然而，现实世界中的多模态感知具有内在的具身性与多流交织特性：人类在理解日常社交互动、推断物理因果关系或辨别情绪意图时，需要无缝协同高频的动态视觉线索、异步的声学信号以及伴随的环境背景音。与人类的感知机制相反，当前主流多模态模型表现出严重的单模态依赖与文本先验偏置，模型常常通过字幕词汇共现或问题中的诱导性措辞直接猜测出正确答案，其生成的推理过程往往严重脱离原始视听证据。

这种现象暴露出当前主流多模态评测基准的深层盲区：绝大多数基准（如 AVQA、Video-MME、WorldSense、DAVE）主要依赖最终答案准确率进行打分，完全无法洞察模型的解释是真正锚定在正确的时空感知证据上，还是仅仅利用数据集统计捷径产生的表面说辞。一个依靠虚假幻觉或“填充式废话”碰巧得出正确结论的模型，在安全严苛和复杂的真实场景中极易崩溃。例如在长时序视频中，部分强模型生成冗长却与感知脱节的无效 CoT，而另一些模型则在音视频流未完整展开时提前退出推导，导致结论与关键瞬态声学证据冲突。因此，迫切需要构建一个同时包含密集空间目标框、精确时间戳线索与显式证据对齐思维链的视听基准，将评测重心从单一结果指标推进到推导证据链的忠实度审计。

为了打破“以最终答案掩盖感知盲区”的评测困局，本文构建了首个将密集空间定位、音视频时序区间与结构化思维链深度整合的大规模视听推理基准 ANCHOR。核心 idea：构建融合 SAM3 密集空间框、时钟级音视频证据与人机协同校验思维链的基准 ANCHOR，通过双流难例分级与解耦裁判体系，实现对 MLLM 推理链在真实感知证据上锚定度、忠实性与逻辑漂移的严密审计。

方法详解¶

整体框架¶

ANCHOR 的整体构建与评估流水线涵盖三个协同阶段：全模态源视频筛选与跨领域元数据规整、基于模型分歧与人机协同的黄金标准证据对齐标注、以及解耦答案正确性与推理质量的多维度裁判审计体系。数据源跨越日常购物、具身交互、因果查询、社交情绪与复杂运动等 9 大公开视频集，时长覆盖 4.9 秒至 114 分钟。流水线首先通过多模型多轮采样（Rollout Disagreement）与组内语义多样性自动划分问题难度，进而利用先进多模态模型生成伪黄金推理链并结合 SAM3 自动提取时空目标候选框；最后通过深度改造的统一标注工作台完成人工重写与精细对齐，形成包含 975 个高难度精修问答的黄金测试集。在评估端，采用分块苏格拉底上下文接入机制和多裁判独立打分规程，全面解耦答案正确率、幻觉率、逻辑偏离度与精炼度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长短视频多域数据采集<br/>9大公开集 / 2,319段视频 / 4.9s-114min"] --> B["双信号模型分歧难度分级机制<br/>16次Rollout分歧度 + 语义散度评分"]
    B --> C["结构化视听证据链生成与目标提取<br/>Gemini-2.5-Pro CoT + SAM3 空间框初始化"]
    C --> D["人机协同 VidAT 交互工作台精修<br/>时空框校准 + 声学对齐 + 推理逻辑重写"]
    D --> E["长上下文苏格拉底分块推理管线<br/>时序切块 + 历史状态递归传递 + 终端综合"]
    E --> F["解耦式多裁判多维度推理审计体系<br/>三模型独立裁决: 答案 / 幻觉 / 偏离 / 精炼"]

关键设计¶

1. 双信号模型分歧难度分级机制：精准筛选重度依赖视听因果感知的真硬题

现有基准中的题目难度往往仅凭人工经验主观设定，容易将模型因输出随机性、提示词敏感或标注歧义引起的波动误判为深层推理难题。为剔除脆弱样本并筛选出真正需要严密多模态融合的挑战性问题，本文提出基于多模型多轮分歧与组内语义散度的保守筛选规则。具体由四个代表性模型（Gemini-2.5-Pro、InternVL-3.5-30B、GPT-4o-mini、Claude Sonnet-4.5）对每个问题独立执行 4 次采样，形成 16 个候选预测集。裁判模型进而统计偏离参考答案的回答数量 \(n_{\mathrm{mismatch}}\)，并在 1–5 分李克特量表上评定 16 个预测之间的语义分散度 \(s_{\mathrm{sim}}\)（1 为高度集中一致，5 为极度分散矛盾）。最终难度等级 \(d\) 取分歧度等级与散度等级的严格最大值：

\[d = \max(d_{\mathrm{disagree}}, d_{\mathrm{score}})\]

其中当 \(n_{\mathrm{mismatch}} \geq 10\) 时分歧等级记为 Difficult， \(5 \leq n_{\mathrm{mismatch}} < 10\) 记为 Medium，其余记为 Easy；当 \(s_{\mathrm{sim}} = 5\) 时散度等级记为 Difficult， \(s_{\mathrm{sim}} \in \{3, 4\}\) 记为 Medium，其余为 Easy。此规则确保入选 Difficult 的问题必须具有高度一致的感知推导门槛，经人类专家终审确认，AI 判定的困难题在专家一致率上高达 80%，使整个基准的困难样本占比达到 53.8%，极大提升了对前沿模型视听捷径的施压强度。

2. 结构化视听证据链生成与目标提取：解耦多模态因果链条的物理锚点

传统思维链多为松散的自然语言叙述，往往将视觉观察与听觉事实混杂在一起，难以定位具体的跨模态归因错误。为此，本文设计了显式解耦的结构化证据链规范（Schema），统一将黄金思维链格式化为三个独立模块：视觉线索（Visual Cue：包含起止时间戳、实体外观与时空动作）、听觉线索（Audio Cue：包含起止时间戳、语音转录、环境非语音音效或音乐特征）以及最终结论（Final Answer）。为自动生成对应实体的高精度连续边界框，系统使用 GPT-4o-mini 从问题、答案与伪黄金链中提取唯一的具象物理目标名词短语，严格过滤抽象概念、情绪、动作或单纯对话内容，将其映射为可感知的物理执行主体。以该名词标签提示驱动 Segment Anything Model 3（SAM3），实现关键目标在对应时间区间内的全视频帧像素级掩码及外接框追踪，为后续人工细粒度修正建立了高质量感知底座。

3. 人机协同 VidAT 交互工作台精修：构建黄金级时空感知与推理对齐基准

依靠大模型自生成的多模态伪标签普遍存在时间戳漂移、无中生有（幻觉实体）与虚假因果推论。为确立不可动摇的黄金评估标准，作者将经典的 VidAT 视频标注工具升级为集成时空视图与结构化 CoT 编辑器的统一人机协同平台。26 位受过严格训练的专业人员在 IRB 伦理批准下开展深入标注。在时空视图中，标注人员逐帧审查 SAM3 生成的目标边界框，修正轮廓边缘、删除虚假检测，并通过时序插值算法保证跨帧追踪的平滑连贯；在音视频时间轴上精细校准声学事件发生的物理区间；更关键的是在 CoT 编辑器中，人工重写推导逻辑，强制每一步逻辑跳转均紧密引用界面的视觉框或声学时间戳。该流程耗费大量工时完成了 224 段长视频和 975 个问答对的极致精修，形成了杜绝模型自循环偏置的高纯度金标测试集。

4. 解耦式多裁判多维度推理审计体系：剥离长文本伪饰与答案巧合

针对“答案正确但推导胡编”或“推理极佳但末尾词汇失准”的评测混淆，本文彻底告别将思维链与最终答案混为一谈的黑盒打分，确立了四维正交评估矩阵： - 最终答案正确性（Answer Correctness）：专注评测提取答案的语义真值，对无害释义与符合事实的合理补充给予适当宽容（1–5 分）； - 幻觉与事实忠实度（Hallucination / Faithfulness）：严密比对候选推理链中引入的实体、时间戳、物理事件与金标感知证据之间的契合度，无端捏造未观测目标或曲解事实将遭受严厉扣分（1–5 分，5 分代表近乎零幻觉）； - 逻辑偏离度（Divergence）：专门衡量推导论证在因果步骤、演绎结构与问题理解上与参考推理轨迹的一致性，完全不受文本长短和无关表述影响（1–5 分，5 分代表推导路径高度重合）； - 精炼度（Conciseness）：基于 cl100k_base 分词器统计输出 token 总数，并在全模型长度分布上执行五等分位映射（1–5 分，token 越少分值越高），杜绝冗长文本混淆裁判打分。

三位互补的大模型裁判（GPT-5-nano、Grok-4.1-fast 与 Claude-Haiku-4.5）独立盲审并求取均值，在线性加权 Cohen's \(\kappa\) 检验中展现出极高的打分一致性（\(\kappa = 0.63 \sim 0.71\)），有效确立了客观公正的自动化审计标准。

实验关键数据¶

主实验¶

在截断视频全量测试集（涵盖 2,319 个视频、8,272 个问答对）上对 12 款前沿开源与闭源 MLLM 进行了系统测评。模型在答案正确性（Answer）、抗幻觉忠实度（Halluc.）、精炼度（Conc.）及逻辑一致性（Div.）上的表现如下表所示（打分均为 1–5 分，更高更好；Token 数更低更好）：

模型	答案正确度 (↑)	忠实度/抗幻觉 (↑)	精炼度 (↑)	平均Token数 (↓)	逻辑一致度 (↑)
Gemini-3-Flash	3.83	2.20	4.47	203	2.93
GPT-5.2	3.77	2.05	2.72	342	2.83
Qwen3-VL-30B-A3B-Instruct	3.45	1.79	3.40	287	2.50
Grok-4.1-Fast-Reasoning	3.39	1.48	1.30	644	2.39
Claude-Sonnet-4.6	3.37	1.66	1.50	571	2.55
Nemotron-3-Nano-Omni-30B	3.37	2.21	3.69	206	2.59
Qwen3-omni	3.34	2.03	3.90	291	2.65
Amazon Nova Lite	3.30	1.63	2.01	545	2.42
GLM-4.6-V-Flash	3.29	1.94	2.50	309	2.46
Kimi-VL-A3B-Instruct	3.05	1.93	2.83	336	2.31
InternVL3.5	2.14	1.53	3.48	283	1.85
Llava-OneVision	1.85	1.53	4.25	202	1.58

在 224 段视频、975 个问答对的人工精修测试集（Human-Refined Set）上对闭源旗舰模型进行针对性检验： - Gemini-3.1-Pro 取得了最佳的抗幻觉（2.49 分）、最高精炼度（4.80 分，平均仅 149 tokens）与最强逻辑一致度（2.97 分），答案得分为 3.49； - Gemini-3-Flash 展现出最高的答案正确度（3.59 分），抗幻觉为 2.08 分，Token 均值为 200； - Nova-2-Lite / Nova-2-Pro 答案得分为 3.03 / 2.93，抗幻觉为 1.63 / 1.96； - Grok-4 / Grok-4.1-Fast-Reasoning 表现出严重冗长倾向（输出 736 / 653 tokens，精炼度仅 1.40 / 1.59），且抗幻觉得分处于较低区间（1.61 / 1.35）。

消融实验¶

在人工精修测试集（n = 975 QA 对）上对三种主流前沿模型执行感知锚点与模态剥离消融实验（以 GPT-5-Nano 作为零样本判决基准评估最终答案准确率 % 及掉点幅度 \(\Delta\)）：

输入模态与感知线索配置	视觉 (Visual)	空间框 (BB)	音频 (Audio)	Gemini-3-Flash (%)	GPT-5.6-Luna (%)	Claude-Sonnet-5 (%)
全模态完整输入 (Full Modality)	✓	✓	✓	57.7 (–)	52.5 (–)	52.6 (–)
剥离音频 (w/o Audio)	✓	✓	✗	52.9 (-4.8)	48.3 (-4.2)	47.0 (-5.6)
剥离空间边界框 (w/o Bounding Boxes)	✓	✗	✓	50.0 (-7.7)	48.9 (-3.6)	49.4 (-3.2)
同时剥离音频与空间框 (w/o Both)	✓	✗	✗	48.1 (-9.6)	45.0 (-7.5)	45.1 (-7.5)
纯音频输入 (Audio Only)	✗	✗	✓	16.1 (-41.6)	10.7 (-41.8)	14.2 (-38.4)

在 100 段精修视频（446 个 QA 对）的受控验证集上进行的直接时空定位对齐评测（Direct Grounding）显示： - GPT-5.6-Luna 展现了较为优越的空间与时间定位能力：平均 IoU 达到 0.459，\(\text{IoU} \geq 0.5\) 的严格重合比例为 48.0%，时序查准率（Temporal Precision）为 0.76，查全率（Temporal Recall）为 0.85，时序 F1 达到 0.80； - Claude-Haiku-4.5 的时序查全率虽然高达 0.95，但查准率仅有 0.45（时序 F1 为 0.61），且空间定位较弱，平均 IoU 仅为 0.217，\(\text{IoU} \geq 0.5\) 占比仅 10.9%。

关键发现¶

显著的证据脱节与伪对齐断层：实验揭示出“答案相似但推导质感迥异”的普遍现象。Gemini-3-Flash 与 GPT-5.2 在答案得分上极其接近（3.83 vs 3.77），但在受控的 2,012 道双方均回答完全正确的问题中，GPT-5.2 的抗幻觉得分在 250 道题上下跌超过 1.0 分，在 81 道题上下跌超过 1.5 分（三位裁判在 74% 的案例中一致指向其存在感知证据断裂）。主要失效模式为：定位到错误的时间区间、锚定了错误的物理主体、或者列出了正确感知却给出了脱节的推导因果。
感知模态贡献呈现清晰的层级结构：视觉帧画面构成了多模态推理的绝对核心基石，移除视频画面导致准确率发生断崖式下跌（暴跌 38.4 至 41.8 个百分点）；而空间边界框与声学线索表现出互补但显著的模型依赖性——剥离空间目标框带来 3.2 至 7.7 个百分点的下滑（对 Gemini-3-Flash 影响最为剧烈，大跌 7.7 点），剥离音频流带来 4.2 至 5.6 个百分点的下滑，两者同时移除则导致总体掉点达 7.5 至 9.6 个百分点。
原生多模态输入对非语音线索的决定性优势：采用传统抽帧结合 Whisper ASR 转录级联输入架构的模型，在大量无清晰语音对话但存在关键物理声响（如碰撞声、点击声、引擎轰鸣）的视频中，有超过 20%–25% 的回答直接断言“未检测到可用音频”，从而直接丧失了听觉因果推导可能；而原生接入音频流的模型（如 Gemini 系列）则在绝大多数非语音声学事件中成功保留了推理线索。
高阶裁判模型评级排名的强健稳定性：在针对参考源循环偏差（Circularity）的专项核验中，分别使用人类精修基准、Gemini 自生成基准与 GPT 自生成基准作为参考依据对 9 款模型打分，各模型间的排名相关性极其惊人（Pearson \(r = 0.96 \sim 1.00\)，均值达 0.99），且没有任何模型能在自身生成的参考源下获得不合理的虚高偏置，证实了解耦裁判打分体系的鲁棒性。

亮点与洞察¶

从单一答案黑盒向感知思维链归因审计范式转变：ANCHOR 率先在音视频长时序领域将空间目标框、时间戳与推理因果结构深度捆绑，确立了“答案正确并不代表真正看懂或听懂”的系统化审计标尺。
基于模型分歧度与散度的自动化高难度样本挖掘：利用 16 次多模型 Rollout 的失配统计与语义离散度双向约束，将 53.8% 的高难度感知挑战题高保真度地聚拢出来，为攻克捷径学习提供了极具针对性的压力测试场。
解耦式评测有效消除“长文掩盖幻觉”的打分泡沫：通过独立引入输出 token 长度分位评分与无视长度的偏离度评估，破除了部分长思维链模型利用海量推导废话堆砌虚假置信度的评测漏洞。

局限与展望¶

金标人工标注规模与覆盖度仍受限：尽管构建了 8,272 个问答的全量集，但经过高强度全模态人工精修的样本仅有 975 个 QA 对（224 段视频），全量数据集中依然在一定程度上依赖 Gemini-2.5-Pro 与 SAM3 产生的伪标签基准。
大模型裁判与人类专家在绝对打分标尺上存在系统性偏移：尽管 LLM 裁判间具备优秀的相对打分相关性（\(\kappa > 0.6\)），但在与人类专家的绝对校准中发现，人类在抗幻觉维度倾向于给出更宽容的分值（均分 4.35 vs 裁判均分 2.35），说明机器裁判对细微词汇偏离的惩罚力度更为苛刻。
非原生音频处理架构造成的评测混杂变量：受限于各商业及开源模型原生视听多模态 API 的开放程度，部分模型被迫采用采样帧与 ASR 文本进行串联，使得架构本身的跨模态输入差异与模型底层推理能力产生了部分交织共变。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态音视频密集空间-时间证据锚定的 CoT 评测体系，打破了单一答案评估盲区。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 款前沿多模态大模型，设计了完备的模态剥离消融、跨参考源循环检验与多裁判一致性校验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨周密，实验图表详实且对失效模式的定量与定性剖析极为深入。
价值: ⭐⭐⭐⭐⭐ 为未来多模态真实推理模型提供了不可多得的可靠对齐测试床，对推动抑制感知幻觉与虚假捷径具有重要指引价值。