Beyond Description: Cognitively Benchmarking Fine-Grained Action for Embodied Agents¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4331
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5436.pdf
项目: https://cfg-bench.github.io/
领域: 机器人与具身智能
关键词: 细粒度动作理解、认知评测、反事实问答、视觉依据、具身迁移

一句话总结¶

CFG-Bench 将“看懂动作”拆成物理交互、时序因果、意图理解和评价判断，用混合问答与反事实门控暴露模型只会描述却不懂执行的问题，并使 Qwen2.5-VL-7B 在 EB-ALFRED 上的平均成绩经细粒度数据 SFT 从 4.7 提升到 9.7。

研究背景与动机¶

具身智能体不仅要知道下一步“拿杯子”，还要从示范中理解接触哪个部位、双手怎样配合、动作为什么在此刻发生，以及当前方法是否有效。现有评测对此覆盖不均：VSI-Bench 更关注空间关系，在线具身基准通常以任务完成情况衡量规划与控制；FAVOR-Bench 等动作基准虽然比事件分类更细，却主要考察观察者能否准确描述动作。识别“擦杯子”不等于发现一只手持续转动杯子、另一只手同步清洁内壁，更不等于理解这种配合为何必要。

这里缺少的不是另一个更大的视频题库，而是把动作中的可执行知识变成可核查问题的方式。对接触部位、运动方向与先后顺序，选择题便于客观评分；对动机与策略，选项却可能直接泄露推理路径，使模型凭文字常识答对而不真正依赖视频。反过来，全部改成开放题又会引入答案多样性和自动评分噪声，因此需要题型分工与可靠性验证一起设计。

本文利用已有多来源视频和人机协作标注，建立四层认知框架，再按任务性质分配选择题、开放题与反事实题。核心 idea：评测不只问模型能否说出发生了什么，还要迫使它从视觉证据解释如何执行、为什么执行，并在问题前提错误时主动纠正，而不是顺着问题编出答案。

方法详解¶

整体框架¶

CFG-Bench 是数据集与评测协议，不是新增视觉编码器或机器人控制模块。输入是动作视频与问题，输出是模型的选项或自然语言答案；构建侧先用“四层认知任务”规定需要观察的执行细节，再经“人机协作构建”形成参考标注和问题，最终由“混合问答与反事实门控”评分。另一条验证路径使用该数据进行 SFT，检查细粒度知识是否能迁移到已有具身任务。

数据包含 1,368 段视频与 19,562 道问答，其中选择题 9,165 道、开放题 10,397 道，并不是严格各占一半。四个层级合计 11 个任务，不是每段视频都适合生成全部任务；视频时长最短 1.83 秒、平均 26.3 秒、最长 107.8 秒。下面的图表示基准构建与使用流程，而非单个模型内部的网络结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Videos["多来源动作视频"] --> Taxonomy["四层认知任务"]
    Taxonomy --> Dataset["人机协作构建"]
    Dataset --> Evaluation["混合问答与<br/>反事实门控"]
    Evaluation --> Scores["任务成绩与错误分析"]
    Dataset --> Transfer["细粒度监督迁移"]
    Transfer --> Tasks["规划与操作评测"]

关键设计¶

1. 四层认知任务：把动作描述推进到执行、意图与反馈

框架借鉴 Norman 的动作循环，把理解动作所需的知识拆成彼此关联的四个层级。物理交互层包括事实动作理解 FAU 与反事实交互 CIA：FAU 不只辨认物体，还考察左右手、接触部位、工具、动作类型和运动动态；CIA 则故意把一个不存在的物理操作放进问题，要求模型识别并纠正。时序因果层包括时间关系 TR、因果关系 CR 与反事实关系 CRS：TR 涵盖先后顺序、整段事件排序和并行动作，CR 关注具体操作的直接后果，CRS 检验模型会不会接受与视频不符的关系。

意图理解层进一步区分局部功能意图 FI、串联整段活动的全局意图 GI，以及改变总体目标后应如何改变动作的反事实意图 CIT。评价判断层包含过程监控 PM、策略评价 SE 和反事实评价 CEU：分别判断过程是否卡住或偏离目标、现有操作是否合理高效，以及改变某个操作会如何影响结果。四层由“发生了什么”走向“应该如何判断”，但这是任务组织框架，不能把它直接当成已经实证确认的能力因果层级。

2. 人机协作构建：让题目确实需要视频中的细节

视频来自五个数据集：EgoTaskQA 329 段、Charades-Ego 第一人称 191 段与第三人称 298 段、EgoExo4d 394 段、Something-Something-V2 104 段、FineAction 52 段。第一人称生活任务提供手物交互与目标导向流程，第三人称补充整体时序和策略观察，后两者扩展精细交互及复杂活动。这里的“第一人称”既涉及数据视角，也涉及面向执行者的问题表述；不能理解为所有视频均为第一人称。

初始动作标注由 GPT-4o 起草，再由八位标注员修订、两位审核者复核，整个标注过程约一个月。对于 FAU、TR、CR，GPT-4o 生成 19,372 道初始选择题；随后通过无视频与单帧过滤，排除仅靠常识或静态图像便能回答的简单问题。Qwen3-Max 再根据问题与视频描述标记歧义或不可判定样本，供人工重点审查；自动过滤阶段约丢弃 35%，之后六位标注员多轮核对，最终保留 9,165 道，不能把最终保留量全部归因于前一个过滤阶段。开放题则从 10,397 道专门生成的选择题种子出发，只保留问题和正确答案，再由十位标注人员扩写、改写或重写，并交叉复核。先以明确答案约束事实，再开放表达，是它控制开放题歧义的关键。

3. 混合问答与反事实门控：防止选项提示和顺从式幻觉抬高成绩

只有 FAU、TR、CR 使用常规选择题，其余八个任务均为开放题。意图和评价不提供备选解释，因为模型可能根据选项措辞选出看似合理的答案，而不是自主组织有视觉依据的推理。开放题使用 DeepSeek-R1 辅助评分，将正确性与细节丰富度分别按 0–10 分评价后取均值。这里的细节不是越多越好：若主要动作事实错误，丰富的语言不能替代正确性；两项分数需要结合阅读。

CIA 与 CRS 还多一道门槛：答案必须明确拒绝或隐含纠正错误前提，否则正确性和细节两项都直接记零。CIT 与 CEU 提供的是合法假设变化，不适用这种“先否定前提”的门控。为了清晰表述，下面将正文的文字协议写成公式；它是笔记的等价整理，不是论文提出的独立优化目标：

\[ S = g\,\frac{C+D}{2},\qquad g = \begin{cases} 0, & \text{CIA/CRS with an uncorrected false premise},\\ 1, & \text{otherwise}. \end{cases} \]

其中 \(C\) 为正确性、\(D\) 为细节丰富度。这个设计区分了两种看似都很流畅的回答：一种纠正视频事实后作答，另一种默认用户问题永远正确。门控真正测的是前者，而不是泛泛的拒答倾向；只说“问题不对”也不保证后续事实与细节分数高。

4. 细粒度监督迁移：验证动作知识是否超出题库本身

作者分别对 Qwen2.5-VL-7B 与 InternVL3-8B 做 CFG 数据 SFT，再评测 EMBODIEDBENCH 的 EB-ALFRED 高层规划和 EB-Manipulation 低层控制。论文说明这两项下游任务与 CFG-Bench 无数据重叠，并以 FAVOR 数据 SFT 作为 Qwen2.5-VL-7B 的对照。这样的比较比只报告本题库准确率更有说服力：它检验面向执行的细节与动机监督是否比一般运动描述更有帮助，但仍不能单独分离四层数据各自贡献。

在 LIBERO 的扩展验证中，作者先用 CFG-Bench 对 Qwen3-VL-4B 做 SFT，再按与复现基线 StarVLA-π 相同的训练配方，联合训练它与动作专家。因此这里并不是把自然语言回答直接当作执行轨迹，也不是仅靠问答微调就自动得到一个完整控制器。实验支持细粒度知识可以作为 VLA 训练的有用起点，不应扩大解释为真实机器人部署已经得到验证。

一个完整示例¶

以论文图 2 的链条清洁场景为例，视频中的执行者用右手持牙刷来回刷链条，同时用左手逆时针转动脚踏。FAU 应恢复工具、手部与运动方式；如果 CIA 改问“刷链条时怎样用脚转脚踏”，回答必须先纠正“用脚”这个前提，再说明实际是左手转动。若只给出一段合理的脚踏操作描述，即使文字很详细，门控仍令最终分数为 0。这是同一视觉证据在普通动作描述与反事实核查中承担不同作用的具体例子。

损失函数 / 训练策略¶

本文主要贡献不是新损失函数，正文只明确使用监督微调及后续 VLA 联合训练。SFT 设置指向附录 B3，但本地缓存止于参考文献，未包含该附录；训练样本配比、学习率、训练轮数及参数冻结策略无法从当前材料核实，故不补写。零样本评测按各模型官方建议采样视频，多数使用 4 fps，GPT-5 使用 1 fps；这也意味着主表并非严格相同输入预算的对照。

实验关键数据¶

主实验¶

以下摘自原文表 2。Avgc 是论文报告的选择题平均准确率（%），Avgo 是开放题平均分（0–10）；二者不能合成一个未经定义的总分。人类不是自动模型，输入栏不适用。

模型	输入	Avgc ↑	Avgo ↑
Human	不适用	95.85	9.05
Gemini-3-Pro	4 fps	65.60	5.67
Gemini-2.5-Pro	4 fps	59.52	5.40
GPT-5	1 fps	55.44	4.13
Qwen3-VL-30B-A3B-Instruct	4 fps	57.68	5.09
Qwen2.5-VL-7B	4 fps	40.71	4.38
RoboBrain2.0-7B	4 fps	44.53	4.72

Gemini-3-Pro 相比人类仍差 30.25 个准确率百分点和 3.38 个开放题分数单位。具身专用 RoboBrain2.0-7B 优于其 Qwen2.5-VL-7B 基座，但这不是本文 CFG 数据 SFT 的结果，不能与后面的迁移表混淆。

消融实验¶

论文没有提供逐个删除四层任务或去掉门控的模块消融。可核验的控制变量分析包括帧率、问答形式与训练数据来源；下表是表 2 中同一模型的帧率对照。

Qwen2.5-VL-7B 输入	Avgc ↑	Avgo ↑	FAU 准确率 ↑	TR 准确率 ↑	CR 准确率 ↑
4 fps	40.71	4.38	43.93	38.58	39.63
8 fps	42.40	4.39	45.16	39.51	42.52

采样率翻倍带来的平均提升为 1.69 个准确率百分点和 0.01 个开放题分数单位，说明对这一设置而言，增加帧数没有解决主要问题；但不能据此证明时间分辨率对所有模型都不重要。

原文表 3 另将相同任务换成不同题型：Gemini-2.5-Pro 的 CIT 在选择题下达到 96.14%，开放回答只有 5.31/10；Qwen3-VL-8B-Instruct 的 SE 对应为 90.30% 与 5.00/10。它们说明高选择题成绩可能掩盖自主解释困难，不是同量纲的“下降百分比”，也不是去掉某个网络模块的实验。

原文表 4 的训练数据对照如下，数值为下游任务的平均成绩（%，越高越好）。FAVOR 对照仅对 Qwen2.5-VL-7B 报告，不能为 InternVL3-8B 补造对应行。

模型与训练数据	EB-ALFRED Avg ↑	EB-Manipulation Avg ↑
Qwen2.5-VL-7B 原始基座	4.7	9.6
Qwen2.5-VL-7B + FAVOR SFT	4.3	8.2
Qwen2.5-VL-7B + CFG SFT	9.7	15.3
InternVL3-8B 原始基座	10.3	11.5
InternVL3-8B + CFG SFT	14.0	15.8

CFG SFT 对 Qwen2.5-VL-7B 带来 5.0 与 5.7 个百分点提升，对 InternVL3-8B 带来 3.7 与 4.3 个百分点提升。LIBERO 补充结果为 Spatial 98.2→98.2、Object 97.8→98.0、Goal 98.6→99.4、Long 94.4→95.2：四个划分中三个提高、一个持平，不能写成全部提高。

关键发现¶

自动评测有一致性证据：三人对 1,000 个样本标注时，选择题 Krippendorff’s α 为 0.95，开放题正确性/细节为 0.82/0.84；4,200 个人机评分样本对应 α 为 0.74/0.75。换用 Claude-Sonnet-4 后模型排名的 Spearman 相关系数为 0.92，支持相对排序较稳，但不是无误差保证。
错误集中于遗漏动态细节、把双手同步动作理解成顺序动作、用常识草率推断目标，以及只因任务最终成功就表扬低效过程。最后一种“正面评价偏差”说明成功与执行质量必须分开评估。
正文将局部意图优于全局意图概括为趋势，但不是所有模型都如此：Gemini-3-Pro 的 FI/GI 为 5.29/6.48。笔记不将这一解释扩大成全体模型一致的结论。

亮点与洞察¶

反事实门控把“纠正错误问题”设为事实评分的前提。这种协议可迁移到依赖视觉证据的问答审计，但应只用于错误事实前提，不能误用于合法假设推演。
题型按认知任务分配，而不是全套统一选择题。它让测量设计本身参与减少语言捷径，同时保留事实题的客观可比性。
FAVOR 与 CFG 的迁移差异提示，训练数据的描述粒度和目标可能比“增加动作文本”本身更重要。更强的后续实验应控制数据量与训练预算，再分离动态、因果、意图和评价监督的作用。

局限与展望¶

可复现材料不完整：当前缓存没有训练设置、评分提示与更多帧率实验的附录，部分图中文字也出现抽取截断。正文可读的表格足以支撑上述结论，但不能据此复现完整 SFT 流程。
问答理解不等于闭环执行：具身迁移与 LIBERO 提供了补充证据，却没有在当前正文中报告真实机器人部署；基座微调后的 EB-ALFRED 与 EB-Manipulation 绝对成绩仍然较低。
不能完全排除数据暴露：作者说明新问题没有直接已知重叠，但源视频来自公开数据集，且无法全面核查闭源模型预训练语料。新的标注维度并不自动证明原视频没有被模型见过。
评测器仍有偏差空间：意图与策略可能存在多个合理解释，一致性统计只是降低担忧；还应考察不同回答长度、表达风格与拒绝倾向对评分的影响。
机制归因尚不充分：缺少四层训练数据分别移除、门控开关和等预算多次重复对照。后续可同时报告误差条、题型分组成绩及机器人失败恢复率，检验“解释更细”何时真正转化为“执行更稳”。

评分¶

新颖性: 4/5。四层认知、混合题型与局部门控的组合有针对性，主要创新在评测设计而非模型结构。
实验充分度: 4/5。具有多模型、人机一致性和下游迁移证据，但缺少组件级因果消融与重复实验统计。
写作质量: 3/5。任务组织清晰，不过正文部分趋势概括与表格存在例外，当前缓存也缺少附录细节。
价值: 4/5。适合诊断具身模型的动作知识缺口，并为精细监督设计提供参照，但不能替代执行成功率评测。