CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments¶

会议: NeurIPS 2026
arXiv: 2610.36484
OpenReview: https://openreview.net/forum?id=1hg4by8JA2
代码: https://github.com/kiante-fernandez/CogArena
领域: 多模态VLM
关键词: 认知基准, 多模态智能体, 交互行为实验, 浏览器环境, 行为特征

一句话总结¶

CogArena 将社会与行为科学的 10 项经典实验范式部署为真实浏览器交互任务，通过三层评估机制（完成度、客观表现、认知行为特征）揭示了当前多模态智能体“能完成实验但难以复现人类认知特征”的本质差距。

研究背景与动机¶

大语言模型和多模态智能体的认知能力评估近期成为人工智能与认知科学交叉领域的热点。然而，现有的评估范式（如 CogBench、Psych-101/201）普遍将心理学与认知行为实验转化为纯文本提示词（text prompts），直接通过文本 API 评测模型的单步补全或选择。这种文本化测试完全剥离了人类被试在真实在线实验中所面临的视觉交互界面、时空感知压力、试验序列依赖性以及动作执行机制。例如在经典的斯特鲁普（Stroop）色词干扰任务中，纯文本输入仅考察了模型的语义理解与指令遵循，而网页中呈现的带颜色字形、两秒倒计时限制与按键动作，才真正调动了人类的视觉编码、选择性注意与抑制控制功能。

与认知评估脱离真实环境并行的另一个严峻现实是：自主多模态网络智能体（如 Browser-Use、OpenHands）正在快速发展，已经能够自动浏览网页、解析图形界面并填写问卷。对于依赖在线众包（如 Prolific、MTurk）采集人类数据的行为与社会科学研究者而言，未经监管的 AI 智能体很容易混入被试群体、通过基础注意力检验并产生看似人类的虚假数据，对实证研究的有效性构成了潜在的现实威胁。然而，目前学术界缺乏一套标准化的基准，能够在人类被试真实面对的网页交互约束下，系统测量智能体究竟在多大程度上能够复现人类独特的认知特征与反应偏好。

本文的目标是打破“纯文本提示词”与“无监督网络自动化”之间的割裂，建立一套面向行为科学经典实验的交互式智能体评估基准。核心 idea：构建基于真实浏览器 jsPsych 环境的 CogArena 基准平台，覆盖十类行为实验范式，并提出“任务完成度（L1）-表现准确率（L2）-行为特征对齐（L3）”三层统计评分体系，严谨量化多模态智能体在界面交互中的实际行为与人类认知模式的拟合差距。

方法详解¶

整体框架¶

CogArena 由标准化实验前端、平台评测服务端以及解耦的智能体运行脚手架（Scaffold）三部分构成。测试流程涵盖了 10 个精心挑选并标准化的经典行为科学实验任务（如网格赌徒任务、弹珠风险决策、重复博弈、序列回忆、视觉再认、随机点运动辨别、钓鱼邮件判别、觅食决策、元素合成以及道德机器困境）。智能体通过脚手架连接浏览器，接收包含屏幕截图与 DOM 交互元素列表的多模态输入，并在真实网页中模拟人类被试进行点击或键盘输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态智能体与浏览器脚手架<br/>(接收网页截图与可交互元素)"] --> B["jsPsych交互实验运行环境<br/>(10项经典范式·单会话动态种子)"]
    B --> C["三层递进评分体系<br/>(L1完成度 / L2客观准确度 / L3特征对齐)"]
    C --> D["特征正交分解与能力诊断<br/>(能力型规律 vs 偏好型偏差 / 相对反应时分析)"]

评测过程中，jsPsych 独立记录所有试验的试题参数、动作时间戳及反馈信息，并统一回传服务端进行客观统计检验，彻底摒弃依赖 LLM 裁判打分的不可靠模式。

关键设计¶

1. 三层递进评分体系：从表面交互到深层认知模式的层层解耦

为了解决“仅看最终准确率或任务结束状态无法识别真实认知机制”的问题，CogArena 将评分严格拆解为三个层级。Level 1（任务完成度，$S_{\text{L1}}$）考察智能体与平台的交互稳健性，通过 5 项二元检查评估是否收到数据、试验完成率是否达 80%、超时率是否低于 20%、响应动作是否合法以及是否正常抵达终点，得分为通过比例。Level 2（表现准确率，$S_{\text{L2}}$）将智能体的任务客观指标（如奖励均值、正确率、击中率）与源论文中的人类被试基准进行正态累积分布变换： $$S_{\text{L2}, m} = \Phi\left(\frac{x_m - \mu_m}{\sigma_m}\right)$$ 其中 $\mu_m$ 和 $\sigma_m$ 为人类均值和标准差，$\Phi(\cdot)$ 为标准正态分布的 CDF。得分为 0.5 代表达到人类平均水平。对于纯主观偏好任务（如道德机器、弹珠风险选择），不设置 L2 评分以避免误将极化偏好当成高性能。Level 3（行为特征对齐，$S_{\text{L3}}$）通过预设的 39 项固定统计假设检验（包括单样本比例检验、配对比例检验、条件比例检验与相关性检验），评估智能体是否在试验序列中呈现出人类特有的行为效应。综合总分定义为： $$\text{CogArena Score} = (w_1 S_{\text{L1}} + w_2 S_{\text{L2}} + w_3 S_{\text{L3}}) \times 100$$ 基准默认权重为 $(w_1, w_2, w_3) = (0.15, 0.35, 0.50)$。

2. 认知特征正交分解：能力型规律与偏好型偏差的严格解离

在 Level 3 评测中，CogArena 创新性地将人类行为特征划分为“能力型规律（Capacities）”与“偏好型偏差（Biases）”两类。能力型规律指的是规范理性决策模型同样预测的最优模式（例如在随机点运动中正确率随相干度提升，或边际价值定理预测的高移动成本下延长斑块驻留时间），未能展现该特征直接代表模型存在能力缺陷。而偏好型偏差则代表人类脱离规范最优解的启发式偏好（如在以牙还牙博弈中遭到背叛后的报复行为，或电车难题中救年轻人的道德直觉）。实验表明智能体极易复现道德偏好（达成率高达 66%），但在能力型特征上表现欠佳（仅 31%），证明了区分这两类特征对于真实人类被试筛查与模型认知建模的核心诊断价值。

3. 序列自相关修正与相对反应时分析：消除智能体动作黏滞与网络延迟干扰

针对智能体在连续交互中容易依赖上下文而陷入高度自相关决策（$\rho$ 尾部高达 0.93）的问题，CogArena 在一阶二项检验中引入有效样本量修正： $$n_{\text{eff}} = n \cdot \frac{1 - \rho}{1 + \rho}$$ 并在配对检验中应用移动块自助法（moving-block bootstrap），严格防止由于决策自相关性虚增统计显著性。此外，针对大模型调用网络延迟远高于人类按键反应时（绝对 RT 慢 10-12 倍）的现实，CogArena 摒弃了绝对耗时对比，而是设计了 7 项“会话内相对反应时关系特征”（如难易试验速度对比、区组内随经验积累的加速趋势），利用 Spearman 秩相关检验评估模型是否具备人类在难度与经验维度上的相对认知调节节律。

实验关键数据¶

主实验¶

论文对四款主流轻量级多模态模型（Gemini-3-Flash-Preview, Kimi-k2.5, GPT-5.4-Nano, Qwen3-VL-235B-Instruct）进行了系统评测，每款模型在 10 项任务中各独立运行 10 个独立种子会话（共 400 会话），并与全随机按键智能体（Chance Floor）以及前沿旗舰模型（GPT-5.6-Sol 单次运行）进行基准比对。

下表展示了全会话和可测量会话（至少可测试 50% 特征权重）下的综合得分与分级表现：

模型	会话类型	综合总分 (Composite)	完成度 (L1)	客观准确率 (L2)	特征对齐 (L3)
Random Agent (Chance Floor)	全会话 (n=100)	31.31	1.000	0.159	0.184
Gemini-3-Flash-Preview	全会话 (n=100) / 可测 (n=96)	58.61 / 58.70	0.936	0.407	0.518
Kimi-k2.5	全会话 (n=100) / 可测 (n=76)	44.23 / 50.70	0.812	0.339	0.456
GPT-5.4-Nano	全会话 (n=100) / 可测 (n=63)	36.07 / 45.70	0.728	0.285	0.401
Qwen3-VL-235B-Instruct	全会话 (n=100) / 可测 (n=41)	26.41 / 48.30	0.526	0.351	0.584
GPT-5.6-Sol (SOTA 参考)	单会话 (n=10)	73.30	0.960	0.485	0.656

消融实验¶

为了验证多模态视觉输入在智能体交互中的关键作用，研究对 4 项代表性任务进行了“移除截图仅保留 DOM 文本与交互列表”的消融检验：

任务类型与名称	输入配置	综合得分	表现降幅	显著性 (Mann-Whitney)
图像任务: Random Dot Motion	完整视觉 (Screenshot + Text)	34.1	基准	-
图像任务: Random Dot Motion	仅文本 (No Screenshot)	16.0	-53.1%	$p < 0.001$
图像任务: Visual Recognition	完整视觉 (Screenshot + Text)	35.1	基准	-
图像任务: Visual Recognition	仅文本 (No Screenshot)	20.0	-43.0%	$p < 0.05$
文本任务: Phishing Detection	完整视觉 (Screenshot + Text)	67.1	基准	-
文本任务: Phishing Detection	仅文本 (No Screenshot)	34.2	-49.0%	$p < 0.01$
文本任务: Moral Machine	完整视觉 (Screenshot + Text)	83.3	基准	-
文本任务: Moral Machine	仅文本 (No Screenshot)	57.5	-31.0%	n.s.

关键发现¶

完成度与认知特征严重脱节：随机智能体凭借无脑按键达成 100% 的完成度，但行为特征得分极低（L3=0.184）。四款多模态智能体中，仅 41.8%（167/400）的会话完整通过所有 L1 检查；在完整通过 L1 的会话中，可测人类认知特征的通过率也仅有 40%。智能体往往能走完流程或提前宣告完成，却未能展现符合人类规律的深层决策模式。
能力型规律与道德偏好表现分化：智能体在道德困境（Moral Machine）中能 100% 复现“救更多人”偏好，在钓鱼邮件辨识中达到 90% 的辨别力；但在视觉长时记忆再认（0/25）、最优觅食边际价值驻留效应（0/32）和相干动点反应时敏感度（0/21）上全面挂零。
单次评估的严重不可靠性：在 40 个“模型-任务”实验单元中，有 28 个单元在重复运行中表现出极大的方差，L3 标准差中位数达 0.20。同一模型在同一任务下可以在某次会话中展现显著的认知效应而在另一次完全缺失，证明单次测评极易造成评测假象。

亮点与洞察¶

多层级解耦的评测体系：将任务是否结束（L1）、客观做对多少（L2）与行为机制是否类人（L3）严格拆开，避免了传统网页智能体基准只看 End-State 成功率的局限性，为智能体交互评测提供了更加细粒度的解构工具。
统计检验替代 LLM Judge：全部 39 项行为特征均由严谨的经典统计检验和 Bootstrap 方法计算得出，彻底消除了使用语言模型充当裁判时固有的位置偏差、长度偏差与非确定性误差。
行为科学与在线数据防伪的现实警示：揭示了多模态智能体在在线问卷调查中“偏好类易伪造、感知决策机制难伪装”的特征，为防范 AI 污染在线心理学与行为科学实验数据集指明了方向。

局限与展望¶

基准人类数据源自历史文献而非当前同构平台：L2 基准中有 24 项采用原论文公开发布的被试数据，部分实验在移植为 jsPsych 网页版本后界面细节略有变化，可能对客观数值的精确对齐造成微弱系统偏差。
单步截图难以承载动态时空刺激：随机点运动等需要连续跨帧整合运动向量的感知实验，在当前“单步单图”的交互脚手架下丢失了关键的时间相干信息，限制了模型发挥感知极限。
未来方向：平台需进一步采集同平台的人类被试交互数据，并支持高帧率多帧视觉流输入，拓展包含抑制控制（如真实 Stroop）等更具时限压力的实验范式。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多模态智能体置于真实网页行为科学实验中，提出三层量化认知评估。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 个范式、4 款主流模型、每任务 10 次重复并包含旗舰模型与消融检验。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，方法与统计学设计严谨，逻辑层层递进。
价值: ⭐⭐⭐⭐⭐ 搭建了连接机器认知评估与行为科学数据安全的关键桥梁，开源工具生态完整。