Playing ZendoWorld: Challenging AI Agents on Active Visual Concept Induction¶

会议: NeurIPS 2026
arXiv: 2607.08233
OpenReview: https://openreview.net/forum?id=BZmvSJeoow
代码: https://github.com/ml-research/ZendoWorld
领域: 其他
关键词: 概念归纳, 主动实验, 视觉推理, 神经符号系统, 假设检验

一句话总结¶

本文提出了交互式视觉规则归纳基准 ZendoWorld，要求智能体在 3D 几何积木场景中感知图像、提出新场景进行实验并归纳出背后的形式化逻辑规则；评测发现当前 VLM 即使样本标签预测准确率高，也无法提出有效实验来降低假设不确定性，且规则复杂度增加时归纳能力急剧恶化，与人类表现存在显著差距。

研究背景与动机¶

从有限的示例中形成假说、主动设计实验检验并根据新证据修正假设，是人类智能与科学发现的核心能力。认知科学长久以来强调人类通过主动探索假说空间来学习因果机制，但在人工智能领域，概念归纳通常被简化为被动的单轮泛化任务。例如经典基准 ARC-AGI、Bongard 谜题与 RAVEN 主要考察静态网格或二维图像上的少样本模式抽象，智能体只能被动接收给定的示例集合，无法主动发起干预以探测潜在的生成规律。

与此同时，近期关注主动实验的研究大多局限于纯符号或网格空间（如 AutumnBench、ARC-AGI-3 以及基于文本的规则发现），剥离了高维视觉感知的复杂性；而在具身智能与视觉强化学习环境（如 Atari、NetHack、MineDojo）中，智能体通常执行端到端的隐式策略优化，缺乏显式的假说空间表征与逻辑规则归纳。现有工作普遍割裂了三维视觉感知、显式规则归纳与主动实验设计这三个核心维度，缺乏一个能够对三者进行闭环联合评测的可控基准。

针对这一缺失，本文借鉴归纳逻辑桌面游戏 Zendo，构建了结合三维视觉渲染与形式化领域特定语言（DSL）的交互式环境 ZendoWorld。核心 idea：构建交互式主动视觉概念归纳基准 ZendoWorld，将视觉感知、主动实验设计与显式假设归纳整合在统一闭环中，通过精确的 DSL 语义与反例反馈机制解耦感知瓶颈与归纳瓶颈。

方法详解¶

整体框架¶

ZendoWorld 的交互机制围绕一个隐藏的真实逻辑规则 $r^* \in \mathcal{R}$ 展开。每个游戏轮次中，智能体观察一组带有正负标签的三维视觉积木场景，通过提出新的场景实验进行主动探查，并在预测成功后提交规则假设。

整体流程包含三个核心阶段： 1. 初始化阶段：环境向智能体提供两个初始种子示例 $(x_{\text{pos}}, 1)$ 和 $(x_{\text{neg}}, 0)$，确保智能体在探索之初获得一正一负两个参照样本。 2. 主动实验阶段：在第 $t$ 轮，智能体根据历史观察集 $\mathcal{D}$ 生成一个新场景候选 $e_t$ 并给出自身对该场景的预测标签 $\hat{y}_t \in \{0, 1\}$。环境通过判定 $r^*(\Phi(e_t))$ 返回真实标签 $y_t$。 3. 假说归纳与检验阶段：若智能体的预测标签与真实反馈一致（$\hat{y}_t = y_t$），智能体获得提交全局规则假设 $h_t$ 的资格；若 $h_t$ 与 $r^*$ 在逻辑上等价，游戏胜利并终止；若不等价，环境会自动从判别集合 $\{s \in \mathcal{S} : h_t(s) \neq r^*(s)\}$ 中通过拒绝采样生成一个反例场景 $c_t$ 注入观察集 $\mathcal{D}$，智能体随后重新进入实验阶段。整个游戏限制累计观察样本数 $|\mathcal{D}| \leq 30$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始化种子示例<br/>一正一负双场景"] --> B["场景表示与程序化生成<br/>Blender渲染+符号状态"]
    B --> C["主动实验与信息增益探查<br/>生成场景测试候选假设"]
    C --> D{"预测标签与真实反馈<br/>是否吻合?"}
    D -->|不吻合 / 预测失败| F["环境返回真实标签<br/>追加至观察集 D"]
    D -->|吻合 / 获得提交权| E["多范式假说归纳<br/>提交规则假设 ht"]
    E --> G{"DSL规范化检验<br/>ht 等价于 r* ?"}
    G -->|是| H["游戏获胜，成功收敛"]
    G -->|否| I["生成判别性反例 ct<br/>暴露假设缺陷"]
    I --> F
    F --> C

关键设计¶

1. 场景表示与程序化生成：结合物理渲染与符号描述的双层映射 为了兼顾高维视觉感知的真实性与规则逻辑判定的确定性，ZendoWorld 建立了从连续三维图像空间到离散符号状态空间的双层映射机制 $\Phi: \mathbb{R}^{H \times W \times 3} \to \mathcal{S}$。场景由 1 到 7 个不同几何构件（方块 block、楔形 wedge、金字塔 pyramid）构成，每个构件具备颜色、形状、朝向（直立 upright、倒置 upside-down、平放 flat、门挡 doorstop、芝士 cheesecake）等一阶属性，并支持接触（touching）、指向（pointing）和堆叠（on_top_of）等空间关系，组合配置空间达 $10^{18}$ 种。所有图像均通过 Blender 与 Prolog 联合管线进行程序化渲染与拒绝采样。该设计使环境不仅能生成视觉上写实的场景图像，还能对任意生成的假说提供无偏的反例场景，从而确保实验反馈在数学语义上的严格一致。

2. 形式化 DSL 与分层规则空间：一阶、二阶与组合式复杂度分级 为了精确剖析智能体在不同推理层级上的能力边界，ZendoWorld 基于 Prolog 语义设计了一套完备的 DSL 语法，将 22 个评测游戏划分为由浅入深的三个复杂度梯次： - 一阶规则（First-Order）：仅涉及单一属性的简单计数与限定量词，如 EXACTLY_1、AT_LEAST_1、EXCLUSIVELY、ZERO_1（例如“恰好存在一个蓝色直立构件”）； - 二阶规则（Second-Order）：引入奇偶校验与跨集合比较量词，如 EVEN_1、ODD_1、MORE_THAN、SAME_AMOUNT（例如“红色构件数量多于蓝色构件”）； - 复合关系规则（Complex）：结合空间交互谓词（TOUCHING、POINTING、ON_TOP_OF）或多重逻辑联结词 AND / OR（例如“黄色构件接触楔形物体的数量为奇数”）。此外，基准还特意引入了 DSL 未包含 SAME_AMOUNT 谓词的分布外（OOD）任务，以评估模型在预设符号库之外的泛化韧性。

3. 多范式智能体评测体系：神经符号、粒子滤波与端到端 VLM 为全面分析不同架构在感知、搜索与实验上的优劣，基准构建了覆盖四类典型范式的智能体家族： - Oracle Agent（神经符号上限）：通过预训练的对象级感知模型将图像提取为 $7 \times 15$ 的离散关系张量，利用 DeepSynth 框架基于均匀 PCFG 进行自底向上的堆搜索（Heap Search）枚举候选规则，并通过启发式算法生成能够最大程度分化备选规则的实验场景； - VLM Agent（纯神经基线）：基于 GPT-5-mini 直接以交错多模态 Prompt 接收图像与标签历史，隐式完成场景代码生成、标签预测与自然语言规则假说归纳； - Bayesian Agent（LLM-SMC）：利用序贯蒙特卡洛（SMC）维护一组自然语言假设粒子，引入包含检出率 $\theta \sim \mathcal{N}(0.7, 0.1)$ 与特异度 $\delta \sim \mathcal{N}(0.9, 0.01)$ 的噪声概念学习似然函数，通过粒子重采样与信息增益导向生成实验； - VLP Agent（视觉语言程序）：通过 VLM 前 5 轮从图像中动态诱导视觉谓词以扩展 DSL 语法树，再结合 PCFG 符号搜索合成程序。

4. 期望信息增益度量：量化实验对假说空间的探索效率 在主动学习中，优秀的实验应当最大化消除当前假说分布的不确定性。为了直接度量智能体生成场景的信息价值，本文定义了基于 PCFG 堆搜索 top-$K$（$K=20$）一致程序集合 $\mathcal{H} = \{h_j\}_{j=1}^K$ 的后验分布 $P(h_j \mid \mathcal{D})$。对于智能体提出的候选场景 $x^*$，其期望信息增益（EIG）被定义为预测标签的二值熵： $$ \text{EIG}(x^) = H\left(\sum_{j=1}^K P(h_j \mid \mathcal{D}) \cdot \mathbf{1}[h_j(x^) = \text{True}]\right) $$ 其中 $H(p) = -p \log_2 p - (1-p) \log_2 (1-p)$。当且仅当候选场景使候选规则集合产生 50/50 的预测分歧时，EIG 达到极大值 1 比特，表示该实验具有最大的判别效力；若所有候选规则对该场景产生一致预测，EIG 为 0，表明该实验冗余且无效。

损失函数 / 训练策略¶

对于 Oracle 智能体中的对象感知模块，模型采用 ResNet-18 结合 4 层 Transformer 编码器输出 $T=7$ 个对象 Token，下游配置颜色、形状、朝向、边框坐标及接触关系（六个方向：左、右、前、后、上、下）分类头。模型使用匈牙利匹配算法（Hungarian Algorithm）在真实标注构件与预测 Token 之间建立置换不变的最佳单射匹配，计算各项多任务损失加权和： $$ \mathcal{L}{\text{det}} = \lambda}} \mathcal{L{\text{cls}} + \lambda}} \mathcal{L{\text{L1}} + \lambda}} \mathcal{L{\text{rel}} + \lambda $$ 在规则合成方面，DeepSynth 采用均匀 PCFG 语法先验进行无偏穷举搜索，避免对具体规则模式产生归纳偏置泄漏。对于 Bayesian 智能体，粒子更新依赖边际似然积分，并通过系统重采样（Systematic Resampling）维护 25 个有效粒子，对低概率粒子通过 LLM 提示进行局部变异更新。}} \mathcal{L}_{\text{obj}

实验关键数据¶

主实验¶

在 22 个 Zendo 游戏（每个游戏 5 种随机种子，总计 440 次运行）上，对比各类智能体与人类受试者的端到端表现：

智能体 / 受试者	胜率 (%)	平均获胜轮数	标签预测准确率 (%)	架构特征
Oracle Agent	95.5	5.2 ± 0.3	68.2 ± 1.6	预训练感知 + 完整 DSL + 堆搜索启发式实验
VLM Agent (GPT-5-mini)	44.5	8.1 ± 0.4	56.7 ± 2.7	纯黑盒端到端多模态 Prompting
Bayesian Agent	13.6	8.0 ± 0.6	75.2 ± 1.6	LLM 粒子滤波 + SMC 后验实验选择
VLP Agent	18.2	10.1 ± 1.0	66.6 ± 0.6	动态概念发现 + 通用 DSL 程序搜索
人类受试者 (Human)	73.3	8.0 ± 0.7	53.9 ± 3.3	19 名受试者在线交互（子集游戏）

消融实验¶

为严格解耦“视觉感知”与“逻辑归纳”两大瓶颈，作者在输入端用 ground-truth Prolog 符号状态直接替换三维图像，对比纯符号输入下的表现提升：

智能体配置	符号胜率 (%)	胜率相对增幅 ($\Delta$)	符号平均轮数	轮数相对变化 ($\Delta$)
Oracle Agent (Symbolic)	95.5	±0.0%	4.5 ± 0.2	-13.5%
VLM Agent (Symbolic)	57.6	+29.4%	8.9 ± 0.8	+9.9%
Bayesian Agent (Symbolic)	24.2	+77.9%	5.0 ± 0.5	-37.5%
VLP Agent (Symbolic)	48.5	+166.5%	4.8 ± 0.1	-52.5%

此外，针对基础模型底座的消融（Table 5）显示：VLM Agent 在 Gemma-4-31B（18.2%）、Qwen3.5-27B（4.5%）、Claude-Opus-4-8（18.2%）和 Gemini-3.1-Pro（45.5%）上表现差异显著，开源小模型常因输出格式不可解析而雪崩；而解耦感知与搜索的 VLP 架构表现更加稳健（Gemma 达 27.3%、Qwen 达 31.8%、Claude/Gemini 达 36.4%）。

关键发现¶

标签准确率与真实规则发现严重脱节：Bayesian Agent 取得了最高的交互标签准确率（75.2%），但在全闭环中的胜率仅为 13.6%；人类胜率达 73.3%，其实验过程中的标签准确率却仅有 53.9%。这证实智能体仅靠局部特征分类或记忆并不能真正掌握底层概念规则。
感知与归纳是异质的性能瓶颈：去除视觉输入后，VLP Agent 胜率跃升超过 160%（从 18.2% 提升至 48.5%），证明其主要瓶颈在于复杂三维几何关系的感知抽取；而纯 VLM 与 Bayesian 智能体在符号输入下胜率依然远落后于 Oracle，证明其致命弱点在于假设空间的系统搜索与多步逻辑反思。
VLM 智能体的主动实验缺乏信息量：期望信息增益（EIG）分析表明，VLM 和 Bayesian 智能体在进行 10 轮交互后，提出的实验场景 EIG 迅速衰减至接近 0 比特，频繁提出与已知规则冗余的无用样本；甚至纯随机提议的 Oracle (Random) 的 EIG 表现都明显优于 VLM，暴露了 LLM 在主动干预规划上的盲目性。
反例触发过度修正（Overcorrection）现象：在结构化 F1 分数追踪中，人类与 VLM 在接收到反例后均表现出中后期 F1 下跌的趋势——当原本接近正确的假说被一个反例否定时，智能体容易全盘推翻并转向完全不相干的假设。但在二阶逻辑与分布外规则（如 SAME_AMOUNT）上，人类展现出了强大的概念泛化能力（人类 OOD 解决率 70%，而所有视觉智能体均为 0%）。

亮点与洞察¶

解耦式评测协议设计：将概念归纳、感知抽取与实验提议解耦，不仅评测最终胜率，还利用结构化树 F1 分数与 EIG 曲线动态追踪智能体的认知演变轨迹。
揭示了“高预测精度”的虚假繁荣：实证证明在主动推理任务中，高准确率预测标签完全可以掩盖假说空间的迷失，指出了现有单轮少样本视觉推理基准的局限性。
可迁移的主动探索机制启示：实验提议策略应当在早期假说不确定时保持高熵/随机探索，待粒子或候选程序收敛后再转向确定性的假设驱动验证，这一策略可直接迁移到 AI 科学家与自动化科学实验系统中。

局限与展望¶

作者承认的局限：场景构件主要限制在简单三维几何积木与有限的颜色、空间朝向，与真实世界开放域物理场景和连续参数空间仍有简化差距；此外当假说无法被 DSL 解析时，依赖 LLM 裁判可能引入评测噪声（虽然触发率低于 6.3%）。
潜在改进方向：探索感知与假设检验深度交融的双向架构——人类在玩 Zendo 时会用假说主动指导视觉注意力重新聚焦到特定构件关系上，而不是像当前系统一样将静态特征检测器与下游推理割裂。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将三维视觉接地、形式化逻辑规则归纳与主动实验设计统一在可控的交互闭环中。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 类代表性架构、5 种大模型底座、符号消融、EIG 信息论度量及细致的人类受试者对比。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰深刻，数学定义与实验曲线分析严谨扎实。
价值: ⭐⭐⭐⭐⭐ 为评估通用智能体与 AI 科研系统的科学发现与假说检验能力提供了重要的高标准测试基准。