Neurosymbolic Object-Centric Learning with Distant Supervision¶

会议: NeurIPS 2026
arXiv: 2506.16129
领域: 目标检测
关键词: 神经符号学习, 目标中心表征, 远程监督, 概率逻辑编程, Slot Attention

一句话总结¶

本文提出 DeepObjectLog，将基于插槽的目标中心感知编码器与概率逻辑推理层深度整合，在仅有全局弱标签（远程监督）且无边界框、分割掩码或数量标注的前提下，通过对潜在物体存在性与类别的全边缘化推断，实现了具备优异组合与外推泛化能力的端到端神经符号目标发现与推理。

研究背景与动机¶

神经符号人工智能（Neurosymbolic AI）旨在将深度神经网络强大的感知表征能力与符号逻辑的显式关系推理和组合规则相结合。该范式最引人注目的优势在于，符号知识能够在缺少直接样本级监督时，通过逻辑约束为潜在概念提供有效的弱监督信号。例如在经典的双数字求和任务中，模型仅凭图像求和结果就能推断出各个孤立数字的真实类别。然而，现有绝大多数神经符号系统都隐含了一个极为严苛的前提假设：参与逻辑推理的实体必须在输入阶段预先给定且完成显式切分（例如直接提供裁剪好的单数字小图或结构化属性向量），系统只需识别“这是什么”，而无需探索“物体在哪里、有多少个、如何从复杂图像中分离出独立实体”。

这种强假设极大地限制了神经符号学习在真实非结构化感知场景中的应用。在真实的视觉世界中，图像中包含的物体数量未知，且往往不具备任何标注框或掩码。为了让符号规则发挥效用，模型必须首先推断出画面中哪些候选视觉区域属于任务相关的有效实体。另一方面，以 Slot Attention 为代表的目标中心表征学习（Object-Centric Learning）虽然能够无监督地将场景分解为多个代表候选对象的潜在插槽（slots），但这些插槽在语义上并未与符号推理所需的谓词对齐。现有的下游微调方法要么依赖启发式的集合匹配（如匈牙利算法），要么假设固定物体数量并退化为纯神经网络分类，在分布偏移下极易失效。

当感知输入完全处于非结构化状态且仅有全局任务标签（例如若干数字的总和、扑克手牌的复合牌型）时，如何让高层符号规则直接引导底层目标中心结构的发现与绑定，构成了当前连接感知与推理的核心技术瓶颈。本文的核心 idea 是：将插槽式目标中心感知与 ProbLog 概率逻辑层无缝对接，由神经网络预测候选插槽的物体性概率与类别分布，通过逻辑层对潜在物体性与类别全空间进行显式可微边缘化计算，以全局任务标签反向引导无边界框、无集合匹配的实体级目标发现与关系推理。

方法详解¶

整体框架¶

DeepObjectLog 针对无局部标注的复杂图像进行端到端建模，输入为未标注的原始图像，输出为全局符号任务标签。模型整体流水线包含四个协同模块：首先利用插槽编码器（Slot Attention 或 MESH）从图像潜在表征中抽取 $N$ 个候选对象插槽；随后物体检测与分类头为每个插槽预测物体性存在概率及对应的符号类别分布；紧接着将这些预测作为概率事实传入 ProbLog 概率逻辑推理引擎，通过符号规则边缘化所有离散构型计算全局任务似然；最后辅以基于混合高斯的解码器重建原始图像以提供感知正则。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x"] --> B["插槽编码器<br/>提取 N 个候选对象表征 s_i"]
    B --> C["物体性预测与软门控机制<br/>预测存在概率 β_i 并调制特征"]
    C --> D["基于概率逻辑边缘化的符号推理<br/>ProbLog 边缘化计算任务似然"]
    C --> E["联合感知重构与摊销 MAP 优化<br/>混合高斯重构与先验正则化"]
    D --> E
    E --> F["端到端弱监督任务决策 y"]

关键设计¶

1. 物体性预测与软门控机制：解耦实体存在性与语义属性

在非结构化场景中，图像内的有效物体数量是动态变化的，而传统的 Slot Attention 预设了固定数量的插槽 $N$（设为训练集允许的最大实体上限）。若直接对所有插槽进行无差别分类，背景伪影或冗余插槽必然引入大量噪声并扰乱逻辑推理。为此，模型显式引入两个随机变量：不确定性分数 $\beta_i \in [0, 1]$ 与对应的二值物体性指示变量 $o_i \in \{0, 1\}$，满足伯努利分布 $p(o_i \mid \beta_i) = \beta_i$。神经网络 $f_\beta(s_i)$ 直接回归出确定性参数 $\beta_i$。为了防止背景伪插槽参与分类计算并污染梯度，模型借鉴自适应插槽学习中的 Zero-Slot 策略，对每个插槽向量进行元素级软门控： $$\tilde{s}_i = s_i \cdot \beta_i$$ 随后符号分类头 $f_c(\tilde{s}_i)$ 仅在门控后的特征上预测离散类别概率分布 $p(c_i \mid \tilde{s}_i)$。该机制将“当前插槽是否存在实体”与“实体属于哪一类”完全解耦，使模型能够自适应抑制背景杂波并支持跨物体数量的泛化。

2. 基于概率逻辑边缘化的符号推理：无需集合匹配的端到端弱监督信号

传统目标中心学习在引入弱监督或下游目标时，通常必须借助匈牙利匹配损失（Hungarian loss）来解决插槽无序性带来的置换不变匹配难题，这在只有全局标签（远程监督）的设定下无法施行。DeepObjectLog 创新地利用 ProbLog 概率逻辑编程框架消除这一障碍。系统将每个插槽的物体性概率 $\beta_i$ 转化为概率事实 object(i)，将分类概率转化为条件概率事实 class(i, k)。领域背景知识以先验逻辑规则 $L$ 编码任务逻辑。在给定插槽集合与物体性参数的条件下，全局任务标签 $y$ 的边际似然分布表示为： $$p(y \mid \mathbf{s}, \boldsymbol{\beta}) = \sum_{\mathbf{c}, \mathbf{o}} p_L(y \mid \mathbf{o}, \mathbf{c}) \prod_{i=1}^{N} p(o_i \mid \beta_i) p(c_i \mid s_i, \beta_i)$$ 其中 $p_L(y \mid \mathbf{o}, \mathbf{c})$ 由逻辑规则确定性导出。由于符号推理层能够通过加权模型计数高效完成对所有潜在物体性与类别指派的显式边缘化求和，它在数学上自然吸纳并平均了插槽间的一切可能排列，完全省去了启发式集合匹配；同时，任务级预测误差能够沿着连续的边际概率平滑反向传播到各个插槽，赋予感知编码器纯由任务语义驱动的物体定位与分类能力。

3. 联合感知重构与摊销 MAP 优化：抑制推理捷径的双重约束

在纯弱监督神经符号系统中，模型极易陷入“推理捷径”（reasoning shortcuts）——即神经网络通过虚假特征或非物体的局部线索碰巧凑出正确的全局任务标签，导致学到的概念与真实物理世界脱节。为迫使插槽真正捕捉物体的视觉基元，DeepObjectLog 构建了包含图像重构与任务预测的生成模型，并采用摊销最大后验概率（Amortized MAP）目标进行训练。使用编码器 $q_\phi(x)$ 摊销潜在解释 $z \simeq q_\phi(x)$，将全概率联合分布展开后，训练最大化目标为： $$\max_{\theta_p, \phi} \sum_{(x, y) \in \mathcal{D}} \left[ \log p_{\theta_p}\big(y \mid \mathbf{s}^\star(q_\phi(x)), \boldsymbol{\beta}^\star(q_\phi(x))\big) + \log p_{\theta_p}\big(x \mid \mathbf{s}^\star(q_\phi(x)), \boldsymbol{\beta}^\star(q_\phi(x))\big) + \log p\big(q_\phi(x)\big) \right]$$ 该目标第一项为由概率逻辑导出的任务对数似然；第二项为利用混合高斯解码器对门控插槽 $\tilde{s}_i$ 的图像重构对数似然；第三项是在各向同性高斯先验 $p(z)=\mathcal{N}(0, I)$ 下导出的激活正则项，等价于惩罚编码器输出范数 $\frac{1}{2}\|q_\phi(x)\|^2$。重构损失确保插槽具有真实的物体级解构能力，逻辑损失确保概念具备精确的语义与组合性，二者协同杜绝了捷径学习。

一个完整示例¶

以最多包含两个数字（数字取值为 0 或 1）的图像加法任务为例。假设图像内输入了数字 1 和数字 1，任务标签为求和结果 2： 1. 插槽编码器输出 2 个候选插槽 $s_1, s_2$。 2. 检测头与分类头预测：插槽 1 的物体性 $\beta_1 = 0.95$、类别 $c_1=1$ 的概率为 0.90；插槽 2 的物体性 $\beta_2 = 0.92$、类别 $c_2=1$ 的概率为 0.88。 3. ProbLog 程序载入概率事实： - 0.95::object(1). 与 0.90::class(1, 1). - 0.92::object(2). 与 0.88::class(2, 1). 逻辑规则定义：

digit(ID, Val) :- object(ID), class(ID, Val).
digit(ID, 0) :- \+ object(ID).
add(Z) :- digit(1, Y1), digit(2, Y2), Z is Y1 + Y2.

4. 逻辑层对可能的离散状态（两插槽分别存在/不存在、各取不同数字）进行枚举与边缘化加权，计算目标查询 add(2) 的边际概率。该边际概率即为可微的任务似然，若真实求和结果为 2，其梯度将强化 $s_1, s_2$ 对应的高置信度检测与数字分类。

损失函数 / 训练策略¶

训练采用负对数似然损失形式端到端最小化以下联合损失： $$\mathcal{L} = -\log p_{\theta_p}(y \mid \mathbf{s}, \boldsymbol{\beta}) - \log p_{\theta_p}(x \mid \mathbf{s}, \boldsymbol{\beta}) + \frac{1}{2} \|q_\phi(x)\|^2$$ 使用 AdamW 优化器，学习率设为 $1 \times 10^{-4}$，权重衰减为 $1 \times 10^{-4}$。在 MultiMNIST 和 PokerRules 上训练 400 个 epoch（批次大小 64），在 CLEVR-Addition 上训练 200 个 epoch（批次大小 32）。为了克服概率逻辑在大量插槽与长规则下的推断瓶颈，推理层集成了 KLay 优化框架进行加权模型计数加速。

实验关键数据¶

主实验¶

在 MultiMNIST-Addition (MM-A) 与 PokerRules 基准上全面评估模型的分布内（Test）、未见组合（OOD Compositions）、未见新类别（OOD class）以及实体数量外推（Extrapolation）能力。准确率指标包含图像级任务准确率（Task Acc.）以及逐插槽完全匹配的概念准确率（Concept Acc.）。

数据集 / 设定	模型	Task Acc (Test)	Task Acc (OOD)	Concept Acc (Test)	Concept Acc (OOD)	外推 (4/5 实体)
MM-A (加法)	CNN	79.90 ± 0.17	3.43 ± 0.15	-	-	22.16 / 13.16
MM-A	Slot Attention (SA)	98.90 ± 0.34	13.30 ± 3.14	-	-	36.23 / 9.76
MM-A	MESH	98.86 ± 0.47	18.26 ± 1.33	-	-	37.50 / 12.00
MM-A	CoSA	93.00 ± 1.92	36.20 ± 15.10	-	-	52.20 / 25.06
MM-A	NeSy 基线	90.70 ± 4.02	35.76 ± 6.24	55.43 ± 26.40	23.83 ± 3.82	- / -
MM-A	DeepObjectLog (Ours)	94.26 ± 2.00	90.00 ± 3.01	85.16 ± 2.45	65.46 ± 5.70	69.73 / 44.06
PokerRules (扑克)	CNN	81.96 ± 1.10	-	-	-	22.03 / -
PokerRules	SA	99.30 ± 1.21	-	-	-	35.86 / -
PokerRules	MESH	99.93 ± 0.11	-	-	-	37.80 / -
PokerRules	CoSA	95.46 ± 3.90	-	-	-	44.26 / -
PokerRules	NeSy 基线	80.23 ± 2.11	0.46 ± 0.05	18.63 ± 1.37	0.13 ± 0.05	- / -
PokerRules	DeepObjectLog (Ours)	97.90 ± 1.17	72.23 ± 16.72	32.00 ± 5.88	29.26 ± 13.95	78.53 / 78.23

注：PokerRules 外推列分别为“5 张牌且类别分布内（78.53%）”与“5 张牌且新 OOD 类别（78.23%）”；短横线表示受架构限制无法支持该设置。

消融实验¶

在 MultiMNIST-Addition 任务上进行系统消融，探究骨干编码器、分类头解耦设计、软门控条件约束及图像重构损失的关键作用。

配置变体	Task Acc (Test)	Task Acc (OOD)	Concept Acc (Test)	Concept Acc (OOD)	说明与影响分析
(1) 采用原始 SA	76.91 ± 3.25	71.70 ± 3.53	30.70 ± 5.70	5.71 ± 0.14	替换 MESH 为标准 SA，物体概念解构能力大幅下降
(2) 单一分类头	93.49 ± 0.70	64.06 ± 19.09	15.05 ± 9.19	20.49 ± 14.14	将非物体作为额外类别统一预测，概念完全混淆
(3) 无类别软门控	92.51 ± 0.28	81.84 ± 3.46	66.77 ± 14.96	41.16 ± 12.10	分类输入未乘以 $\beta_i$，背景噪声侵蚀 OOD 准确率
(4) 无感知重构损失	95.75 ± 1.76	89.55 ± 2.19	64.64 ± 2.33	52.20 ± 11.59	移除图像解码重构，概念精度下降，出现捷径拟合
完整模型 (Ours)	94.26 ± 2.00	90.00 ± 3.01	85.16 ± 2.45	65.46 ± 5.70	四项核心机制协同，保持最佳泛化与语义接地

关键发现¶

组合泛化断层领先：在 MM-A 未见数字组合上，纯神经模型与基于插槽的纯连接主义方法性能彻底崩溃（CNN 仅 3.43%、MESH 仅 18.26%、CoSA 仅 36.20%），而 DeepObjectLog 达到惊人的 90.00%，证明符号推理先验是解耦特征依赖与抵御组合分布偏移的决定性机制。
动态实体数量外推卓越：在测试集扩展到 4 个和 5 个数字（训练时仅 0–3 个）时，纯神经模型由于缺乏显式计数与物体性控制，精度雪崩至 9%–25%，而本文方法仍能保持 69.73% 和 44.06% 的准确率。在测试集求和出现训练未见数值的“OOD 类外推”极限场景下，本文分别取得 70.50% 与 46.66% 的高准确率，而所有基线模型因分类头维度固定直接不可用。
优于通用大型多模态模型：在零样本提示对比中，强大的通用视觉语言模型 LLaVA-1.5-7B 在 MM-A 组合泛化上仅有 27.43%（5 数字外推仅 1.87%），Qwen2.5-VL-7B 仅达 59.93%（5 数字外推 14.37%），远低于 DeepObjectLog 的 90.00% 与 44.06%，表明多实体符号精确算术仍是通用大模型的阿喀琉斯之踵。
感知重构防止捷径：消融实验清晰证实，若不包含图像重建损失（变体 4），虽然分布内任务准确率看似微升（95.75%），但底层概念准确率直降 20 个百分点（85.16% $\to$ 64.64%），模型倾向于利用局部像素捷径拼凑全局标签；重建损失强迫插槽回归视觉物理实体。

亮点与洞察¶

逻辑边缘化替代集合匹配：传统目标检测与插槽学习长期受困于置换不变性与匈牙利匹配开销。本文揭示了概率逻辑加权模型计数在数学上能直接对插槽的全排列完成边缘化求和，不仅可微分，而且天然免疫排列歧义。
远程监督下的概念涌现：模型未曾见过单字符位置框、单字符标签或物体数量，仅通过“几张牌组合成同花顺/葫芦”或“图像总和为 15”的弱信号，便自主涌现出单个字符的定位能力与类别谓词。
即插即用迁移新规则：感知编码器与符号规则之间解耦。训练完成后，若引入未见过的扑克牌规则（如三条或葫芦），无需重新训练视觉感知模块，只需更换 ProbLog 规则文件，模型即可在全新任务上取得 72.23% 的零样本规则泛化准确率。

局限与展望¶

精确概率推理的组合爆炸：精确边缘化求和的时间复杂度随候选插槽上限 $N$ 及每个插槽的候选类别数指数级增长。在更大规模场景或复杂关系网络中，必须引入近似概率推理（如基于采样或张量编译加速）。
弱监督概念的不可辨识性（Identifiability）：在部分任务中（例如 PokerRules），全局标签仅约束了牌面之间的相等关系（如对子），而无法唯一确定具体是红桃 10 还是红桃 J，导致学习到的概念虽支持关系规则，但不完全等同于人类给定的命名标签。
复杂真实图像的缩放能力：尽管在结合预训练 DINO 的 COCOLogic 实验中表现亮眼，但目前主要依赖预训练骨干；未来需探索将自监督视觉表征与动态神经符号规则在大规模真实视频及具身环境中联合预训练。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通非结构化图像插槽表征与概率逻辑边缘化的端到端远程监督接口。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖算术、扑克规则、CLEVR 与真实 COCOLogic，涵盖组合、插值、外推及 VLM 对比。
写作质量: ⭐⭐⭐⭐⭐ 概率图模型推导严谨，符号形式化清晰，实验设计逻辑环环相扣。
价值: ⭐⭐⭐⭐⭐ 为解决通用场景下实体未定义、弱监督神经符号学习提供了标准范式。