Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision¶

会议: NeurIPS 2026
arXiv: 2604.21909
代码: https://github.com/bethgelab/model-vs-human
领域: 可解释性
关键词: 归纳偏置, 率失真理论, 混淆矩阵非对称性, 人类与机器视觉, 泛化几何

一句话总结¶

论文通过率失真理论（Rate-Distortion）形式化混淆矩阵中的非对称错误结构，发现人类视觉呈现广而弱的分布式非对称混淆，而深度神经网络表现为稀疏且强烈的汇聚型崩溃（sink-like collapse），揭示了单纯分类准确率所无法捕捉的发散归纳偏置。

研究背景与动机¶

在人类认知中，相似性判断天然具备不对称性——人们普遍觉得知更鸟像鸟，但很少觉得鸟像知更鸟；椭圆看起来像圆，但圆很少被看作椭圆。这种非对称性反映了内部表征的原型效应与特征显著度梯度，直接打破了传统度量空间假设。在图像分类任务中，模型和受试者常会混淆两类物体，然而现有的视觉模型鲁棒性与泛化评估几乎无一例外地将混淆矩阵视作非结构化错误，仅关注准确率或 top-k 错误率等标量指标，完全抹平了“谁被错认成了谁”以及“错误在哪个方向上发生”的核心几何结构。

现有人工神经网络（ANN）在自然图像受扰动分类任务中尽管能够刷到与人类相当的准确率，但两者在分布偏移下的错误模式存在本质撕裂。主流机器学习范式受“简单性偏差”（Simplicity Bias）驱动，倾向于抓取捷径特征（如局部纹理或单一主导特征），导致网络产生极具方向性的错误坍缩——例如将各种不同品种的犬类全部单向归并为拉布拉多犬，而不会发生反向混淆。相比之下，人类视觉建立在平滑连续的多维相似度感知空间上。如果评估指标只计算标量错误率或将混淆矩阵做无向对称化处理，就无法诊断出深度模型决策边界与生物视觉之间的根本分歧。

为了系统刻画这种非对称错误结构与模型泛化几何之间的内在联系，本文将每个分类系统形式化为有噪通信信道，引入率失真（Rate-Distortion, RD）理论前沿，以解析系统在特定失真约束下所需保留的互信息代价。本文的核心 idea 是：将分类混淆矩阵解耦为广度（breadth）与强度（strength）两个方向性非对称维度，并利用率失真前沿的几何特征（效率 AUC、斜率 $\beta$ 与曲率 $\kappa$）刻画泛化能力，证明人类与机器视觉在相同准确率下展现出完全相反的归纳偏置与率失真几何位移。

方法详解¶

整体框架¶

本文构建了一套从行为混淆矩阵推断隐式感知失真并映射至率失真前沿的分析管线。系统输入为受控图像扰动下的人类心理物理学响应与模型分类预测；中间通过行归一化混淆矩阵提取非对称性指标，并利用 Blahut-Arimoto 算法迭代求解 MAP 隐式失真矩阵；最终沿逆温度参数 $\lambda$ 扫描率失真前沿，抽取斜率、曲率及积分面积，实现对系统泛化几何属性的形式化度量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["受扰动图像输入<br/>12类扰动 × 多级失真强度"] --> B["有效行为信道构建<br/>行归一化混淆矩阵 C 与 C0"]
    B --> C["非对称性分解<br/>广度 fpairs 与条件强度 Δ"]
    C --> D["隐式失真矩阵 MAP 推断<br/>Blahut-Arimoto 逆向拟合 ρ"]
    D --> E["率失真前沿扫描<br/>逆温度 λ 遍历生成 R-D 曲线"]
    E --> F["泛化几何特征提取<br/>斜率 β、曲率 κ、效率 AUC"]

关键设计¶

1. 非对称性分解：解耦混淆误差的广度与强度 传统指标常使用全局标量衡量非对称性，容易掩盖误差分布的组织拓扑结构。本文将行归一化条件概率矩阵 $C_{ij} = \Pr(y=j \mid x=i)$ 的对角线置零记为 $C_0$（排除正确分类），在引入数值阈值 $\varepsilon=10^{-12}$ 滤除浮点噪声的基础上，将方向性混淆拆解为三个正交维度：全局幅度采用非对角 Frobenius 范数归一化指标： $$A_{F}^{\mathrm{off}}(C) = \frac{\|C_0 - C_0^\top\|_F}{\|C_0\|_F}$$ 广度指标定义为存在显著方向偏差的类别对比例 $f_{\mathrm{pairs}} = n_{\mathrm{pairs}} / \binom{K}{2}$，其中 $n_{\mathrm{pairs}} = \sum_{i<j} \mathbb{I}[|C_{ij} - C_{ji}| > \varepsilon]$；强度指标 $\bar{\Delta}$ 则定义为在非对称类别对子集上的条件平均偏差： $$\bar{\Delta} = \mathbb{E}_{i<j} \left[ |C_{ij} - C_{ji}| \;\middle|\; |C_{ij} - C_{ji}| > \varepsilon \right]$$ 该设计使分析能够精准区分“大范围轻微不对称”（人类特征）与“少数类别极度不对称单向汇聚”（模型特征）。

2. 隐式失真矩阵推断：基于 Blahut-Arimoto 的信道逆向 MAP 拟合 为了探究混淆矩阵所蕴含的表征几何代价，本文将系统决策过程建模为离散无记忆信道。给定观察到的经验混淆计数 $N$，利用最大后验概率估计（MAP）反推隐含的非负感知失真矩阵 $\rho \in \mathbb{R}_{\geq 0}^{K \times K}$（对角线 $\rho_{ii} = 0$）。在每一轮优化中，失真矩阵 $\rho$ 下的最优转移概率分布满足 Blahut-Arimoto 鞍点条件： $$q_{\lambda}(y \mid x) \propto p(y) \exp(-\lambda \rho(x, y))$$ 联合迭代边际分布 $p(y) = \sum_x p(x) q_{\lambda}(y \mid x)$ 直至收敛。该方法的核心优势在于完全不强求失真度量满足度量空间的对称公理或三角不等式，从而完整保全了经验行为中的单向混淆特征。

3. 率失真前沿几何特征提取：量化信息-误差权衡 利用反推得到的感知失真矩阵 $\rho$，在对数网格 $\lambda \in [10^{-1}, 10^3]$ 内扫描逆温度参数，生成互信息率 $R$ 与期望失真 $D$ 构成的率失真前沿 $R(D)$。本文抽取三个紧凑的几何签名：全局斜率 $\beta$ 取有限差分导数的中位数 $\beta = \mathrm{median} \{\Delta R / \Delta D\}$，度量降低分类错误所需的边际信息成本；曲率 $\kappa = \mathrm{Var}(\Delta R / \Delta D)$，捕捉权衡关系的局部非均匀性（$\kappa$ 越高代表决策转变越突兀、存在硬阈值效应）；效率 AUC 取 $R(D)$ 曲线下的梯形积分面积，综合评估系统在全压缩范围内的信息利用效率。该机制摆脱了单一工作点的性能限制，直接将行为误差的不对称拓扑与信道编码几何相绑定。

4. 生成式机制模拟：广弱与汇聚拓扑的因果验证 为验证非对称组织模式如何独立于准确率反向调节率失真几何，本文构建了受控生成模拟。在合成的真值失真矩阵 $\rho_{\mathrm{true}} = \rho_{\mathrm{sym}} + a A$ 中，引入反对称矩阵 $A = -A^\top$ 并由标量 $a \ge 0$ 调节强度。设计两种生成机制：一是“广弱型”（broad-weak），在全矩阵叠加密集微弱反对称扰动；二是“汇聚型”（sink-like），将概率质量定向坍缩至极少数吸收类别。模拟覆盖 5 种泛化锐度 $\lambda_{\mathrm{gen}}$、3 类单类样本规模 $N_{\mathrm{per\,row}}$ 与多重随机种子，直接建立非对称结构对率失真前沿扩张或塌缩的因果机制解释。

实验关键数据¶

主实验¶

基于自然图像 16 分类泛化基准（GEN Benchmark，含 12 类图像扰动族及多级失真梯度），评估约 8.3 万次人类心理物理学实验与主流深度视觉模型（标准预训练 GoogLeNet、ResNet-152、VGG-19，以及经失真微调、单扰动特化和多噪声增强的 ResNet-50 变体），共汇总 1569 个模型分析块与 81 个人类分析块。

评估指标	评估块数 (ANNs / Humans)	ANNs 模型均值 ± SE	人类实验均值 ± SE	统计检验 (Wilcoxon rank-sum)
全局 Frobenius 非对称指数 $A_F^{\mathrm{off}}$	1569 / 81	1.220 ± 0.0047	1.044 ± 0.0097	$p < 2.2 \times 10^{-16}$
非对称类别对总数 $n_{\mathrm{pairs}}$ (所有模型)	1569 / 81	64.16 ± 0.666	85.41 ± 2.76	$p = 2.24 \times 10^{-11}$
非对称类别对总数 $n_{\mathrm{pairs}}$ (基线 CNN)	243 / 81	53.95 ± 1.45	85.41 ± 2.76	$p < 2.2 \times 10^{-16}$
非对称类别对比例 $f_{\mathrm{pairs}}$	1569 / 81	0.535 ± 0.0056	0.712 ± 0.023	$p = 2.24 \times 10^{-11}$
条件非对称强度 $\bar{\Delta}$	1569 / 81	0.1409 ± 0.0049	0.0422 ± 0.0022	$p = 6.55 \times 10^{-5}$

实验结果清晰显示出双重分离：人类视觉在 120 个可能类别对中平均有 85.4 对呈现非对称性（占比 71.2%），但条件偏差强度仅为 0.0422；而神经网络模型的非对称对数仅为 64.2 对（基线 CNN 仅 54.0 对，占比 45%），但单对的非对称强度高达 0.1409，为人类的 3.3 倍。

消融与机制分析：率失真几何关联与生成模拟残差回归¶

下表给出了各模型族与人类之间非对称指数与率失真几何特征（AUC, $\beta$, $\log_{10}(\kappa+1)$）的 Spearman 秩相关，以及块去均值交互模型中相对于人类的斜率差异 $\Delta \mathrm{slope}$。

模型群体	样本量 $n$	崩溃率 %Coll.	秩相关 $\rho_{\mathrm{AUC}}$	秩相关 $\rho_\beta$	秩相关 $\rho_\kappa$	$\Delta \mathrm{slope}_{\mathrm{AUC}}$ (vs. Human)	$\Delta \mathrm{slope}_\kappa$ (vs. Human)
Humans	81	0.00	0.29	0.17	-0.22	0.0 (参考基准)	0.0 (参考基准)
GoogLeNet	81	0.00	-0.40	-0.33	0.43	+2.67 ($p=0.34$)	-0.87 ($p=0.62$)
ResNet-152	80	1.23	-0.39	-0.46	0.41	-0.69 ($p=0.74$)	-0.48 ($p=0.71$)
VGG-19	80	1.23	-0.43	-0.35	0.48	-1.36 ($p=0.57$)	+0.61 ($p=0.68$)
Distortion-trained	1182	3.11	-0.73	-0.57	0.72	-7.89 ($p=1.3\times 10^{-7}$)	+3.96 ($p=2.0\times 10^{-5}$)
Specialised	53	0.00	0.37	0.18	-0.31	-4.77 ($p=0.014$)	+3.40 ($p=0.0049$)
All-noise	53	0.00	0.32	0.22	-0.36	-3.55 ($p=0.055$)	+2.56 ($p=0.026$)

在生成机制模拟（15 组 $(\lambda_{\mathrm{gen}}, N_{\mathrm{per\,row}})$ 切片）中，控制准确率残差后，检验“广度/强度分解模型”与“单一全局标量模型”对残差 AUC 的解释力： - AUC 分解模型：广度项系数中位数为 -2.05（在 11/15 切片中显著），强度项中位数为 -4.28（在 12/15 切片中显著），广度×强度交互项中位数为 +5.33（5/15 切片显著），结构偏移（汇聚型 vs 广弱型）中位数为 -0.447（15/15 切片全部极显著）。 - AUC 单一全局模长模型：全局 Frobenius 非对称系数中位数仅为 -0.0047，仅在 3/15 个切片中呈现统计显著。 - 斜率 $\beta$ 与曲率 $\kappa$：全局模长在 15/15 个切片中均具有高预测力（$\beta$ 中位系数 -0.144，$\kappa$ 中位系数 -0.201），说明率失真效率（AUC）专门受非对称拓扑组织驱动，而前沿局部导数主要响应误差总量。

关键发现¶

准确率与非对称拓扑的双重分离：在准确率完全持平的条件下，基线 CNN 与人类表现出显著的非对称性差异；而通过全噪声混合增强（All-noise）训练的模型虽然全局 Frobenius 非对称指数被拉低到人类水平（1.04 附近），但在非对称结构上依然保持稀疏高强度的汇聚型模式，证明鲁棒性微调无法自动复原人类的分布式归纳偏置。
扩展至 15 类前沿架构：包括 Vision Transformer (ViT-L/16)、CLIP、自监督学习 (SimCLR, MoCo v2)、半监督 (SWSL ResNeXt) 及局部感受野模型 (BagNet)，所有 15 种架构的 Frobenius 指数均极显著高于人类（$p < 0.001$, BH-FDR 矫正），表明汇聚型不对称性是人工神经网络跨架构的普遍本征特性。
非对称组织决定率失真空间位移：生成模拟表明，在相同分类性能下，广弱型非对称使得有效表征保留更多类别辨识维度的残余信息，系统率失真前沿向高效率扩张；汇聚型非对称则将信息过度压缩至少数特征吸引子，导致信道容量与泛化效率迅速塌缩。

亮点与洞察¶

将率失真理论引入视觉模型错误结构分析：超越传统的准确率标量与对称度量嵌入，首次将行为混淆矩阵视作非对称有效通信信道，为归纳偏置提供了具备信息论几何可解释性的新量化工具。
揭示人类平滑流形与机器捷径吸引子的几何差异：人类视觉的“广而弱”错误反映了特征空间中各类别间平滑渐变的感知拓扑，而人工网络的“稀疏单向汇聚”直观暴露了模型对捷径决策边界与主导类别的刚性塌缩。
标量鲁棒性指标的局限性预警：证明了数据增强等鲁棒训练虽然能压低总混淆量，但无法改变模型底层的汇聚型错误偏置，提示未来模型对齐应显式引入混淆矩阵汇聚惩罚项。

局限与展望¶

类别规模受限：受制于 GEN 心理物理学基准的实验设计，分析仅在 $K=16$ 个 ImageNet 粗粒度语义类别上展开，细粒度分类或数千类大尺度体系下的非对称拓扑仍待验证。
人类实验切片样本量有限：人类基准汇总自约 8.3 万次测验，但聚合为受控分析块后仅有 81 个单元，远少于模型的 1569 块，亟需更大规模、更密集的心理物理学混淆数据以提高统计精度。
训练期显式正则化探索：本文揭示了汇聚型崩溃的存在，后续可在损失函数中直接引入混淆矩阵非对称广度与汇聚度的正则化项，探索能否在训练端诱导模型产生类人的分布式归纳偏置。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将率失真几何与混淆矩阵方向非对称性结合，视角极具原创性
实验充分度: ⭐⭐⭐⭐⭐ 结合 8.3 万人次心理测验、15 种前沿架构以及 1800 组生成式因果模拟，论证闭环严密
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，信息论框架与认知科学洞察融合自然
价值: ⭐⭐⭐⭐⭐ 为模型鲁棒性评估与类脑对齐提供了超越准确率的全新分析维度

评估指标	评估块数 (ANNs / Humans)	ANNs 模型均值 ± SE	人类实验均值 ± SE	统计检验 (Wilcoxon rank-sum)
全局 Frobenius 非对称指数 \(A_F^{\mathrm{off}}\)	1569 / 81	1.220 ± 0.0047	1.044 ± 0.0097	\(p < 2.2 \times 10^{-16}\)
非对称类别对总数 \(n_{\mathrm{pairs}}\) (所有模型)	1569 / 81	64.16 ± 0.666	85.41 ± 2.76	\(p = 2.24 \times 10^{-11}\)
非对称类别对总数 \(n_{\mathrm{pairs}}\) (基线 CNN)	243 / 81	53.95 ± 1.45	85.41 ± 2.76	\(p < 2.2 \times 10^{-16}\)
非对称类别对比例 \(f_{\mathrm{pairs}}\)	1569 / 81	0.535 ± 0.0056	0.712 ± 0.023	\(p = 2.24 \times 10^{-11}\)
条件非对称强度 \(\bar{\Delta}\)	1569 / 81	0.1409 ± 0.0049	0.0422 ± 0.0022	\(p = 6.55 \times 10^{-5}\)