Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot¶

会议: NeurIPS 2026
arXiv: 2605.23819
OpenReview: https://openreview.net/forum?id=XYmvp2YQdC
代码: https://anonymous.4open.science/r/JEM-0B78/
领域: 其他
关键词: 人类对齐, 联合能量模型 (JEM), 生成与判别权衡, 形状偏置, 视觉表征

一句话总结¶

本文通过联合能量模型（JEM）在固定网络架构下连续插值判别与生成学习目标，在感知相似度、光泽感知、响应不确定性、分布漂移鲁棒性、形状偏置及诊断性特征归因等六大基准上系统证明：人类对齐的最优解始终落在生成与判别的折中平衡区间，而非两极终点。

研究背景与动机¶

在计算视觉与认知神经科学中，一个长久争论的核心问题是：人类水平的视觉表征究竟应当由判别式学习还是生成式学习来解释？经典的前馈判别式模型将视觉映射为从视网膜输入到类别标签的快速推理过程，在建模灵长类腹侧视觉流各级皮层神经表征上取得了极大成功；相反，生成式视角则主张视觉感知本质上是在内部世界模型下基于自顶向下先验的贝叶斯推理与逆向合成，更擅长捕捉中层材质感知、形状偏置以及人类错觉。然而，这一长期论战所依赖的经验对比往往存在严重的混杂变量：现有研究在对比生成模型与判别模型时，不仅改变了学习目标，还同时改变了模型架构、训练数据分布、规模参数以及归纳偏置，导致无法厘清人类对齐性的提升究竟来源于训练目标本身，还是附带的架构与先验差异。

这种实验混杂使得既往结论频生冲突：例如近期研究表明，仅需对判别模型输入进行低通滤波即可复现生成模型在形状偏置上的部分优势；而在三选一异常检测（odd-one-out）任务中，潜在扩散模型的人类对齐度并不优于标准 ImageNet 分类器。要彻底厘清“生成 vs 判别”对视觉表征对齐性的本质影响，亟需一个能够在完全固定的网络架构、参数规模和训练数据下，严格且连续调节生成与判别目标相对权重的实验测试床。

本文借助联合能量模型（Joint Energy-Based Models, JEMs）构建了这一完全解耦的实验受控体系。JEM 将标准分类网络重新解释为联合能量函数，使得同一组权重同时支持判别式条件概率预测 $p_\theta(y|x)$ 与生成式边际密度估计 $p_\theta(x)$。核心 idea：利用联合能量模型作为受控插值框架，通过单一混合系数连续平滑扫描生成与判别学习目标，系统揭示人类视觉对齐性在感知、不确定性、泛化偏置与注意力特征等多维度上均严格峰值于折中的混合平衡区间（sweet spot），从而打破“非判别即生成”的二元对立范式。

方法详解¶

整体框架¶

本文构建了基于 JEM 的连续插值优化框架，用单一网络架构 $f_\theta(x)$ 统一生成与判别两条计算路径。给定输入图像 $x \in \mathbb{R}^N$ 与类别标签 $y \in \{1, \dots, K\}$，网络输出各类别未归一化 logits $f_\theta(x)[y]$，定义输入-标签对的联合能量为 $E_\theta(x, y) = -f_\theta(x)[y]$。此时，判别条件分布 $p_\theta(y|x)$ 精确退化为标准 Softmax 分类头，而数据分布的生成边际能量则自然表达为 Log-Sum-Exp 形式：$E_\theta(x) = -\log \sum_y \exp(f_\theta(x)[y])$。整个优化过程通过梯度范数平衡的单一插值系数 $\alpha \in [0, 1]$ 统一驱动。在推理阶段，该框架还允许利用随机梯度朗之万动力学（SGLD）沿能量超曲面自适应迭代，无需重训即可动态放大形状一致性表征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x 与标签 y"] --> B["联合能量模型表征骨干<br/>Wide ResNet (WRN) 提取特征 logits f_θ(x)"]
    B --> C["双路径概率分解与能量建模<br/>判别式 p_θ(y|x) 对应分类；生成式 p_θ(x) 对应边际能量"]
    C --> D["梯度范数校准的连续插值优化<br/>平衡因子 c 消除梯度尺度差异，系数 α∈[0,1] 连续调谐"]
    D --> E["测试期能量驱动采样与表征精炼<br/>SGLD 朗之万动力学沿能量梯度迭代，自适应增强形状偏置"]
    E --> F["六大多尺度人类对齐基准全面评测<br/>低层感知 / 中层光泽 / 不确定性 / 泛化鲁棒 / 形状偏置 / 诊断特征"]

关键设计¶

1. 联合能量双路径建模：统一同一网络下的判别分类与生成密度估计 传统对比常将独立的判别分类器（如 ResNet）与独立的生成模型（如 PixelVAE、Diffusion）相比较，无法剥离架构参数的扰动。为解决这一根本痛点，本文利用 JEM 将神经网络输出的 logits 视为玻尔兹曼分布的负自由能： $$p_\theta(x, y) = \frac{\exp(-E_\theta(x, y))}{Z(\theta)}, \quad E_\theta(x, y) = -f_\theta(x)[y],$$ 其中配分函数 $Z(\theta) = \sum_{y'} \int \exp(f_\theta(x')[y']) dx'$ 虽然高维不可积，但联合对数似然可严格分解为两项之和： $$\log p_\theta(x, y) = \log p_\theta(y \mid x) + \log p_\theta(x).$$ 其中判别项 $\log p_\theta(y \mid x)$ 保持标准 Softmax 交叉熵结构，促使网络捕捉类别决策超平面；而生成项 $\log p_\theta(x) = \log \sum_y \exp(f_\theta(x)[y]) - \log Z(\theta)$ 则驱使网络学习输入数据的全局几何流形分布。同一组模型参数同时承载两种计算目标，确保了表征空间的纯粹可比性。

2. 梯度范数校准插值机制：稳定多尺度混合目标的连续受控平移 在直接联合训练 $\mathcal{L} = \alpha \mathcal{L}_G + (1-\alpha) \mathcal{L}_D$ 时，生成对比散度梯度 $\|\nabla_\theta \mathcal{L}_G\|$ 与判别分类梯度 $\|\nabla_\theta \mathcal{L}_D\|$ 在优化历程中常常存在数个数量级的绝对尺度差异，这会导致 $\alpha$ 产生严重的非线性跳变甚至造成训练崩溃。为此，本文设计了自适应梯度范数校准标量（带停止梯度算子）： $$c = \frac{\|\nabla_\theta \mathcal{L}_D\|}{\|\nabla_\theta \mathcal{L}_G\| + \varepsilon},$$ 并将总训练目标定义为： $$\mathcal{L} = \alpha \cdot c \cdot \mathcal{L}_G + (1-\alpha) \cdot \mathcal{L}_D.$$ 该动态平衡因子确保生成项梯度与判别项梯度在反向传播时始终维持在同等量级，使 $\alpha \in [0, 1]$ 成为真实线性连续的物理控制轴：$\alpha=0$ 严格退化为纯判别训练，$\alpha=1$ 严格对应纯生成式能量模型训练，从而精确刻画出步长为 0.1 的 11 组受控模型族谱。

3. 潜空间受控训练与测试期朗之万精炼：克服大尺度不稳定性并实现测试期无监督对齐 针对能量模型在 ImageNet 高维像素空间训练极易发散且算力开销巨大的挑战，本文引入预训练冻结的 AutoencoderKL 将输入投影至潜空间（latent space），在隐表征上构建 WRN-22-8 能量模型，有效缓解了生成采样的维度灾难。在负样本采集与推理阶段，模型采用随机梯度朗之万动力学（SGLD）： $$x_{t+1} = x_t - \frac{\eta_t}{2} \nabla_x E_\theta(x_t) + \omega_t, \quad \omega_t \sim \mathcal{N}(0, \eta_t I).$$ 更关键的是，该机制赋予了模型独特的测试期表征精炼能力：面对具有形状-纹理冲突的歧义图像时，无需微调任何权重，直接对测试输入执行数步 SGLD 迭代，由于高 $\alpha$ 模型能量超曲面蕴含对全局相干形状的强先验约束，输入表征被自发推向高概率低能量区域，迅速衰减局部高频纹理扰动，使模型的形状偏置随迭代步数大幅攀升。

损失函数 / 训练策略¶

模型综合优化判别交叉熵损失与生成对比散度（Contrastive Divergence, CD）损失： - 生成损失近似：采用 $L=20$ 步 SGLD 生成负样本 $x^-$，结合回放缓冲区（Replay Buffer）更新未归一化对数概率梯度： $$\ell_G = -\left(\frac{1}{B} \sum_{i=1}^B f_\theta(x_i^+) - \frac{1}{B} \sum_{i=1}^B f_\theta(x_i^-)\right).$$ - 优化器与学习率调度：采用 Adam 优化器，学习率设为 $1\times 10^{-4} \sim 5\times 10^{-5}$（较大网络或较高 $\alpha$ 使用较小学习率，防止发散），配合 1000 步线性 warmup 与余弦退火衰减。 - 正则化与稳定性：禁用所有 Batch Normalization（改用 LayerNorm 或去除 Norm），引入标准差为 0.05 的输入高斯噪声增广，使用 LeakyReLU 激活函数，并在 SGLD 采样链中采用步长线性衰减与 $[-1, 1]$ 截断机制。

实验关键数据¶

主实验¶

论文在涵盖低层感知、中层物理属性、不确定性、分布漂移鲁棒性、形状偏置及诊断性注意力特征等 6 大核心人类对齐基准上对 11 组 JEM 模型（$\alpha \in [0, 1]$）进行全面评估。

评估基准与认知维度	评估任务 / 数据集	核心评价指标	纯判别端点 ($\alpha=0$)	最优混合 JEM (Sweet Spot)	纯生成端点 ($\alpha=1$)	既有人类/模型基准参考
低层感知相似度	BAPPS (2AFC & JND)	2AFC 准确率 (%) / JND mAP (%)	70.1% / 54.3%	71.8% / 57.5% ($\alpha=0.6$)	65.2% / 50.1%	人类一致性上限 83% / SqueezeNet 58.4%
中层材质感知	Gloss Perception	与人类光泽评分 Pearson 相关系数 $r$	0.812	0.865 ($\alpha=0.5$)	0.764	PixelVAE $r=0.835$ / ResNet18 $r=0.798$
人类响应不确定性	CIFAR-10H 软标签	与人类反应分布交叉熵 (nats, 越低越好)	0.82 nats	0.63 nats ($\alpha=0.8$)	1.15 nats	人类观察者间分歧上限 0.55 nats
OOD 分布漂移泛化	Model-vs-Human (17项变换)	错误一致性 Cohen's $\kappa$	0.285	0.342 ($\alpha=0.5$)	0.210	人类观察者间一致性 $\kappa=0.39$
形状-纹理线索冲突	Shape-Texture Cue Conflict	形状偏置比例 (Shape Bias %)	23.4%	68.7% ($\alpha=0.9$)	- (分类头未训练)	人类基准参考 ≈96% / AlexNet 20%
诊断性特征归因	ClickMe 特征显著图对齐	归一化 Spearman 秩相关系数	0.418	0.536 ($\alpha=0.3$)	0.320	人类内部一致性归一化上限 1.0

消融与分析实验¶

论文针对不同潜变量维度、测试期精炼机制以及潜表征先验混杂进行了多项深入对照分析。

分析实验配置	考察指标 / 评测维度	结果与规律	核心结论
冻结 VAE 编码器对照 (无 JEM)	ClickMe 相关系数 / 2AFC 准确率	0.312 / 64.8%	显著低于混合 JEM，证明对齐增益源于联合训练目标而非 VAE 潜空间先验
光泽感知隐空间维度消融 (Dim=10, 100, 500, 2000)	光泽分类与人类评判相关系数 $r$	各维度下 $\alpha=0.5$ 均稳居峰值；500-dim 下 $r=0.865$	彻底推翻 PixelVAE 优于 ResNet 仅因生成的旧结论，证明架构受控下混合目标最优
测试期 SGLD 迭代步数 (Step=0, 5, 10, 20)	形状偏置比例 (Shape Bias %)	$\alpha=0$ 保持约 23%；$\alpha=0.7$ 从 54% 攀升至 72%	能量超曲面内嵌全局形状几何约束，测试期无需微调即可通过朗之万推理放大形状偏置
梯度范数校准 $c$ 消融 (w/o $c$)	优化稳定性与 $\alpha$ 灵敏度	$\alpha \in [0.2, 0.8]$ 频繁发散，表征偏向单一目标	证实梯度尺度校准是实现真正平滑连续可比插值的关键数学前提

关键发现¶

对齐甜区的一致性与端点失效：在所有 6 个基准上，极值端点 $\alpha=0$（纯判别）和 $\alpha=1$（纯生成）均从未达到最优人类对齐；最高对齐度无一例外地出现在中间混合区间（集中于 $\alpha \in [0.3, 0.8]$）。
最优点在认知层级间的规律性迁移：最优混合系数 $\alpha^*$ 的分布呈现出极具解释性的认知光谱：高度依赖类别边界辨别性的任务（如 ClickMe 诊断特征）偏向判别侧（$\alpha^* \approx 0.3$）；依赖底层几何相干性与非典型样本歧义建模的任务（如 CIFAR-10H 响应不确定性）偏向生成侧（$\alpha^* \approx 0.8$）；而感知相似度与材质物理属性判定则精确居中（$\alpha^* \approx 0.5 \sim 0.6$）。
测试期动态表征进化的新范式：JEM 具备独特的生成式双向特性，测试期仅通过少量 SGLD 梯度步长即可模拟人类在歧义刺激下的“深思熟虑”（System 2 风格），自然消除局部虚假纹理快捷方式。

亮点与洞察¶

实验受控视角的范式革新：以往认知计算领域关于“生成好还是判别好”的争议实质上被模型架构、预训练规模与数据集的巨大差异所污染；本文通过 JEM 将“学习目标”作为唯一物理自变量完全隔离，彻底厘清了因果机制。
巧妙的自适应梯度范数平衡设计：针对生成 EBM 对比散度梯度与判别分类交叉熵梯度尺度相差悬殊的痛点，引入带 stop-gradient 的动态模长归一化系数，使得连续跨模态插值在数学和训练上得以严密收敛。
超越“非此即彼”的认知 AI 启发：证实人类视觉系统既非纯粹的前馈判别器，亦非孤立的逆渲染生成器，而是两者的有机统一。将生成流形建模作为判别表征的自顶向下正则化约束，能够低成本迁移到提高现代 Vision Foundation Models 对抗鲁棒性与少样本泛化的设计中。

局限与展望¶

计算代价与大规模扩展瓶颈：尽管引入了潜空间 VAE 编码，但 JEM 训练仍需内层 20 步 SGLD 采样，单卡并行 11 组模型在 ImageNet 尺度上需耗费数天甚至上百卡时算力，难以直接扩展至数十亿参数的现代自回归/扩散基座。
网络架构的单一性局限：全文实验主要基于 Wide ResNet 系列卷积骨干，尚未在现代 Vision Transformer (ViT) 或多模态统一注意力架构上进行能量对齐验证。
未来方向：探索在扩散能量模型或基于流匹配（Flow Matching）的现代统一生成判别架构中验证该混合甜区，并将对齐度评估进一步拓展到灵长类真实皮层（V1、V4、IT 区）神经群体放电响应的高精度拟合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在完全受控固定的单一网络架构下，以连续插值严谨论证生成与判别人类对齐的 Sweet Spot 假说。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个不同认知层级的人类行为与神经心理物理学基准，并完成严格的潜空间及维度消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号规范，对既有文献的混杂因果辨析切中要害。
价值: ⭐⭐⭐⭐⭐ 为计算视觉、类脑智能建模与可信可靠机器视觉系统的目标函数设计提供了极为深刻的基础理论支撑。