Learning a Maximum Entropy Model for Visual Textures using Diffusion¶

会议: NeurIPS 2026
arXiv: 2606.17342
OpenReview: https://openreview.net/forum?id=G8agvphCZJ
领域: 图像生成
关键词: 视觉纹理建模, 最大熵模型, 扩散模型, 统计量匹配, 无监督表示学习

一句话总结¶

本文提出首个利用扩散去噪机制无监督学习视觉纹理统计量的最大熵概率模型框架，仅用 512 个统计量即达到或超过经典 Gatys 模型（约 17.7 万统计量）的纹理重采样质量，并展现出平滑的凸性插值能力。

研究背景与动机¶

视觉纹理是由空间上重复分布的基元（如草地、树皮表面）组成的同质图像区域，是场景解析与材料识别的关键感知线索，也是视觉神经科学中探究灵长类视觉皮层 V1 与 V2 神经元响应差异的标准测试刺激。自 Julesz 提出经典的纹理感知假说以来，主流理论认为纹理外观由人类视觉系统测量的一组局部统计量决定，两幅具有相同特征统计量的纹理图像在感知上无法区分。这种基于特征约束的纹理集合，在统计物理与概率论中被严格形式化为最大熵概率密度模型——即在满足选定统计量均值约束的前提下，具有最大随机性（信息熵）的概率分布。

然而，经典最大熵纹理模型面临两大核心瓶颈：其一是特征统计量的选择，过去的方法要么依赖研究人员人工设计的滤波统计量（如 Portilla-Simoncelli 小波统计量），要么借用预训练目标分类网络（如基于 VGG19 Gram 矩阵的 Gatys 模型），前者表达能力受限且需要繁琐的先验调优，后者则依赖外源有监督任务且统计量维度极其庞大（高达约 17.7 万维），缺乏内在解释性；其二是参数化最大熵分布在归一化因子（配分函数）上的积分难解性，使得直接通过最大似然估计无监督学习紧凑的统计量算子在数学上极度困难。

本文切入的角度是：生成式扩散模型的核心机制正是利用去噪网络估计加噪分布的对数概率梯度（得分，Score），而在得分匹配框架下，最大熵分布中极其难解的配分函数在对图像求导时自然消失。核心 idea：将最大熵指数族的对数概率严格参数化为双网络内积，借助方差保持扩散去噪目标绕开配分函数直接学习紧凑的纹理统计量，从而打通最大熵理论、统计量匹配与扩散逆向采样的统一表示体系。

方法详解¶

整体框架¶

本文构建了一个基于最大熵假设的生成式纹理建模体系。对于给定的单张纹理图像，模型通过两个相互解耦的神经网络分别提取特征统计量与分布权重参数，并将图像分布的对数概率表述为二者的点积。在训练阶段，模型引入高斯加噪扰动，利用 Tweedie 公式将最大熵得分与加噪图像的最小均方误差（MMSE）去噪预测器精确对齐；在推断生成阶段，既支持基于统计量匹配的梯度反传优化采样，也支持标准的 DDPM 逆向逆扩散采样。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>无标签同质纹理斑块 x"] --> B["同质性筛选与数据集构建<br/>可操纵金字塔方差评估"]
    B --> C["双网络能量参数化<br/>ConvNeXt 权值网络与孪生 UNet 特征网络"]
    C --> D["扩散去噪得分匹配训练<br/>方差保持 v 预测目标函数优化"]
    D --> E["双路纹理生成机制<br/>统计量匹配优化 vs 扩散逆向采样"]
    E --> F["对抗性竞争评估与特征插值<br/>MAD 竞争对比与表示空间凸性验证"]

关键设计¶

1. 同质性筛选与数据集构建：从海量自然图像中自动化提取纯净纹理基元 为了在没有人工标注纹理类别的情况下无监督训练模型，必须构建一个大规模且具有严格空间平稳同质性（Homogeneity）的图像库。针对这一痛点，本文提出了一种基于经典可操纵金字塔（Steerable Pyramid）的多尺度空间方差评估准则。具体而言，从 ImageNet21K 的自然图像中裁剪出大量 $128 \times 128$ 的无重叠局部斑块，利用包含 3 个尺度和 4 个方向的可操纵金字塔将其线性分解为 14 个特征图（包括各方向带通响应、高通残差与低通残差）。对各特征图（除低通外）进行平方取模并递归滤波下采样至 $16 \times 16$，计算其空间标准差与均值的比值并全局累加求和，最终筛选出得分最低（即各尺度能量分布最均匀平稳）的前 100 万个斑块作为训练集。该机制从数据源头上滤除了带有全局语义结构的前景物体，确保了输入数据严格符合最大熵空间遍历性假设。

2. 双网络能量参数化：对齐指数族概率密度函数形式 在最大熵概率形式中，概率密度满足 $p_\lambda(x) = \frac{1}{Z(\lambda)} \exp\left(-\lambda^T f(x)\right)$，其中 $f(x) \in \mathbb{R}^d$ 为统计量特征，$ \lambda \in \mathbb{R}^d$ 为对偶参数。为了使神经网络结构完全忠实于物理公式，系统设计了两个拓扑完全不同的网络： - 统计量网络 $f_\theta(y)$：由两个结构完全相同但独立随机初始化、独立训练的 UNet 编码器半边构成。当给定加噪图像 $y$ 时，取两个编码器在各个下采样阶段末端的对应通道特征图，在空间上逐通道计算内积，输出 $d=512$ 维的标量向量 $f_\theta(y)$。这种孪生内积结构天然具备计算自相关与高阶交叉矩的能力，模拟了广义空间相关性。 - 条件权重网络 $\lambda_\phi(x, \sigma)$：基于轻量级 ConvNeXt-T 骨干网络构建，输入原始纹理图像 $x$ 并通过正弦位置编码与各卷积块后的 FiLM 层注入噪声尺度 $\sigma$。网络将最终阶段的特征通道做全局空间平均池化，直接输出与 $f_\theta(y)$ 维度一致的 $512$ 维向量 $\lambda_\phi(x, \sigma)$。整个体系的非归一化能量函数即为两向量的点积 $-\lambda_\phi(x, \sigma)^T f_\theta(y)$，完全避免了传统黑盒能量网络复杂的非线性耦合。

3. 扩散去噪得分匹配训练：消除不可解配分函数的梯度逼近 由于归一化因子 $Z(\lambda) = \int \exp(-\lambda^T f(x)) dx$ 的高维积分无法解析求解，直接极大似然训练完全不可行。本文巧妙借助得分匹配机制：对加噪图像 $y = \frac{1}{\sqrt{\sigma^2+1}} x + \frac{\sigma}{\sqrt{\sigma^2+1}} \varepsilon$ 计算对数后验梯度的得分项，常数项 $Z(\lambda)$ 在对 $y$ 求导时完全消失： $$\nabla_y \log p(y) = -\nabla_y \left[\lambda(x, \sigma)^T f_\theta(y)\right]$$ 依据高斯扰动下的 Tweedie 公式，贝叶斯后验噪声期望 $\mathbb{E}[\varepsilon|y] = -\frac{\sigma}{\sqrt{\sigma^2+1}} \nabla_y \log p(y)$。当 $f(y)$ 的函数空间包含二范数平方项 $y^T y$ 时，去噪估计器可重参数化为等价的 $v$ 预测形式： $$\hat{\varepsilon}_{\theta, \phi}(y; \lambda) = \frac{\sigma}{\sqrt{\sigma^2+1}} y - \frac{1}{\sqrt{\sigma^2+1}} \nabla_y \left[\lambda_\phi(x, \sigma)^T f_\theta(y)\right]$$ 模型直接通过最小化均方去噪误差 $\min_{\theta,\phi} \mathbb{E}_{x,\sigma,\varepsilon} \|\hat{\varepsilon}_{\theta,\phi}(y;\lambda) - \varepsilon\|^2$ 联合端到端优化两个网络，成功将最大熵统计量学习转化为标准的扩散去噪任务。

4. 双路纹理生成机制与表征对偶性：统计量匹配优化 vs 逆扩散采样 由于同质纹理的大数定律保证了空间平均特征 $f(x)$ 极度接近其统计期望 $\mu$，而指数族理论证明了内部参数 $\mu$ 与对偶参数 $\lambda$ 存在严格的单射双射对应，因而模型在推理阶段衍生出两种生成路径： - 统计量匹配（Statistics Matching）：计算参考图像的 $\mu = f(x_0)$，从均匀分布随机白噪声图像开始，使用 Adam 优化器直接反向传播求解 $\min_x \|f(x) - \mu\|^2$（5000 步）。 - 扩散逆向采样（Diffusion Sampling）：固定参考图像预测的条件权值轨迹 $\lambda_t = \lambda(x_0, \sigma_t)$，利用 DDPM 反向离散马尔可夫链从标准高斯噪声逐步迭代逆扩散生成样本（1000 步对数线性衰减时间步）。

5. 对抗性竞争评估与特征插值：量化诊断模型盲区与表征空间凸性 为了突破传统指标对纹理保真度评价的钝感，本文引入了最大分化（MAD）竞争的思想设计了对抗性比较目标：对于两组给定的统计量测度函数 $f$ 与 $g$，寻找一幅图像 $x$，使其在模型 $g$ 下与参考纹理 $x_0$ 保持完全一致（$g(x) = g(x_0)$），但在模型 $f$ 下差异最大化（$\max_x \|f(x) - f(x_0)\|^2$）。同时，通过在 $\mu$ 空间或 $\lambda$ 空间执行线性加权插值 $\mu_m = \frac{M-m}{M} f(x_a) + \frac{m}{M} f(x_b)$，并对比像素空间渐变与 Gatys 模型的插值合成结果，严谨验证了本文模型表征空间的拓扑凸性与几何平滑度。

损失函数 / 训练策略¶

模型训练采用方差保持（VP）扩散过程的去噪均方误差损失。噪声水平采样遵循改进的对数正态分布 $\log \sigma \sim \mathcal{N}(0.0, 0.6^2)$，相比标准 Karras 方案增大了噪声均值并收紧了方差，以适应纹理去噪的多尺度特征捕获。采用 Adam 优化器在 4 张 NVIDIA A100 GPU 上进行多卡并行训练，Batch Size 设为 64，学习率默认配置，训练 10 个 Epoch 耗时 25 小时即可完全收敛。

实验关键数据¶

主实验¶

为了客观量化生成纹理的多样性与真实度，论文选取了 9 类具有大面积重复基元的超高分辨率真实纹理图像（Grass、Pebble、Star、Cloth、Rug、Flower、Marble、Rubber、Glitter），在每类纹理上随机抽取 10,000 个斑块并计算特征均值，随后分别通过 Gatys 模型、本文统计量匹配（Stat.）以及本文扩散采样（Diff.）各生成 10,000 个采样斑块，计算各类别针对真实参考分布的 FID 指标：

纹理类别 (Texture)	Gatys (176k 维统计量)	本文 Stat. (512 维统计量)	本文 Diff. (512 维统计量)	优势模型对比说明
Grass (草地)	175.03	102.58	221.30	Stat. 领先 Gatys 达 72.45 分
Pebble (鹅卵石)	169.35	214.77	192.94	Gatys 稍优，大尺寸非平稳块挑战
Star (星形)	209.10	68.19	48.78	Diff. 大幅超越 Gatys 达 160.32 分
Cloth (布料)	126.79	41.70	66.25	Stat. 取得最佳，比 Gatys 优 85.09 分
Rug (地毯)	273.30	105.96	55.49	Diff. 大幅优于 Gatys 达 217.81 分
Flower (花簇)	74.03	80.49	67.14	Diff. 取得最优性能
Marble (大理石)	135.17	137.79	46.68	Diff. 领先 Gatys 达 88.49 分
Rubber (橡胶垫)	135.52	136.71	47.24	Diff. 领先 Gatys 达 88.28 分
Glitter (闪粉)	96.19	20.82	36.82	Stat. 最佳，极度紧凑且优于 Gatys

在 9 类纹理中，本文模型在 8 类上取得了显著超越 SOTA Gatys 模型的 FID 表现，且统计量维度仅为 512，较 Gatys 模型的 176,640 压缩了 345 倍之多。

消融实验¶

论文围绕不同采样范式、统计量维度及对抗竞争条件展开了系统的消融与对比分析：

配置 / 对比维度	核心表现 / 指标变化	机制说明与归因
统计量维度 $d=512$	纹理合成保真度极高，FID 全面优于 Gatys	512 维特征已足以完整捕获同质纹理的主成分统计矩
统计量维度扩大至 $d=1024$	性能与 512 维相比无明显增益	纹理统计流形内在维度饱和，增加参数边际效益递减
生成路径：统计量匹配优化 (Stat.)	局部高频细节清晰锐利，边缘结构还原极佳	像素级优化直接约束 $\\|f(x)-\mu\\|^2$，优化彻底但耗时较长（5000 步）
生成路径：DDPM 逆扩散采样 (Diff.)	全局纹理连贯平稳，FID 综合更优，微观略平滑	前向高斯平滑正则化效应，更少出现异常优化局部极小点
竞争对比：标准 Gatys 基线	产生严重的刺眼高频噪声伪影	VGG19 预训练分类特征对高频信息缺乏约束
竞争对比：Gatys + 高通残差统计量	消除高频噪点，但出现局部定向光栅与亮度不均伪影	证明 VGG 特征存在局部相位与空间相关盲区
竞争对比：本文模型盲区分析	极限对抗扰动下暴露出局部定向条纹结构的微弱缺陷	展现出网络在特定方向高阶相关性约束上的边界

关键发现¶

统计量极端紧凑：仅需 512 个从无监督去噪中自动学习得到的统计量，即能媲美甚至超越基于 17 万维 VGG 分类特征的 Gram 矩阵模型，说明针对纹理任务学习的特征比迁移学习特征的信息密度高出数个数量级。
采样方式的质感分野：虽然指数族理论中 $\mu$ 与 $\lambda$ 存在一一对应关系，但由于优化动态差异，统计量匹配在端点重采样的单张视觉锐度上更佳，而在两类纹理的特征插值过渡上，逆扩散采样展现出更加连续、无接缝的混合效果。
表征空间的凸性差异：Gatys 模型在两张纹理的参数线性插值下，生成图像退化为斑块状的空间拼接图（Patchwise spatial mixture），证实其表征空间非凸；而本文模型生成的插值图像在全图保持同质性的同时平滑渐变出中间特征，验证了极佳的表征流形几何特性。

亮点与洞察¶

无监督打通物理统计与现代扩散模型：成功利用得分匹配（Score Matching）消解了 Gibbs/最大熵分布中极其顽固的配分函数归一化难题，为经典概率纹理理论注入了现代深度生成动力。
极简的双网络内积能量架构：利用孪生 UNet 提取相关性特征，利用 ConvNeXt 输出对偶场权重，二者内积直接对应最大熵指数形式，模型设计高度优雅克制。
揭示了预训练特征与专门学习特征的本质区别：通过 MAD 对抗竞争实验深刻揭示了 ImageNet 分类预训练网络在纹理感知上的高频盲区与结构缺陷。

局限与展望¶

模型盲区与大尺度基元限制：作者在对抗竞争实验中坦承，模型在受激状态下仍可能产生局部定向光栅伪影；同时，当前网络训练于 $128 \times 128$ 斑块，对宏观尺度、大周期排列的准周期结构纹理捕获仍有提升空间。
评估指标的结构性偏差：广泛采用的 FID 指标源于 Inception-v3 物体分类特征，对纹理真实度的表征并不完全适配，学术界亟需专属于均匀纹理的无偏感知评估基准。
向其他同质模态迁移：该最大熵无监督扩散框架具有高度普适性，未来可推广应用于听觉声音纹理（Sound Textures）、时空动态视频纹理以及生物神经网络发放脉冲序列（Spike Trains）建模中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首创将最大熵模型、无监督统计量学习与扩散去噪得分匹配严密融为一体。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多样性重采样、FID 定量评估、竞争性对抗攻击诊断及表征凸性插值。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密精妙，物理图像清晰，逻辑承转极具启发性。
价值: ⭐⭐⭐⭐⭐ 为计算机视觉纹理合成、神经科学刺激生成及物理信息约束建模提供了里程碑式的工具。

配置 / 对比维度	核心表现 / 指标变化	机制说明与归因
统计量维度 \(d=512\)	纹理合成保真度极高，FID 全面优于 Gatys	512 维特征已足以完整捕获同质纹理的主成分统计矩
统计量维度扩大至 \(d=1024\)	性能与 512 维相比无明显增益	纹理统计流形内在维度饱和，增加参数边际效益递减
生成路径：统计量匹配优化 (Stat.)	局部高频细节清晰锐利，边缘结构还原极佳	像素级优化直接约束 \(\\|f(x)-\mu\\|^2\)，优化彻底但耗时较长（5000 步）
生成路径：DDPM 逆扩散采样 (Diff.)	全局纹理连贯平稳，FID 综合更优，微观略平滑	前向高斯平滑正则化效应，更少出现异常优化局部极小点
竞争对比：标准 Gatys 基线	产生严重的刺眼高频噪声伪影	VGG19 预训练分类特征对高频信息缺乏约束
竞争对比：Gatys + 高通残差统计量	消除高频噪点，但出现局部定向光栅与亮度不均伪影	证明 VGG 特征存在局部相位与空间相关盲区
竞争对比：本文模型盲区分析	极限对抗扰动下暴露出局部定向条纹结构的微弱缺陷	展现出网络在特定方向高阶相关性约束上的边界