ODDR: One-Step Deshadow Diffusion via Reward Guidance¶

会议: NeurIPS 2026
arXiv: 2610.01291
代码: https://github.com/junsung6140/ODDR
领域: 图像恢复
关键词: 图像去阴影、单步扩散模型、奖励引导、偏好学习、无真实配对监督

一句话总结¶

本文提出无须真实世界配对监督的单步扩散去阴影模型 ODDR，先基于物理合成阴影数据微调 Stable Diffusion 获得单步去阴影基线 ODD，再利用通过渐进可控退化排序训练的免人工标注奖励模型 ShadowReward，在真实单张阴影图像上进行偏好引导微调，大幅提升了生成质量与跨数据集泛化能力。

研究背景与动机¶

单图像去阴影旨在消除场景中由于光照遮挡引起的局部照度突变与边缘伪影，恢复被遮挡物体的自然反光与表面纹理，这对于下游的机器人导航、语义分割及文本识别等视觉任务至关重要。近年来，基于深度卷积神经网络与视觉 Transformer 的去阴影模型取得了可观进展，但绝大多数方法高度依赖严格对齐的真实世界配对数据集（即同机位带阴影与无阴影成对图像）。在实际采集过程中，风吹草动、过往物体、曝光漂移和瞬态光线波动导致真实配对数据采集成本极高且场景多样性严重不足，造成受训模型在真实复杂场景中的泛化能力受到极大制约。

为了摆脱对真实配对数据的依赖，先前工作探索了对抗生成网络（GAN）与合成阴影数据管线，但基于循环一致性或对抗判别器的无监督 GAN 架构往往训练不稳定且极易出现色彩失真与边界残留；物理驱动的合成阴影虽能提供精准配对，但合成图像与真实自然光照之间存在显著的域间差异。另一方面，多步扩散模型虽然具备强大的生成先验，但在推理时需要数十步迭代去噪，高昂的计算延迟使得其实用性大打折扣；更关键的是，多步采样过程中间潜在状态与最终清晰图像距离较远，难以直接提供细腻的像素级偏好反馈。

针对上述矛盾，本文的核心切入点在于：如何充分激活大规模预训练扩散模型的丰富生成先验，实现极速单步去阴影，并设计一种贴合去阴影退化特性且无需人工打标的偏好奖励模型来指导无配对微调。核心 idea：将预训练潜在扩散模型改造为单步去阴影基线（ODD），并设计首个通过合成渐进图像退化（纹理模糊、噪声、色偏、亮度抖动与边界缝隙）无监督排序预训练的去阴影专用奖励模型 ShadowReward，在真实单张阴影图上以奖励引导与基线对齐联合微调（ODDR），零真实配对即可缩小合成到真实域的鸿沟。

方法详解¶

整体框架¶

ODDR 框架采用两阶段训练范式：第一阶段，基于 SynShadow 物理合成的阴影-无阴影图像对微调预训练 Stable Diffusion v2.1，构建单步去噪去阴影基线模型 ODD（One-step Deshadow Diffusion）；第二阶段，利用无需人工标注训练的奖励模型 ShadowReward 提供空间感知的感知偏好反馈，在无配对的真实阴影图像上对 ODD 进行奖励引导优化，得到最终的 ODDR。

整体流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph S1["第一阶段：ODD 单步扩散基线构建"]
        direction TB
        A["合成阴影/无阴影图像对<br/>(xsyn, y)"] --> B["单步潜在去噪适配<br/>ODD-LoRA + 跨层 ODD-Conv"]
        B --> C["保真度与感知损失监督<br/>ℓ1 损失 + LPIPS 损失"]
    end
    subgraph S2["奖励模型预训练：ShadowReward 构建"]
        direction TB
        D["无标注排序数据集构建<br/>五类渐进可控退化 (T,N,C,L,B)"] --> E["DINOv2 双分支空间特征提取<br/>拼接差值 + 轻量卷积预测头"]
        E --> F["Top-K 空间池化与 ListMLE<br/>学习人类细粒度视觉偏好"]
    end
    subgraph S3["第二阶段：ODDR 奖励引导微调"]
        direction TB
        G["真实无配对阴影图像 xreal"] --> H["双路前向：冻结 ODD 伪目标<br/>vs 可学习 ODDR 分支"]
        F -.->|冻结提供奖励梯度| I["联合优化目标<br/>对齐损失 + ShadowReward 奖励"]
        H --> I
        I --> J["单步推理输出高质量去阴影图像"]
    end
    S1 --> H

关键设计¶

1. 单步潜在去噪适配：融合 LoRA 与跨层跳跃连接的 ODD 架构

传统基于潜变量扩散模型的图像恢复方法需要经历多步随机迭代采样，推理延迟高且中间步特征难以直接施加最终成像的奖励反馈。为克服这一缺陷，ODD 借鉴 OSEDiff 的单步确定性映射思想，固定在时间步 \(t=999\) 进行一步直接去阴影预测。为了保留预训练 Stable Diffusion 的强大生成先验并降低微调代价，模型在 UNet 的注意力层与卷积层中插入了秩为 16 的低秩适配器（ODD-LoRA）。针对预训练 VAE 编解码过程中高频纹理易丢失的问题，ODD 特别在 VAE 各编解码层级间设计了轻量级双层卷积跳跃连接（ODD-Conv），利用 \(1\times 1\) 卷积匹配通道后与解码器特征拼接，再通过 \(3\times 3\) 卷积融合，从而完好保留高频细节；同时，由于去阴影任务无需文本提示，原模型的文本交叉注意力模块被全部替换为可学习的自注意力层，直接聚焦于图像局部与全局上下文关联。

2. 免人工标注偏好学习：基于可控退化排序的 ShadowReward 模型

利用强化学习或偏好微调提升感知质量通常需要耗资巨大的人工标注数据集，且现有的通用多模态大模型（VLM）或美学评分模型主要关注全局语义连贯性，对微小的局部阴影边界瑕疵、微弱色偏和高频纹理退化极不敏感。为此，本文设计了首个专用于去阴影任务的奖励模型 ShadowReward。研究团队发现人类主观视觉对图像退化程度具有天然单调的偏好倾向，因此利用物理合成阴影掩膜构建包含四个层级（\(J=3\)）的退化图像序列 \(\{x^{(j)}\}_{j=0}^3\)：其中 \(x^{(0)}\) 为清晰无阴影参考真值，而 \(j=1, 2, 3\) 则在阴影区域逐渐叠加纹理模糊（T）、高斯噪声（N）、色调/饱和度偏移（C）、亮度 Gamma 偏移（L）以及边界形态学膨胀模糊（B）等 5 种典型去阴影失败伪影。

ShadowReward 的结构设计充分兼顾了局部高频差异与长程上下文一致性：采用冻结的 DINOv2（ViT-B/14）作为特征抽取骨干 \(\phi\)，提取阴影输入图 \(x_{\text{syn}}\) 与退化候选图 \(x^{(j)}\) 的 patch 级 token，并将两者特征、元素差值及其绝对值拼接为 3072 维向量，输入轻量卷积头 \(\psi_\theta\) 生成二维感知质量响应图 \(f^{(j)}\)。为引导奖励模型聚焦于退化最严重的局部区域（如阴影边缘与色偏区），模型采用 Top-\(K\) 空间池化计算标量奖励分值：

\[s^{(j)} = \frac{1}{|\mathcal{T}_K|} \sum_{i \in \mathcal{T}_K} f_i^{(j)}\]

其中 \(\mathcal{T}_K\) 表示响应值处于前 \(K=10\%\) 的区域集合。模型采用 ListMLE 排序似然损失函数进行预训练：

\[\mathcal{L}_{\text{list}} = - \frac{1}{J+1} \sum_{i=0}^J \log \frac{\exp(s^{(i)}/\tau)}{\sum_{t=i}^J \exp(s^{(t)}/\tau)}\]

通过迫使模型将更严重的退化赋予更低奖励，ShadowReward 完全在无须人工打标的前提下习得了高度契合人类感知习惯的去阴影评价能力。

3. 奖励引导的无监督领域自适应微调：双分支约束机制

仅在合成阴影上训练的 ODD 在迁移至复杂自然光照场景时仍不可避免地面临域漂移，且标准 LPIPS 损失对视觉显著的接缝与伪影缺乏敏感性。ODDR 通过双分支机制直接在无标注的真实世界单张阴影图像 \(x_{\text{real}}\) 上进行优化：底部分支为完全冻结参数的 ODD 基线模型，为输入阴影图生成伪参考目标 \(\hat{y}_{\text{ODD}}\)；顶部分支引入全新初始化的 ODDR-LoRA 模块进行训练，生成预测图像 \(\hat{y}_{\text{ODDR}}\)。整个微调目标由数据结构锚定项与奖励最大化项复合而成：

\[\mathcal{L}_{\text{ODDR}} = \|\hat{y}_{\text{ODDR}} - \hat{y}_{\text{ODD}}\|_2 + \lambda_{\text{align}} \mathcal{L}_{\text{per}}(\hat{y}_{\text{ODDR}}, \hat{y}_{\text{ODD}}) - \lambda_r r_\theta(x_{\text{real}}, \hat{y}_{\text{ODDR}})\]

其中 \(\mathcal{L}_{\text{per}}\) 为 LPIPS 感知损失，\(\lambda_{\text{align}}=2\)，\(\lambda_r=0.1\)。该设计的精妙之处在于：\(\ell_2\) 损失与对齐感知损失将输出严密锚定在 ODD 稳健的语义和基础光照框架内，防止模型生成漂移；而冻结的 ShadowReward 判别项则提供细致入微的负梯度，主动惩罚残存的边缘缝隙、局部高频模糊与色彩漂移。双重约束使得模型在没有真实无阴影真值的情况下，实现了向真实世界数据分布的高保真域自适应。

损失函数 / 训练策略¶

在 ODD 基线训练阶段，训练集采用 AISTD 清晰无阴影图像，通过 SynShadow 随机生成阴影强度斜率 \(a\) 与截距 \(b\) 合成阴影图像 \(x_{\text{syn}}\)，优化目标结合像素级 \(\ell_1\) 损失与 LPIPS 感知损失：

\[\mathcal{L}_{\text{ODD}} = \|\hat{y} - y\|_1 + \lambda_{\text{per}} \mathcal{L}_{\text{per}}(\hat{y}, y)\]

其中平衡系数设为 \(\lambda_{\text{per}}=2\)。

在训练超参数与配置上，ODD 采用 AdamW 优化器，学习率在 40K 步内由 \(1\times 10^{-4}\) 余弦衰减至 \(1\times 10^{-6}\)，批大小为 4；ShadowReward 同样采用 AdamW 训练 20K 步，批大小为 16，输入尺寸为 \(448\times 448\)；ODDR 的奖励微调仅针对 ODDR-LoRA 模块，在 AISTD 真实阴影图上以固定的 \(1\times 10^{-6}\) 学习率微调 20K 步。全部训练在单张 NVIDIA RTX A6000 GPU 上完成，ODD 训练约需 24 小时，ODDR 奖励微调仅需 12 小时。

实验关键数据¶

主实验¶

下表展示了在标准 AISTD 数据集上各主流去阴影算法的量化指标对比。评测在 LAB 颜色空间下计算 RMSE，在 RGB 空间计算 PSNR 和 SSIM，分为阴影区域、非阴影区域以及全图区域。

训练监督模式	方法	无需Mask	阴影区 PSNR↑	阴影区 SSIM↑	阴影区 RMSE↓	全图 PSNR↑	全图 SSIM↑	全图 RMSE↓
真实配对监督	SP+M-Net [ICCV19]	✗	37.60	0.990	6.30	32.94	0.962	3.50
真实配对监督	BMNet [CVPR22]	✗	37.87	0.991	5.62	33.98	0.972	2.97
真实配对监督	DeS3 [AAAI24]	✓	36.49	0.989	6.59	31.39	0.957	3.86
真实配对监督	SSR [CVPR25]	✓	39.94	0.993	2.89	35.19	0.974	4.23
无真实配对	MaskShadow-GAN [ICCV19]	✗	32.19	0.984	10.80	28.81	0.946	4.80
无真实配对	DCS [ICCV21]	✓	32.00	0.976	10.41	28.77	0.932	4.74
无真实配对	G2R [CVPR21]	✗	33.58	0.979	8.82	30.52	0.944	3.86
无真实配对	BCDiff [ICCV23]	✗	35.91	0.986	7.60	32.73	0.962	3.30
无真实配对	S3R-Net [CVPR24]	✓	32.08	0.983	9.94	29.05	0.952	12.03
无真实配对	ODD (Ours)	✓	36.67	0.990	6.27	33.32	0.971	3.11
无真实配对	ODDR (Ours)	✓	38.37	0.991	5.36	34.20	0.972	2.97

为了检验模型克服领域偏差的泛化能力，作者在未参与训练的真实世界数据集 SRD、LRSS 和 UIUC 上进行了零样本迁移评测：

方法	SRD PSNR↑	SRD RMSE↓	LRSS PSNR↑	LRSS RMSE↓	UIUC PSNR↑	UIUC RMSE↓
DCS [ICCV21]	21.99	11.47	22.10	11.63	23.94	9.69
G2R [CVPR21]	24.23	8.40	22.79	9.64	27.03	6.23
DeS3 [AAAI24]	22.44	10.29	21.10	12.75	19.02	11.23
SSR [CVPR25]	25.86	8.25	24.47	9.89	27.79	7.61
ODD (Ours)	27.38	6.46	25.12	7.84	29.25	5.10
ODDR (Ours)	27.66	6.26	25.34	7.69	29.95	4.95

消融实验¶

下表展示了退化类型多样性对 ShadowReward 学习效果及最终 ODDR 去阴影性能的增益（退化简记：T 为纹理失真，N 为加性噪声，C 为色度偏移，L 为亮度变化，B 为边界伪影）：

退化组合配置	阴影区 PSNR↑	阴影区 RMSE↓	全图 PSNR↑	全图 RMSE↓	说明
T	36.99	6.06	33.50	3.07	仅纹理模糊退化
T, N	37.17	5.95	33.61	3.05	引入高斯加性噪声
T, N, C	37.82	5.70	33.96	3.01	增加色相/饱和度偏移
T, N, C, L	38.20	5.47	34.16	2.97	增加 Gamma 亮度扰动
T, N, C, L, B (完整)	38.37	5.36	34.20	2.97	涵盖全部 5 种典型退化伪影

下表对比了不同奖励引导方案与人类主观排序的一致性准确率（ACC）以及计算效率对比：

引导/评估模型	人类排序对齐度 (ACC%)↑	AISTD 全图 PSNR↑	AISTD 全图 RMSE↓	推理步数 (NFE)↓	单图推理耗时 (ms)↓	计算量 FLOPs (G)↓
ShadowDiffusion [CVPR23]	—	—	—	25	581.96	937.15
DeS3 [AAAI24]	—	31.39	3.86	25	538.00	812.26
SSR [CVPR25]	—	35.19	4.23	20	680.64	2249.50
Aesthetic Predictor	12.50%	33.29	3.11	—	—	—
ImageReward [NeurIPS23]	18.75%	33.29	3.11	—	—	—
PrefPaint [NeurIPS24]	25.00%	33.43	3.09	—	—	—
PSNR (需参考真值)	56.25%	—	—	—	—	—
ShadowReward (Ours)	68.75%	34.20	2.97	1	127.41	158.21

关键发现¶

边界与色彩退化引导至关重要：消融结果显示，在退化集合中加入色偏（C）与亮度失真（L）使阴影区 PSNR 实现了从 37.17 dB 到 38.20 dB 的巨大跃升；最终融入边界伪影（B）进一步将阴影区 RMSE 从 5.47 压制至 5.36，表明精确模拟接缝处瑕疵对奖励判别极为关键。
免标注奖励模型超越全参考 PSNR 指标：在包含 23 名受试者的用户调研中，ShadowReward 与人类视觉偏好的一致性达到 68.75%，不仅远超通用多模态或美学奖励模型（低于 25%），甚至优于依赖绝对像素配对真值的传统 PSNR 排序（56.25%）。这主要是由于自然配对数据常伴随微小位移和曝光漂移，导致 PSNR 惩罚了高质量的真实视觉恢复，而 ShadowReward 能精准关注结构与光照连续性。
单步扩散极大削减计算开销：相比于现有的多步扩散去阴影算法（如 SSR 的 20 步与 DeS3 的 25 步），ODDR 将去噪采样步数（NFE）缩减为 1 步，在 RTX 4090 上将推理耗时由 680 ms 骤降至 127 ms（降低逾 5 倍），计算量由 2249 GFLOPs 降至 158 GFLOPs，极大提升了实时应用潜力。

亮点与洞察¶

合成可控退化诱导偏好次序：巧妙利用退化强度天然决定人类主观排序的先验，用算法自动合成渐进退化图序列替代昂贵且带有主观噪声的人工打标，彻底攻克了底层视觉奖励模型标注成本极高的瓶颈。
冻结基线对齐与高敏感奖励引导协同：ODDR 微调时将 ODD 冻结输出作为伪真值施加对齐损失，防止生成模型漂移与结构失真，同时以标量奖励惩罚残留阴影，实现了稳定且鲁棒的无配对域自适应。
Top-K 空间池化精准捕获局部伪影：针对阴影去除强烈的局部不均匀性，放弃全局平均池化而选取前 10% 响应均值，迫使奖励模型敏锐聚焦于边界过渡缝隙与残余暗斑。
单步扩散范式的通用扩展价值：将 OSEDiff 等单步加速技术、VAE 跳跃连接保持高频特征、以及非配对任务下的奖励引导机制结合的范式，可直接迁移至水下图像恢复、去雾、低光照增强等难以采集真实配对数据的低层视觉任务中。

局限与展望¶

极硬阴影边缘易残留弱光晕：在照度对比极大、边缘锐利的硬阴影区域，恢复结果偶尔出现微弱的边缘光晕或过渡平滑过度，这是因为 ShadowReward 训练时采用的形态学膨胀与高斯模糊难以完整覆盖极端锐利且复杂的阴影边缘分布。
高频非平坦纹理表面的色调漂移：在草地、茂密树叶或织物等富含复杂微结构的表面上，合成阴影退化无法完美模拟光线在微结构间的散射与相互反射，导致局部区域可能出现轻微的纹理模糊或色调漂移。
合成退化空间之外的伪影无法监督：ShadowReward 的判别力受限于预先定义的 5 种退化算子，若扩散先验自身引入了几何畸变或微弱的语义虚构，奖励模型将缺乏针对性的惩罚信号。
单光源静态场景假设：当前方法主要面向单幅静态图像与单主光源投射阴影，未来可进一步拓展至视频去阴影、多重重叠半影消除以及结合 3D 场景几何先验的联合光照解耦。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出免人工打标的去阴影专用奖励模型，并将单步扩散微调引入无配对去阴影。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 AISTD 及 SRD/LRSS/UIUC 跨数据集零样本泛化测试、完整模块消融以及 23 人用户调研。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，退化模型构造与数学表达严谨连贯。
价值: ⭐⭐⭐⭐⭐ 显著提升单步去阴影的恢复质量与效率，为低层视觉免标注偏好优化提供了极具实用价值的范式。