Multi-Block-Attention-based Color Constancy¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/OguzhanUlucan/HybridCC
领域: 可解释性
关键词: 颜色恒常性, 光源估计, 混合模型, 多块自注意力, 软最大值

一句话总结¶

提出混合颜色恒常性模型 HybridCC，通过 MobileNetV3 骨干分支自适应预测像素显著图，引导统计先验分支以可微软最大值提取块级 Retinex 统计量，并引入块级多头自注意力消除大面积均匀区域引起的聚合偏差，在仅 1.1 MB 参数量下实现跨相机无校准的 SOTA 光源估计。

研究背景与动机¶

人类视觉系统具备出色的颜色恒常性能力，能够在多变的光照环境下稳定感知物体的真实表面反射色。然而，数码相机的成像传感器极易受到环境光源光谱与传感器自身响应特性的影响，导致捕获图像产生明显的色偏。为了消除这一影响，计算颜色恒常性旨在从单张图像中估计全局光源颜色向量，进而将其校正为标准的白平衡图像。长久以来，该领域主要分化为两大流派：一类是以经典 White-Patch Retinex 为代表的统计学方法，其假设高反射率或最亮像素直接揭示光源颜色，计算极其高效且独立于相机传感器硬件，但在缺乏高亮区域或充斥高光反射时极易失效；另一类是深度学习方法，依靠大规模网络直接拟合图像外观到光源色彩的非线性映射，虽然在域内测试中精度优异，却隐含地过拟合了训练相机的光谱响应，泛化至未见过的传感器时往往性能大幅崩溃，且依赖繁琐的相机色彩校准矩阵或昂贵的重新标定。

在这两类方法的交汇点上，研究人员发现图像中不同像素对光源估计的贡献极度不均衡。基于局部块的分块统计能够捕捉空间变化的照度线索，但普遍面临两大根本难题：其一，在每一个局部块内部，如何自适应识别真正可靠的像素，而无需人工设定脆弱的百分位截断阈值；其二，由于天空、草地、阴影或近距离物体等大面积均匀区域在分块网格中占据了压倒性的块数量，如果简单地将所有块的估计进行平均或常规池化，这些缺乏色彩多样性的大面积区域会产生严重的“块聚合偏差（Aggregation Bias）”，使最终的全局光源估计被主导背景带偏。

针对上述矛盾，本文提出了一种融合传统物理统计先验与深度特征表征的轻量级混合架构 HybridCC。核心 idea：利用轻量骨干自适应预测像素级显著图，引导可微软最大值运算提取块级 White-Patch 统计先验，再通过块级多头自注意力机制实现全局信息交互以抑制大面积均匀区域的聚合偏差，构建无需相机元数据与标定即可高泛化的光源估计器。

方法详解¶

整体框架¶

HybridCC 采用两阶段双分支混合架构：输入线性 RAW/RGB 图像首先并行送入骨干分支（Backbone Branch）与统计先验分支（Statistics Branch）。骨干分支提取多尺度上下文，预测像素级显著度权重并构建粗粒度块特征；统计先验分支在显著图的引导下，通过参数化温度控制的软最大值与平均亮度加权，为每个局部图像块生成物理可解释的白平衡先验向量。随后，两路特征在块级别级联拼接，并送入全局光照估计模块，利用多头自注意力机制实现远距离跨块信息交互，动态下采样不可靠与冗余区域，最终经由稀疏性约束的加权预测头输出全局归一化光源向量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入图像 I<br/>384×384×3"] --> BB["骨干分支<br/>MobileNetV3-S 特征抽取"]
    IN --> ST["统计先验分支<br/>网格分块 P=144"]
    BB --> SAL["自适应显著度预测<br/>瓶颈空洞卷积"]
    BB --> SPM["局部块特征与空间混合<br/>3×3 深度卷积残差更新"]
    SAL -->|像素权重引导 sk| ST
    ST --> SM["可微软最大值与亮度缩放<br/>温度参数 τ 控制高亮敏感度"]
    SM --> MLP["先验特征投影<br/>2 层 MLP 升维至 D 维"]
    SPM --> CAT["块级特征级联拼接<br/>[F_stat ; F_backbone]"]
    MLP --> CAT
    CAT --> SA["多头自注意力跨块交互<br/>远距离通信抑制均匀区偏差"]
    SA --> HEAD["轻量双头预测与熵正则<br/>Softplus 光源头 + Softmax 权重头"]
    HEAD --> OUT["全局归一化光源预测 ℓ̂"]

关键设计¶

1. 自适应显著度与局部空间混合：无需显式监督挖掘稳健像素 针对传统方法依赖固定百分位筛选高亮像素在多变场景中缺乏泛化性的痛点，骨干分支采用极轻量的 MobileNetV3-Small 截断至第 8 层作为特征抽取器。该分支并行执行两项任务：首先，显著性模块采用由 $1 \times 1$ 降维卷积、膨胀率为 2 的 $3 \times 3$ 深度空洞卷积、通道恢复卷积与输出卷积构成的瓶颈结构，直接在无任何逐像素真值标注的情况下，通过光源估计的端到端损失隐式学习到像素可靠性分布 $S = \sigma(f(F)) \in [0, 1]^{h \times w}$，使网络自发抑制阴影、过曝畸变与不相关背景，增强可靠反射表面；其次，特征处理模块将特征图自适应池化为 $N_h \times N_w$ 网格（默认 $P = 12 \times 12 = 144$ 个块），并通过堆叠两层带有残差缩放因子 $\gamma$（初值 0.1）的 $3 \times 3$ 深度可分离卷积进行空间混合更新： $$F_b^{(t+1)} = F_b^{(t)} + \gamma \cdot \phi \left( \left\{ F_{b'}^{(t)} \right\}_{b' \in \mathcal{N}(b)} \right)$$ 这一设计使相邻图像块能够共享局部照度连续性上下文，生成富含局部空间平滑特性的骨干块特征 $F_{\text{backbone}} \in \mathbb{R}^{P \times D}$。

2. 可微软最大值与亮度自适应先验：经典 Retinex 的连续泛化 针对硬最大值（Max-RGB）极易被单个噪点或镜面高光击溃的问题，统计先验分支引入了由可学习温度系数 $\tau$ 控制的平滑可微 Log-Sum-Exp 软最大值算子。在每个局部块 $b$ 内，将上采样并归一化的显著权重记为 $s_k$（满足 $\sum_{k \in b} s_k = 1$），则色度描述子 $m_b \in \mathbb{R}^3$ 计算如下： $$m_b = \tau \log \sum_{k \in b} s_k \exp\left( \frac{x_k}{\tau} \right)$$ 当 $\tau \to 0$ 时，该算子渐进收敛为严格的通道最大值；而当 $\tau > 0$ 时，它能够自适应整合块内多个高亮且显著的像素点。进一步地，纯色度描述子无法衡量局部块的信息量强弱，模型计算了加权平均亮度标量 $\mu_b = \frac{1}{3} \sum_{k \in b} s_k \sum_{c \in \{r,g,b\}} x_{k,c}$，并将统计先验向量规范化为： $$c_b = \frac{\mu_b}{\|m_b\|_2^2} m_b$$ 该构造保留了色度方向，同时对较暗或低对比度块的幅度进行了惩罚。随后，该三维向量并非直接作为估计结果，而是通过两层感知机投影为密集先验特征 $F_{\text{stat}} \in \mathbb{R}^{P \times D}$，彻底避免了将局部统计先验生硬当成真值引起的系统性误差。

3. 多头自注意力跨块通信与熵稀疏聚合：根治块聚合偏差 大面积纯色物体（如天空、大片绿草或建筑墙面）会使分块网格中绝大部分块充斥缺乏色度多样性的单一反射，导致传统均值聚合严重偏离真实光源。为彻底消除这一聚合偏差，HybridCC 将统计特征与骨干特征拼接后通过线性层投影至 $D$ 维，并送入两头（2 heads）自注意力模块。自注意力突破了卷积的局部感受野限制，允许处于暗区、弱纹理或大面积均匀区域的块主动向全局范围内光照充沛、色彩反差丰富的“信息源”块查询线索并完成特征重构。最终，经注意力精炼的块表征分别送入两个轻量线性头：光源头经由 Softplus 激活输出各块严格正值的光源预测 $\hat{\ell}_b \in \mathbb{R}^3$；权重头输出未经归一化的标量标度 $w_b$。全局光源通过温度调节的 Softmax 权重系数 $\alpha_b$ 进行凸组合： $$\hat{\ell} = \frac{\ell'}{\|\ell'\|}, \quad \ell' = \sum_{b=1}^P \alpha_b \hat{\ell}_b, \quad \alpha_b = \frac{\exp(w_b / T)}{\sum_{j=1}^P \exp(w_j / T)}$$ 其中可学习温度参数 $T$（初值 1.2）动态调控权重分布的尖锐程度，赋予网络主动“丢弃”垃圾块预测的决定权。

损失函数 / 训练策略¶

模型采用端到端联合优化，训练损失函数由度量光源估计方向偏差的角误差损失与引导权重稀疏分布的熵正则项组成： $$\mathcal{L}(\ell^*, \hat{\ell}) = \arccos\left( \frac{\hat{\ell} \cdot \ell^*}{\|\hat{\ell}\| \|\ell^*\|} \right) + \lambda \mathcal{L}_{\text{sp}}(\alpha)$$ 其中熵正则项 $\mathcal{L}_{\text{sp}}(\alpha) = -\sum_{b=1}^P \alpha_b \log(\alpha_b)$。由于均匀权重会最大化该信息熵，最小化 $\mathcal{L}_{\text{sp}}$ 能够迫使网络摒弃均匀平均策略，将注意力权重集中收敛在极少数高质量块上。正则化系数设为 $\lambda = 5 \times 10^{-4}$。骨干分支学习率设为主网络（$3 \times 10^{-4}$）的 $0.1\times$，配合平衡采样策略防止大体量数据集产生支配，在单个 RTX 4090 上仅需数小时即可完成收敛。

实验关键数据¶

主实验¶

在严苛的 Leave-One-Dataset-Out 跨数据集协议（跨相机无重叠）与 NUS-8 跨传感器（Cross-Sensor, CS）折叠评估下，HybridCC 均取得最低的平均角误差，并在 Worst-25% 极端难例上展现出断层式领先优势；在完全未参与训练的真实智能手机数据集 TA-AWB 测试集中亦具备强劲的跨设备零样本迁移能力。

数据集 / 评估协议	评测指标	本文 (HybridCC)	次优 SOTA (CCMNet / C5 / FFCC)	性能提升 / 优势
Gehler-Shi (Leave-out)	Mean / Median / Worst 25%	2.11° / 1.60° / 4.65°	2.23° / 1.53° / 5.46° (CCMNet)	Mean 降低 0.12°，Worst 25% 降低 0.81°
NUS-8 (Leave-out)	Mean / Median / Worst 25%	2.26° / 1.79° / 4.78°	2.32° / 1.71° / 5.18° (CCMNet)	Mean 降低 0.06°，Worst 25% 降低 0.40°
Cube+ (Leave-out)	Mean / Median / Worst 25%	1.56° / 1.11° / 3.49°	1.68° / 1.16° / 3.89° (CCMNet)	Mean 降低 0.12°，Worst 25% 降低 0.40°
INTEL-TAU (Leave-out)	Mean / Median / Worst 25%	2.21° / 1.70° / 4.75°	2.52° / 1.70° / 5.96° (C5)	Mean 降低 0.31°，Worst 25% 显著降低 1.21°
NUS-8 (Cross-Sensor)	Mean / Median / Worst 25%	1.58° / 1.36° / 2.97°	1.71° / 1.31° / 3.62° (CCMNet)	Mean 降低 0.13°，Worst 25% 降低 0.65°
TA-AWB (Zero-shot)	Mean / Median / Worst 25%	2.63° / 1.95° / 5.80°	2.62° / 1.46° / 6.89° (FFCC)	零样本对齐 DSLR 训练模型，Worst 25% 领先 1.09°

消融实验¶

消融实验在 Gehler-Shi、NUS-8 与 Cube+ 三大基准上评估平均角误差（Average Mean Error），系统验证了各分支设计、块尺度与主干深度的合理性。

实验组别 / 配置变体	Gehler-Shi	NUS-8	Cube+	平均角误差 (Avg)	模块消融说明
完整模型 (Ours, $32 \times 32$, Depth 8)	2.11°	2.26°	1.56°	1.97°	整体最佳基准配置，权重仅 1.1 MB
移除统计分支 (w/o Stats)	2.41°	2.59°	2.00°	2.33°	误差激增 +0.36°，验证物理先验对跨相机的基石作用
仅保留色度描述子 (w/ $m_b$ only)	2.23°	2.21°	1.86°	2.10°	去除亮度缩放 $\mu_b$ 导致丢失块信息量强弱度量
平滑温度初值 ($\tau_{\text{init}} = 0.5$)	2.11°	2.44°	1.77°	2.11°	过平滑使软最大值偏向均值，损害极值鉴别力
移除骨干分支 (w/o Backbone)	2.51°	2.57°	1.95°	2.34°	性能下降最严重（+0.37°），失去显著图与空间上下文
移除显著度模块 (w/o Saliency)	2.13°	2.32°	1.73°	2.06°	统计先验退化为普通非加权区域统计
移除自注意力通信 (w/o Self-Attention)	2.16°	2.36°	1.69°	2.07°	丧失全局跨块通信，无法化解均匀大区域偏差
移除稀疏熵正则 (w/o Sparsity Loss)	2.33°	2.32°	1.78°	2.14°	块权重趋于分散，弱线索块噪声累积
等权重均匀平均 (w/ equal block weights)	2.36°	2.35°	1.81°	2.17°	强制平均使背景区域重新引入强聚合偏差
划分块尺寸 $16 \times 16$	2.13°	2.41°	1.65°	2.06°	块内感受野过小，缺乏足够像素统计多样性
划分块尺寸 $96 \times 96$	2.21°	2.56°	1.91°	2.23°	块粒度太粗，无法细粒度滤除坏块与边缘干扰
骨干深度 Depth 12 (5.9 MB)	2.16°	2.27°	1.85°	2.09°	语义层过深反而丢失底层光照颜色敏感特征

关键发现¶

统计分支是跨相机零样本迁移的关键命脉：在 NUS-8 跨传感器（CS）协议下，一旦剔除统计先验分支，跨相机泛化误差剧增 22%（由 1.58° 劣化至 2.01°）；而单纯依赖骨干网络直接回归容易记忆相机的特定光谱指纹。
最难场景提升最为显著：得益于多头自注意力机制动态抑制大面积弱信息区域，HybridCC 在所有测试集上的 Worst-25% 指标均实现了显著优化（如 INTEL-TAU 从 5.96° 降至 4.75°），证明其极强的鲁棒性。
软最大值温度 $\tau$ 的稳健收敛性：网络训练过程中，$\tau$ 始终自发收敛至极小区间（Cube+ 与 Gehler-Shi 收敛至 0.010，INTEL-TAU 与 TA-AWB 收敛至 0.014，NUS 各折叠稳定在 0.013–0.019），证明锐利的近极值色彩特征在各种光学传感器中具有高度一致的物理有效性。

亮点与洞察¶

将经典 Retinex 理论可微泛化：利用温度调控的 Log-Sum-Exp 软最大值与端到端显著图加权替代人工经验阈值，既吸纳了 White-Patch 的相机无关性优势，又克服了噪点与高光失真。
注意力机制针对性破解分块聚合偏差：创新性地将 Self-Attention 应用于分块光源特征的全局重构，让大面积单色背景（天空/草坪）主动关注并借用丰富物体的反光线索，从机理上解决了传统分块平均的结构性缺陷。
极简极轻的边缘端部署潜力：整个模型仅 1.07 MB，在现代 GPU 上的单帧推理延时仅约 2.2 ms（相较同为 SOTA 的扩散生成模型 GCC 的 180 ms 提速近百倍），天然适合内置于手机 ISP 流水线。

局限与展望¶

极端单色低反差场景下的线索匮乏：当输入场景极其贫乏（如近距离纯白墙面、大雾或纯单色布景）且几乎不存在高反差的可靠显著像素时，自注意力机制无有效先验可供传递，仍会出现一定程度的估计抖动。
单一均匀全局光源假设的固有局限：模型基于单光源 Lambertian 假设构建，若场景中存在多色温混合光源（如黄昏天光与室内暖光并存）或高强度自发光霓虹灯面，单一全局光源估计将无法适应空间非均匀照度。
未来改进方向：可进一步将块级自注意力和预测头扩展为多光源稠密照度图预测，结合物理感知注意力掩码，使模型支持室内外复杂多光源环境下的空间自适应白平衡。

评分¶

新颖性: ⭐⭐⭐⭐ [巧用软最大值实现 Retinex 的可微泛化，并首次用块自注意力根除聚合偏差]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 5 个基准数据集、2 种留一交叉协议及跨设备零样本迁移，消融全面详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流畅，图表直观且对比鲜明，动机与物理建模高度自洽]
价值: ⭐⭐⭐⭐⭐ [参数量仅 1.1 MB、单帧仅 2.2 ms，为移动端计算摄影白平衡提供了极具工业落地价值的范式]

实验组别 / 配置变体	Gehler-Shi	NUS-8	Cube+	平均角误差 (Avg)	模块消融说明
完整模型 (Ours, \(32 \times 32\), Depth 8)	2.11°	2.26°	1.56°	1.97°	整体最佳基准配置，权重仅 1.1 MB
移除统计分支 (w/o Stats)	2.41°	2.59°	2.00°	2.33°	误差激增 +0.36°，验证物理先验对跨相机的基石作用
仅保留色度描述子 (w/ \(m_b\) only)	2.23°	2.21°	1.86°	2.10°	去除亮度缩放 \(\mu_b\) 导致丢失块信息量强弱度量
平滑温度初值 (\(\tau_{\text{init}} = 0.5\))	2.11°	2.44°	1.77°	2.11°	过平滑使软最大值偏向均值，损害极值鉴别力
移除骨干分支 (w/o Backbone)	2.51°	2.57°	1.95°	2.34°	性能下降最严重（+0.37°），失去显著图与空间上下文
移除显著度模块 (w/o Saliency)	2.13°	2.32°	1.73°	2.06°	统计先验退化为普通非加权区域统计
移除自注意力通信 (w/o Self-Attention)	2.16°	2.36°	1.69°	2.07°	丧失全局跨块通信，无法化解均匀大区域偏差
移除稀疏熵正则 (w/o Sparsity Loss)	2.33°	2.32°	1.78°	2.14°	块权重趋于分散，弱线索块噪声累积
等权重均匀平均 (w/ equal block weights)	2.36°	2.35°	1.81°	2.17°	强制平均使背景区域重新引入强聚合偏差
划分块尺寸 \(16 \times 16\)	2.13°	2.41°	1.65°	2.06°	块内感受野过小，缺乏足够像素统计多样性
划分块尺寸 \(96 \times 96\)	2.21°	2.56°	1.91°	2.23°	块粒度太粗，无法细粒度滤除坏块与边缘干扰
骨干深度 Depth 12 (5.9 MB)	2.16°	2.27°	1.85°	2.09°	语义层过深反而丢失底层光照颜色敏感特征