Recolour What Matters: Region-Aware Colour Editing via Token-Level Diffusion¶

会议: ECCV 2026
论文: ECCV 2026 Official
项目页: https://yangyuqi317.github.io/ColourCrafter.github.io/
领域: 图像生成
关键词: 图像编辑, 细粒度色彩控制, 扩散模型, Token级特征融合, Lab空间感知损失

一句话总结¶

针对现有图像颜色编辑中离散语言无法精确表达连续色相、以及全局特征注入易导致色彩漂移与纹理劣化的难题，本文提出 ColourCrafter 框架，通过在隐空间进行 Token 级图色融合并引入掩码感知的 Lab 空间感知损失，结合构建的高质量对齐数据集 ColourfulSet，实现了精细且保结构的局部连续色彩重着色。

研究背景与动机¶

颜色是人类视觉感知中最显著却也是图像生成模型中最难以精确控制的核心属性之一。在时尚设计、产品渲染和数字艺术等领域，用户不仅要求模型定位特定对象，更需要以极高精度呈现目标色相并保持物体原有纹理与材质质感。然而，现有的基于扩散模型的编辑方法主要依赖自然语言指令（如“将公交车涂成蒂芙尼蓝”），但自然语言本质上是离散符号，而人类视觉感知的色彩是无限连续的，即使在文本嵌入空间进行插值也往往造成突兀或失真的颜色跳跃，根本无法实现微弱色差的平滑演变。

为了突破语言抽象的限制，近期的图像驱动方法尝试引入显式色彩色块或参考图像作为条件，例如基于 IP-Adapter 的全局注入方案。但这种方法普遍将色彩作为全局风格特征注入扩散过程，缺乏目标颜色与待编辑局部区域之间的显式对应关系，导致整幅图像陷入全局色调偏移（Tone Transfer）、饱和度失真以及背景区域被误染的困境。虽然部分基于空间掩码的方法尝试限定重绘边界，但掩码仅解决了“在哪里改”，依然没有解决“如何在选定区域内精确重现目标连续色调”的色度保真问题。更关键的是，学术界一直缺乏包含对齐实例级多色调变化的高质量配对数据集，导致模型无法解耦语义身份与色彩演变。

面对语义局部定位与连续精确色彩无法兼得的矛盾，本文的切入角度是将颜色参考直接转化为视觉 Token，嵌入扩散模型的自注意力机制中实现细粒度交互。核心 idea：将参考 RGB 显式编码为隐空间色彩 Token 并与图像 Token 拼接交互，在多模态注意力中实现选择性局部色彩传播，辅以明度-色度解耦的掩码感知 Lab 空间损失与自动化构建的 ColourfulSet 配对数据集，将全局色调迁移蜕变为结构与材质自洽的区域感知色彩重生成。

方法详解¶

整体框架¶

ColourCrafter 构建于 Flux.1-Kontext 骨干之上，采用 Diffusion Transformer (DiT) 与整流流匹配 (Rectified Flow Matching, RFM) 架构。模型整体接收三项输入：原始图像 $I_{\text{orig}}$、显式参考颜色图块 $I_{\text{colour}}$ 以及简要的定位文本提示词 $T$（例如“Colour the chair”）。整个流水线首先通过冻结的预训练编码器分别提取文本 Token 与隐空间图像/颜色 Token，并在时序与空间位置编码的辅助下完成统一拼接，随后进入 DiT 的多模态注意力层实现 Token 级别的自适应局部色彩传播。在训练过程中，模型受到扩散流匹配损失与像素级解耦 Lab 空间感知损失的双重约束，最终经由 VAE 解码器重建出保真度极高的局部重着色图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 原始图像 + 参考颜色 + 定位文本"] --> B["隐空间多模态 Token 统一拼接<br/>vae 编码图色 + 3D RoPE 时空对齐"]
    B --> C["Token 级多模态注意力融合<br/>全交互注意力选择性传播色彩"]
    C --> D["流匹配扩散骨干生成<br/>LoRA 微调 RFM 速度场估计"]
    D --> E["掩码 Lab 空间感知损失约束<br/>解耦明度与色度，聚焦编辑区域"]
    E --> F["输出: 结构保持的局部精确着色图像"]

关键设计¶

1. 隐空间多模态 Token 统一拼接：解决跨模态条件输入与时空结构混淆
针对多模态输入（文本语义、原始结构图、显式参考色块）缺乏统一表征与时空对齐的问题，ColourCrafter 利用冻结的文本编码器将指令 $T$ 映射为文本 Token 序列 $C_T$；同时利用冻结的 VAE 编码器将原始图像 $I_{\text{orig}}$ 和 RGB 色块 $I_{\text{colour}}$ 投影到隐空间，得到特征表示 $C_{I_o}$ 与 $C_{I_c}$，并将二者直接拼接构成联合上下文序列 $C_I = \text{Concat}(C_{I_o}, C_{I_c})$。为了防止扩散去噪过程中噪声特征与参考特征发生空间结构错乱，模型引入带时间偏移的 3D 旋转位置编码（3D RoPE）：将加噪图像 Token 的时间维度设为 $t=0$（即 $u_x = (0, h, w)$），而将原始图像与颜色参考 Token 的时间维度均设为 $t=1$（即 $u_{C_I} = (1, h, w)$），从而在保留几何空间坐标的同时显式区分条件与生成目标。

2. Token 级多模态注意力融合：消除全局色调偏移与边缘溢出
传统方法（如 IP-Adapter）多采用交叉注意力做全局特征注入，极易导致全图染灰或边界漫溢。ColourCrafter 采用类似 OminiControl 的自注意力统一建模机制，将加噪 Token 序列 $x$、文本 Token $C_T$ 与图色上下文 Token $C_I$ 整体送入 DiT 的多模态注意力模块（Multi-Modal Attention, MMA）： $$ \text{MMA}([x; C_T; C_I]) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d}}\right) V $$ 在该全互联注意力机制下，颜色 Token 能够根据文本 Token 的语义引导，自适应地与原始图像中对应的目标语义区域建立注意力关联，而与背景区域的注意力权重自然衰减，实现了“仅在语义相关区域选择性传播色彩”。为了保证大模型原本强大的视觉先验不被破坏并降低计算负担，骨干 DiT 参数全部冻结，仅采用秩为 16 的 LoRA 矩阵进行高效适配。

3. 掩码 Lab 空间感知损失：解耦明度与色度并强化像素级色彩保真
由于潜在空间的距离并不等价于人类对颜色的主观感知距离，纯粹依赖隐空间扩散损失往往遗留细微色偏或饱和度不足；若直接在 RGB 空间施加像素损失，又因 RGB 三通道高度耦合而极易退化成无对比度的死灰均值。为此，模型在经过 VAE 解码后的图像上引入 CIE Lab 色彩空间损失。由于 Lab 空间具备感知均匀性，且明度通道 $L$ 与红绿、黄蓝对立色度通道 $a, b$ 完全解耦，配合由数据集自动派生的二值前景变化掩码 $M \in [0, 1]^{H \times W}$，构建了区域聚焦的感知目标： $$ \mathcal{L}L^{\text{mask}} = |M \odot L|}} - M \odot L_{\text{gt}2^2, \quad \mathcal{L}|}^{\text{mask}} = |M \odot a_{\text{pred}} - M \odot a_{\text{gt}2^2 + |M \odot b|}} - M \odot b_{\text{gt}2^2 $$ $$ \mathcal{L}}}^{\text{mask}} = \lambda_L \mathcal{LL^{\text{mask}} + \mathcal{L} $$ 该损失严格限制在掩码区域 }^{\text{mask}$M$ 内计算，防止无改动背景被无辜惩罚，同时允许阴影遮蔽下的明度自然演化，在确保色度 $a, b$ 精准贴合目标 RGB 的同时完好维持物体原有光照质感与几何阴影。

4. 自动化生成与过滤的 ColourfulSet 数据闭环：破除对齐配对数据匮乏瓶颈
缺乏大规模连续色调成对数据是阻碍精确色彩编辑的根本痛点。本文基于 COCO 2017 精选出 40 个适合着色的常见物体大类（共 1,200 张原图），结合 W3C CSS 标准中 144 种规范颜色名称构建提示词，利用预训练 Flux.1-Kontext 生成初始图像。随后，利用 Qwen2.5-VL 多模态大模型从任务完成度、背景一致性及色彩真实感三个维度进行自动化打分过滤，清洗出 80,000 对高质量高分辨率配对样本。最后利用 SAM 分割物体，计算前后像素差分 $D(x, y) = \|I_e(x, y) - I_o(x, y)\|_2$ 并设定百分比阈值提取前景掩码 $M$，再通过 RGB 聚类提炼出主导色彩 $c_{\text{target}}$ 作为监督真值，形成了自包含的高质量训练闭环。

损失函数 / 训练策略¶

模型的整体端到端训练目标由整流流匹配潜在扩散损失与掩码 Lab 空间感知损失联合组成： $$ \mathcal{L} = \mathcal{L}{\text{diffusion}} + \lambda}} \mathcal{L{\text{Lab}}^{\text{mask}} $$ 其中扩散速度场预测损失定义为： $$ \mathcal{L}}} = \mathbb{E{t, x, C, C_T) - (\epsilon - x) |_2^2 \right] $$ 实验深入探索了关键超参数配比：明度平衡权重选定为 }, C_{I_c}, C_T} \left[ | v_\theta(z_t, t, C_{I_o}, C_{I_c$\lambda_L = 0.5$（过大会压制色彩饱和度，过小则丢失光影质感），Lab 损失总权重选定为 $\lambda_{\text{Lab}} = 0.8$。模型基于单个 NVIDIA A800 GPU（80GB），采用 Adam 优化器，学习率设为 $3 \times 10^{-5}$，batch size 设为 1，分类器自由引导尺度 (Guidance Scale) 为 3.5，在 LoRA (rank=16) 设定下训练 10,000 步（耗时约 40 小时）。推理阶段采样步数设为 28 步。

实验关键数据¶

主实验¶

评估在基于 Unsplash 筛选构建的具有清晰结构与边界的标准测试集（覆盖 38 类物体、90 余张 $1024 \times 1024$ 高清大图）上进行。度量指标包括 CIE Lab 色差 $\Delta E^*_{ab}$、去明度色度色相差 $\Delta E_{Ch}$、sRGB 角度误差 $\text{MAE}_{\text{RGB}}$、色相角度误差 $\text{MAE}_{\text{Hue}}$，以及感知相似度 LPIPS、结构相似度 SSIM 与生成分布真实度 FID。

方法	$\Delta E^*_{ab} \downarrow$	$\Delta E_{Ch} \downarrow$	$\text{MAE}_{\text{RGB}} \downarrow$	$\text{MAE}_{\text{Hue}} \downarrow$	LPIPS $\downarrow$	SSIM $\uparrow$	FID $\downarrow$
ColorPeel [ECCV 2024]	60.96	53.40	77.79	61.95	0.38	0.72	79.30
ColorBind [WACV 2026]	53.42	47.26	62.78	44.12	0.36	0.70	69.68
Control-Color [IJCV 2025]	32.82	28.44	71.90	20.31	0.28	0.82	63.87
Flux.1-Kontext [2025]	41.36	36.31	48.34	23.19	0.29	0.74	63.01
FlowEdit [ICCV 2025]	66.26	56.32	83.85	61.59	0.29	0.79	81.32
UniEdit-Flow [2025]	73.26	63.87	91.60	79.47	0.31	0.80	46.57
ColourCrafter (Ours)	28.52	23.55	35.84	14.88	0.28	0.83	51.91

消融实验¶

消融实验系统验证了 Lab 空间明度惩罚权重 $\lambda_L$ 以及总体损失权重 $\lambda_{\text{Lab}}$ 的敏感性与必要性。

配置 ($\lambda_L$ 消融，固定 $\lambda_{\text{Lab}}=0.8$)	$\Delta E^*_{ab} \downarrow$	$\Delta E_{Ch} \downarrow$	$\text{MAE}_{\text{RGB}} \downarrow$	$\text{MAE}_{\text{Hue}} \downarrow$	说明
$\lambda_L = 0$	45.15	39.18	56.06	34.47	缺少明度约束，整体色彩一致性较差
$\lambda_L = 0.2$	35.34	29.96	44.39	21.36	性能逐步平稳收敛
$\lambda_L = 0.5$ (默认)	34.54	29.51	42.70	18.49	明度与色度达到感知最优平衡
$\lambda_L = 0.8$	40.79	33.93	51.37	23.37	过度关注明度导致色彩饱和度损失
$\lambda_L = 1.0$	35.19	27.87	50.09	23.10	边缘亮暗约束过度干扰色彩表征

配置 ($\lambda_{\text{Lab}}$ 消融，固定 $\lambda_L=0.5$)	$\Delta E^*_{ab} \downarrow$	$\Delta E_{Ch} \downarrow$	$\text{MAE}_{\text{RGB}} \downarrow$	$\text{MAE}_{\text{Hue}} \downarrow$	说明
$\lambda_{\text{Lab}} = 0$ (仅扩散损失)	32.87	26.09	48.59	20.48	缺乏感知级监督，色偏严重
$\lambda_{\text{Lab}} = 0.3$	30.36	24.42	43.20	20.02	显式色彩精度开始显著提升
$\lambda_{\text{Lab}} = 0.5$	34.54	29.51	42.70	18.49	中等强度约束
$\lambda_{\text{Lab}} = 0.8$ (全模型默认)	28.53	23.55	35.84	14.88	达成色彩精度与生成真实度的最佳平衡
$\lambda_{\text{Lab}} = 1.0$	37.50	31.67	47.34	20.72	约束过紧损害扩散模型的生成多样性与质感

关键发现¶

色彩精确度断层式领先：相较于依赖文本微调的 SOTA 方法（如 Control-Color 与 Flux.1-Kontext），ColourCrafter 将色相角度误差 $\text{MAE}_{\text{Hue}}$ 从 20.31/23.19 锐降至 14.88，且将总色差 $\Delta E^*_{ab}$ 压降至 28.52，印证了 Token 级全通道融合相比掩码外置注入的巨大优势。
消融损失验证了感知解耦的不可替代性：若去掉 Lab 空间损失（$\lambda_{\text{Lab}}=0$），模型仅凭扩散去噪无法对准连续色彩分布；若去除空间掩码加权（Ours w/o mask），全图约束迫使模型去平衡无变化区域的色彩误差，造成全图饱和度下降、整体泛白发灰；而若改用 RGB 空间均方误差损失，则会导致像素向均值靠拢，输出变灰发闷。
连续渐变高度平滑：当给定呈等差数列平滑递变的 RGB 序列时（如图 1 所示），生成图像展现出极为线性的连续色彩过渡，无任何突兀跳变，展现出连续流形建模的稳健性。

亮点与洞察¶

Token 级图色对等建模：打破了将色彩作为不可微分全局 prompt 或外围 cross-attention adapter 的刻板思路，直接将参考色转化为视觉 token 参与 DiT 的自注意力，实现目标语义与色相的天然物理级局部绑定。
感知均匀空间的明度解耦 Trick：采用 Lab 色彩空间替代传统 RGB 均方损失，巧妙将高频纹理/光影（$L$ 通道）与核心着色信号（$a, b$ 通道）分离监督，使模型能够在不破坏物体固有三维阴影与高光反射的前提下无缝替换色调。
高质量大模型数据提纯范式：结合文生图大模型（Flux）、目标分割大模型（SAM）与视觉语言大模型（Qwen2.5-VL）的各自优势，打通了从自动生成、三维感知质量清洗到差分聚类提炼标签的全套闭环管线，具备极强的复用价值。

局限与展望¶

合成数据域偏移：训练集 ColourfulSet 的图像配对完全基于 Flux.1-Kontext 生成，虽然经过严密大模型清洗，但与真实相机拍摄的光学色彩、高动态范围以及复杂艺术风格之间依然存在域差距（Domain Gap）。
小色差编辑钝化（失效模式）：作者统计分析指出，当目标颜色与物体原本颜色极为接近时（例如色差 $\Delta E^*_{ab} < 35.7$），扩散去噪过程中的梯度引导信号微弱，模型容易发生编辑不充分或向临近色谱偏移的失效现象。
单目标单颜色限制：当前架构仅支持单次输入单个物体与单一色彩，若面对复杂的“给左边杯子染红、右边盘子染蓝”等多对象混合编辑需求，目前只能通过多次串行推理完成，效率受限。

评分¶

新颖性: ⭐⭐⭐⭐☆（将连续颜色作为视觉 Token 引入 DiT 并辅以解耦感知 Lab 损失，构思精巧合理）
实验充分度: ⭐⭐⭐⭐⭐（定性定量对比详实，直方图、注意力可视化、用户双盲评测及多场景极限测试一应俱全）
写作质量: ⭐⭐⭐⭐⭐（逻辑严密自洽，从问题根源到架构设计的推演环环相扣，图表呈现质量高）
价值: ⭐⭐⭐⭐☆（不仅在局部色彩精确重绘领域树立新基准，其自动化构建配对数据集的闭环流程对通用可控图像生成极具借鉴意义）

配置 (\(\lambda_L\) 消融，固定 \(\lambda_{\text{Lab}}=0.8\))	\(\Delta E^*_{ab} \downarrow\)	\(\Delta E_{Ch} \downarrow\)	\(\text{MAE}_{\text{RGB}} \downarrow\)	\(\text{MAE}_{\text{Hue}} \downarrow\)	说明
\(\lambda_L = 0\)	45.15	39.18	56.06	34.47	缺少明度约束，整体色彩一致性较差
\(\lambda_L = 0.2\)	35.34	29.96	44.39	21.36	性能逐步平稳收敛
\(\lambda_L = 0.5\) (默认)	34.54	29.51	42.70	18.49	明度与色度达到感知最优平衡
\(\lambda_L = 0.8\)	40.79	33.93	51.37	23.37	过度关注明度导致色彩饱和度损失
\(\lambda_L = 1.0\)	35.19	27.87	50.09	23.10	边缘亮暗约束过度干扰色彩表征

配置 (\(\lambda_{\text{Lab}}\) 消融，固定 \(\lambda_L=0.5\))	\(\Delta E^*_{ab} \downarrow\)	\(\Delta E_{Ch} \downarrow\)	\(\text{MAE}_{\text{RGB}} \downarrow\)	\(\text{MAE}_{\text{Hue}} \downarrow\)	说明
\(\lambda_{\text{Lab}} = 0\) (仅扩散损失)	32.87	26.09	48.59	20.48	缺乏感知级监督，色偏严重
\(\lambda_{\text{Lab}} = 0.3\)	30.36	24.42	43.20	20.02	显式色彩精度开始显著提升
\(\lambda_{\text{Lab}} = 0.5\)	34.54	29.51	42.70	18.49	中等强度约束
\(\lambda_{\text{Lab}} = 0.8\) (全模型默认)	28.53	23.55	35.84	14.88	达成色彩精度与生成真实度的最佳平衡
\(\lambda_{\text{Lab}} = 1.0\)	37.50	31.67	47.34	20.72	约束过紧损害扩散模型的生成多样性与质感