Towards In-Context Tone Style Transfer with A Large-Scale Triplet Dataset¶

会议: ECCV 2026
论文: ECCV 原文
代码: 待开源（项目主页公布）
领域: 图像生成
关键词: 色调风格迁移、摄影修图、上下文生成、三元组数据集、奖励反馈学习

一句话总结¶

针对色调风格迁移中真实配对三元组数据匮乏与独立特征编码导致的语义失真问题，本文构建了包含 10 万组配对数据的 TST100K 数据集与基于对比学习和偏好微调的双阶段色调评分器，并提出基于流匹配 DiT 的上下文生成框架 ICTone，结合奖励反馈学习实现了语义感知的高保真色调风格迁移。

研究背景与动机¶

摄影修图与色调风格迁移是计算摄影和图像编辑的基础任务，旨在将参考图像的色调风格（如色彩分布、明度、对比度与饱和度）自适应地迁移至目标内容图像，同时严格保留内容图像的几何结构和语义完整性。然而，该领域长期受制于真实监督信号的缺失——由于缺乏具有真实修图标注的大规模“内容-参考-修图后”三元组数据集，现有主流方法（如 Neural Preset、CAP-VSTNet）不得不依赖自监督代理任务或手工设计的代理风格损失。这种间接监督迫使模型在合成配对或受限假设下学习，直接限制了网络处理复杂跨场景色彩映射的能力上限。

构建高保真三元组数据集的瓶颈在于缺乏客观可靠的“色调风格相似度”度量标准。完全依靠人工专业修图成本极高且难以规模化；而若直接应用预设预处理（Presets）批量合成，不同内容图像对相同预设的色彩响应差异巨大，必然引入大量视觉不协调和风格不一致的噪声样本。此外，在网络架构层面，现有方法通常采用独立编码器分别提取内容与参考图像特征，并在解码器阶段通过注意力机制或特征变换进行融合。这种割裂的特征解耦与重组机制极易导致高级语义信息的丢失，常引发面部肤色被背景污染、不同语义区域色调错位等严重伪影。

针对上述核心矛盾，本文将研究切入点确立为“高质量监督数据构建”与“上下文联合生成架构”的协同突破：一方面利用数据驱动范式构建专门的色调风格评估模型以突破数据清洗瓶颈；另一方面借助大规模扩散模型的丰富先验，将色调风格迁移重构为上下文视觉生成任务。核心 idea：通过两阶段训练的色调评分器与美学非退化双重约束构建高质量十万级三元组数据集 TST100K，并提出上下文色调生成模型 ICTone，在流匹配 DiT 下将内容与参考图像空间拼接统一建模，配合基于评分器的奖励反馈学习实现结构保真且语义一致的风格迁移。

方法详解¶

整体框架¶

ICTone 旨在学习条件概率分布 $p_\theta(I_t \mid I_c, I_r)$，使得给定未编辑的内容图像 $I_c$ 与提供目标色调外观的参考图像 $I_r$ 时，生成与 $I_r$ 色调一致且严格保持 $I_c$ 语义结构的目标图像 $I_t$。整个系统包含两个协同演进的核心阶段：首先是基于双阶段训练的色调评分器（Tone Style Scorer）与美学过滤器进行大规模三元组数据清洗与基准构建；其次是在构建的数据集上，将图像拼接为统一上下文，利用流匹配（Flow Matching）扩散 Transformer 进行上下文去噪生成，并在收敛后引入评分器的奖励反馈强化微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据预处理<br/>白平衡校准 + 滤镜去除 + 预设应用"] --> B["双阶段色调评分器<br/>弱监督对比学习 + 偏好排序微调"]
    B --> C["高保真三元组数据集构建<br/>色调一致性(>=0.8) + 美学非退化过滤"]
    C --> D["上下文图像生成框架 ICTone<br/>空间拼接 (Ic, Ir) + 目标掩码流匹配 DiT"]
    D --> E["色调奖励反馈学习<br/>评分器梯度回传 + 风格感知对齐"]
    E --> F["输出高保真修图结果 It"]

关键设计¶

1. 双阶段色调评分器：解决色调风格一致性客观度量缺失 为突破无法客观量化两张图像色调相似度的瓶颈，本文基于 CLIP ViT-B/16 架构构建了专门的色调风格评分器 MTS-Scorer。为了避免传统模型过度关注语义内容而忽略色调，第一阶段采用弱监督对比学习（Weakly-Supervised Contrastive Learning），将来自 3,000 种预设生成的图像对作为样本库——同一预设处理的图像对为正样本集合 $\mathcal{P}(i)$，不同预设处理的为负样本，并引入图像模糊增强以强迫编码器聚焦于全局色彩分布与光照模式，采用监督对比损失进行预训练： $$ \mathcal{L}{\mathrm{Con}} = - \sum}^{N} \frac{1}{|\mathcal{P}(i)|} \sum_{p \in \mathcal{P}(i)} \log \frac{\exp(\mathbf{z}_i \cdot \mathbf{zp / \tau)}{\sum} \exp(\mathbf{z}_i \cdot \mathbf{za / \tau)} $$ 由于单一预设在不同图像上可能产生发散的视觉感知，第二阶段引入人类偏好对齐，从多个异构判别器（VGG、ResNet、ViT）预测分歧的难例中筛选出 20K 人工排序三元组，通过余弦距离 $d(\mathbf{u}, \mathbf{v}) = 1 - \frac{\langle \mathbf{u}, \mathbf{v} \rangle}{\|\mathbf{u}\|_2 \|\mathbf{v}\|_2}$ 施加边际三元组损失（Margin $m=0.3$）进行微调： $$ \mathcal{L}_n) + m\right} $$ 该设计使评分器不仅具备全局色调分辨力，更与人类视觉主观感受高度契合。}} = \max\left{0,\, d(\mathbf{z}_a, \mathbf{z}_p) - d(\mathbf{z}_a, \mathbf{z

2. 高保真三元组数据集构建：兼顾规模化与严格质检的双约束过滤 借助训练完成的色调评分器与美学评价模型 AesCLIP，本文构建了首个高质量十万级三元组数据集 TST100K 及精选测试基准 TST2K。原始图像源自 PPR10K 和 MIT-Adobe FiveK 等高画质图像库，首先经过自动化白平衡矫正与现有滤镜剥离，消除原有偏色基线；随后批量施加 3,000 种专业摄影预设。在样本质检环节，实施双重硬约束策略：一是美学非退化约束，即应用预设后的图像美学评分不得低于原始图像；二是色调一致性约束，利用色调评分器计算参考图与修图目标在归一化色调空间中的余弦相似度，相似度低于 0.8 的样本一律舍弃。此外，在训练过程中动态引入随机色彩去饱和、曝光衰减与 LUT 扰动等在线数据增强，最终形成覆盖人像、美食、风景、夜景、生活方式等多场景的超大规模纯净数据集。

3. 上下文图像生成框架：基于流匹配 DiT 的联合语义感知色调迁移 针对现有独立特征提取与解码融合机制引发的语义信息丢失问题，ICTone 将色调风格迁移重塑为上下文图像生成任务（In-Context Generation）。网络采用 FLUX.1 Fill 作为 Diffusion Transformer 骨干，在空间维度上将内容图像 $I_c$ 与参考图像 $I_r$ 进行拼接，并将目标输出区域初始化为随机噪声掩码。通过统一的自注意力机制，网络在全局层面上建立内容语义与参考色彩间的交叉注意力对应，完全摒弃了显式的“内容-风格”强制解耦瓶颈。网络学习在可见上下文的引导下进行条件修补，利用大模型内部强大的视觉概念关联先验，实现自适应的语义级色调赋予（例如自动识别天空、肤色、植物并匹配对应色温与明度）。

4. 色调奖励反馈学习：强化感知风格保真度与美学对齐 尽管流匹配目标能保证生成图像的基本内容保真度，但在极端色调偏移或复杂高反差场景下，输出仍可能向均值色彩漂移。为此，本文将 ReFL 框架迁移至上下文生成场景，在生成模型基础训练收敛后引入评分器反向监督。对于生成图像 $\hat{I}_i = I_\theta(I_c^i, I_r^i)$，通过冻结参数的色调评分器计算其与参考图像 $I_r^i$ 的风格对齐奖励，直接优化标量风格损失： $$ \mathcal{L}{\mathrm{tone}} = \mathbb{E}}}\big[\phi\big(\mathcal{M{\mathrm{TS\text{-}Scorer}}(I_r^i,\, I\theta(I_c^i, I_r^i))\big)\big] $$ 这一反馈闭环强力约束生成分布向参考色调的流形收敛，显著提升了高光与暗部细节的色彩饱和度及整体视觉质感。

损失函数 / 训练策略¶

模型整体优化采用两阶段训练策略。首先以连续时间流匹配（Flow Matching）为基础目标优化向量场预测： $$ \mathcal{L}{\mathrm{FM}} = \mathbb{E}0, t, \epsilon} |\boldsymbol{v}\theta - \boldsymbol{v}t|^2 $$ 其中 $v_t = \frac{d\alpha_t}{dt}s_0 + \frac{d\sigma_t}{dt}\epsilon$，$\alpha_t = 1-t$，$\sigma_t = t$ 为时间系数，$t \in [0, 1]$。在模型达到稳定收敛步数 $S$ 后，联合优化总损失： $$ \mathcal{L} = \mathcal{L} $$ 其中在训练步数到达 }} + \lambda_{\mathrm{tone}} \mathcal{L}_{\mathrm{tone}$S$ 之前 $\lambda_{\mathrm{tone}} = 0$，之后设为 $1$。模型基于 FLUX.1 Fill 骨干采用 LoRA 高效微调，使用 AdamW 优化器，学习率设为 $1 \times 10^{-4}$，权重衰减为 $1 \times 10^{-3}$，在 4 张 NVIDIA A100 GPU 上迭代训练 50,000 步。

实验关键数据¶

主实验¶

在构建的 TST2K 基准（包含 2,000 组多样化场景三元组）以及跨数据集泛化测试集 PST50（包含 50 对真实图像）上，将 ICTone 与当前主流的真实感风格迁移、色彩迁移及扩散模型方法进行了全面的定量评测。评测指标包括边缘内容保持度（CP，基于 LDC 边缘计算的 SSIM）、色差（$\Delta E$，CIEDE2000 标准）、深度色差（CD）以及美学得分（Aes）。

数据集	方法	CP ↑	$\Delta E$ ↓	CD ↓	Aes ↑
TST2K	WCT2 [54]	0.3952	15.13	4.991	0.7136
	PhotoNAS [3]	0.6721	19.57	6.183	0.6347
	MKL [35]	0.7511	12.67	4.694	0.7363
	PhotoWCT [26]	0.5852	21.35	7.021	0.6788
	DeepPreset [15]	0.7728	8.205	4.108	0.7567
	ModFlows [21]	0.6908	12.43	4.945	0.7500
	IPST [29]	0.7364	9.648	4.326	0.7081
	RLPixTuner [48]	0.6815	25.61	7.514	0.6354
	SA-LUT [13]	0.7082	11.10	4.929	0.6507
	CAP-VSTNet [46]	0.7013	11.87	4.665	0.7175
	CAP-VSTNet* [46] (重训)	0.7665	7.359	3.663	0.7801
	Neural Preset [18]	0.7480	10.51	4.713	0.7551
	Neural Preset* [18] (重训)	0.7707	7.886	3.860	0.7808
	CSGO [51]	0.3440	19.00	7.166	0.7209
	Nano Banana2 [14]	0.5968	12.78	4.947	0.7885
	ICTone (本文)	0.8644	5.776	2.634	0.7904
	Ground Truth	1.000	0.000	0.000	0.7978
PST50	WCT2 [54]	0.6482	16.34	5.574	0.2381
	MKL [35]	0.7618	16.12	5.241	0.2742
	SA-LUT [13]	0.7697	11.25	4.483	0.2048
	CAP-VSTNet* [46] (重训)	0.7545	14.45	4.937	0.2779
	Neural Preset* [18] (重训)	0.6914	17.81	6.157	0.1714
	ICTone (本文)	0.7902	12.81	4.448	0.2820
	Ground Truth	1.000	0.000	0.000	0.3305

在人工主观评测（User Study）中，ICTone 在 7 种代表性方法的两两对比中取得 1.00 的平均排名（第一名），显著超越 Neural Preset（2.70）、MKL（3.60）、SA-LUT（4.05）与 CAP-VSTNet（4.35）。

消融实验¶

针对数据集严格过滤机制、色调评分器模块设计及奖励学习策略进行细粒度消融分析：

数据过滤有效性（在 TST2K 上评估，未加入奖励学习）：

配置	CP ↑	$\Delta E$ ↓	CD ↓	AesScore ↑	说明
w/o filtering（无严格过滤）	0.7950	9.859	3.674	0.7727	包含大量预设噪声与退化样本
w/ filtering（双约束过滤）	0.8567	6.035	2.737	0.7834	过滤后色差大幅降低近 39%

色调评分器在 IFFI 滤镜图像检索任务上的性能：

评分器变体	Recall@1 ↑	Recall@2 ↑	Recall@5 ↑	PAcc (偏好准确率) ↑
VGG Gram [17]	34.00%	47.75%	67.44%	58.21%
Neural Disc [18]	34.63%	48.19%	69.94%	65.12%
CSD [42]	63.13%	73.75%	87.50%	70.89%
TS-WCL (对比学习阶段)	93.19%	97.44%	99.38%	74.59%
TS-WCL-PL (加入偏好微调)	97.50%	99.56%	100.0%	82.67%

奖励学习（Reward Learning）逐步消融：

WCL (对比预训练)	PL (偏好微调)	CP ↑	$\Delta E$ ↓	CD ↓	AesScore ↑
-	-	0.8567	6.035	2.737	0.7834
✓	-	0.8572	5.795	2.765	0.7871
✓	✓	0.8644	5.776	2.634	0.7904

关键发现¶

大规模配对真实标注是突破性能上限的基石：将基线模型 CAP-VSTNet 和 Neural Preset 在 TST100K 上重新训练后，$\Delta E$ 分别从 11.87 骤降至 7.359、从 10.51 骤降至 7.886，美学得分均显著提高，直接证实了以往自监督训练对模型能力的本质禁锢。
两阶段偏好对齐显著校准主观色调分布：色调评分器经由 20K 人类偏好排序微调后，在 IFFI 上的偏好准确率（PAcc）从 74.59% 提升至 82.67%，Recall@5 达到 100%；将完整评分器作为生成奖励后，ICTone 的深度色差由 2.737 进一步优化至 2.634。
上下文架构避免跨语义色彩污染：定性分析表明，在人像与食物等复杂场景下，传统显式特征解耦方法极易把背景暖色注入人物面部导致肤色泛黄，而 ICTone 借助 DiT 的空间联合自注意力机制，能够准确保留人脸天然肤质并自适应迁移环境光源与色温。

亮点与洞察¶

将色调相似度解构为可学习度量并贯通全管线：本文不仅构建了一个判别力极强的色调评分器用于离线海量数据的高纯度筛选，更将其在线复用为生成扩散模型的端到端奖励监督信号，实现了数据制造与算法优化的自洽闭环。
上下文生成颠覆了经典的内容-风格解耦范式：以往风格迁移研究耗费巨大精力设计 AdaIN、WCT 或可分离 LUT 避免结构破坏，本文证明了预训练扩散 Transformer 本身具备强大的语义感知与上下文推理潜能，通过纯空间拼接即可自发学会“语义对应区域的色彩适配”。
针对真实摄影修图的非破坏性数据合成管线：通过白平衡归一化、滤镜剥离加专业摄影预设，配合美学与色调双重过滤，提供了一套可拓展、无知识产权侵权争议的低成本高质量修图数据生成规范。

局限与展望¶

美学模型的固有偏置约束风格多样性：当前管线过滤依赖现成美学评价模型（AesCLIP），而该类模型偏好高对比度与特定色彩风格，导致某些小众或具有特殊暗调艺术风格的高质量预设被误筛剔除。
空间图像拼接带来的显存与计算开销：ICTone 在 DiT 中将内容图与参考图并在同一画布上处理，随着分辨率提升，自注意力计算量呈平方级爆炸，制约了移动端或毫秒级修图的实际落地。
未来方向：探索轻量化 Cross-Attention 或解耦 Adapters 替代物理拼接条件，以加速推理速度；引入支持用户个性化风格偏好的可控美学打分器。

评分¶

新颖性: ⭐⭐⭐⭐☆ [提出首个色调评分器闭环驱动的 100K 真实感三元组数据集，并将修图转化为 DiT 上下文生成]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖主客观定量、两大数据集跨域评测、大量消融实验与用户双盲盲测]
写作质量: ⭐⭐⭐⭐⭐ [架构图与逻辑链极其严密清晰，动机与实验结论高度自洽]
价值: ⭐⭐⭐⭐⭐ [彻底填补了摄影色调风格迁移领域缺乏大规模高标准配对监督基准的空白]