MaterialFlow: Attribute-Disentangled Material Transfer via Trajectory-Aware Velocity Modulation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Sung-Lin/MaterialFlow
领域: 图像生成
关键词: 材质迁移, Rectified Flow, 无需反演, 轨迹归一化, 属性解耦

一句话总结¶

针对材质迁移中参考特征纠缠与反演累积漂移导致的结构畸变问题，MaterialFlow 在预训练 Rectified Flow 模型上提出了无需反演的轨迹感知速度调制与颜色-纹理-中尺度结构三维属性解耦范式，实现了高保真且结构严格保持的免训练材质迁移。

研究背景与动机¶

材质迁移旨在将参考范例的表面外观（如木纹、大理石、皮革或金属光泽）重渲染到目标物体上，同时严格保留原物体的几何形变与语义身份。这项技术被称为数字炼金术，在数字内容创作、增强现实预览以及 3D 资产生成等管线中具有核心应用价值。然而，现实场景中的材质线索与局部光照、宏观几何深度耦合，要实现“形神兼备”的材质迁移极其困难。现有方法要么依赖基于微调的昂贵方案，由于单任务微调成本过高且容易过拟合而难以实用；要么采用基于注意力特征注入的免训练方案（如 ZeST、MaterialFusion），往往需要复杂的外部辅助适配器（如 ControlNet、深度图），并频繁出现纹理越界泄漏或几何形变被材质模式强行拉扯变形的缺陷。

近年兴起的 Rectified Flow（RF）模型将生成过程建模为确定性常微分方程（ODE）的直线输运，理论上为精确的速度场调制提供了极佳的几何轨迹基础。但直接将 RF 应用于材质迁移存在两大核心矛盾：第一，现有流模型编辑大多沿用反演（Inversion）范式，但确定性 ODE 积分过程中微小的重构误差会沿轨迹不可逆地累积，特别是当源物体和参考材质需要同时反演时，误差叠加导致的严重轨迹漂移会彻底抹杀物体的精细结构特征；第二，现有方法普遍将参考材质编码为单一的纠缠表征，导致全局基色、微观高频纹理与中尺度重复结构图案在编辑动力学中相互博弈，引发“非全即无”的失控——要么完全不迁移，要么物体的结构轮廓被材质纹理吞噬。

本文的切入角度是：避开显式反演求解，直接在正向输运轨迹中利用插值先验构造跨分布速度差，并通过对齐源轨迹与材质轨迹的位移模长来平衡动力学竞争，同时在频域与空间域解耦材质属性。核心 idea：提出完全免训练的 MaterialFlow 框架，通过无需反演的前向确定性速度差驱动生成，利用轨迹感知归一化校准参考速度场以根除结构畸变，并将材质正交分解为颜色、纹理与结构图案三维属性进行独立调控。

方法详解¶

整体框架¶

MaterialFlow 的整体流程直接运行于预训练 Rectified Flow 模型（如 FLUX.1-dev）的隐空间，无需参数微调，也无需反演重建。整个管线接收源物体图像 $I_O$ 和参考材质图像 $I_M$。首先通过属性感知解耦模块，在图像域将材质分解为颜色范例 $I_C$、纹理范例 $I_T$ 和结构图案范例 $I_P$，并分别经由 VAE 编码为对应的初始隐向量；随后在逆时间扩散调度区间 $[n_{\max}, n_{\min}]$ 内，基于源物体隐变量构建前向直线插值路径，并在每个时间步分别计算目标文本条件速度场与归一化后的各材质属性速度场差值，合成综合速度场引导潜变量单步更新，最终生成兼顾目标结构与参考材质的高保真图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源物体图像 + 参考材质范例"] --> B["属性感知解耦<br/>频域滤波与空间补丁提取分解 C / T / P"]
    B --> C["无需反演速度场构建<br/>直线轨迹插值计算源与目标差值速度"]
    C --> D["轨迹感知速度归一化<br/>动态对齐材质与物体轨迹位移模长"]
    D --> E["属性速度加权聚合<br/>合成全量编辑速度场 Delta V"]
    E --> F["一阶 ODE 积分推进<br/>在有效区间内更新隐变量并生成最终图像"]

关键设计¶

1. 无需反演速度场构建：避免累积重构漂移 传统流模型反演依赖求解反向 ODE 将图像编码回纯噪声，但在离散积分步长下，微小局部截断误差会沿路径不断放大，导致重构潜变量偏离真实流形。当源物体与参考材质双路反演时，两路误差叠加（如图 2 中蓝色误差曲线显著高于单路绿色曲线），使编辑动力学偏离目标物体。MaterialFlow 借鉴无需反演思想，基于 Rectified Flow 训练时固有的线性插值关系直接构建输运路径： $$Z^{\text{src}}_t = (1-t)Z^{\text{src}}_0 + t N_t, \quad N_t \sim \mathcal{N}(0, I)$$ 在每个时间步 $t$，目标隐状态 $Z^{\text{tar}}_t = Z^{\text{MF}}_t + Z^{\text{src}}_t - Z^{\text{src}}_0$ 处的速度预测值与源物体速度预测值构成任务基础速度差： $$\Delta V^{\text{tar}}_t = V(Z^{\text{tar}}_t, t) - V(Z^{\text{src}}_t, t)$$ 此设计完全绕过了耗时且脆弱的反向 ODE 求解，不仅将单步函数评估（NFE）计算量减半，更从根本上切断了重构误差累积引起的结构崩溃。

2. 轨迹感知速度归一化：动态平衡形变与属性注入 在范例引导编辑中，参考材质的特征分布通常与源物体差异巨大，若直接计算材质条件下的速度场差异并叠加到物体轨迹上，参考轨迹的位移模长往往会严重压制源物体自身的流场，导致输出结果要么过于迁就材质而造成几何塌陷，要么由于材质速度向量模长过小而发生迁移不足。为此，MaterialFlow 设计了轨迹感知归一化机制，利用源轨迹与属性参考轨迹之间的相对位移模长比动态校准材质速度差： $$\lambda^a_t = \frac{\|Z^{\text{src}}_t - Z^{\text{src}}_0\|}{\|\hat{Z}^a_t - \hat{Z}^a_0\| + \epsilon}$$ $$\Delta V^a_t = \lambda^a_t V(\hat{Z}^a_t, t) - V(Z^{\text{src}}_t, t)$$ 其中 $\epsilon$ 为数值稳定常数。该缩放因子保证了材质速度引导的强度与源物体沿时间轴的扩散演化节奏严格同步，防止了非线性特征过度注入引发的“巨龙式”扭曲伪影，确保了物体语义主干的坚挺。

3. 属性感知解耦范式：正交剥离颜色、纹理与中尺度图案 材质图像同时内嵌了低频基色、高频微观粗糙度以及中尺度的空间排布图案。将三者混杂在一起会导致特征竞争失调。MaterialFlow 在潜变量引导前，对材质范例实施物理与频域双重正交解耦： - 颜色解耦（Color）：使用 2D 傅里叶低通滤波器提取低频分量 $I_M^{\text{low}} = \mathcal{F}^{-1}(H_{\text{low}} \odot \mathcal{F}(I_M))$，在 CIELab 空间中提取代表性色度向量 $c_{\text{rep}}$，并与源物体的低频亮度分布 $Y_{\text{obj}}^{\text{low}}$ 进行直方图匹配对齐，构建保持源光照阴影的颜色范例 $I_C$； - 纹理解耦（Texture）：利用互补的高通滤波器 $H_{\text{high}} = 1 - H_{\text{low}}$ 过滤掉全局颜色偏置，仅保留表征表面粗糙度、颗粒感和金属光泽的纯高频分量 $I_T = I_M^{\text{high}}$； - 结构图案解耦（Structural Patterns）：针对木纹、斑点、斑纹等介观重复结构，通过空间相干补丁提取算子 $\mathcal{P}(I_M)$ 截取特征纹理块得到 $I_P$，消除全局轮廓干扰。解耦后的三个范例分别经编码得到 $\hat{Z}^C_0, \hat{Z}^T_0, \hat{Z}^P_0$，各自经过上述轨迹归一化后累加：$\Delta V^{\text{ref}}_t = \sum_{a \in \{C, T, P\}} \Delta V^a_t$。

损失函数 / 训练策略¶

MaterialFlow 是完全免训练（Training-free）的推断时调制方法，无需优化任何模型权重。在推理配置上，采用预训练 FLUX.1-dev 为主干，整体扩散步数设为 28 步，实际材质编辑与速度调制仅在区间 $[n_{\max}, n_{\min}]$ 内运行（有效编辑时间窗口为 10 步），采用一阶欧拉积分单步更新： $$Z^{\text{MF}}_{t_{i-1}} \leftarrow Z^{\text{MF}}_{t_i} + (t_{i-1} - t_i) (\Delta V^{\text{tar}}_{t_i} + \Delta V^{\text{ref}}_{t_i})$$ 完成该区间积分后直接解码为输出图像，最大程度保留非编辑区间的生成自然度与推理效率。

实验关键数据¶

主实验¶

实验在标准材质迁移基准 MTB（Material Transfer Benchmark）上进行，涵盖 30 个物体图像与 30 个材质图像组成的跨类别测试对。评估分为两部分：(1) 基于大型多模态评测模型 Qwen3-VL-30B-A3B 的 VQA 属性对齐质量评估（Color、Texture、Pattern 及其均值 Avg.）；(2) 人工主观评估（Object 保留度、Material 对齐度、Overall 整体偏好）。所有对比方法均在统一的免训练（Training-free）协议下评测。

方法	额外辅助模块 (Aux.)	颜色对齐 (Color↑)	纹理对齐 (Texture↑)	图案对齐 (Pattern↑)	平均质量 (Avg.↑)	物体保真 (Object↑)	材质匹配 (Material↑)	整体偏好 (Overall↑)
IP-Adapter + SDXL	✓	41.11%	39.00%	32.22%	37.44%	9.52%	6.90%	6.19%
ProSpect	–	21.44%	12.33%	5.78%	13.18%	22.38%	0.71%	1.67%
ZeST	✓	58.11%	57.00%	49.56%	54.89%	54.76%	22.62%	48.57%
MaterialFusion	✓	41.33%	38.00%	31.78%	37.04%	33.33%	13.10%	28.81%
MaTe	–	67.00%	40.00%	20.44%	42.48%	68.81%	2.14%	10.00%
MaterialFlow (本文)	–	79.89%	42.67%	34.78%	52.45%	83.81%	20.48%	59.29%

消融实验¶

消融实验深入验证了属性感知解耦、轨迹感知归一化以及各属性独立引导强度的有效性（见论文图 6 视觉对比与定性/定量消融分析）：

配置	核心表现与结构稳定性	说明
MaterialFlow (完整模型)	物体几何轮廓完整，材质三维属性精准匹配	兼顾 83.81% 物体保真与稳定材质迁移
w/o 属性感知解耦	材质均一化注入，属性竞争失调，细节模糊	无法区分局部颜色与中尺度纹理，细节丢失严重
w/o 轨迹感知归一化	出现严重几何形变伪影（如雕像产生扭曲龙状条纹）	材质流模长压制源物体流场，动力学彻底失衡
增强颜色引导尺度	物体表面色度饱和度增加，光照结构仍严格保持	验证颜色属性速度矢量的独立正交调控能力
增强纹理 / 图案尺度	微观粗糙度与中尺度斑纹显著凸显，几何未畸变	展现出比纠缠表征更细粒度的材质强度自定义控制

关键发现¶

物体结构保真度断层式领先：MaterialFlow 在人工评测的 Object 保真度上达到 83.81%，相比强基线 ZeST（54.76%）和 MaTe（68.81%）具有压倒性优势，说明无需反演和轨迹归一化彻底杜绝了注意力交叉注入容易引发的形状瓦解。
整体偏好显著超越依赖辅助模块的基线：在无需外部 ControlNet 或深度估计网络的前提下，本文取得了 59.29% 的最高整体满意度，高出第二名 ZeST 10.72 个百分点。
免训练泛化性强：在禁止额外微调的统一测试下，原先依赖训练或嵌入优化的方法（ProSpect 与 MaTe）整体表现急剧恶化（Overall 仅 1.67% 与 10.00%），证明了纯免训练速度场调制在零样本迁移场景下的稳健性。

亮点与洞察¶

无需反演的速度场对齐规避累积误差：传统反演在 RF 确定性轨迹上步步失真，MaterialFlow 直接在正向 ODE 速度场做差分调制，以数学严谨且轻量的形式切断了反演漂移。
动态位移模长平衡流场竞争：利用源和参考两路在当前步与初始步的位移模长之比 $\lambda_t$ 动态重平衡速度场，精巧地解决了外来视觉条件与原生语义骨架的能量争夺。
频域与几何双维度的属性解耦：将材质分解为低频颜色、高频微观纹理与中尺度介观重复图案，突破了以往将材质当作单一隐向量的黑盒范式，为精细化可控生成提供了可插拔的模块化范例。

局限与展望¶

作者承认的局限：极端非刚性几何或几何曲率与材质各向异性强绑定的情况下（如深度立体凹凸明显的雕刻材质），缺乏显式 3D 深度或法线引导可能导致微观立体感略逊于专门的 3D 纹理管线。
深入分析的局限：纹理高通滤波与空间补丁提取依赖固定的频域截止阈值和滑动窗口尺寸，对于跨尺度材质（如既有微米级磨砂又有分米级斑纹）可能需要更自适应的多尺度分解策略。
改进思路：后续可探索将自适应频段划分引入属性解耦，并结合轻量法线先验将速度场调制拓展至三维高斯泼溅（3DGS）或多视角材质一致性编辑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在 Rectified Flow 模型上实现无需反演且具备轨迹归一化的范例材质迁移，属性解耦设计兼具频域与几何美感。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾多模态大模型 VQA 自动评测与细粒度人工主观双盲实验，基线覆盖全面，消融直击核心模块。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，数学表达与物理动机清晰对应，图表论证充分。
价值: ⭐⭐⭐⭐⭐ 为免训练生成式图像编辑和材质重渲染提供了高稳定性、低计算开销的全新范式。