Text-Vision Co-Instructed Image Editing¶

会议: NeurIPS 2026
arXiv: 2606.16767
领域: 图像生成
关键词: 图像编辑, 扩散模型, 多模态协同指令, 拖拽编辑, 流匹配

一句话总结¶

针对纯文本指令缺乏精细空间控制与纯拖拽点缺乏语义意图的局限，本文提出文本-视觉协同指令图像编辑任务与即插即用框架 TV-Edit，结合视频挖掘的配对数据与解耦的空间控制器，实现兼具高语义保真度与像素级精度的图像编辑。

研究背景与动机¶

近年来基于指令的图像编辑取得了巨大进展，用户可以通过自然语言直接描述编辑目标（如修改物体的颜色、纹理或类别）。以 FLUX.1 Kontext、Qwen-Image-Edit 等为代表的现代生成式基础模型展现了强大的语义理解能力与极高画质。然而，自然语言本身存在固有的模糊性，尤其在涉及精确几何变换、连续运动幅度与物体动作（如位置、姿态、旋转角度或局部非刚性形变）时，纯文本指令难以量化具体的运动尺度。例如，当指令要求“略微抬起头”时，纯文本编辑模型往往无法界定“略微”的物理位移，导致编辑幅度偏离用户心理预期。

另一方面，基于稀疏视觉提示（如拖拽编辑 DragGAN、GoodDrag、LightningDrag 等）的方法提供了直观的几何位移控制，允许用户指定控制点对（起点与终点）实现像素级的布局操纵。但现有的拖拽方法大多只关注几何点追踪与潜空间移动，缺乏语义层面的上下文理解与动作意图先验。当用户画出一个向上拖拽的箭头试图“张开鳄鱼的上颚”时，拖拽算法往往将其简单解释为局部的刚性或弹性几何拉伸，导致整张嘴部发生非自然的撕裂与形变，虽然在几何距离上满足了点的位移，却彻底违背了合理的语义动作规律。

上述两种范式的瓶颈表明：单一模态的信息输入天然不足以表达复杂的编辑意图。文本负责“做什么”（语义转换类别），稀疏视觉点负责“在哪做与形变多少”（空间位置与几何位移约束）。核心 idea：形式化提出文本-视觉协同指令编辑任务（TV-Edit），构建视频驱动的 23K 双模态协同数据集，并设计轻量化解耦的内容感知空间控制器与高噪声偏置流匹配训练策略，使基础编辑模型兼具精细几何控制与准确语义遵循。

方法详解¶

整体框架¶

TV-Edit 采用主干与控制分支解耦的双路架构。主分支保留预训练的文本引导编辑基础模型（如基于 MM-DiT 架构的 Qwen-Image-Edit 或 FLUX.1 Kontext），冻结其参数以保持强大的生成先验与视觉保真度；控制分支则引入轻量化的内容感知空间控制器（Content-Aware Spatial Controller），将稀疏轨迹点渲染成的空间位置图与源图潜变量在早期深度融合，提取出蕴含内容几何的残差控制特征，并通过时间步自适应调制的注入层Dense馈入主干网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    subgraph S1["输入表征与预处理"]
        direction TB
        A["源图 + 文本指令 + 稀疏点对"] --> B["文本编码器 & VAE 提取潜变量"]
        A --> C["轨迹索引渲染为空间点图<br/>M_src & M_tgt"]
    end

    subgraph S2["协同数据与特征注入"]
        direction TB
        C --> D["双模态协同配对构建<br/>光流筛选 + MLLM 提示生成 TV-Edit-23K"]
        B & C --> E["内容感知空间控制器<br/>轨迹与源图潜变量通道拼接早期融合"]
        E --> F["时间步调制注入层<br/>三路线性投影与自适应步长缩放"]
    end

    subgraph S3["生成与去噪主干"]
        direction TB
        F -->|注入残差控制特征| G["MM-DiT 基础编辑主干网络<br/>冻结权重保留生成先验"]
        G --> H["Z0预测与高噪声偏置训练<br/>t^2 加权速度损失 + Beta 采样"]
    end

    H --> I["目标编辑图像输出"]

关键设计¶

1. 双模态协同配对构建：基于视频挖掘的文本-视觉协同数据合成管线
现存编辑数据集主要针对单模态（纯文本指令或纯几何拖拽）构建，无法提供文本意图与空间位移高度绑定的协同监督信号。针对这一问题，作者利用开源视频数据中天然存在的连续形变与时间一致性，构建了首个大规模文本-视觉协同编辑数据集 TV-Edit-23K。该构建管线包含三个串联阶段：首先进行视觉指令标注，利用光流模型 SEA-RAFT 提取光流幅度图，并结合 Co-Tracker-V3 跟踪密集体网格轨迹，通过归一化光流幅度作为空间采样权重，保留显著前景位移的同时兼顾细微动作；其次进行配对文本标注，直接让多模态大模型（MLLM）观察两帧往往会因为复杂背景动态或幻觉生成脱节的描述，作者将筛选出的控制点以不同颜色渲染至两帧图像上作为显式视觉提示，引导 Qwen-3-VL 仅针对标记区域的动态生成动作指令；最后进行闭环数据过滤，通过光流边界阈值剔除相机运动显著的动态背景、引入基于生成-验证（generate-then-verify）闭环机制清洗文本幻觉，并剔除运动模糊样本。最终获取 23K 组高质量样本 $(I_1, I_2, p_1, p_2, T_1, T_2)$，并解耦为正向 $(I_1, p_1, p_2, T_1) \to I_2$ 与反向 $(I_2, p_2, p_1, T_2) \to I_1$ 两个双向编辑训练对。

2. 内容感知空间控制器：稀疏轨迹与图像内容的早期跨模态接地
如果将稀疏轨迹点直接作为刚性几何信号注入扩散主干，模型会因为缺乏语义上下文而出现局部内容撕裂，难以理解控制点具体作用于哪类语义部件。为此，控制分支首先将稀疏点集 $\mathcal{P}_{\mathrm{vis}} = \{(\mathbf{p}_k^{\mathrm{src}}, \mathbf{p}_k^{\mathrm{tgt}})\}_{k=1}^K$ 栅格化为源点图 $\mathbf{M}_{\mathrm{src}}$ 与目标点图 $\mathbf{M}_{\mathrm{tgt}}$，在控制点坐标处填充轨迹编号索引 $k$、其余位置填充 0： $$\mathbf{M}_{c}[x,y] = \begin{cases} k, & \text{if } (x,y) = \mathbf{p}_k^c \\ 0, & \text{otherwise} \end{cases}, \quad c \in \{\mathrm{src}, \mathrm{tgt}\}$$ 随后经过轻量级卷积点编码器压缩至与潜变量相同的分辨率，得到点嵌入 $\mathbf{E}_{\mathrm{src}}$ 与 $\mathbf{E}_{\mathrm{tgt}}$。关键机制在于，将源图点嵌入与源图潜变量 $\mathbf{Z}_{\mathrm{img}}$、目标点嵌入与噪声潜变量 $\mathbf{Z}_{\mathrm{noise}}$ 分别沿通道维度拼接，并经过线性投影层 $\phi(\cdot)$ 进行通道降维： $$\hat{\mathbf{Z}}_{\mathrm{img}} = \phi([\mathbf{Z}_{\mathrm{img}}; \mathbf{E}_{\mathrm{src}}]), \qquad \hat{\mathbf{Z}}_{\mathrm{noise}} = \phi([\mathbf{Z}_{\mathrm{noise}}; \mathbf{E}_{\mathrm{tgt}}])$$ 这一设计使无语义的点位移关系在进入控制器最底层时就被源图图像内容牢牢“接地（grounded）”，使控制器能够以内容敏感的方式理解几何位移。为降低算力开销，控制器采用层数 $N$ 远少于主干（仅设 $N=5$ 块，主干例如具有数十块）且隐藏层通道减半的 MM-DiT 结构，参数量缩减近 75%。

3. 时间步调制注入层：自适应时空残差特征Dense对齐
激进压缩控制器参数虽然大幅提升了计算效率，但也可能导致控制器输出特征的表现力受限，无法细腻控制主干不同深度的多层次表征。为此，作者为控制器第 $n$ 个块的输出特征 $\mathbf{H}_n$ 配备了 3 个独立的线性投影头 $\phi_{n,i}(\cdot)$（$i \in \{1,2,3\}$），并利用扩散时间步嵌入 $\mathbf{e}_t$ 动态预测对应的时步调节系数 $\alpha_{n,i} = g_{n,i}(\mathbf{e}_t)$。最终注入特征定义为： $$\mathbf{F}_{n,i} = \alpha_{n,i} \, \phi_{n,i}(\mathbf{H}_n)$$ 总计 $3N$ 个自适应调制的控制特征，在复制扩展后与主干 MM-DiT 的各层实现一一对应的残差累加。时间步感知缩放使得模型在扩散早期的高噪声步能够施加强烈的全局宏观几何引导，而在去噪晚期的低噪声步退让给主干以雕琢纹理细节，实现了空间控制与高保真图像合成的动态平衡。

4. $Z_0$ 预测与高噪声偏置训练：强化低频空间结构优化的流匹配策略
在 Rectified Flow 等连续时间生成模型中，大时间步（高噪声阶段 $t \to 1$）主要主导生成物体的宏观几何结构与空间布局，而小时间步（低噪声阶段 $t \to 0$）主导高频纹理细节。为了强制网络把有限的学习容量聚焦于宏观几何控制，TV-Edit 采用了 $\mathbf{Z}_0$ 预测目标： $$\mathcal{L}_{\mathrm{fm}} = \mathbb{E}_{t, \mathbf{Z}_0, \mathbf{Z}_1} \left[ \left\| \hat{\mathbf{Z}}_0 - \mathbf{Z}_0 \right\|_2^2 \right], \quad \hat{\mathbf{Z}}_0 = \mathbf{Z}_t - t \cdot v_\theta(\mathbf{Z}_t, \dots)$$ 数学推导表明，$\|\hat{\mathbf{Z}}_0 - \mathbf{Z}_0\|_2^2 = t^2 \|v_\theta(\mathbf{Z}_t) - (\mathbf{Z}_1 - \mathbf{Z}_0)\|_2^2$，这意味着该损失函数天然等价于在常规速度预测损失上施加了 $t^2$ 的隐式加权，自动对大时间步的几何布局误差施加更严厉的惩罚。此外，作者在前 40K 步训练中打破均匀时间步采样，显式引入偏向大时间步的 Beta 分布采样 $t \sim \mathrm{Beta}(\alpha, \beta)$，从 $\mathrm{Beta}(20,2)$ 平滑退火至 $\mathrm{Beta}(5,2)$，极大加速了几何控制能力的收敛。

实验关键数据¶

主实验¶

评估在作者精心构建的 TV-Edit-Bench（120 组多来源、多尺度严格对齐的测试样本）上展开，对比涵盖代表性拖拽编辑方法与最前沿的指令编辑基线。包含图像保真度（$DS_{\mathrm{global}}^{\mathrm{tgt}}$、$DS_{\mathrm{local}}^{\mathrm{tgt}}$、LPIPS）、几何精度（归一化稀疏匹配距离 $\mathrm{MD}_s$、密集匹配距离 $\mathrm{MD}_d$）以及基于 Qwen-3-VL 的 MLLM 评估指标（指令遵循度 PF、概念保留度 CP）。

方法	输入模态	$DS_{\mathrm{global}}^{\mathrm{tgt}}\uparrow$	$DS_{\mathrm{local}}^{\mathrm{tgt}}\uparrow$	$\mathrm{LPIPS}_{\mathrm{tgt}}\downarrow$	$\mathrm{MD}_s\downarrow$	$\mathrm{MD}_d\downarrow$	$\mathrm{PF}\uparrow$	$\mathrm{CP}\uparrow$
DragDiffusion	掩码+提示+轨迹	0.8290	0.9288	0.2490	0.1044	0.1048	0.72	0.98
GoodDrag	掩码+提示+轨迹	0.8724	0.9305	0.2234	0.0630	0.0648	0.75	0.96
DragLoRA	掩码+提示+轨迹	0.8444	0.9207	0.2380	0.0638	0.0671	0.77	0.94
CLIP-Drag	掩码+提示+轨迹	0.8741	0.9301	0.2312	0.1383	0.1363	0.71	0.95
LightningDrag	掩码+轨迹	0.8254	0.9155	0.2633	0.0649	0.0689	0.79	0.93
FLUX-Kontext	文本指令	0.8740	0.9302	0.2728	0.1626	0.1613	0.82	0.98
Qwen-Image-Edit	文本指令	0.8575	0.9191	0.3123	0.1379	0.1380	0.86	0.97
LongCat-Image-Edit	文本指令	0.8550	0.9185	0.3391	0.1247	0.1229	0.93	0.99
NanoBananaPro (闭源)	文本指令	0.9096	0.9432	0.2072	0.1201	0.1195	0.89	1.00
TV-Edit-Kontext (本文)	文本+轨迹	0.9134	0.9514	0.1696	0.0484	0.0508	0.86	0.99
TV-Edit-Qwen (本文)	文本+轨迹	0.9134	0.9490	0.1672	0.0421	0.0462	0.93	1.00

消融实验¶

基于 Qwen-Image-Edit 底座分析架构设计与训练策略的关键贡献：

实验设置 / 变体	$DS_{\mathrm{global}}^{\mathrm{tar}}\uparrow$	$DS_{\mathrm{local}}^{\mathrm{tar}}\uparrow$	$\mathrm{MD}_d\downarrow$	$\mathrm{PF}\uparrow$	核心说明与结论
基线 (点编码器+线性注入)	0.8595	0.9185	0.1355	0.89	仅注入几何点特征，缺乏内容接地，控制极不精准
+ 内容感知空间控制器	0.9024	0.9430	0.0505	0.87	引入早期特征拼接与MM-DiT块，$\mathrm{MD}_d$ 骤降超60%
+ 多重线性注入头	0.9015	0.9443	0.0501	0.91	简单增加多头投影提升微弱，缺乏动态时步区分度
+ 时间步调制注入 (全模型)	0.9134	0.9490	0.0462	0.93	自适应按时步调节控制强度，保真度与遵循度达最佳
采样消融: $\mathrm{Beta}(1,1)$ (均匀)	0.8857	0.9324	0.0568	0.90	未对高噪声倾斜，收敛较慢且几何误差偏大
采样消融: $\mathrm{Beta}(5,2)$ (最佳)	0.9134	0.9490	0.0462	0.93	重点关注高噪声结构确定期，兼顾细节生成
采样消融: $\mathrm{Beta}(10,2)$ (过度倾斜)	0.8861	0.9335	0.0604	0.88	过度偏向高噪声破坏低噪声纹理重建与指令执行
控制器块数: $N=1$ (167M)	-	0.9369	0.0481	0.88	极小参数下已有可观几何精度，展现架构高效率
控制器块数: $N=5$ (506M, 默认)	-	0.9490	0.0462	0.93	性能与参数量的最佳平衡点
控制器块数: $N=15$ (1.40B)	-	0.9400	0.0468	0.90	参数大幅膨胀，同迭代步下性能反而由于过拟合微跌

关键发现¶

双模态协同互补性不可替代：在推断期消融中，去除文本（纯轨迹）时虽然保留几何精度（$\mathrm{MD}_d = 0.0627$），但指令遵循度暴跌至 0.83，无法区分“张嘴”与“抬头”；去除轨迹（纯文本）时，$\mathrm{MD}_d$ 飙升至 0.1410，完全丧失精准尺度控制能力。二者协同才能实现 $\mathrm{MD}_d = 0.0462$ 与 $\mathrm{PF} = 0.93$ 的双赢。
免掩码（Mask-free）全局自洽编辑：相较于传统拖拽方法依赖手工圈定操作掩码、容易在边界处撕裂，TV-Edit 在无需输入掩码的条件下，利用基础模型的上下文自洽能力，在牵引主体（如小狗）位移时，能自动带动非受控物体（如牵引绳与周边光影）同步自然平移，避免严重形变伪影。
数据与架构的解耦验证：在 TV-Edit-23K 上单纯对 Qwen-Image-Edit 进行文本 LoRA 微调时，$\mathrm{MD}_d$ 仅从 0.1379 微降至 0.1254，证明仅凭文本指令监督无法教会模型量化运动尺度，协同多模态架构设计是核心驱动力。

亮点与洞察¶

即插即用的解耦控制范式：TV-Edit 无需重训庞大的图像生成或编辑大底座，只需训练仅占主干小部分参数的轻量控制分支（5 个 MM-DiT 块），成功泛化于 Qwen-Image-Edit 与 FLUX.1 Kontext 两大代表性架构，极具工业落地实用价值。
早期内容接地打破语义空白：传统的 ControlNet 或 Drag 方案倾向于直接把控制点当作抽象几何热图输入，TV-Edit 在潜变量空间把点嵌入与源图及噪声潜变量通道拼接线性映射，赋予了无语义的轨迹点以“正在操作某个特定物体局部”的先验语义。
数学等价的隐式时步加权：巧妙揭示了以 $\mathbf{Z}_0$ 为拟合目标的流匹配损失等价于 $t^2$ 加权的速度损失，顺理成章地将学习资源自动倾斜向主导几何布局的高噪声步，无需人工引入复杂的启发式损失权重。

局限与展望¶

推理耗时限制实时交互：由于深度依赖大型 DiT 基础编辑底座（多达数十亿参数及数十步去噪迭代），当前推理延迟无法满足实时交互式拖拽反馈的需求，未来需结合单步或少步一致性流匹配蒸馏进行加速。
缺乏显式 3D 物理先验：虽然对 2D 平面内的旋转、位移和尺度放缩表现优异，但在面对大角度的大范围视外旋转（out-of-plane rotation）或极复杂的遮挡重现时，缺乏显式 3D 几何建模可能导致非可视面的纹理臆造与结构坍塌。
复杂场景多目标协同冲突：当画面存在多个物体同时沿不同方向发生大尺度运动时，单分支控制器容易发生空间轨迹分配混淆，未来可探索实例级多分支控制或解耦注意力掩码机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出文本-视觉协同指令编辑新任务，打通语义意图与几何拖拽两大范式割裂。
实验充分度: ⭐⭐⭐⭐⭐ 构建了首个包含稠密跟踪与双向评估的 TV-Edit-Bench，消融严谨，覆盖两大底座与主流基线。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条清晰紧凑，数学推导自洽严密，问题提出与实验设计针对性极强。
价值: ⭐⭐⭐⭐⭐ 兼备理论启发性与极高的即插即用工程落地价值，为新一代交互式内容创作提供了标杆架构。