Vision Bridge Transformer at Scale¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 布朗桥、稳定化速度匹配、图像编辑、视频风格化、方差修正采样

一句话总结¶

ViBT 将条件生成从“噪声到目标”改为“源数据到目标”的布朗桥传输，用稳定化速度匹配支持大模型适配，在 20B 图像编辑实验中以 ImgEdit 平均分从 3.90 降至 3.76 为代价，报告 2.3 倍推理加速。

研究背景与动机¶

图像编辑通常只需改变原图的一部分，但条件扩散模型仍从噪声开始生成完整目标，再把原图作为额外条件送入网络。对于保持主体、只换背景或风格的任务，这相当于要求模型重新构造大量本来已经存在的内容。Transformer 还要处理额外视觉条件 token，视频中这种开销尤其明显。

布朗桥提供了更直接的建模方式：让源图像或视频本身成为生成过程的起点，训练模型学习到目标的随机路径。不过，把小型桥模型搬到大规模 Transformer 并不只是替换输入。普通速度目标在终点附近发散，位移目标又在终点附近衰减，两个目标分别把训练重心推向不同时间区域，使已有生成基座难以稳定适配。

本文先用同一个 SD3.5-Large 基座做受控比较，再将方法扩展到 Wan 2.1 1.3B 视频模型和 20B Qwen 图像编辑模型。核心 idea：保留预训练生成器的视觉先验，把视觉条件从额外输入改为传输起点，并通过目标尺度稳定化与采样噪声修正，让源到目标的桥过程能够在大模型上可靠训练和推理。

方法详解¶

整体框架¶

训练输入是配对的源、目标图像或视频及相应文本条件，预训练 VAE 将视觉数据编码为潜变量。ViBT 在两个潜变量之间构造带噪桥状态，用 Transformer 预测走向目标的速度，并用稳定化后的误差训练。推理时没有目标图像可用，只从源潜变量出发，按照方差修正的随机更新逐步生成目标，再由 VAE 解码。

文本指令仍用于指定编辑内容；被省去的是额外的视觉条件输入，不是所有条件信息。稳定化只作用于训练损失的计算，网络实际输出仍是采样所需的原始速度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["源图像或视频<br/>文本指令"] --> Bridge["潜空间数据桥"]
        Target["配对目标<br/>仅训练时使用"] --> Bridge
        Bridge --> Stable["稳定化速度匹配"]
        Stable -->|训练后的速度网络| Sample["方差修正采样"]
        Input -->|源潜变量初始化| Sample
        Sample --> Output["VAE 解码<br/>编辑图像或视频"]

关键设计¶

1. 潜空间数据桥：让已有视觉结构成为起点

设源和目标潜变量分别为 \(x_0\) 与 \(x_1\)。默认噪声尺度下，式 (7) 的训练状态是二者线性插值加上布朗桥噪声：

\[ x_t=(1-t)x_0+t x_1+\sqrt{t(1-t)}\,\epsilon, \qquad \epsilon\sim\mathcal N(0,I). \]

噪声在两个端点为零，在路径中部更大，因此起点保留输入内容，终点对应训练目标，中间仍允许随机变化。与“噪声加原图条件”的做法相比，原图已经进入生成状态，不必再拼接一份额外视觉 token。受控实验中的效率优势来自这种条件表示改变，而不是论文已经证明所有任务都能减少采样步数。

Transformer 从预训练生成模型初始化，继承其语义和视觉合成能力。图像编辑版本进一步移除 Qwen 基座的视觉条件输入通道，再通过后训练适配桥过程。这里的“扩展到 20B”指适配已有 20B 基座，不是从头训练一个 20B 桥模型。

2. 稳定化速度匹配：修正时间上的目标尺度失衡

布朗桥的条件速度为 \((x_1-x_t)/(1-t)\)。代入桥状态后，它包含一个随 \(t\) 接近 1 而放大的噪声项，所以直接做速度均方误差会被靠近终点的样本主导。改成预测剩余位移虽然避免发散，但位移在终点附近趋近于零，训练又更偏重较小时间点。两者的问题并非网络容量不足，而是不同时间样本具有不相称的监督尺度。

式 (12) 至 (15) 按端点距离和潜变量维度 \(D\) 对预测与目标同时归一化。对 \(\|x_1-x_0\|>0\) 的端点对，下面把原文目标写成等价的加权速度损失：

\[ \alpha^2=1+\frac{tD}{(1-t)\|x_1-x_0\|^2}, \qquad \mathcal L=\mathbb E\left[\frac{1}{\alpha^2} \left\|v_\theta(x_t,t)-\frac{x_1-x_t}{1-t}\right\|^2\right]. \]

归一化后的目标满足 \(\mathbb E_\epsilon\|\tilde u_t\|^2=\|x_1-x_0\|^2\)，即给定端点对时，其二阶矩不再随时间变化。这不是把所有样本的难度完全拉平，也不保证实际优化损失恒定；它消除了一个确定的时间尺度偏置。权重还依赖样本的端点距离，因此不是单纯的时间重加权。

关键实现细节是网络仍输出 \(v_\theta\)，只在算损失时除以归一化因子。推理不需要真实目标来计算这个因子。正文算法 2 的输入栏虽然列出端点对，但实际更新只使用源状态、时间与预测速度，不能把该栏误读成测试时需要目标图像。

3. 方差修正采样：避免临近终点仍注入过大噪声

普通 Euler-Maruyama 更新以步长平方根控制噪声，而桥过程在接近目标时应逐渐收缩不确定性。有限步长下直接使用普通更新，会在后期添加过多噪声。式 (17) 将随机项乘上一个与剩余时间相关的修正因子：

\[ x_{k+1}=x_k+\Delta t_k\,v_\theta(x_k,t_k) +\sqrt{\Delta t_k\frac{1-t_{k+1}}{1-t_k}}\,\epsilon_k, \qquad \epsilon_k\sim\mathcal N(0,I). \]

最后一步到达 \(t_{k+1}=1\) 时，随机项恰好为零。它修正的是离散采样噪声，不是额外训练一个去伪影模块；图 10 给出的对比显示，未经修正的采样存在明显伪影。正文还提到 200 个编辑样本的配对定量评估，但具体指标在未包含于缓存的表 S5 中，本笔记不补写其数值。

上述公式均对应默认 \(s=1\)。论文也将扩散系数推广为全局噪声尺度 \(s\)，用于控制路径随机性；完整训练与推理改写指向附录 C。由于缓存未含附录，这里只报告正文可核验的噪声消融，不臆造推广后的实现细节。

损失函数 / 训练策略¶

训练按算法 1 均匀采样时间，采样高斯噪声并构造桥状态，随后计算稳定化速度误差并更新参数。不同任务共用这一建模思想，但使用不同基座和训练数据，不能把所有结果当作同一个模型的统一能力测试。

受控图像编辑实验：双方均从 SD3.5-Large 初始化，数据集、优化策略和训练迭代相同；表 1 比较范式改变的效果。
视频任务：从 Wan 2.1 1.3B 初始化；视频风格化使用 Ditto-1M 中 10,000 个样本训练。
20B 图像编辑：使用 rank-128 LoRA、8 张 NVIDIA H100、20,000 次迭代，每卡批量为 1；作者报告总计 128 GPU 小时。
20B 适配数据：从 Open Images 构建 5,000 对合成编辑样本，评估使用 ImgEdit-Bench；最佳图像编辑配置采用 \(s=0.5\)。

实验关键数据¶

主实验¶

下表选取表 1、表 2、表 3 和表 5 中的代表结果。各行只在对应任务和设置内比较；ImgEdit 是编辑基准评分，不是分类准确率，箭头表示指标优劣方向。

设置与原表	指标	比较方法	ViBT / Bridge	解读
SD3.5-Large 受控比较，表 1	ImgEdit 平均分，上升更好	Conditional DiT：2.43	3.18	相同训练迭代下高 0.75 分
同上，表 1	人类偏好	Conditional DiT：40.7%	59.3%	偏好该设置下的桥模型
同上，表 1	训练 GPU 小时 / 推理秒数	162 / 14.5	96 / 6.2	不能移植为 20B 模型的绝对耗时
视频风格化，表 2	MUSIQ，上升更好	Ins.V2V：60.621	64.045	感知质量提升
视频风格化，表 2	CLIP Score，上升更好	Ins.V2V：0.827	0.782	文本匹配指标并非最佳
深度到视频，表 3	PSNR / DISTS	Wan Fun Control：10.899 / 0.281	11.403 / 0.230	PSNR 越高越好，DISTS 越低越好
深度到视频，表 3	VBench，上升更好	Wan Fun Control：0.69	0.71	原表按两位小数报告
20B 图像编辑，表 5	ImgEdit 平均分，上升更好	Qwen-Image-Edit：3.90	3.76	保留竞争力，但下降 0.14 分

视频风格化测试使用 100 段由 Wan 2.2 14B 按 MovieGen Bench 提示生成的视频，每段配随机风格指令；另有 26 人、5 个维度、1 至 3 分的人类评估。深度到视频训练使用 1,003 段生成视频及 Depth Anything V2 深度图，测试使用 VBench 提示生成的 946 段视频。

正文另报告在 500 段 OpenVid 真实视频上验证，但具体结果位于表 S3，当前缓存没有该附录。20B 版本的 2.3 倍加速是第 5.3 节的作者报告；精确测速设置在附录 A，不应借用表 1 的秒数来填补。

消融实验¶

表 8 比较训练目标。此处稳定化速度的 ImgEdit 分数为 3.55，对应默认噪声设置，不能与调到 \(s=0.5\) 后的 3.76 混为一行。

训练目标，表 8	深度到视频 PSNR	DISTS，越低越好	VBench	ImgEdit
位移匹配	11.04	0.26	0.695	3.50
普通速度匹配	10.81	0.27	0.698	3.36
稳定化速度匹配	11.40	0.23	0.71	3.55

表 6、表 7 的噪声消融进一步表明，稳定目标并不意味着所有任务共用一个最优噪声尺度。

噪声尺度	深度到视频 VBench，表 6	图像编辑平均分，表 7
\(s=0\)	0.604	3.10
\(s=0.1\)	0.536	3.03
\(s=0.5\)	0.666	3.76
\(s=1\)	0.709	3.55
\(s=2\)	0.711	3.44
\(s=4\)	0.482	2.97

关键发现¶

稳定化速度匹配在表 8 的 ImgEdit 上比普通速度高 0.19 分、比位移高 0.05 分，说明归一化有作用，但不是全部增益来源。
图像编辑倾向于较小的 \(s=0.5\)，深度到视频的 VBench 在 \(s=2\) 时最高；不能据此宣称 \(s=2\) 在每个深度指标上都最佳。
20B 版本的 Style 为 4.87，对比 Qwen 的 4.00；但 Remove 为 3.03 对 3.90，Action 为 3.95 对 4.51。保持结构与彻底改变结构之间存在实际取舍。

亮点与洞察¶

视觉条件不一定要作为额外输入反复传入，也可以体现在生成初始状态里。对编辑任务而言，这同时改变计算开销与需要学习的变化模式。
稳定化处理的是条件目标的二阶矩，而不是仅凭经验裁剪大梯度。这使优化问题与路径几何之间的关系可以被明确分析。
大模型适配并未另造复杂骨干，而是重用生成先验、改变传输范式。其价值更接近一种可迁移的后训练方式，而非证明桥过程在所有指标上替代扩散模型。

局限与展望¶

作者明确指出噪声尺度依赖任务，未来希望自动选择；当前仍需通过消融调参，不能直接套用极小噪声经验。
作者承认物体删除和大幅动作修改仍弱于 Qwen 基座。减少额外视觉条件输入与改善所有编辑能力不是同一回事。
从评估范围看，主视频测试大多由生成模型合成；真实 OpenVid 补充实验虽被正文提及，但本地缓存缺少表 S3，不能独立核对其数值。
公式要求非退化端点对，正文未交代零端点距离的工程保护；精确优化器、采样步数、时间调度与 20B 测速细节也无法由本缓存完整恢复。
原文存在应保留警惕的表述问题：表 5 与表 7 的 ViBT Add 分数分别为 4.14 和 4.15，表 5 的 FLUX 行还出现子项与平均分难以对应的情况。因此这里不依赖这些争议项做额外排名推导。

评分¶

新颖性: 4/5，主要贡献在可解释的目标稳定化及桥范式的大模型适配。
实验充分度: 4/5，包含受控比较、跨任务实验与目标及噪声消融，但附录证据无法在当前缓存中核验。
写作质量: 3/5，主线清楚，但算法输入与部分表格数字存在易误读或不一致之处。
价值: 4/5，为结构保留型编辑提供具有实际效率收益的建模选择。