SteerVTE: Seamless Video Text Editing with Style and Glyph Control¶

会议: NeurIPS 2026
arXiv: 2606.23254
OpenReview: https://openreview.net/forum?id=vMuUnsiZxf
领域: 图像生成
关键词: 视频文本编辑, 扩散变换器, 字体风格迁移, 双粒度字形控制, 空间焦点损失

一句话总结¶

SteerVTE 冻结预训练视频扩散变换器并引入轻量化文本上下文适配器，协同原生分辨率视觉语言模型风格编码、行/字符双粒度字形引导与字形感知空间焦点损失，实现笔画级精准、风格一致且时间连贯的视频文本编辑。

研究背景与动机¶

视觉文本编辑旨在精确修改图像或视频中的局部文字内容，同时无缝融入背景并保持原有字体样式与视觉真实感，在字幕修正、视频本地化翻译、影视后期制作与广告设计中具有广泛应用。然而与图像文本编辑在近期取得的显著进展不同，视频文本编辑在学术界与工业界面临着极端的技术瓶颈。该任务本质上是一个高度局部化的微观编辑任务，文字区域往往仅占视频画面的 8% 到 15%，要求模型在微小的时空区域内达成笔画级的文字生成精度，同时必须在整段视频中维持跨帧的字形准确性、光影纹理风格的一致性以及运动轨迹的时间连续性。

现有的视频编辑范式在应对文本编辑时均暴露出严重的结构性缺陷。如果采用逐帧图像文本编辑（如 FLUX-Text、AnyText），由于忽视了帧间时空关联，会引发剧烈的高频时空闪烁与字体风格漂移；若采用单帧编辑加图像到视频（I2V）传播的策略，模型缺少对后续真实背景画面的约束，容易产生运动幻觉并破坏原始场景动态；若采用端到端视频生成模型（如 HunyuanVideo、Wan、LTX-Video）进行 Video-to-Video（V2V）编辑，这些基础模型在大规模通用场景预训练中严重欠缺字形渲染先验，而通用的可控视频编辑方法（如 VACE、Kiwi-Edit）仅针对全局风格化或宏观物体增删设计，无法捕获微小文本的笔画拓扑与精细排版风格，最终导致生成的文本严重畸变或直接退化为乱码伪影。

导致这一困境的核心矛盾在于：重构或全参数微调视频基础模型极易破坏其强大的通用生成与动态先验，而现有的外部控制注入机制又无法在潜在空间中对高度稀疏且高精度的文字笔画形成有效约束。为了破解这一僵局，本文提出冻结预训练视频 DiT 主干，通过外挂轻量化适配器注入解耦的风格与双粒度字形信号，并配合像素级字形监督消除潜在空间的空间梯度稀释。核心 idea：冻结视频 DiT 骨干，通过轻量文本上下文适配器注入原生分辨率 VLM 字体风格特征与行级/字级双粒度字形先验，并利用字形感知空间焦点损失在潜在与像素双重空间显式聚焦文字笔画拓扑，实现无缝视频文字编辑。

方法详解¶

整体框架¶

SteerVTE 采用基于流动匹配（Flow Matching）的潜在视频扩散变换器（DiT）作为骨干网络，在完全冻结基础生成模型参数的前提下，通过轻量化文本上下文适配器（Text Context Adapter）完成编辑条件的解耦注入。对于输入的原始视频、编辑掩码以及目标文字，系统首先将其分解为时空前背景定位条件、原生分辨率下的参考文字风格特征，以及固定中性字体的行级排版与字符级笔画拓扑先验；随后通过交叉注意力机制将这些条件协同注入到冻结的 DiT 模块中。在训练时，网络采用像素级 OCR 识别约束与潜在空间时空掩码重加权构建的 GLAS 损失函数，联合驱动文本笔画的精准合成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["输入：源视频 V_src + 编辑掩码 M + 目标文本 T_tgt"] --> PosNode["掩码引导时空位置条件<br/>分离前后景经 VAE 编码与下采样掩码拼接"]

    subgraph Adapter["文本上下文适配器"]
        direction TB
        StyleNode["原生分辨率 VLM 风格编码<br/>Qwen2.5-VL 提取原文本区域几何与材质特征"]
        GlyphNode["双粒度字形控制<br/>行级 VAE 排版先验 + 字符级 OCR 笔画先验"]
    end

    PosNode --> DiTBlock["冻结视频扩散变换器<br/>LoRA 高效适配微调"]
    StyleNode -->|交叉注意力| DiTBlock
    GlyphNode -->|通道拼接与交叉注意力| DiTBlock

    DiTBlock --> LossNode["GLAS 损失与渐进式三阶段课程学习<br/>潜在空间掩码加权 + 像素空间 OCR 特征匹配与 CTC 约束"]
    LossNode --> Out["输出：风格一致、字形精准的时空连贯编辑视频"]

关键设计¶

1. 掩码引导的时空位置条件与原生分辨率 VLM 风格编码：解耦几何形态与材质纹理 为了在精准修改文字的同时实现背景的零侵扰保留，模型首先利用时空二值掩码将源视频显式解耦为前景文字区域与背景环境区域。两部分分别送入预训练 VAE 编码器提取潜在特征，并与降采样后的时空掩码在通道维度拼接，构建出基底时空位置条件，确保生成网络只重绘目标轨迹内部。在风格捕获方面，传统方法往往依赖 CLIP 或 DINO 等将输入强制压缩为正方形分辨率的视觉编码器，这种硬性几何形变严重破坏了长条形文本的宽高比、字符间距和笔画粗细等固有几何拓扑。SteerVTE 引入原生分辨率视觉语言模型（Qwen2.5-VL），以非方形原生分辨率直接处理从源视频单帧裁剪出的带掩码文字区域，并结合定制化文本提示引导模型聚焦字体、字重、描边、材质与渐变色属性。提取出的深层隐藏状态拼接后经由线性风格映射层转换，通过交叉注意力注入到 DiT 各层中，实现与排版内容完全解耦的高保真字体风格迁移。

2. 行级与字符级双粒度字形控制：兼顾空间排版与笔画拓扑 视频文本渲染面临的核心难题在于文字定位（在哪写）、笔画几何（写成什么形状）与样式渲染（渲染何种风格）的高度耦合。由于 VAE 潜在表示存在固有下采样压缩率，单靠全局潜码输入极易丢失精细笔画的高频细节。SteerVTE 设计了双粒度字形引导模块，两者均在统一的固定中性黑白无衬线字体下渲染，仅暴露内容与结构信息而严格剔除字体风格偏置： - 行级排版先验：将目标文本渲染为中性单行文字图，经由 VAE 编码得到特征图，与时空位置条件直接在特征通道维度拼接，为视频生成提供空间全局对齐的文字边界与布局骨架； - 字符级笔画先验：将目标文本中的每个字符单独切分并按固定尺寸栅格化渲染，输入预训练 OCR 识别网络的特征提取器，抽取出 canonical 的笔画拓扑特征并拼接，经由字形投影层映射后通过交叉注意力注入 DiT。这种设计使网络在生成单字时具备直接的笔画连接拓扑指引，有效避免了连笔、漏笔和镜像畸变。

3. 字形感知空间焦点损失（GLAS Loss）：潜在焦点加权与像素级 OCR 双重约束 标准流动匹配（Flow Matching）损失在潜在空间对全图所有网格点实施均等惩罚，导致占画面绝大部分比例的复杂背景梯度完全淹没微小的文字区域梯度，且潜在层面的均方误差无法为字符拓扑结构提供归纳偏置。GLAS 损失构建了潜在与像素双空间的协同优化范式：在潜在空间引入掩码派生的归一化空间焦点权重图 $W \in [0, 1]$，强制速度场预测误差聚焦于文本轨迹；在像素空间，模型将低噪声时步（$t < 0.3$）下预测的无噪潜码恢复并经 VAE 解码为视频帧，利用预训练 OCR 模型在裁剪的文字 patch 上分别施加笔画级特征匹配损失与字符级 CTC 识别损失： $$\mathcal{L}_{\text{GLAS}} = \gamma \mathcal{L}_{\text{SF}} + \lambda \mathcal{L}_{\text{OCR}} = \gamma \left\| \mathbf{W} \odot \left(v_\theta(\cdot) - (\mathbf{z}_1 - \mathbf{z}_0)\right) \right\|_2^2 + \lambda \left( \sum_{l=1}^L \frac{1}{H_l W_l C_l} \left\| \mathbf{F}_{\text{pred}}^{(l)} - \mathbf{F}_{\text{gt}}^{(l)} \right\|_2^2 + \mathrm{CTC}\left(\mathcal{O}_{\text{logits}}(\tilde{\mathbf{P}}_{\text{pred}}), y\right) \right)$$ 其中 $\gamma=3.0, \lambda=0.1$。通过限制 OCR 监督仅在清晰度较高的 $t<0.3$ 区间计算，有效规避了扩散初期模糊伪影产生梯度混乱的问题。

4. 渐进式三阶段课程学习策略：从静态文字对齐平滑过渡到时空动态生成 针对视频基础模型缺乏文字渲染先验且直接在复杂视频上联合学习字形、风格与运动极度困难的缺陷，论文构建了涵盖 100 万三元组的 SteerVTE-1M 数据集（包含 50 万易级合成图像 SynthTE-Easy、30 万复杂真实图像 RealTE 与 20 万困难合成视频 SynthTE-Hard），并设计了严格递进的三阶段训练管线： - 阶段一（特征对齐）：冻结 VLM、OCR 与 DiT 骨干，仅在 SynthTE-Easy 上训练风格与字形连接层的线性映射权重，建立视觉风格与中性字形潜码的初步时空投影； - 阶段二（野外图像微调）：激活适配器内部的 LoRA 模块（rank 64），在涵盖复杂真实字体排版的 RealTE 上进行联合微调，使模型习得真实场景中多变的字体色彩、发光与几何形变； - 阶段三（时空视频微调）：在 SynthTE-Hard 视频数据集上开启 49 帧视频训练，并全面引入 GLAS 损失函数，利用时空注意力和流匹配目标抑制帧间闪烁，固化运动连续性与笔画稳定性。

损失函数 / 训练策略¶

总体微调优化目标由条件流动匹配损失 $\mathcal{L}_{\text{CFM}}$ 与字形感知空间焦点损失 $\mathcal{L}_{\text{GLAS}}$ 共同构成： $$\mathcal{L} = \mathcal{L}_{\text{CFM}} + \mathcal{L}_{\text{GLAS}}$$ 训练在 16 张 NVIDIA H100 GPU 上展开，优化器为 AdamW，基础学习率设为 $1 \times 10^{-5}$，batch size 设为 1。第一阶段输入分辨率为 $832 \times 480$ 训练 40k 步；第二阶段输入分辨率为 $512 \times 512$ 训练 20k 步；第三阶段输入 49 帧分辨率为 $832 \times 480$ 的视频片段训练 23k 步。字符级字形输入固定为 $80 \times 80$ 灰度图，行级排版图与原图保持同分辨率。推理阶段采用统一的 20 步欧拉流动匹配采样。

实验关键数据¶

主实验¶

评估基于论文构建的 VTE-Bench 基准，涵盖包含标准真值的合成集 VTE-Bench-Synth（100 个视频，50 easy + 50 hard）与无真值的真实世界集 VTE-Bench-Real（100 个视频）。评估采用独立的 PP-OCRv4 测量文本精度指标，并结合 SSIM、PSNR、FID、FVD 与风格相似度（Style-Sim）评估视频质量与背景保真度。

表 1：VTE-Bench-Synth 合成数据集定量对比实验

方法	Precision ↑	Recall ↑	F-Score ↑	NED ↑	句子准确率 ↑	Style-Sim ↑	FVD ↓	SSIM_bg ↑	PSNR_bg ↑
FLUX-Text (逐帧编辑)	0.5601	0.5303	0.5447	0.2790	-	0.4273	314.9	0.9589	36.14
VACE (通用视频编辑)	0.6168	0.6082	0.6124	0.1533	-	0.4827	14.80	0.9579	35.79
VideoPainter	0.1653	0.1111	0.1328	0.0367	-	0.2446	62.24	0.3070	8.031
VIVA	0.3446	0.2933	0.3168	0.1126	-	0.3570	30.88	0.9007	28.04
UniVideo	0.5480	0.5496	0.5487	0.1523	-	0.4476	15.54	0.6446	21.19
Kiwi-Edit	0.5417	0.4839	0.5111	0.1280	-	0.4268	18.81	0.7265	21.85
Seedance 2.0 (商业闭源)	0.9416	0.9144	0.9278	0.8628	0.3300	0.3442	54.71	0.7015	22.30
SteerVTE (本文)	0.9908	0.9825	0.9866	0.9624	0.6100	0.5936	14.55	0.9606	37.09

表 2：VTE-Bench-Real 真实世界数据集定量与用户调研对比

方法	Precision ↑	Recall ↑	F-Score ↑	NED ↑	句子准确率 ↑	SSIM_bg ↑	PSNR_bg ↑	Quality Rate (用户偏好) ↑
FLUX-Text	0.6221	0.6058	0.6138	0.3808	-	0.9609	33.40	-
VACE	0.4224	0.4185	0.4204	0.1082	-	0.9626	34.33	-
VideoPainter	0.0667	0.0385	0.0488	0.0113	-	0.3044	7.965	-
VIVA	0.4030	0.3704	0.3860	0.1680	-	0.8688	22.26	-
UniVideo	0.3783	0.3910	0.3845	0.1197	-	0.7399	20.66	-
Kiwi-Edit	0.3892	0.3651	0.3767	0.0978	-	0.7277	20.24	-
Seedance 2.0	0.7577	0.7400	0.7487	0.6106	0.3200	0.7779	22.37	0.2300
SteerVTE (本文)	0.9785	0.9769	0.9776	0.9579	0.7700	0.9648	35.55	0.7100

消融实验¶

论文在 SynthTE-Hard 训练并测试于 VTE-Bench-Synth，深入验证了架构组件、训练数据配比与优化损失的有效性。

表 3：模型架构与字形/风格模块消融对比

实验组别	结构配置	句子准确率 ↑	NED ↑	Style-Sim ↑	FVD ↓	SSIM_bg ↑
输入模式	V2V 基线	0.1300	0.7541	0.4847	20.56	0.9537
输入模式	MV2V (引入时空掩码)	0.2400	0.8557	0.5029	18.98	0.9617
字形先验注入	MV2V + Line-Level (仅行级布局)	0.3900	0.9380	0.5041	17.28	0.9620
字形先验注入	MV2V + Char-Level (仅字符级笔画)	0.2700	0.8704	0.5050	18.62	0.9582
字形先验注入	MV2V + Dual-Level (双粒度联合)	0.5000	0.9561	0.5163	17.64	0.9586
风格编码器选择	Dual-Glyph + ViT (Qwen2.5-VL 视觉骨干)	0.4000	0.9111	0.4387	20.85	0.9618
风格编码器选择	Dual-Glyph + VLEmbedding	0.5100	0.9523	0.5256	16.31	0.9622
风格编码器选择	Dual-Glyph + VLM (完整多模态表征)	0.5300	0.9466	0.5417	16.90	0.9625

表 4：训练阶段数据策略与优化目标消融对比

实验类型	设置选项	句子准确率 ↑	NED ↑	Style-Sim ↑	FVD ↓
训练数据策略	纯视频数据训练 (Video-Only)	0.3700	0.7563	0.5363	17.88
训练数据策略	图像视频混合一步训练 (Hybrid Data)	0.5300	0.9530	0.5324	15.49
训练数据策略	三阶段课程学习 (Curriculum Learning)	0.6100	0.9624	0.5936	14.55
阶段三损失函数	纯流匹配损失 (无 OCR，无 SF)	0.5100	0.9474	0.5268	16.44
阶段三损失函数	引入 Glyph-Aware OCR Loss (无 SF)	0.6500	0.9751	0.4794	18.03
阶段三损失函数	引入 Spatial-Focal Loss (无 OCR)	0.5600	0.9613	0.5691	13.99
阶段三损失函数	完整 GLAS Loss (OCR + SF 联合优化)	0.6100	0.9624	0.5936	14.55

关键发现¶

双粒度字形先验的不可替代性：单靠行级布局潜码虽然能确定文字位置，但缺少笔画拓扑指引时句子准确率仅为 39%；单独引入字符级 OCR 嵌入因缺乏空间对齐信息仅能达到 27% 准确率；两者结合产生协同效应，直接跃升至 50%，证明排版与笔画必须分工建模。
原生分辨率 VLM 解决字体几何形变：采用固定尺寸裁切的 ViT 作为风格编码器导致 Style-Sim 下滑至 0.4387，而具备动态宽高比标记化的 VLM 能捕获长条形文字的原生几何，使风格相似度显著提升至 0.5417 以上。
空间焦点与 OCR 损失的最佳权衡：单独加入 OCR 损失虽然使得句子准确率冲至 65%，但由于 OCR 模型对黑白印刷体有先验偏置，导致 Style-Sim 大幅恶化至 0.4794；单独加入 Spatial-Focal 损失则主要提升区域生成质量与连贯性（FVD 13.99）。GLAS 损失通过超参平衡，达成了 61% 句子准确率与 0.5936 Style-Sim 的全局最优平衡。

亮点与洞察¶

原生分辨率 VLM 替代方图 CLIP 提取文字排版风格：洞察到常规视觉模型在正方形变形缩放时会彻底粉碎文字宽高比与笔画粗细几何，借用 Qwen2.5-VL 的任意宽高比原生动态 patch 分词能力，以非入侵式方式精准锁定了复杂艺术字体的纹理材质与光影风格。
解耦的单字黑白中性字形注入机制：在注入结构先验时严格采用统一黑白无衬线中性字体，让字形编码器只纯粹传递“文字是什么、笔画如何拓扑连接”，将“字体长什么样”的自由度完全留给风格交叉注意力，彻底阻断了字形引导中的字体风格泄露。
低噪声区间选择性施加像素级 OCR 梯度：巧妙发现扩散模型早期生成的潜码解码后充满高频高斯噪声，若在此阶段调用外部 OCR 网络会产生完全失真的随机梯度并打乱训练；限定在 $t < 0.3$ 的低噪声区间注入反向传播，既保障了监督的有效性，又大幅节省了 VAE 解码与反传的计算开销。

局限与展望¶

单行与英文语种局限：模型目前主要针对英文单行字幕与标牌文本优化，尚未支持多行复杂换行排版、段落环绕渲染以及字符集极其庞大的多语言（如中文方块字系统）编辑场景。
动态变形与剧烈形变跟踪：对于非刚体形变文字（如旗帜飘动、衣物褶皱变形）或伴随镜头快速推拉平移的极端视角扭曲，依赖源视频单帧裁剪提取的风格表征可能无法完全自适应时空演化。
强化学习对绝对精度的闭环提升：尽管 NED 达到 96% 以上，但在工业级字幕校对场景中单个字符拼写错误是致命的，未来结合类似 GRPO 的基于 OCR 奖励强化学习对齐是消除剩余拼写幻觉的突破口。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首个端到端解决视频文本编辑任务的专用框架，双粒度字形与原生 VLM 风格解耦设计严谨精妙)
实验充分度: ⭐⭐⭐⭐⭐ (构建首个百万级数据集 SteerVTE-1M 与首个标准评测基准 VTE-Bench，消融覆盖架构、数据与损失函数各个维度)
写作质量: ⭐⭐⭐⭐⭐ (数学推导严密清晰，动机剖析深刻透彻，图表规整专业)
价值: ⭐⭐⭐⭐⭐ (填补了学术界视频文字精细编辑的空白，对影视字幕多语言本地化和视频广告替换具有极高的工程落地价值)