Token-to-Token Alignment of Text Embeddings for Semantic Blending¶

会议: NeurIPS 2026
arXiv: 2606.24021
OpenReview: https://openreview.net/forum?id=XBnPswY31B
领域: 图像生成
关键词: 文本嵌入对齐, 语义混合, 连续图像编辑, 扩散模型, Token对齐

一句话总结¶

本文提出 Token-to-Token (T2T) 对齐框架，通过两阶段（概念级结构化重塑与嵌入级软匹配投影）在文本编码器空间建立跨提示词的显式语义对应，使得简单线性插值即可在扩散模型中实现平滑连贯的概念过渡、连续编辑与图像混合。

研究背景与动机¶

在现代文本引导的生成模型（如基于 Transformer 的扩散模型与 Flow Matching 模型）中，图像的内容和属性均由输入提示词分解得到的 Token 嵌入序列所决定。然而，在现有文本编码器的表征空间中，Token 序列严重缺乏一致且可直接访问的几何连续结构。描述相似视觉场景的两个提示词，往往在遣词造句、词序排布和概念位置上存在巨大差异；反之，仅有微小词法差异的序列也可能对应完全相异的全局语义。这一表征割裂使得在文本嵌入空间中进行最基础的线性插值操作时，极易产生语义崩塌、属性纠缠以及突兀跳变等伪影，严重制约了图像连续编辑、渐进概念融合与跨模态平滑控制等应用。

以往尝试解决连续控制的研究多聚焦于修改生成模型本身，例如针对特定编辑任务训练连续标量适配器（如 Kontinuous Kontext）、学习 LoRA 概念滑动条（如 SliderEdit / Concept Sliders），或是在注意力图与噪声潜空间中强行进行启发式引导。然而，这些方法要么高度依赖任务特定的有监督微调，要么假设输入与输出具有强空间重合度，无法泛化到具有显著空间构图与几何视点差异的任意图像混合任务。当直接在潜空间或像素空间插值时（如 DiffMorpher、FreeMorph），由于缺乏显式的语义对应关系，极易出现“重影”（ghosting）、结构撕裂与肢体断裂等严重伪影。

本文指出，文本嵌入空间之所以难以平滑插值，根源并非在于该空间本身缺失连续语义结构，而在于不同提示词之间的表征严重“失配”（misalignment）。预训练文本编码器内部实际上已经蕴含着极其丰富且连续的语义流形，只是在常规自然语言表述下，对应概念被分散在不同索引位置且受到不同上下文的缠绕。本文的核心 idea 是：将语义连续控制重新定义为表征对齐问题，通过建立跨提示词的显式 Token 级语义对应将其在局部流形上线形化，让生成模型仅作为被动渲染器，即可通过简单的线性插值生成自然连贯的过渡轨迹。

方法详解¶

整体框架¶

Token-to-Token (T2T) 框架的目标是：给定一对自然语言提示词 \(p^A\) 与 \(p^B\)，输出一对具有严格显式语义对应且长度一致的 Token 嵌入序列 \(E^A, E^B\)，使得在两端点间进行简单的凸组合插值 \(E^\alpha = (1-\alpha)E^A + \alpha E^B\) 时，每个插值步 \(\alpha \in [0, 1]\) 都能对应真实有效的中间语义。整个方法由“概念级结构化对齐”与“嵌入级软对齐与投影”两阶段串联构成，并在涉及图像混合任务时引入自适应注意力调制机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入提示词对 / 图像描述 (pA, pB)"] --> S1["概念级结构化对齐<br/>统一 JSON Schema 与局部词汇替换"]
    S1 --> Enc["文本编码器提取<br/>上下文 Token 嵌入 (VA, VB)"]
    Enc --> S2["嵌入级软对齐与投影<br/>场掩码、局部偏置与软对应矩阵 A 投影"]
    S2 --> Interp["对齐嵌入线性插值<br/>Eα = (1-α)EA + αEB"]
    Interp --> S3["自适应注意力调制机制<br/>二次幂衰减平衡参考图像与语义轨迹"]
    S3 --> Out["扩散模型渲染输出<br/>平滑连贯的视觉过渡序列"]

关键设计¶

1. 概念级结构化对齐：通过统一 Schema 消除语言多样性与词序漂移

自然语言具有极高的表达多样性，即使描述相同概念也可能使用倒装句、被动语态或不同的修饰结构。如果直接在原始自然语言 Token 上对齐，全局语序错乱会导致嵌入匹配陷入局部最优。为了在分词前消除这种句法和位置偏差，本文引入大语言模型（LLM，如 Gemini 2.5）对输入的两个提示词 \(p^A, p^B\) 进行联合结构化重塑，生成符合严格规范的结构化场景描述 \(J^A, J^B\)。

具体而言，模型强制采用固定键顺序的结构化 JSON Schema，将场景系统解构为若干语义场（semantic fields，例如主体对象、修饰属性、光照环境、背景及交互动作）。在重塑过程中，LLM 执行双向对齐：未发生改变的背景与属性字段被严格强制复制以保持完全一致的文本表述；而发生语义迁移的核心概念（例如“骑士”对比“牛仔”、“马”对比“公牛”）则被限制在相同的语义字段内，以平行的句法骨架进行最小词汇替换。这种设计将宏观句法差异收敛到了字段内部的局部替换，为下游编码器层面的 Token 匹配奠定了坚实的粗粒度语义对应基础。

2. 嵌入级软对齐与投影：语义场掩码与局部偏置约束下的跨长度对齐

尽管结构化描述在文本层面规范了语序，但文本编码器在对不同词汇进行分词（BPE/WordPiece）时，不同词汇对应的子词切分数量往往不同（如 "knight" 与 "cowboy" 的 token 个数及边界不一致），导致序列长度出现偏差。设文本编码器输出的中间上下文 Token 嵌入分别为 \(V^A = \{v^A_i\}_{i=1}^n\) 和 \(V^B = \{v^B_j\}_{j=1}^m\)。由于 Transformer 编码器的输出具有高度的上下文聚合性，同一语义场内的 Token 具有相容的表征角色，本文通过计算余弦相似度构建匹配矩阵：

\[S_{ij} = \frac{\langle v^A_i, v^B_j \rangle}{\|v^A_i\| \|v^B_j\|}\]

为了防止跨语义场的错误匹配（例如主体颜色误匹配到背景颜色），算法利用概念级划分的语义场边界生成布尔掩码，严格将相似度匹配限定在相同字段内部。同时，为强化局部时序单调性，引入基于相对位置的高斯局部偏置 \(pos(i, j)\) 与温度参数 \(\tau = 0.05\) 对相似度矩阵进行缩放：

\[\tilde{S}_{ij} = \frac{S_{ij}}{\tau} + \lambda \cdot pos(i, j)\]

随后，沿 \(V^A\) 维度应用 Softmax 归一化，得到软对齐矩阵 \(A \in \mathbb{R}^{n \times m}\)，其中 \(A_{ij} = \frac{\exp(\tilde{S}_{ij})}{\sum_{i'=1}^n \exp(\tilde{S}_{i'j})}\)。最后，将源序列 \(V^A\) 的语义内容投影到目标序列 \(V^B\) 的结构骨架上，得到对齐后的嵌入 \(E^A = A^\top V^A \in \mathbb{R}^{m \times d}\)，而 \(E^B = V^B \in \mathbb{R}^{m \times d}\)。经过此变换，两个序列不仅具有完全相同的长度 \(m\)，而且对应索引处的 Token 嵌入严格表征相匹配的语义概念，使得后续逐 Token 的线性插值 \(E^\alpha = (1-\alpha)E^A + \alpha E^B\) 在数学上成为合法且语义连续的运算。

3. 自适应注意力调制机制：在图像保真度与语义引导间动态平衡

在涉及两张输入图像的连续混合（Continuous Blending）任务中，生成模型需要同时以两张真实图像 \(I^A, I^B\) 以及插值文本嵌入 \(E^\alpha\) 作为条件输入。两张图像的视觉 Token 通过拼接并附带区分性的时间位置编码输入 Diffusion Transformer。然而，如果直接在整个扩散去噪过程中以固定权重注入图像特征，强烈的低级外观先验（如纹理、颜色分布）会迅速主导注意力层，导致模型退化为纯外观级的重影拼接，而忽略文本嵌入所规划的渐进语义轨迹。

为此，本文设计了随插值系数 \(\alpha\) 动态演进的二次幂注意力调制策略。具体而言，在 DiT 的交叉注意力与自注意力交互层中，图像 \(I^A\) 和 \(I^B\) 的条件权重分别按 \((1-\alpha)^2\) 与 \(\alpha^2\) 进行加权缩放。在轨迹两端（\(\alpha \to 0\) 或 \(\alpha \to 1\)），高权重确保生成结果与目标端点图像保持极高的高保真度与重构精度；而在轨迹中间区域（\(\alpha \approx 0.5\)），两张图像的外观先验被大幅衰减，生成过程主要由对齐的中间文本嵌入 \(E^\alpha\) 主导。这迫使模型在语义流形上生成构图合理、物理可信的全新中间物态，彻底杜绝了机械像素混合带来的双重边缘和伪影。

一个完整示例¶

以图像混合任务中的“森林中站立持剑的武士”向“网球场上奔跑击球的运动员”过渡为例： 1. 结构化生成：Gemini 2.5 接收两张图像的 Caption 后，输出固定字段的两个 JSON。主体字段分别规范为 {"subject": "a samurai standing and holding a sword"} 与 {"subject": "a tennis player running and hitting a ball with a racket"}，场景字段与光照字段结构完全镜像。 2. 嵌入对齐：编码器输出不同长度的向量序列（假设 \(n=28, m=34\)）。通过场内余弦相似度与高斯位置偏置加权，计算出 \(28 \times 34\) 的对齐矩阵 \(A\)。“samurai”相关 Token 的权重主要投射到“tennis player”对应的索引列，“sword”对应到“racket”。通过 \(E^A = A^\top V^A\)，源序列被重组为 34 个与 \(V^B\) 严格同构的语义向量。 3. 连续渲染：当取 \(\alpha=0.5\) 时，\(E^{0.5}\) 编码的语义自然演化为手持类似长柄运动球拍、姿态介于站立与奔跑之间的中间角色；同时二次方衰减使图像注意力下降至 \(0.25\)，扩散模型成功生成具有连贯身体结构的过渡图像，而非简单将武士盔甲与网球服叠印。

实验关键数据¶

主实验¶

评估在连续图像混合（Continuous Blending）与连续图像编辑（Continuous Editing）两个任务上展开。混合任务使用包含 76 对图像的 Morph4Data（空间局部对齐）以及本文提出的包含 100 对复杂构图与非对齐交互的 BlendBench 数据集（9 个插值步）。评价指标包括衡量轨迹均匀平滑度的感知路径长度（PPL \(\downarrow\)）、图像保真质量评分（MUSIQ \(\uparrow\)）以及生成中间帧相对真实端点分布的 FID \(\downarrow\)。

编辑任务在包含 540 对图像-指令样本的 PIE-Bench 子集（6 个编辑强度）上评测，评价指标包括局部二阶平滑度（\(\delta_{\text{smooth}} \downarrow\)）、CLIP 空间均匀演进连续性（Continuity \(\uparrow\)）以及相对目标编辑文本的方向一致性（Norm CLIP-Dir \(\uparrow\)）。

表 1：连续图像混合任务主结果对比

方法	Morph4Data PPL \(\downarrow\)	Morph4Data MUSIQ \(\uparrow\)	Morph4Data FID \(\downarrow\)	BlendBench PPL \(\downarrow\)	BlendBench MUSIQ \(\uparrow\)	BlendBench FID \(\downarrow\)
DiffMorpher	12.40	62.27	113.68	21.54	65.95	146.80
FreeMorph	27.34	67.51	105.85	63.06	71.17	129.53
Vibe Space	61.96	71.04	101.76	252.47	71.53	139.60
\(\text{T2T}_{\text{Flux2-klein}}\) (Ours)	45.38	74.61	105.97	147.63	73.27	85.06
\(\text{T2T}_{\text{FIBO-edit}}\) (Ours)	53.49	73.06	85.71	164.71	73.08	103.64

表 2：连续图像编辑任务主结果对比 (PIE-Bench)

方法	\(\delta_{\text{smooth}} \downarrow\)	Continuity \(\uparrow\)	Norm CLIP-Dir \(\uparrow\)
Kontinuous Kontext	0.246	1.33	0.259
SliderEdit	0.395	1.08	0.353
GRAG	0.515	0.97	0.343
\(\text{T2T}_{\text{Flux2-klein}}\) (Ours)	0.562	1.20	0.355
\(\text{T2T}_{\text{FIBO-edit}}\) (Ours)	0.530	1.46	0.393

消融实验¶

消融实验在 PIE-Bench 编辑基准上验证结构化对齐与嵌入级对齐各模块的必要性： - Direct：直接对未经重塑的原始自然语言提示词嵌入进行线性插值； - Text align：仅使用 LLM 进行概念级结构化重塑，但在分词后直接按索引截断/填充对齐； - Embedding align：仅在原始自然语言 Token 嵌入上计算余弦匹配，不施加全局 Schema 场约束与位置偏置； - Full method：完整两阶段 T2T 对齐框架。

表 3：各对齐阶段在 PIE-Bench 上的定量消融分析

配置	\(\delta_{\text{smooth}} \downarrow\)	Continuity \(\uparrow\)	Norm CLIP-Dir \(\uparrow\)	说明
Direct (直接插值)	1.157	1.232	0.189	严重突变，语义方向对齐最差
Text align (仅文本结构化)	0.713	1.294	0.198	提升了时序平滑度，但缺乏细粒度 Token 对应
Embedding align (仅嵌入对齐)	0.749	1.207	0.051	跨场误匹配导致语义漂移与失控，CLIP 方向崩塌
Full method (完整两阶段 T2T)	0.530	1.461	0.393	两者互补，平滑度最佳且语义方向准确性提升超 100%

关键发现¶

语义真实性与外观平滑性的权衡：基于形变的方法（如 DiffMorpher 和 FreeMorph）取得了极低的 PPL 数值，但这在很大程度上是因为它们仅在像素或浅层特征上做了渐变过渡，产生的是具有严重重影的双重曝光画面；而 T2T 在具有复杂姿态和语义变动的 BlendBench 上取得了断层式领先的 FID（85.06 vs 146.80），且 MUSIQ 视觉质量达到 73.27，证明生成的中间帧是符合客观世界分布的真实独立场景。
两阶段对齐的强互补性：如表 3 所示，单用 Embedding 对齐时，Norm CLIP-Dir 断崖式下跌至 0.051，原因在于没有结构化 Schema 约束，文本编码器中的相似 Token 经常发生跨角色错位匹配（如主体属性投射到背景）；单用 Text 对齐则因分词长度不同无法实现一一对应。唯有两阶段结合，方能实现语义方向（0.393）与连续性（1.461）的全面突破。
用户偏好显著领先：20 名受试者共 140 组双盲评估显示，T2T 在图像混合的视觉质量和整体偏好胜率上对基线形成压倒性优势，在连续编辑任务的指令忠实度与平滑度上也取得了绝大多数胜率。

亮点与洞察¶

将控制问题从“操纵模型”转变为“组织表征”：本文展示了生成模型在连续控制中可以充当纯粹的“被动渲染器”。过去耗费巨资对扩散模型进行特定连续编辑微调的方法可能本末倒置，文本编码器本身的流形已经足够平滑，关键是如何理顺输入坐标。
结构化 Schema 与嵌入相似度的跨层解耦：利用 LLM 规范宏观拓扑，再利用局部连续空间微调微观几何，优雅地解决了自然语言离散性与神经网络表征连续性之间的张力。
二次幂动态注意力调制：简单而极其有效的非线性权重调度，巧妙破解了两端图像高保真重构与中间态避免重影之间的经典死结，可直接推广至视频生成首末帧插值与跨模态驱动任务。

局限与展望¶

依赖前置 LLM 的重塑质量：若结构化阶段大模型对复杂图像细节出现幻觉、漏拆关键修饰语或 Schema 字段分配错误，后续的 Token 投影将受到错误拓扑的直接误导。
线性插值假设的几何局限：嵌入空间虽然被局部对齐线性化，但对于高曲率、强非线性的复杂物理拓扑变换（如剧烈的物体形变与旋转），单纯的直线插值仍可能穿过低概率密度区域。
未来展望：可进一步将对齐轨迹从直线推广到基于测地线或流形传输的非线性最优路径；此外，该框架极具潜力扩展到长视频连续生成与物理演进控制中，通过对齐时间语义轴构建无跳变的动态视频流。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [颠覆了修改扩散模型的传统思路，首次证明对齐文本嵌入即可完全解锁连续语义控制]
实验充分度: ⭐⭐⭐⭐⭐ [提出新基准 BlendBench，横跨混合与编辑双任务，指标全面且消融深入]
写作质量: ⭐⭐⭐⭐⭐ [动机阐述深刻，方法各阶段推导严密，图文对照自洽]
价值: ⭐⭐⭐⭐⭐ [为多模态连续生成与可控编辑提供了通用、即插即用的新范式]