Controlling Embedding Spaces with Text-Conditioned Transformations¶

会议: ECCV 2026
论文: ECCV 官方海报
项目主页: https://joefioresi718.github.io/ControlEmbed_webpage/
领域: 多模态 VLM
关键词: Vision-Language Models, 嵌入空间控制, 属性解耦, 属性感知检索, 多属性聚类

一句话总结¶

通过轻量三层 MLP 超网络根据自然语言属性描述动态生成全局仿射变换参数，无需重新编码底层图库或微调骨干网络，即可以极低推理开销实现冻结图库的属性感知检索与全局多属性聚类。

研究背景与动机¶

CLIP 与 SigLIP 等大规模视觉语言模型通过海量图文对学习到统一的多模态高维嵌入空间，极大地推动了跨模态零样本分类、图文检索及语义相似度度量。然而，这类模型将多样复杂的视觉概念压缩至单一稠密向量中，往往会无意识地突出主体物体等主导语义，而将视角、色调、艺术风格、光照等细粒度属性隐式压制并紧密纠缠在主导语义之中。当用户使用单张参考图像发起相似度检索时，既无法预测、也无法控制系统依据主体类别还是拍摄角度来召回目标，难以满足按特定属性进行差异化检索和分析的需求。

现有针对属性解耦与受控表征的研究主要沿两条路线展开，但各有严重缺陷。其一是对视觉编码器进行显式微调或引入多组针对特定属性的适配器模块，这种做法不仅训练开销巨大，而且每增加一个属性就需要维护一套参数并全量重新编码图库，导致存储与计算复杂度线性膨胀，同时容易破坏基座模型的通用表征能力；其二是在推理阶段串联大语言模型与多模态大模型进行密集的图像标注与多轮启发式聚类，虽无需训练，但面临极高的推理延迟与高昂的 API 调用成本，完全无法应用于大规模近实时检索系统。

面对这一矛盾，本文没有选择修改底层特征提取器或堆叠多模态智能体，而是直接在冻结的潜空间内部寻求几何解耦机制。核心 idea：训练一个以属性类别文本嵌入为条件的轻量超网络，动态预测空间仿射变换矩阵与偏置，在保持图库底座特征完全冻结不变的前提下，通过仅变换查询向量或全局特征，赋予统一潜空间灵活受控的属性投影能力。

方法详解¶

整体框架¶

本文方法核心在于将自然语言属性规格映射为潜空间的操作算子。系统保持预训练视觉编码器与文本编码器完全冻结，输入待控制的属性类别文本（例如“color”、“camera angle”），由轻量超网络预测对应的仿射变换矩阵 $W$ 与偏置项 $b$。该仿射变换支持两种互补的推理模式：在属性感知检索中，仅将仿射变换作用于查询图像嵌入，而规模庞大的图库底座特征保持原样离线存储；在无监督多聚类中，将仿射变换施加于整个图像数据集的所有嵌入上，诱导出一个按目标属性组织的新相似度度量空间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入属性文本描述<br/>例如 color / camera angle"] --> B["文本编码器 ft<br/>冻结 CLIP/SigLIP 文本端"]
    B --> C["超网络生成仿射变换参数<br/>预测矩阵 W 与偏置 b"]
    C --> D{"推理模式分支"}
    D -->|检索模式| E["查询变换与内积打分<br/>仅变换查询，图库保持冻结"]
    D -->|聚类模式| F["全局潜空间重塑<br/>全量嵌入投影与属性聚类"]

关键设计¶

1. 超网络生成仿射变换参数：单网络统一建模多属性 为了避免为每个属性维护独立适配器或重新编码整个图库，本文构建了一个三层 MLP 超网络 $H_\phi$。以属性类别名称对应的归一化文本嵌入 $t = f_t(T) \in \mathbb{R}^D$ 为输入，超网络直接生成仿射变换的核心参数： $$W, b = H_\phi(t)$$ 其中 $W \in \mathbb{R}^{D \times D}$ 为变换矩阵，$b \in \mathbb{R}^D$ 为偏置向量。任意图像嵌入 $v = f_v(I)$ 通过下式被映射至属性加权空间： $$v' = W^\top v + b$$ 相比于仅调整坐标原点的平移偏置向量，仿射变换具备旋转与缩放特定子空间的能力，能够有效拉伸目标属性对应的特征轴，同时压制与该属性无关的主导语义成分。通过单个超网络联合训练覆盖所有属性类别，模型参数量保持恒定，不仅避免了存储随属性类别线性增长，还具备在不同属性间共享表征几何结构的能力。

2. 多正例对比学习目标：对齐冻结底座空间的同类属性 为了确保变换后的查询特征能直接在未经重新编码的原始图库中完成精准检索，超网络采用多正例对比损失（基于 StableRep 构建）进行优化。在训练阶段，批次中随机采样一个属性类别，并在该分类维度下为每张图像分配子类标签。若批次内样本 $i$ 与样本 $j$ 共享同一属性子类标签，则指示函数 $\mathbb{1}_{i,j} = 1$。损失函数驱动变换后的向量 $v'_i$ 与原始冻结空间中同属该子类的所有样本 $v_j$ 相互拉近，同时推开不同子类的样本： $$\mathcal{L}_{\text{SR}} = - \frac{1}{N} \sum_{i=1}^N \frac{1}{\sum_{k=1}^N \mathbb{1}_{i,k}} \sum_{j=1}^N \mathbb{1}_{i,j} \log \frac{\exp(v_i'^\top v_j / \tau)}{\sum_{k=1}^N \exp(v_i'^\top v_k / \tau)}$$ 在打分时，查询向量与图库样本的内积展开为 $\langle W^\top v_i + b, v_j \rangle = v_i^\top W v_j + b^\top v_j$。这表明仿射变换在打分阶段实际上等价于对原始空间度量诱导了一个受控的双线性形式，因此海量图库特征只需提取并存储一次，检索过程无需全量重算。

3. 对称多模态属性对齐：跨模态语义锚定与泛化 为了进一步增强变换后视觉表征的语义解释性，并利用视觉语言预训练模型本身的跨模态对齐结构，本文引入了双向对称多模态指导损失。针对每个属性子类 $c$，将多个描述性提示模板（如 "a photo of {c}"、"an image in the {c} style"）的文本嵌入取平均得到原型文本向量 $\bar{t}_i$。图像至文本的对比损失定义为： $$\mathcal{L}_{\text{i2t}} = - \frac{1}{N} \sum_{i=1}^N \log \frac{\exp(v_i'^\top \bar{t}_i / \tau)}{\sum_{j=1}^N \exp(v_i'^\top \bar{t}_j / \tau)}$$ 与对称的文本至图像损失 $\mathcal{L}_{\text{t2i}}$ 结合后，构成联合多模态指导项。总体优化目标为两项损失的加权和： $$\mathcal{L} = \mathcal{L}_{\text{SR}} + \omega (\mathcal{L}_{\text{i2t}} + \mathcal{L}_{\text{t2i}})$$ 其中平衡系数 $\omega$ 设为 0.1。多模态指导不仅提升了分类与检索的泛化能力，更赋予了模型即便在没有显式微调文本端的情况下，利用文本语义先验迁移到未见属性子类的泛化潜力。

4. 组合式检索支持：免重训的线性特征融合 当用户需要同时依据多个属性维度进行复合检索时（例如同时指定“动作”与“拍摄场景”），本文框架无需联合重新训练。对于两个属性变换 $(W_a, b_a)$ 与 $(W_b, b_b)$，系统直接对变换后的查询向量进行凸组合插值： $$q_{\text{blend}} = \alpha (W_a^\top q + b_a) + (1 - \alpha) (W_b^\top q + b_b)$$ 当超参数 $\alpha = 0.5$ 时，混合查询向量能够同时在两个属性轴向保持高判别力，显著提升复合正例的召回率，验证了仿射变换在潜空间中具有优良的正交正规化与线性叠加特性。

实验关键数据¶

主实验¶

在属性感知检索与无监督多聚类两个核心任务上，论文在合成几何基准 Clevr-4、动作场景基准 Stanford 40 Actions 以及摄影专业属性基准 ShotBench 上进行了系统评测。

在表 1 的冻结图库属性感知检索任务中，评估指标为跨各属性分类轴平均的 mAP（%）。基线方法包括原始底座特征、无参数投影基线（LCR、CWP）、多正例微调适配器、参数高效微调方法（MaPLe、LoRA）以及组合检索 SOTA 方法 SEARLE-XL。

方法	多属性单模型容量	Clevr-4 mAP (%)	Stanford 40 mAP (%)	ShotBench mAP (%)
Base Features (CLIP ViT-L/14)	✗	33.8	43.7	25.2
LCR (Linear Concept Reconstruction)	✓	15.9	19.9	18.9
CWP (Concept-Weighted Projection)	✓	43.8	49.8	21.4
ArcFace†	✗	12.3	18.8	17.5
SupCon†	✗	12.7	18.8	17.7
StableRep+†	✗	49.5	21.3	20.9
MaPLe	✗	33.5	47.8	23.7
LoRA	✗	42.9	49.3	22.0
SEARLE-XL	✗	24.6	33.9	20.3
Ours-Query	✓	77.0	86.3	41.0

在表 2 的全局多属性聚类任务中，评估指标为聚类准确率 c.ACC（%）以及基于 5k 张图像评测集的单次推理耗时（秒）。对比方案包括参数微调类方法（Multi-MAP、Multi-Sub）以及多模态大模型级联方法（IC|TC、SSD-LLM、X-Cluster）。

方法	推理耗时 (s)	Clevr-4 c.ACC (%)	Stanford 40 c.ACC (%)	ShotBench c.ACC (%)
Base Features	0.59	48.8	65.2	20.8
LCR	0.62	56.4	64.8	30.2
CWP	0.68	60.3	64.9	32.2
Multi-MAP	750	62.8	62.8	32.6
Multi-Sub	15300	72.2	66.1	32.4
IC	TC	37680	57.9	76.1
SSD-LLM	27600	56.5	74.1	25.0
X-Cluster	104760	64.9	68.3*	-
SEARLE-XL	81	30.7	46.9	24.5
Ours-Space	0.64	73.0	80.0	51.6

消融实验¶

表 3 验证了不同变换算子形式对表征控制力的影响，对比了无变换 Baseline、仅含平移偏置向量（Translation-only）以及完整仿射变换（Affine）。

数据集	变换形式	聚类精度 c.ACC (%)	查询检索 Query mAP (%)	全局检索 Global mAP (%)
Clevr-4	Base	32.2	33.8	–
Clevr-4	Translation-only	32.2	35.4	34.5
Clevr-4	Affine	75.4 (+43.2)	77.6 (+42.2)	85.1 (+50.6)
Stanford 40	Base	46.4	43.6	–
Stanford 40	Translation-only	55.6	43.8	44.5
Stanford 40	Affine	79.4 (+23.8)	84.4 (+40.6)	87.7 (+43.2)

表 8 针对多模态指导损失 $\mathcal{L}_{\text{i2t}} + \mathcal{L}_{\text{t2i}}$ 进行了消融验证，展示其在无监督多聚类、属性感知检索及基于文本的分类任务上的增益。

配置	多聚类 (Clevr4/S40/Shot)	属性检索 (Clevr4/S40/Shot)	文本分类 (Clevr4/S40/Shot)
完整模型 (Ours)	73.0 / 80.0 / 51.6	77.1 / 91.2 / 41.1	88.7 / 83.2 / 51.6
移除多模态指导 (−multimodal)	72.7 / 78.4 / 53.2	76.8 / 87.3 / 40.7	71.7 / 78.5 / 31.3

关键发现¶

仿射变换与纯平移的本质鸿沟：仅学习平移向量对 Clevr-4 的检索提升极其有限（33.8% $\to$ 35.4%），而仿射变换可暴涨至 77.6%。SVD 分析证实，矩阵 $W$ 能够有效压制非相关子空间，将有效稳定秩显著压缩（如 Color 属性从 11.3 降至 5.0），并在主奇异子空间中实现 98.4% 的超高检索 mAP。
极端的数据利用效率：在 Stanford 40 实验中，仅依靠每个类别 6 张图像的标注监督，模型就能达到全量数据训练的饱和性能水平（聚类精度超过 78%）。
卓越的多属性联合可扩展性：单个超网络在同时训练 19 个属性类别、共计 187 个细分子类时，性能波动不超过 1.5%，展现出强大的抗负迁移与无干扰扩展能力。

亮点与洞察¶

解耦操作与冻结图库的优雅兼容：通过将仿射变换内积等价改写为非对称打分，图库侧百万量级向量保持完全静态无需重编码，兼备极致灵活性与工程可行性。
仅靠查询变换涌现出全局潜空间重塑力：模型仅在查询端有监督对比学习下训练，但在推理时直接将变换作用于全部样本，无需额外调整即可直接支撑无监督聚类并刷新 SOTA。
跨域与跨模型通用性极强：在纯几何物体（Clevr-4）上学到的属性变换，能直接零样本迁移到真实复杂的 MS-COCO 图像上；在骨干网络选择上，从 CLIP、SigLIP 到无文本对齐的纯自监督 DINOv2 均能稳定获得巨大增益。

局限与展望¶

属性概念泛化受限于训练词表：超网络在已见属性类别的未见子类（如未见过的某种颜色）上具备不错泛化，但在面对训练集中完全未涵盖的全新属性大类（如“材质硬度”）时，由于缺少几何引导先验，变换矩阵的预测表现会明显退化。
相似细粒度子类的判别瓶颈：在高度重叠的色彩区间（例如蓝色与青色之间）容易产生语义混淆，难以实现彻底的子空间正交化分离。
未来方向：扩大属性分类体系规模，探索在大规模开放词表视觉语言多任务预训练中联合学习统一的超网络控制流，实现真正任意自然语言指令驱动的潜空间几何任意编辑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出重训编码器和串联大模型的固有思路，提出通过超网络预测全局仿射变换直接控制潜空间几何。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖属性检索、多属性聚类、线性组合检索、SVD维度分析、小样本敏感度及多骨干网络消融，证据扎实详尽。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，方法数学推导与架构图清晰自洽，论证逻辑环环相扣。
价值: ⭐⭐⭐⭐⭐ 为大规模向量检索与多模态数据组织提供了一种零额外推理成本、高度模块化且即插即用的工业级解决方案。