Barycentric Guidance: Turning Foundation Image Editors into Continuous Affective Controllers¶

会议: NeurIPS 2026
arXiv: 2610.16892
OpenReview: https://openreview.net/forum?id=Nx9IIc3xpv
代码: https://github.com/harveymannering/BarycentricGuidance
领域: 图像生成
关键词: 连续情感控制, 扩散模型编辑, 重心引导, 效价-唤醒度空间, 零样本控制

一句话总结¶

提出无需训练的重心情感引导（Barycentric Guidance）框架，通过在效价-唤醒度（VA）平面构建离散情感单纯形网格并重构无分类器引导得分，将通用基础图像编辑扩散模型无缝转换为连续的情感定向控制器。

研究背景与动机¶

人类情感在感知与表达上具有连续渐进的本质，经典心理学理论通常采用二维效价-唤醒度（Valence-Arousal, VA）空间对其进行建模，其中效价反映从消极到积极的心境倾向，唤醒度表征从平静到激动的生理激活程度。在视觉内容生成与编辑中，实现连续且平滑的 VA 控制不仅要求图像能够精确追踪目标坐标，还要求保持与情感无关的内容（如人脸身份、背景、光影与发型）严格一致。然而，现有的连续情感编辑方法主要基于 GAN 或针对人脸、特定场景的有监督微调，受限于训练数据集在极值区域的分布稀疏性，往往无法覆盖完整的 VA 平面，且严重缺乏跨数据集与跨领域的泛化能力。

与此同时，以 FLUX.1 Kontext、FLUX.2 和 Qwen Image Edit 为代表的前沿基础图像编辑模型虽具备强大的离散文本编辑与语义保留能力，却并非开箱即用的连续情感控制器。分析表明，新一代文本编码器（如 T5、QwenVL）的潜在空间高度非线性，缺乏 CLIP 编码器中内隐的线性情感子空间结构；若直接在文本嵌入层面进行线性插值，极易引发概念突变、局部色块跳变以及不自然的过渡伪影。

针对上述矛盾，本文提出了一种不依赖任何微调、额外训练数据或模型结构修改的零样本框架。核心 idea：在二维 VA 情感平面构建基于离散情感顶点的单纯形三角网格，通过重心坐标反解目标状态的连续插值权重，并将其直接注入扩散模型的隐空间无分类器引导阶段，配合几何感知隐空间插值，将预训练基础图像编辑器转化为高精度、全覆盖且平滑的连续情感控制器。

方法详解¶

整体框架¶

Barycentric Guidance 的核心理念是将文本编码器的非线性连续插值困境，转化为扩散模型隐空间内基于离散先验的多条件引导合成问题。给定目标 VA 坐标 $(v, a)$ 与待编辑源图像，系统首先检索该坐标在预设 2D 情感三角网格中所属的局部单纯形（三角形）；随后利用重心插值闭式解计算三个邻近离散情感锚点的归一化权重；最后将传统 Classifier-Free Guidance（CFG）重构为带重心加权的多提示词引导步，并辅以径向情感强度自适应缩放机制与几何感知潜在插值模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源图像 + 目标坐标 (v, a)"] --> B["单纯形网格定位与重心权重计算"]
    B --> C["重心无分类器引导预测"]
    C --> D["径向情感强度自适应缩放"]
    D --> E["几何感知隐空间精炼"]
    E --> F["输出：连续情感编辑图像"]

关键设计¶

1. 单纯形网格定位与重心权重计算：将连续坐标投影为离散先验组合 为了规避现代大语言模型和多模态文本编码器在连续情感插值上的非线性失真，本文在二维 VA 平面上构建了一个以离散基础情感词为顶点的三角网格。网格顶点取自标准情感数据集（如 AffectNet）中各典型情绪的均值坐标，并补充如平静（serene）、困倦（sleepy）等关键状态以铺满四个象限。对于任意输入的连续目标点 $(v, a)$，算法首先通过点面相交测试判定其所在的三角形；若目标超出凸包边界，则投影至距离最近的单纯形边缘。设所落入三角形的三个顶点坐标分别为 $A=(A_x, A_y)$、$B=(B_x, B_y)$ 和 $C=(C_x, C_y)$，其对应的重心权重 $(w_1, w_2, w_3)$ 可通过求解以下线性系统精确确定： $$ \begin{bmatrix} A_x & B_x & C_x \ A_y & B_y & C_y \ 1 & 1 & 1 \end{bmatrix} \begin{bmatrix} w_1 \ w_2 \ w_3 \end{bmatrix} = \begin{bmatrix} v \ a \ 1 \end{bmatrix}, \quad \text{其中 } \sum_{i=1}^3 w_i = 1 $$ 这一设计保证了任意 VA 坐标都能被唯一且平滑地表达为三个离散语义基元凸组合的形式。

2. 重心无分类器引导预测：隐空间隐式对齐的得分函数重构 直接对文本嵌入向量按重心权重求和会导致图像出现大面积色斑和阶跃跳变。本文转而在扩散隐空间对分类器引导机制进行重构。根据扩散模型对得分函数（Score Function）的逼近性质，模型预测噪声对应于对数先验梯度的估计。本文将三个离散情感文本条件 $y_i$（如“将人物表情调整为并保持五官与背景一致”）分别输入编辑网络，并以重心权重线性融合其噪声预测： $$ D_{\text{bary}}^{\text{edit}}(x_t) = \sum_{i=1}^3 w_i D_\theta(x_t, y_i) \approx \nabla_{x_t} \log p_t(x_t) + \sum_{i=1}^3 w_i \nabla_{x_t} \log p_t(y_i \mid x_t) $$ 由于所有重心权重之和为 1，无条件数据先验项自然归一化移至求和符号之外，使得引导方向实质上精确指向隐式分类器 $p_t(y_i \mid x_t)$ 在局部空间中梯度的重心加权期望，从而在保证跨概念过渡连续性的同时，实现了极高的情感目标命中率。

3. 径向情感强度自适应缩放：由浅入深的非线性情感量级调节 在 VA 情感空间中，越靠近原点 $(0, 0)$ 代表情感越趋于中性平淡，而越靠近外周边缘则代表情感表达越极端强烈。固定的引导尺度 $w_{\text{cfg}}$ 会导致中性区域的情绪过饱和或边缘区域的情绪欠表达。为此，本文将目标点与原点的欧氏距离作为情感强度的直接代理，设计了径向动态引导强度： $$ w_{\text{cfg}}^* = 1 + (w_{\text{cfg}} - 1)\sqrt{v^2 + a^2} $$ 结合全局无条件预测，最终的多条件 CFG 公式调整为 $(1 - w_{\text{cfg}}^*) D_\theta(x_t) + w_{\text{cfg}}^* \sum_{i=1}^3 w_i D_\theta(x_t, y_i)$。当目标位于中性中心时，引导系数自然退化为 1.0（即无额外极端情绪干预）；当远离中心时，引导强度平滑放大，确保了微表情到夸张表情的自洽过渡。

4. 几何感知隐空间精炼：抑制面部伪影的结构重扩散机制 尽管重心引导有效解决了全局语义的平滑插值，但在人脸等具有强刚性与非刚性几何约束的场景下，纯文本条件引导偶尔会引起微小几何抖动。为此，框架引入了轻量级的几何插值重扩散先验：对于人脸图像，先生成三个离散顶点的情感结果，利用人脸关键点（Facial Landmarks）与重心权重执行多边人脸形变融合（Face Morphing）；由于直接变形图像存在重影伪影，框架将其加噪后在反向扩散进程的三分之一处（即 30 步推理中的第 10 步，在 SDEdit 范式下）重新启动反向去噪。对于非人脸或动物，则引入光流场变换（如 WAFT）进行帧间中间生成。该模块既保留了精确的面部几何轮廓，又彻底消除了多基元变形带来的重影。

完整示例 / 生成拓展¶

针对图像生成（从纯文本创建含情绪内容）场景，框架将基础内容提示词 $y_{\text{base}}$（如“一个正在奔跑的男人”）与情感提示词结合，引入权衡参数 $s < w_{\text{cfg}}$： $$ D_{\text{bary}}^{\text{gen}}(x_t) = (w_{\text{cfg}} - s)D_\theta(x_t, y_{\text{base}}) + (1 - w_{\text{cfg}})D_\theta(x_t) + s \sum_{i=1}^3 w_i D_\theta(x_t, y_i) $$ 由此解耦了主体语义结构生成与局部情感维度的平滑调控。

实验关键数据¶

主实验¶

实验在 AffectNet、FFHQ 和 CelebA-HQ 三个人脸基准上展开，采用 EmotiEffLib 评估 VA 预测值，以 RMSE（情感准确度）、VA Entropy / VA Std（表达多样性与覆盖率）、$S_{2D}^*$（基于拉普拉斯曲率的尺度不变平滑度）作为核心控制性指标，同时汇报 FID、IS、ArcFace ID 相似度及非面部区域 LPIPS 背景保持度。

数据集	模型	RMSE ↓	VA Entropy ↑	VA Std (V/A) ↑	$S_{2D}^*$ ↓	FID ↓	ID Sim. ↑	LPIPS (非面部) ↓
AffectNet	GANmut	-	0.616	0.47 / 0.38	-	36.89	0.76	0.128
	EmoStyle	0.610	0.423	0.46 / 0.31	0.147	36.72	0.31	0.276
	Ours (FLUX.2-dev)	0.433	0.916	0.64 / 0.57	0.303	11.02	0.55	0.096
	Ours (Qwen Image Edit)	0.431	0.813	0.55 / 0.49	0.278	10.67	0.72	0.062
FFHQ	GANmut	-	0.687	0.50 / 0.36	-	73.20	0.71	0.282
	EmoStyle	0.568	0.457	0.48 / 0.32	0.148	25.50	0.67	0.172
	Ours (FLUX.2-dev)	0.418	0.890	0.64 / 0.51	0.307	13.85	0.55	0.097
CelebA-HQ	GANmut	-	0.651	0.48 / 0.37	-	59.59	0.70	0.267
	EmoStyle	0.550	0.513	0.47 / 0.34	0.149	17.44	0.65	0.154
	Ours (FLUX.2-dev)	0.412	0.877	0.65 / 0.54	0.293	11.80	0.54	0.125

消融实验¶

在 AffectNet 数据集上验证各核心组件对 VA 控制力与图像生成质量的影响：

配置	RMSE ↓	VA Entropy ↑	VA Std (V/A) ↑	$S_{2D}^*$ ↓	FID ↓	ID Sim. ↑	说明
完整模型 (Full Approach)	0.433	0.916	0.64 / 0.57	0.303	11.02	0.55	最佳 VA 综合控制力与多样性
− 缩放引导 (w/o Scaled CFG)	0.439	0.906	0.59 / 0.51	0.305	11.10	0.61	极端情感表达减弱，多样性下滑
⇆ 文本插值 (Prompt Interp.)	0.461	0.869	0.57 / 0.49	0.342	10.75	0.55	概念跳跃严重，平滑度显著恶化
− 面部变形精炼 (w/o Face Morphing)	0.451	0.756	0.56 / 0.50	0.377	8.94	0.66	贴近原图但平滑度最差、情绪幅度被压制

关键发现¶

控制精度与覆盖范围的巨大飞跃：相比最强基线（EmoStyle），本文方法在人脸三大基准上将 VA 目标预测误差（RMSE）降低了 25.1%～29.0%，VA 熵提升了 29.5%～48.7%，在低唤醒度象限（如平静、困倦）与极端愤怒区域表现尤为显著，打破了传统模型集中于中性微表情的局限。
保真度与控制幅度的权衡（Controllability-Fidelity Trade-off）：基线方法（如 GANmut、EmoStyle）表面上 ID 相似度更高，实则是由于其有效情绪编辑幅度极小（EmoStyle 平均 $|\Delta \text{VA}|$ 仅为 0.46，而本文达到 0.91）。在匹配微小编辑幅度（$|\Delta \text{VA}| < 0.2$）的受控分析中，本文的 ID 相似度（0.686 vs. 0.666）与生成质量（IS 3.40 vs. 2.85）均反超基线。
跨域与跨模型通用性：无需重新训练即可零样本迁移至艺术画作情感编辑（EmoArt 上 RMSE 达 0.735 vs 文本插值 0.851）与场景连续生成（FindingEmo）。切换至 Qwen Image Edit 后更实现了 0.72 的高 ID 保留度与 10.67 的低 FID。

亮点与洞察¶

将连续控制解构为单纯形流形上的得分加权：巧妙避开大模型文本编码器潜空间的非线性纠缠，将“连续调控”转换为“离散端点在扩散隐空间的线性向量场融合”，无需重新训练即可获得理论上严谨的连续控制面。
尺度不变的 2D 情感曲率平滑度度量：针对传统平滑度度量偏好“几乎不改变图像”的被动保守模型的缺陷，推导了基于离散拉普拉斯算子与极值范围归一化的 $S_{2D}^*$ 指标，为连续属性编辑评测提供了具有数学不变性保证的新工具。
即插即用的多底座兼容架构：完全依托基础模型的内在能力，验证了 FLUX.1、FLUX.2 及 Qwen 等多代不同架构编辑底座，为工业级精细化情绪交互提供了低成本实施方案。

局限与展望¶

计算成本开销增加：每个去噪步需要计算 3 个离散锚点的条件预测与 1 个无条件预测，前向函数评估次数（NFE）相比单次采样增加了 3 到 4 倍（完整变形流程需要约 180 次 NFE）。未来可通过引导蒸馏（Guidance Distillation）或少步加速模型进行轻量化压缩。
文本模态提示词敏感性：虽然免于参数训练，但网格顶点的情感提示模板在不同领域（如人脸、场景、插画）仍需人工设定匹配的引导语。
三维情感与多因子拓展：当前工作仅聚焦于 2D VA 平面，尚未拓展至包含掌控度（Dominance）的 3D VAD 空间或更加复杂的认知评估（Appraisal）心理学框架。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出基于单纯形重心融合的零样本连续情感扩散引导范式，数学形式优美。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个人脸数据集、2 个非人脸场景与多款主流基础模型，理论推导、消融、用户评测及指标构建极其完整。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰，动机剖析精准，散文叙述连贯生动。
价值: ⭐⭐⭐⭐⭐ 为通用大模型执行细粒度、多维度连续属性精确操纵提供了极具启发性的工程范本。