Can Complementary Signals Bridge Similarity Islands? Manifold-Augmented Graph Embedding for Multimodal Recommendation¶

会议: NeurIPS2026
arXiv: 2610.37409
代码: https://github.com/Alex-bupt/mage
领域: 多模态VLM
关键词: 多模态推荐、互补推荐、相似性孤岛、流形增强、非对称图卷积

一句话总结¶

本文针对多模态推荐中互补品因特征远隔而形成的“相似性孤岛”难题，提出了结合离线流形几何增强与在线非对称图传播的 MAGE 框架，在四个基准数据集上超越了主流多模态 GNN 模型。

研究背景与动机¶

多模态推荐系统（MMRS）通过引入图像和文本等多源辅助信息构建密集语义表征，显著缓解了协同过滤中的交互稀疏性和冷启动瓶颈。然而，现有主流的图神经网络（GNN）多模态推荐模型普遍植根于同质性（Homophily）假设，其核心依靠图上的低通平滑传播，隐式假定“相连的节点在特征上应当相似”。这一假设天然偏爱功能相同或相近的“替代品”（Substitutes，例如两款相似的智能手机），使它们在多模态嵌入空间中紧密聚类。

但在真实的电商与消费行为中，大量高价值交互是由“互补品”（Complementarity，例如 iPhone 与充电插头、登山包与战术刀）驱动的。互补品在行为拓扑上具有极强的共购关联，但在视觉外观和文本描述上往往天差地别，呈现出严重的异质性（Heterophily）。若直接将行为共购边引入现有模型并进行传统的同质图平滑，会导致严重的表示–拓扑失配：多模态特征空间依然按照语义相似度割裂分布，替代品聚集成离散的簇，而具有功能互补关联的商品被隔绝在不同的几何区域，形成了孤立碎片化的“相似性孤岛（Similarity Islands）”。在异质拓扑上盲目进行均匀平滑传播，非但无法学到真正的互补性，反而会引发严重的语义漂移（Semantic Drift），破坏种子商品核心的类别表征。

解决该矛盾的核心难点在于：共购行为提供了功能关联的带噪证据，但原始特征空间的几何布局与图拓扑严重错配。单纯靠在图结构上增减拓扑边无法抹平几何层面的语义鸿沟。核心 idea：将互补性建模彻底解耦为特征空间的离线流形几何增强与拓扑空间的在线非对称图传播，利用软概念子投影和局部代沟保护约束提取纯净互补残差，并在双流 GNN 中以视觉为稳定锚点、增强文本为探索探针协同推理。

方法详解¶

整体框架¶

MAGE 面向个性化用户–商品排序任务（Personalized Ranking），将异质互补信号的建模解耦为两个紧密咬合的阶段：Phase I 离线流形几何增强，以及 Phase II 在线非对称双流图学习。在输入侧，首先通过大语言模型进行证据约束信息提取，去除营销噪音并获取规整特征；随后在离线阶段对文本模态进行局部子空间分解与残差注入；在在线阶段，通过视觉同质图与文本混合图分别进行图卷积，最终经由自校准门控机制融合 ID 协同表征完成偏好打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>用户交互/共购图/图文多模态特征"] --> B["证据约束文本提取<br/>LLM 抽取功能属性并冻结文本嵌入"]
    B --> C["Phase I: 局部相对子空间刻画<br/>共购邻域百分位划分强弱集合并求 SVD"]
    C --> D["Phase I: 互补残差提取<br/>软概念子投影过滤替代成分并正交化"]
    D --> E["Phase I: 局部代沟约束自适应注入<br/>动态计算注入系数与回溯验证"]
    E --> F["Phase II: 非对称双流编码<br/>视觉流（稳定锚点）+ 文本流（弹性探针）"]
    F --> G["Phase II: 模态非对称拓扑传播<br/>视觉同质交集图 + 文本混合拓扑图"]
    G --> H["自校准跨模态融合<br/>粗粒度原型解耦 + 双向自校准门控"]
    H --> I["多任务联合优化与预测<br/>BPR 推荐主任务 + 矩对齐与对比正则"]

关键设计¶

1. 局部相对子空间刻画与软概念子互补残差提取：从共购邻居中分离替代与互补信号

针对互补商品在原始特征空间中语义相距甚远且共购邻居往往混杂替代品的问题，MAGE 摒弃了全局相似度阈值，提出了按种子商品自适应的相对百分位划分。对于种子商品 $i$ 的共购邻域，基于文本余弦相似度的上下四分位分布分别划分出局部强邻居集合 $\mathcal{S}_i$（作为替代品代理）与弱邻居集合 $\mathcal{W}_i$（作为互补品代理），并辅以最低相似度阈值过滤不可信的噪音。为了刻画种子商品局部的替代品主导子空间，将种子自身与强邻居拼接构成局部语义矩阵 $\mathbf{C}_i$，并进行奇异值分解： $$\mathbf{C}_i = \begin{bmatrix} \mathbf{x}_{i,t} \\ \{\mathbf{x}_{j,t}\}_{j\in\mathcal{S}_i} \end{bmatrix} = \mathbf{U}_i \mathbf{\Sigma}_i \mathbf{V}_i^\top$$ 其中右奇异向量 $\mathbf{V}_i$ 构成了该局部替代子空间的正交基。为了避免硬截断丢弃潜在细微语义，模型引入软概念子（Soft Conceptor）加权机制： $$w_{i,k} = \frac{\sigma_k^2}{\sigma_k^2 + \gamma^{-2}}$$ 超参数 $\gamma$ 控制子空间边界的平滑度。通过构造软投影算子 $\mathbf{P}_i = \mathbf{V}_i \mathrm{diag}(\mathbf{w}_i) \mathbf{V}_i^\top$，将弱邻居集合中的每个候选项投影到替代子空间的正交补空间 $(\mathbf{I} - \mathbf{P}_i)\mathbf{x}_{j,t}$，并取均值得出共识残差 $\bar{\mathbf{r}}_i$。最后将共识残差对种子商品的单位向量进行正交化剔除同向投影，得到纯净的互补残差方向 $\mathbf{r}_i = \bar{\mathbf{r}}_i - (\bar{\mathbf{r}}_i^\top \mathbf{x}_{i,t}) \mathbf{x}_{i,t}$。

2. 局部代沟约束自适应注入：控制扰动幅度防止语义边界坍缩

残差增强的最大风险在于过度注入（Over-injection）：若扰动过大，将使得种子商品与替代品、互补品之间的相对区分度彻底瓦解，破坏原有商品的本质属性。MAGE 提出了基于局部代沟保护（Gap-Preserving）的自适应注入机制。定义强弱邻域均值差 $\mathbf{\Delta}_i = \bm{\mu}_{\mathcal{S}_i} - \bm{\mu}_{\mathcal{W}_i}$，未增强前的局部边界间距为 $g_i = \mathbf{x}_{i,t}^\top \mathbf{\Delta}_i$。对于未归一化的更新向量 $\mathbf{z}_i(\alpha) = \mathbf{x}_{i,t} + \alpha \mathbf{r}_i$，要求注入后依然保留至少 $\rho$ 比例的原始间隔，即 $\mathbf{z}_i(\alpha)^\top \mathbf{\Delta}_i \ge \rho g_i$。残差对间隔的边际影响记为 $d_i = \mathbf{r}_i^\top \mathbf{\Delta}_i$。据此推导出的自适应注入强度为： $$\alpha_i = \begin{cases} \min\!\left(\alpha_{\max}, \dfrac{(1-\rho)g_i}{-d_i + \varepsilon}\right), & d_i < 0, \\ \alpha_{\max}, & d_i \ge 0. \end{cases}$$ 在完成向量更新并执行 $\ell_2$ 归一化 $\tilde{\mathbf{x}}_{i,t} = (\mathbf{x}_{i,t} + \alpha_i \mathbf{r}_i) / \|\mathbf{x}_{i,t} + \alpha_i \mathbf{r}_i\|_2$ 后，模型还会进行二次归一化代沟校验，若 $\tilde{\mathbf{x}}_{i,t}^\top \mathbf{\Delta}_i < \rho g_i$ 则触发回溯衰减，确保几何变形始终在安全可控的预算内。

3. 模态非对称拓扑与双流图传播：视觉守恒稳健、文本探索互补

几何增强后的文本模态具备了互补感知能力，而视觉模态依然以感知共性为核心。若在异质图上对称传播，极易被多模态冲突与噪声污染。MAGE 提出“稳定性（Stability）–可塑性（Plasticity）”分工的非对称双流图架构： - 视觉流（同质拓扑）：将视觉作为保持商品基本感官身份的稳定锚点。构建纯净相似图 $\mathcal{G}_{\mathrm{sim}}$，仅保留在视觉 $k$-NN 与文本 $k$-NN 中同时出现的交集边，通过单层或浅层 GCN 进行平滑，杜绝共购边对视觉身份的破坏。 - 文本流（混合拓扑）：将流形增强后的文本特征作为探索互补关联的弹性探针。构建增强互补图 $\mathcal{G}_{\mathrm{aug}}$，将共购边 $\mathcal{E}_{\mathrm{co}}$ 按共购频次截断前 $k$ 个邻居注入到文本 $k$-NN 结构中，并引入调制权重 $\omega_{\mathrm{co}} \in (0,1]$ 进行适当降权，在混合邻接矩阵上实现高阶互补语义的受控扩散。

4. 自校准跨模态融合机制：粗粒度原型解耦与双向残差校准

双流经过 GCN 后的特征既包含共享属性也包含独有信息。为了避免简单拼接或平均引起的语义混淆，模型采用“先解耦后融合”策略：首先通过注意力聚合两流表征得到共享类别原型 $\mathbf{h}_{i,c} = \alpha_v \mathbf{h}_{i,v} + \alpha_t \mathbf{h}_{i,t}$；随后各模态减去原型，并引入协同 ID 表征 $\mathbf{e}_{i,\mathrm{id}}$ 进行行为门控调制，析出模态独有残差 $\mathbf{r}_{i,m} = \sigma_{beh}^{(m)}(\mathbf{e}_{i,\mathrm{id}}) \odot (\mathbf{h}_{i,m} - \mathbf{h}_{i,c})$。最后设计跨模态双向自校准门控： $$\mathbf{g}_{i,m} = \sigma\left(\mathrm{MLP}_{\bar{m}\to m}(\mathbf{r}_{i,\bar{m}}) + \mathbf{W}_{m\to m}\mathbf{r}_{i,m}\right), \quad \tilde{\mathbf{r}}_{i,m} = \mathbf{r}_{i,m} + \beta_g (\mathbf{r}_{i,m} \odot \mathbf{g}_{i,m})$$ 通过残差连接将校准后的模态特征与共享原型平均，并叠加协同过滤 ID 骨干向量，产生最终完备的商品表征 $\mathbf{e}_i$。用户表征 $\mathbf{e}_u$ 则通过对交互历史上的多模态投影流进行对偶结构融合生成。

损失函数 / 训练策略¶

模型的总体优化目标为联合多任务损失： $$\mathcal{L} = \mathcal{L}_{\mathrm{BPR}} + \lambda_{\mathrm{align}}\mathcal{L}_{\mathrm{align}} + \lambda_{\mathrm{bm}}\mathcal{L}_{\mathrm{BM}} + \lambda_{\mathrm{info}}\mathcal{L}_{\mathrm{UM}} + \lambda_{\mathrm{reg}}\|\Theta\|_2^2$$ 其中主任务 $\mathcal{L}_{\mathrm{BPR}}$ 为经典的 Bayesian Personalized Ranking 目标；$\mathcal{L}_{\mathrm{align}}$ 采用一阶与二阶矩匹配惩罚视觉与文本流之间的尺度失配；$\mathcal{L}_{\mathrm{BM}}$ 通过 InfoNCE 对比损失对齐融合多模态表征与协同 ID 骨干；$\mathcal{L}_{\mathrm{UM}}$ 进一步约束用户历史诱导视图与扰动视图之间的一致性。

实验关键数据¶

主实验¶

在四个主流公开 Amazon 基准数据集（Baby、Sports、Clothing、Electronics）上，MAGE 与传统协同过滤（MF-BPR, LightGCN）、经典多模态（VBPR, BM3, MGCN, LGMRec）以及前沿图结构学习多模态方法（MENTOR, GUME）进行了系统对比。

数据集	指标	MAGE	最优基线 (GUME / MENTOR)	相对提升
Baby	Recall@20	0.1077	0.1048 (MENTOR)	+2.77%
Baby	NDCG@20	0.0475	0.0460 (GUME)	+3.26%
Sports	Recall@20	0.1221	0.1165 (GUME)	+4.81%
Sports	NDCG@20	0.0544	0.0527 (GUME)	+3.23%
Clothing	Recall@20	0.1088	0.1024 (GUME)	+6.25%
Clothing	NDCG@20	0.0484	0.0466 (GUME)	+3.86%
Electronics	Recall@20	0.0587	0.0551 (GUME)	+6.53%
Electronics	NDCG@20	0.0252	0.0232 (GUME / MENTOR)	+8.62%

消融实验¶

针对 MAGE 核心模块的整体消融结果验证了各部分设计的有效性（数据基于全量测试集）：

配置 / 变体	Baby R@20	Baby N@20	Sports R@20	Sports N@20	Clothing R@20	Clothing N@20	Electronics R@20	Electronics N@20
MAGE (Full)	0.1077	0.0475	0.1221	0.0544	0.1088	0.0484	0.0587	0.0252
w/o Phase I 离线增强	0.1045	0.0458	0.1198	0.0510	0.1046	0.0472	0.0570	0.0246
w/o 非对称图传播	0.1070	0.0473	0.1210	0.0521	0.1073	0.0480	0.0580	0.0245
w/o 互补拓扑边	0.1061	0.0467	0.1210	0.0520	0.1049	0.0469	0.0552	0.0223
w/o 自校准门控	0.1050	0.0465	0.1211	0.0528	0.1060	0.0475	0.0566	0.0231

此外，在专门构建的“困难互补品子集（Hard Complement Subset，即具有共购关系但视觉和文本相似度均处于底部的 30% 样本）”上，MAGE 相较于最优基线在四个数据集上平均带来了 9.87% 的显著相对增益（Baby +6.08%、Sports +14.00%、Clothing +11.71%、Electronics +7.69%），证明了其挖掘远距异质互补品的针对性优势。

关键发现¶

离线流形增强是跨越孤岛的基石：去掉 Phase I 几何增强后，模型在四个数据集上的 Recall@20 与 NDCG@20 出现显著滑落；若仅将 Phase I 增强后的特征作为即插即用插件赋予 GUME、MGCN 与 MENTOR 等 baseline，在 Sports 与 Clothing 上同样带来了稳定的性能提升。
纯文本 LLM 抽取无法替代几何矫正：对比仅替换 LLM 提取文本特征的 baseline 实验显示，单纯增强文本输入在 MGCN/MENTOR 上甚至出现负迁移，而流形增强带来了普遍增益，证明核心瓶颈是特征空间的流形几何排布而非单模态词汇丰富度。
代沟约束与软概念子的稳健性：细粒度消融证明，去掉局部代沟保护约束（Gap Constraint）造成的性能下降幅度最大，硬 SVD 截断与简单均值残差均逊于软概念子；随机丢弃或重连 30% 共购边的扰动实验中，性能变动幅度均在 1.96% 以内，表现出良好的抗噪鲁棒性。

亮点与洞察¶

几何扭曲与拓扑传播的解耦设计：创新性地认识到多模态互补推荐的瓶颈在于语义特征空间的同质集聚，将异质互补问题拆解为“离线几何流形拉近”与“在线非对称受控图平滑”，兼顾了特征空间结构重塑与图计算效率。
局部相对代沟保护机制：避免了固定全局扰动阈值导致的语义崩塌，按种子商品邻域自适应求解可注入的上界并实施归一化回溯，为无监督几何特征编辑提供了严谨可控的范式。
稳定性–可塑性的非对称分工哲学：打破常规多模态 GCN“同构图加权融合”的惯性，让视觉模态承担同质性锚定、增强文本模态承担异质性探索，在最大化互补发现能力的同时根除了语义漂移。

局限与展望¶

对共购行为图的依赖与冷启动约束：Phase I 的强弱集合与互补残差抽取高度依赖共购关联的先验质量。对于完全没有共购记录或极度冷门孤立的商品，模型退化为常规多模态表示，难以激发流形增强增益。
两阶段流程带来的工程复杂度：模型依赖离线的 SVD 和概念子计算，当动态推荐系统中频繁有海量新品实时上架时，全量或增量重新计算流形残差会引入额外的维护管线开销。
商业曝光偏差传递风险：现实电商平台的共购数据往往内嵌了平台的流量扶持与协同展示偏差，纯数据驱动的互补残差注入可能在一定程度上放大了热门搭配的马太效应，未来需探索因果去偏与流形增强的深度结合。

评分¶

新颖性: ⭐⭐⭐⭐ [创新性地识别出多模态推荐中的“相似性孤岛”机制，并将解耦流形几何与非对称拓扑有机结合]
实验充分度: ⭐⭐⭐⭐⭐ [四个基准全量评测、困难互补子集精准验证、细粒度代沟消融、特征迁移测试及图扰动分析极其详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密，动机具象，数学推导与实验设计环环相扣]
价值: ⭐⭐⭐⭐ [为电商与推荐场景中的长尾互补品发现提供了兼具理论洞察与工程可行性的新框架]