What Gets Measured Gets Managed: Sign-aware Recommendation Needs Sign-aware Evaluation¶

会议: NeurIPS 2026
arXiv: 2609.33346
代码: https://anonymous.4open.science/r/signed-rec-benchmark-07E4
领域: 推荐系统
关键词: 推荐系统, 符号感知推荐, 负反馈评估, 排序评测指标, 图协同过滤

一句话总结¶

针对现有符号图推荐模型在推理排序阶段无法区分正负反馈、甚至给负反馈物品打高分的“效价盲目（valence-blindness）”现象，提出显式惩罚负样本的符号评测指标族（SRecall、SHR、SNDCG），并揭示内积打分瓶颈与解耦优化机制。

研究背景与动机¶

近年来，符号感知推荐系统（Sign-aware Recommender Systems，如 SiReN、SIGformer、SDCGCL 等）通过在图神经网络和 BPR 目标中引入负向交互（低评分、dislike、跳过），尝试构建符号二部图以深入捕捉用户的排斥偏好。然而，经验性诊断却暴露出一个违反直觉的严重悖论：绝大多数声称具备符号感知能力的方法，在推断排序阶段实际上是“效价盲目”的，其预测打分分布中正反馈与负反馈物品高度重叠，正负样本排序区分度（Valence AUC）在多个基准数据集上逼近随机猜测的 0.5，甚至频频将用户明确厌恶的物品排入 Top-$K$ 推荐列表。

这一系统性失效之所以长期被学术界忽视，核心矛盾在于当前的评估环境存在底层评测盲区。现行的标准排序指标（Recall、HR、NDCG）基于二值相关性假设，对“用户明确表达厌恶的负反馈物品”与“纯粹未被观测到的物品”一律赋予数值为 0 的效用，完全缺乏惩罚机制。因此，一个频繁向用户推送厌恶内容的模型与一个成功避开雷区的模型，在传统指标下可能获得完全相同的评测高分，导致模型选择和超参数搜索被严重误导。更关键的是，探针实验表明学到的表征向量中其实已经编码了正负效价特征，但推理阶段常规的内积打分函数无法将其有效解码，加之唯传统相关性指标驱动的调优过程压制了效价信号。

面对符号感知建模与符号盲目评估脱节的问题，必须重构评测基准以引导模型兼顾正向召回与避雷保护。核心 idea：将传统零效用二值相关性拓展为惩罚负向曝光的三值符号相关性，提出兼容传统指标的符号评测指标族（SRecall、SHR、SNDCG），并借助正交梯度辅助损失与效价微调打分从根本上打破内积排序的效价盲区。

方法详解¶

整体框架¶

本文首先形式化符号图推荐问题，指出传统二值相关性 $\text{rel}_u(i) = \mathbb{I}[i \in \mathcal{P}_u]$ 将未观测项 $\mathcal{U}_u$ 与负反馈项 $\mathcal{N}_u$ 等同视之的结构性缺陷。为了精准刻画推荐系统“既要推其所好，又要避其所恶”的本质，研究引入三值符号相关性指标族，并在实验层面对主流模型重新审视；最后提出包含梯度正交分离机制的辅助损失 $\mathcal{L}_{\text{sign}}$ 与推理时效价打分修正。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入符号二部图交互<br/>正反馈 / 负反馈 / 未观测"] --> B["符号推荐模型表征学习<br/>内积打分生成 Top-K 推荐列表"]
    B --> C["符号评测指标族<br/>SRecall / SHR / SNDCG 惩罚负样本曝光"]
    B --> D["效价盲目性根因诊断<br/>V-AUC 评估与线性探针验证"]
    D --> E["效价解耦优化<br/>正交梯度辅助损失 L_sign"]
    E --> F["效价感知推理修正<br/>结合打分微调与传统内积输出"]

关键设计¶

1. 符号评测指标族：显式惩罚负向曝光且向后兼容 传统评测将负样本与未曝光样本等同视为效用为 0，导致评估缺乏对负反馈渗透的敏感性。为此，本文定义三值符号相关性指示函数： $$ \text{rel}_s(i) = \begin{cases} +1, & \text{if } i \in \mathcal{P}_u \ -\gamma, & \text{if } i \in \mathcal{N}_u \ 0, & \text{if } i \in \mathcal{U}_u \end{cases} $$ 其中 $\gamma \ge 0$ 为可调节的负反馈惩罚参数。基于此，构建了符号召回率（SRecall@$K$）、符号命中率（SHR@$K$）以及符号折损累积增益（SNDCG@$K$）： $$ \text{SRecall}@K = \frac{|\mathcal{P}_u \cap \pi_K(u)| - \gamma \cdot |\mathcal{N}_u \cap \pi_K(u)|}{|\mathcal{P}_u|} $$ $$ \text{SHR}@K = \mathbb{I}[|\mathcal{P}_u \cap \pi_K(u)| > 0] - \gamma \cdot \mathbb{I}[|\mathcal{N}u \cap \pi_K(u)| > 0] $$ $$ \text{SNDCG}@K = \frac{\text{SDCG}@K}{\text{ISDCG}@K}, \quad \text{SDCG}@K = \sum $$ 其中 }^K \frac{\text{rel}_s(\pi_K(u)[k])}{\log_2(k+1)$\text{ISDCG}@K$ 表示将所有正反馈排在最前、负反馈排在末尾的理想符号 DCG。理论证明，当 $\gamma = 0$ 时，该指标族严格退化为传统二值指标；当 $\gamma > 0$ 时，任何将负反馈下移至未观测项之后的扰动均会严格提升 SNDCG，保证了对负反馈渗透的敏锐捕捉与历史评测的兼容性。

2. 效价盲目性与表征瓶颈诊断：V-AUC 与线性探针 为了度量模型是否真正区分了用户喜欢与厌恶的物品，本文提出效价曲线下面积诊断指标 $\text{V-AUC}(u) = \frac{1}{|\mathcal{P}_u||\mathcal{N}_u|} \sum_{p \in \mathcal{P}_u} \sum_{n \in \mathcal{N}_u} \mathbb{I}[\hat{y}_{up} > \hat{y}_{un}]$。在多数据集测试中，现有 SOTA 模型的 V-AUC 普遍在 0.5 上下徘徊，重叠率甚至高达 70%~80% 以上。进一步，论文借助逻辑回归线性探针对用户与物品嵌入的逐元素积 $\mathbf{e}_u \odot \mathbf{e}_i$ 进行正负分类验证。探针在多个数据集上取得了高达 0.65~0.92 的高分类 AUC，这无可辩驳地证明：模型的嵌入向量空间中确实学到了充足的正负效价信息，但内积打分形式 $\hat{y}_{ui} = \mathbf{e}_u^\top \mathbf{e}_i$ 将所有维度求和降维为一个标量，抹平了效价区分，成为信息提取阶段的结构性瓶颈。

3. 效价解耦优化：正交梯度辅助损失与推理校准 若直接引入拉开正负项分数的对比项 $\mathcal{L}_{\text{P>N}} = -\ln \sigma(\hat{y}_{up} - \hat{y}_{un})$，其对负项嵌入的梯度 $\frac{\partial \mathcal{L}_{\text{P>N}}}{\partial \mathbf{e}_n} \propto \mathbf{e}_u$，这会导致与正向相关性学习发生剧烈梯度冲突。为此，本文设计了基于逐元素点积的辅助分类损失： $$ \mathcal{L}{\text{sign}} = -\frac{1}{|\mathcal{B}|} \sum}} \left[ y \log \hat{p{ui} + (1-y) \log (1-\hat{p}) \right] $$ 其中 $\hat{p}_{ui} = \sigma(\mathbf{w}^\top (\mathbf{e}_u \odot \mathbf{e}_i) + b)$。梯度分析严格证明，当分类器权重 $\mathbf{w}$ 非全等常数时，其梯度在 $\mathbf{e}_u$ 的正交补空间中具有非零分量，能够在不破坏原有内积相关性得分的前提下调整表征模式。在推断阶段，将该分类概率作为效价微调增量融入最终排序分数：$\hat{y}_{ui}^{\text{final}} = \mathbf{e}_u^\top \mathbf{e}_i + \lambda_{\text{inf}} \cdot (2\hat{p}_{ui} - 1)$，成功释放嵌入中被封印的效价信息。

损失函数 / 训练策略¶

以主流模型 SIGformer 为基础骨干，总优化目标为结合符号 BPR 损失与辅助符号分类损失的多任务学习： $$ \mathcal{L} = \mathcal{L}{\text{base}} + \lambda $$ 其中 }} \cdot \mathcal{L}_{\text{sign}$\mathcal{L}_{\text{base}}$ 为原本控制正反馈与负反馈学习的 Signed BPR 损失。模型采用 Adam 优化器，超参数 $\lambda_{\text{sign}}$ 与推理调节系数 $\lambda_{\text{inf}}$ 在验证集上联合网格搜索，挑选在传统 NDCG 下降不超过 5% 约束下使 SNDCG 最大化的参数配置。

实验关键数据¶

主实验¶

在 5 个公开数据集（包含评分数据集 Amazon-CDs、Amazon-Music、Epinions 与短视频交互数据集 KuaiRand、KuaiRec）上重新评估了 4 种无符号基准与 6 种前沿符号感知模型（$K=20, \gamma=1$）。下表展示了代表性数据集上的核心评测对比：

数据集	模型类别	模型	传统 NDCG	SRecall	SHR	SNDCG
Amazon-CDs	Unsigned	XSimGCL	0.0886	0.0328	0.1665	0.0347
Amazon-CDs	Arch-driven	SIGformer	0.0865	0.0363	0.1750	0.0360
Amazon-CDs	Loss-driven	SiReN	0.0810	0.0658	0.2193	0.0526
KuaiRand	Unsigned	GFormer	0.0718	-0.0352	0.0111	-0.0082
KuaiRand	Arch-driven	SIGformer	0.0680	-0.0331	0.0128	-0.0075
KuaiRand	Loss-driven	Pone-GNN	0.0516	-0.0054	0.0393	0.0045
KuaiRec	Unsigned	LightGCN	0.0015	-4.1770	-0.9918	-1.8280
KuaiRec	Arch-driven	SIGformer	0.0496	0.0632	0.2314	0.0418
KuaiRec	Loss-driven	SDCGCL	0.0382	0.0270	0.1572	0.0243

消融实验¶

以 SIGformer 为骨干网络，验证引入正交辅助分类损失 $\mathcal{L}_{\text{sign}}$ 与推理时效价校准修正项 $\lambda_{\text{inf}}$ 的有效性（指标在既包含正又包含负的“Both P&N”评测子集上测定）：

数据集	配置 $(\lambda_{\text{sign}}, \lambda_{\text{inf}})$	NDCG	SRecall	SHR	SNDCG	探针 AUC 增量 ($\Delta$Pr.)
Amazon-CDs	Baseline (0, 0)	0.0842	0.0359	0.1507	0.0355	–
Amazon-CDs	+ $\mathcal{L}_{\text{sign}}$ (0.01, 2)	0.0829	0.0520	0.1798	0.0447	+0.067
Amazon-Music	Baseline (0, 0)	0.1674	0.0595	0.1676	0.0615	–
Amazon-Music	+ $\mathcal{L}_{\text{sign}}$ (0.05, 2)	0.1653	0.1036	0.2258	0.0900	+0.052
Epinions	Baseline (0, 0)	0.0587	0.0081	0.0919	0.0104	–
Epinions	+ $\mathcal{L}_{\text{sign}}$ (0.1, 1)	0.0595	0.0326	0.1602	0.0299	+0.131
KuaiRand	Baseline (0, 0)	0.0684	-0.0319	0.0141	-0.0070	–
KuaiRand	+ $\mathcal{L}_{\text{sign}}$ (0.1, 2)	0.0657	-0.0035	0.0519	0.0071	+0.043

关键发现¶

传统指标下的 SOTA 模型在符号指标下发生名次剧烈颠覆：例如在 Amazon-CDs 上，原本传统 NDCG 最高的 XSimGCL 在 SNDCG 上被 Loss 驱动的符号模型 SiReN 反超；在 KuaiRand 上，无符号的 GFormer 取得最高 NDCG，但其 SNDCG 为负值（-0.0082），表明其 Top-20 推荐列表中负样本不仅未被抑制，反而被大量推送给用户。
负样本渗透率直接决定了惩罚权重 $\gamma$ 敏感度曲线的斜率：无符号基准与架构驱动的符号模型在高 $\gamma$ 下指标崩塌，而针对损失优化的符号模型在惩罚加大时表现更稳健。
提出的辅助机制能够在几乎不牺牲传统相关性（NDCG 降幅严格在 5% 以内）的前提下，实现 SNDCG 26%~187% 的大幅提升，并将 KuaiRand 的负分直接扭转为正分。

亮点与洞察¶

敏锐抓住了学术界“只管召回正反馈、不管惩罚负反馈”的评价盲区：用经典的谚语“What gets measured gets managed”作为切入点，严密指出了符号图推荐学术界的假象。
理论与机理剖析极其深刻：通过线性探针证明了信息在表征中存在但在内积阶段丢失的瓶颈，并从梯度正交性推导证明了常规 BPR 负采样直接拉大间距会带来破坏性冲突，从而确立了基于 Hadamard 积辅助任务的数理合理性。
指标设计兼顾了规范严谨性与向前兼容：$\gamma=0$ 时完全退化回标准评测指标，为后续推荐系统领域引入负反馈评测提供了一个平滑无缝的基础工具。

局限与展望¶

实验集中于基于图协同过滤与内积打分的静态推荐范式：作者指出序列推荐（Sequential Recommendation）或基于大语言模型（LLM-based）的推荐系统在生成与重排阶段的效价感知能力尚未深入考察。
在极度稠密的负反馈场景（如 KuaiRec 中负反馈是正反馈的 5.95 倍）下，辅助损失与打分修正无法同时满足 5% 的 NDCG 容忍度与 SNDCG 的显著提升，表明高负样本密度下的效价与相关性解耦仍然极具挑战。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示符号感知推荐模型在大规模评测中的效价盲区，并提出系统性的符号评测指标与正交解耦方案。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个公开数据集、10 个主流基线模型、用户级配对显著性检验以及严谨的梯度与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从现象发现、机理诊断到指标建立和方案验证极为严密，说服力极强。
价值: ⭐⭐⭐⭐⭐ 对推荐系统领域长期忽视负反馈惩罚的评测惯性做出了重要校正，指标具备极强的通用性和采纳价值。