ANFI: Rethinking Neighbor Feature Interaction in Person Re-ID¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5111
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/8895.pdf
领域: 人体理解
关键词: 行人重识别、邻居特征交互、差异关系、邻域相似度、噪声关系监督

一句话总结¶

ANFI 为行人重识别同时学习邻居的亲和关系与差异关系，并通过噪声关系监督训练逐样本融合机制，在相同骨干特征的 CUHK03 对比中达到 88.1% mAP，比该组最强基线高 1.2 个百分点。

研究背景与动机¶

行人重识别不是判断一张图属于哪个固定类别，而是用查询图在其他相机拍摄的候选图像库中检索同一个人。光照、遮挡、视角与分辨率变化会使单图特征不稳定，因此 NFormer、GCR 等方法让一张图与特征空间中的近邻交互，把多张图的信息融入表示。这个思路的隐含条件是：特征接近的图大多确实属于同一个人，否则信息聚合会把原本不同的身份拉得更近。

困难在于，训练集上的身份监督通常能造出很干净的邻域，而测试时的身份未见过，查询可能模糊，图库也可能每人只有很少的图片。这些情况下，最近邻只是“当前模型觉得像”，不等于真实同身份，单纯增加正权重聚合会放大错误。仅在大图库的常规协议上测平均精度，容易被大量容易查询掩盖这一问题；因此本文既改交互机制，也检验小图库、困难查询与跨域设置。

作者没有继续追求把所有错误邻居筛掉，而是让模型在邻域不可靠时保留当前样本相对于邻居的差异。正向聚合适用于可靠邻居，差异提取适用于不可靠邻居，混合邻域则需要两者并存。核心 idea：把邻居从“只能贡献相似信息”的来源，改成“既能提供共同特征，也能帮助保留身份差异”的参照，并让模型学习每个样本该依赖哪一种关系。

方法详解¶

整体框架¶

输入为查询图与图库图像的骨干特征，输出为经过邻居交互增强的检索表示，再用于计算匹配排序。骨干先建立包含自身的近邻集合；ANFI 在同一邻接结构上构造亲和分支和差异分支，再通过逐样本权重融合。训练时额外使用噪声关系监督（Noisy Relation Supervision，NRS），同时处理训练邻域过干净和关系缺少直接约束的问题。

下图把前向交互与训练约束分开：NRS 并不是部署时附加的检索阶段。测试协议采用 single-query 设置，禁止不同查询图之间相互交互，但仍允许利用图库信息。因此 ANFI 是依赖图库上下文的特征增强器，而不是只处理一张查询图的独立编码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像骨干特征<br/>与近邻集合"] --> B["双关系交互<br/>亲和与差异分支"]
    B --> C["逐样本自适应融合"]
    C --> D["增强特征与检索排序"]
    C -.-> E["噪声关系监督<br/>仅训练时"]
    E -.->|特征扰动与关系约束| B

关键设计¶

1. 双关系交互：把相似邻居变成可聚合、也可对照的参照

亲和分支沿用邻居方法的基本逻辑：根据特征相似度选取每行的前 \(k\) 个邻居，包含样本自身，对邻接边上的相似度做行归一化，得到非负亲和权重。这些权重对投影后的邻居特征做加权聚合，相当于提炼局部共同信息。当邻域全部来自同一身份时，这种聚合能缓解单张图像的偶然干扰；当外观相近的其他人混入时，同一操作就会缩小本应保留的身份差距。差异分支并不把亲和权重简单反号，而是先另外估计用于差异交互的关系，再从当前样本表示中扣除相应邻域成分。

这里的关系估计依赖“邻域相似度”，不仅看两张图彼此像不像，还检查它们共同的第三方邻居。对每个共享邻居，分别计算两个样本到它的相似度，取乘积后累加；因此分数携带了邻域重叠及连接强弱的信息。该分支使用独立投影，得到的邻域相似度再由原近邻矩阵筛选并行归一化，形成差异关系矩阵。共享邻居数量由已有 \(k\) 和邻域重叠决定，不需要额外指定第三方样本数；它也不同于只检查“你选我、我选你”的互近邻规则。这并不是把邻域相似度解释为错误身份概率，而是用更丰富的局部结构为后续差异运算提供权重。

差异特征的核心操作见原文式（12）：

\[ F^d=(I-\hat A^d)\varphi'(X). \]

其中 \(\hat A^d\) 为行归一化的差异关系矩阵，\(\varphi'\) 为独立投影，\(I\) 为单位矩阵。因为权重和为一，该操作也可以理解为加权累加“当前样本减去各个邻居”的特征差。负的非自身系数来自 \(I-\hat A^d\)，不是说 \(\hat A^d\) 本身含有负数。因此差异分支保留的是相对于邻域的残差信息，不是人工识别出某个错误邻居后再把它删除。

2. 逐样本自适应融合：不把整个图库当成同一种噪声环境

同一个图库中，清晰查询的邻域可能很可靠，严重遮挡查询的邻域则可能主要由其他人组成，所以不能给所有样本使用同一个亲和／差异比例。 ANFI 分别把亲和特征与差异特征送入两个输出维度为一的线性层，对两个分数做 softmax，得到互补的融合权重。按照原文式（13）—（14）的符号，\(w_i\) 对应差异分支，\(1-w_i\) 对应亲和分支。

\[ f_i^{\mathrm{mix}}=(1-w_i)f_i+w_i f_i^d. \]

这里 \(f_i\) 是亲和特征，\(f_i^d\) 是差异特征，权重由各分支输出预测。模型因而既能在可靠邻域中利用共同身份信息，也能在噪声邻域中增加差异信息的占比。但这种行为不是架构天然保证的：若训练只见过干净邻居，融合器也可能一直偏向亲和分支，因此必须配合下一项训练设计。

论文用噪声邻居比例（Noise Neighbor Ratio，NNR）描述理想的权重变化趋势：它是近邻集合中不同身份样本数除以集合总大小，集合包含自身；批次 NNR 则对所有样本取平均。所以低 NNR 应更依赖亲和，高 NNR 应更依赖差异。 NNR 需要真实身份标签，只用于分析和训练监督；推理时不计算真实 NNR，也不把它直接当融合权重。

3. 噪声关系监督：同时制造训练难例和提供关系目标

NRS 的第一部分是噪声模拟。训练时，从同一批次随机抽一个特征，与当前特征做线性混合，抽到的参考特征使用 stop-gradient，避免这条噪声混合路径向参考样本传播梯度。混合系数按批次噪声水平调节：标签判断出的原始邻域越干净，允许加入的扰动越强；原本已很嘈杂的批次则使用较轻扰动。这样做针对的是“训练图太容易、测试图太难”的关系分布偏差，而非仅对图像再加一种常规增强。本地文本对式（16）的均匀分布区间抽取不完整，因此这里只保留正文明确支持的自适应规律，不补写区间公式。

第二部分是关系正则化。仅靠身份分类损失，最终特征能够分类并不意味着每条邻居关系都合适，因此作者利用训练身份构造标签引导的参考特征。亲和矩阵中，不同身份邻居的权重被置零；差异矩阵中，同身份且非自身的邻居权重被置零。掩码之后，各行重新归一化，再计算两个参考分支的特征，使“该聚合谁”和“该与谁保持差异”有更明确的目标。这里保留自身项很重要：差异分支仍然沿用当前特征减邻域特征的结构，而不是随意拼接一份负样本向量。

构造融合参考特征时，作者用真实样本 NNR 替代预测的差异权重。接着用 KL 散度约束实际融合特征与参考融合特征经过分类器后的输出分布；这不是直接对两组特征做欧氏距离回归，也不是逐条边的二分类损失。因而标签监督是通过参考关系生成的分类分布间接作用到关系模块与融合器上。真实 NNR 的替代只发生在训练目标构造阶段，部署时仍由模型预测权重。

损失函数 / 训练策略¶

整体端到端训练由三部分组成：骨干的 Re-ID 损失、融合表示的身份分类损失、NRS 的关系正则化损失。 NRS 既改变训练特征分布，又提供关系目标，不能把它理解成只在最终目标后面增加一个正则项。主文使用 ResNet-50，并采用 AGW 基线的改进；跨模态设置采用 CIFT 基线的 Re-ID 损失。投影 \(\varphi\) 与 \(\varphi'\) 实现为批归一化层，而不是这里额外假设的深层投影网络。

图像大小为 \(384\times192\)，增强包括随机裁剪、水平翻转、随机擦除；跨模态训练还使用随机通道增强。 SGD 训练 120 个 epoch，初始学习率 0.01，采用预热和余弦衰减；批次大小为 64，每批包含 8 个身份。温度参数与噪声强度上限均设为 0.4（原文第 5 节）。主文没有给出各评测模式最终使用的全部近邻参数，不能将单个 \(k\) 视为全文统一设置。

实验关键数据¶

主实验¶

优先选原文表 2 的相同骨干对比，而非把不同表示学习系统的最终分数直接归因于关系模块。指标为 mAP（%，越高越好），采用论文第 5 节的标准 single-query 协议；具体数据划分细节被作者放在补充材料，本地主文未进一步展开。 “原始特征”不使用图库增强，其余列使用同一行骨干的特征及图库信息。

数据集／骨干	原始特征	CA-Jaccard	GCR	ANFI	相对该行最强比较方法的提升
CUHK03／TransReID	75.4	86.9	84.0	88.1	+1.2 个百分点
MSMT17／CLIP-ReID	73.4	86.0	83.5	86.5	+0.5 个百分点
SYSU-MM01／DEEN	71.8	77.2	76.3	79.3	+2.1 个百分点

表内选列来自原文表 2；最强比较方法的判断也核对了未列出的 K-reciprocal 与 Cheb-GR。同骨干控制减少了特征提取差异，但 ANFI 的关系模块需要训练，而重排序方法通常无需训练，因此不是训练成本完全相同的比较。

消融实验¶

以下为原文表 4：Market1501 的标准、1-shot 与困难查询模式，均报告 mAP（%，越高越好）。 1-shot 缩减图库至每身份一张图；困难查询采用基线表现最差的 10% 查询，由基线选取而非由 ANFI 反向挑选。不同模式的图库规模或查询难度不同，不能把列间绝对值当作同一难度下的强弱比较。

配置	标准	1-shot	困难查询
骨干基线	90.3	93.5	65.5
仅亲和关系	94.2	92.5	63.1
亲和＋差异关系	94.8	93.5	65.3
再加噪声模拟	95.1	93.8	65.9
完整 ANFI＋NRS	95.7	94.4	66.1

仅亲和交互在标准模式提升 3.9 个百分点，却在 1-shot 与困难查询中分别下降 1.0、2.4 个百分点。加入差异关系后，这两个困难模式相对仅亲和版本分别回升 1.0、2.2 个百分点，但困难查询仍略低于骨干基线，说明差异分支并非单独解决全部问题。完整 NRS 相对双关系版本再提升 0.9、0.9、0.8 个百分点，支持架构和训练策略的互补作用。

关键发现¶

原文表 3 的七种设置中，ANFI 的相对基线 mAP 变化均为正，但跨域 Market1501→SYSU-MM01 仅为 +0.2 个百分点，不宜夸大成跨域问题已解决。
作者按评测模式调整各方法的近邻相关超参数，因此结果支持“各模式调参后的稳健性”，不是一个固定配置无条件适用所有图库。
原文表 5 在统一 PyTorch 加速环境下报告 Market1501 全查询测试总时间 24.8 秒，其中相对共享骨干的额外开销为 0.3 秒；这是特定硬件和实现下的整批测试，不是单查询延迟。

亮点与洞察¶

错误邻居不必只被删除。 差异分支利用当前样本相对于邻域的残差，给“遇到假阳性时如何交互”提供了不同于继续筛邻居的方向。
监督关系比只监督输出更具体。 标签掩码产生可解释的参考交互，再通过分类分布约束实际输出，把噪声程度与融合行为连接起来。
评测揭示了均值之外的问题。 标准模式中有效的亲和聚合在困难查询上可能有害，按邻域质量分层能暴露这种失效，而不必只讨论总体 mAP。

局限与展望¶

作者明确指出的证据边界： 数据集详细说明、超参数分析、自适应权重分析和更多可视化在补充材料中；当前本地缓存只有 18 页主文与参考文献，无法核验这些额外结果。
阅读判断： 邻域结构仍由初始特征和近邻选择决定。独立投影与残差交互降低了错误传播的影响，但不代表任意差的初始图都能恢复出正确身份结构。
阅读判断： 多模式分别调参及缺少重复试验误差条，使 +0.2 个百分点这类小增益的稳定性仍需进一步验证；此处不能据单个点估计判断统计显著性。
作者的伦理提示： 研究使用公开基准、未收集新的个人数据，也未部署实际系统。现实使用仍需要合法授权、隐私保护、访问控制与偏差审计，基准检索准确率不等同于部署可接受性。

评分¶

新颖性：4/5。将差异交互与亲和聚合统一起来具有明确针对性，但仍建立在已有图交互与残差思想之上。
实验充分度：4/5。覆盖同骨干、跨模态、跨域及困难邻域，并有组件消融；补充材料和统计稳定性仍存在核验缺口。
写作质量：3/5。分析到方法的逻辑较清楚，但本地抽取的部分公式损坏，具体评测与超参数细节需要补充材料。
价值：4/5。对图库上下文检索具有实用启发，尤其提醒不能只用可靠邻域下的平均成绩判断交互模块。