Audio-Visual Continual Test-Time Adaptation without Forgetting¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4051
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4294.pdf
项目: AVReCAP
领域: 模型压缩（持续学习 / 测试时适应）
关键词: 持续测试时适应、视听融合、参数检索、灾难性遗忘、无源域适应

一句话总结¶

AVReCAP 在视听模型持续测试时适应中，用输入统计检索并复用历史融合层参数，而非一直覆盖同一状态；在 VGGSound-2C 上平均准确率达到 43.51%，比不适应的源模型高 6.28 个百分点，并显著缓解源域遗忘。

研究背景与动机¶

视听模型部署后遇到的分布变化往往不同步：画面可能模糊而声音清晰，也可能两路同时受到天气或人群干扰。测试时适应利用当前无标签样本更新模型，试图修复源域学到的跨模态关联。但单域实验通常不能充分反映长期部署：连续经过多个未知域时，之前的错误更新会成为下一次更新的起点，伪标签偏差与模态注意力失衡逐步积累。 READ 已经把更新范围收缩到融合层，仍不能阻止这种沿时间传播的漂移。

论文研究的是无源数据、未知任务边界的在线场景，而非每换一个域就恢复源模型的独立适应。直接保存过去样本做回放不符合这里的约束，永远只保留最新参数又可能丢失曾经有效的融合方式。作者先做了一个有针对性的观察：在某种噪声上适应后的融合层，冻结后迁移到其他噪声甚至其他腐蚀类别，往往仍优于或接近源模型。因此，历史状态不只是应当被覆盖的旧版本，也可能是后续输入更合适的起点。

AVReCAP 将这个观察转化为参数记忆：保存少量融合权重及其对应的原始输入统计，用当前批次寻找统计上相近的历史状态，再继续一步适应。这不是新增音频编码器或识别任务，贡献集中在持续学习中的参数选择、维护与防遗忘，因此按项目分类约定归入模型压缩下的持续学习方向。 核心 idea：把持续适应的起点从“唯一的最新参数”改成“与当前输入分布相近的历史融合参数”，并通过有界缓冲区保留可迁移状态。

方法详解¶

整体框架¶

输入是同步的视频帧与音频谱图，输出是固定类别空间中的分类预测。基础模型为 CAV-MAE：音频、视觉编码器分别产生 token，拼接后经联合编码器进行跨模态融合，再由分类头输出结果。适应只修改联合编码器注意力层的查询、键、值投影矩阵，两个单模态编码器及分类头均冻结。

完整流程包括融合参数快照、双模态统计检索和有界缓冲维护。每个快照绑定一份融合权重与视听输入的均值、对角协方差；检索命中时加载历史权重再适应，未命中时从上一时刻权重继续适应。最后更新命中条目，或写入新条目并在达到预算时合并相近状态；测试样本本身不会进入回放库。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前视频帧与谱图"] --> B["融合参数快照"]
    B --> C["双模态统计检索"]
    C -->|"命中：加载历史权重"| D["冻结编码器与分类头<br/>仅适应融合层"]
    C -->|"未命中：沿用当前权重"| D
    D --> E["有界缓冲维护"]
    E -->|"供后续批次检索"| C
    D --> F["类别预测"]

图中的快照表示维护的状态格式，不意味着首个批次已有历史可检索。启动时缓冲区为空，先用源模型处理第一批并更新融合层，再将这次适应的参数和统计写入首个条目。输出预测与一次在线更新属于同一批处理过程，图并不要求更新后为当前批次额外执行一次前向计算。

关键设计¶

1. 融合参数快照：记住可迁移的跨模态交互，而非复制整套模型

CAV-MAE 的两路编码器各包含 11 个注意力块，联合编码器包含 1 个注意力块。 AVReCAP 沿用 READ 的适应位置，只保存和更新联合注意力的 \(W_Q,W_K,W_V\)，而不是完整编码器或所有归一化参数。这样做的依据不是参数少就必然抗遗忘，而是论文图 3 的迁移实验：在一个目标域适应后的这些矩阵，对未参与适应的域仍有可复用价值。例如，在 Gaussian Noise 上学到的融合状态可迁移到 Shot Noise 与 Impulse Noise；同类之间通常更有利，但跨类迁移也并非完全失效。

每个条目同时记录产生该状态时的输入分布摘要，让后续批次知道这份权重可能适合什么环境。它不是按已知“雨天”“噪声”标签建专家，也不是给每个域训练一个独立模型，因为测试时没有域标签或边界。条目只是由在线统计触发产生的状态锚点，一个条目可以跨多个实际域使用。冻结主干降低了更新对表征的扰动，但真正区别于 READ 的是保留多个可选择的历史起点，而非只限制更新层数。

2. 双模态统计检索：用当前输入选起点，不用模型置信度判断历史状态

随着模型漂移，预测置信度未必可靠；AVReCAP 因而直接在输入空间构建检索描述。视觉端按通道汇总当前批次及空间位置的均值、方差，音频端沿批次和时间轴统计每个频率维度。两路分别近似为对角协方差高斯分布，避免保存原始帧或谱图，也无需为每个候选状态重复执行完整模型推理。这种摘要保留的是低阶统计，不是语义特征或完整视听联合分布。

对每个缓存条目，方法分别计算当前视觉分布和音频分布到历史分布的 KL 散度，再将二者相加。以下写法概括正文中的距离定义；\(P_u^t\) 表示当前批次模态 \(u\) 的高斯近似，\(P_u^n\) 表示缓存条目 \(n\) 的近似：

\[ g^*(t,n)=D_{\mathrm{KL}}(P_a^t\Vert P_a^n)+D_{\mathrm{KL}}(P_v^t\Vert P_v^n). \]

仅在最小距离小于阈值 \(\tau\) 时，才检索对应条目的三个投影矩阵，将其放回联合编码器作为当前适应的起点。如果所有距离都达到或超过阈值，就不强行调用历史状态，而沿用上一时刻的参数。阈值因此同时控制“是否足够相似”和“是否需要新增记忆”，不是直接根据准确率挑选最优专家。

只发生视觉腐蚀时，音频距离可能较小，视觉项会更明显地推动检索；双模态腐蚀则需要两项共同参与。但两项都小并不保证语义和最优权重一致，这仍是经验性代理条件，论文没有给出选择正确状态的理论保证。正文式（5）的排版抽取损坏，笔记采用其相邻文字明确描述的“阈值内最近条目”，不照搬残缺公式。

3. 有界缓冲维护：平滑更新已知环境，把新环境变成未来锚点

检索命中后，模型执行一次适应，再以指数移动平均更新命中条目的权重和输入统计。正文给出的平滑系数通常为 \(\beta=0.99\)，意图是减少单个批次造成的剧烈变化，同时逐步吸收新观察。统计更新被作者称为保留矩的 EMA，不能简单理解为无条件平均两份方差；本地抽取中的式（6）至（8）不完整，因此不补写具体协方差更新式。

没有命中时，先用当前参数完成一步适应，再把当前统计与适应后的权重作为新条目加入缓冲区。为了防止记忆无限增长，达到容量预算 \(\eta\) 时按同样的双模态统计距离寻找最接近的两个条目，平均其对应内容后合并。这种合并把相近状态压缩为一个代表，保留容量给新的变化；它不是按访问次数淘汰，也不是无条件删除最老条目。参数平均是否损害某些域仍是经验问题，实验只表明若干有限预算下可以保持甚至改善平均准确率。

因此，存储成本随快照数量增长而非随历史样本数量无限增长，但每个条目仍包含完整的三个投影矩阵。 “没有保存样本”不等于“只保存几个标量”，也不等于已经获得差分隐私保证。对于部署，条目预算、参数精度和两两比较开销都需要另外核算。

一个完整示例¶

假设模型先遇到视觉高斯噪声，之后遇到另一种噪声；这是说明流程的示例，不是论文新增的定量实验。第一批没有可用记忆，模型冻结两路编码器，只更新融合层，然后保存输入统计与新权重。后续批次若与这份统计足够接近，就从该历史融合状态出发，而不是被迫使用经过其他干扰后可能已经漂移的最新状态。如果新批次两路统计都与现有条目差异较大，则保留当前起点完成更新，并建立新的统计—参数锚点。当缓冲区满时，合并最相近的两个条目，不回放它们对应的视频或音频。整个循环只需要当前无标签批次、冻结主干和参数缓冲区，不需要预先知道噪声类别或切域时刻。

损失函数 / 训练策略¶

适应目标沿用 READ，而不是 AVReCAP 重新设计的一套监督信号。第一项基于每个样本预测概率的最大值，按正文式（10）写为：

\[ \mathcal L_{\mathrm{conf}}=\mathbb E_i[-p_{i,\max}\log p_{i,\max}]. \]

这不同于对完整类别概率向量直接计算样本熵，不能将其简单替换为 TENT 的目标。第二项是基于批次汇总预测的负熵项，与置信度项相加，旨在抑制输出过度集中于少数类别。正文式（11）的类别索引及归一化写法在缓存中不够清晰，此处只说明作用，不擅自给出一个“修复版”损失。

测试时使用 Adam，学习率为 \(10^{-4}\)，批大小为 32；单模态腐蚀取 \(\tau=0.005\)，双模态取 \(\tau=0.01\)。各批次只在线使用一次，跨域不恢复源模型；加载历史快照不等于在域边界执行源参数重置。源模型预先在相应数据集上训练，而适应过程不能访问源数据或目标标签。当前论文没有清晰交代切换权重时如何处理 Adam 的动量状态，复现时不能默认这一实现细节无关紧要。

实验关键数据¶

主实验¶

实验使用 Kinetics50 与 VGGSound 的测试集，所有表中准确率越高越好。单模态设置包括 15 种视觉腐蚀或 6 种音频腐蚀，双模态设置采用 AVRobustBench 的 15 种腐蚀，均为严重度 5。每种腐蚀作用于整个测试集并依次到来，表中报告各腐蚀任务的平均准确率，而不是干净测试集准确率。

数据集与腐蚀	AVReCAP 预算	AVReCAP 准确率（%）	参照方法与准确率（%）	差值（百分点）	原文依据
Kinetics50-C，视觉	50	62.75	SuMi：61.10	+1.65	表 1 上半部
VGGSound-C，视觉	300	56.20	SOURCE / SAR：55.94	+0.26	表 1 下半部
VGGSound-C，音频	400	30.61	PTA：29.26	+1.35	表 2 下半部
VGGSound-2C，双模态	无上限	43.51	SOURCE：37.23	+6.28	图 5b

最后一行特意与未适应的 SOURCE 比较，并不把它称为最佳适应基线；图 5b 的 SuMi 为 37.24%。有限预算结果与无限预算结果不能混成同一部署配置，也不能据此断言每一种腐蚀上都获胜。 BriMPR* 是移除了源数据访问的版本，并不代表原始 BriMPR 在其原有条件下的性能；本文比较的是统一无源条件。

消融实验¶

下表来自原文表 3，比较检索距离而非更换分类器，指标为平均准确率（%，越高越好）。 K50-C 指 Kinetics50-C 的视觉腐蚀，K50-2C 指双模态腐蚀；完整配置数值对应无限预算结果。

检索距离	K50-C 视觉	K50-2C 双模态	检验的问题
均值与标准差的欧氏距离之和	49.47	48.79	不使用 KL 的统计差异
仅视觉 KL	61.53	49.28	不考虑音频统计
仅音频 KL	60.52	49.70	不考虑视觉统计
音频 KL + 视觉 KL	62.37	50.29	完整双模态检索

双模态 KL 相对欧氏距离在 K50-C 上高 12.90 个百分点，说明仅“拥有历史参数”还不够，路由依据明显影响效果。这不等于证明所有任务都应使用 KL：距离的尺度、阈值与统计建模方式共同影响选择行为。

关键发现¶

任务主导模态影响收益：Kinetics50 偏视觉，VGGSound 偏音频；主导模态受损时，改进通常更明显，主导模态保持干净时收益可能很小。
防遗忘不是零遗忘：图 7 将最终适应状态重新用于源测试集；VGGSound-2C 适应后，AVReCAP 的源域准确率下降 2.9 个百分点，READ 下降 27.9 个百分点。
预算不是越大越好：图 8b 报告 VGGSound-2C 在预算 200 时达到 43.90%，高于无限预算的 43.51%，支持相近状态合并有时可起到正则化作用。
阈值解释存在矛盾：第 5.2 节声称更大的阈值产生更大的缓冲区，但第 4.3 节规定仅所有距离都不小于阈值时新增条目；固定统计下，增大阈值应减少新增机会，不能照抄该因果解释。

亮点与洞察¶

改变适应起点比再改一次损失更关键：损失沿用 READ，新增价值在于摆脱单一连续参数轨迹。这把错误积累问题转化为状态保留和选择问题。
统计索引与参数记忆分工清楚：低成本输入统计负责检索，较重的融合矩阵承载历史知识。不必为每个候选状态运行一个完整预测模型。
检索与容量控制共用距离：同一距离决定何时复用、何时新增和何时合并，机制简洁；同时也意味着距离估计偏差会影响多个环节。

局限与展望¶

作者明确的建模假设：使用对角高斯近似输入统计，批次越小，均值与方差估计越容易受噪声影响；作者用批大小实验检查了这一点，但并未证明单样本下同样可靠。
作者设定的范围：主要证据来自固定标签空间、CAV-MAE 和两套腐蚀测试集，任务序列不重复已有域；这不是开放世界新增类别或真实长期自然漂移的完整验证。
阅读者判断：像素或频率统计相似不保证语义相同，且并不刻画完整跨模态依赖；误检索可能把模型带回不合适的状态。
阅读者判断：有限容量不等于低实际显存或低延迟。正文没有充分的端到端时延、参数快照内存和多次随机顺序方差结果，部署收益仍需测量。
证据边界：本地全文含完整方法与主实验，没有附录；若干公式抽取损坏，阈值解释也有内部矛盾。本笔记省略不可可靠恢复的公式，不把标题中的 “without Forgetting” 当作严格零遗忘保证。

评分¶

新颖性: 3.5/5 — 融合层参数记忆与统计检索组合明确，但建立在已有适应层及损失之上。
实验充分度: 3.5/5 — 覆盖单/双模态腐蚀、距离、预算与遗忘，但真实漂移和资源开销证据有限。
写作质量: 3/5 — 整体机制清楚，阈值因果解释与部分实现细节需要进一步澄清。
价值: 4/5 — 对无源视听持续适应提供了可理解、可检验的参数复用思路。