How Much Physics Can Vision Learn from Audio? Probing and Distilling Damping Structure¶

会议: NeurIPS 2026
arXiv: 2610.22221
领域: 其他
关键词: 物理常识、声学响应、阻尼特性、跨模态蒸馏、表征探测

一句话总结¶

本文提出探测并蒸馏物体受撞击时反映能量耗散的连续物理品质因数 $Q$，发现音频表征天然蕴含阻尼物理结构（Spearman $\rho=0.73$），而单帧视觉编码器几乎无法线性暴露该信号（$\rho=0.28$）；通过跨模态 InfoNCE 蒸馏与时序动力学扩展，视觉模型在完全未见材质的阻尼排序能力提升至 $0.338$，揭示了视觉感知物理常识的潜力与边界。

研究背景与动机¶

现代大规模视觉模型在外观识别与几何感知任务上已取得显著成功，但在面对物理交互与动力学推理时却频繁暴露出认知短板。例如，机器人面对陶瓷杯与塑料杯时，即使分类模型能给出精确的类别标签，也无法仅凭外观预测落体撞击后的物理发散——陶瓷杯会粉碎破碎，而塑料杯则会弹性弹跳。这种“表象与现实（appearance-reality）”的割裂在当前物理基准中普遍存在，即视觉编码器学到的是物体看起来像什么，而非物体在物理定律支配下会如何运动和形变。

相比之下，冲击声学信号天然受到连续物理守恒定律的严格约束。物体受敲击后的声学瞬态响应由其刚度、密度、几何结构与内部阻尼共同决定，声波振荡的衰减快慢直接映射了材料内部的摩擦耗散与辐射阻尼。然而，既有多模态研究往往停留在类别分类或检索层面，从未定量探测冻结特征中究竟蕴含多少连续物理参数，更未厘清视觉表征能否直接继承这种被声学强绑定的物理结构。

为了定量衡量表征对连续物理动态的理解程度，本文选择无量纲物理品质因数 $Q$ 作为探测目标。品质因数综合了固有共振频率与阻尼衰减率，能够无视尺寸尺度统一表征振荡耗散特性。核心 idea：以声学敲击响应中严密拟合的连续阻尼品质因数 $Q$ 为物理探针，利用冻结音频编码器作为跨模态教师，通过对称 InfoNCE 目标将阻尼动力学几何蒸馏至视觉表征中，并在严格排除材质记忆的留一材质协议下验证视觉物理泛化的有效性。

方法详解¶

整体框架¶

该框架的核心目标是在不接触任何人工标注的 $Q$ 标签的前提下，验证冻结表征对阻尼物理结构的编码能力，并探索视觉表征跨模态吸收物理先验的极限。整体流程分为三个串联阶段：从敲击音频中通过非线性物理衰减模型提取连续物理品质因数 $Q$ 作为评估真值；构建对比探测协议评估多种多模态与视觉冻结特征的物理对齐度；最后利用冻结音频教师网络引导视觉投影头进行跨模态对比表征学习，并在时序输入维度上解耦动力学线索。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["敲击音视频输入<br/>975段视频 / 17类材料"] --> B["声学物理参数拟合<br/>希尔伯特包络 + 阻尼衰减模型"]
    B --> C["物理因数真值确定<br/>共振频率 f0 与阻尼率 β 计算 Q"]
    A --> D["多模态时空编码分支<br/>单帧 / 四帧时序差分视觉与音频输入"]
    D --> E["跨模态对比蒸馏<br/>冻结 PE-AV 音频教师引导冻结 CLIP"]
    C -.->|评估探测| F["严格物理泛化评估<br/>留一材质协议 (True LOMO) 排序"]
    E --> F

关键设计¶

1. 声学物理参数拟合与连续品质因数抽取：从原始瞬态波形中解耦阻尼衰减

为了脱离离散类别标签的束缚，必须从物理第一性原理出发提取客观物理属性。针对敲击音频，系统提取解析信号的幅值（希尔伯特变换包络）获得时域振幅包络 $A(t)$，并采用非线性最小二乘法拟合指数耗散模型： $$A(t) = A_0 e^{-\beta t} + C$$ 其中 $\beta$ 对应阻尼衰减率（约束在 $[0.1, 1000] \text{ s}^{-1}$），常数 $C$ 吸收背景噪声。固有频率 $f_0$ 则通过功率谱在 50 Hz 以上的主导谐振峰提取。据此计算无量纲品质因数 $Q = \pi f_0 / \beta$。$Q$ 值严格衡量物体在振动能量完全耗散前所完成的振荡周期数。为了剔除缺乏单一谐振模式的颗粒/散射介质（如水流、泥土）噪声，流水线强制过滤 $R^2 < 0.8$ 的拟合结果，最终保留 17,958 次高可信敲击数据作为物理基准。

2. 跨模态对比蒸馏与时序动力学解耦：冻结骨干间的隐空间物理对齐

为测试视觉网络能够吸收多少物理结构，系统采用特征级知识蒸馏。教师网络固定为预训练冻结的 PE-AV 音频编码器（其自身线性探测可达 $\rho=0.73$），学生网络采用冻结的 CLIP ViT-L/14。学生端引入轻量三层 MLP 投影头（带 GELU 与 LayerNorm，输出 1024 维）。为使视觉能够观测到物体受击瞬间的弹性形变与反弹振动，视觉输入从单帧扩展为跨越撞击瞬间的四帧图像（时间点为 $-0.1\text{s}, 0\text{s}, +0.1\text{s}, +0.2\text{s}$），将各帧独立 CLIP 编码与连续帧差分特征拼接后送入投影头。训练过程仅更新投影头参数，最小化对称 InfoNCE 损失： $$\mathcal{L}_{\text{InfoNCE}} = -\frac{1}{2B} \sum_{i=1}^B \left( \log \frac{\exp(z_i^v \cdot z_i^a / \tau)}{\sum_j \exp(z_i^v \cdot z_j^a / \tau)} + \log \frac{\exp(z_i^v \cdot z_i^a / \tau)}{\sum_j \exp(z_j^v \cdot z_i^a / \tau)} \right)$$ 其中温度系数 $\tau=0.07$。整个蒸馏阶段不引入任何 $Q$ 标签，强制视觉特征在度量空间与声学能量衰减表征几何对齐。

3. 严格留一材质评估协议（True LOMO）：彻底剥离类别语义假象

在物理属性探测中，池化相关系数（Pooled $\rho$）极易被宏观材质分类所主导（例如只要识别出金属则预测大 $Q$，布料预测小 $Q$，仅凭材质分类中位数即可刷到 $\rho=0.430$）。为验证视觉是否真正掌握细粒度物理差异，本文设计了真正的留一材质协议（True LOMO）：将某一材质完全从探测器以及蒸馏投影头的训练集中剔除。在此协议下，若模型仅记忆材质分类先验，在未见材质内的预测将退化为常数（$\rho$ 归零或未定义）。只有模型学习到基于表象形变、纹理微观结构的广义物理规律，才能在完全未见的材质内部对不同几何体进行准确的阻尼强弱排序。

损失函数 / 训练策略¶

蒸馏训练在 Greatest Hits 的视频级切分训练集（780 段视频，共 22,793 次敲击）上进行，严格隔离测试视频以防声学目标隐式泄露。优化器采用 AdamW，批大小为 256，初始学习率设为 $10^{-4}$，在验证集确定最优配置后训练 2 个 epoch。探测器采用岭回归模型（$\lambda=1.0$），直接将冻结嵌入线性映射到 $\log(Q+1)$，评价指标为预测值与真实值之间的 Spearman 秩相关系数 $\rho$。

实验关键数据¶

主实验¶

各模型在测试集敲击事件上的冻结表征探测性能（$\rho$）及置信区间如下表所示：

模型	输入模态	全局评估 $\rho$ (95% CI)	留一材质 LOMO $\rho$ (95% CI)	特性说明
PE-AV	音频 (Audio)	0.727 [0.707, 0.746]	0.600 [0.528, 0.658]	强物理阻尼表征基准
CAV-MAE	音频 (Audio)	0.701 [0.681, 0.721]	0.595 [0.538, 0.645]	掩码声学自编码器
PE-AV	音视频联合 (Joint)	0.696 [0.676, 0.717]	0.572 [0.505, 0.630]	多模态联合空间
PE-AV	视频单帧 (Video)	0.362 [0.333, 0.393]	0.197 [0.144, 0.245]	对比音视频预训练的视觉分支
DINOv2	图像单帧 (ViT-L/14)	0.271 [0.242, 0.303]	0.239 [0.177, 0.299]	自监督视觉特征
CLIP	图像单帧 (ViT-L/14)	0.281 [0.247, 0.313]	0.227 [0.167, 0.289]	视觉-语言预训练特征基线
CLIP + 时序差分	4帧连续画面	0.298 [0.267, 0.329]	0.285 [0.200, 0.372]	纯视觉时序动力学增益 (+0.051)
CLIP 蒸馏 (Ours)	4帧 + 声学蒸馏	0.440 [0.426, 0.466]	0.338 [0.249, 0.430]	跨模态蒸馏显著超越纯视觉基线

消融实验¶

为了验证蒸馏提升究竟来自跨模态物理对应、参数容量扩张还是单纯的材质分类能力，作者设计了严格的控制对照实验：

控制对比组	评估条件	全局 $\rho$	机制解释与结论
真实材质类别映射	真实标签 $\to$ 类别中位数 $Q$	0.430	仅凭完美类别识别即可达到该分值，凸显全局指标的局限性
CLIP 材质分类器	分类器准确率 45.6% $\to$ 中位数 $Q$	0.279	单帧视觉基线 ($\rho=0.281$) 等价于粗粒度分类识别
纯视觉容量对照	3层 MLP 直接拟合 $\log(Q+1)$ (无声学教师)	0.275	参数量增加无法弥补物理监督，甚至略逊于线性探测 (0.300)
声学匹配对照	打乱音频配对 (Shuffled Teacher, 10.6% 类别重合)	0.359	破坏时空对应后保留部分类别统计，但损失大部分细粒度增益
完整跨模态蒸馏	严格时间对齐的 PE-AV 音频教师 (Matched)	0.466	真实声学瞬态对应带来实质性物理结构迁移 (+0.107)

关键发现¶

阻尼结构在声学中极其丰富，但单帧视觉天然盲目：冻结音频在未见材质上的泛化相关度高达 0.600，而纯视觉单帧在木材、陶瓷、塑料内部的细粒度排序几近于随机猜想（$|\rho| \le 0.19$，CLIP 在金属、陶瓷上分别为 0.06 与 -0.14）。
时序输入贡献了半数增益：将视觉输入从单帧扩展到跨越撞击瞬间的四帧差分特征，在无需任何音频参与的情况下直接将 LOMO 泛化指标从 0.234 提升到 0.285（+0.051），表明视觉漏掉的物理信息中有相当一部分属于肉眼可见的宏观反弹与形变动力学。
蒸馏显著提升了未见材质排序：在最为严苛的 True LOMO 设定下，蒸馏使得 17 类材质中的 15 类取得正向提升，整体指标达 0.338，相比单帧提升 +0.104（Wilcoxon $p=0.002$），相比匹配四帧基线提升 +0.053（$p=0.001$）。

亮点与洞察¶

以无量纲品质因数 $Q$ 作为物理表征探针：打破了过去仅依靠材料语义标签评判物理理解的定式，采用 $Q=\pi f_0 / \beta$ 将离散分类转化为连续动力学测度，使跨尺寸、跨形状的阻尼能量衰减具备了数学可比性。
揭示了全局相关系数指标中的“类别作弊”陷阱：明确指出模型单凭 45.6% 的材质分类准确率就能在全局 $\rho$ 上取得 0.279 的虚高成绩，从而树立了将投影头与探测头双双隔离的 True LOMO 评测标杆。
打乱教师（Shuffled Teacher）实验确立了真实的物理迁移边界：通过对比随机混洗声学对与真实匹配对，严谨量化了容量正则化效应与真正物理动力学迁移的界限，证明了蒸馏增益的主体源自真实的瞬态物理对应。

局限与展望¶

数据集与交互场景较为单一：实验仅依赖 Greatest Hits 数据集中的鼓槌敲击场景（977 个视频），模型学到的究竟是泛化的材料阻尼先验，还是鼓槌敲击特有的外观-声学特定耦合，仍有待在更广阔的开放世界交互中验证。
声学拟合筛选的样本偏置：采用 $R^2 \ge 0.8$ 的指数衰减拟合强制排除了大量无单一谐振模式的颗粒介质（水保留率仅 24%，泥土 36%，砂石 33%），导致蒸馏获得的物理表征在散粒多孔介质上的代表性受限。
物理决策下游任务的闭环检验缺失：目前仅通过线性探针的秩相关系数评估表征质量，尚未在机器人抓取、刚度预测或碰撞轨迹规划等具身控制闭环中验证性能增益。

评分¶

新颖性: ⭐⭐⭐⭐ [首次将连续声学物理品质因数 $Q$ 引入冻结视觉特征的物理常识探测与跨模态蒸馏]
实验充分度: ⭐⭐⭐⭐⭐ [设计了 True LOMO、打乱教师对照、参数容量对照等多重闭环实验，逻辑极为严密]
写作质量: ⭐⭐⭐⭐⭐ [行文严谨自洽，对实验指标陷阱剖析透彻，物理定义与声学拟合流程阐述清晰]
价值: ⭐⭐⭐⭐ [为多模态模型如何理解隐式物理属性提供了扎实的实证参考与评测范式]

控制对比组	评估条件	全局 \(\rho\)	机制解释与结论
真实材质类别映射	真实标签 \(\to\) 类别中位数 \(Q\)	0.430	仅凭完美类别识别即可达到该分值，凸显全局指标的局限性
CLIP 材质分类器	分类器准确率 45.6% \(\to\) 中位数 \(Q\)	0.279	单帧视觉基线 (\(\rho=0.281\)) 等价于粗粒度分类识别
纯视觉容量对照	3层 MLP 直接拟合 \(\log(Q+1)\) (无声学教师)	0.275	参数量增加无法弥补物理监督，甚至略逊于线性探测 (0.300)
声学匹配对照	打乱音频配对 (Shuffled Teacher, 10.6% 类别重合)	0.359	破坏时空对应后保留部分类别统计，但损失大部分细粒度增益
完整跨模态蒸馏	严格时间对齐的 PE-AV 音频教师 (Matched)	0.466	真实声学瞬态对应带来实质性物理结构迁移 (+0.107)