Cambrian-P: Pose-Grounded Video Understanding¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4080
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4404.pdf
领域: 视频理解
关键词: 相机姿态、空间推理、交错训练、帧采样抖动、伪姿态监督

一句话总结¶

Cambrian-P 在视频大模型训练中加入逐帧相机姿态回归，并用交错训练和帧采样抖动协调几何学习与问答，在 VSI-Bench 上将匹配的无姿态基线从 69.2 提升至 73.7，收益主要来自学到的表示而非推理时使用姿态 token。

研究背景与动机¶

视频问答模型能识别物体和动作，却不一定能把不同时间看到的房间局部组织成统一空间。例如，判断两个物体的相对方向或规划转弯，需要区分“相机转了”和“物体移动了”，而不只是识别每帧里有什么。相机的位置和朝向恰好提供了跨视角联系：它们说明不同二维投影来自同一个场景中的哪些观察位置。

已有工作通过空间问答数据、外部三维编码器或重建网络补充几何信息。Cambrian-P 选择更轻量的接口：让语言模型自己的隐藏表示承担相机姿态预测，而非在问答前额外构造完整三维场景。然而，直接加一个回归头并不够。问答常用固定的全片均匀采样，姿态学习却需要变化的起点、时间间隔和更长训练；问答不能随意破坏视觉证据，姿态估计又受益于强增强。这些差异会造成记忆固定轨迹或语义监督失真。

核心 idea：把相机姿态作为训练视频表示的紧凑几何监督，并为姿态学习和问答分别提供合适的采样与监督路径，使模型学会跨帧空间联系，而不要求问答推理始终显式依赖预测轨迹。

方法详解¶

整体框架¶

输入为视频帧与问题，输出为文本答案；训练时，有姿态标注的样本还预测逐帧相机参数。骨干沿用 Cambrian-S：SigLIP2-SO400m 视觉编码器经 MLP 投影连接 Qwen2.5 语言模型。新增的姿态 token 从语言模型读取几何表示，经线性投影和姿态头回归相机参数，再与文本损失共同训练。

下面按结构、监督、训练调度三个层面展示方法。交错训练协调前面的两个目标，图中的输出既包括问答能力，也包括可选的姿态估计能力；它不是“先预测轨迹再把轨迹文本喂给问答”的流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["视频帧与问题"] --> Tokens["姿态 token 与回归头"]
    Tokens --> Loss["尺度感知姿态监督"]
    Labels["真实或伪姿态标注"] --> Loss
    Loss --> Training["交错训练与采样抖动"]
    Input -->|问答监督| Training
    Training --> Output["视频问答 / 姿态估计"]

关键设计¶

1. 姿态 token 与回归头：让同一语言模型承载跨帧几何

每帧视觉 token 后追加一个姿态 token，放在后面是因为语言模型使用因果注意力：这个位置可以读取当前帧以及此前的视觉信息。这里要区分“两个可学习查询”和“每帧一个 token”：第一帧使用查询 \(c_{\mathrm{first}}\)，其余帧共享 \(c_{\mathrm{rest}}\)，并不是每帧追加两个 token。区分首帧的目的，是把所有相机姿态表达在第一台相机的坐标系中，给跨帧比较确定共同参照。

模型提取最后一层中各姿态 token 的隐藏状态，经过线性姿态投影，进入借鉴 VGGT 的姿态头。该头包含四层自注意力和最终线性预测层，输出九维编码：三维平移 \(t_i\)、四维旋转四元数 \(q_i\)、水平与垂直视场角 \(f_i\)。它预测的是相机参数，不是人体姿态，也不是逐像素深度图。视觉语义与几何都经过同一个语言模型，因此姿态损失能改变问答所依赖的共享表示，而不只训练一个独立后处理器。

2. 尺度感知姿态监督：让不同尺度的视频贡献可比梯度

室内扫描、室外驾驶和非度量重建数据的平移数值可能相差很大。若直接相加平移误差，大尺度场景会支配梯度；非度量数据甚至只有任意比例，数值大小没有统一物理意义。本文对平移、旋转和视场角使用加权 L1 监督，但额外处理平移尺度：先用真实轨迹相邻帧距离的平均值归一化平移误差，再对非度量数据做尺度对齐。

令 \(N\) 为采样帧数，真实平移为 \(t_i\)，预测为 \(\hat t_i\)。下式按缓存第 3.2 节相邻文字整理；原式排版提取有损，这里只还原可明确核对的尺度定义，不补写未给出的分量权重数值：

\[ \bar d=\frac{1}{N-1}\sum_{i=2}^{N}\|t_i-t_{i-1}\|_2,\qquad s^*=\begin{cases} 1,&\text{metric},\\ \operatorname{stopgrad}\left(\frac{\sum_i\hat t_i\cdot t_i}{\sum_i\hat t_i\cdot\hat t_i}\right),&\text{non-metric}. \end{cases} \]

平移项据此比较 \(s^*\hat t_i\) 与 \(t_i\)，并除以 \(\bar d\)；旋转和视场角仍分别监督。停止尺度系数的梯度，是为了防止模型利用尺度对齐本身走向退化解，而不是获得真正更好的轨迹。度量数据固定 \(s^*=1\)，不把已知的实际尺度也随意消去。缓存没有明确给出近静止轨迹的数值保护实现，不能据此假定已经处理了所有零分母情形。

3. 交错训练与采样抖动：不让几何增强破坏问答证据

固定均匀采样让同一视频不断对应同一组姿态，模型可能记住配对而没有学会视角变化；直接切成短片训练问答又会遗漏回答所需内容。本文因此在同一批次混合三类样本：仅问答、仅姿态、问答与姿态联合监督。对有姿态标注的样本，按比例 \(\beta\) 扩增额外的姿态训练样本，采用随机起点、动态间隔，以及颜色抖动、模糊和灰度等增强。这些额外样本只计算姿态损失，不强迫模型在证据不完整的情况下仍生成原答案。

问答路径则保留全片均匀采样的整体覆盖，只对采样索引作小幅随机抖动。若视频共有 \(L\) 帧，抖动幅度取 \(\lfloor L\alpha\rfloor\)，每个偏移在该幅度的正负范围均匀采样，然后裁剪并维持索引单调性。这样每次训练不再看到完全相同的帧与姿态，同时不把问答路径变成只覆盖局部片段的姿态路径。这里用 \(L\) 表示视频总帧数，避免与前面的采样帧数 \(N\) 混淆。

同一训练机制也可接收伪姿态。作者从 Cambrian-S-3M 子采样出的 CamS-590K 对应视频出发，先检测镜头切换，用 Qwen3-VL 做质量过滤，再由 VIPE 估计姿态并后过滤，最后将伪姿态作为监督接入交错训练。这个扩展并非推理时调用 VIPE；它把几何训练信号从少量带真实轨迹的室内数据扩展到自然视频。过滤器阈值和伪标签置信度策略在现有缓存中未充分展开。

一个完整示例¶

以论文图 1 中“站在窗边、面向垃圾桶，再前往洗手间”的路线问题为例。问答路径抽取覆盖整个视频的帧，让模型保留窗、垃圾桶和洗手间在不同视角下出现的证据；姿态 token 同时学习相机相对首帧如何平移、转向。姿态专用路径可以抽取更局部的动态片段，用于学连续运动，但不会被要求回答完整路线问题。

训练后的问答模型应能把不同帧中的场景位置联系起来，再判断转弯方向。缓存插图的空间布局不足以可靠重建具体正确选项，因此这里不补写左转或右转答案。更重要的是，表 10 显示问答推理可以移除姿态 token 而保持 VSI-Bench 72.0，这说明上述学习作用不能简单等同于“答案读取了显式轨迹”。

损失函数 / 训练策略¶

训练总目标由回答 token 的交叉熵和姿态回归组成。下面依据原文文字整理总损失；缺少哪类标签就关闭相应损失，而非补造标签：

\[ \mathcal L=\mathcal L_{\mathrm{NTP}}+\lambda_{\mathrm{pose}}\mathcal L_{\mathrm{pose}}. \]

从 Cambrian-S-7B stage 3 开始，沿用 stage 4 配方做端到端微调。AdamW 学习率分别为：语言模型与视觉投影 \(1\times10^{-5}\)，视觉编码器 \(2\times10^{-6}\)，随机初始化的姿态投影与姿态头 \(1\times10^{-4}\)。默认 \(\beta=1\)、\(\alpha=0.005\)、\(\lambda_{\mathrm{pose}}=0.2\)，batch size 为 256，使用 64 张 H200。

视频问答主比较默认只用 VSI-590K。为强化姿态估计的另一组实验额外使用 MapAnything 数据，并改为 \(\beta=20\)、\(\lambda_{\mathrm{pose}}=0.5\)。这组结果与普通问答训练不是同一训练预算，不能把两者所有最佳指标包装成单个统一配置。

实验关键数据¶

主实验¶

下表节选原文表 1、2、3；分数越高越好，提升为相减得到的分数点，不是相对提升百分比。VSI-Bench 平均分混合数值题和选择题的评测结果，不把所有列统一解释为普通分类准确率。

基准 / 子任务	对照	无姿态或对照分数	Cambrian-P	提升
VSI-Bench 平均	Cambrian-S-7B†	69.2	73.7	+4.5
VSI-Bench 绝对距离	Cambrian-S-7B†	53.7	60.1	+6.4
VSI-Bench 相对方向	Cambrian-S-7B†	82.0	89.5	+7.5
VSI-Bench 路线规划	Cambrian-S-7B†	38.7	52.6	+13.9
VSTemporalI-Bench 平均	Cambrian-P w/o Pose	62.4	68.9	+6.5
VSTemporalI-Bench 相机运动方向	Cambrian-P w/o Pose	67.7	87.7	+20.0
MindCube	Cambrian-P w/o Pose	34.3	38.4	+4.1
MVBench	Cambrian-P w/o Pose	51.9	53.5	+1.6

† 表示只在 VSI-590K 微调的 Cambrian-S 对照。VSTemporalI-Bench 单独加入 VLM-3R 数据训练，不与 VSI-590K-only 的域外测试混为一谈。路线规划不在 VSI-590K 训练任务中，其提升是值得关注的任务迁移证据。

消融实验¶

下表摘录原文表 8、10、11；除推理开关外，采用分析部分的 32 帧、每帧 196 个视觉 token 配置。各块是不同消融，不能把行间差异全部解释为单一因素。

实验块	配置	VSI-Bench	ScanNet ATE，越低越好
组件	无姿态基线	67.3	未报告
组件	姿态损失 + 交错训练，无抖动	71.2	0.144
组件	姿态损失 + 抖动，无交错训练	69.4	0.259
组件	姿态损失 + 交错训练 + 抖动	72.0	0.141
推理	训练、推理均保留姿态 token	72.0	未报告
推理	训练保留、问答推理移除姿态 token	72.0	未报告
损失	仅深度监督	69.4	0.371
损失	姿态 + 深度监督	71.7	0.156
损失	仅平移监督	70.7	0.205
损失	仅旋转监督	69.7	0.287

在已有姿态与抖动时加入交错训练，分数从 69.4 到 72.0；在姿态与交错训练基础上加入抖动，则从 71.2 到 72.0。两者均有价值，但这个表没有支持对所有可能组合做完整因果分解。姿态监督比仅深度监督高 2.6 分，二者叠加反而比仅姿态低 0.3 分，说明更密集的几何目标并不自动带来更好的问答表示。

关键发现¶

伪姿态扩展见原文表 4。下表全部使用 128 帧，训练数据固定为 VSI-590K + CamS-590K，因此适合观察逐步增加姿态监督的变化。

姿态监督	有姿态监督比例	VSI-Bench	MVBench	Perception Test	EgoSchema
无	0%	70.9	68.0	66.9	71.2
GT	25%	73.7	67.9	67.8	71.7
GT + Pseudo	48%	73.9	69.3	67.9	73.6

从 GT 到 GT + Pseudo，MVBench 增加 1.4 分，EgoSchema 增加 1.9 分；这支持自然视频伪姿态的实用性，但同时增加了受监督样本比例，不是固定标签数量下的纯标签质量比较。

姿态强化实验中，ScanNet ATE 为 0.078，优于 CUT3R 的 0.096 和 StreamVGGT 的 0.127，但离线 VGGT 为 0.035；TUM-dynamic 与 Sintel 上 Cambrian-P ATE 分别为 0.046、0.239，仍落后于 CUT3R 的 0.045、0.215。这里 ATE 衡量轨迹整体误差，RPE 衡量相邻姿态关系的误差；原文统一使用 Sim(3) 对齐，因此不能据此宣称无对齐的绝对尺度已完全准确。

表 9 的 32/196、64/64、128/64 帧数与 token 配置中，姿态收益分别为 +4.7、+2.8、+2.5 分。帧数和每帧 token 同时改变，不能把全部变化只归因于序列长度。图 5 中远距离物体的相对方向收益为 +10.2 分，近距离为 +2.3 分，支持“改善跨视角全局联系”的解释，但不直接证明内部已经形成显式三维地图。

亮点与洞察¶

监督接口比重建输出更值得迁移。 每帧一个姿态 token 就能把几何学习接入语言模型，且问答收益不要求推理保留它；可以把几何目标看成塑造表征的训练任务，而不是固定的部署依赖。
采样策略本身决定监督是否可信。 姿态片段缺少全局问答证据时，关闭文本损失比继续套原答案更合理；这个原则也适用于动作定位或局部视频裁剪的多任务训练。
紧凑几何信号可能优于更密集目标。 姿态在这里优于深度，不意味着深度普遍无用，而是提示辅助任务应与需要的跨帧关系匹配，不能只按监督密度选择。

局限与展望¶

作者实验揭示的边界： 少数据时，随机初始化姿态头难以收敛；增加姿态训练或视频帧数也并非让问答与姿态误差同步单调改善。训练目标之间仍有预算与容量依赖。
姿态优势有范围： ScanNet 上领先的是流式模型的 ATE，不是所有数据集、所有姿态指标，也不等于完整 SLAM 系统的长期鲁棒性。
笔记分析： 架构新增组件少，不等于总成本低。默认训练使用 64 张 H200，缓存未附上正文所引用的时延附录，无法核对实际推理时间或新增参数量。
监督质量仍有缺口： VIPE 伪姿态依赖筛选；现有缓存没有完整的过滤阈值、噪声分层实验或近静止轨迹数值保护细节。可进一步研究置信度加权和尺度归一化的鲁棒性。
统计与解释边界： 摘录结果未给出多随机种子误差条；远物体收益和推理 token 消融支持表示学习解释，但不能单独证实模型掌握了可靠的全局世界模型。

评分¶

新颖性: 4/5。姿态回归并非新任务，但把轻量几何监督与视频问答的训练冲突一起处理，设计完整。
实验充分度: 4/5。覆盖问答、姿态、组件、损失及伪标签扩展；仍缺少误差条和可核对的完整效率附录。
写作质量: 4/5。训练冲突与消融逻辑清楚，但必须区分主实验、帧数分析和姿态强化配置；缓存公式提取损坏也增加核读成本。
价值: 4/5。提供可迁移的多任务监督思路，同时用推理 token 消融澄清收益来源。