CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/jirongli/CapFrame
领域: 几何匹配与定位
关键词: 3D高斯泼溅, 视点定位, 相机姿态优化, 多模态大模型, 构图对齐

一句话总结¶

针对传统3D场景语言引导仅关注目标定位而无法控制构图与视角的痛点，CapFrame提出文本指令视点定位任务，通过两阶段问答式检索初始化候选姿态，并将自然语言解析为几何伪标签指导可微3DGS相机姿态连续优化。

研究背景与动机¶

三维高斯泼溅（3DGS）凭借实时渲染与高视觉保真度，已成为神经辐射场之后三维场景表征与新视角合成的核心技术。然而，在复杂庞大的三维场景中寻找符合人类审美或特定构图意图的虚拟相机视角，目前仍高度依赖繁琐的人工试错与手动调参。随着场景规模的扩大，交互成本急剧攀升。如何通过直观的自然语言指令自动推荐并定位理想的相机视角，成为三维人机交互亟待解决的关键问题。

现有的语言引导三维方法（如LangSplat、LERF以及各类三维轨迹生成方法）主要关注以物体为中心的语义定位或导航，其核心逻辑在于回答“看什么”（目标在何处），却忽略了“怎么看”（即单帧画面的构图与朝向）。真实的人类摄影指令通常高度结构化且富含构图约束，例如指定主体的视角朝向（如正视、左侧视）、画内相对空间布局（如位于画面右侧三分之一处）或相机倾角（如逆时针倾斜20度）。尽管多模态大语言模型（MLLM）展现出强大的空间常识与语义理解能力，但如何将模糊的自然语言描述跨模态映射到三维连续空间中严格的6自由度（6-DoF）相机位姿，依然缺乏有效的技术路径。

该任务面临的本质矛盾在于：连续位姿空间 \(SE(3)\) 的直接全局搜索极易陷入局部极值且计算代价巨大，而自然语言又缺乏可直接用于梯度回传的数值化几何监督信号。本文的核心 idea 是：将文本指令视点定位解构为“检索-翻译-优化”（Retrieve–Translate–Refine）管线，先用多模态问答评估机制从有限训练图像中筛选高质量初始视点，再将语言构图意图翻译为显式几何伪标签（朝向与布局），最终借助 3DGS 的可微投影与光栅化反向传播连续修正 6-DoF 相机位姿。

方法详解¶

整体框架¶

CapFrame 的核心流程分为三个连续阶段：检索（Retrieve）、翻译（Translate）与优化（Refine）。首先，在检索阶段，系统利用训练集图像对连续位姿空间进行离散降维，先通过轻量级全局视觉语言模型筛选候选集，再利用 MLLM 执行细粒度的问答式评估（Question-Evaluation, QE）打分，锁定最佳初始相机姿态；随后，在翻译阶段，MLLM 解析指令中的主体实体、相对朝向偏置与二维边界框布局，结合二维分割与朝向估计工具将其锚定到三维高斯基元与空间几何伪标签；最后，在优化阶段，系统基于可微 3DGS 渲染渲染出主体的可微不透明度掩码，计算布局损失与多项视角朝向损失，直接对 6-DoF 位姿李代数参数进行端到端梯度更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：文本指令 + 3DGS 场景与训练视图"] --> B["语义感知视点检索<br/>FG-CLIP 初筛与 MLLM 问答式评估排名"]
    B --> C["语言到几何伪标签翻译<br/>主体高斯关联 + 目标朝向与构图边界框解析"]
    C --> D["基于可微光栅化的位姿优化<br/>多目标布局与朝向损失反向传播更新 SE(3)"]
    D --> E["输出：精准对齐指令意图的 6-DoF 相机姿态与渲染画面"]

关键设计¶

1. 语义感知视点检索：离散子空间剪枝与细粒度问答式评估 在连续的 \(SE(3)\) 流形中直接从随机位姿优化极易发散或陷入鞍点，而 3DGS 重建所依赖的训练图像位姿集合 \(\mathcal{C}\) 提供了对场景几乎完整的可视覆盖，构成了绝佳的离散初始化空间。为了避免对全量视图逐一调用高算力 MLLM，框架首先使用 FG-CLIP 提取指令文本嵌入 \(f_T\) 与每帧图像嵌入 \(f_{I,i}\)，计算余弦相似度并保留前 \(M \approx |\mathcal{C}|/8\) 个候选位姿。随后，为了解决全局特征在杂乱多物体场景中难以识别细微构图差异的问题，引入问答评估（QE）策略：利用 Qwen3-VL 依据固定提示模板将指令拆解为一系列针对语义存在性与空间布局的具体问答集 \(\mathcal{Q}\)（如“目标主体是否清晰可见？”、“主体是否在画面右侧？”），由模型对候选视图逐一评测打分并取均值，筛选出排名前 \(K=2\) 的最佳视图位姿 \(\mathcal{C}_f\) 作为优化初值。

2. 语言到几何伪标签翻译：主体高斯关联与连续朝向/布局约束构建 自然语言缺乏直接用于梯度优化的数值坐标，必须将其显式投射为可微约束目标。首先进行主体-高斯基元关联（Subject–Gaussian Association）：MLLM 提取关键实体集合 \(\mathcal{O}=\{O_1, \dots, O_n\}\)，利用 Grounded SAM 在顶选视图中检测对应分割掩码 \(M_{ij}^{\text{SAM}}\)，结合 3DGS 渲染深度反投影得到三维空间点云，通过 KNN 检索近邻的高斯基元子集 \(\mathcal{G}_{Q,i}\) 并计算其几何中心 \(\mathbf{C}_{W,i}\)。对于视角朝向，MLLM 推断相对于当前主体的偏航角、俯仰角与翻滚角偏移量 \(\Delta d_i = (\Delta\phi_i, \Delta\theta_i, \Delta\gamma_i)\)，同时借助预训练的 Orient Anything 估计图像中主体的基准朝向，二者叠加得到目标三维朝向向量 \(\mathbf{P}_{W,i}^{\text{orient}}\)。对于画面构图，MLLM 直接预测归一化图像坐标系下的目标二维边界框 \(\mathbf{P}_i^{\text{layout}} = [x_{\min}, y_{\min}, x_{\max}, y_{\max}]\)，并在翻滚角非零时绕中心点旋转调整，构成最终的几何构图标签。

3. 基于可微光栅化的位姿优化：解耦的构图掩码与多源视向引导 有了初始化位姿与几何伪标签后，相机参数更新被建模为李代数增量 \(\tau = [\Delta r, \Delta t]^\top \in \mathfrak{se}(3)\) 的端到端优化，相机外参矩阵按左乘迭代：\(\mathbf{T}_{CW} \leftarrow \exp(\tau) \circ \mathbf{T}_{CW}\)。在布局约束上，为了实现端到端可微，系统仅渲染主体高斯子集 \(\mathcal{G}_{Q,i}\) 得到软不透明度掩码 \(M_i^g\) 与其二维质心 \(\mathbf{C}_{P,i}\)。布局损失包括质心越界惩罚 \(\mathcal{L}_{\text{center}}^i\)、目标框内覆盖最大化项 \(\mathcal{L}_{\text{in}}^i\) 以及框外溢出惩罚项 \(\mathcal{L}_{\text{out}}^i\)：

\[\mathcal{L}_{\text{in}}^i = 1 - \frac{\sum_{(u,v)\in\Omega} M_i^g(u,v) \cdot \mathbb{I}\big((u,v)\in\mathbf{P}_i^{\text{layout}}\big)}{\sum_{(u,v)\in\Omega} M_i^g(u,v) + \epsilon}\]

在朝向约束上，通过重力项 \(\mathcal{L}_{\text{gravity}}\) 保证非倾斜指令下相机竖直（对齐相机上方向与世界坐标系上方向），通过前视项 \(\mathcal{L}_{\text{forward}}^i\) 对齐相机前向光轴与目标主体的目标朝向，并通过视线注视项 \(\mathcal{L}_{\text{look-at}}^i\) 约束相机光轴指向主体中心，使位姿在迭代中精准收敛至指定机位。

损失函数 / 训练策略¶

总优化损失函数为布局损失与朝向损失的加权组合：

\[\mathcal{L} = \mathcal{L}_{\text{layout}} + \mathcal{L}_{\text{orient}}\]

其中布局损失汇聚所有提取的主体：

\[\mathcal{L}_{\text{layout}} = \sum_{i=1}^n \left( \lambda_c \mathcal{L}_{\text{center}}^i + \lambda_{\text{in}} \mathcal{L}_{\text{in}}^i + \lambda_{\text{out}} \mathcal{L}_{\text{out}}^i \right)\]

朝向损失仅作用于具有明确非对称主轴的实体集合 \(\mathcal{O}_w\) 并加入全局相机重力约束：

\[\mathcal{L}_{\text{orient}} = \lambda_g \mathcal{L}_{\text{gravity}} + \sum_{O_i \in \mathcal{O}_w} \left( \lambda_f \mathcal{L}_{\text{forward}}^i + \lambda_l \mathcal{L}_{\text{look-at}}^i \right)\]

位姿优化使用 Adam 优化器，旋转分量学习率设为 0.007，平移分量学习率设为 0.005。权重超参数设为 \(\lambda_c = 1, \lambda_{\text{in}} = 6, \lambda_{\text{out}} = 2, \lambda_g = 2, \lambda_f = 2, \lambda_l = 2\)。最大迭代轮数设为 1500，并基于损失变动幅度设定早停阈值（\(1 \times 10^{-4} \sim 1 \times 10^{-5}\)）。

实验关键数据¶

主实验¶

实验在涵盖室内的复杂多物体场景及室外大范围场景的 38 个真实三维数据集上进行（包括 Mip-NeRF 360、Deep Blending、Tanks and Temples、LERF-OVS 和 DL3DV-10K），共评测 135 条精心设计的复杂构图指令。对比基线包括启发式插值搜索（IVS）、球面采样搜索（SVS）以及适配至单帧定位任务的轨迹生成方法 ChatCam 与 SplaTraj。评测维度涵盖双视觉语言模型相似度（CLIP、SigLIP2）、盲评 MLLM 裁判（GPT-5.4-mini、Gemini-2.5-Flash 的对齐分数 AS 与胜率 WR）以及包含 33 名受试者的用户调研。

方法	CLIP↑	SigLIP2↑	GPT AS↑	GPT WR↑	Gemini AS↑	Gemini WR↑	用户评分↑	用户偏好率↑
SplaTraj	0.241	0.276	3.08	3.0%	2.78	3.0%	—	—
ChatCam	0.258	0.283	3.42	3.7%	3.27	5.2%	—	—
IVS (插值搜索)	0.265	0.396	3.49	5.9%	3.19	8.1%	2.53	5.6%
SVS (球面采样)	0.275	0.435	4.06	14.8%	3.88	16.3%	2.52	16.7%
CapFrame (本文)	0.282	0.448	4.75	72.6%	4.22	67.4%	4.50	77.7%

消融实验¶

消融实验重点验证了位姿连续微调阶段对初值图对齐指标的提升，以及扰动分析中移除各伪标签模块对旋转与平移漂移的影响。

表 1：姿态连续精炼前后 SigLIP2 文本-图像对齐分数在各数据集子集上的对比：

阶段	Mip-NeRF 360	Deep Blending	Tanks & Temples	LERF-OVS	DL3DV-10K	全局表现
Retrieve (初选机位)	0.121	0.274	0.307	0.503	0.393	离散视图受限于已有视角
Refine (梯度优化机位)	0.244	0.406	0.339	0.708	0.500	全面实现显著构图与视角对齐提升

表 2：输入与伪标签敏感性及扰动消融分析（相对于无扰动基准）：

扰动类型	实验配置	旋转偏差 \(\Delta R\)	平移偏差 \(\Delta t\)	\(\Delta\text{CLIP}\)	\(\Delta\text{SigLIP2}\)	说明
文本改写	Paraphrased text	9.61°	0.732	+0.013	+0.032	对指令同义表述具备良好鲁棒性
初始视图质量	Top-3 images 作为初值	8.99°	1.268	-0.014	-0.061	优化可部分纠正次优初值
初始视图质量	Top-5 images 作为初值	13.28°	1.801	-0.018	-0.165	初值过差会增大局部极值风险
伪标签剔除	移除布局伪标签 (Layout)	4.08°	5.701	-0.024	-0.236	平移显著失控，无法满足画幅布局
伪标签剔除	移除朝向伪标签 (Orient)	33.71°	2.312	-0.021	-0.128	旋转严重偏离，无法呈现指定朝向
标签注入噪声	中度噪声扰动 (5-10px / 5-10°)	8.39°	0.219	-0.012	-0.048	整体输出保持稳定，容错率高

关键发现¶

构图与朝向约束高度解耦且相辅相成：扰动分析清晰展示出，去除布局约束导致相机平移误差激增至 5.701，而去除朝向约束则直接导致旋转角误差飙升至 33.71°，二者各司其职，共同确保了主体的空间相对位置与镜头观察角度。
QE 问答机制打破了全局 CLIP 嵌入的瓶颈：在密集遮挡或物体繁多的复杂场景中，纯 CLIP 初筛容易被背景中与文字关键词匹配的无关色块误导，而基于 MLLM 的细粒度多维度属性打分能准确剔除不含指定朝向或遮挡严重视点。
连续优化对离散采样的彻底超越：对比直接在训练集视图或球面上密集采样取最优的做法（SVS/IVS），经过李代数梯度反传优化后的图像在视觉语言指标与盲评测试中优势压倒性明显（在 GPT 裁决中取得了 72.6% 的绝对胜率）。

亮点与洞察¶

将摄影学意图转化为显式可微几何代理：传统方法试图直接拿不具备细粒度几何梯度的 CLIP 损失回传位姿，容易造成画面畸变或陷入局部极小；CapFrame 巧妙引入“布局框+三维朝向向量”作为几何中介，借由 3DGS 自身高效的不透明度掩码光栅化将空间几何梯度平滑传递至相机外参。
动静结合的离散剪枝与连续微调架构：借助离散训练集视角完成高维度非凸搜索空间的粗定位，规避了直接全局非凸优化的鞍点困境；再利用局部连续空间的可微凸性快速下山，兼顾了搜索速度与亚像素级的精细对齐。
跨任务可迁移范式：通过 Grounded SAM 掩码反投影绑定 3DGS 稀疏高斯子集、进而实现无须全场景嵌入的可区分主体渲染思路，为三维交互编辑、特定物体漫游视角规划及机器人机械臂灵巧抓取视点引导提供了通用的即插即用技术范式。

局限与展望¶

流水线对 MLLM 提示敏感与依赖累积：系统在检索评分、实体提取与朝向偏移预测等多个环节串行依赖 MLLM，一旦初始提示解析出现偏航或边界框定位偏差，错误会传导至后续几何约束中，未来可探索自适应提示微调与闭环校验机制。
依赖预训练 2D/3D 视觉工具的鲁棒性：若场景存在严重镜面反射、透明玻璃或极端光照，Grounded SAM 与 Orient Anything 的先验估计可能会失效，进而生成质量低下的高斯子集或伪朝向。
计算开销与交互实时性：优化过程需执行多达 1500 步的渲染与梯度回传，单机耗时仍难以完全满足毫秒级交互式探索，未来可引入轻量化姿态回归网络或二阶位姿优化器进行加速。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次正规化文本指令视点定位任务，通过几何伪标签将摄影美学构图转化为 3DGS 可微约束，设计思路极具开创性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个权威三维基准、38 个真实场景及 135 条结构化指令，结合双 VLM 指标、双 MLLM 裁判盲评、敏感性消融与真实用户评测，证据链完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，数学形式化定义优雅完备，实验图表信息量饱满。
价值: ⭐⭐⭐⭐☆ 为数字资产创作者、虚拟现实漫游及多模态具身智能摄影提供了极具实用价值的落地解法。