AUTEUR: Language-Driven Cinematographic Framing for Human-Centric Video Generation¶

会议: NeurIPS 2026
arXiv: 2606.01900
OpenReview: https://openreview.net/forum?id=86BxEBOd7Q
论文: https://arxiv.org/abs/2606.01900
领域: 视频生成
关键词: 影视构图, 人体中心视频生成, 相机控制, 领域特定语言, 多模态大模型

一句话总结¶

Auteur 提出了一种以人体为中心的相机运镜参数化表征与影视 DSL，借助微调的多模态大语言模型由自然语言生成稀疏分镜程序，并通过确定性插值解码为连续 6-DoF 轨迹，实现了高保真的人体构图协同运镜。

研究背景与动机¶

生成式视频模型（如 Sora、Wan、Veo）在单镜头视觉真实感与时间连续性上已取得突破性进展，然而具有导演叙事意图的镜头运镜控制依然难以实现。现有的可控相机运动方法主要将相机轨迹视为独立的外参矩阵、Plücker 嵌入或密集点云位移，全部建立在世界空间坐标系（World Space）中。这类几何控制本质上是将相机运动作为像素生成的独立条件输入，导致相机只是在机械地穿过空间，完全与场景内演员的姿态、朝向和动态脱钩。一旦将参考镜头中提取的轨迹迁移到新场景，常常出现演员出画、构图失衡或机位与角色互动毫无关联的尴尬局面。

这种失败的核心矛盾在于：现实中的影视摄影指导（DP）在设计机位时，从不把镜头构想为孤立的世界坐标三维曲线，而是以角色为基准的“影视构图”（Framing）——包括景别（特写、中景、全景）、拍摄角度（平视、仰角、俯视）以及画面空间排布（留白、三分法等）。现有的目标跟踪方法或屏幕投影启发式规则只能勉强保证目标在视野内，却缺乏专业视听语言中演员调度与运镜节奏的深层协同。

为了填补这一鸿沟，本文将视频生成系统从被动的空间记录者转变为具有导演思维的虚拟创作者（Auteur）。核心 idea：以人体局部坐标系构建包含景别、视角、留白等 6 维影视构图参数空间，并离散化为可解释的领域特定语言（DSL），由多模态大模型以“先演员后运镜”的因果时序自回归生成关键帧，再通过确定性闭式几何解码器插值转化为连续 6-DoF 轨迹。

方法详解¶

整体框架¶

Auteur 采用“语言提示词 $\to$ 粗粒度人体轨迹 $\to$ 稀疏影视 DSL 程序 $\to$ 连续 6-DoF 相机轨迹 $\to$ 下游视频生成模型”的两阶段分层架构。系统首先利用微调的多模态大模型（Qwen2.5-VL）根据自然语言描述解析出角色的粗粒度三维运动序列；随后，LLM 扮演虚拟导演角色，在角色运动的约束下，自回归生成描述影视构图关键帧的 DSL 程序；最后，系统通过确定性的几何解码器与轴感知样条插值，将离散 DSL 解码为密集相机轨迹，并输入到诸如 VerseCrafter、Kimodo+VACE 等下游视频生成器中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言提示词 ℓ"] --> B["阶段 1：演员时空轨迹规划<br/>生成粗粒度人体位置与朝向"]
    B --> C["阶段 2：虚拟导演 DSL 规划<br/>自回归生成稀疏影视关键帧程序"]
    C --> D["阶段 3：确定性几何解码与插值<br/>将 DSL 转换为连续 6-DoF 轨迹"]
    D --> E["下游视频生成器<br/>VerseCrafter / Kimodo+VACE"]

关键设计¶

1. 人体中心相机参数化与影视 DSL：用影视语法替代世界坐标 传统世界坐标系 $\mathrm{SE}(3)$ 轨迹无法承载“围绕主角特写”或“保持三分法过肩跟拍”的叙事语义。Auteur 借助 SOMA 参数化人体模型，以演员骨盆位置 $\mathbf{p}_t$、地面朝向偏航角 $\psi_t$ 和身高 $h_t$ 构建局部时空坐标系 $\mathcal{F}_t = (\mathbf{p}_t, \hat{\mathbf{f}}_t, \hat{\mathbf{r}}_t, \hat{\mathbf{z}})$。在此基底上，相机状态被解构为 6 个符合影视工业标准的相对语义轴：机位高度（Camera Level, $\mathrm{CL}$）、注视高度（Look-at Level, $\mathrm{LL}$）、景别尺度（Shot Scale, $\mathrm{SS}$，即演员身高占画面的垂直比例）、构图偏移（Framing Offset, $\mathrm{FO}$，刻画视线留白与三分法）、方位方位角（Orientation Angle, $\mathrm{OA}$）以及荷兰角俯仰（Dutch Angle, $\mathrm{DA}$）。为了让大语言模型稳定生成且贴合视听习惯，连续流形 $\mathcal{K}$ 被量化为离散的领域特定语言（DSL）词表 $\mathcal{V}$（例如景别取值涵盖 $\textsc{ECU}$ 到 $\textsc{EWS}$）。DSL 程序以稀疏关键帧序列 $(\tau_k, \delta_k)$ 呈现，采用“仅指定发生变化轴”的沿用规则（Carry-forward），大幅压缩表征长度并天然支持交互式人类二次编辑。

2. 先演员后相机的因果时序规划：还原电影制作的导演决策流 在影视创作规律中，演员走位（Blocking）先于机位调度，相机的运动节奏必然是对演员动态的因果响应。Auteur 采用两阶段自回归概率分解： $$p_\phi(\mathcal{P}_{\text{act}}, \mathcal{P}_{\text{cam}} \mid \ell) = \prod_{k=1}^{K_a} p_\phi((\tau_k^a, \delta_k^a) \mid \mathcal{P}_{\text{act}}^{<k}, \ell) \cdot \prod_{k=1}^{K_c} p_\phi((\tau_k^c, \delta_k^c) \mid \mathcal{P}_{\text{cam}}^{<k}, \mathcal{P}_{\text{act}}, \ell)$$ 该式第一项首先规划角色的位移与旋转 $\mathcal{P}_{\text{act}}$，第二项则在给定角色完整动线及文本的条件下自回归输出相机运镜 $\mathcal{P}_{\text{cam}}$。这种解耦不仅符合物理世界的因果约束，更使得生成的相机参数具有明确的参考基准；同时，下游使用时可以直接接入现成的角色动画序列，单独调用相机规划生成运镜。

3. 确定性闭式几何解码与流形插值：无幻觉的几何映射 离散 DSL 关键帧通过预定义的查找表 $\varphi$ 映射回连续值后，必须在构图流形 $\mathcal{K}$ 内进行轴感知样条插值，避免直接在 $\mathrm{SE}(3)$ 空间线性插值导致的景别畸变与画面抖动。随后，确定性几何解码器 $\Phi$ 根据内参视场角 $\mathrm{FOV}$ 与纵横比 $\mathrm{AR}$，将状态严格还原为相机在世界坐标中的平移 $\mathbf{T}_t$ 与朝向 $\mathbf{R}_t$： $$H = \frac{h_t}{\mathrm{SS}}, \quad d = \frac{H}{2 \tan(\mathrm{FOV}/2)}, \quad S_f = \mathrm{FO} \cdot (\mathrm{AR} \cdot H)$$ 结合合成的方位角 $\theta = \mathrm{OA} + \psi_t$，相机三维位置直接通过向量闭式解析计算： $$T_t^x = \mathbf{p}_t^x + d \cos\theta - S_f \sin\theta, \quad T_t^y = \mathbf{p}_t^y + d \sin\theta + S_f \cos\theta, \quad T_t^z = \mathrm{CL}$$ 旋转姿态 $\mathbf{R}_t$ 则直接通过从相机指向注视点 $\mathbf{q}_t = (\mathbf{p}_t^x, \mathbf{p}_t^y, \mathrm{LL})$ 的 $\mathrm{LookAt}$ 矩阵叠加荷兰角旋转 $\mathbf{R}_z(\mathrm{DA})$ 得到。整个过程完全数学闭式且可逆，杜绝了几何漂移与端到端回归的黑盒不稳定性。

损失函数 / 训练策略¶

模型基于 Qwen2.5-VL-7B-Instruct 采用 LoRA 微调（rank=128, $\alpha=128$），优化仅作用于多模态融合层与 LoRA 适配器，语言骨干与视觉编码器均保持冻结。训练目标为标准离散 Token 级别的负对数似然损失： $$\mathcal{L}(\phi) = -\mathbb{E}_{\mathcal{D}} \big[\log p_\phi(\mathcal{P}_{\text{act}} \mid \ell) + \log p_\phi(\mathcal{P}_{\text{cam}} \mid \mathcal{P}_{\text{act}}, \ell)\big]$$ 全局 Batch Size 设为 512，采用 BF16 精度、余弦学习率衰减以及 $1 \times 10^{-4}$ 的峰值学习率，在单张 NVIDIA A100 GPU 上训练仅需约 8 小时。

实验关键数据¶

主实验¶

评估在受控诊断基准（Controlled Diagnostic Benchmark）以及真实基准 PulpMotion 上进行。测试指标涵盖朝向一致性（F-Ori）、三分法符合度（F-RoT）、景别准确度（F-Scale）、俯仰精度（F-Tilt）、横滚精度（F-Roll）、出画率（Out-Rate）以及综合构图得分（Auteur-Score）。

方法	F-Ori ↑	F-RoT ↑	F-Scale ↑	F-Tilt ↑	F-Roll ↑	CamF1 ↑	Auteur-Score ↑	Out-Rate (%) ↓
Baseline (静态中心机位)	0.495	0.625	0.695	0.875	0.880	0.000	-	0.00
LAMP (Kizil et al., 2025)	0.451	0.257	0.729	0.832	0.745	0.112	0.603	41.00
PulpMotion (Courant et al., 2026)	0.514	0.351	0.712	0.891	0.839	0.091	0.661	36.20
Auteur (本文)	0.962	0.745	0.888	0.968	0.937	0.623	0.901	5.45
世界坐标 4段拟合 (GT上限消融)	0.499	0.371	0.730	0.675	0.311	0.262	-	0.00
世界坐标 8段拟合 (GT上限消融)	0.500	0.372	0.733	0.674	0.313	0.280	-	0.00

在通用基准 PulpMotion (Mixed 分布) 上，Auteur 同样展现出极强的鲁棒性：出画率从 PulpMotion (MAR) 的 39.5% 和 LAMP 的 7.02% 骤降至 0.01%，镜头平移 F1 达到 54.0，CLaTr 语言-轨迹对齐得分为 48.5。

消融实验¶

针对训练数据配比（程序化生成合成数据 vs. 真实电影片段挖掘数据）的消融实验证明，真实数据对于模型泛化至复杂自然语言 prompt 至关重要。

评估维度	评估子集	仅合成数据 (Synth-Only)	完整模型 (Ours: 合成 + 真实)	说明
位移预测准确率 (Translation)	真实测试集 / 合成测试集	96.4% / 99.5%	97.8% / 99.8%	空间位移解析精度轻微上升
角色航向偏航角 ($\Psi$)	真实测试集 / 合成测试集	93.7% / 98.8%	97.5% / 98.5%	真实语料显著提升动作朝向理解
景别预测准确率 (SS)	真实测试集 / 合成测试集	60.1% / 95.0%	85.8% / 95.2%	关键突破：真实数据避免景别崩塌 (+25.7%)
构图偏移准确率 (FO)	真实测试集 / 合成测试集	86.1% / 99.1%	88.6% / 97.9%	三分法构图理解显著改善
下游渲染贴合度 (VQAScore)	VerseCrafter / Wan2.2 无指导	0.39 (基线)	0.50 (提升 +0.11)	轨迹显著增强了画面指令遵循度

关键发现¶

以人体为中心表征是运镜稳定性的决定性因素：在消融中，即便给予世界坐标系 DSL 直接拟合真值轨迹并享有完美首帧的极端优势，其 CamF1 最高仅有 0.280，而 Auteur 达到了 0.623；这证明世界坐标无法在非线性人体移动中保持构图连续性。
真实电影数据的核心价值在于语义多样性：仅使用合成数据训练的模型在合成测试集上表现优异，但在面对改写和真实世界复杂 prompt 时，景别（SS）预测准确率暴跌至 60.1%，而加入 CondensedMovies 真实数据后回升至 85.8%。
先演员后相机的因果分解不损失精度：与“先相机后角色”或“联合生成”相比，先规划角色的自回归分解不仅保证了解码器存在物理锚点，预测精度（如平移 99.8%、荷兰角 99.8%）也达到或超越替代方案。

亮点与洞察¶

将艺术直觉形式化为可逆数学表达：将百年电影构图理论（景别、注视高度、三分法）映射为以骨盆和朝向为参考基准的欧氏空间流形，并给出闭式反演公式，彻底摆脱了世界坐标轨迹的盲目性。
可解释与人在回路的二次交互控制：由于 DSL 是紧凑离散的符号序列，影视创作者可以在送入扩散模型前人工覆写某个关键帧（如把中景 MS 改为特写 CU），无需重新微调模型或调节抽象的高维潜空间。
极佳的下游生成器即插即用泛用性：输出为标定的 6-DoF 绝对轨迹，既可直接作为 Plücker 坐标送入 VerseCrafter 等显式相机模型，也可渲染出骨骼引导图隐式驱动 VACE 等通用扩散模型。

局限与展望¶

离散关键帧难以捕捉高动态即兴运镜：当前 DSL 基于稀疏关键帧与平滑插值假设，对于手持呼吸感（Handheld Verité）或剧烈动作中的实时连续变焦微调表征能力有限。
缺乏多角色交互复杂调度：目前坐标系严格锚定在单一人体骨盆上，面对双人正反打（Shot/Reverse Shot）或群戏场面时，如何动态切换注视锚点仍未解决。
最终画质受制于下游生成器能力：Auteur 专注于生成完美构图的相机与运动轨迹，生成画面的时序伪影、肢体形变仍取决于外部视频扩散模型的底层性能。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出人体中心影视构图参数化与可微/可逆 DSL，将运镜从被动记录升华为导演视听规划。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖控制诊断基准、跨数据集对比、真实/合成消融、跨渲染器评测及大规模双盲用户研究。
写作质量: ⭐⭐⭐⭐⭐ 视听语法逻辑缜密，数学推导完整严谨，问题陈述与实验对应清晰。
价值: ⭐⭐⭐⭐⭐ 为影视级 AI 视频制作提供了标准化的可控接口，对虚拟制作、游戏镜头规划与专业生成工具具有重要落地价值。