Coarse-to-Real: Generative Rendering for Populated Dynamic Scenes¶

会议: NeurIPS 2026
arXiv: 2601.22301
代码: https://github.com/xxx
领域: 视频生成
关键词: 生成式渲染, 动态人群场景, 粗粒度到真实, 域对冲策略, 隐式时空特征

一句话总结¶

C2R 提出了一种两阶段生成式渲染框架，利用轻量级粗粒度 3D 模拟控制场景布局、运镜轨迹与人群动态，并通过自监督隐式时空特征与“虚实域对冲”策略，将极粗粒度的 3D 代理渲染转化为高质量、强时序一致性的真实城市场景视频。

研究背景与动机¶

在传统计算机图形学（CG）管线中，渲染包含密集人群、复杂群体运动和动态运镜的高保真真实感城市场景极其昂贵。为了达到逼真的视觉效果，管线需要极高面数的建筑与 3D 人体几何体、高分辨率材质贴图、复杂的物理光照解算以及精细调谐的群体运动仿真。这不仅带来极其高昂的制作成本与显存/算力开销，而且即便是顶尖的商业渲染，往往也依然难以完全跨越材质与动态上的“虚实鸿沟（sim-to-real gap）”。

近期基于扩散模型/流匹配的文生视频与图生视频模型展现了强大的真实感生成能力，但在处理多主体复杂交互、长程时序一致性以及稳定相机轨迹时面临严重失控；纯文本提示难以准确定义多人的空间排布和精确运动路径，而单一图像条件生成往往退化到视角单一、缺乏复杂运镜的局限中。另一类视频到视频（vid2vid）或 ControlNet 类方法尝试通过显式几何信号（如逐帧深度图、Canny 边缘、光流或骨骼姿态）进行强几何引导，但这种显式几何信号将几何结构与低级外观深度缠绕，严重限制了生成模型的表达自由度与动态细节幻化能力，甚至导致严重的特征泄露（模型退化为像素重建而非生成渲染）。

本文的关键洞见在于：动态视频生成中最棘手的相机运动、全局空间结构与人群时序连续性，在粗粒度的 3D CG 模拟中几乎是“免费”且极其稳定的；而 3D 渲染中最昂贵的高清纹理、复杂物理光影、细粒度衣物头发褶皱与视觉多样性，却恰好是数据驱动生成先验最擅长的。核心 idea：将粗粒度 3D 模拟解耦为轻量级时空结构代理，通过两阶段训练分离真实感生成先验学习与隐式可控性接地，并借助“虚实域对冲（Synthetic-Real Domain Hedging）”以 99:1 的虚实配比打破粗糙仿真与真实视频间缺乏配对数据的核心瓶颈。

方法详解¶

整体框架¶

C2R 构建于 Wan 2.1 视频基础模型之上，输入为一个仅包含极简低模几何（如方块人、无纹理几何体、粗糙车辆体块）的粗粒度控制视频序列与文本提示，输出为符合该运动与视角的高保真真实感城市场景视频。整体流程包含两大阶段：Stage I 仅在海量真实无配对视频上微调扩散骨干网络，使其学习真实城市场景的物理光影、材质与人群自然运动分布；Stage II 冻结骨干网络，引入自监督视觉特征提取器与轻量级适配器（Adapter），以“虚实域对冲”机制将粗粒度 3D 渲染与真实视频投影到统一的隐式时空特征空间，并通过残差相加注入扩散潜空间，实现可自适应调节幻化程度的粗粒度到真实渲染。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：粗粒度3D控制视频 + 文本提示"] --> B["Stage I：生成分布对齐<br/>海量真实视频微调DiT骨干"]
    B --> C["时空隐式特征提取与HSV解耦<br/>DINOv3特征 + 视频级HSV颜色扰动"]
    C --> D["Stage II：时空控制接地<br/>冻结骨干，训练轻量级Adapter"]
    D --> E["虚实域对冲策略<br/>99%真实视频 + 1%合成配对数据联合优化"]
    E --> F["直接残差潜空间注入与自适应引导<br/>特征逐元素相加 + APG自适应提示采样"]
    F --> G["输出：高保真时序一致真实视频"]

关键设计¶

1. 生成分布对齐：无结构条件的真实感先验预热 由于粗粒度 3D 模拟无法提供真实感外观知识，直接从零开始联合学习结构控制与真实感生成会导致模型难以收敛或被粗糙几何污染。在 Stage I 中，模型冻结 VAE 编解码器 $E, D$ 和 T5-XXL 文本编码器，仅在真实世界街景视频上微调扩散 DiT 骨干参数 $\theta$。采用 Wan 2.1 的流匹配（Flow Matching）形式，将真实视频潜表示 $\mathbf{z}_0 = E(\mathbf{x})$ 与高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$ 线性插值构建扰动潜变量 $\mathbf{z}_t = (1-t)\mathbf{z}_0 + t\epsilon$。DiT 预测速度场 $\mathbf{v}_t = \text{DiT}_\theta(\mathbf{z}_t, t, \mathbf{e}_{\text{text}})$，以速度场均方误差损失驱动优化： $$\mathcal{L}_{\text{FM}} = \mathbb{E}_{\mathbf{z}_0, t, \mathbf{e}_{\text{text}}}\left[\left\|\text{DiT}_\theta(\mathbf{z}_t, t, \mathbf{e}_{\text{text}}) - (\epsilon - \mathbf{z}_0)\right\|_2^2\right]$$ 该阶段让骨干网络预先充分布局与沉淀真实街景中复杂的材质高光、人群穿搭多样性及环境动态，为后续结构控制奠定纯净且强大的生成先验。

2. 隐式时空特征表征与视频级 HSV 解耦：防外观泄露的自适应控制 传统显式几何控制（深度图、轮廓边缘）强行绑定了物体轮廓和外形边界，剥夺了生成模型补充合理几何细节（如飘逸长发、宽松衣物、雨伞等配饰）的自由度。C2R 放弃显式几何提取，转而采用自监督视觉骨干 DINOv3 提取 patch 级隐式表征，按帧提取 $\mathbf{f}_i = \text{DINO}(\mathbf{x}_{\text{ctrl}}^{(i)})$ 并沿时序拼接为时空网格特征 $\mathbf{f}_{1:N}$。DINOv3 特征保留了极强的语义空间布局和动态流向，同时滤除了底层高频像素纹理。更进一步，为彻底阻断真实视频在 Stage II 训练中通过控制分支“抄答案”泄露原始外观，C2R 引入了视频级一致的随机 HSV 色彩解耦变换：在输入控制分支前对视频整体施加一致的色调偏转（$\pm 20^\circ \sim 90^\circ$）以及饱和度和明度缩放（$\pm 15\% \sim 40\%$）。这一机制迫使 Adapter 仅关注时空拓扑与动态轨迹，而无法依赖颜色与纹理特征。这也带来了自然的自适应能力：当输入极粗糙时，隐式特征仅提供高级结构框架，模型自由脑补大量细节；当输入几何更精细时，模型则严密贴合输入细节。

3. 虚实域对冲机制：极低配对成本打破数据瓶颈 粗粒度 3D 渲染与真实视频之间存在无法获取真实物理配对数据的核心困境，而纯合成渲染又缺乏真实物理世界的动态与质感。C2R 提出了“虚实域对冲（Synthetic-Real Domain Hedging）”策略：训练数据由 240k 真实街景视频剪辑与仅 1.3k 配对合成视频构成。在 Stage II 中，以 99% 真实视频和 1% 合成配对数据的批次采样比率进行联合优化。合成配对数据（高面数 AAA 渲染与对应简单几何方块人/体块建筑的配对样本）在共享特征空间中充当“锚点（anchor）”，锚定粗糙几何到高质量外观的对应射；而占据绝大多数的真实数据则密布该特征空间，有效防止模型被 CG 风格伪影同化，确保输出严格贴近现实世界视频分布。

4. 轻量级直接残差潜空间注入与自适应引导采样 在控制特征的融合结构上，C2R 经过系统验证摒弃了复杂的每块跨注意力机制（Cross-Attention）或逐层多头投影设计。Adapter $A$ 仅由轻量网络组成，直接将 DINO 时空特征映射至与扩散潜变量维度一致的引导张量 $\hat{\mathbf{z}}_{\text{ctrl}} = A(\mathbf{f}_{1:N})$，并仅注入 DiT 前三分之一的 Transformer 块（主要负责全局结构与布局构建阶段）。特征注入采用极为轻量直接的逐元素残差相加： $$\hat{\mathbf{z}}_t = \mathbf{z}_t + \hat{\mathbf{z}}_{\text{ctrl}}$$ 在推理采样阶段，结合自适应提示词引导（APG, Adaptive Prompt Guidance），在时间步迭代中动态调节文本与控制信号的引导权重，在精确保持运镜、人物轨迹与场景拓扑的同时，允许模型大胆覆盖粗糙几何的颜色与形状，合成自然度极高的细节与次级动态。

损失函数 / 训练策略¶

训练分为两个独立阶段： - Stage I：微调 DiT 骨干，学习率设为 $1 \times 10^{-5}$，使用 AdamW 优化器与混合精度分布式训练； - Stage II：冻结 Stage I 的 DiT 骨干与 DINO 编码器，仅优化 Adapter $A$，学习率设为 $1 \times 10^{-4}$； - 训练规格：视频序列统一抽样为 81 帧、16 fps，分辨率处理为 $832 \times 480$；全局有效批次大小为 32。使用 8 块 NVIDIA H100 GPU 节点进行两阶段训练，总用时约 3 周。

实验关键数据¶

主实验¶

评估在保持统一文本提示与低模方块人（Low-poly Block-based Characters）粗粒度控制视频的严苛设置下展开。采用衡量时空控制与结构编辑一致性的 VE-Bench，以及衡量文本语义生成质量的 VQAScore。与主流受控视频生成算法进行对比：

方法	控制输入类型	VE-Bench (结构可控性) ↑	VQAScore (文本/语义真实度) ↑	总体表现特征
WAN2.1 + ControlNet	粗粒度控制视频直接输入	0.0086	0.0478	无法解析低模方块，生成严重溃散
WAN VACE	深度序列 (Depth Maps)	~0.35	~0.31	强绑定低模刚性轮廓，呈现僵硬塑料感
Control-A-Video	深度序列 (Depth Maps)	~0.28	~0.25	运镜跟踪易丢失，动态画质较差
DaS (Diffusion as Shader)	追踪点 (SpaTracker) + 参考图	~0.42	~0.33	强依赖参考图，易退化为像素重建
Seedance 2.0	粗粒度控制视频直接输入	~0.38	~0.41	单帧画面真实，但运动与轨迹频繁失控漂移
C2R (Ours, 99% Real + 1% Synth)	粗粒度 3D 控制视频 (无辅助预处理)	0.5317	0.3420	轨迹与运镜精确保持，纹理光照逼真且具细节

注：定量指标来自论文消融与对比章节基准设定，C2R 在无需提取深度或追踪点的前提下展现出极佳的控制与生成平衡。

消融实验¶

论文重点对“虚实采样配比”和“特征注入头结构”进行了详尽的定量消融：

配置 / 变体	VE-Bench ↑	VQAScore ↑	详细说明
虚实对冲配比消融
100% 合成数据 (0% Real)	0.4675	0.5242	文本自由度高，但缺乏真实感，且结构控制跟踪变弱
50% 真实 + 50% 合成	0.4370	0.5120	生成偏向 CG 质感，结构控制精度出现低谷
70% 真实 + 30% 合成	0.4560	0.4538	逐渐向真实分布过渡
90% 真实 + 10% 合成	0.5020	0.4438	控制力明显提升，真实材质增强
95% 真实 + 5% 合成	0.4809	0.4262	过渡状态
99% 真实 + 1% 合成 (C2R 默认)	0.5317	0.3420	最佳综合平衡点：强控制力且生成高度拟真细节
100% 真实数据 (0% Synth)	0.8090	0.1743	严重退化：模型死记输入像素，失去文本幻化能力
控制注入设计消融
0 head (直接残差相加, C2R 默认)	0.5317	0.3420	无额外可学投影头，零额外推理显存，控制与细节均衡
1 head (单共享投影控制头)	0.5837	0.3536	参数略增，指标接近，无显著优势
10 heads (每块独立控制头)	0.7893	0.0046	容量过剩导致过拟合，模型退化为控制信号记忆重构

关键发现¶

虚实域对冲的 99:1 黄金法则：消融表明，合成配对数据虽必不可少（提供粗粒度到真实细节的几何对应锚点），但仅需 1% 的极小占比即可起到锚定效果；若合成数据比例过高（如 50% 或 100%），模型迅速被 CG 伪影污染且结构遵从度下降；反之，若完全依赖 100% 真实数据，则由于缺乏粗细对应锚点，模型退化为输入视频的平凡复现（VE-Bench 虚高但 VQAScore 崩塌至 0.1743）。
极简残差相加优于复杂多头注意力：向 DiT 块注入 DINO 隐式控制特征时，直接将 Adapter 输出逐元素加在潜变量上（0 head）最为高效鲁棒；增加过多独立投影头（10 heads）会导致容量过剩，引发严重的控制信号强记忆与过拟合。
HSV 解耦的关键作用：定性消融证实，缺失 HSV 色彩扰动时，控制分支会向潜变量泄露低模素材的塑料底色与简单纯色，使得生成画面带有浓厚的低模色块；视频级一致的 HSV 随机扰动迫使模型完全依赖 DINO 的时空拓扑，色彩全由文本与生成先验自由赋予。

亮点与洞察¶

解耦结构确定性与外观随机性：巧妙地将 3D CG 引擎的“结构确定性（运镜轨迹、人体运动、空间碰撞）”与扩散模型的“外观生成力（光线追踪质感、衣物皱褶、微气候）”结合，用最廉价的粗模换取了最难控的运镜与时序稳定性。
虚实数据对冲打破配对僵局：传统思路往往耗费巨资搭建全配对合成集，C2R 证明了通过自监督隐式特征空间 + 1% 极微量配对锚点，即可驯服海量无配对真实视频，极具工业落地实用价值。
天然的粗细自适应泛化能力：该架构对输入资产类型完全无关（Asset-Agnostic），无论是方块人、无材质人形网格、甚至是 Roblox 这类卡通低模游戏视频，均可直接转化为真实街景视频，且能自发修复低模穿模等物理瑕疵。

局限与展望¶

极端稀疏或抽象几何下的歧义性：当输入的 3D 几何过于稀疏（例如仅有极少量的几个点或超大尺度空白地块）时，隐式控制特征不足以消除相机运动与主体轨迹的二义性，容易出现运镜漂移。
非自回归架构的实时性限制：目前模型基于完整的 81 帧离线 Flow Matching 采样，单次生成用时较长，尚无法直接嵌入游戏引擎进行低延迟交互式实时流渲染。
未来方向：探索引入显式速度曲线或稀疏交互轨迹以辅助超稀疏场景；将骨干网络向自回归（Autoregressive）或流式架构扩展以探索实时生成。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 DINO 隐式表征与虚实对冲策略解决粗模到真实视频缺乏配对数据的核心痛点。
实验充分度: ⭐⭐⭐⭐☆ 包含 240k 真实与 1.3k 配对数据的完整训练，详尽的虚实配比与注入结构消融，对比 baseline 丰富。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，方法脉络清晰，图表与附录实现细节完备。
价值: ⭐⭐⭐⭐⭐ 为游戏影视制作、低算力 3D 预演转工业级实景渲染开辟了高可用、低成本的全新范式。