跳转至

🧊 3D 生成与编辑

📷 CVPR2026 · 93 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (8) · 🎞️ ECCV2026 (50) · 🔬 ICLR2026 (23) · 🧪 ICML2026 (5) · 🤖 AAAI2026 (8) · 🧠 NeurIPS2025 (12)

🔥 高频主题: Text-to-3D ×12 · 扩散模型 ×7 · 动态场景 ×6 · 布局/合成 ×5 · 点云 ×4

3D-Fixer: Coarse-to-Fine In-place Completion for 3D Scenes from a Single Image

提出"就地补全"(in-place completion)新范式,将预训练物体级生成先验扩展到场景级,直接在原始位置对碎片化几何进行补全,无需显式位姿对齐,同时构建110K规模场景级数据集 ARSG-110K,大幅超越 MIDI 和 Gen3DSR 等基线。

3D-LATTE: Latent Space 3D Editing from Textual Instructions

3D-LATTE 把指令式 3D 编辑直接搬进一个原生 3D 扩散模型(DiffSplat)的潜空间里做:通过反演源物体得到噪声、再用编辑提示去噪,过程中注入源物体的 3D 自/交叉注意力图来锁住几何与结构,配合几何正则、频率退火和迭代细化,在保持多视角一致的前提下实现了大幅度且精准的几何+外观编辑,定量、GPTEval3D 和用户研究全面超过此前 SOTA。

3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience

提出免训练的 3DrawAgent 框架,让冻结的 LLM 通过"对比经验优化"(contrastive experience optimization)自我学习3D空间推理,以自回归方式生成语言驱动的3D Bezier草图,无需参数更新即可达到接近有训练方法的水平。

ActionMesh: Animated 3D Mesh Generation with Temporal 3D Diffusion

提出 ActionMesh,通过最小化扩展预训练3D扩散模型增加时间轴(时序3D扩散),再用时序3D自编码器将独立形状序列转为拓扑一致的动画网格,仅2分钟即可从视频/文本/3D网格等多种输入生成产品级动画3D网格,在几何精度和时间一致性上均达SOTA。

AnchorFlow: Training-Free 3D Editing via Latent Anchor-Aligned Flows

AnchorFlow 把"免反演 3D 编辑"失败的根因归结为每个时间步都重采高斯噪声、导致潜在锚点(latent anchor)漂移,于是引入一个被源轨迹和目标轨迹共享的全局潜在锚点,用一条松弛的锚点对齐损失把两条轨迹钉在同一参考上,从而在不微调、不用掩码的前提下实现既改得动、又不破坏几何的 3D 形状编辑。

Animator-Centric Skeleton Generation on Objects with Fine-Grained Details

针对现有自动骨架生成(rigging)无法处理复杂结构、又几乎不可控的两大痛点,本文构建了 82,633 个绑定网格的大规模数据集,提出"语义感知 tokenization"和"可学习密度区间"两套机制,让一个基于 OPT-350M 的解码器自回归模型既能给衣裙、长袖、缰绳这种精细结构生成完整骨架,又能让动画师直接控制骨骼密度、并在给定主骨的前提下补全辅助骨。

AniMimic: Imitating 3D Animation from Video Priors

AniMimic 把视频扩散模型生成的单目动画当作运动监督,给一个静态 3D mesh 自动绑骨、用可微渲染优化关节参数把 2D 运动"抬"回 3D,再用可微 FEM 软体仿真补上惯性与弹性,产出可编辑、物理合理、可直接进动画流水线的 4D 序列。

Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation

这篇论文第一次系统地把强化学习引入文本到 3D 自回归生成,从奖励设计、RL 算法、评测基准、RL 范式四个维度逐一拆解,最终提出分层 coarse-to-fine 的 Hi-GRPO 并训练出首个 RL 增强的文本到 3D 模型 AR3D-R1,在 Toys4K 和新基准 MME-3DR 上都超过 Trellis。

ArtLLM: Generating Articulated Assets via 3D LLM

ArtLLM 将铰接物体生成建模为语言生成问题,使用 3D 多模态 LLM 从点云自回归预测部件布局和运动关节参数(离散化为 token),再结合 XPart 生成高保真部件几何,在 PartNet-Mobility 数据集上显著超越现有方法(mIoU 0.69, 推理仅需 19 秒)。

AutoRegressive Generation with B-rep Holistic Token Sequence Representation

BrepARG 首次把 CAD 的边界表示(B-rep)的几何与拓扑编码成一条统一的 token 序列,从而能用 decoder-only Transformer 做 next-token 自回归生成,在 DeepCAD/ABC 上拿到 SOTA,且训练只需 1.2 天、单张 4090 推理一个模型约 1.5 秒。

BrickNet: Graph-Backed Generative Brick Assembly

本文把 LEGO 积木的搭建序列当作"程序"让 LLM 自回归生成,关键是放弃直接回归每块砖的 6-DoF 坐标、改用一种以"连接关系"为一等公民的图支撑参数化(生成树),配合首次构建的 32 万样本大规模人工设计 LDraw 数据集 BrickNet,使生成序列的连通有效步数从 < 50 步提升到 94+ 步。

Choreographing a World of Dynamic Objects

CHORD 把静态 3D 物体当"演员"、把视频生成模型当"编舞", 通过一套为 rectified-flow 视频模型定制的蒸馏目标 + 时空双层级的 4D 运动表示, 仅凭 3D 形状和一句文本就能生成多物体相互交互的、物理合理的 4D 场景动画, 并能直接驱动真实机器人做零样本操控。

Circular-DPO: Aligning Multi-Stage 3D Generative Models via Preference Feedback Loop

针对 Trellis 这类「先生成稀疏结构、再填充局部细节」的两阶段 3D 生成模型,作者用一个「数据回路」把末阶段 DPO 对齐后产生的偏好信号绕过中间不可微的离散化操作、反编码回首阶段去训练,再配合两道噪声过滤权重,让几何与纹理被联合对齐——ImageReward 比 Trellis 基线提升 35.15%、Reward3D 提升 21.44%。

CraftMesh: High-Fidelity Generative Mesh Manipulation via Poisson Seamless Fusion

CraftMesh 把高保真网格编辑拆成"2D 图像编辑 → 图生网格 → 无缝融合"三段式流程,并在 SDF 域用泊松法向融合(几何)+ 泊松纹理协调(颜色)把生成的编辑区域无痕缝合进原网格,在复杂插入/删除/局部编辑任务上全面超越 SDS 类与多视图扩散类基线。

CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

提出CustomTex框架,通过实例级的多参考图像驱动和双蒸馏训练策略(语义级VSD蒸馏+像素级超分蒸馏),实现3D室内场景的高保真、实例可控纹理生成,在语义一致性、纹理清晰度和减少"烘焙阴影"方面全面超越现有方法。

Deep Feature Deformation Weights

本文提出 DFD(Deep Feature Deformation)权重:把预训练 2D 视觉模型的深度特征蒸馏成网格上的神经场,再用「特征相似度」直接定义 handle 的线性混合权重,从而把经典 handle-based 网格变形里需要逐次求解优化的权重计算,变成一次前向 + 特征距离的实时计算,既保留经典方法的细粒度控制与速度,又获得数据驱动方法的语义/对称感知能力,对百万面片网格也能实时变形。

DynamicTree: Interactive Real Tree Animation via Sparse Voxel Spectrum

把真实扫描的 3DGS 树的运动压缩成一组"稀疏体素 + 频域谱",用前馈扩散一次性生成长时网格运动再驱动高斯,既避免了 4D 生成方法的时空不一致、又比 MPM 物理仿真快百倍,还能用这套谱当模态基做约 18ms/帧的实时拖拽交互。

Easy3E: Feed-Forward 3D Asset Editing via Rectified Voxel Flow

提出基于 TRELLIS 3D 生成骨干的前馈式 3D 资产编辑框架,通过 Voxel FlowEdit 在稀疏体素潜空间中实现全局一致的几何形变,并结合法线引导的多视角纹理精修恢复高频细节。

EI-Part: Explode for Completion and Implode for Refinement

EI-Part 提出"先爆炸后收拢"(Explode-Implode)的部件级 3D 生成框架:把分割出的不完整部件炸开到分散状态以腾出空间补全结构,再收拢回紧凑状态把全部分辨率留给细节精修,并在两个状态都用自注意力维持部件间结构一致,最终在 Voxel IoU / CD / F-Score 上全面超过 HoloPart、X-Part、OmniPart 等 SOTA。

Extend3D: Town-Scale 3D Generation

本文提出 Extend3D,一个无需训练的 3D 场景生成流水线,通过扩展预训练物体级 3D 生成模型(Trellis)的体素隐空间并引入重叠 patch 联合去噪、under-noising SDEdit 初始化和 3D 感知优化,从单张图像生成城镇级大规模 3D 场景,在人类偏好和定量评估中均超越现有方法。

FACE: A Face-based Autoregressive Representation for High-Fidelity and Efficient Mesh Generation

FACE 把三角网格生成的"语义粒度"从顶点坐标抬到整个三角面,提出"一面一 token"策略,让自回归 Transformer 处理的序列长度直接缩短 9 倍、压缩比刷到 0.11(前 SOTA 的一半),同时配上 VecSet 编码器把重建质量也做到了 SOTA。

Fast3Dcache: Training-free 3D Geometry Synthesis Acceleration

本文提出 Fast3Dcache,一个面向 3D 扩散模型的无需训练的几何感知缓存框架,通过预测性缓存调度约束(PCSC)根据体素稳定化模式动态分配缓存预算,以及时空稳定性准则(SSC)基于速度和加速度选择稳定 token 进行复用,实现最高 27.12% 的吞吐提升和 54.83% 的 FLOPs 降低,几何质量仅损失约 2%。

FlashMesh: Faster and Better Autoregressive Mesh Synthesis via Structured Speculation

FlashMesh 把大模型里的"投机解码"搬到自回归网格生成上,针对 Hourglass Transformer 的层级结构设计了一套 predict–correct–verify 框架,让模型每步并行预测多个 token 并做几何纠错,在 Meshtron-2B 上实现约 2× 推理加速的同时把 Chamfer Distance 从 0.092 降到 0.089。

GaussianGrow: Geometry-aware Gaussian Growing from 3D Point Clouds with Text Guidance

提出 GaussianGrow,通过从易获取的 3D 点云"生长"3D 高斯来替代从零预测几何+外观的传统方案,利用多视图扩散模型生成一致的外观监督,并通过重叠区域检测+迭代补全机制解决视图融合伪影和不可见区域问题,在合成和真实扫描点云上大幅超越 SOTA。

Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction

Gen3R 把前馈重建模型 VGGT 改造成一个"几何 VAE",让它产出的几何隐变量和预训练视频扩散模型的外观隐变量对齐到同一个隐空间,然后微调视频扩散模型联合生成 RGB 视频 + 全局一致点云/深度/相机,在单图、双图条件下的 3D 场景生成都拿到 SOTA,还能反过来增强重建的鲁棒性。

Grounded Latents for Entity-Centric 4D Scene Generation

LatentWorld 把驾驶场景从"稠密体素体"换成"稀疏的、带 (X,Y,Z) 坐标和语义类别的接地 3D 隐点集",用布局扩散 + 特征扩散生成可编辑的 3D 场景,再用运动扩散驱动这些持久隐点穿越时间,在 CarlaSC 和 Waymo 上拿到 SOTA 的 4D 占据生成质量,尤其大幅减少前景目标的合并/闪烁/分裂伪影。

HiFi-BRep: High-Fidelity Latent Representation for Robust B-Rep Generation

HiFi-BRep 用一个"无填充噪声的拓扑感知编码器 + 单阶段联合解码几何与拓扑的解码器"构建高保真隐空间,把"每条边恰好属于两个面"的流形约束变成可微训练目标,从而在 CAD 边界表示(B-Rep)生成上同时拿到更高的结构有效性、更小的"可编译却不合法"差距,以及 2–7 倍的推理加速。

Hyper-PCN: Hypergraph-Based Point Cloud Completion via High-Order Correlation Modeling

针对点云补全里 Transformer 只能建模成对(pairwise)相关、在缺乏对称先验时补不好复杂结构的问题,Hyper-PCN 首次把超图引入不完整点云,用一个阈值退火的超图细化栈(HyperRS)由粗到细挖掘高阶相关性、再用锚点协同超图(A-HGNN)建模全局多对多关系,在 PCN / ShapeNet-55/34 / MVP 等多个基准上稳定刷新 SOTA。

I-Scene: 3D Instance Models are Implicit Generalizable Spatial Learners

I-Scene 不再用标注好的场景数据集去教模型"东西该摆哪",而是把一个预训练的图像到 3D 实例生成器(TRELLIS)"重编程"成场景级空间学习器——靠场景上下文注意力 + 视图中心空间,让它在前馈一遍里学会推断邻接、支撑、对称等空间关系,甚至只用随机拼出来的无语义场景训练就能泛化到未见布局,全面超过在 3D-FRONT 上训练的 SOTA。

Image-Guided Geometric Stylization of 3D Meshes

给定一张参考图片和一个源 3D 网格,本文用 DreamBooth+LoRA 把参考图的"几何风格"抽成扩散模型权重,再用 SDS loss(配一个近似 VAE 编码器)驱动逐面 Jacobian 形变,通过"由粗到精 + 笼形约束 + 可选对称性"让网格在保持原有拓扑与部件语义的前提下,大幅变形以表达参考图的姿态、轮廓等高层几何特征。

Lafite: A Generative Latent Field for 3D Native Texturing

Lafite 把 3D 纹理建模成一个「稀疏隐式颜色场」——先用 VAE 把网格表面采样的彩色点云压成贴着表面的稀疏体素隐码、再解码成可在任意点查询的连续颜色场(重建 PSNR 比此前 SOTA 高 10 dB 以上),然后用整流流(Rectified Flow)在这个隐空间里、以「纯几何隐码」为条件生成新纹理,彻底绕开多视图投影与 UV 展开的接缝/畸变问题。

LAM: Language Articulated Object Modelers

LAM 把"从文本生成铰接物体"重新表述为统一的代码生成任务,让一队由 LLM 和 VLM 组成的专门模块协作——先规划层级结构,再写几何代码、写关节代码并各自跑 VLM 闭环纠错——直接从一句话造出几何与运动学都正确的铰接 3D 物体,无需任何视觉先验或预制 3D 资产,关节预测成功率达 77.1%,远超 Articulate Anything 的 40.3%。

LATTICE: Democratize High-Fidelity 3D Generation at Scale

LATTICE 提出一种半结构化的 3D latent 表示 VoxSet——把 VecSet 那套紧凑的 latent token 锚定到粗体素网格上,从而能给扩散 transformer 注入位置信息;配合"先生成粗结构、再细化几何"的两阶段 pipeline,用纯 transformer 架构把 image-to-3D 模型规模化到 4.5B,同时实现了 3D 生成里少见的 token-level test-time scaling,在重建/生成质量上超过此前 SOTA。

Learning Hierarchical Hyperbolic Mixture Model for Part-aware 3D Generation

把 3D 物体的部件层级语义嵌入双曲空间,提出层级双曲混合模型 H2MM + 一个解耦径向/角向噪声的测地扩散过程 + 一个保持流形几何的高阶黎曼 ODE 求解器,在无条件、类别条件和多模态 3D 生成上同时刷新质量(FID/KID)与速度。

Let it Snow! Animating 3D Gaussian Scenes with Dynamic Weather Effects via Physics-Guided Score Distillation

提出 Physics-Guided Score Distillation 框架,利用物理仿真(MPM)作为运动先验引导 Video-SDS 优化,在静态 3DGS 场景中生成具有物理合理运动和真实感外观的动态天气效果(降雪、降雨、雾、沙尘暴)。

LoG3D: Ultra-High-Resolution 3D Shape Modeling via Local-to-Global Partitioning

LoG3D 把高分辨率无符号距离场(UDF)切成统一的子体素块 UBlock,用"局部 3D 卷积 + 全局稀疏 Transformer"的混合 VAE 分块编解码,再用 Pad-Average 策略消除块边界缝隙,从而把 3D VAE 的可重建分辨率首次推到 \(2048^3\),在重建精度和生成质量上都达到 SOTA。

LoST: Level of Semantics Tokenization for 3D Shapes

提出Level-of-Semantics Tokenization (LoST),按语义显著性排序3D形状token,使短前缀即可解码出完整且语义合理的形状,配合RIDA语义对齐损失和GPT式自回归生成,仅用128个token即显著超越现有需数万token的3D AR方法。

M3DLayout: A Multi-Source Dataset of 3D Indoor Layouts and Structured Descriptions for 3D Generation

构建了多源大规模 3D 室内布局数据集 M3DLayout(21,367 布局、433k+ 物体实例),融合真实扫描、专业设计和程序化生成三种来源,配以结构化文本描述,为文本驱动的 3D 场景生成提供高质量训练基础。

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

MajutsuCity 用一条「文本→场景设计→布局/高度图→资产与材质→场景组装」的四阶段流水线,把自然语言直接变成结构一致、风格可调、可对象级编辑的显式 3D 城市,并配套数据集 MajutsuDataset、编辑智能体 MajutsuAgent 与一套 VLM 评测指标(AQS/RDR),在布局 FID 上比 CityDreamer 降 83.7%、比 CityCraft 降 20.1%。

MANSION: Multi-floor Language-to-3D Scene Generation for Long-horizon Tasks

MANSION 用「分层多智能体 MLLM + 几何约束生长求解器」把一句自然语言变成可在仿真器里直接跑的整栋多层建筑,并把垂直对齐当成硬约束,配套发布了 1000+ 栋楼的 MansionWorld 数据集与跨楼层任务编辑智能体,专门用来压测具身智能体的长程跨楼层规划能力。

MatLat: Material Latent Space for PBR Texture Generation

MatLat 通过微调预训练 VAE 学出一个能容纳 albedo/roughness/metallic 五通道、又最小化偏离原始隐分布的「材质隐空间」(MatVAE),再配「对应感知注意力 + 局部性正则化」保证多视图一致,从而给定 3D 网格生成高质量可重光照的 PBR 纹理。

Mesh-Pro: Asynchronous Advantage-guided Ranking Preference Optimization for Artist-style Quadrilateral Mesh Generation

提出 Mesh-Pro,首个面向3D四边形网格生成的异步在线强化学习框架,核心算法 ARPO(Advantage-guided Ranking Preference Optimization)通过 Plackett-Luce 排名模型与优势函数加权相结合,在效率(较离线 DPO 快 3.75x)和泛化性上同时取得提升,实现 artist-style 和 dense mesh 的 SOTA 生成质量。

MeshFlow: Efficient Artistic Mesh Generation via MeshVAE and Flow-based Diffusion Transformer

MeshFlow 用一个把顶点位置、法向和「离散连通性」全部编码进连续潜空间的 MeshVAE,配合 Rectified Flow 扩散 Transformer 并行生成所有顶点和边,约 1 秒就能产出艺术家级三角网格,比最快的自回归生成器快约 18 倍且避免量化误差。

MeshMosaic: Scaling Artist Mesh Generation via Local-to-Global Assembly

MeshMosaic 把"整张网格一口气自回归生成"换成"先切块、逐块生成、再无缝拼接"的局部到全局策略,靠共享边界条件 + 逐块独立量化突破了序列长度和量化分辨率两大瓶颈,用 0.5B 小模型就把艺术家网格规模从约 8K 面拉到 10 万面以上,几何保真度和用户偏好都全面超过现有 SOTA。

MeshRipple: Structured Autoregressive Generation of Artist-Meshes

MeshRipple 让自回归网格生成像水面涟漪一样从一条「活动生成前沿」向外扩张:通过一种「前沿感知的 BFS 分词」把下一个面的相关上下文锁死在序列尾部,使截断训练窗口天然覆盖到该有的局部邻域,再配合「联合预测面+下一根面」的扩张式解码和一个稀疏全局记忆模块,从根本上缓解了现有方法生成网格时频繁出现的破洞和碎片,在艺术家网格生成上全面超过近期强基线。

MeshWeaver: Sparse-Voxel-Guided Surface Weaving for Autoregressive Mesh Generation

把自回归 Mesh 生成从"逐坐标预测"改成"逐顶点编织",并用一个多层级稀疏体素编码器从表示、预测、约束三个层面把局部几何注入生成过程,拿到 18% 的 tokenization 压缩率、可生成多达 16K 面的网格,并显著提升几何保真度。

MLLMSplat: A 2D MLLM-Powered Framework for 3D Gaussian Splatting Understanding, Generation, and Editing

MLLMSplat 把一个现成的 2D 多模态大模型(OmniGen2)几乎不动权重地"接"到 3DGS 上——用免训练的 3DGS tokenizer 让它理解高斯场景,用一套双旋转位置编码 + 双流解码器把它的 2D 潜在扩散器生成成 3D 一致的高斯,再借一个新视角外推的代理任务把图像编辑能力迁移成单次前向的 3DGS 编辑,在理解/生成/编辑三个任务上同时刷到 SOTA。

mmWaveFlow: Unified Enhancement and Generation of mmWave Human Point Clouds

把"把稀疏毫米波点云补稠密"和"从稠密点云反生成毫米波点云"这两件原本各做各的事,统一成稠密↔稀疏分布之间的一次可逆传输,用流匹配(flow matching)学这条传输路径,并通过跨模态隐空间对齐 + 起点感知(origin-aware)两个模块解决两端分布不对称、路径交叉的问题,单个模型在三个数据集上同时拿下增强与生成两项任务的 SOTA。

Multi-view Consistent 3D Gaussian Head Avatars 'without' Multi-view Generation

MVCHead 只用随机采样的 2D 人脸图像(不要多视角数据、不要 3D 监督、也不生成中间视角),用一个单次前向的状态空间模型直接回归 24 万个 3D 高斯,靠「按多视角漂移主轴对齐的双向扫描」加「SE(3) 多视角评判器」把多视角一致性写进结构本身,在感知质量和纹理/几何一致性上达到 SOTA。

Multimodal Semantic Bias Mitigation for Diverse Text-To-3D Generation

针对文本到 3D 大模型(如 TRELLIS)对提示词格式过度敏感、只盯住少数关键词、难懂复杂提示的「跨模态偏差」问题,本文提出一个「定位—量化—缓解」框架:用 3D 质量评估模型反传梯度在词级定位偏差,再据此用 GPT-4 和外部 3D 生成器构造语义更丰富、视觉更可靠的文本-3D 配对去微调大模型,从而生成更多样、更对齐文本的高质量 3D 内容,在 MATE-3D 与 T³Bench 上超过 8 个 SOTA。

Muses: Designing, Composing, Generating Nonexistent Fantasy 3D Creatures without Training

Muses 是首个免训练、前馈式的奇幻 3D 生物生成框架:它把"一个由老虎身体、龙翅膀、机器人腿、九条狐狸尾巴拼成的不存在生物"这种高度组合的文本,先解析成各部件的 3D 骨架,用图分类 + LLM 推理拼出一副合理的整体骨架,再在 Trellis 的结构化隐空间(SLAT)里按骨架做体素级几何/纹理插值组装,最后用风格一致的纹理编辑收尾,在视觉保真度和文本对齐上大幅超过 DreamBeast、OmniPart 等方法(VQAScore 0.93 vs 0.82)。

MV2UV: Generating High-quality UV Texture Maps with Multiview Prompts

MV2UV 把多视图扩散生成的图像当作"语义提示",在 UV 空间用一个微调过的 SDXL 扩散模型直接生成纹理图,并用像素对齐的 3D 坐标(XYZ)作为跨注意力的位置编码,从而在补全遮挡区域的同时自动化解多视图不一致,在 GSO/DTC 上把 FID 大幅刷低。

NaTex: Seamless Texture Generation as Latent Color Diffusion

NaTex 把"给 3D 网格上色"重新定义成在 3D 空间里直接预测颜色场——用一个几何感知的颜色点云 VAE 把纹理压成有序潜在集合,再用多控制 DiT 做潜在颜色扩散,彻底绕开多视图扩散(MVD)烘焙路线在遮挡、对齐和跨视图一致性上的固有缺陷,在纹理连贯性和对齐上显著超过此前方法。

Native and Compact Structured Latents for 3D Generation

本文是 TRELLIS 原班团队的续作 TRELLIS.2,提出一种从原生 3D 数据直接学习的结构化隐空间表示。其核心是无场(field-free)的全能体素 O-Voxel,用柔性对偶栅格统一编码任意拓扑的几何与 PBR 材质;再配一个稀疏压缩 VAE(SC-VAE)做到 16× 空间下采样,把 1024³ 全纹理资产压成约 9.6K token。最后训练约 4B 参数的三阶段 Flow-matching 模型做图生 3D,在重建保真度、材质质量和生成速度上都大幅超越现有方法。

Nestwork: Conditional 3D Furnished House Layout Generation through Latent Heterogeneous Graph Diffusion

Nestwork 把"房间 + 家具"整套住宅编码成一张异构场景图,在它的潜在空间上训练一个带随机掩码的扩散去噪器,让同一个模型既能从完整语义图、也能从只有拓扑/纯文本描述生成一栋一次性成型、家具齐全的 3D 住宅,并在 3D-FRONT 上把两阶段流水线的 FID 从 41.9 压到 7.3。

NeuROK: Generative 4D Neural Object Kinematics

NeuROK 把"给静态 3D 物体生成物理合理的 4D 形变"这件原本依赖类别专属物理模型的事,改写成"学一个低维潜在运动状态空间 + 在这个空间里用拉格朗日力学解一条 ODE",从而无需任何物理标注、无需类别先验,就能对弹性体、布料、连续体、铰接物等各类物体统一生成 4D 动态,用户研究偏好率达 81%。

NI-Tex: Non-isometric Image-based Garment Texture Generation

提出NI-Tex框架,通过构建3D Garment Videos数据集、基于图像编辑的跨拓扑增强以及不确定性引导的迭代烘焙算法,首次以前馈架构实现了非等距条件下从单图到3D服装PBR纹理的高质量生成。

Omni-3DEdit: Generalized Versatile 3D Editing in One-Pass

Omni-3DEdit 把指令式 3D 编辑从"显式 3D 表示上的迭代优化"搬到多视图潜空间的一次前向传播,用一个基于预训练多视图生成模型 SEVA 的网络 OmniNet 同时支持物体删除/添加/外观编辑,并配一条数据合成管线解决配对数据稀缺,把单次编辑从几十分钟压到约 2 分钟。

PaNDaS: Learnable Shape Interpolation Modeling with Localized Control

PaNDaS 用「源网格上的逐面局部特征 + 目标网格的全局编码」拼出一个变形特征场,喂给基于神经雅可比场的变形生成器,只用整体变形监督训练,却能在测试期通过对全局特征做二值掩码实现任意区域的局部非刚性插值,在手/身体/脸三类网格上同时刷新整体与局部插值精度。

Pano3DComposer: Feed-Forward Compositional 3D Scene Generation from Single Panoramic Image

提出 Pano3DComposer,一个从单张全景图出发的模块化前馈式组合3D场景生成框架,通过即插即用的 Object-World Transformation Predictor(基于 Alignment-VGGT)将生成的3D物体从局部坐标转换到世界坐标,约20秒即可在 RTX 4090 上生成高保真3D场景。

PARSE: Part-Aware Relational Spatial Modeling

PARSE 把"物体之间的关系"从粗糙的语言介词/物体级场景图下沉到部件级几何约束,用一张"部件中心装配图(PAG)"描述场景,再用一个由粗到细的求解器把图实例化成无碰撞、物理合理的 3D 室内场景,并据此造出含部件级接触标注的大规模数据集 PARSE-10K,显著提升 VLM 空间推理与可控 3D 场景生成。

PartDiffuser: Part-wise 3D Mesh Generation via Discrete Diffusion

PartDiffuser 把"逐 token 自回归生成网格"换成"部件间自回归、部件内并行离散扩散"的半自回归框架,用部件感知交叉注意力注入分层几何条件,从而在保证全局拓扑的同时精修局部高频细节,在 Objaverse 上 Chamfer Distance 比次优方法降低约 27%。

PerpetualWonder: Long-horizon Action-conditioned 4D Scene Generation

PerpetualWonder 提出"视觉-物理对齐粒子"(VPP)这一统一表征,把物理粒子和高斯基元双向绑定,配合多视角渐进优化,第一次让混合生成式仿真器形成真正的闭环——使得视频模型的视觉修正能反向更新物理状态,从而支持从单张图像出发、对长时程连续动作做出物理合理的 4D 场景生成。

Photo3D: Advancing Photorealistic 3D Generation through Structure-Aligned Detail Enhancement

Photo3D 用 GPT-4o-Image 把 3D 渲染图增强成"结构对齐、细节逼真"的多视图,构建出配对 3D 几何的 Photo3D-MV 数据集,再用一套 CLIP 感知适配 + DINOv3 语义结构匹配的"宽松细节增强损失"做监督,在不破坏 3D-native 几何的前提下给三类主流 3D 生成范式注入照片级外观,刷到照片真实感 SOTA。

PhysGM: Large Physical Gaussian Model for Feed-Forward 4D Synthesis

首个从单张图像前馈预测3DGS+物理属性(材质类别/杨氏模量/泊松比)的框架,两阶段训练(监督预训练+DPO偏好微调)完全绕过SDS和可微物理引擎,配合50K+ PhysAssets数据集,1分钟内生成高保真4D物理仿真,CLIP_sim和人类偏好率均超越逐场景优化方法。

PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image

给定一张真实场景照片,PhysX-Anything 用一个微调过的 VLM 通过多轮对话直接吐出物体的几何 + 关节结构 + 物理属性,并配套一种把几何 token 数压缩 193× 的体素表示,最终导出能直接丢进物理引擎跑的 URDF / XML 资产。

PointNSP: Autoregressive 3D Point Cloud Generation with Next-Scale Level-of-Detail Prediction

PointNSP 把自回归点云生成从"逐点预测"改成"下一尺度 LoD 预测"——先在低分辨率定全局结构、再逐尺度细化几何,用多尺度 VQVAE + 块状因果掩码的因果 Transformer 实现,从而保持点集的置换不变性,在 ShapeNet 上首次让自回归范式达到生成质量 SOTA,并在参数/训练/采样效率上超过强扩散基线。

PrITTI: Primitive-based Generation of Controllable and Editable 3D Semantic Urban Scenes

PrITTI 用「向量化的物体几何体(cuboid/ellipsoid)+ 栅格化的地面」混合表示替代体素,先用 Layout VAE 把 3D 城市语义布局压成结构化的 2D 隐空间,再训练隐空间扩散 Transformer 做可控生成,在 KITTI-360 上以更低显存、更快推理和更强可编辑性达到 SOTA,并天然支持场景编辑 / inpainting / outpainting / 街景合成等下游任务。

Realiz3D: 3D Generation Made Photorealistic via Domain-Aware Learning

针对"用合成 3D 渲染图微调扩散模型获得 3D 可控性时会丢失真实感"这一痛点,本文用一个轻量的 Domain Shifter(低秩残差适配器)把"域身份(真实/合成)"从"3D 控制信号"里解耦出来,再配合层级感知训练与域重指派把控制力从合成域迁移到真实域,最终在多视图纹理生成与文生多视图任务上同时拿到强 3D 一致性与显著更高的真实感。

Repurposing 3D Generative Model for Autoregressive Layout Generation

LaviGen 把预训练的原生 3D 生成模型「改造」成自回归布局生成器,直接在原生 3D 空间里一个个地摆放物体,让生成的场景布局既物理合理(不碰撞、不出界、不漂浮)又语义连贯,相比 SOTA 物理合理性高 19%、推理快约 65%。

REVIVE 3D: Refinement via Encoded Voluminous Inflated prior for Volume Enhancement

REVIVE 3D 用一个"两阶段、即插即用"的管线,把缺乏 3D 线索的扁平图像(卡通、线稿、平涂插画)先膨胀成一个有体积的"膨胀先验"网格、再在预训练 3D 隐扩散骨干的隐空间里注噪去噪精修,从而生成既有体积感又有局部细节的 3D 网格,并配套提出 Compactness 与 Normal Anisotropy 两个无参考指标来量化"体积"和"表面扁平度"。

RigMo: Unifying Rig and Motion Learning for Generative Animation

RigMo 把"绑定(rig)"和"运动(motion)"统一进一个前馈 VAE:直接从裸网格序列中自监督地学出一组高斯骨骼、蒙皮权重和逐帧 SE(3) 变换,无需任何人工骨架标注,再配一个在其潜空间里跑的 Motion-DiT 做可控运动生成,在重建精度、跨运动泛化和推理速度上都全面超过现有自动绑定与变形 baseline。

SAGE: Scalable Agentic 3D Scene Generation for Embodied AI

SAGE 把 3D 室内场景生成做成一个在 MCP 协议下运行的智能体:它按需调用布局/资产生成器,再用"视觉评审 + 物理评审(Isaac Sim 在环验证)"形成闭环自我修正,产出可直接放进仿真器训练机器人策略的、物理稳定的开放词表场景,并通过多层增强批量扩展数据。

SceneMaker: Open-set 3D Scene Generation with Decoupled De-occlusion and Pose Estimation Model

SceneMaker 把单图 3D 场景生成拆成「去遮挡 / 3D 物体生成 / 位姿估计」三个解耦子任务,分别在图像数据、3D 物体数据、场景数据上各取所长地学到充足的开放集先验——用图像编辑模型微调的去遮挡模型补全被遮挡物体,用带全局/局部注意力的统一扩散位姿模型直接预测每个物体的旋转/平移/尺寸,并自建 200K 开放集场景数据集,从而在室内和开放集场景下同时拿到高质量几何与准确位姿。

SceneTok: A Compressed, Diffusable Token Space for 3D Scenes

SceneTok 把一组多视角图像压缩成一小撮(约 1024 个、32-bit float 仅几万)与空间网格解耦的非结构化场景 token,再用轻量整流流解码器从任意新轨迹采样渲染,并在这个高度压缩的隐空间上训练扩散 transformer,5 秒内完成 3D 场景生成,把渲染与生成两件事彻底解耦。

Sculpt4D: Generating 4D Shapes via Sparse-Attention Diffusion Transformers

Sculpt4D 把一个预训练的 3D 扩散 Transformer(Hunyuan3D 2.1)原生扩展成 4D 生成模型:在 DiT 里插入时序注意力模块,并用一套「首帧锚点 + 时间衰减稀疏掩码」的 Block Sparse Attention 取代昂贵的全时空注意力,在保持几何质量和时序一致性的同时把网络总计算量砍掉 56%,从视频生成出时间连贯的 4D 网格序列。

ShapeR: Robust Conditional 3D Shape Generation from Casual Captures

ShapeR 把随手拍的图像序列经过 SLAM + 3D 检测 + VLM 描述,转成"稀疏点云 + 多视角带位姿图像 + 文字"三路多模态条件,喂给一个 FLUX 风格的整流流(rectified flow)Transformer 去噪 VecSet 隐码,在真实遮挡/杂乱场景下生成度量准确、完整的单物体网格,Chamfer 距离比 SOTA 提升 2.7×。

SPARK: Sim-ready Part-level Articulated Reconstruction with VLM Knowledge

SPARK 从单张 RGB 图像出发,先用 VLM 解析出粗 URDF 参数 + 逐部件参考图 + 开态图,再用带多层注意力的扩散 Transformer 同时生成部件级与整体网格,最后用可微正运动学优化关节参数,端到端造出可直接进物理引擎的"仿真就绪"关节物体,URDF 各项误差比此前方法降低 60%+。

SwiftTailor: Efficient 3D Garment Generation with Geometry Image Representation

提出两阶段轻量框架SwiftTailor,通过PatternMaker预测缝纫样板 + GarmentSewer将其转换为统一UV空间的Garment Geometry Image,结合逆映射与动态拼接直接生成3D服装网格,推理速度比现有方法快数十倍且达到SOTA质量。

Text–Image Conditioned 3D Generation

本文发现图像条件和文本条件在3D生成中提供互补信息——图像给出精确外观但受视角限制,文本提供全局语义但缺乏视觉细节——并提出TIGON,一个最小化双分支DiT基线,通过零初始化跨模态桥(early fusion)和步级预测平均(late fusion)实现联合文本-图像条件的原生3D生成。

TEXTRIX: Latent Attribute Grid for Native Texture Generation and Beyond

TEXTRIX 把 3D 纹理表示成一张"原生 3D 属性栅格"(稀疏体素场,每个体素存颜色/语义/PBR),用带稀疏注意力的扩散 Transformer 直接在体素空间里给模型上色,从根上绕开了多视图融合的接缝和 UV 展开的碎片化问题;同一套架构换个预测目标就能做高精度 3D 零件分割,两项任务都拿到 SOTA。

Think-Then-Generate: Structural Chain-of-Thought Reasoning for Consistent 3D Generation

Thoughtful3D 把 Chain-of-Thought(CoT)推理引入 SDS 式 3D 生成,用「先想后画」的双阶段结构化推理——生成前用 3DBlueprint-CoT 解析语义并把复杂提示拆成分阶段子目标,生成中用 3DRefine-CoT 多轮反思-纠正渲染瑕疵,再配一条跨视图语义外观对齐损失——显著缓解多视图不一致与 Janus 多面/引导坍塌问题,在 text-to-3D 和 image-to-3D 上质量与一致性全面提升。

TopoMesh: High-Fidelity Mesh Autoencoding via Topological Unification

提出 TopoMesh,通过将GT网格和预测网格统一到 Dual Marching Cubes (DMC) 拓扑框架下,首次实现了顶点和面片级别的显式对应,从而支持直接网格级别监督(拓扑、顶点位置、面法向量),F1-Sharp 指标比现有SOTA提升 5.9-7.1%,尤其在锐利特征保持上优势显著。

TouchDream: 3D Object Completion through Imagined Touch

TouchDream 用一个条件扩散模型在物体表面"想象"出触觉信号——从粗点云和采样位姿生成紧凑的触觉隐向量,解码成局部几何并融回点云,从而在不进行任何物理触摸的前提下,为点云补全提供细粒度的局部几何引导,在 PCN / ShapeNet55-34 / KITTI 上均取得 SOTA。

Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation

Track4DGen 把一个基础点追踪器(CoTracker3)的逐帧点对应关系注入多视角视频扩散模型和 4D 高斯重建的中间特征里,用显式的特征级时序监督压制 4D 资产生成中的外观漂移,在视频生成与 4D 生成两类基准上都超过 Animate3D 等基线。

UniPart: Part-Level 3D Generation with Unified 3D Geom-Seg Latents

UniPart 提出 Geom-Seg VecSet——一种把整体几何和部件分割统一编码进同一潜空间的表示,并基于它搭了一个两阶段隐式扩散框架:第一阶段联合生成整体几何 + 部件潜分割,第二阶段用「全局坐标空间 + 归一化规范空间」双空间扩散逐部件生成高保真网格,在部件几何质量和分割可控性上超过 X-Part、OmniPart 等一众方法。

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

UniTEX 用一个两阶段框架给任意 3D 网格"上色":第一阶段用 LoRA 高效微调大规模 2D 扩散 Transformer(Flux)生成六视角无光照贴图,第二阶段抛弃传统 UV 贴图、改用一个直接在 3D 空间回归纹理的 Large Texturing Model(LTM),配合把表面颜色外扩成体积场的"纹理函数(Texture Function)"作监督,从而在艺术家网格和 AI 生成网格上都拿到更完整、更高保真的纹理。

VDFE: Difference-Aware 3D Scene Editing with Non-Intrusive Video Diffusion Priors for Multi-View Consistency and Efficiency

VDFE 把文本驱动的 3D 场景编辑拆成「先用视频扩散先验做多视图一致的流编辑、再靠流差精确定位编辑区域、最后只更新该区域的高斯」三步,在不侵入式利用预训练视频扩散模型的前提下,实现了对 3D Gaussian Splatting 场景既精确又高效的可控编辑。

VIAFormer: Voxel-Image Alignment Transformer for High-Fidelity Voxel Refinement

VIAFormer 把"修补残缺含噪体素"定义成一个多视图图像引导的体素修正(Conditioned Voxel Refinement)任务,用 Image Index 给 2D 图像 token 显式赋予 3D 坐标、用 Correctional Flow 直接学"从脏体素到干净体素"的修正轨迹、用 Hybrid Stream Transformer 做双向跨模态融合,在 VFM 输出和合成噪声两类退化上都刷到 SOTA(合成噪声 IoU 提升达 39.1%)。

Voxify3D: Pixel Art Meets Volumetric Rendering

把 3D mesh 转成"乐高/像素块"风格体素艺术:用一个可微的两阶段体素辐射场,先用 DVGO 学出粗几何与颜色,再用六视图正交渲染的像素画监督 + patch 级 CLIP 语义损失 + 调色板约束的 Gumbel-Softmax 离散颜色优化,端到端产出语义清晰、色块干净、可控抽象度(2-8 色、20×-50× 分辨率)的体素艺术(CLIP-IQA 37.12,77.90% 用户偏好)。

WonderZoom: Multi-Scale 3D World Generation

WonderZoom 从单张图像出发,让用户可以交互式地"放大"3D 场景的任意区域,自回归地合成原本不存在的更精细尺度内容(从大地景观一路到瓢虫趴在花瓣上的微观细节),靠一种可增量更新的尺度自适应高斯面元表示 + 一个渐进式细节合成器,在质量和文本对齐上大幅超过现有视频和 3D 世界生成模型。

WorldGen: From Text to Traversable and Interactive 3D Worlds

WorldGen 把"文本 → 一整个可行走、可编辑的 3D 世界"拆成「程序化布局 → navmesh 条件整体重建 → 场景分解 → 逐物体增强」四阶段流水线,用 LLM 驱动的程序化生成器先锁死可通行结构,再借图像生成器与 image-to-3D 先验补全外观与细节,约 5 分钟产出一个可直接塞进游戏引擎、角色能爬能跳的 50×50 米场景。

Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion

提出 Yo'City 多智能体框架,通过"City–District–Grid"层次化规划 + produce–refine–evaluate 等距图像合成环 + 场景图引导扩展机制,实现用户个性化文本驱动的无界 3D 城市生成,在语义一致性和视觉质量上全面超过 SynCity 等现有方法。