NeurIPS2026 3D 生成与编辑论文解读论文笔记 Text-to-3D 人脸/视线布局/合成扩散模型语义分割

🧊 3D 生成与编辑¶

🧠 NeurIPS2026 · 18 篇论文解读

📌 同领域跨会议浏览： 🎞️ ECCV2026 (50) · 📷 CVPR2026 (93) · 🔬 ICLR2026 (23) · 🧪 ICML2026 (5) · 🤖 AAAI2026 (8) · 🧠 NeurIPS2025 (12)

🔥 高频主题： Text-to-3D ×4

A Unified Framework for Image-to-3D Part Generation via Variable Granularity: FlexPart 提出统一的图像到 3D 部件生成框架，通过门控自适应层归一化（Gated AdaLN）融合点、边界框与掩码等多粒度几何提示，并结合基于可微最优传输的非对称几何引导，实现了单模型下灵活交互与高保真 3D 部件解耦生成。
AEON: Unifying Video and 3D World Models: AEON 提出统一视频与 3D 世界模型的通用生成框架，通过双路域适配器将预训练视频扩散潜空间蒸馏映射至 4D 高斯隐空间，构建兼具高逼真度外观与 3D 一致动力学演化的持久可交互 4DGS 世界。
Controllable Dynamic 3D Shape Generation via 3D Trajectories and Text: 提出 T2Mo 前向动态 3D 形状生成框架，通过结合高层文本语义与稀疏 3D 空间轨迹引导，利用形状扎根轨迹嵌入消除条件泄漏，实现了几何保真且高度可控的逐顶点网格运动合成。
DirectUV: Image-Conditioned UV Texture Generation with Surface-Aware Positional Encoding: DirectUV 在冻结的 Flux VAE 潜在 UV 空间直接生成网格纹理，把三维表面坐标写入各注意力头的旋转位置编码，并将参考图和粗 UV 仅作为条件，在 GSO 上取得 25.13 PSNR、0.9527 SSIM，同时改善跨 UV 岛的一致性与细节。
ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation: ELSA3D 提出基于多尺度八叉树与轻量级自适应路由器的弹性语义锚定机制，通过动态锚点 Token 将文本语义线索精准对齐到特定几何分辨率并写回统一序列，在图像生成3D、文本生成3D与3D描述任务上均取得 SOTA 并降低约一半推理开销。
HilbertGen-3D:Hilbert--Multifractal Conditioning for Topology-Aware 3D Generation: 本文提出面向三维点云扩散生成的 HilbertGen-3D 框架，通过 3D 希尔伯特空间填充曲线将多尺度体素质量测度序列化为保局部的结构特征，并结合配分函数拟合的广义分形维度作为全局宏观几何先验，经由紧凑的感知重采样瓶颈模块注入扩散 Transformer，显著提升了生成点云的全局拓扑一致性与采样多样性。
Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models: 本文提出在几何基础模型（VGGT）的潜在流形上直接进行黎曼流匹配，揭示并严格遵循其多尺度编码器特征构成的四元超球面乘积流形结构，摆脱对显式高斯泼溅、网格或视频VAE的绑定，仅需相对位姿即可生成几何自洽且支持单视角外推的高质量3D新视角与稠密几何。
Mesh BDF: Barycentric Dominance Field for 3D Native Mesh Generation: 提出定义在三角网格表面的连续标量场重心占优场（BDF），将离散拓扑连接转化为类似纹理贴图的连续表面信号，使连续 3D 扩散与流匹配模型能够直接生成高质量、拓扑规整的原生 3D 网格并统一生成 PBR 材质。
MeshFIM: Local Low-Poly Mesh Editing via Fill-in-the-Middle Autoregressive Generation: 提出首个基于 Fill-in-the-Middle（FIM）自回归范式的局部低多边形网格编辑模型 MeshFIM，通过显式边界标记、拓扑位置编码与门控差分几何编码器，实现无缝缝合且保持周围边流结构的高质量局部拓扑重构。
MoCA: Mixture-of-Components Attention for Scalable Compositional 3D Generation: 针对组合式3D生成中全局注意力随部件数量暴涨导致的二次方计算瓶颈，本文提出MoCA，通过轻量级重要性路由选择Top-k关键组件保留全量tokens、并对远端不重要组件进行压缩降维，首次将端到端组合式生成扩展至单样本32个细粒度部件与复杂场景实例。
NeoWorld-Pro: Programming Interactive Scenes from Monocular Images for Embodied Simulation: NeoWorld-Pro 将单目交互场景重建重塑为多模态大模型驱动的程序化代码合成与两级物理在环闭环优化框架，从单张 RGB 图像自动生成具备真实物理动力学与关节可操作性的仿真就绪 USD 场景。
ReGDiff: Guided Diffusion in Regulated Latent Space for Exploring Metamaterial Voxel Geometry: 针对三维超材料微结构生成中物理几何合理性与新颖性难以兼顾的权衡难题，本文提出了 ReGDiff，通过斥力-汇聚机制（RAS）规范自编码器潜在空间分布，并结合推理期短程斥力（SRR）引导扩散采样，实现了高对称性、周期性、连通性且高度多样化的三维体素单胞生成。
Rigel3D: Rig-aware Latents for Animation-Ready 3D Asset Generation: Rigel3D 提出了表面与骨骼耦合的结构化隐空间表达（SLats）及端到端两阶段生成框架，能够从单图直接联合生成具备严密网格、内部运动学骨骼、连续蒙皮权重与开放词表关节语义的高质量可驱动 3D 资产。
Seeing Both the Forest and the Trees: Reusing Holistic 3D Priors for Part-Decomposed Generation: 本文提出 StructParts 框架，通过分段网格脚手架与双坐标系交替注意力机制，直接在整体 3D 生成先验的固有表示空间内协同建模局部部件几何细节与全局装配结构连贯性，以极低的微调算力实现高质量部件级 3D 资产生成与下游免训练编辑。
Seg3DParts: Segmentation-Grounded Controllable Part-Level 3D Generation: Seg3DParts 将外部提供的部件分割分别注入两阶段 3D 生成器，并让各部件潜变量交换结构信息，在保留训练时相对坐标的空间中直接输出独立网格；其优势是可指定分解方式且减少部件互穿，而不是自动发现未知部件。
SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation: SILSA 提出沿三条主轴的滑动窗口切片隐空间（Slice Latents），结合持续同调与 Betti 跃迁切片拓扑监督以及体积锚点格子（VAL）跨轴通信，以固定 384 个紧凑 token 实现高分辨率、拓扑连贯且单阶段的图像到 3D 网格生成。
Thinking in Boxes: 3D Editing in Real Images Made Easy: 论文提出“Thinking in Boxes”范式，将真实单张图像编辑抽象为源与目标3D彩色编码边界框及深度对齐地板的几何映射，利用预训练扩散生成模型单次前向完成物体的平移、旋转、尺度缩放及相机视点变换，兼顾未见区域补全与全局光影一致性。
Velocity-Space 3D Asset Editing: 提出无需微调、反演与空间掩码的原生 3D 编辑框架 VS3D，在整流流 ODE 内部通过动态校准无条件嵌入消除身份泄露、子样本均值外推增强编辑信号，并借助孪生前向残差注入实现几何与材质的高保真局部编辑。