NeurIPS2025 3D 生成与编辑论文解读论文笔记 Text-to-3D 扩散模型点云形状补全少样本学习对抗鲁棒

🧊 3D 生成与编辑¶

🧠 NeurIPS2025 · 12 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (8) · 🎞️ ECCV2026 (50) · 📷 CVPR2026 (93) · 🔬 ICLR2026 (23) · 🧪 ICML2026 (5) · 🤖 AAAI2026 (8)

🔥 高频主题： Text-to-3D ×2 · 扩散模型 ×2

ARMesh: Autoregressive Mesh Generation via Next-Level-of-Detail Prediction: 提出将 3D mesh 生成建模为"由粗到精"的逐级细化过程（next-level-of-detail prediction），通过反转广义网格简化算法（GSlim）获得渐进式细化序列，再用 Transformer 自回归学习，从单个点开始逐步增加几何与拓扑细节生成完整网格。
Cue3D: Quantifying the Role of Image Cues in Single-Image 3D Generation: Cue3D是首个模型无关的图像线索重要性量化框架，通过系统性扰动光照、纹理、轮廓、透视、边缘和局部连续性6种视觉线索，在涵盖回归式/多视图/原生3D生成三大范式的7个方法上揭示了关键洞察：形状意义性而非纹理决定泛化能力，光照比纹理更重要，且模型过度依赖输入轮廓。
From Programs to Poses: Factored Real-World Scene Generation via Learned Program Libraries: 提出 FactoredScenes，将真实世界 3D 场景生成分解为五步因式分解——从合成数据学布局程序库、LLM 生成场景程序、执行程序获得轴对齐布局、程序条件化层次姿态预测、物体检索放置，在卧室上 FID 改善 38.3%、KID 改善 80.4%，人类仅 67% 能区分生成与真实 ScanNet。
GOATex: Geometry & Occlusion-Aware Texturing: GOATex 提出首个遮挡感知的 3D 网格纹理生成框架，通过基于光线投射的 hit level 分层机制将网格分解为由外到内的可见性层，配合法线翻转和残差面聚类的两阶段可见性控制策略以及基于可见性权重的 UV 空间融合，实现了对外表面和被遮挡内表面的高质量纹理生成。
Mesh-RFT: Enhancing Mesh Generation via Fine-Grained Reinforcement Fine-Tuning: 提出 Mesh-RFT 框架，通过拓扑感知评分系统和掩码直接偏好优化（M-DPO）实现面级别的细粒度网格质量优化，显著提升生成网格的几何完整性和拓扑规则性。
Orientation Matters: Making 3D Generative Models Orientation-Aligned: 提出朝向对齐3D物体生成任务，构建了跨1008个类别14832个朝向对齐3D模型的Objaverse-OA数据集，通过微调Trellis和Wonder3D两种主流3D生成框架实现朝向对齐的物体生成，并展示零样本朝向估计和箭头旋转操控两个下游应用。
PhysX-3D: Physical-Grounded 3D Asset Generation: PhysX提出了首个端到端的物理属性驱动3D资产生成范式，包括PhysXNet（首个系统标注了绝对尺度、材料、功能可供性、运动学和功能描述五个维度的物理3D数据集，含26K+对象）和PhysXGen（双分支前馈生成框架，将物理知识注入预训练的3D结构空间中）。
PointMAC: Meta-Learned Adaptation for Robust Test-Time Point Cloud Completion: 提出 PointMAC，首个将元辅助学习和测试时适应（TTA）引入点云补全的框架：通过 Bi-Aux Units（随机掩码重建+噪声去除）提供自监督信号，MAML 对齐辅助目标与主任务，推理时仅更新共享编码器实现样本级精化，在合成/模拟/真实数据上达到 SOTA。
Scaffold Diffusion: Sparse Multi-Category Voxel Structure Generation with Discrete Diffusion: 提出Scaffold Diffusion，将稀疏多类别3D体素视为token序列，使用Masked Diffusion Language Model（MDLM）配合3D正弦位置编码，在条件占用图上生成空间连贯的多类别体素结构，在极端稀疏（>98%背景）的Minecraft房屋数据集上显著优于自回归和传统离散扩散baseline。
SceneWeaver: All-in-One 3D Scene Synthesis with an Extensible and Self-Reflective Agent: 提出SceneWeaver，首个用于3D场景合成的反思型智能体框架，通过标准化可扩展的工具接口统一多种场景生成范式，并利用reason-act-reflect闭环迭代优化，在物理合理性、视觉真实感和语义对齐上全面超越现有方法。
TRIM: Scalable 3D Gaussian Diffusion Inference with Temporal and Spatial Trimming: 提出TRIM（Trajectory Reduction and Instance Mask denoising），一种后训练框架，通过时间维度的轨迹预筛选和空间维度的背景token裁剪来加速3D高斯扩散模型推理，同时提升生成质量，在T3Bench文本生成3D和GSO图像生成3D任务上均优于DiffSplat等基线。
Walking the Schrödinger Bridge: A Direct Trajectory for Text-to-3D Generation: 从理论上证明SDS是Schrödinger Bridge的特例，并基于此提出TraCe框架——在当前渲染和文本条件目标之间构建显式扩散桥，通过LoRA微调学习桥轨迹的score dynamics，在低CFG值下实现高质量text-to-3D生成。