ECCV2026 3D 生成与编辑论文解读论文笔记 Text-to-3D 扩散模型 3D 高斯渲染动态场景布局/合成风格迁移

🧊 3D 生成与编辑¶

🎞️ ECCV2026 · 50 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (8) · 📷 CVPR2026 (93) · 🔬 ICLR2026 (23) · 🧪 ICML2026 (5) · 🤖 AAAI2026 (8) · 🧠 NeurIPS2025 (12)

🔥 高频主题： Text-to-3D ×10 · 扩散模型 ×6 · 3D 高斯渲染 ×5 · 动态场景 ×3 · 布局/合成 ×3

OmniX: From Unified Panoramic Generation and Perception To Graphics-Ready 3D Scenes: OmniX 把预训练的 2D 流匹配模型（Flux.1-dev）改造成「多条件输入 → 多模态输出」的统一全景模型：用循环平移等变的算子改造消掉等距柱面接缝、用模态专属 LoRA 隔离各路条件输入，一个框架同时做图像→全景生成、RGB→距离/法线/反照率/粗糙度/金属度感知与掩码补全，再把距离图与材质图投影成带 PBR 材质的三角网格，得到可直接导入 Blender 做重光照与物理仿真的 graphics-ready 三维场景。
TriFlow: Generating Artist-Like 3D Mesh Topology via Nearest-Vertex Vector Fields: TriFlow 把网格拓扑表示成定义在表面上的最近顶点向量场（NVF，每个表面点指向它所在三角形里重心坐标最大的那个顶点），用条件隐空间流匹配从输入 SDF 生成这个场，再用分水岭聚类加约束 QEM 化简把场无损地提取回网格——绕开了自回归序列建模的慢推理与误差累积，几何误差相对此前最好的学习类方法在 Objaverse 上从 0.98 降到 0.12、单样本推理快约 8 倍，生成的拓扑在 VLM 与人工偏好评测中全面胜出。
Ultra3D: Efficient and High-Fidelity 3D Generation with Part Attention: Ultra3D 先用紧凑 VecSet 确定物体粗布局，再用沿部件边界组织的注意力生成稀疏体素潜特征，在支持 1024 分辨率网格的同时，相对全注意力基线取得部件自注意力 6.7×、DiT 推理 3.3× 的加速。
PixGS: Pixel-Space Diffusion for Direct 3D Gaussian Splat Generation: PixGS 把 3DGS 的每个高斯属性排布成多视角「属性图像」，用预训练像素空间扩散模型（PixNerd，约 4500 万张图像先验）以流匹配方式直接去噪这组属性张量，配上 2 倍超分渲染监督、深度/法线与多尺度 LoG 正则以及三阶段训练课程，在单卡 A100 上约 1 秒完成文本或图像条件的 3DGS 生成，并在 T3Bench 与 GSO 上同时超过 DiffSplat、TRELLIS、GaussianCube、LGM、DreamGaussian 等基线。
TanGO: Training-Free 3D Editing via Tangent-Space Guidance and Optimization: TanGO 把基于 VecSet 潜表示的流匹配 3D 生成模型的文本编辑，写成每一步都要解一次的瞬时单步最优控制问题：用源/目标条件速度场之间逐 token 的方向失配（vMF 负对数似然，即 \(1-\cos\theta_i\)）决定每个 token 的引导增益，闭式解让该改的 token 被强推、该保留的 token 被压住，从而在不需要掩码、不需要微调、也不需要反传优化的前提下完成局部编辑；在自建 TanGOEdit 基准上 CLIP-T/CLIP-I/DINO-I 分别为 0.2301/0.7679/0.6510，全面超过 FlowEdit 与 AnchorFlow，单次编辑耗时约 28.7 秒。
OneWorld: Taming Scene Generation with 3D Unified Representation Autoencoder: OneWorld 摒弃传统的 2D/视频潜在空间生成范式，构建融合外观与语义的 3D 统一表征自编码器并在其几何感知空间中直接扩散生成 3D 高斯泼溅场景，配合跨视角对应约束与流形漂移强化解决多视角一致性与曝光偏差难题。
Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow: Seen2Scene 是首个直接在不完整真实 3D 扫描数据上训练的流匹配场景补全与生成方法，通过显式掩码未知不可见区域的可见性引导流匹配（Visibility-Guided Flow Matching）与稀疏 VAE，在保留观测表面几何的同时高质量补全复杂现实室内场景。
3D Gaussian Texture for Real-time Mesoscale Appearance Synthesis and Rendering: 本文把三维高斯组织为按离表面高度分层的规则纹理，使草叶、榴莲尖刺和编织缝隙等中尺度结构能够按样例实时合成、映射到新网格并进行基础重光照，在四组实验中均优于 NeRF-Texture 的 SIFID，图 4 所示耗时为 3.28–4.98 ms。
AC3S: Adaptive Conditioning for 3D-Aware Synthetic Data Generation: 本文提出AC3S，通过自适应视觉提示调制器动态衰减ControlNet的条件注入强度，并辅以多智能体VLM系统生成与几何结构一致的文本提示，在保持3D姿态精确对齐的前提下大幅提升合成图像的逼真度和多样性，FID相较基线3D-DST降低15.95点，下游分类和姿态估计任务均取得显著提升。
AIMold: An Autonomous AI-based Pipeline for Complex Mold Design: AIMold 将复杂零件的模具设计串成方向筛选、粗体素装配生成、潜变量几何细化与 CAD 后处理，在 MoldCAD 测试集上将辅助组件生成的 COV 从 VecSet 基线的 21.24% 提升至 57.29%，但生成结果仍需下游制造验证。
Axolotl3D: a Unified Framework for Faithful 3D Shape Completion: Axolotl3D 把图像、可见性掩码、相机和部分点云统一为 3D 生成条件，以几何锚点约束补全，在 Toys4K 单视图遮挡设置中达到 0.9046 F-score，同时支持保留未编辑区域的局部形状修改。
Beyond Prompts: Unconditional 3D Inversion for Out-of-Distribution Shapes: 论文发现原生 text-to-3D 生成模型（TRELLIS）在分布外文本条件下会掉进对提示"无感"的 sink trap，于是在反演时把描述源形状的提示整个换成空提示、只在无条件先验里锚定形状，既把非刚性形状的反演重建误差从 L1 17.75 降到 5.40，又解锁了第一个只靠目标提示、不需要掩码与 2D 先验的 3D 编辑流程（SigLIP 0.1469，约为最强基线的 1.8 倍，平均 9 秒一次编辑）。
Capacity-Controlled Multi-View Stylization of 3D Gaussian Splatting: 本文提出基于容量控制最优传输的3D高斯泼溅多视角风格化框架：用半平衡最优传输替代贪心最近邻匹配，通过列容量约束抑制many-to-one问题，同时引入跨视角匹配引导保证相邻视角的风格一致性，辅以几何正则化增强重建质量，在风格质量、内容保真和多视角一致性上全面超越现有方法。
CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance: CoIn 提出了一种融合 2D 扩散生成与 3D 高斯泼溅（3DGS）的双向协同 3D 场景补全框架，通过参考自适应高斯（Ref-GS）构建几何粗结构、基于 GS 特征翘曲的一致性损失引导（CLG）约束 2D 扩散多视角一致去噪，再经局部纹理判别器（TE-D）对抗细化，实现了在任意形状掩码（包括包围盒）下对物体移除与插入任务的高质量多视角一致补全。
DiffGI: Differentiable Geometry Images for High-Fidelity Thin-Shell 3D Generation: DiffGI 提出将连续 2D 截断符号距离场（TSDF）引入几何图像并构建可微 Marching Squares 算法，结合几何感知法向渲染损失，在极紧凑的 \(32 \times 32 \times 4\) 潜在空间中实现了高保真、亚像素边界精度的薄壳与非流形 3D 表面端到端生成。
DiTex4D: Direct Text-Driven 4D Generation with Structured Latent Diffusion: DiTex4D 基于 3D 基础模型 TRELLIS 构建了直接文本驱动的 4D 结构化隐式扩散框架，通过混合 4D RoPE 与空间键控相关噪声注入消除视频中介和两阶段累积误差，原生支持从头生成 4D 内容与掩码引导的静态网格动画。
DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces: DreamCAD 用共享边界的可微参数曲面承接大规模网格的点级监督，再以粗到细流匹配支持图像、点云和经图像中转的文本条件生成，在 ABC 点云到 CAD 任务上将 Cadrille 的 CD 从 2.98 降至 0.93（表中数值均为原始 CD 乘 \(10^3\)），但完整 CAD 拓扑仍需额外恢复。
DreamEdit3D: Personalization of Multi-View Diffusion Models for 3D Editing: DreamEdit3D 提出面向多视角扩散模型的可解耦个性化表征学习方法，通过注意力对齐的文本倒置与联合多视角全 UNet 微调两阶段优化，在保留源 3D 物体核心身份的同时实现精准的局部对象级组合编辑与高保真网格重建。
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising: DreamPartGen 将部件几何与外观表示和语言导出的关系语义表示结合，通过部件内、部件间同步去噪生成可编辑的三维组合体，在 PartRel3D 上将 CD 从 PartCrafter 的 0.371 降至 0.081，但其低重叠指标不能直接等同于物理装配正确。
EditVerse3D: High-Quality 3D Object Editing with Region-Aware Learning: EditVerse3D 将 TRELLIS 改造成接受原始物体、粗三维包围框和局部参考图像的监督式编辑器，通过匹配粗输入的训练与区域损失重加权，在添加任务上将 Repaint 的整体 PSNR 从 27.44 提高到 28.67，同时降低用户准备精确掩码和完整编辑视图的负担。
GaussianGPT: Towards Autoregressive 3D Gaussian Scene Generation: GaussianGPT 将 3D 高斯场景压缩为离散 token 序列，用带 3D 旋转位置编码的因果 Transformer 做逐 token 自回归预测，首次在 3D 高斯场景生成上实现纯自回归范式，在形状合成和场景生成上达到或超越扩散模型 SOTA，并天然支持场景补全和外扩。
GENA3D: Generative Amodal 3D Modeling by Bridging 2D Priors and 3D Coherence: GENA3D 提出一种生成式非模态 3D 建模框架，通过 View-Wise Cross Attention 并行融合多视图 2D 补全特征、Stereo-Conditioned Cross Attention 将 MVS 点云作为几何门控注入注意力 logits，在稀疏遮挡输入下同时实现生成多样性与几何一致性，在 GSO 数据集上 FID 达 30.73（4视图），相比 Amodal3R 提升 4.4，且可见区域 SSIM 达到 0.838。
Geometry-Aware Style Transfer in 3D Gaussian Splatting: 本文提出一种几何感知的 3DGS 风格迁移框架，通过解耦优化交替更新颜色和几何参数，并引入多模态（RGB + 深度 + 边缘）对比特征匹配损失 GCFM 来引导风格结构和几何纹理的迁移，在风格保真度和多视图一致性上显著优于现有 3DGS 风格迁移方法。
GridFlow: Structured Latent Flow for Seamless City-Scale 3D Point Cloud Generation: GridFlow 提出了基于网格对齐 VAE 的结构化隐式流匹配生成框架，通过空间局部对应的二维隐式网格与紧凑隐空间边缘一致性约束，从卫星图像及辅助遥感模态中生成具有无缝接缝、包含 10 万个彩色点的城市级超大规模 3D 点云。
Inclusive Interactive Collisions for Multi-View Consistent Compositional 3D Generation: 本文提出针对组合式多物体3D生成的优化框架 I2C-3D，通过包容性交互碰撞约束引导高斯基元自然汇聚于物体间接触区，并结合实例与空间词元交叉注意力调控的多视角自适应分数蒸馏采样，显著化解了物体交互失真与多视角幻觉难题。
InSpace: Structure-Aware 3D Indoor Scene Generation from a Single 360° Image: 针对单张普通视角图像视野受限且缺乏全局室内布局锚点的问题，InSpace 提出基于单张 360° 全景图（ERP）的三阶段流匹配生成框架，通过几何先验初始化、视角选择性交叉注意力与结合 3D OBB 的全局-局部混合注意力，实现了包含地板墙体建筑布局与独立解耦纹理资产的高保真 3D 室内场景生成。
Interact3D: Compositional 3D Generation of Interactive Objects: Interact3D 提出无需训练的"先生成再组合"框架，利用 2D/3D 生成模型的空间先验将 3D 组合生成转化为结构化配准问题，通过两阶段组合管线（全局到局部几何对齐锚定主物体 + SDF 碰撞感知优化放置剩余物体）和 VLM 驱动的智能体闭环迭代修正，从单张图像和文本提示自动生成物理合理、无碰撞的交互式 3D 组合场景，并发布 8,000+ 对交互式 3D 数据集。
InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation: 提出了首个大规模多模态4D人宠自然交互数据集InterPet4D（涵盖23名参与者与11个品种13只狗的683万帧同步视频与3D运动），并构建了结合骨骼一致性离散Token化与模态感知自回归生成的InterPetMoGen基准模型。
JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising: JanusMesh 提出一个零样本两阶段框架，利用 TRELLIS 结构化 3D 隐空间的双分支去噪与 SDF 融合生成多语义几何体，再通过视角约束的纹理合成赋予各视角对应的外观，在 3–5 分钟内即可生成高质量 3D 视觉幻觉网格。
LivingWorld: Interactive 4D World Generation with Environmental Dynamics: 针对交互式场景外扩生成中自然流体与宏观环境动态缺失的难题，LivingWorld 提出了由几何感知对齐与连续哈希运动场构成的全局欧拉动力学表征，以仅 12 秒单步交互时延实现了大尺度 4D 环境的高一致性生成与无缝循环渲染。
OREO: Fidelity Alignment in 3D Generation via On-the-fly Rendering-Editing Optimization: OREO 提出了一种在线“渲染-编辑-优化”的 3D 生成保真度对齐框架，利用无反演的强化编辑动态构建保结构的高真实感 2D 伪真实值，并通过潜在空间对比蒸馏将细节增益直接注入 3D 生成器，显著提升了前馈 3D 资产的视觉质感与微观纹理。
Penetration-Free Compositional 3D Generation via Gaussian Surface Offset: 针对组合式文本到 3D 场景生成中物体间严重几何重叠与物理穿透问题，CompSAG 提出利用轻量隐式代理表面计算法向排斥力以驱动 3D 高斯离散基元产生表面偏移，并结合关系感知分数蒸馏与法向对齐矫正，实现了几何无穿透、外观高保真的多物体场景生成。
PWM-ArtGen: Part World Model for Articulated Object Generation: 提出首个面向单图铰接物体生成的部件世界模型 PWM-ArtGen，通过解耦时间步联合扩散建模动作后视觉动态与运动学参数，结合视觉动力学正则化与 19.7k 逼真无标注数据协同训练，实现了逼真且物理自洽的 3D 铰接物体零样本生成。
RADmesh: Remesh-Aware Mesh Deformation: 针对显式网格在噪声视觉损失引导下做大幅度生成式形变易导致网格面退化与拓扑受限的难题，RADmesh 提出将顶点级六维尺度-旋转形变表征与由粗到细的周期性各向同性重网格化及优化器状态插值相结合，实现了保面片质量、支持大尺度局部生长与全局结构细化的纯网格端到端生成。
ROAR-3D: Routing Arbitrary Views for High-Fidelity 3D Generation: ROAR-3D 提出一种轻量级多视角 3D 生成范式，通过在预训练单视角扩散模型中引入基于特征亲和度的 Token 级视角路由器、解耦朝向与几何的双流交叉注意力机制及朝向扰动训练策略，无需相机姿态即可灵活融合任意数量未校准视角的几何细节。
RoomPlanner: Reachability-Aware View Sampling for Text-to-Room 3D Gaussian Splatting: 针对文本驱动室内 3D 场景生成中布局不可行与相机视角采样脱节的痛点，RoomPlanner 提出了分层 LLM 规划与双重空间约束（碰撞与基于 A* 的可达性），并创新性地将可达性地图无缝桥接至 ReachView 相机轨迹采样与多区间时间步流匹配（ITFS）优化中，实现了仅凭简短文本输入在 30 分钟内生成物理合理、支持物体级解耦编辑的高保真 3D 高斯泼溅室内场景。
Scale3D: Autoregressive Modeling for Large Outdoor Scene Generation: Scale3D 提出一种解耦全局布局规划与局部几何合成的分层自回归室外 3D 场景生成框架，结合高保真分块 VAE 与 DPO 偏好对齐，实现了跨大尺度空间无接缝的高质量连续几何生成与文本空间交互控制。
SceneHI: High-Resolution 3D-Consistent Scene Texturing with Controllable Illumination: 针对复杂多物体室内场景纹理生成中的视角不一致、表面分辨率受限与物理光照缺失难题，SceneHI 提出了免微调的解析几何映射与高分辨率隐式纹理（HRLT）框架，并引入分块精炼与几何一致阴影烘焙，实现了高保真、多视角一致且光照可控的 3D 场景纹理合成。
ShellMaker: Language-Guided Exterior Completion under Structural Constraints: ShellMaker 提出语言引导的建筑外观补全框架：给定建筑脚手架（室内生成器/CityGML/CAD 输出的墙体+门窗开洞布局）和一句风格提示词，通过参数化屋顶生成、LLM 部件感知提示词精化、兼容性感知的墙-屋顶纹理联合检索、几何感知装配四个模块，产出完整 PBR 外立面网格，在严格保持足迹和开洞布局的前提下匹配任意建筑风格，足迹 IoU 达 0.992，开洞中心误差仅 0.091。
SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation: SK-Adapter 提出将 3D 骨架作为第一类控制信号，通过轻量级 adapter 网络（GRPE 拓扑编码 + 骨骼交叉注意力）注入冻结的 3D 流匹配生成骨干（Trellis），在保留预训练生成先验的前提下实现面向原生 3D 空间的精确骨架结构控制，同时配套构建了 24k 图文-网格-骨架三元组数据集 Objaverse-TMS。
Sparse auto-regressive modeling for scene generation from multi-view images: 针对极稀疏、大视差且无约束多视角图像下的完整 3D 场景补全难题，SPAR3S 提出了一种无需真实 3D 监督的稀疏体素对齐 3D 隐式自回归生成模型，结合可微 3D 高斯泼溅渲染与掩码扩散生成，实现了高质量的新视角合成与未观测区域几何外推。
SplatPainter: Interactive Authoring of 3D Gaussians from 2D Edits via Test-Time Training: SplatPainter 先把已有 3D 高斯资产压缩为带上下文特征的体素潜表示，再用测试时训练吸收二维编辑并按空间范围更新资产，在小规模创意编辑测试中显著减少非编辑区域的外观漂移，同时支持亚秒级的增量更新。
Steering 3D Generations: Preference Alignment via Direct Reward and Preference Optimization: 针对单图到3D生成中几何伪影严重与用户偏好难以形式化的痛点，提出融合神经SDF高斯曲率数据清洗、直接奖励优化（DRO）与直接偏好优化（DPO）的整流流偏好对齐框架，利用轻量LoRA实现高保真度与几何风格可控生成。
SuperVoxelGPT: Adaptive and Ordered 3D Tokenization for Autoregressive Shape Generation: SuperVoxelGPT 先按预测的几何显著性划分并排序超体素，再用 Qwen2.5-0.5B 与 Jacobi 解码生成局部几何 token，在图像到三维测试中用平均 1,048 个形状 token、4.60 秒实现接近 TRELLIS2 的几何质量。
SynCity 3000: Bootstrapping Scene-Scale 3D Diffusion: SynCity 3000 提出了一种两阶段大尺度 3D 场景生成框架，先以滑动窗口联合去噪生成高分辨率二轴测全景模板，再利用在合成场景数据上微调的“卷积式”两阶段 3D 扩散模型将其无缝解码为任意尺度的 3D 高斯泼溅场景，彻底打破了传统网格化拼接的割裂感与视距限制。
Taming LLMs for Codematic Indoor Scene Generation: 针对直接微调大语言模型生成室内3D场景代码时注意力被长代码历史淹没而遗忘用户指令的问题，SceneSpinner构建了首个包含5.2万房间的开集文本3D场景数据集，并提出“语言规划链+条件互信息（CMI）正则化训练”范式，大幅提升了精细化布局生成与复杂指令遵循能力。
TreeSRNF: Square-Root Normal Fields for Generative Modelling of the Geometric and Structural Variability in Tree-like 3D Objects: 把平方根法向场（SRNF）从固定拓扑的 genus-0 曲面推广到分支结构可变的树状 3D 物体——每个树枝参数化为单位圆柱上的曲面、按分叉点递归组装成层级树——在由此得到的 TreeSRNF 树-形状空间上用「父枝弯曲/拉伸 + 分叉点位置 + 子树几何」三项加权的度量做配准、测地线与统计，并在一个可解析求逆的切向量空间里用 PCA + 多元高斯采样生成新的 3D 树。
WorldMesh: Generating Navigable Multi-Room 3D Scenes via Mesh-Conditioned Image Diffusion: WorldMesh 先构建带物体的多房间网格，再把逐步积累的纹理与深度作为图像生成条件，最后以网格深度约束 3D Gaussian Splatting（3DGS）重建，在 31 人感知研究中获得对基线平均 96.2% 的偏好；其核心是持久几何约束，而不是仅生成一条看起来连贯的视频。
CAST3D: Customizing Arbitrary 2D Assets into 3D World: CAST3D 提出了一个无需训练的定制化 3D 组合生成框架，通过 3D 布局推断与随机轨迹调控，将任意多张 2D 资产图像在文本引导下融合成几何自洽且忠实于原图外观的连贯 3D 对象。
Progressive and Localized Super-Resolution of 3D Objects via Localized Latent Voxel Diffusion: 针对现有 3D 扩散生成模型受限于固定体素分辨率与显存三次增长瓶颈的问题，PLSR 提出一种基于结构化稀疏隐空间的渐进式局部超分辨率框架，通过关联输入解耦构建局部图文三元组、轻量级低分辨率跨注意力微调 DiT、以及迭代去噪块缝合机制，仅凭单卡低成本微调即可将粗糙几何无缝超分至 \(2560^3\) 级精细几何与纹理。