SplatLab: Autonomous Scientific Discovery for 3DGS Research¶

会议: NeurIPS 2026
arXiv: 2610.30468
代码: http://seemandhar.github.io/splatlab
领域: 其他
关键词: 3D高斯泼溅, 自动科学发现, 智能体系统, 代码演化, 验证基线

一句话总结¶

SplatLab 是首个在 3D 高斯泼溅（3DGS）真实前沿领域实现全闭环的自动科学发现系统，通过构建已实证验证的复现基座（Splatify/Nerfify）、真实 GPU PSNR 驱动的级联加权 Elo 锦标赛以及内环对抗伪证机制，自主生成击败目标 SOTA 的学术论文，并将每项汇报数据强绑定至磁盘运行日志。

研究背景与动机¶

自动化科学发现是人工智能领域的长期宏愿，近年来以 The AI Scientist、AI Co-Scientist 为代表的端到端大模型科研系统，相继展示了从文献阅读、假说提出、代码实现到实验撰写论文的全流程潜力。然而在计算机视觉等演进迅速且底层工程极其严苛的子领域中，将已有顶会论文复现为可运行代码往往需要专业研究员数周的高强度工程攻关，例如 3D 高斯泼溅（3DGS）涉及精密的致密化调度（densification scheduling）、不透明度重置（opacity reset）、球谐函数激活与视角相关外观渲染，通用代码智能体在此类基准上的复现成功率仅约 5%。现有自动化科研系统大多受限于玩具级代码模板、未经验证的模型自写代码底座、或停留在纯文本假说的抽象打分，缺乏真正的端到端可执行性与可追溯性。

这种局限性背后的核心矛盾在于：缺乏可信基线作为锚点，导致算法演化失去外部参照，生成的改进宣称无法溯源至真实物理运行，且模型在长程推理中频繁产生幻觉数值与目标漂移。PaperBench 等基准测试表明，即使最先进的通用智能体在顶会论文上的平均复现率也仅有 21.0%；若科研系统构建于未经实测校验的基线之上，不仅所谓的指标涨点极易被重写漂移所混淆，而且生成的论文手稿往往包含完全脱离实验日志的虚构数据。

本文的切入角度是：自动化科研系统若要攻克高技术门槛的活跃前沿，不能单纯依赖通用编程智能体的代码补全能力，而必须构建专属于该垂直领域的“已验证复现基座”（Verified-Reproduction Backbone），并将候选假说严格限制在领域对齐的结构化代码变异空间中。核心 idea：以已验证复现的 3DGS 插件库为演化基底，引入真实 GPU PSNR 驱动的级联加权 Elo 锦标赛与内环对抗伪证者，并建立强约束的证据链审计门禁与审稿人驱动反思机制，实现从文献瓶颈分析到可复现手稿产出的完整闭环。

方法详解¶

整体框架¶

SplatLab 采用由教授（Professor）、博士生协调员（PhD Coordinators）与本科生叶子智能体（Undergrad Leaf Agents）构成的三层智能体层级架构，共协调 36 个角色特化智能体，在无需固定有向无环图（DAG）的调度下协同工作。给定一句话研究提示词、目标论文 URL 或完全不给输入，系统均能通过文献与代码两路并行的基座锚定阶段，提取出包含结构化瓶颈与局限性的论题主干 $\Gamma$；随后在不启动训练的前提下由先例、新颖性、饱和度与正交性四重门禁对设想进行 Elo 预筛选；筛选出的候选机制映射为受限语法的局部代码变异，进入基于 8 个岛屿演化的级联加权 Elo 锦标赛，由真实 GPU 评测指标与内环对抗伪证者共同打分；最终通过严格的证据链审计生成学术论文手稿，并在模拟同行评审提出异议时可重新触发底层实验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["研究意图 / 目标论文 URL<br/>Stage 1: 文献与基底双路锚定 (L/B-IDs)"] --> B["Stage 2: 接地化设想生成与前置初筛<br/>先例/新颖性/饱和度/正交性过滤"]
    B --> C["验证复现基座与结构化代码突变"]
    C --> D["真实GPU指标驱动的级联加权Elo多岛演化"]
    D <--> E["内环对抗伪证与鲁棒性动态惩罚"]
    D --> F["证据链完整性审计与审稿驱动重实验"]
    F -->|审稿人要求新增实验验证| D
    F --> G["产出可复现手稿与完全绑定的实验账本"]

关键设计¶

1. 验证复现基座与结构化代码突变：消除不可复现重写与实现漂移 通用代码智能体直接重写整个 3DGS 训练管线时极易失败，甚至因实现缺陷引入伪增益。SplatLab 依托专门构建的 Splatify/Nerfify 框架，其插件均已实测编译并通过对应原始论文的基线指标。系统定义了 7 个 3DGS 创新类别，并通过挂钩映射器（Hook Mapper）将抽象类别映射到 9 个可组合的演化挂钩区域（EVOLVE-BLOCK），覆盖致密化、正则化、损失函数、渲染机制、剪枝策略、初始化、学习率调度、不透明度管理和球谐函数。EVOLVE-BLOCK 采用配对代码注释标记，实现器（Implementer）在引用图（Citation Graph）与思维图（Graph of Thoughts）控制下，受限于上下文无关文法仅生成结构化代码差异（structured diffs），保留周围已验证的基础设施，彻底隔绝基线实现的隐式漂移。

2. 真实GPU指标驱动的级联加权Elo多岛演化：低廉干跑不主导全局胜率 传统的自然语言或代理模型打分无法反映真实的渲染质量与物理收敛性。SplatLab 将候选方案置于 8 个独立岛屿构成的遗传演化生态中，并基于真实的 GPU 训练峰值信噪比（PSNR）计算 Elo 评分。为了防止在廉价小迭代上侥幸过拟合的方案篡夺榜首，系统设计了四阶段级联评价体系（100 步 smoke 测试、单场景 probe 测试、分层多场景测试、全局基准测试），其 Elo 更新权重随测试严苛度递增（$w_s \in \{0.2, 0.5, 1.0\}$）。每一次胜负对决均要求大模型结合上下文提炼出归因解析，汇总为经验总结文件（Lessons File），以语言梯度（verbal gradient）的形式反哺设想生成器。

3. 内环对抗伪证与鲁棒性动态惩罚：将压力测试内化为选择压力 为了防止演化出的算法仅在特定标准视角下发生过拟合，系统引入了常设对抗伪证者（Standing Falsifier），直接介入 Stage 4 的演化内环。伪证者从三个极端维度向存活候选方案发起攻击：分布外与极端曝光场景（edge scenes）、大幅削减视角的稀疏观测（sparse-view reduction）、以及在发表范围内扰动超参数。每一次攻击受挫并不只是事后写在论文局限性中，而是直接从该候选方案的当前 Elo 评分中扣除 $\delta=30$ 分，若未通过压力测试则失去进一步繁衍和进入终选的资格，从而迫使种群向具备泛化能力的鲁棒机制收敛。

4. 证据链完整性审计与审稿驱动重实验：阻断幻觉数值与实现双向闭环 针对大模型写作中广泛存在的编造数据顽疾，Stage 5 执行 6 项硬性审计门禁：内容哈希链追溯（Provenance）、代码实现一致性校验（Faithfulness）、基于语义检索的新颖性复核（Novelty）、同等算力预算基准对齐（Compute match）、跨代码库移植验证（Cross-codebase port）以及断言与账本强制比对（Claim check）。任何未能溯源至磁盘日志或违反算力公平性的数值都会直接阻断手稿生成流程。在 Stage 6 的论文撰写中，由方法学审稿人、领域审稿人与挑刺审稿人（Devil's Advocate）构成的模拟评审团在发现论据漏洞时，有权下发指令重新激活 Stage 4 启动全新的 GPU 训练，打破了以往系统“评审仅负责润色文字”的单向死局。

一个完整示例¶

以极具挑战性的星云天文摄影（Nebula）新场景为例： 1. 基底锚定：在 Stage 1 中，瓶颈分析器发现标准 3DGS 针孔模型无法处理宽幅光学畸变，且基于 SfM 的稀疏点云在深空背景下仅生成几乎为零的恒星种子点，生成瓶颈标识 B-ID。 2. 设想提出与编译：Stage 2 提议引入“基于饱和度驱动的星点种子生成器与 3DGS-MCMC 采样器”；Stage 3 将代码受控嵌入到初始化与致密化 EVOLVE-BLOCK 挂钩中，并在 100 步 smoke 测试中通过编译与数值平稳性检查。 3. 演化与伪证：候选方案进入 8 岛演化，在真实 GPU 上从单星云场景晋级至多星云切片测试。对抗伪证者通过极暗对比度与曝光抖动进行压测，该机制稳定存活，最终 Elo 攀升至岛屿第一，PSNR 达到 36.36 dB（较标准 3DGS 的 32.58 dB 飙升 +3.78 dB）。 4. 审计与成文：Stage 5 的内容哈希链将 36.36 dB 绑定至特定 commit 与 GPU 运行日志；Stage 6 撰写手稿并经审稿人质询后补充跨视角外推实验，最终产出无任何幻觉数据、图文自洽的完整学术论文。

损失函数 / 训练策略¶

在 Stage 4 级联加权 Elo 锦标赛中，对于候选模型 $i$ 与 $j$ 在评测阶段 $s$ 的对决，模型 $i$ 针对基准与损失约束对 $(B, L)$ 的 Elo 更新公式为： $$R_i^{(B,L)} \leftarrow R_i^{(B,L)} + K \cdot w_s \cdot \bigl(S_i - E_i^{(B,L)}\bigr)$$ 其中胜负期望值 $E_i^{(B,L)}$ 满足标准 Logistic 分布： $$E_i^{(B,L)} = \frac{1}{1 + 10^{\left(R_j^{(B,L)} - R_i^{(B,L)}\right)/400}}$$ 超参数设置基准更新步长 $K=32$，初始分值设定为 1200，$S_i \in \{0, 0.5, 1\}$ 表示基于 PSNR 真实指标对比的胜平负判定。若候选方案在对抗伪证者的压力测试中崩溃，则直接执行罚分： $$R_i^{(B,L)} \leftarrow R_i^{(B,L)} - \delta \quad (\delta = 30)$$ 8 岛遗传搜索包含 5 种算子（局部重写 Refine、双亲杂交 Crossover、单亲变异 Single-Parent、超参扰动 Tweak、全局重生成 Rewrite），由多臂老虎机（Multi-Armed Bandit）根据历史成功率动态自适应调度。

实验关键数据¶

主实验¶

SplatLab 在新场景探索（Novel scenes）与顶会基准改进（Improving published SOTA）两个维度上全面超越目标基线。在 16 轮完整自主运行中，训练了 198 个实验分支，所有方案在 PSNR 上均取得 +0.18 至 +3.78 dB 的显著增益。

测试场景 / 基准	参评基线 (SOTA)	核心瓶颈诊断 (SOTA)	SplatLab 发现方案 (本文)	发现机制关键设计	PSNR (dB) ↑	SSIM ↑	LPIPS ↓
星云 Nebula (新场景)	3DGS (Kerbl et al.)	针孔相机忽略畸变，SfM 几乎无法生成星点	Nebula3DGS-v2	3DGS-MCMC 采样器结合饱和度驱动星点播种	36.36 (+3.78)	0.945	0.201
泡泡 Bubble (新场景)	3DGS (Kerbl et al.)	球谐函数无法表达薄膜虹彩，半透明处致密化停滞	BubbleGS	MCMC 底座结合 Snell/Fresnel 双通路条件壳层渲染	30.11 (+2.71)	0.906	0.224
MipNeRF360	FastGS (Ren et al.)	0/1 阈值化像素计数缺乏高频敏感度	TileFocalGS	跨视角指数移动平均（EMA）平滑的按块等级赋权	29.69 (+0.57)	0.869	0.194
MipNeRF360 (@50s)	splatfacto (Nerfstudio)	50s 墙钟极限下未充分收敛，致密化未稳定	View-Curriculum-GS	前 15s 聚焦于 30% 最接近位姿视角，随后开放全局	23.36 (+2.83)	0.686	0.412
MipNeRF360	MSAA-3DGS (Yan et al.)	多采样抗锯齿模糊精细对比度，30K 步未收敛	MSAA-Bilat	双边网格对比度恢复机制并增加 15K 步迭代	26.19 (+0.84)	0.791	0.293
LLFF	DWTGS (Nguyen et al.)	小波基底缺乏高频监督导致重建欠约束	DWTGS-Patch	图像块结构损失配合不透明度/法向/深度正则化项	21.09 (+2.41)	0.725	0.281

消融实验¶

基于 32 个候选设想与 16 篇论文的标准候选池，系统对每个核心模块进行了隔离移除消融，直接量化单一机制的必要性。

消融配置	核心影响指标 (Without)	完整系统表现 (With Full Pipeline)	机制作用说明
去除 Stage 1: 问题锚定 (L/B-IDs)	0/32 个设想能够通过 Stage 4 级联测试	顺利产出胜出冠军模型	缺乏真实的瓶颈与文献依据，智能体设想完全脱离物理约束
去除 Stage 2: Elo 预筛选机制	消耗 24 次昂贵 GPU 评估才锁定冠军	仅需 6 次 GPU 评估（20 个劣质设想前置淘汰）	前置语言过滤拦截了 75% 的低效训练，算力开销缩减至 1/4
去除 Stage 3: 验证复现基座契约	9/16 个胜出者无法复现（误差 > 1.0 dB）	0/16 存在不可复现现象	自由重写代码导致基线存在隐式衰减或虚假提升
去除 Stage 4: 级联加权权重 ($w_s=1$)	选出仅在 100 步 smoke 测试占优的模型（多场景排第 5）	准确选出多场景全局最优模型	廉价干跑的虚高得分彻底颠覆了长期收敛评估
去除 Stage 4: 基于 $(B,L)$ 的特定 Elo	全局冠军在 Nebula 场景上落后专用方案 -1.6 dB	为各目标场景选拔出最优专用算法	统一标量排行榜掩盖了跨场景特异性机制的优势
去除 Stage 4: 语言梯度经验反思	算法演化需 5 代才趋于稳定，消耗 2.4× Tokens	仅需 2 代即实现种群收敛	失败与成功机理解析极大地引导了后续代码突变方向
去除 Stage 4: 内环常设伪证者惩罚	5/16 个胜出模型在保留压力测试下崩溃	0/16 在外部泛化测试中崩溃	动态减分倒逼算法在极端曝光和稀疏位姿下保持鲁棒
去除 Stage 5: 证据链审计门禁	16/16 篇生成手稿均包含虚构的无支撑数字	0/16 包含未绑定日志的虚假数值	彻底消除科研大模型在撰写表格与正文时的幻觉数值
去除 Stage 6: 审稿人驱动反思重训	模拟同行评审平均接收得分仅 2.2 / 6	模拟同行评审平均得分达 3.6 / 6	审稿人发起的新实验有效填补了方法论与消融证据漏洞

关键发现¶

证据链审计是杜绝幻觉的生命线：在消融实验中，缺少 Stage 5 审计门禁时 100% 的生成论文均出现了幻觉数据；而引入内容哈希链与实验账本比对后，未绑定的数值被 100% 拦截，证明对自动科研系统而言“强制日志核验”比“大模型自省”更有效。
验证复现基座决定演化有效性：若不依赖 Splatify 经过实证验证的插件基座，模型自写的代码存在高达 56.25%（9/16）的复现漂移，生成的增益大多是基准实现劣化导致的假象。
算力分配与产出成果：单次端到端运行的墙钟时间为 24–48 小时，平均消耗 113M API Tokens（约 1,000–1,500 次 LLM 调用），GPU 耗时仅 2–36 GPU-hours（NVIDIA A6000），API 成本仅 $150–$250，展示出相比于数月人工探索的超高性价比。更重要的是，已有 3 篇 SplatLab 完全自主生成的论文手稿（AttDis & Friends, NeedleSwap, AuditSplat）被 CVPR 2026 Workshop 录用为海报展示。

亮点与洞察¶

将对抗伪证者内化为演化选择算子：传统科研系统仅将攻击测试放在写完论文后的后验评估中，SplatLab 巧妙地将伪证失败直接转化为 Elo 扣分（-30 分），让脆弱模型在演化中期自然淘汰。
双向互动的多智能体同行评审：打破了同行评审仅作为润色阶段的单向范式，评审智能体发现实验漏洞可以直接下发指令重启底层 GPU 实验，真正实现了“审稿-补做实验-修回”的闭环学术工作流。
极佳的可移植性与低门槛复现：通过将 3DGS 的算法探索收敛至 9 个语义明确的 EVOLVE-BLOCK 区域，系统既保证了大模型代码修改的局部精确性，又保留了全局渲染系统的稳健性，该范式可直接推广至 NeRF、具身驱动仿真等高度复杂的图形学与视觉分支。

局限与展望¶

作者承认的局限：当前的领域基座深度绑定在 3DGS 与 NeRF（Splatify/Nerfify）的预设钩子框架上，向其他视觉领域（如通用视频扩散生成）迁移时需要前置投入专业工程搭建 verified-reproduction 基础设施。此外，目前自动化系统的终版手稿在行文流畅度与人类审稿人的主观表达评分上仍略逊于人类资深学者（人类评分 3.0 vs 3.8）。
潜在风险与伦理考量：自动化科研系统以日为周期的极速产出可能对传统的同行评审体系造成巨大冲击（论文洪水），低门槛高产出的工具若被滥用可能沦为低质量论文工坊，亟需学术界建立严格的实验账本公开认证与 AI 生成标识规范。
未来改进方向：探索无监督或全自动构建领域复现基座的方法，减少新领域冷启动的人工工程成本；同时引入更多模态的视觉渲染质检工具，进一步增强对于局部伪影与几何浮点畸变的主动识别能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在 3DGS 这一高度复杂活跃的前沿领域跑通端到端自动化科研闭环，提出级联加权 Elo 与内环伪证结合的演化范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 轮真实端到端运行、198 个训练分支，包含跨场景 SOTA 对比、极详尽的核心组件消融、人类双盲评审，并有 3 篇手稿通过真实顶会 Workshop 检验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨明晰，问题定义与设计动机阐述极其透彻，实验数据链路完整透明。
价值: ⭐⭐⭐⭐⭐ 极具突破性的自动化科研范式，不仅大幅压缩了视觉计算领域的研究迭代周期，其“强绑定日志与基线验证”的核心准则对未来 AI for Science 系统的设计具有重要指导意义。