Vesta: Visual Exploration with Statistical Tool Agents¶

会议: NeurIPS 2026
arXiv: 2606.00384
代码: https://github.com/wrudman/VESTA
领域: 其他
关键词: 统计建模, 视觉语言模型, 智能体工具创建, 贝叶斯推断, 自动化科学探索

一句话总结¶

提出了 Vesta 框架，使视觉语言模型（VLM）智能体能够通过动态创建、持久化复用可执行统计诊断与可视化工具，在全新 Dawn 基准上显著提升分布拟合与时序建模能力。

研究背景与动机¶

将量化统计模型拟合到复杂观测数据是科学发现工作流中的核心支柱，但同时也是目前自动化程度最低的环节之一。在诸如天文学、信号处理和生存分析等基础学科中，观测数据通常表现出重尾分布、非平稳振荡或混合成分等复杂结构，需要深厚的统计学领域先验和严密的假设检验。尽管近期基于大语言模型（LLM）的智能体尝试通过“生成-评估-修正”的闭环（如 Box 循环）来自动化编写 PyMC 概率编程代码，但现有系统往往仅依赖自然语言批评或纯标量损失反馈，无法直观把握数据全貌。

这种局限性的核心矛盾在于：高阶统计分布和非平稳时序中微妙的偏差（如低概率尾部分布的幂律截断、啁啾信号的瞬时频率偏移），很难单凭文本残差或全局拟合指标（如 ELPD-LOO）被模型感知；人类统计学家高度依赖针对具体假设设计的定制化可视化图表（例如 Q-Q 图、尾部变换直方图、残差自相关图）来进行诊断。然而，不同科学领域的拟合任务形态各异，根本无法预先穷举一套通用的静态工具库；现有的多模态工具生成系统又多将代码视为单次执行的临时脚本，缺乏跨轮次工具演进与沉淀机制。

本文的切入角度是打破传统的静态提示词与单次反馈范式，赋予多模态智能体在拟合过程中自主探索数据、检验统计假设的能力。核心 idea：构建一个动态扩张的可视化统计工具箱框架 Vesta，让 VLM 智能体在贝叶斯模型迭代优化过程中根据拟合缺陷自主编写、执行并持久化多面板诊断可视化工具，将多维统计假设检验转化为直观视觉证据以驱动模型精准演进。

方法详解¶

整体框架¶

Vesta 面向基于 PyMC 编写的贝叶斯概率生成模型，通过四阶段闭环工作流实现从原始数据到高质量参数化概率程序的迭代优化。输入为观测数据集 \(D\)（如离散样本点或时间序列），系统首先生成基础可视化图并进行初始候选模型提议；随后在每轮迭代中，工具管理器根据上轮拟合诊断的压缩上下文，选择已有工具或动态编写新的 Python 统计可视化函数并加入工具注册表 \(\mathcal{E}\)；工具执行生成多子图诊断图谱，由 VLM 批评器依据视觉证据识别偏差并提出改进模型；最后通过信息准则（AIC）或预测密度评估筛选最佳模型并压缩状态，直至批评器发出终止标记 COMPLETE。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入观测数据 D<br/>离散分布或非平稳时间序列"] --> B["初始提议与代码生成<br/>绘制基础图并采样 p 个 PyMC 候选模型"]
    B --> C["统计拟合与度量筛选<br/>StatGen 拟合参数并按 AIC 评估最优模型"]
    C --> D["动态工具管理与执行<br/>选择已有工具或编写新 Python 诊断可视化"]
    D --> E["视觉证据评估与批评<br/>VLM 批评器审查诊断图并提出改进模型"]
    E -->|未达到终止条件| F["结构化状态压缩<br/>将视觉发现与模型度量压缩入上下文"]
    F --> D
    E -->|批评器输出 COMPLETE| G["输出最优 PyMC 概率程序<br/>高保真刻画底层数据生成机制"]

关键设计¶

1. 动态工具生成与跨轮持久化注册表：解决静态工具库覆盖不足与重复生成开销

针对真实科学场景中统计假设千差万别、静态工具无法穷举的痛点，Vesta 并不依赖固定的预设函数，而是引入了一个随探索过程动态扩展的工具注册表 \(\mathcal{E}\)。在每次迭代中，工具管理器（ToolManager）接收包含上一轮视觉发现、当前最优模型参数和历史工具调用摘要的结构化状态，自主判断是复用已有工具还是编写新的诊断代码。新生成的 Python 工具要求输出高密度的多面板可视化（例如包含 Q-Q 图、对数尺度直方图、互补累积分布函数 CCDF 等），并直接持久化注册到 \(\mathcal{E}\) 中供后续轮次重用。为了保证执行稳健性，系统支持最多两次基于报错堆栈跟踪的自动重试机制；若依然失败则优雅回退至无工具基线。实验统计显示，高达 79.5% 的生成工具在后续迭代中被多次重新调用（平均每个工具被调用 1.87 次），使模型能够在统一的可视化参考系下快速比对不同分布族假设的拟合效果。

2. 专用参数代码生成器（StatGen）：解决 LLM 概率编程中的参数漂移与语法偏差

现有 LLM 在端到端生成复杂贝叶斯概率程序时，常常出现文本推理中构想的模型参数化与最终编写出的 PyMC 代码不一致的现象（即参数漂移）。为此，Vesta 将“统计模型假设提出”与“可执行概率程序构造”解耦，设立了专用的 StatGen 模块。提议智能体（Proposal Agent）仅需输出结构化的数学分布形式与先验规范，由 StatGen 确定性地将其转化为语法合规、结合 MCMC 采样的 PyMC 代码并执行拟合。在此基础上，每轮并行采样 \(p\) 个候选假设（实验中 \(p=3\)），利用赤池信息准则（AIC）自动惩罚过拟合，从中挑选当前轮次的最优模型 \(M_{\text{best}}\)：

\[\text{AIC} = 2k - 2\ln(\hat{L})\]

其中 \(k\) 为模型自由参数量，\(\hat{L}\) 为似然函数极大值。这种将数学形式规范与代码落地解耦的设计，彻底消除了低级语法错误对高层统计假设推理的干扰。

3. 多面板视觉批评与结构化状态压缩：以视觉感知跨越复杂统计量抽象壁垒

为突破纯文本标量无法准确呈现全局与尾部拟合特征的瓶颈，批评智能体（Critique Agent）直接接收工具执行后渲染的多面板可视化图像作为首要推理依据。VLM 结合历史轨迹，不仅能够通过观察 Q-Q 图偏离对角线的曲率判断偏度与峰度误差，还能通过 log-log 空间下的变换直方图识别截断幂律转折点。为了避免多轮多模态交互导致上下文长度爆炸和视觉噪声累积，每轮迭代结束时，系统运行 Summarize 模块，将本轮的视觉现象诊断、选定模型参数、AIC 得分与工具输出提炼为紧凑的结构化纯文本摘要 \(s_i\)。后续轮次仅注入压缩摘要序列 \(s_{0:i-1}\) 与当前轮次的高清诊断图，既保留了完整的探索推理轨迹，又保证了推理的高效与专注。

一个完整示例¶

以拟合一个未知右偏重尾数据集为例： 1. 第 0 轮（初始提议）：系统绘制输入数据的直方图，初始提议智能体推测其可能为指数分布，StatGen 生成对应的 PyMC 指数分布拟合程序，得到基线 AIC 得分。 2. 第 1 轮（工具生成与诊断）：工具管理器检测到重尾特征，动态编写并注册一个包含 6 个面板的 Python 诊断工具（含 Q-Q 图、对数横坐标直方图、对数变换后直方图、数据原始直方图、箱线图以及 log-log 尺度下的互补累积分布 CCDF 图）。 3. 第 1 轮（视觉批评）：VLM 观察 Panel 1 的 Q-Q 图发现点在右端剧烈偏离参考线，判定当前指数分布无法拟合厚尾；同时观察 Panel 3 发现对数变换后的直方图呈现优美对称的钟形，据此推断对数正态分布（Log-normal）或帕累托分布更为契合，提出 \(p=3\) 个候选对数混合模型。 4. 第 2 轮（工具复用与收敛）：工具管理器直接复用上一轮注册的 6 面板工具，仅将新拟合的对数正态模型参数传入，重新渲染 Q-Q 图。VLM 观察发现散点紧密落在对角线上，残差显著降低，AIC 大幅改善，批评器输出 COMPLETE 提前终止循环并返回最终 PyMC 程序。

实验关键数据¶

主实验¶

论文推出了面向数值拟合与自动化工作流的新基准 Dawn，涵盖分布拟合（Distribution Fitting，以 Jensen-Shannon 散度衡量，越低越好）与时间序列建模（Time Series Modeling，以 ELPD-LOO 衡量，越高越好）两大领域，各划分为 Easy、Hard 以及源自真实天文学难题的 Astro 难度级别（恒星初始质量函数 IMF 拟合、引力波啁啾信号 Chirp 建模）。主实验在 Claude Sonnet 4.6 下与基线 BoxLM 和 PyVision 进行了深入对比：

任务领域	难度切分	评价指标	BoxLM	PyVision	Vesta (无工具)	Vesta (动态工具)	Vesta (专家工具)
分布拟合	Easy	JS 散度 (↓)	0.082	0.038	0.036	0.021	0.020
分布拟合	Hard	JS 散度 (↓)	0.231	0.264	0.161	0.115	0.106
分布拟合	Astro (IMF)	JS 散度 (↓)	0.428	0.440	0.406	0.371	0.320
时间序列	Easy	ELPD-LOO (↑)	-864.2	-365.1	-272.4	-247.1	-220.6
时间序列	Hard	ELPD-LOO (↑)	-1124.5	-851.3	-726.3	-600.3	-587.3
时间序列	Astro (Chirp)	ELPD-LOO (↑)	-1438.7	-1486.2	-1341.0	-1310.2	-1291.5

注：表内数值对应 Claude Sonnet 4.6 在各难度的基准中位数及相对差距折算表现；在全量 54 组 Holm-Bonferroni 多重比较校正检验中，Vesta 在时间序列上显著击败 PyVision（54/54 全胜）并在 45/54 的对比中显著战胜基线，展现出压倒性统计显著性。

消融实验与工具分析¶

论文在 Hard 分布拟合切分上评估了不同工具沉淀与生成策略（消融分析），并系统量化了动态生成工具对人类专家预设工具的覆盖率（Tool Coverage）：

配置 / 策略	JS 散度 (↓)	专家工具平均复合数	工具复用率 (%)	核心表现分析
仅跨任务累积 (Accumulate-Only)	0.124	-	100.0%	50 轮序列演进收敛至 4 个过窄工具，泛化受限
纯测试时动态生成 (Generate-Only)	0.115	3.5	79.5%	根据具体数据灵活定制，探索力远胜累积固化
专家工具库 + 动态生成	0.106	>4.0	83.2%	人类高质量先验与即时生成互补，达到性能上限
竞品基线 PyVision (单次脚本)	0.264	1.9	0.0%	缺乏持久化注册表，单工具仅测简单均值/裁剪

针对生成工具内容的统计进一步显示： - 高阶复合性：Vesta 编写的单个工具平均融合了 3.5 个专家工具功能，而 PyVision 仅为 1.9 个。 - 自适应发现：在 Astro 难度的 IMF 幂律分布拟合中，Vesta 生成的工具调用“尾部变换（Tail Transforms）”的比例从 Easy 的 55.4% 激增至 91.8%，并自发创造了专家工具库之外的极值统计工具（如 Mean Excess Plot 占 36.1%、Hill 估计器占 6.6%）。 - 工具复用率：单任务内 79.5% 的生成工具被重复执行一次以上，平均每个工具调用 1.87 次，大幅降低了重复编码开销。

关键发现¶

复杂任务差距显著拉大：在简单的单峰分布或平稳时序上，各基线差距尚不悬殊；但在多成分混合分布和真实天文场景（IMF 与引力波 Chirp）中，传统无工具或纯文本批评系统几乎崩溃，而 Vesta 凭借对数尺度变换和自相关函数 ACF 可视化，精准捕获了非线性漂移与幂律特征。
视觉工具优于单一标量：即使不使用外部工具，Vesta 内置的“绘制初图-多模型评估”基础机制也显著优于纯文本的 BoxLM，证明多模态感知在捕捉分布几何拓扑方面具有不可替代的直觉优势。

亮点与洞察¶

工具自发涌现与假设检验闭环：智能体不再只是被动调用预定义 API，而是像成熟的数据科学家一样，根据初步怀疑主动写代码生成 Q-Q 图、自相关分析图并观察判断，形成了完整的科学假设检验闭环。
状态压缩抵抗上下文退化：通过结构化 Summarize 机制，在多轮高信息密度的交互中仅传递紧凑的状态摘要和当前诊断图像，优雅平衡了全局探索记忆与上下文长度限制。
通用方法论迁移价值：动态编写专用可视化探针来增强模型自我反思（Self-Correction）的设计思路，不仅适用于贝叶斯建模，还可直接拓展到科学仿真校准、物理参数反演以及复杂系统辨识中。

局限与展望¶

VLM 视觉感知盲区（Perceptual Blindness）：正如作者指出的，当动态工具生成 6 个以上的密集子图图谱时，当前前沿 VLM 有时会表现出视觉注意力涣散或细粒度曲率感知不足，未能完全榨干复杂可视化中的全部诊断信息。
跨问题终生学习（Continual Learning）机制尚不成熟：消融实验显示，完全依赖无监督序列累积反而容易收敛到过于狭窄的局部工具集合，如何在更大规模跨领域任务中形成真正通用且模块化的“终生统计技能库”仍有待探索。
未来方向：探索引入主动采样实验设计（Active Experimental Design）以及针对科学图表感知专门微调的视觉批评器，进一步加速复杂动力系统方程与多重混合模型的自动反演。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将动态多模态工具生成与贝叶斯概率编程有机结合，开辟了科学模型拟合新范式。
实验充分度: ⭐⭐⭐⭐⭐ 提出覆盖两大领域、三层难度的全新 Dawn 基准，包含严格的 Holm-Bonferroni 显著性校正与详尽的工具内容量化分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照生动，动机与统计学直觉阐述透彻。
价值: ⭐⭐⭐⭐⭐ 为自动化科学发现（AI for Science）中的量化模型构建提供了极具落地前景的方法支撑与开源评测基准。