LLM Flow Processes for Text-Conditioned Regression¶

会议: NeurIPS 2026
arXiv: 2601.06147
论文: https://arxiv.org/abs/2601.06147
领域: 学习理论
关键词: 神经扩散过程, 流匹配, 专家乘积, 文本条件回归, 无梯度引导

一句话总结¶

本文提出将神经扩散过程的轨迹一致性先验与大语言模型的文本条件边际概率通过免梯度的专家乘积（Product of Experts）闭式高斯卷积引导相结合，消除了自回归回归模型的误差累积与确定性坍缩，实现了高质量文本条件函数空间选择。

研究背景与动机¶

将专家先验知识融入回归与时间序列预测任务一直是统计学习的核心挑战，尤其在物理过程或领域语义难以形式化建模的场景中。预训练大语言模型（LLM）蕴含海量世界常识，在少样本回归和结合文本元数据（如气象站名、时序变量物理含义）方面展现出巨大潜力（如 LLM-Process 与 Direct Prompt）。然而，直接依赖因果自回归解码进行回归预测存在严重的结构性缺陷：当自回归展开超过数十至上百步时，模型在自生成输出上不断累积暴露偏差（Exposure Bias），极易陷入类似神经文本退化（Neural Text Degeneration）的“吸引子状态”，退化为与上下文数据脱节的确定性线性漂移或周期模板，预测误差随步数呈指数级放大且推理严重受限于串行瓶颈。

与此同时，以神经扩散过程（NDP）和流匹配神经过程为代表的元学习范式，通过从海量代表性合成函数（如不同核的高斯过程）中学习数据驱动的随机过程先验，能够以可交换且高度并行的非自回归方式建模复杂的局部相关性与光滑轨迹。但 NDP 的致命短板在于无法接入非结构化的自然语言文本或元数据描述，导致在面对特定测试集时无法进行细粒度的函数空间先验挑选（Function Space Selection）。若仅使用独立的 LLM 边际预测（I-LLMP），虽可规避自回归误差累积并便于并行，但又丧失了点间的局部联合相关性，预测分布过度发散且容易产生离群坏点。

本文的核心洞见在于：自回归 LLM 欠缺局部轨迹物理结构与长程鲁棒性，而扩散神经过程欠缺文本语义引导能力，两者的优缺点完全互补。核心 idea：通过基于高斯闭式卷积的无梯度专家乘积（Product-of-Experts）引导框架，将现代 flow-matching 神经扩散过程的联合轨迹先验与轻量级独立 LLM 边际离散概率密度相交，在保持联合轨迹平滑与交换对称性的同时，利用文本提示实现对 NDP 候选函数空间的精确软选择。

方法详解¶

整体框架¶

LLM-FP 将文本条件下的联合回归分布表述为一个专家乘积（Product of Experts）密度 $\pi_1(\mathcal{Y}_1 \mid c) \propto q(\mathcal{Y}_1 \mid c) p_1(\mathcal{Y}_1)$，其中 $p_1$ 为由条件流匹配神经扩散过程（NDP）建模的数据驱动联合随机过程先验，$q(\mathcal{Y}_1 \mid c)$ 为预训练 LLM 在给定自然语言上下文提示 $c$ 与上下文观测数据 $\mathcal{D}$ 下输出的独立边际概率专家。在连续时间流扩散过程中，系统对各目标位置的输出向量 $\mathcal{Y}_t$ 同步去噪；在每个时间步，NDP 主干网络提供整体无条件或基于观测数据引导的 score 向量，而各个独立 LLM 边际专家则通过闭式解析高斯卷积直接对 NDP 预测的期望终点 $\widehat{\bm{y}}_{1|t}$ 提供精准的分数修正，从而将连续流轨迹拉向与文本描述完全一致的流形。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言上下文描述 + 观测数据 D"] --> B["LLM 统一链式思考与离散网格打分<br/>单次推理获取各目标点边缘对数概率"]
    C["高斯先验噪声 Y_0"] --> D["条件最优传输 (OT) 连续流去噪轨迹"]
    B --> E["无梯度闭式高斯卷积引导<br/>利用误差函数快速评估平滑密度分数"]
    D --> F["Diffusion Transformer (DiT) 主干<br/>估计边缘速度场与 Tweedie 期望终点"]
    F --> E
    E --> G["专家乘积联合修正得分场<br/>结合轨迹自洽性与文本语义约束"]
    G --> D
    D --> H["文本对齐的高保真回归预测轨迹 Y_1"]

关键设计¶

1. 基于闭式高斯卷积的无梯度专家乘积（Gradient-Free Product-of-Experts）：摆脱黑盒梯度与蒙特卡洛采样的扩散引导 传统将能量损失函数或外部专家注入扩散模型引导的方法（如分类器引导或能量倾斜采样）通常需要对专家模型反向传播计算梯度，或者采用极其耗时的蒙特卡洛积分来近似时间边缘条件概率。而在黑盒 LLM 或分箱打分输出场景下，直接对 LLM 参数计算梯度或执行复杂采样是完全不可行的。本文利用最优传输（OT）仿射高斯流的时间条件分布 $p_{t|1}(\bm{y}_t \mid \bm{y}_1) = \mathcal{N}(\bm{y}_t \mid \alpha_t \bm{y}_1, \sigma_t^2 I)$，结合贝叶斯定理将时间步 $t$ 的乘积分布对数分数严格推导为扩散模型分数项与专家平滑后对数似然修正项之和： $$\nabla_{\bm{y}_t} \log \pi_t(\bm{y}_t \mid c) \approx s_t^\theta(\bm{y}_t) + \nabla_{\bm{y}_t} \log \widetilde{q}_{r_t}(\widehat{\bm{y}}_{1|t}(\bm{y}_t) \mid c)$$ 其中 $\widehat{\bm{y}}_{1|t}(\bm{y}_t) \coloneq \mathbb{E}[\bm{Y}_1 \mid \bm{Y}_t = \bm{y}_t]$ 是从流模型速度场直接通过解析仿射变换得到的 Tweedie 终点估计值，而 $\widetilde{q}_{r_t}$ 正是专家分布 $q$ 与尺度为 $r_t = \sigma_t / \sqrt{\sigma_t^2 + \alpha_t^2}$ 的零均值高斯核的卷积。对这一平滑分布关于 $\bm{y}_t$ 的梯度只需通过对 Tweedie 映射求导传递，完全无需计算专家 $q$ 内部参数或输出的梯度。

2. 离散分箱概率与高斯累积分布函数（CDF）闭式解析平滑：快速计算平滑专家密度 在独立边际大语言模型回归（I-LLMP）中，LLM 对目标点预测值的打分被离散化在区间分箱集合 $\mathcal{B}$ 上，形成分段常数阶梯密度。针对一维输出回归，每个分箱 $B = [a_B, b_B]$ 具有概率密度值 $q_B$。由于高斯滤波核与阶梯函数可以直接解析积分，平滑后的专家密度 $\widetilde{q}_{r}(y)$ 能够严格利用标准正态累积分布函数 $\Phi$ 表示： $$\widetilde{q}_r(y) = \sum_{B \in \mathcal{B}} q_B \left[ \Phi\left(\frac{b_B - y}{r}\right) - \Phi\left(\frac{a_B - y}{r}\right) \right]$$ 该式不仅处处无限阶光滑，且计算开销仅等价于对误差函数（erf）的一次向量化求值，免去了所有数值积分与随机采样误差，使得在扩散采样的数十步中引入实时的专家语义引导几乎不增加推理延迟。

3. 稀疏锚点打分与全分辨率神经扩散过程轨迹耦合：计算开销削减与交换对称性保持 若在回归稠密网格上每个点都调用 LLM 预测，计算复杂度将随预测分辨率急剧上升。LLM-FP 提出了非对齐网格的混合分辨率机制：仅在 51 至 64 个均匀下采样的锚点位置让 LLM 执行边际对数概率评估（由于 LLM 使用共享的前置 Chain-of-Thought 推理缓存和 KV Cache 前缀，每个候选点只需打分后缀小片段），而底层的神经扩散过程（配备 adaLN-zero 与扩散变换器 DiT 架构）则在稠密的 256 点全分辨率网格上进行联合建模。未被 LLM 锚定的其余点完全依赖 NDP 习得的连续随机过程注意力先验提供自洽光滑的插值与外推。这种设计不仅比在 256 点上直接调用 LLM 节省了约 $4\times$ 计算开销，更保证了系统在任意排列下对输入点对的严格置换等变性（Kolmogorov 扩展定理一致性要求）。

损失函数 / 训练策略¶

NDP 主干模型采用改进的最优传输条件流匹配（Optimal Transport CFM）目标在合成高斯过程（GP）样本库上进行在线无模拟训练： $$\mathcal{L}_{\mathrm{CFM}} = \mathbb{E}_{t, \bm{Y}_1 \sim p_{\mathrm{data}}, \bm{Y}_0 \sim \mathcal{N}(0, I)} \| \dot{\alpha}_t \bm{Y}_1 + \dot{\sigma}_t \bm{Y}_0 - u^\theta_t(\bm{Y}_t) \|^2$$ 其中最优传输路径调度为 $\alpha_t = t, \sigma_t = 1 - t$。GP 样本生成策略为 50% 混合短长度尺度的平方指数核（RBF，$\ell_r \sim \mathcal{U}[0.1, 1.0]$）与 50% 混合局部周期核（Locally-Periodic，乘积形式包含长程 RBF 包络与周期核，周期 $p \sim \mathcal{U}[0.75, 1.25]$）。训练在单张 Nvidia GH200 上使用 AdamW 优化器以恒定学习率 $3 \times 10^{-4}$ 训练 300,000 步（批大小 2046）。所有测试阶段的 LLM（Qwen-3.6-27B）完全保持冻结且不进行任何微调。

实验关键数据¶

主实验¶

实验在四个代表性测试任务上展开评估：突变拐点回归（Change point，测试文本语义忠实度）、合成圣迭戈降雨外推（San Diego rainfall，测试季节性周期先验约束）、周期叠加上升线性趋势外推（Periodic + linear，测试超出基座 NDP 支持域的外推能力）以及真实世界夏威夷冒纳罗亚火山大气 CO2 浓度预测（Mauna Loa CO2，稀疏采样条件下的真实外推）。所有方法均使用相同的 Qwen-3.6-27B 思考提示词，评估指标采用平均绝对误差（MAE）、连续分级概率评分（CRPS，衡量概率校准度）及每点拟合高斯负对数预测密度（NLPD，衡量不确定性与防虚脱度）。

任务	指标	LLM-Independent	LLM-Direct (自回归)	NDP (无文本)	LLM-FP (本文)
Change point	MAE ↓ CRPS ↓ NLPD ↓	0.29 ± .13 0.12 ± .07 0.06 ± .27	0.02 ± .00 0.01 ± .00 -1.84 ± .38	0.73 ± .10 0.43 ± .05 0.77 ± .13	0.09 ± .01 0.08 ± .01 -0.40 ± .31
Periodic + linear	MAE ↓ CRPS ↓ NLPD ↓	0.44 ± .14 0.37 ± .07 1.00 ± .15	0.93 ± .26 0.69 ± .21 2.05 ± .73	0.41 ± .08 0.29 ± .05 0.70 ± .11	0.26 ± .03 0.18 ± .02 0.20 ± .09
Mauna Loa CO2	MAE ↓ CRPS ↓ NLPD ↓	0.84 ± .24 0.62 ± .16 1.48 ± .18	1.91 ± .41 1.52 ± .31 4.18 ± .89	1.11 ± .18 0.74 ± .11 1.74 ± .09	0.80 ± .10 0.56 ± .07 1.43 ± .15

消融实验：LLM 思考模式（Thinking vs. No-Thinking）对预测行为的影响¶

论文探究了在生成预测前引入长链推理（... block，分析时序物理量纲、趋势周期与 regime shift）对不同模型范式预测保真度的作用：

实验配置	Change point 结构恢复度	San Diego 降雨样本多样性	失败与退化机制说明
LLM-Direct (w/o Thinking)	失败（线性延伸偏离真实拐点）	保持多样性（样本方差正常）	自回归无深层全局规划，依赖局部自激发，产生伪周期漂移
LLM-Direct (w/ Thinking)	完美捕捉间断点	严重退化（样本完全坍缩）	确定性全局先验致使采样高度过拟合至单一模板，样本方差归零
LLM-FP (w/o Thinking)	峰值被过度平滑	丢失周期结构（退化为 NDP 无条件平滑先验）	LLM 边际无明确引导，乘积后退回基座 GP 支持集中心
LLM-FP (w/ Thinking)	清晰复现拐点，消除局部野点	高度对齐周期，保留合理不确定性	思考锁定了语义函数空间，NDP 提供了物理光滑支撑，双重校准最佳

关键发现¶

自回归级联崩溃的本质：直接利用 LLM 自回归预测多点序列（LLM-Direct）在预测步数达到 96 步时即开始显现发散轨迹；当扩展至 256 步时，几乎所有轨迹均坍缩进由自身输出诱发的错误线性趋势“吸引子状态”（Attractor State），中位数预测完全失效。
软函数空间选择机制：在包含上升线性趋势的周期外推任务中，由于基座 NDP 训练集仅包含零均值平稳 GP，NDP 在远离观测点时不可避免地衰减至零均值；而 LLM-FP 通过 LLM 的边际概率偏置，成功将轨迹沿着 NDP 概率支撑集的边缘向具有非平稳趋势的方向引导，验证了“文本作为函数空间选择子”的假设。
抗离群点与自正则化：独立边际预测（LLM-Independent）虽然易于并行且无级联崩溃，但在输入邻近点上常出现大幅跳变的反常离群点；LLM-FP 借助 NDP 的局部连续性先验完全消除了这些局部不自洽预测。

亮点与洞察¶

闭式高斯卷积无梯度注入：将外部黑盒分布引入连续扩散采样通常面临不可微的困境，本文巧妙利用阶梯分箱密度与高斯核卷积具有严格解析积分（利用标准正态误差函数 $\Phi$）的数学特性，构造出即时可导的平滑得分，极具普适推广价值。
“先边际再耦合”的生成范式革新：证明了求解长程依赖回归无需在离散自回归中勉强维持联合分布；让大语言模型专注于单点语义对数概率的评估，而将复杂的跨点协同与轨迹连续性交还给扩散过程，兼具了计算效率与物理自洽性。
跨模态函数先验迁移思路：这一架构可无缝迁移至包含分子结构约束优化、物理偏微分方程逆问题求解或带定量文本描述的连续轨迹规划，为利用自然语言微调连续扩散模型生成空间提供了全新的无微调范式。

局限与展望¶

支持域不匹配风险：乘积专家机制本质上是对 NDP 先验分布进行重加权。若文本所描述的函数物理行为完全落在 NDP 训练先验的零概率测度区域（例如训练集仅包含高斯过程，而测试任务为阶跃突变点），LLM-FP 无法凭空创造新的连续结构，性能将弱于专门针对间断点自回归拟合的模型。
独立性假设的双重计数隐患：公式推导中假设 NDP 先验与 LLM 专家之间条件独立，若两者的预测高度相关且 LLM 存在过度自信倾向，乘积更新可能出现不确定性低估和置信区间过度收缩。
未来方向：未来可将合成数据扩展至更丰富的结构因果模型（如 TabPFN 类数据生成器），并利用稀疏线性注意力或邻域注意力处理成千上万量级的大规模上下文回归。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用闭式高斯卷积将黑盒 LLM 边际概率以免梯度方式注入流匹配神经过程，构思极其精巧。
实验充分度: ⭐⭐⭐⭐ 涵盖典型间断点、周期外推、非平稳趋势及真实大气观测数据，消融实验深入剖析了思考机制与步数退化。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨流畅，直观物理动机与理论细节交代极为透彻，图表说服力极强。
价值: ⭐⭐⭐⭐⭐ 完美打通了非结构化自然语言与连续随机过程建模的壁垒，为轻量可控时序与科学计算生成模型指明了方向。