Neural Backward Filtering Forward Guiding¶
会议: NeurIPS 2026
arXiv: 2601.23030
OpenReview: https://openreview.net/forum?id=JOgNQGNTs4
代码: https://github.com/gefanyang/nbffg
领域: 其他
关键词: 树状随机过程, 平滑后验推断, 引导提议分布, 控制随机微分方程, 高斯混合修正
一句话总结¶
针对非线性树状随机过程后验平滑中杜布 h 变换难以闭式求解的根本瓶颈，本文提出了神经后向滤波前向引导（NBFFG）框架，通过闭式线性高斯代理先验提供粗粒度后向引导提议，再由神经网络残差学习非线性修正，并借助路径子采样将训练复杂度从全树规模降低至单条路径长度。
研究背景与动机¶
树状随机过程是建模复杂分层依赖系统的基本工具，在系统发育进化分析、统计物理自旋玻璃状态空间以及社交网络级联扩散中具有广泛应用。在这些场景中，一个核心的统计推断任务是平滑（Smoothing）：即在给定部分节点（通常为末端叶节点）稀疏观测的情况下，推断内部隐层节点的状态及其转移轨迹。在贝叶斯推断框架下，精确平滑可以通过杜布 h 变换（Doob's \(h\)-transform）来实现，其本质是将未来叶节点的观测证据通过从叶到根的后向信念传播（或和积消息传递）聚合为调和 \(h\) 函数，进而引导根到叶的前向生成采样。然而，除了简单的线性高斯系统外，在一般的非线性、非高斯树状动力系统中，后向信息滤波算子涉及的高维拉回积分无法求得闭式解。
现有求解非线性平滑的方法主要依赖序贯蒙特卡洛（SMC）或马尔可夫链蒙特卡洛（MCMC）。但当树的分层结构加深时，SMC 中的粒子权重会出现严重的退化，而当远程叶节点观测向内部祖先节点提供的全局信息微弱时，MCMC 在离散或连续路径空间上的混合速度极慢。直接利用无引导的先验轨迹端到端训练神经网络亦十分困难，因为非引导采样极罕见能命中高似然观测区域，面临严重的梯度方差与模式坍缩。
这种推断困境的核心矛盾在于：全局观测信息的结构化反向传播（确保采样轨迹命中观测边界）与局部复杂非线性动力学的精确表达难以兼得。以往的引导滤波方法（如 BFFG）虽引入代理核，但在代理模型存在偏差时会导致重要性权重方差过大甚至失效。核心 idea：将树状平滑解耦为「粗粒度代理解析引导」与「神经网络局部残差修正」两阶段——利用简化的线性高斯代理核闭式反向传递全局信息形成基准提议分布，再由共享的神经网络学习局部非线性修正残差，在统一框架下实现离散高斯混合修正与连续受控 SDE 平滑。
方法详解¶
整体框架¶
NBFFG 建立在以固定根节点 \(\mathbf{0}\) 为起点的有向树 \(\mathcal{G}=(\mathcal{V},\mathcal{E})\) 上。非根节点集合记为 \(\mathcal{V}^+\)，内部隐层节点记为 \(\mathcal{S}\)，已观测叶节点集合记为 \(\mathcal{L}\)。生成先验在树边上具有马尔可夫分解结构。给定叶节点观测 \(x_{\mathcal{L}}\)，精确后验平滑由向后传播的调和消息 \(m_v(x)\) 与杜布 \(h\) 变换定义。NBFFG 采用双阶段解耦策略：首先引入忽略非线性漂移的规范代理过程 \(\tilde{P}_v\)（离散随机游走或连续布朗运动），通过解析的线性高斯信息滤波器向后汇聚叶节点证据，得到二次型代理对数引导函数 \(\log \tilde{h}_u(x)\) 与仿射引导得分；随后构造变分转移核 \(Q_s^\theta\)，将其锚定在代理引导提议的基础分布上，利用神经网络预测非线性残差，并通过树路径子采样最小化全树负证据下界（NELBO）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["树结构与叶节点观测<br/>叶节点状态 x_L 与树拓扑 G=(V,E)"] --> B["解析代理后向滤波<br/>计算闭式二次型引导 h~_u(x) 及仿射得分"]
B --> C["引导提议基准构建<br/>离散构造高斯基底 P°_s，连续引入漂移引导"]
C --> D["双模态神经残差修正<br/>离散混合高斯网络与连续受控 SDE 残差"]
D --> E["树路径子采样训练<br/>Horvitz-Thompson 根到叶路径无偏采样"]
E --> F["精确树状后验平滑<br/>隐状态多模态恢复与连续轨迹重建"]关键设计¶
1. 规范线性高斯代理后向滤波：构建闭式全局引导信息基底
为避免在非线性动力学下求解难以解析的偏微分方程拉回积分，NBFFG 针对离散与连续过程分别选定忽略非线性漂移的规范代理核：离散情形采用随机游走 \(\tilde{P}_v(x, \mathrm{d}y) = \mathcal{N}(\mathrm{d}y; x, \tilde{\Sigma}_v)\)，连续情形采用无漂移布朗运动 \(\mathrm{d}\tilde{Z}_v(t) = \tilde{\sigma}_v(t) \mathrm{d}\tilde{W}(t)\)。假设观测具有高斯似然，命题 4.1 证明了代理引导信息 \(\log \tilde{h}_u(x) = -\frac{1}{2} x^\top \tilde{H}_u x + \tilde{\eta}_u^\top x + \mathrm{const}\) 严格保持为二次型，并在连续边上诱导仿射分数 \(\nabla_z \log \tilde{h}_{v,t}(z) = -\tilde{H}_{v,t} z + \tilde{\eta}_{v,t}\)。其信息矩阵通过显式的向后递归递推： $\(\tilde{H}_u = \sum_{v \in \mathrm{ch}(u)} G_v, \qquad \tilde{\eta}_u = \sum_{v \in \mathrm{ch}(u)} \xi_v\)$ 其中当 \(v \in \mathcal{S}\) 时，\(G_v = (\tilde{H}_v^{-1} + \tilde{\Sigma}_v)^{-1}\)，\(\xi_v = G_v \tilde{H}_v^{-1} \tilde{\eta}_v\)。该设计彻底摆脱了传统精确杜布变换对复杂反向数值仿真的依赖，仅以解析代价向树的深层注入了关键的下游观测指引。
2. 离散与连续转移的统一样条变分后验：基于基准提议的神经残差修正
在解析引导提议的基础上，NBFFG 针对两类动力学形式设计了与变分下界兼容的残差参数化。对于离散转移，代理引导诱导了高斯基底分布 \(\mathcal{N}(\mu_s^\circ(x), \Sigma_s^\circ(x))\)，变分转移 \(q_s^\theta(y \mid x)\) 形式化为以该基底为中心的神经高斯混合模型（GMM）： $\(q_s^\theta(y \mid x) = \sum_{k=1}^K \mathrm{softmax}(a_s^\theta(x))_k \, \mathcal{N}\left(y; \, \mu_s^\circ(x) + \Delta \mu_{s,k}^\theta(x), \, L_s^\circ(x) M_{s,k}^\theta(x) M_{s,k}^\theta(x)^\top L_s^\circ(x)^\top\right)\)$ 通过对输出层做零初始化，初始提议精确等于引导高斯基底，随着训练深入，\(K\) 个混合分支能够拟合复杂多峰后验。对于连续转移，变分测度由受控 SDE 驱动： $\(\mathrm{d}Z_s(t) = \left[ b_s(Z_s(t)) + a_s(Z_s(t)) \left( \nabla_z \log \tilde{h}_{s,t}(Z_s(t)) + r_s^\theta(t, Z_s(t)) \right) \right] \mathrm{d}t + \sigma_s(Z_s(t)) \mathrm{d}W_t\)$ 根据吉尔萨诺夫定理（Girsanov's Theorem），边级 KL 散度简化为控制能耗的积分形式 \(\frac{1}{2} \mathbb{E} \left[ \int_0^{T_s} g_s^\theta(t, Z_s(t))^\top a_s(Z_s(t)) g_s^\theta(t, Z_s(t)) \mathrm{d}t \right]\)。仿射代理项负责大幅度粗略导向，而神经网络 \(r_s^\theta\) 仅需学习残差力场，极大降低了网络学习非线性控制的难度。
3. 树路径子采样与无偏 Horvitz-Thompson 估计：将训练开销降维至单路径
全树训练在节点规模庞大或连续 SDE 仿真步数较多时计算负担极大。NBFFG 提出了基于路径并集的子采样机制：每步随机抽取叶节点小批量 \(B \subseteq \mathcal{L}\)，仅激活和仿真根到这些叶节点的路径并集 \(A(B) = \{s \in \mathcal{S} : \exists l \in B, s \preceq l\}\)。命题 B.1 证明，通过引入包含概率 \(\pi_s = \mathbb{P}\{s \in A(B)\}\) 和 Rao-Blackwellized 观测父节点包含概率 \(\rho_l\)，构造子采样损失： $\(\widehat{\mathcal{J}}_B(\theta) = \sum_{s \in A(B)} \frac{C_s^\theta}{\pi_s} + \sum_{l \in \mathcal{L}, \mathrm{pa}(l) \in A_0(B)} \frac{C_l}{\rho_l}\)$ 该损失在期望意义下是全树负 ELBO 的严格无偏估计量。这一设计打破了树结构平滑对整树前向拓扑展开的依赖，使得每次反向传播的复杂度仅与采样路径的深度相关，在大规模多分支树系统上展现出优越的可扩展性。
4. 基于结构上下文的均摊神经网络修正：跨拓扑分支知识共享
若为树上每条边独立训练残差网络，参数量将随树规模线性膨胀且无法泛化。NBFFG 引入结构上下文向量 \(\psi_s\)，利用门控循环单元（GRU）沿着从根到节点的拓扑路径编码拓扑特征（包括兄弟节点归一化位次、分支因子、子树叶节点占比、深度与边长）： $\(\bar{h}_{s,j} = \mathrm{GRU}_\theta(\ell_\theta(u_{s,j}), h_{s,j-1}), \qquad \psi_s = h_{s,D}\)$ 全局共享的神经网络以该上下文为条件：离散模型直接输入 \(\psi_s\) 预测高斯混合残差，连续模型则采用特征仿射调制（FiLM）层注入包含结构、时间与端点状态的组合上下文。这种均摊表征促使网络学习通用的树动力学修正规律，使得采样子路径更新的梯度能够直接泛化并惠及未被采样的分支。
损失函数 / 训练策略¶
全树变分优化目标为极小化负证据下界（NELBO）\(\mathcal{J}(\theta)\)，理论上等价于最小化变分后验 \(\mathbb{Q}^\theta\) 到真实平滑后验 \(\mathbb{P}^\star\) 的 KL 散度。离散边的代价项 \(C_s^\theta = \log q_s^\theta - \log p_s\) 为对数似然比，连续边为受控漂移能量积分；叶节点代价 \(C_l = -\log p_l(x_l \mid X_{\mathrm{pa}(l)})\) 为观测负对数似然。训练全程基于 JAX 与 Flax 实现，采用 Adam 优化器，基础学习率设为 \(10^{-3}\)，配合预热（Warmup）与余弦学习率衰减（Cosine Decay），施加全局梯度截断以保证连续 SDE 求解时的数值稳定性。
实验关键数据¶
主实验¶
论文在具有解析真实解的异构线性高斯树（Benchmark 1A）与异构奥恩斯坦-乌伦贝克树（Benchmark 1B）上全面评测了代理模型误设时的修正性能。对比了无引导消融（No guidance）、匹配最优代理、规范无偏代理以及符号颠倒的严重误设代理，评估指标为相对 NELBO 间隙 \(\Delta_{\mathrm{rel}} = (\mathcal{J} - \mathcal{J}^\star)/|\mathcal{J}^\star|\) 与平均边际分布 KL 散度 \(\mathrm{KL}_{\mathrm{avg}}\)。
| 基准任务 | 代理核配置 \((\tilde{A}, \tilde{b}) / (\tilde{B}, \tilde{\theta})\) | 未修正 \(\Delta_{\mathrm{rel}} \downarrow\) | 修正后 (本文) \(\Delta_{\mathrm{rel}} \downarrow\) | 未修正 \(\mathrm{KL}_{\mathrm{avg}} \downarrow\) | 修正后 (本文) \(\mathrm{KL}_{\mathrm{avg}} \downarrow\) |
|---|---|---|---|---|---|
| 1A: 离散线性高斯 | 无引导 (No guidance) | \(1.70 \times 10^4 \pm 7.34 \times 10^3\) | \(96.659 \pm 15.237\) | \(9.670 \pm 2.548\) | \(75.495 \pm 24.010\) |
| 1A: 离散线性高斯 | 最优匹配 \((A, b)\) | \(0.000 \pm 0.000\) | \(0.002 \pm 0.001\) | \(0.056 \pm 0.004\) | \(0.060 \pm 0.010\) |
| 1A: 离散线性高斯 | 规范随机游走 \((I, 0)\) | \(0.913 \pm 0.230\) | \(0.035 \pm 0.011\) | \(1.861 \pm 0.096\) | \(0.118 \pm 0.004\) |
| 1A: 离散线性高斯 | 符号翻转 \((-A, b)\) | \(1.227 \pm 0.322\) | \(0.016 \pm 0.005\) | \(1.677 \pm 0.602\) | \(0.080 \pm 0.017\) |
| 1A: 离散线性高斯 | 严重翻转 \((-A, -b)\) | \(4.482 \pm 0.743\) | \(0.078 \pm 0.040\) | \(6.690 \pm 1.073\) | \(0.111 \pm 0.020\) |
| 1B: 连续异构 OU | 无引导 (No guidance) | \(29.245 \pm 17.626\) | \(0.605 \pm 0.226\) | \(11.904 \pm 1.922\) | \(0.144 \pm 0.022\) |
| 1B: 连续异构 OU | 最优匹配 \((B, \theta)\) | \(0.892 \pm 0.583\) | \(0.213 \pm 0.075\) | \(0.261 \pm 0.051\) | \(0.048 \pm 0.011\) |
| 1B: 连续异构 OU | 规范布朗运动 \((0, 0)\) | \(1.273 \pm 0.724\) | \(0.262 \pm 0.104\) | \(0.387 \pm 0.121\) | \(0.062 \pm 0.008\) |
| 1B: 连续异构 OU | 耦合翻转 \((DBD, \theta)\) | \(1.294 \pm 0.648\) | \(0.214 \pm 0.073\) | \(0.431 \pm 0.051\) | \(0.045 \pm 0.004\) |
| 1B: 连续异构 OU | 严重翻转 \((DBD, -\theta)\) | \(3.955 \pm 1.470\) | \(0.264 \pm 0.111\) | \(1.105 \pm 0.105\) | \(0.062 \pm 0.009\) |
消融实验¶
在折叠非线性多峰高斯树基准（Benchmark 2A）中，非线性平方映射 \(f(x) = (x_1^2, x_2^2)\) 导致根节点具有 4 个对称等可能的象限模式。论文消融对比了先验、纯引导、无引导 GMM、单高斯修正 NBFFG（\(K=1\)）以及混合高斯修正 NBFFG（\(K=4\)），评估指标包括恢复模态数（Modes，满分为 4）、象限概率误差（\(E_{\mathrm{quad}} \downarrow\)）、JS 散度（\(\mathrm{JS} \downarrow\)）以及切片二阶 Wasserstein 距离（\(\mathrm{SW}_2 \downarrow\)）。
| 方法 | 混合分支数 \(K_{\mathrm{mix}}\) | 恢复模态数 \(\uparrow\) | 象限概率误差 \(E_{\mathrm{quad}} \downarrow\) | 散度 \(\mathrm{JS} \downarrow\) | 距离 \(\mathrm{SW}_2 \downarrow\) | 说明 |
|---|---|---|---|---|---|---|
| Prior | — | \(4.0 \pm 0.0\) | \(0.013 \pm 0.004\) | \(0.669 \pm 0.002\) | \(0.493 \pm 0.005\) | 先验无观测引导，密度弥散 |
| Guide only | — | \(1.0 \pm 0.0\) | \(1.500 \pm 0.000\) | \(0.406 \pm 0.001\) | \(1.126 \pm 0.000\) | 纯线性代理无法处理多峰，坍缩至单象限 |
| Unguided GMM | 4 | \(2.2 \pm 0.4\) | \(0.903 \pm 0.209\) | \(0.626 \pm 0.012\) | \(0.560 \pm 0.077\) | 缺少后向滤波引导，训练极其不稳定 |
| NBFFG Gaussian | 1 | \(1.0 \pm 0.0\) | \(1.500 \pm 0.000\) | \(0.406 \pm 0.001\) | \(1.124 \pm 0.001\) | 单高斯容量不足，发生确定性模式坍缩 |
| NBFFG GMM (本文) | 4 | \(3.8 \pm 0.4\) | \(0.118 \pm 0.219\) | \(0.075 \pm 0.043\) | \(0.094 \pm 0.143\) | 成功捕捉 4 个对称象限峰值并逼近真值 |
关键发现¶
- 对严重代理误设的强韧鲁棒性：在 Benchmark 1A 与 1B 中，即使人为引入符号翻转等极端失配的粗糙代理，神经网络残差均能在数千步内迅速收敛，消除超过 \(95\%\) 的 NELBO 相对间隙（如离散严重翻转下 \(\Delta_{\mathrm{rel}}\) 从 4.482 骤降至 0.078），边际 KL 散度与最优匹配代理表现相当。
- 全局引导是变分收敛的前提：无引导消融实验（No guidance）在离散和连续任务中均发生优化停滞甚至发散，离散 \(\Delta_{\mathrm{rel}}\) 高达 96.659，多峰任务中仅能捕捉 2.2 个模态。这证明即便引入深度神经网络，纯靠无先验前向采样在深层树结构中也无法自主寻优，粗粒度全局引导不可或缺。
- 双阱连续扩散多峰覆盖优势：在双阱 SDE 连续非线性测试（Benchmark 2B）的双峰机制下，传统导向 Crank-Nicolson MCMC 出现单模态固着（接受率仅 \(0.0015\)），导向 SMC 遭遇严重粒子退化，而 NBFFG 有效保持了跨模态跳跃路径多样性，取得了最高的归一化有效样本量（ESS / 粒子达 \(0.0076\)）。
- 实战扩展性验证：在蝴蝶翅膀轮廓的 118 维系统发育演化分析中，NBFFG 依托路径子采样在 34 节点真实演化树上稳定运行，成功基于 17 个现存蝴蝶物种的末端坐标回溯出具有解剖合理性的祖先翅膀形态轮廓。
亮点与洞察¶
- 将全局引导与局部学习解耦：巧妙化解了传统杜布变换必须精确求解偏微分方程/高维拉回的死穴，把「远距离下游信息汇总」降维分配给廉价的闭式线性高斯代理，把「非线性动态拟合」交给神经网络，两者分工清晰、相辅相成。
- 理论严格的无偏路径子采样：借助 Horvitz-Thompson 逆概率重权机制，实现了对树状结构计算流的路径级分解，彻底解决了连续扩散过程沿深层复杂拓扑树展开时求解步数爆炸的算力瓶颈。
- 离散混合与连续 SDE 的优美统一：将平滑框架抽象为一般测度空间上的 Markov 核变换，离散域自然演化为残差调制的高斯混合网络，连续域无缝对接 Girsanov 控制能耗损失，体系高度完备自洽。
局限与展望¶
- 梯度穿透整条路径的内存依赖：虽然路径子采样避免了全树更新，但训练反向传播仍须沿整条从根到叶的采样路径回传，面对深度达到数百级的超长进化分支时仍受限于显存容量；未来引入贝尔曼式 Actor-Critic 局部价值传递是重要的改进方向。
- 跨未见树拓扑的泛化瓶颈：当前上下文 GRU 编码能较好地泛化到同拓扑下的未采样分支，但在完全未见的新拓扑树上依然需要重新计算信息滤波与网络微调；未来结合图神经网络（GNN）增强对复杂拓扑归纳偏置的建模具有较大潜力。
相关工作与启发¶
- vs. 传统两滤波平滑与杜布引导 (Briers et al., 2010; van der Meulen & Sommer, 2025)：BFFG 虽引入了代理引导滤波，但依赖重要性采样校准，在代理失配严重时权重方差爆炸；NBFFG 引入神经变分残差彻底消除了权重方差对代理精度的敏感性。
- vs. 扭曲粒子滤波与变分 SMC (Whiteley & Lee, 2014; Naesseth et al., 2018)：扭曲粒子滤波需在线迭代逼近最优提议且存在粒子衰退；NBFFG 离线参数化变分后验核，采样完全前向无交互，且支持任意离散/连续扩散骨架。
- vs. 神经扩散桥 (Yang et al., 2025; Baker et al., 2025)：现有神经扩散桥多局限于单一的两点端点约束轨迹；NBFFG 首次将神经引导连续桥推广至具备任意分支拓扑与分层依赖的树状系统。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出树状随机过程的神经后向滤波前向引导范式，完美融合了统计物理的闭式近似与深度学习的泛函表达。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖解析解高斯树、多峰非线性离散树、连续双阱扩散以及高维真实生物系统发育蝴蝶形态推断，实验指标严谨详实。
- 写作质量: ⭐⭐⭐⭐⭐ 数学公式定义精准规范，理论证明与命题推演脉络清晰，附录实验细节交代完备。
- 价值: ⭐⭐⭐⭐⭐ 对系统发育基因/表型演化、高维层次隐变量模型及复杂网络扩散反演等跨学科领域提供了强大的通用统计推断工具。