Planning as Dynamics Relaxation: Hippocampal Recurrent Network Realizes Optimal Goal-Directed Navigation¶
会议: NeurIPS 2026
arXiv: 2609.13219
OpenReview: https://openreview.net/forum?id=juTALxlaPs
领域: 其他
关键词: 认知地图, 海马循环网络, 动力学松弛, 线性可解马尔可夫决策过程, 行为时间尺度突触可塑性
一句话总结¶
本文提出将海马循环网络的松弛动力学与线性可解马尔可夫决策过程（LMDP）统一起来，证明了当目标神经元被钳制时，循环网络演化达到的稳态活动场严格等价于最优规划的期望场，从而仅凭网络自身物理弛豫即可在复杂障碍环境中实现最优路径规划与局部低秩重规划。
研究背景与动机¶
空间认知地图的神经表征在神经科学中已积累了扎实的生理学证据，包括编码空间位置的海马位置细胞、平铺物理空间的内嗅皮层网格细胞，以及由行为经验诱导的突触可塑性机制。然而，大脑如何利用存储在神经网络连接中的拓扑与几何结构，在包含复杂障碍物和迂回路径的环境中生成避障路径，其底层的神经回路动力学机制一直缺乏清晰自洽的解释。
现有的理论计算模型主要分为两类视角。一类是将规划视为显式算法求解的后继表征（Successor Representation, SR）或线性可解马尔可夫决策过程（LMDP），它们在数学上优雅地将规划规约为线性方程求解，却将"方程如何由生物突触回路自身求解"视作黑盒；另一类则是将规划视为正向或反向轨迹序列模拟的吸引子网络或重放模型（Replay/Preplay），它们依赖时间展开的前瞻性逐步推演，在面临全局迷宫分支或长距离障碍时推演计算开销陡增。核心矛盾在于：生物大脑存储认知地图的循环突触网络，如何无需外部求解器、也无需串行模拟整条前向轨迹，而仅靠自身的局部物理动力学演化直接涌现出全局最优导航方向？
针对这一问题，本文的切入角度是重新审视海马区（如 CA3）密集的循环侧支突触连接。探索环境过程中，突触权重通过行为时间尺度突触可塑性（BTSP）自然记录了空间位置间的被动转移概率，障碍物和墙壁阻断物理穿行动作，使对应连接权重天然为零。核心 idea：将目标导向的路径规划显式形式化为海马循环网络的动力学松弛过程，证明目标神经元受钳制后的稳态活动场数学等价于 LMDP 的期望场，并借助下游位置调谐神经元的树突乘法读出对数梯度作为全局最优导航方向。
方法详解¶
整体框架¶
本文构建的模型由海马连续时间循环网络和下游位置调谐读出神经元群构成。在环境探索阶段，无目标的自主游走通过 BTSP 规则将局部转移结构自组织编码进循环突触连接矩阵 \(\bm{S}\) 中。当动物唤起目标记忆时，自顶向下的目标输入将对应目标神经元钳制在高激活状态，整个网络在抑制性环路调控下通过局部突触传递自由松弛演化至稳态；随后下游读出群体结合当前自身位置输入，通过树突局部乘法整合网络稳态场，以种群向量直接读出指向目标的对数梯度方向。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["自主探索输入<br/>无目标局部空间转移"] --> B["1. 转移门控对称突触可塑性<br/>BTSP构建循环连接矩阵S"]
B --> C["目标线索唤起<br/>钳制目标神经元输入"]
C --> D["2. 动力学松弛等价LMDP求解<br/>网络弛豫至目标期望场"]
D --> E["3. 树突乘法位置调谐读出<br/>种群向量提取对数梯度"]
D --> F["4. 局部环境变动低秩重路由<br/>Woodbury更新瞬时全局纠偏"]
E --> G["输出：局部最优避障移动方向"]关键设计¶
1. 转移门控对称突触可塑性：无监督探索自动构建转移概率拓扑矩阵 模型需要将空间拓扑和障碍分布无监督地存入突触连接，且突触连接需满足细致平衡条件以支持后续线性规划等价性。传统 STDP 往往诱导强非对称因果权重，而海马 CA3–CA3 突触表现出对称的行为时间尺度突触可塑性（BTSP），且具有数秒级的诱导时间窗。本文将无目标探索和内部重放序列建模为在相邻神经元连续激活时触发的转移门控过程： $\(W_{ij}^{\mathrm{tr}} = \sum_{\tau} k(\tau)\,\mathbb{E}\bigl[a_{i}(t)\,a_{j}(t+\tau)\,\Xi_{ij}(t,\tau)\bigr]\)$ 其中 \(k(\tau)=k(-\tau)\ge 0\) 为对称的 BTSP 诱导核，\(\Xi_{ij}(t,\tau)\in\{0,1\}\) 为转移门控指示器，仅当位置 \(i\) 与 \(j\) 在生理时间窗内实际连续可达时为 1。由于墙壁和物理阻隔无法被穿越，对应突触对始终未激活而保持权重为 0。归一化后的突触矩阵 \(\bm{S}\) 严格反映了环境的局部被动转移矩阵 \(\bm{P}_0\)，并天然具备对称性。
2. 动力学松弛等价 LMDP 求解：突触扩散物理演化出全局代价期望场 传统规划算法依赖矩阵求逆或迭代贝尔曼回溯，而在生物回路中缺乏对应数学算子。本文证明了连续时间膜电位松弛动力学能够直接完成这一计算。设非目标神经元的膜电位偏离量为 \(\bm{u}_{\mathcal{I}_g}\)，当目标神经元被自顶向下输入钳制在 \(\bar{u}_g\) 时，线性化稳态满足： $\((\bm{I}_{\mathcal{I}_g} - \alpha \bm{S}_{\mathcal{I}_g\mathcal{I}_g})\bm{u}_{\mathcal{I}_g} = \alpha \bm{S}_{\mathcal{I}_g g}\bar{u}_g\)$ 此式在代数形式上与带有步进代价 \(q_0\) 及 KL 散度约束惩罚 \(\lambda\) 的 LMDP 期望场方程 \((\bm{I}_{\mathcal{I}_g} - \gamma \bm{P}_{0,\mathcal{I}_g\mathcal{I}_g})\bm{z}^g_{\mathcal{I}_g} = \gamma \bm{p}_g\) 严格同构（其中有效增益 \(\alpha=\gamma=e^{-q_0/\lambda}\)）。在稳态解的展开中，\(u_i\) 本质上是对从位置 \(i\) 出发到达目标的所有可能合法路径的权重求和，每多走一步衰减系数 \(\alpha\)，障碍物阻断的路径权重自动为 0，从而使网络稳态活动 \(u_i\) 严格与 LMDP 的期望值（Desirability）\(z^g(i)\) 成正比。在弱代价极限 \(q_0\to 0\)（即 \(\alpha\to 1\)）下，该松弛过程进一步自然收敛至图拉普拉斯算子的格林函数，直接连接了谱导航理论。
3. 树突乘法位置调谐读出：通过局部种群向量自适应解码最优移动对数梯度 即便全局期望场在网络中得以展开，个体仍需将遍布全脑的活动场转化为当前自身坐标 \(\bm{y}_t\) 处的具体动作向量。本文引入下游位置调谐读出神经元群，每个读出神经元接收当前位置的感知调谐输入 \(\mathcal{G}_{\bm{y}_t}(\bm{x})\) 以及来自循环网络的对应位置稳态场输入 \(\psi^g(\bm{x})\)。利用经典的树突分流抑制/增益乘法非线性机制，该神经元的发放率为两者的乘积。下游群体向量读出结果为： $\(\Delta \bm{x}_{\mathrm{pop}}(\bm{y}_t,g) = \frac{\int (\bm{x}-\bm{y}_t)\mathcal{G}_{\bm{y}_t}(\bm{x})\psi^g(\bm{x})\,d\bm{x}}{\int \mathcal{G}_{\bm{y}_t}(\bm{x})\psi^g(\bm{x})\,d\bm{x}} \approx \bm{\Sigma}_G(\bm{y}_t)\nabla\log\psi^g(\bm{y}_t)\)$ 由于种群向量的分子与分母同时包含期望场，整体场强度的全局缩放因子（包括目标激活强度的变化）在除法中被完全对消，保证了解码角度对目标回忆强度具有绝对不变性。同时，局部空间协方差 \(\bm{\Sigma}_G\) 自动使移动向量贴合墙壁走向而避免撞墙。
4. 局部环境变动低秩重路由：突触局部微调瞬时泛化至全目标导航 当环境发生局部门禁开启或关闭等拓扑变更时，传统规划模型往往需要全盘重新计算转移图与价值表。在本文机制下，局部物理环境变化仅造成极少数受影响位置之间的突触连接变化 \(\Delta \bm{S}\)。根据 Woodbury 矩阵恒等式，突触扰动导致的逆算子变化在代数上严格受限于低秩子空间 \(\mathcal{O}(k)\)： $\((\bm{A}'_g)^{-1} - \bm{A}_g^{-1} = -\bm{A}_g^{-1}\bm{U}_g\bigl(\bm{C}_g^{-1} + \bm{V}_g^{\top}\bm{A}_g^{-1}\bm{U}_g\bigr)^{-1}\bm{V}_g^{\top}\bm{A}_g^{-1}\)$ 这意味着动物仅需在发生改变的门禁处进行数次局部穿行以更新对应突触，在此后的动力学松弛中，面对任意唤起的目标点，网络稳态场均会沿着低维扰动模式自动重路由，无需对整个空间重新建立地图。
损失函数 / 训练策略¶
模型属于神经动力学与无监督突触学习模型，不采用基于梯度的反向传播（BP）训练。突触权重由前述的离线局部 BTSP 规则在线性/网格探索中累积获得；松弛过程采用连续时间常微分方程在无外加监督信号下通过膜电位衰减与侧向抑制自然收敛，阻尼固定点迭代仅作为数值模拟时的求解加速手段。
实验关键数据¶
主实验¶
论文在两房间诊断迷宫（68×48网格，含瓶颈通道）与复杂大尺度"捕虫陷阱"（Bug-Trap迷宫，112×76网格）中对动力学松弛理论和真实导航性能进行了系统验证。主结果展现了理论等价性的极致精度以及在长距离复杂死胡同中优异的避障成功率。
| 任务场景 / 实验设置 | 评测指标 | 本文模型 (Ours) | 理论基准 / 欧氏贪心基线 | 性能增益 / 误差表现 |
|---|---|---|---|---|
| 两房间迷宫 (\(\alpha=0.985\)) | 稳态场与LMDP理论解相对 \(L_2\) 误差 | \(9.55 \times 10^{-16}\) | 机器精度 (\(\approx 10^{-15}\)) | 严格代数等价（未校准残差仅3.17%） |
| 两房间迷宫 (\(\alpha\in[0.90,0.996]\)) | 场皮尔逊相关系数 | 1.000 | 1.000 | 全参数区间保持完美同构 |
| Bug-trap 迷宫 (3.0转移动作/神经元) | 探索突触查准率 (Precision) | 1.000 | 1.000 | 零误报（无越墙突触连接） |
| Bug-trap 迷宫 (3.0转移动作/神经元) | 导航成功率 (5次随机种子) | 100% (5/5) | 0% (欧氏贪心基线) | 欧氏贪心在16步后陷入死角撞墙 |
| Bug-trap 迷宫 (复杂迂回路径) | 实际路径与理论最短合法路径比值 | 1.16 | 1.00 (理论最短) | 极度接近最优路径，起始指向偏离直接目标93.8° |
| 双门门禁关闭重规划 (34个目标点) | 前2个奇异值模态解释方差占比 | 99.46% | 随机弥散分布 | 严谨印证秩-2低秩重路由理论 |
消融实验¶
消融实验深入考察了非线性激活函数饱和性、BTSP 样本探索密度以及环境拓扑突变时的低秩收敛性质。
| 配置 / 变体 | 核心指标 | 说明 / 机制结论 |
|---|---|---|
| 强非线性激活 (\(A=\bar{u}_g=5.0\)) | 饱和影响壳层半径 = 8个网格 | 非线性饱和被严格限制在近目标局部壳层，\(R^2=0.94\) 拟合 \(\log A\) 依赖关系 |
| 饱和壳层外神经元读出 | 99分位角度误差 = 0.60° (均值 0.08°) | 壳层外部种群向量对数梯度保持极致稳定，验证了除法读出的振幅不变性 |
| 极低探索密度 (1.0 转移/神经元) | 边缘召回率 = 31.2%, 场相关性 = 0.942 | 仅探索极少转移即可形成全局基本梯度，展现极高样本效率 |
| 标准探索密度 (3.0 转移/神经元) | 边缘召回率 = 68.9%, 场相关性 = 0.988 | 无目标探索可近乎无损重建全局期望场 |
| 门禁阻断直接解 vs Woodbury低秩更新 | 相对差值 = \(1.82 \times 10^{-15}\) | 证明局部突触修改产生的网络场重构完全由秩-2子空间严格闭式表征 |
关键发现¶
- 对数梯度读出的振幅免疫性：通过将非线性饱和效应进行远场扰动展开，证明了目标回忆强度的任意放大仅会在目标周围产生一个半径仅随 \(\log A\) 缓慢扩张的饱和薄壳，而在绝大部分决策空间中，读出方向的偏差均小于 1°，极具生物物理实现的鲁棒性。
- 无目标探索足以破解深层避障陷阱：在"捕虫陷阱"实验中，起点与终点直线距离虽近，但正向通道被死死封死，必须沿相反方向远距离迂回。纯局部无目标游走诱导的对称突触连接经过全网松弛，在第一步就能准确输出偏离几何欧氏方向高达 93.8° 的逆向逃逸路径，直接解决了强化学习中极易陷入局部最优的经典难题。
- 局部突变与全局更新的分离：局部环境拓扑阻断仅需对涉事局部突触进行极低维编辑，而在所有 34 个目标测试点中，全局场的变化有 99.46% 的能量集中在仅前两个奇异模态，解释了动物在发现通路变化后能立即规划出绕行路线的生理神经机制。
亮点与洞察¶
- 将规划等价于回路的自然物理弛豫：跳出了传统计算模型将规划视作"算法显式求逆"或"前向循环推演"的桎梏，利用阻尼网络的基尔霍夫式物理平衡过程直接完成 Bellman 线性方程求解，思路优雅且符合生物学能量最小化原理。
- 树突除法消除非线性增益漂移：利用真实神经元普遍存在的树突增益调制与局部空间加权，将高维场对数梯度的提取转化为简单的种群向量操作，自然消除了全网激活强度的变化影响。
- 统一了认知地图、LMDP 与拉普拉斯谱图理论：在同一循环动力学架构下，通过调整步进代价参数，无缝衔接了有限代价下的 LMDP 规划和零代价极限下的拉普拉斯图格林函数导航，填补了神经回路机制与谱理论之间的断层。
局限与展望¶
- 海马亚区明确归属待解：模型对海马区神经元群体进行了抽象连续建模，并未细分 CA1、CA3 与齿状回（DG）之间的异质性分工，究竟是 CA3 的循环网络单独完成松弛，还是 CA3-CA1 级联回路协同完成，尚需胞内电生理证据支持。
- 理想化转移门控假设：理论中假设转移门控指示器能够完美排除穿墙行为，但在真实生物体中，前瞻性感知、本体感觉信号以及内生序列生成机制如何协同过滤无效连接，仍有待更精细的细胞层级建模。
- 抽象概念空间泛化的前景：作者在展望中指出，相同的动力学松弛原则完全可以从二维物理空间平移至社交网络等级、语义联想链条以及多步抽象逻辑推理任务中，为类脑智能构建通用规划机制提供了极具潜力的架构范式。
相关工作与启发¶
- vs 后继表征模型 (Successor Representation, 如 Dayan 1993, Stachenfeld et al. 2017)：后继表征需要预先计算并显式存储状态转移矩阵的逆，不仅在面对新目标时计算缺乏灵活性，且难以自然融入突触动力学；本文将求逆过程替换为实时的目标钳制物理松弛，环境微调时具备低秩即时重构优势。
- vs 前瞻回放/模拟模型 (Trajectory Rollout / Replay Models, 如 Mattar & Daw 2018, Jensen et al. 2024)：基于轨迹模拟的方法需要按时间序列逐步步进推演，在长距离复杂障碍分支中搜索空间呈指数级扩散；本文的方法是并行的场扩散与全局松弛，一次收敛即可全域获得任意位置的最优动作梯度。
- vs 机器人人工势能场/调和函数法 (Potential Fields / Harmonic Functions, 如 Khatib 1986, Connolly 1990)：机器人经典调和函数法通常依赖连续空间的偏微分方程求解器，且人工势能场极易陷入局部极小；本文不仅从离散图动力学证明了避免局部极小的理论保证，更给出了基于突触可塑性（BTSP）和树突运算的具体神经回路物理实现。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立海马循环网络动力学松弛与 LMDP 解的精确数学等价，架通了神经动力学与控制论的桥梁。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖机器精度代数检验、强非线性理论扰动边界验证、Bug-trap复杂迷宫真实导航以及低秩奇异谱重构分析。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，附录详实完备，概念阐释极具启发性与穿透力。
- 价值: ⭐⭐⭐⭐⭐ 为解决类脑具身导航、大模型长程推理以及神经形态计算芯片的低功耗全局规划开辟了全新路径。