The Laplacian Keyboard: Beyond the Linear Span¶

会议: NeurIPS 2026
arXiv: 2602.07730
OpenReview: https://openreview.net/forum?id=2xN81qKlwF
领域: 其他
关键词: 强化学习, 图拉普拉斯, 后继特征, 分层强化学习, 零样本控制

一句话总结¶

针对无监督强化学习中零样本控制受限于特征线性跨度这一核心瓶颈，本文提出了拉普拉斯键盘（LK）分层框架，将图拉普拉斯特征向量诱导的任务无关行为库作为基底，通过元策略在线动态拼接行为选项，打破了线性跨度的表达约束并在样本效率上大幅超越从头训练的扁平智能体。

研究背景与动机¶

在无监督强化学习（Unsupervised RL）中，智能体需要在无奖励预训练阶段从环境交互数据中学习可重用的先验结构，以便在下游面对任意未知的奖励函数时，能以极高的样本效率实现零样本迁移或快速适应。现有的无监督学习范式主要沿两条路径演进：表示学习方法（如 Proto-Value Functions 和 Forward-Backward Representations）通过学习低秩状态特征基底，将下游奖励投影到特征跨度内以解析计算权重并诱导策略；行为基底方法（如 Option Keyboard）则学习一组可重用的时间抽象选项，在测试期通过广义策略改进（GPI）进行线性组合。

然而，这两类经典范式均面临本质性的表达瓶颈与设计困境。表示基底方法的零样本控制能力严格受限于所选手工或低秩特征的线性跨度（Linear Span）——当下游奖励具有高频局部变化、或截断基底维度有限时，线性投影必然产生不可消除的重构残差，导致诱导出的价值函数与策略严重次优，且盲目增加基底维度不仅无法持续提升性能，反而在表征学习与策略优化上引发优化崩溃。另一方面，传统的选项组合方法（如 Option Keyboard）虽然理论上允许在不同状态间动态切换选项，但其选项库的构建严重依赖人工预先设计的特权奖励特征，缺乏从纯无监督离线数据中自主发现结构化行为基底的理论指导。

针对上述矛盾，本文提出了一种将谱图理论与分层控制深度耦合的新视角：图拉普拉斯特征向量不仅构成了对状态空间平滑奖励信号的最优正交基底，更能自然诱导出覆盖状态拓扑的极化行为模式。既然任何有限静态基底的线性跨度都无法覆盖复杂的下游任务，智能体应当把这组特征诱导出的策略视作基础的“按键”，在时域上进行动态切换与分段拼接。核心 idea：构建拉普拉斯键盘（LK）分层架构，先通过无奖励数据学习图拉普拉斯特征向量与通用后继特征逼近器（USFA）以提供任务无关的行为库，再由上层元策略在时间轴上动态选择并拼接行为选项，从而突破底层特征线性跨度的表达限制，实现兼具零样本能力与高效在线适应的分层控制。

方法详解¶

整体框架¶

拉普拉斯键盘（LK）分为无奖励离线预训练和下游在线分层适应两个核心阶段。在预训练阶段，LK 利用离线无奖励数据集学习状态转移图的拉普拉斯特征向量作为状态表征，并以此表征空间参数化通用后继特征逼近器（USFA），从而诱导出一个覆盖广泛状态转移方向的连续行为库；在下游适应阶段，面对任意奖励函数，LK 冻结底层表征与 USFA 行为库，训练一个上层元策略（Meta-Policy），由元策略输出连续任务权重向量以实例化特定的行为选项，并在固定时域内执行该选项，实现时域上的行为拼接。

方法的整体端到端流程与分层控制流动如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线无奖励数据集<br/>收集自无监督探索策略"] --> B["阶段1：拉普拉斯表征学习<br/>ALLO 对齐-排斥对比损失"]
    B --> C["阶段2：通用后继特征训练<br/>USFA 学习连续行为选项库"]
    C --> D["零样本线性基底检验<br/>在特征跨度内直接投影权重"]
    D --> E["阶段3：元策略分层拼接<br/>LK 动态输出权重向量并在时域执行"]
    E -->|时域终止 horizon 切换| E
    E --> F["下游高回报控制策略<br/>突破特征线性跨度约束"]

关键设计¶

1. 拉普拉斯谱特征基底与价值逼近误差界：刻画截断线性跨度的表达天花板

针对无监督表征如何为奖励逼近提供理论保证的痛点，LK 将马尔可夫决策过程视为状态转移拓扑构成的无向图 $G=(\mathcal{S}, \mathcal{E})$。转移概率矩阵经双随机对称化后得到图拉普拉斯算子 $\mathbf{L} = \mathbf{I} - f_{\text{sym}}(\mathbf{P}_\pi)$。其正交特征向量 $\mathbf{e}_0, \mathbf{e}_1, \dots, \mathbf{e}_{|\mathcal{S}|-1}$ 依特征值 $0 = \lambda_0 \le \lambda_1 \le \dots$ 排列，天然构成状态空间上的正交傅里叶基底。当只保留前 $k$ 个低频特征向量 $\bm{\phi}(s) = [\mathbf{e}_1[s], \dots, \mathbf{e}_k[s]]$ 构成截断基底时，任何高频奖励函数都会产生投影残差。为了定量刻画这种线性跨度的固有局限，作者基于图全变差（Graph Total Variation）$\|r\|_G = \big[\frac{1}{2} \sum_{(i,j)} \mathbf{P}_\pi(i,j)(r(i)-r(j))^2\big]^{1/2}$ 证明了贝尔曼压缩下的价值逼近上界：

\[\|\mathbf{v}^* - \mathbf{v}^*_k\|_\infty \le \frac{\|r\|_G}{(1-\gamma)\sqrt{\lambda_k}}\]

该理论界严格表明：有限拉普拉斯基底的零样本求解误差直接受制于信号平滑度 $\|r\|_G$ 与截断最大特征值 $\lambda_k$。平滑的全局奖励仅需较小的 $k$ 即可近乎完美逼近，而包含高频局部突变的复杂任务则不可避免地落在线性跨度之外，这从理论上指明了单纯扩大特征维度 $k$ 无法根治外跨度任务的局限性。

2. 基于 ALLO 与 USFA 的无监督行为库构建：从状态拓扑到连续选项空间

为了在没有任何先验奖励特征的前提下获得平滑且分布广泛的动作策略，LK 在预训练阶段结合增强拉普拉斯目标（ALLO）与通用后继特征逼近器（USFA）。首先，拉普拉斯编码器通过 ALLO 对比目标进行优化，包含最小化邻接转移状态距离的平滑项和拉开正交性的排斥项，将原始高维观测映射为 $k$ 维拉普拉斯特征 $\bm{\phi}(s)$。随后，LK 将参数化奖励族定义为 $r_\mathbf{w}(s) = \mathbf{w}^\top \bm{\phi}(s)$，并联合训练策略 $\pi_\mathbf{w}$ 与后继特征估计器 $\bm{\psi}(s,a,\mathbf{w})$。后继特征满足时序差分贝尔曼一致性：

\[\bm{\psi}(s,a,\mathbf{w}) = \bm{\phi}(s') + \gamma \mathbb{E}_{a' \sim \pi_\mathbf{w}(\cdot|s')} \bm{\psi}(s', a', \mathbf{w})\]

其动作价值满足 $q^*_\mathbf{w}(s,a) = \mathbf{w}^\top \bm{\psi}(s,a,\mathbf{w})$。在训练过程中，权重向量 $\mathbf{w}$ 均匀采样自半径为 $\sqrt{k}$ 的球面以及随机离线状态的特征向量。这使得每一个连续权重 $\mathbf{w} \in \mathbb{R}^k$ 都对应一个由拉普拉斯基底诱导出的时间连贯行为（例如前向跳跃、后空翻、直立平衡等），形成了一个完全由环境转移自身演化出的行为库。

3. 元策略时域拼接与连续控制：突破线性跨度与加速信用分配

面对超出拉普拉斯线性跨度的下游奖励，LK 放弃在执行期拘泥于单一静态权重，而是引入高层元策略 $\pi_{\text{LK}}: \mathcal{S} \to \mathbb{R}^k$。在每个决策时刻，元策略根据当前观测状态输出一个连续权重向量 $\mathbf{w}$；底层 USFA 根据该 $\mathbf{w}$ 实例化为具体的行为选项并连续执行固定的时域步长 $t_{\text{term}}$（实验中默认设为 5 步）；在经历该选项的轨迹后，控制权交还给元策略，元策略基于新状态更新动作并输出下一个行为选项。元策略在环境反馈的累计折扣回报 $\sum_{t=0}^{t_{\text{term}}} \gamma^t r_t$ 上通过 TD3 算法进行在线优化。

这种分层设计带来了两大核心优势：其一，由于选项内部跨越了多个基元时间步，价值信息在时间抽象上得到快速反向传播，极大地加速了长时间跨度任务的信用分配；其二，元策略的作用空间是连续且语义平滑的权重空间 $\mathbb{R}^k$，微小的权重摄动产生的是平滑过渡的宏观行为轨迹，这使得探索过程避免了高频基元动作上的随机抖动。即使底层仅仅保留 $k=1$（仅能表达沿第一特征向量正反两个极端行为）的极度受限基底，元策略通过在不同时钟步动态切换这两个选项，即可拼凑出原本在线性跨度内完全无法表达的分段非线性轨迹。

损失函数 / 训练策略¶

拉普拉斯编码器损失：采用 ALLO 对比目标，通过拉格朗日对偶变量 $\bm{\beta}$ 和二次惩罚因子 $b$ 约束特征正交性，联合最小化图平滑损失与正交惩罚损失： $$\mathcal{L}_{\text{encoder}} = \sum_{i=1}^k \langle \mathbf{u}_i, \mathbf{L}\mathbf{u}_i \rangle + \sum_{j=1}^k \sum_{k'=1}^j \Big[\beta_{jk'} (\langle \mathbf{u}_j, \mathbf{u}_{k'} \rangle - \delta_{jk'}) + b (\langle \mathbf{u}_j, \mathbf{u}_{k'} \rangle - \delta_{jk'})^2 \Big]$$
USFA 模块优化：采用连续控制 TD3 框架，Critic 网络最小化后继特征的均方贝尔曼时序差分误差，Actor 网络直接最大化预测标量价值 $\mathbf{w}^\top \bm{\psi}(s, \pi_\mathbf{w}(s), \mathbf{w})$。
元策略优化：在冻结编码器与 USFA 的前提下，元策略使用 TD3 算法在分层 MDP 上进行更新。元策略输出带有高斯探索噪声 $\epsilon_{\text{lk-a}} = 0.01$ 的权重向量，并在经验回放池中存储长度为 $t_{\text{term}}$ 的多步转移样本。

实验关键数据¶

主实验¶

实验在 DeepMind Control (DMC) 套件的 3 个经典领域（Cheetah, Quadruped, Walker）共 12 个任务上展开，离线预训练基于 3 种无监督探索数据集（APS, Proto, RND），并涵盖 $k \in \{1, 2, 3, 5, 10, 20, 50\}$ 等 7 种基底规模。基线对比包括零样本 SOTA 方法 Forward-Backward (FB) 表征以及从头在线训练的扁平 TD3 智能体。

下表展示了在 APS 数据集上、$k=50$ 时的零样本性能对比（均值 ± 标准误，30 次独立运行）：

领域 / 任务	指标 (无折扣回报)	本文 (Laplacian Zero-Shot)	对比基线 (FB Representations)	相对表现
Cheetah (avg)	Return	450	552	相当 (-18.5%)
Cheetah Run	Return	196 ± 9	248 ± 7	-21.0%
Cheetah Run-B	Return	188 ± 6	229 ± 4	-17.9%
Cheetah Walk	Return	709 ± 22	819 ± 15	-13.4%
Cheetah Walk-B	Return	706 ± 14	912 ± 10	-22.6%
Quadruped (avg)	Return	509	470	优势 (+8.3%)
Quadruped Jump	Return	554 ± 10	483 ± 7	+14.7%
Quadruped Run	Return	366 ± 5	317 ± 6	+15.5%
Quadruped Stand	Return	705 ± 14	617 ± 12	+14.3%
Quadruped Walk	Return	410 ± 11	461 ± 9	-11.1%
Walker (avg)	Return	582	584	持平 (-0.3%)
Walker Flip	Return	507 ± 15	412 ± 13	+23.1%
Walker Run	Return	294 ± 9	356 ± 7	-17.4%
Walker Stand	Return	635 ± 23	754 ± 13	-15.8%
Walker Walk	Return	890 ± 11	816 ± 8	+9.1%

注：符号检验（Sign Test）表明拉普拉斯零样本基底与 SOTA 强基线 FB 之间无统计显著性差异，验证了拉普拉斯特征向量作为零样本控制基底的坚实可靠性。

消融实验¶

为了严格检验 LK 分层架构是否真正“打破了线性跨度限制”以及是否提升了样本效率，下表给出了在 APS 数据集上，不同基底维度 $k$ 下 LK 相对纯零样本基底的提升幅度（%），以及 LK 相对于从头学习的扁平 TD3 智能体在 200k 步内的累积回报 AUC 比率（比值 > 1.0 表示 LK 样本效率显著更高）：

领域 / 任务	评估指标	$k=1$	$k=2$	$k=3$	$k=5$	$k=10$	$k=20$	$k=50$
Cheetah (avg)	相对零样本提升 (%)	+14701%	+11496%	+219%	+98%	+15%	-3%	0%
Cheetah (avg)	下游 AUC 比率 (vs TD3)	0.6×	0.5×	1.2×	0.9×	1.3×	1.4×	1.3×
Cheetah Run	相对零样本提升 (%)	+9143%	+5474%	+34%	-21%	+17%	+15%	+20%
Cheetah Walk-B	相对零样本提升 (%)	+22575%	+15258%	+325%	+424%	+20%	-4%	-20%
Quadruped (avg)	相对零样本提升 (%)	0%	-11%	-8%	+4%	+3%	+23%	+26%
Quadruped (avg)	下游 AUC 比率 (vs TD3)	3.3×	2.6×	2.5×	3.0×	2.9×	3.4×	3.5×
Quadruped Jump	下游 AUC 比率 (vs TD3)	3.7×	2.6×	2.6×	3.0×	2.7×	3.4×	3.5×
Walker (avg)	相对零样本提升 (%)	+1399%	+341%	+393%	+444%	+447%	+59%	+72%
Walker (avg)	下游 AUC 比率 (vs TD3)	0.9×	1.1×	1.0×	1.1×	2.1×	2.3×	2.0×
Walker Flip	相对零样本提升 (%)	+1299%	+451%	+492%	+556%	+894%	+54%	+52%
Walker Walk	相对零样本提升 (%)	+3237%	+488%	+774%	+863%	+234%	+6%	+60%

此外，在 Item-Collector 顺序物品收集网格世界中，作者对比了连续权重元策略（LK-USFA）与传统的离散多轮广义策略改进（LK-GPE&GPI）以及依赖手工特权奖励特征的 Option Keyboard Basis (OKB)： - 无特权信息逼近特权上限：LK-USFA 在完全不依赖任何人工设计奖励特征的条件下，回报迅速爬升至 8.5+，逼近具有完美特征先验的 OKB 上限。 - 连续机制避免误差复合：LK-GPE&GPI 在 $k=20$ 时表现良好，但在 $k=30$ 和 $k=40$ 时性能急剧滑坡，原因是离散 GPI 需经历两阶段离散策略评估与贪婪最大化，导致后继特征逼近误差呈级联放大；而 LK-USFA 将连续权重优化直接吸收在元策略中，展现出显著的数值稳定性与可扩展性。

关键发现¶

极受限基底下的分层突变：在 $k=1$ 的极度受限设定下，USFA 实际上仅能提供沿第一特征向量正反方向（$\pm \mathbf{e}_1$）的两种固定行为，线性组合毫无调整空间（导致零样本表现极低，如 Cheetah 仅得 17 分）。然而 LK 元策略仅仅通过在时域上交替激活这两种行为，便在 Cheetah 上取得了 +14701% 的惊人飞跃，这无可辩驳地证实了时域分层拼接所带来的超出静态线性空间的非线性表达能力。
高阶任务结构与基底饱和特异性：在 Quadruped 领域中，第一主特征向量已经捕获了维持躯干高度与直立的核心动力学模式（占所有任务回报的绝大部分），因此纯零样本在 $k=1$ 时即达性能巅峰（676 分），进一步增加 $k$ 反而使表征更难学；此时 LK 的元策略适应主要退化为在 $\mathbb{R}^k$ 空间搜索最优固定向量，而其下游 AUC 相对扁平 TD3 仍保持着 2.5× 至 3.7× 的绝对样本效率碾压。
样本效率的本质来源：在 Walker 和 Quadruped 上，LK 的学习曲线全面压制从头学习的扁平 TD3 智能体。原因在于元策略在连贯宏观选项构成的抽象时空中探索，规避了基元动作随机游走的方差，并借助选项多步长度大幅加快了时序反向传播的收敛速度。

亮点与洞察¶

融通表征学习与时间抽象：这篇论文首次在统一数学框架下打通了图拉普拉斯谱分解与选项键盘（Option Keyboard）的界限，用环境自身的转移拓扑自然化解了选项发现中“基底从何而来”的长期未解难题。
用时间非线性弥补空间线性：线性投影基底是计算轻量却表达贫乏的双刃剑；LK 展示了一种极其优美的物理直觉——空间的线性不足可以通过时间的序列化非线性组合（分段拼接）来补齐，即使只有两个极性相反的基底动作，通过节奏性交替也能拟合高度非线性的复杂目标。
连续元动作设计的普适迁移性：传统分层 RL 往往纠结于离散选项的硬选择（受制于组合爆炸与 argmax 误差放大），LK 将后继特征的权重空间直接视作上层元动作的连续控制空间，这一思路可直接无缝迁移到任意基于基底的通用预训练大模型（如 HILP、FB 等）下游控制中。

局限与展望¶

固定时序终止步长的次优性：作者坦承当前选项仅采用固定步长（$t_{\text{term}}=5$）强行终止，而非依据状态显式学习终止条件（Termination Function）。这可能导致某些长程动作在执行到关键相位的中间节点被生硬打断，限制了选项表达能力的最大化。
零样本能力偶发性回退：理论上 LK 的元策略在最优时至少能够稳定退化为单次零样本最优权重解，但实验中在极少数大 $k$ 任务上表现出略逊于零样本基准的波动，这主要是由于连续高维动作空间探索中的局部极小与固定步长截断共同作用所致。
离线数据覆盖度的依赖：拉普拉斯算子的质量严重受限于无奖励离线数据集的遍历质量（如 APS 明显优于 Proto 和 RND），未来探索结合在线动态拉普拉斯选项发现机制，以摆脱对静态无监督数据集的预先依赖具有重要前景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 成功连接了谱图理论的线性基底与分层时间抽象，从时域非线性拼接突破空间线性跨度约束的视角极其深刻且优美。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 3 大 DMC 领域、12 个连续控制任务、3 种无监督数据集以及 7 种基底规模，兼顾离散网格世界对照与严密的误差上界理论推导。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，图文互映，数学证明规范严谨，实验分析切中机理。
价值: ⭐⭐⭐⭐⭐ 为无监督强化学习与通用行为基座模型（Behavioral Foundation Models）提供了一个克服表示瓶颈的高效范式。