Factorized Spectral Representations for Reinforcement Learning¶
会议: NeurIPS 2026
arXiv: 2607.13498
OpenReview: https://openreview.net/forum?id=qZTX18AAiX
论文: https://arxiv.org/abs/2607.13498
代码: https://github.com/xxx
领域: 强化学习
关键词: 连续控制, 谱表示学习, 张量分解, 样本效率, 模块化迁移
一句话总结¶
将连续控制马尔可夫决策过程的状态转移核建模为状态-动作-下一状态三维张量并进行 CP 分解，通过噪声对比估计解耦学习状态与动作特征，显著提升高维动作控制的样本效率并在执行器漂移下实现模块化特征零样本复用。
研究背景与动机¶
连续控制强化学习的核心瓶颈之一在于高维状态与动作空间带来的样本效率低下，随着维度膨胀，无模型强化学习与环境交互所需的样本规模急剧飙升。低秩马尔可夫决策过程（Low-rank MDPs）为解决该难题提供了坚实的理论依托，其假设状态转移核具有有限秩因子分解结构，从而将表示学习转化为寻找转移线性特征空间的统计问题。近期谱表示强化学习方法（如 CTRL-SR、Diff-SR 等）通过自监督对比学习目标直接拟合转移比率分数，将这一理论推向实用深度强化学习，并在下游策略评估与 Bellman 线性投影中展现出极高竞争力。
然而，现有谱表示强化学习方法在架构假设上存在显著缺陷：它们一律将状态 \(s\) 与动作 \(a\) 拼接为联合变量 \((s, a)\)，直接利用统一的单体编码器对状态-动作对进行联合嵌入。在复杂的物理控制系统中，状态表征系统的物理姿态与构型，而动作则代表外加驱动输入；很多时候，不同的动作只是调节或激发相同的状态依赖固有运动模态（如双足机器人的姿态与躯干平衡）。单体编码器无法识别这种内在正交性，强行在整个联合状态-动作平面上拟合自由起伏的分数曲面，导致智能体必须针对每一个动作重复学习相同的状态侧动态模式。
针对这一结构性缺陷，本文认为状态转移核天然是一个横跨状态、动作与下一状态的三维张量，应当利用张量 CANDECOMP/PARAFAC (CP) 分解将其显式解耦为独立的状态、动作与下一状态编码器。核心 idea：将状态转移核视为状态、动作与下一状态的三维张量并采用 CP 分解，利用三线性噪声对比估计将状态与动作编码器通过 Hadamard 积紧密耦合，将统计复杂度上界指数从联合维度 \(d_s + d_a\) 骤降至 \(\max(d_s, d_a)\)，并实现执行器漂移下状态特征的免微调模块化复用。
方法详解¶
整体框架¶
FaStR（Factored Spectral Representations）从张量代数视角重新审视了连续控制环境中的转移核 \(\mathcal{T} \in \mathbb{R}^{|\mathcal{S}| \times |\mathcal{A}| \times |\mathcal{S}|}\)。标准线性 MDP 将状态与动作扁平化拼接，导致矩阵秩膨胀；FaStR 则引入 CP 分解假设，设立三个专职编码网络：状态因子网络 \(\phi_s(s) \in \mathbb{R}^d\)、动作因子网络 \(\phi_a(a) \in \mathbb{R}^d\) 以及多尺度扰动下一状态核网络 \(m(s'; \beta) \in \mathbb{R}^d\)。在下游价值学习中，状态与动作特征直接通过逐元素乘积（Hadamard 积）生成联合特征 \(\psi(s,a) = \phi_s(s) \odot \phi_a(a)\)，该特征在理论上严格保持 Bellman 线性收闭性，可供下游双 Q 评判网络（Critic）在特征冻结状态下进行鲁棒的时序差分（TD）更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境转移样本 (s, a, s')"] --> B["三模态独立编码器<br/>状态与动作专职特征提取"]
B --> C["对角三线性核能量<br/>Hadamard 积特征与下一状态匹配"]
C --> D["排序扰动噪声对比估计 (RP-NCE)<br/>多尺度方差保持噪声监督更新"]
D --> E["下游 Bellman 线性评判更新<br/>冻结 ψ(s, a) 驱动 TD3 策略优化"]关键设计¶
1. 三模态独立编码器：解耦状态构型与动作调制
传统单体编码器将状态向量与动作向量直接拼接送入多层感知机，导致状态侧表征与动作侧表征在第一层参数中就发生不可逆的纠缠混叠。FaStR 构建了两个拓扑对称的残差编码网络 \(\phi_s: \mathcal{S} \to \mathbb{R}^d\) 与 \(\phi_a: \mathcal{A} \to \mathbb{R}^d\)，分别映射连续状态与控制动作。状态编码器专门捕获智能体系统本身的构型空间特征（如质心位置、各关节角速度与姿态），动作编码器则专门学习力矩输入的调节增益。两个特征的结合采用逐元素 Hadamard 积 \(\psi(s, a) = \phi_s(s) \odot \phi_a(a)\)，强制要求联合能量曲面必须由可复用的状态模态与动作调制因子共同决定，从归纳偏置层面杜绝了单体编码器在无交互数据区域盲目泛化的缺陷。
2. 对角三线性核能量：化解全 Tucker 张量的对比梯度秩亏陷阱
在张量分解选择中，全 Tucker 分解虽然拥有更强的自由交互矩阵 \(M(s') \in \mathbb{R}^{d_s \times d_a}\)，但在对比学习中会遭遇致命的梯度秩亏问题。在 NCE 目标下，单条样本对转移核参数的梯度链式导数落入秩一子空间 \(\nabla_{\mathrm{vec}(M(s_j'))} \ell_{\mathrm{NCE}} \in \mathrm{span}\{\phi_a(a_i) \otimes \phi_s(s_i)\}\)，导致大小为 \(N\) 的小批量在单步更新中最多只能探索 \(N\) 个参数方向。全 Tucker 核心要求有效负样本规模 \(N \ge d_s \cdot d_a\)（例如 \(64 \times 64 = 4096\)），远超常规显存承载范围。FaStR 严格采用超对角形式（即 CP 分解），将交互矩阵限定为对角核向量 \(m(s'; \beta) \in \mathbb{R}^d\)，使得有效 NCE 维度仅为 \(d\)。此时常规批量大小 \(N=512\) 即可全面覆盖参数梯度空间，完美平衡了模型容量、NCE 统计有效性与单步梯度覆盖率三者的冲突。
3. 排序扰动噪声对比估计 (RP-NCE)：多尺度自监督表征学习
为从环境交互中无监督地拟合真实转移比率，FaStR 采用方差保持（Variance-Preserving, VP）扩散噪声调度表 \(\{\beta_m\}_{m=1}^M\)（预设 \(M=25\) 个噪声等级），对同一批次内的候选真实下一状态与负样本进行多尺度高斯扰动。三线性对比能量函数定义为： $$ f_{\Theta}(s, a, s', \beta) = \sum_{k=1}^d \phi_{s,\Theta, k}(s) \, \phi_{a,\Theta, k}(a) \, m_{\Theta, k}(s', \beta) = (\phi_{s,\Theta}(s) \odot \phi_{a,\Theta}(a))^\top m_\Theta(s', \beta) $$ 针对当前转移元组 \((s_i, a_i)\)，模型将对应噪声等级 \(\beta_b\) 下的微扰正样本 \(\tilde{s}'_{i,0}\) 与批次内其他 \(K-1\) 个转移作为负样本 \(\tilde{s}'_{i, j}\) 进行能量排序打分，通过最大化正样本对数概率密度比率逼近真实环境转移算子。
损失函数 / 训练策略¶
FaStR 的整体训练采用双阶段耦合但在梯度流上严格单向阻断的策略。自监督表示模块最小化全尺度多负样本 RP-NCE 排序损失： $$ \ell_{\mathrm{FaStR}} = -\frac{1}{MN} \sum_{b=1}^M \sum_{i=1}^N \log \frac{\exp(f_\Theta(s_i, a_i, \tilde{s}'{i,0}; \beta_b))}{\sum $$ 联合训练包含辅助环境奖励回归项与评判网络 Bellman 均方误差：}^{K-1} \exp(f_\Theta(s_i, a_i, \tilde{s}'_{i,j}; \beta_b))\(\mathcal{L}_{\mathrm{total}} = \ell_{\mathrm{FaStR}} + \lambda_r \ell_{\mathrm{reward}} + \lambda_Q \ell_{\mathrm{critic}}\)，超参数均固定为 \(\lambda_r = \lambda_Q = 1.0\)。价值学习基于 TD3 框架，评判网络接收随机傅里叶特征（RFF）升维映射后的 \(\psi(s,a)\)，计算 TD 目标时对特征抽取层应用截断梯度 \(\operatorname{sg}(\cdot)\)，确保值函数估计误差绝不反向污染底层谱几何结构。
实验关键数据¶
主实验¶
在 DeepMind Control Suite 运动基准任务上，评估涵盖 4 种形态、动作维度跨越 6 到 38 的 10 项严苛控制任务。全流程基于本体感知输入，并在 5 个随机种子下统计训练 \(10^6\) 帧后的最终平均未折扣回报（前十个评估点均值 \(\pm 1\) 标准差）。
| 动作维度 | 任务 (Task) | SAC (3-layer) | TD7 | Diff-SR | CTRL-SR (单体基线) | FaStR (本文) |
|---|---|---|---|---|---|---|
| \(\dim\mathcal{A}=6\) | Cheetah Run | \(901 \pm 5\) | \(898 \pm 1\) | \(\mathbf{910 \pm 4}\) | \(900 \pm 15\) | \(903 \pm 8\) |
| \(\dim\mathcal{A}=6\) | Walker Walk | \(972 \pm 3\) | \(\mathbf{979 \pm 1}\) | \(978 \pm 2\) | \(978 \pm 1\) | \(974 \pm 3\) |
| \(\dim\mathcal{A}=6\) | Walker Run | \(802 \pm 7\) | \(815 \pm 18\) | \(\mathbf{827 \pm 10}\) | \(809 \pm 29\) | \(809 \pm 17\) |
| \(\dim\mathcal{A}=12\) | Quadruped Walk | \(946 \pm 13\) | \(952 \pm 3\) | \(953 \pm 5\) | \(\mathbf{955 \pm 9}\) | \(949 \pm 9\) |
| \(\dim\mathcal{A}=12\) | Quadruped Run | \(931 \pm 9\) | \(921 \pm 20\) | \(903 \pm 27\) | \(900 \pm 24\) | \(\mathbf{936 \pm 9}\) |
| \(\dim\mathcal{A}=21\) | Humanoid Stand | \(446 \pm 52\) | \(728 \pm 176\) | \(663 \pm 101\) | \(607 \pm 122\) | \(\mathbf{877 \pm 28}\) |
| \(\dim\mathcal{A}=21\) | Humanoid Walk | \(214 \pm 154\) | \(365 \pm 216\) | \(358 \pm 18\) | \(399 \pm 40\) | \(\mathbf{591 \pm 15}\) |
| \(\dim\mathcal{A}=21\) | Humanoid Run | \(87 \pm 33\) | \(85 \pm 49\) | \(111 \pm 18\) | \(120 \pm 15\) | \(\mathbf{168 \pm 7}\) |
| \(\dim\mathcal{A}=38\) | Dog Stand | \(577 \pm 11\) | \(891 \pm 21\) | \(913 \pm 22\) | \(870 \pm 70\) | \(\mathbf{951 \pm 24}\) |
| \(\dim\mathcal{A}=38\) | Dog Run | \(67 \pm 34\) | \(192 \pm 12\) | \(302 \pm 81\) | \(499 \pm 45\) | \(\mathbf{560 \pm 50}\) |
消融实验¶
为明确性能收益的理论根源，论文在参数量与算力严格对齐的条件下设计了四种编码交互结构消融（以高维 Humanoid 与中维 Quadruped 任务为核心观测对象）：
| 编码结构配置 | 交互方式 | 有效 NCE 维度 | 关键机理表现与局限 |
|---|---|---|---|
| (a) CTRL-SR 基准 | 拼接单体 MLP \(\varphi([s; a])\) | \(d = 512\) | 联合假设空间过大，统计覆盖复杂度受制于 \(d_s + d_a\) 指数 |
| (b) 拼接独立编码 (Concat) | 线性混合 \(\sigma(W[\phi_s; \phi_a]+b)\) | \(d = 512\) | 无法保持模式级独立性，加权混叠破坏了张量可分解结构 |
| (c) 全 Tucker 张量 | 双线性核 \(\phi_s^\top M(s') \phi_a\) | \(d_s \cdot d_a = 4096\) | 遭遇单批次梯度秩亏陷阱（批量 512 无法覆盖 4096 维参数空间） |
| (d) FaStR (本文完整方案) | 对角 CP 分解 \((\phi_s \odot \phi_a)^\top m\) | \(d = 512\) | 既实现模式级正交解耦，又与批量 NCE 对比梯度完全兼容 |
此外，在执行器漂移迁移测试中（Humanoid-Walk 任务）： - 动作置换（Action Permutation）：FaStR 仅微调动作编码器（冻结 18% 参数的状态编码器 \(\phi_s\)），测试回报达到 \(393.7\)，不仅远超直接冻结单体编码器的 CTRL-SR，且直接持平了单体基线从零重新训练所有参数的表现（\(394.1\)）。 - 执行器增益退化与反向（Actuator Degradation）：FaStR 冻结 \(\phi_s\) 迁移取得 \(401.8\) 的回报，同样持平甚至微幅超越了 CTRL-SR 从零完整训练的上限（\(399.2\)）。
关键发现¶
- 收益随动作维度单调增长：在小动作维度任务（\(\dim\mathcal{A} \le 6\) 的 Cheetah/Walker）中，\(\min(d_s, d_a)\) 极小，覆盖数差异在有限样本下无法显现优势，FaStR 与基线持平；而在大动作维度任务（Humanoid \(\dim\mathcal{A}=21\) 与 Dog \(\dim\mathcal{A}=38\)）中，FaStR 全面碾压所有无模型强化学习与谱表示基线，Humanoid Stand 回报从 607 激增至 877。
- 环境动力学与 CP 分解的契合度是关键前提：离线 CP 失配度分析（Misfit Diagnostic）揭示，只有当物理动力学符合 CP 解耦假设（如躯干与独立肢体）且动作维度较高时，样本复杂度优势才能彻底转化为收益；对于如 Walker-Walk 这类由于刚性接触导致状态动作强耦合的环境，CP 会带来不可忽略的近似偏差，使得收益收敛受限。
亮点与洞察¶
- 将统计样本复杂度从乘法解耦为加法：论文在理论上严密证明了 CP 结构假设类覆盖数的对数是三者之和，使得样本量上界依赖指数从 \(d_s + d_a\) 降低至 \(\max(d_s, d_a)\)。这在直觉上解释了为何机器人多关节动作空间膨胀时，解耦表征能极大缓解维度灾难。
- 精准揭示并规避了对比学习中的张量秩亏危机：作者没有盲目堆砌高容量的全 Tucker 张量，而是深入分析了 NCE 损失函数对中间核矩阵反向传播的梯度秩特性，明确指出了 Tucker 分解在批量优化中的秩一约束瓶颈，从而给出了 CP 对角三线性结构的坚实数学辩护。
- 物理接口的即插即用解耦迁移：状态编码器只学习本体感知动力学，动作编码器只学习输入力矩到模式的映射。当硬件发生电机衰减或管脚引脚变动时，无需重构整套物理感知系统，只需重新校准动作映射层，为具身智能系统底层模块化设计提供了新范式。
局限与展望¶
- 强物理接触与紧耦合关节的拟合失真：CP 分解天然排除了不同动作通道与状态通道之间的交叉乘积项（Cross-component products）。在诸如四足/六足高频地面冲击或机械臂紧固接触等场景中，动作与状态存在强非线性干涉，强行套用 CP 分解会引入不可忽视的固定近似偏置 \(\epsilon_{\mathrm{CP}}^2\)。
- 状态内部层级的扁平化：当前 \(\phi_s(s)\) 仍然将整个状态空间视为单一大向量。未来的改进方向是构建树状或分层张量分解（如躯干层与四肢层的细分 CP 分解），进一步挖掘肢体协同控制中的分层对称性。
- 缺乏复杂视觉观测与真实物理硬件验证：实验局限于 DM Control 的纯本体感知低维坐标，尚未扩展到基于像素的视觉 RL（Pixel-based Control），真实机器人的传感器漂移、通讯延迟等现实噪声对解耦稳定性的影响仍待检验。
相关工作与启发¶
- vs CTRL-SR (Gao et al., 2025)：CTRL-SR 是谱表示学习的先驱工作，建立了基于 RP-NCE 的稳定表示学习流水线，但采用单体编码器拼接 \((s,a)\)；FaStR 继承了其对比目标与评判网络骨干，但从底层重构了张量解耦表征，在不增加训练算力的前提下大幅降低了统计复杂度。
- vs SPEDER (Ren et al., 2023) & Diff-SR (Shribak et al., 2024)：以往工作专注于优化自监督对比目标函数（如正交正则、多峰扩散模型）；FaStR 证明了表征自身的张量因式分解架构与目标函数的演进相互正交，任何基于双线性内核的目标均可无缝升级为 FaStR 的三线性结构。
- vs 低秩与双线性 MDP 理论 (Jin et al., 2020; Du et al., 2021)：理论工作多采用极大似然或最小二乘回归，允许使用全稠密核；FaStR 揭示了自监督对比损失独有的优化动力学约束，打通了抽象张量理论到深度连续控制算法的落地的鸿沟。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从三维张量与 CP 分解视角重塑连续控制谱表示学习，理论与方法推导极为优美深入。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖不同动作维度基准、细致的四条件架构消融、离线张量失配诊断以及执行器故障迁移验证，论据扎实闭环。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨，动机阐述直击现有谱强化学习的软肋，对张量梯度特性的分析极具洞见。
- 价值: ⭐⭐⭐⭐⭐ 为高维连续控制的样本效率瓶颈与具身智能模块化表征迁移开辟了极具前景的新技术路线。