Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching¶
会议: NeurIPS 2026
arXiv: 2605.06474
OpenReview: https://openreview.net/forum?id=xTSX3ivXEZ
领域: 其他
关键词: 离线强化学习, 离线策略评估, 矩匹配, 递归重加权, 无维度依赖界
一句话总结¶
提出 Q-MMR 离线策略评估理论框架，通过自顶向下的逐层矩匹配与最小二阶矩准则为每个样本点学习非参数标量权重，在仅需 \(Q^\pi\) 可实现性（无需贝尔曼完备性）的条件下建立了无统计复杂度维度依赖的有限样本误差界，统一了重要性采样与线性 FQE。
研究背景与动机¶
离线策略评估（Off-Policy Evaluation, OPE）是强化学习基础理论的核心问题之一，旨在仅利用行为策略收集的离线批次数据，估计目标策略 \(\pi\) 在有限时域马尔可夫决策过程（MDP）中的期望累积回报 \(J(\pi)\)。在处理大规模乃至连续状态动作空间时，函数近似（Function Approximation）是标准工具，其中最具代表性的经典范式是基于拟合 Q 评估（Fitted-Q Evaluation, FQE）的逐层回归方法。尽管基于通用函数近似（General Function Approximation, GFA）的 OPE 理论研究已相对成熟，但现有分析体系中始终存在两大难以忽视的割裂与理论盲区。
其一是现有通用函数近似分析普遍依赖经验损失向总体损失的泛化转换，由此在主误差项中必须支付函数类的统计复杂度惩罚（例如有限类别的 \(\log |\mathcal{F}|\) 或连续类别的对数覆盖数）。然而，当离线数据退化为同策略（On-Policy）采样时，朴素蒙特卡洛（Monte-Carlo）估计天然具备完全不依赖函数类复杂度的无维度（dimension-free）误差保证，这一反差表明现有分析中的统计复杂度代价很可能源于算法设计或推导框架的人工副产物。其二是通用分析与线性/表格设定下的精细化理论存在严重脱节：在线性马尔可夫决策过程中，经典极小极大下界与锐利上界的阶数均为无维度依赖的 \(O(1/\sqrt{n})\)，且仅需真实 \(Q^\pi\) 落在假设空间内的“可实现性”（Realizability），而无需通用 FQE 分析中强加的“贝尔曼完备性”（Bellman Completeness）；此外线性分析中涌现出的“系统特征动力学覆盖”等反直觉概念，在通用函数近似理论中全无对应物。
导致这一割裂的核心症结在于：现有通用价值学习方法习惯于自底向上（Bottom-Up）拟合值函数参数，在倒退回归中不可避免地逐层放大复合泛化误差；而边际化重要性采样（MIS）等自顶向下方法又多采用参数化权重类，引入额外权重复盖度与双重采样瓶颈。本文的切入角度是打破“参数化值函数回归”与“参数化重要性权重”的二元对立，转而直接为离线数据集中的每个样本点显式分配一个非参数标量权重，并通过值函数鉴别器类进行自顶向下的逐层矩匹配。核心 idea：通过构建基于值函数判别类的逐层矩匹配目标（Q-MMR），以自顶向下递归求解各样本点的最小二阶矩非参数标量权重，在仅假设 \(Q^\pi\) 可实现性的条件下，借助沿轨迹前缀的鞅差正交展开实现望远镜式完美对消，从而首创性地导出主阶误差不含函数类维度的 WYSIWYG 有限样本评估界。
方法详解¶
整体框架¶
Q-MMR 面向时长为 \(H\) 步的分层有限时域 MDP，数据集包含 \(n\) 条独立同分布轨迹。算法的目标并非拟合参数化的策略密度比或值函数网络，而是为第 \(h\) 步第 \(i\) 条轨迹的转移样本 \((s_h^{(i)}, a_h^{(i)})\) 赋予一个标量权重 \(\widehat{w}_h^{(i)}\)，使重加权后的奖励加权和直接逼近目标策略期望收益：
算法从初始虚拟状态 \((s_0, a_0)\) 出发，设 \(\widehat{w}_0^{(i)} \equiv 1\)。随后算法按时间步 \(h = 1, 2, \dots, H\) 自顶向下逐层推进：在已知前一步权重向量 \(\widehat{w}_{h-1}^{[n]}\) 的前提下，通过最小化第 \(h\) 步样本在判别函数类 \(\mathcal{F}_h\) 上的积分概率度量（IPM）矩匹配损失，并依据最小二阶矩准则挑选权重向量 \(\widehat{w}_h^{[n]}\)。整个评估流程、关键设计与理论分析映射如下图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["离线轨迹数据集<br/>n 条 i.i.d. 轨迹，初始化 w0=1"] --> B["自顶向下递归矩匹配<br/>基于判别类 Fh 最小化经验 IPM 匹配损失"]
B --> C["最小二阶矩权重选择<br/>收敛解空间自由度，最小化经验范数 ||wh||_[n]"]
C --> D["投影转移算子与遍历稳定性<br/>在希尔伯特闭包中诱导 Kh 算子，控制总体权重有界性"]
D --> E["无维度依赖 OPE 估计输出<br/>重加权奖励和 J(pi)，具备自动化不确定性量化"]关键设计¶
1. 自顶向下递归矩匹配：通过积分概率度量桥接目标策略分布偏移
在离线策略评估中，如果直接按照边际化重要性采样（MIS）去估计真实密度比 \(d_h^\pi(s_h, a_h) / d_h^D(s_h, a_h)\)，往往需要极强的密度比可实现性假设。Q-MMR 的关键观察在于：精确评估无需处处拟合真实分布比，只要在评估目标策略真实值函数 \(Q^\pi\) 时两者产生相同的均值内积即可。因此，在第 \(h\) 层，算法利用前一步权重 \(\widehat{w}_{h-1}^{(i)}\) 重加权后诱导出的 \((s_h^{(i)}, \pi)\) 状态-动作伪分布，作为第 \(h\) 步真实采样对 \((s_h^{(i)}, a_h^{(i)})\) 的对齐锚点，定义经验矩匹配损失：
该公式实质上衡量了以 \(w_h^{[n]}\) 加权的经验样本测度与以前序转移推进得到的伪目标测度在函数类 \(\mathcal{F}_h\) 下的最大均值差异（Integral Probability Metric）。这种自顶向下的前向递推设计，彻底解耦了当前层权重求解与未来后继状态转移的条件随机性。
2. 最小二阶矩准则：收敛自由度以抑制统计方差并统一经典方法
由于 Q-MMR 直接在 \(\mathbb{R}^n\) 中为每个样本点寻找自由权重，自由参数量高达 \(n\)，在常规参数计数下极易引发严重的过拟合与方差爆炸。然而，由于判别函数类 \(\mathcal{F}_h\) 具有内在代数结构，能够将匹配损失压至极低的权重向量通常构成一个仿射解空间。Q-MMR 提出最小二阶矩准则（Principle of Least 2nd Moment）：在所有达到最小匹配损失的候选解中，唯一挑选经验二阶矩 \(\|\widehat{w}_h^{[n]}\|_{[n]} := \sqrt{\frac{1}{n}\sum_{i=1}^n (\widehat{w}_h^{(i)})^2}\) 最小的向量。
这一设计巧妙充当了方差惩罚的隐式正则化项。在线性特征映射 \(\phi(s, a)\) 且经验协方差矩阵 \(\widehat{\Sigma}_h\) 可逆的场景下，最小二阶矩解精确封闭表达为 \(\widehat{w}_h^{(i)} = \phi(s_h^{(i)}, a_h^{(i)})^\top \widehat{\Sigma}_h^{-1} \widehat{\psi}_h\)（其中 \(\widehat{\psi}_h\) 为目标矩向量），完全重合于经典最小二乘线性 FQE 的预测值；而在同策略数据下，选取平凡解 \(\widehat{w}_h^{(i)} \equiv 1\) 即可达成零匹配损失并退化为标准蒙特卡洛估计；在离散表格且完全覆盖的设定下，该解精准收敛为经验占用比率 \(\widehat{d}_h^\pi / \widehat{d}_h^D\)，从而将多类看似孤立的 OPE 算法统一在同一理论框架内。
3. 投影转移算子与遍历稳定性分析：无需贝尔曼完备性刻画权重有界性
经典离线强化学习文献指出，若仅满足可实现性而不满足贝尔曼完备性，基于时序差分的线性 FQE 可能会发生指数级发散。由于 Q-MMR 在线性下与 FQE 等价，权重向量的范数同样存在在长时域中发散的潜在风险。为了在通用函数近似下解构这种发散机理，Q-MMR 在函数闭包 \(\overline{\mathcal{F}}_h = \overline{\text{span}(\mathcal{F}_h)}\) 上定义了投影转移算子 \(K_h^\pi: \overline{\mathcal{F}}_{h+1} \to \overline{\mathcal{F}}_h\)：
进而定义多步无穷范数算子范数 \(\rho_{t:h} := \sup_{f \in \overline{\mathcal{F}}_h: \|f\|_\infty \leq 1} \|K_t^\pi K_{t+1}^\pi \cdots K_{h-1}^\pi f\|_\infty\)。该算子直接概括了线性系统转移矩阵 \(B_h^\pi = (\Sigma_h^{\mathrm{cr}})^\top \Sigma_h^{-1}\) 的动力学传播性质。分析证明，当且仅当该算子链的遍历稳定性有界（即 \(\rho_{t:h}\) 不爆炸）时，总体最小二阶矩权重 \(w_h^\star\) 保持良好有界；若进一步假设贝尔曼完备性，则算子退化为条件期望投影，天然满足 \(\rho_{t:h} \leq 1\)，由此为离线强化的覆盖性本质（Coverage）提供了超越线性界限的通用几何视角。
损失函数 / 训练策略¶
在理论推导中，Q-MMR 假设在第 \(h\) 步精确或近似求解约束极小极大问题：
对于通用函数类，该问题通过“无悔在线学习 + 最佳响应”（No-Regret + Best-Response）的博弈框架进行高效计算求解： - 权重参与者（\(w\)-player）：在凸集 \(\mathcal{W}_C = \{w \in \mathbb{R}^n: \|w\|_{[n]} \leq C\}\) 上运行投影在线梯度下降（OGD），步长设为标准凸优化衰减尺度，各分量梯度直接由当前判别器在各样本点的取值 \(f_t(s_h^{(i)}, a_h^{(i)})\) 构成； - 判别器参与者（\(f\)-player）：针对当前给定的权重 \(w_t\)，调用函数类 \(\mathcal{F}_h\) 的线性优化预言机（Linear Optimization Oracle），选取使得加权经验内积最大的极端判别函数 \(f_t\)。
经过 \(T\) 轮博弈迭代后，输出平均权重 \(\widehat{w}_h^{[n]} = \frac{1}{T}\sum_{t=1}^T w_t\)，其优化残差严格收敛为 \(O(C V_{\max} / \sqrt{T})\)。
实验关键数据¶
主实验¶
论文的核心贡献为严谨的理论证明与解析对比。下表全面对比了 Q-MMR 与现有 OPE 分析在通用与线性函数近似、仅假设可实现性与强加贝尔曼完备性条件下的理论表现（对齐论文 Table 1 及定理推导）：
| 算法分析体系 | 函数近似设定 | 核心完备性假设 | 依赖的覆盖度量指标 | 主阶是否无维度依赖 (\(O(n^{-1/2})\)) | 理论界形式 |
|---|---|---|---|---|---|
| 经典 FQE 分析 (Chen & Jiang, 2019) | 通用函数类 (GFA) | 贝尔曼完备性 (Bellman Complete) | \(\sup_{f, f'} \frac{\|\mathbb{E}_{d_h^\pi}[f - f']\|}{\sqrt{\mathbb{E}_{d_h^D}[(f - f')^2]}}\) | 否 (含 \(\sqrt{\log \|\mathcal{F}\|}\)) | 总体数据独立界 |
| 经典线性 FQE (Duan et al., 2020) | 线性函数类 (Linear) | 强线性 MDP / 完备性 | \(\|\mathbb{E}_{d_h^\pi}[\phi]\|_{\Sigma_h^{-1}}\) | 是 (仅高阶项含维度 \(d\)) | 总体数据独立界 |
| 线性 LSTDQ 分析 (Amortila et al., 2026) | 线性函数类 (Linear) | 仅 \(Q^\pi\) 可实现性 | \(\|\psi_h\|_{\Sigma_h^{-1}}\) (线性系统动力学) | 是 (特征维度无关) | 渐近与有限样本界 |
| Q-MMR (本文定理 1) | 通用函数类 (GFA) | 仅 \(Q^\pi\) 可实现性 | \(\|\widehat{w}_h^{[n]}\|_{[n]}\) (经验权重二阶矩) | 是 (严格无任何 \(\mathcal{F}\) 复杂度) | 数据依赖 WYSIWYG 界 |
| Q-MMR (本文推论 10) | 通用函数类 (GFA) | 仅 \(Q^\pi\) 可实现性 | \(\|w_h^\star\|_{2, d_h^D}\) (总体二阶矩) | 是 (覆盖数仅入 \(O(n^{-1})\) 高阶项) | 总体随机设计界 |
消融实验¶
为解析不同假设层级与结构属性对 Q-MMR 理论表现的具体影响，下表基于论文第 3-4 节的理论命题梳理了各消融配置下的性质变迁：
| 理论消融配置 | 匹配损失 \(\widehat{\mathcal{L}}_h\) 状态 | 稳定性因子 \(\rho_{t:h}\) | 权重二阶矩对应物 | 核心理论退化 / 特殊性质说明 |
|---|---|---|---|---|
| 完全基准 (定理 1 通用设定) | 经验值 \(\widehat{\mathcal{L}}_h\) (实测即所得) | 任意有界量 | \(\|\widehat{w}_h^{[n]}\|_{[n]}\) | 仅依赖可实现性，无需完备性，数据依赖可计算 |
| 同策略消融 (\(d^D = d^\pi\)) | 恒等于 0 (当选 \(w \equiv 1\)) | \(\leq 1\) | 恒等于 1 | 精确退化为标准蒙特卡洛评估，方差完全与时域无关 |
| 线性函数近似消融 (命题 2 & 3) | 0 (在 \(\widehat{\Sigma}_h\) 可逆时) | \(\leq \|\Sigma_h^{-1/2} B^\pi \phi\|\) | \(\|\overline{x}_{\text{test}}\|_{\widehat{\Sigma}^{-1}}\) | 经验权重收敛于最小二乘回归，完全等价于线性 FQE |
| 离散表格全覆盖消融 (命题 3(ii)) | 恒等于 0 | \(\leq 1\) | 经验占用比率 | 等价于确定性等价模型评估 (Certainty-Equivalence) |
| 引入贝尔曼完备性 (命题 11 & 12) | 总体损失为 0 | 严格 \(\leq 1\) (非扩张) | \(\sup_{f} \frac{\mathbb{E}_{d^\pi}[f]}{\sqrt{\mathbb{E}_{d^D}[f^2]}}\) | 彻底根除指数发散风险，总体测度退化为真实 \(d_h^\pi\) |
关键发现¶
- 维度依赖并非本质物理限制：传统通用函数近似之所以在主项支付 \(\log |\mathcal{F}|\)，本质上是因为强行将经验均方误差向总体测度进行均匀集中（Uniform Convergence）；而 Q-MMR 仅对固定的真实目标 \(Q^\pi\) 施加集中不等式，判别类 \(\mathcal{F}\) 仅作为经验对齐检验空间，从而首次在通用函数近似下实现了主项与维度解耦。
- 覆盖性本质是对虚构动力系统的覆盖：在仅有可实现性的离线强化学习中，数据分布真正需要覆盖的目标从来不是真实 MDP 下的特征分布 \(d_h^\pi\)，而是由投影转移算子诱导的近似线性/通用动力系统状态 \(\psi_h\)；传统认为的“覆盖 \(d_h^\pi\) 即可”仅在贝尔曼完备性下偶然成立。
- 自带置信区间的后验评估：定理 1 建立的误差上界由经验匹配损失 \(\sum \widehat{\mathcal{L}}_h\) 与经验二阶矩 \(\|\widehat{w}_h^{[n]}\|_{[n]}\) 显式组成，所有变量完全由离线数据现场可算，直接赋能了免重采样的后验不确定性量化。
亮点与洞察¶
- 沿轨迹前缀的鞅差望远镜对消：Q-MMR 证明的核心突破在于误差分解链条中（式 3-4），将贝尔曼误差沿每条轨迹的样本前缀建立鞅差序列，利用条件独立性控制统计方差后，正负交叉项通过望远镜求和完美归零，直接绕过了对整个函数空间的联合界（Union Bound）。这一代数技巧极度优美且强大。
- 非参数样本重加权的最小二阶矩规范化：打破了传统“离线强化必须学习参数化函数”的定势思维，直接针对有限样本集学习样本级标量权重，并通过凸几何中的最小二阶矩准则将参数过多的欠定系统瞬间收缩到唯一的正规方程解。
- 通用函数与线性分析的大一统桥梁：数十年来，离线强化领域在线性与通用函数近似之间存在巨大的理论断层（线性可实现 vs 通用完备性；\(O(1/\sqrt{n})\) 极小极大最优 vs 覆盖数依赖）。Q-MMR 将线性动力系统算子成功拓扑推广为希尔伯特闭包上的投影转移算子 \(K_h^\pi\)，填补了这一长期存在的理论鸿沟。
局限与展望¶
- 独立同分布轨迹假设的刚性约束：当前理论严格依赖轨迹之间的 i.i.d. 采样结构，以保证沿前缀过滤时鞅差变量的条件独立性；若数据由自适应行为策略收集或扩展至单轨迹无限时域折扣 MDP，该正交对消机制将面临严峻的技术阻碍。
- 贪心分层求解缺乏全局后效协同：算法当前以自顶向下的贪心方式逐层优化匹配损失与二阶矩，第 \(h\) 步权重的选择并未前瞻性地考虑其对下游更深层时步 \(h' > h\) 累积方差的潜在冲击；若改为全层联合优化，则会重新陷入边际化重要性采样的双重采样困境。
相关工作与启发¶
- vs 拟合 Q 评估 (FQE, Chen & Jiang, 2019)：FQE 采用自底向上的参数化值函数回归，理论分析必须依赖贝尔曼完备性且主界深度绑定 \(\log |\mathcal{F}|\) 复杂度；Q-MMR 采用自顶向下的非参数样本重加权，仅依赖可实现性即可保证无维度依赖界，并在形式上统一了线性 FQE。
- vs 极小极大权重学习 (MWL, Uehara et al., 2020)：MWL 同样利用贝尔曼流方程建立类似矩匹配目标，但其同时联合优化所有时步权重，导致权重估计依赖后续转移状态，因而必须使用参数化权重类 \(\mathcal{W}\) 并引入额外的权重可实现性假设；Q-MMR 通过逐层解耦，彻底抛弃参数化权重类。
- vs 线性 OPE 锐利界 (Duan et al., 2020 & Amortila et al., 2026)：既有锐利分析局限在线性特征代数与线性 MDP 强假设；Q-MMR 不仅在线性特例下严格复现并改进了其无维度依赖边界，更将其动力学算子成功推广至通用函数近似体系。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了通用函数近似下 OPE 理论分析的传统范式，首创样本级自顶向下矩匹配与无维度集中方法。
- 实验充分度: ⭐⭐⭐⭐☆ 作为纯理论突破之作，严格完成了通用有限样本界、退化特例等价性证明与算子动力学刻画，缺憾在于未附带大规模实证跑分。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻透彻，由浅入深层层递进，从一维协变量偏移直推多步动力学系统，推导一气呵成。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了强化学习理论界长期悬而未决的“通用与线性理论割裂”难题，为离线评估乃至策略优化提供了全新基石。