跳转至

🎮 强化学习

🧠 NeurIPS2026 · 237 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (12) · 📷 CVPR2026 (25) · 🔬 ICLR2026 (400) · 💬 ACL2026 (46) · 🧪 ICML2026 (110) · 🤖 AAAI2026 (58)

🔥 高频主题: 强化学习 ×94 · Agent ×12 · 对抗鲁棒 ×7 · LLM ×4 · 推理 ×4

A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

针对高风险决策场景下因敏感属性关联导致的序贯歧视问题,本文提出基于条件分位数分布映射的反事实公平强化学习框架(CFSMDM),打破了传统反事实公平强化学习对可加性噪声的严苛假设,并给出了次优差距与反事实不公平度的理论上界保证。

A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning

本文从占用度量空间(occupancy space)的几何视角重新审视逆强化学习,证明了向最优占用的测地线移动等价于沿积分 Fisher 信息矩阵预调理的奖励参数自然梯度更新,并将其统一为函数空间镜像下降框架。

A Single-Sample Polylogarithmic Regret Bound for Nonstationary Online Linear Programming

针对非平稳在线线性规划在极度稀缺的数据条件(每个到达步仅获一个离线样本),本文提出一种基于动态规划视角的对偶重求解算法,通过构造确定性 \(\delta\)-路径与一致对偶收敛分析,在大资源机制下首次证明了 \(\mathcal{O}(\log^2 n)\) 的多对数遗憾上界。

A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets

针对多目标强化学习中偏好扫描导致的目标间断与边界聚集问题,本文证明了平滑切比雪夫标量化下最优目标向量的唯一性与利普希茨连续性,并推导出在占用测度空间具备 \(\mathcal{O}(1/k)\) 收敛速率的凹镜像下降策略迭代算法及其深度 Actor-Critic 拓展。

Absolute State-wise Constrained Policy Optimization: High-Probability State-wise Constraints Satisfaction

针对传统安全强化学习仅约束期望成本无法排除长尾违规风险的难题,本文提出绝对状态级约束策略优化(ASCPO),首次在无已知系统动力学假设的模型无关设定下,通过推导轨迹最大状态成本期望与方差的紧致代数上界,实现了高概率保证的状态级安全约束满足。

Achieving Optimal Static and Dynamic Regret Simultaneously in Bandits with Deterministic Losses

本文首次证明在确定性损失与已知环境切换次数 \(S\) 的遗忘对抗多臂老虎机中,利用布莱克威尔可达性对冲探索开销与负静态遗憾,可同时实现最优静态遗憾 \(\widetilde{O}(\sqrt{AT})\) 与最优动态遗憾 \(\widetilde{O}(\sqrt{SAT})\)。

Active Context Selection Improves Simple Regret in Contextual Bandits

针对有限情境下最小化情境加权简单遗憾的上下文多臂老虎机问题,本文证明了主动选择情境相比被动随机采样能实现高达 \(\Theta(k^{1/4})\) 的理论增益,提出了最优幂律分配比 \(q_j \propto p_j^{2/3}\) 与预算受限下的阈值注水机制,并设计了在未知情境分布下渐近匹配已知全主动最优率的 EETC 三阶段算法。

Actor-Accelerated Policy Dual Averaging for Reinforcement Learning in Continuous Action Spaces

针对策略对偶平均(PDA)在连续动作空间中单步决策依赖耗时优化子问题的瓶颈,本文提出 Actor 加速的 PDA 算法,通过策略网络逼近累积正则化优势函数的极小值点,在保留全局收敛理论保障的同时显著超越 PPO 等同策略基线。

Advancing Entropy-Level Credit Assignment in RLVR via Proximal Entropy Policy Optimization

AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL

针对非线性多目标强化学习被割裂为标量化期望回报(SER)与期望标量化回报(ESR)两套体系的困境,本文提出聚合-期望-变换(AET)统一理论框架,并构建了首个支持任意轨迹级非线性与期望级凹聚合的离线算法 AETDICE。

AffectGPT-RL: Revealing Roles of Reinforcement Learning in Open-Vocabulary Emotion Recognition

针对开放词表多模态情感识别中离散、不可导的情感轮聚类评测指标与传统 Token 交叉熵损失错配的瓶颈,本文提出首个基于强化学习的 AffectGPT-RL 框架,设计五重奖励及长度惩罚项消除奖励黑客,并在消融中揭示了直接预测答案相比推理过程更优的机制洞见。

Aligning Flow Map Policies with Optimal \(Q\)-Guidance

本文提出流映射策略(Flow Map Policies)与基于一阶泰勒展开推导的闭式最优 \(Q\) 引导目标 FMQ,结合基于信噪比重加噪与集束搜索的推断期算法 QGBS,在无需昂贵 ODE 积分与复杂蒸馏的前提下实现了高效单步动作生成与卓越的在线自适应性能。

Almost Sure Convergence Rates of Stochastic Approximation and Reinforcement Learning via a Poisson-Moreau Drift

本文提出一种全新的泊松-莫罗漂移(Poisson-Moreau Drift)李雅普诺夫构造,直接在单样本路径层面消除马尔可夫噪声引起的条件偏差,首次在任意范数收缩算子与马尔可夫噪声双重严苛设定下为随机逼近及强化学习算法建立了接近最优的几乎必然(almost sure)收敛速率。

AlphaPareto: Formulaic Alpha Discovery with LLM-Guided Multi-Objective Reinforcement Learning

AlphaPareto 用冻结 LLM 编码当前因子池,让 MaskPPO 在知道已有信号的条件下逐 token 搜索公式,并通过自适应多目标奖励兼顾预测力、排名稳定性、扰动鲁棒性与多样性,在 CSI300、CSI800 和全市场取得 3.92%、5.70% 和 10.10% 的样本外 IC。

Amortized Molecular Optimization via Group Relative Policy Optimization

针对结构约束分子优化中起始母核难度异质性导致强化学习基线方差崩溃的痛点,本文提出基于图Transformer的摊销生成策略 AMORTIX,通过群组相对策略优化(GRPO)消除跨母核方差,实现推理阶段零预言机调用的单次前向高质量分子修饰。

Anatomy of Off-Policy Policy Gradient: Importance Sampling, KL Regularization, and Baselines

本文系统剖析了大语言模型后训练中离策略策略梯度的理论一致性,证明保持最优策略驻点的仅有重要性采样或KL正则化配软价值基线两条路径,并揭示了基线常数偏移隐式实现离线RL悲观主义的深层机制。

Auction-Based Online Policy Adaptation for Evolving Objectives

针对目标动态增删的多目标强化学习场景,本文提出一种基于拍卖机制的去中心化策略自适应框架,每个目标由自私局部策略维护并按紧迫度出价竞夺控制权,在无需重训的情况下实现了高效、即时且可解释的在线权衡。

Augmented Lagrangian Method for Last-Iterate Convergence for Constrained MDPs

针对约束马尔可夫决策过程(CMDP)现有原对偶方法依赖混合策略导致的高显存与安全隐患,提出首个兼具理论严格保证与大规模可扩展性的非精确增广拉格朗日(ALM)策略优化框架,在表格与对数线性策略下证明了 \(\mathcal{O}(1/\varepsilon^6)\) 梯度评估复杂度的全局末次迭代(last-iterate)收敛,并在 Safety-Gymnasium 连续控制中展现出卓越的约束平稳性。

Bandits via Additive Quantized Representations

将检索领域的残差量化(RQ)码本重塑为上下文老虎机的非线性表征层,结合级联梯度提升与影子模型在线深度自适应,以严格恒定的 \(\mathcal{O}(1)\) 内存开销和极低单步延迟实现了比肩重放缓冲树模型及神经网络老虎机的拟合质量。

Batched Stochastic Linear Bandits with 1-Bit Communication Constraints

本文研究了在批处理大小为 \(B\) 且每批仅允许智能体向学习者回传 1 比特量化反馈的随机线性老虎机问题,确立了无噪声下依然不可避免的 \(\Omega(B\min\{d,\log|\mathcal{A}|\})\) 通信遗憾下界,并设计了匹配该下界且近乎消除通信瓶颈的两套阶段消除算法。

Bayes-Sufficient Compression Is Not Enough: How Does Communication Help Multi-Agent Systems?

本文提出了面向有界接收者的多智能体单步通信理论框架,证明了贝叶斯充分压缩不足以保证接收端可用性,并将通信损失解耦为外化、吸收与动作闭包三阶段,进而设计出自适应协议选择器优化准确率与成本前沿。

Bayesian Decision Making observing an Expert

针对智能体与专家共存的多臂老虎机决策场景,本文提出将专家最优策略诱导的结果分布通过贝叶斯一致性更新纳入先验,证明了离线专家数据可将汤普森采样的信息论遗憾界紧化专家数据与最优动作之间的互信息量,并设计了最大化一步互信息增益的在线信息源主动选择规则与专家可信度建模机制。

Bayesian Decision Making observing an Expert

本文提出面向专家观测场景的贝叶斯决策理论,证明离线专家输出先验使汤普森采样遗憾界随互信息严格收紧,并推导出在线双流数据源的最大互信息动态选择规则与抵御恶意专家的信任推理机制。

Bellman Residual Minimization for Control: Geometry, Stationarity, and Convergence

本文首次为策略优化控制任务下的贝尔曼残差最小化(CBR与平滑化SCBR)建立了系统的几何结构、Clarke次微分与驻点收敛性理论,证明了其驻点等价于倾斜投影控制贝尔曼方程,并在函数近似下有效规避了传统投影值迭代的发散问题。

Bench-MFG: A Benchmark Suite for Learning in Stationary Mean Field Games

针对平均场博弈(MFG)长期缺乏标准化评测体系的问题,本文提出了首个覆盖五大理论博弈族与程序化生成环境(MF-Garnet)的高性能评测基准套件 Bench-MFG,并提出基于可利用度直接优化的黑盒求解算法 MF-PSO,实现了约 2000 倍的 JAX 仿真加速。

Best Arm Identification in Generalized Linear Bandits via Hybrid Feedback

本文针对广义线性老虎机中的固定置信度最佳臂识别问题,首次建立了统一融合单臂绝对奖励与双臂对决相对反馈的似然比自共轭置信椭球序列,并提出了跟踪极小极大最优实验设计的 HyTS-GLB 及成本感知扩展算法。

Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors

针对在线强化学习中固定基准排名无法指导异构离线先验利用的根本矛盾,本文揭示离线先验本质上是有效边界不可知的“有界承诺”,提出从追求全局最优算法转向以匹配度评估与动态监控为核心的诊断驱动张力管理范式。

Block-R1: Rethinking the Role of Block Size in Multi-domain Reinforcement Learning for Diffusion Large Language Models

本文首次形式化了扩散大语言模型在多领域强化学习后训练中的“块大小冲突”理论,提出首个样本级最佳提升块分配基准 Block-R1 及 41K 多领域数据集,突破单一固定块大小瓶颈并实现跨领域泛化大幅跃升。

Block-R1: Rethinking the Role of Block Size in Multi-Domain Reinforcement Learning

针对扩散大语言模型(dLLM)在多领域强化学习后训练中全局固定块大小引发的严重领域冲突与性能崩溃问题,本文提出了首个跨领域 RL 基准 Block-R1,通过教师-学生评估机制为样本挖掘最佳提升训练块大小并构建 Block-R1-41K 数据集,实现了样本级块条件策略优化与大幅泛化提升。

Breaking the Bias Barrier in Concave Multi-Objective Reinforcement Learning

针对非线性凹标量化多目标强化学习中经验回报导致策略梯度持续有偏、迫使样本复杂度退化至 \(\widetilde{\mathcal{O}}(\epsilon^{-4})\) 的核心难题,本文提出结合多层蒙特卡洛(MLMC)估计器的自然策略梯度(NPG)算法,并证明其达到单目标 RL 的最优样本复杂度 \(\widetilde{\mathcal{O}}(\epsilon^{-2})\),同时揭示二阶光滑标量化下一阶偏差自动抵消的理论机制。

Breaking the Grid: Distance-Guided Reinforcement Learning in Large Discrete Action Spaces

针对传统强化学习在高达 \(10^{20}\) 超大规模离散及混合动作空间中因梯度方差爆炸与枚举失效崩溃的难题,本文提出基于距离引导的强化学习框架(DGRL),通过基于切比雪夫度量的采样动态邻域(SDN)实现体积化随机探索,并结合去噪目标回归的距离更新机制(DBU),使策略优化方差彻底解耦于动作空间基数。

CAFE: Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning

CAFE 提出了一种将因果发现作为软归纳偏置的多智能体强化学习自动化特征工程框架,通过两阶段因果语义分组与级联 DQN 决策,在 15 个公开基准和多种自然分布偏移下显著提升预测效用与鲁棒性。

Can In-Context Learning Support Intrinsic Curiosity?

本文从理论与实证两方面探讨了能否利用序列模型的上下文学习(ICL)免梯度更新特性构建世界模型来驱动内在好奇心探索,证明了在通用 MDP 中无法实现无偏估计贝叶斯信息增益(BIG),但在贝叶斯实验设计(BED)框架下基于时序掩码累加预测增益的 \(r^{\mathrm{sum}}\) 能渐近无偏逼近 BIG 并抵御噪声电视问题。

Chess-World-Model: A 10M-Game Benchmark for Exact State Tracking from Chess Move Sequences

构建了包含 1000 万真实对局与均匀随机合法对局的大规模确定性状态追踪基准 Chess-World-Model,评测发现具有丰富转移矩阵的线性 RNN 在小规模与分布偏移下显著优于 Transformer,揭示了模型规模扩张掩盖状态追踪退化的关键现象。

CIG: Exploration via Conditional Information Gain

针对强化学习探索中终身奖励忽略展开轨迹冗余而回合奖励忽略全局经验的割裂问题,本文推导了条件信息增益(CIG)代理目标,通过集成歧义核的迹压缩与 Cholesky 因果分解实现高效步级内在奖励,在离散与连续控制及噪声干扰环境下实现显著领先的探索覆盖率。

Compositional Reasoning in Language Models Under Reinforcement Learning Post-Training

本文提出形式化组合推理的依赖图框架与三层复杂度体系,揭示了强化学习后训练中“分解技能训练无法迁移到复合任务,而复合任务训练可向后泛化至原子技能”的分解-组合非对称性现象,并给出了理论证明与实证验证。

Conformal Selective Acting: Anytime-Valid Risk Control for RLVR-Trained LLMs

针对基于可验证奖励强化学习(RLVR)微调的专业大模型在本地监管场景下的在线部署,提出构建于 Bonferroni 候选阈值网格上的 Ville 型检验超鞅 e-process 包装器 CSA,在自适应且分布非平稳的流上实现无须可交换性的任意时刻路径级选择性风险控制与最优认证速率。

Context Value Informed In-Context Reinforcement Learning

针对上下文强化学习(ICRL)在少量测试交互下依赖轨迹蒙特卡洛回报导致信用分配方差过大、适应脆弱的问题,CV-ICRL 引入显式上下文价值头并将预测值回写至上下文中,构建单步 TD 式信用分配机制,显著提升了跨任务测试期适应的稳定性与累积回报。

Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing

针对大语言模型在线路由中臂间性能相关与单次真实反馈探索开销大的问题,提出结合上下文相关性图反馈与辅助代理奖励的 CABS 算法框架,通过解耦预测混合(CABS-D)实现最坏情况与常规老虎机相当、最优情况随代理观测数提升的“两全其美”后悔界保证。

DaCe-DT: Data-Centric Offline Multi-Task Reinforcement Learning via Adaptive Prompts and Trajectory Correction for Heterogeneous Tasks

针对离线多任务强化学习中任务异质性导致的上下文长度失配、提示片段语义无关以及次优轨迹碎片化三大瓶颈,DaCe-DT 提出包含长度门控提示掩码、检索增强提示构建与自适应价值回报校准的数据中心化框架,在 Meta-World 上取得最优综合表现。

DARLING: Detection Augmented Reinforcement Learning with Non-Stationary Guarantees

本文针对无环境变化先验知识的分段平稳有限时域马尔可夫决策过程,确立了首个表格与线性 MDP 动态遗憾的极小极大下界,并提出了通用模块化包装框架 DARLING,通过周期性均匀探测显式监控奖励与转移分布变点,在表格与线性设定下均首次实现了匹配理论下界的近最优动态遗憾。

Decision-Focused Learning in MDPs: An Occupancy Measure Approach

将未知转移与奖励条件下的马尔可夫决策过程重新表述为占用度量线性规划层,通过可行基矩阵求逆导出闭式梯度,并结合增广拉格朗日代理损失、随机行草图平滑与可学习软状态聚合,在大幅降低反向传播计算复杂度的同时显著优化下游决策遗憾。

Decoupling Time and Risk: Risk-Sensitive Reinforcement Learning with General Discounting

本文将股票增广分布式强化学习拓展至广义非指数折现函数与优化确定性等价(OCE)风险度量,通过推导时间相关的 Bellman 算子与反向归纳法,在理论上证明了策略的最优性与误差界,并在多时间尺度逼近下有效消除了过往方法的时间不一致性缺陷。

Deep Double Q-learning

将经典 Double Q-learning 的互易自举与数据集划分完整引入深度强化学习,提出通过共享表征、降低回放率与长目标网络更新周期协同稳定的 Deep Double Q-learning (DDQL),在 57 款 Atari 游戏中全面降低价值高估并在 47 款游戏上显著超越 Double DQN。

DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction

DeFlow 将离线强化学习中的行为分布建模与 Q 价值最大化解耦,保持多步流匹配模型作为行为先验以规避穿透 ODE 求解器的微分开销,并训练以动作为上下文的轻量残差模块在自适应信任域惩罚下执行局部价值优化。

Delayed Homomorphic Reinforcement Learning for Environments with Delayed Feedback

本文提出延迟同态强化学习(DHRL)理论框架与深度策略梯度算法 D2HPG,基于信念等价关系对延迟增广状态空间进行同态抽象折叠控制冗余,消除了增广状态空间随延迟指数爆炸带来的样本复杂度负担,在确定性动力学下保持最优性并恢复无延迟样本复杂度阶数,并在连续控制任务中显著超越现有强基线。

Delightful Distributed Policy Gradient

针对分布式强化学习中过期 Actor、Bug 和推理不一致引发的高惊奇度错误梯度主导更新的痛点,本文提出 Delightful Policy Gradient (DG),通过优势与惊奇度乘积(delight)门控梯度项,在无需行为策略概率的前提下选择性抑制罕见失败噪声并保留罕见成功发现。

Differentiable Belief-based Opponent Shaping

针对多智能体隐角色博弈中现有对手塑造受限于高维策略空间、而信念操纵依赖手工启发式欺骗目标的问题,提出 D-BOS 通过展开 \(k\) 步可微 Softmax-Bayes 信念更新并反向传播任务奖励梯度,实现了完全由任务奖励端到端驱动的低维信念空间对手塑造。

DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off

针对基于可验证奖励的强化学习(RLVR)在极难与极易样本上优势函数退化及探索与利用失衡的双重困境,本文提出 DiPO 框架,通过困惑度空间解耦自适应划分探索与利用子空间,并引入保持验证奖励正交且微扰极小的双向奖励重分配机制,显著提升大语言模型在数学推理与函数调用任务上的性能与训练稳定性。

Direction-Aware Offline-to-Online Learning in Linear Contextual Bandits

针对传统离线到在线老虎机学习中各向同性欧氏偏差假设过于粗糙的问题,本文提出了方向感知偏差证书与双分支聚合算法 Ellipsoidal-MINUCB,在离线与在线特征对齐时加速收敛,并在偏差未知时通过并联和几何自适应估计证书,兼具理论最优遗憾界与安全回退保障。

方向感知线性上下文老虎机的离线到在线学习 (Direction-Aware Offline-to-Online Learning in Linear Contextual Bandits)

针对线性上下文老虎机中离线数据向在线迁移时的方向性偏差难题,本文提出方向感知偏差凭证与 Ellipsoidal-MINUCB 算法(含固定凭证与自适应数据驱动版本),实现了向无偏低方差方向安全加速探索、向有偏方向无损平滑回退至纯在线最优速率。

Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning

针对观测中存在与真实状态高度相关但不可控的干扰项问题,本文提出基于干预边界发现(IBD)的无模型方法,利用动作通道的主动随机化干预切断混杂路径,结合跨时域假设检验与 FDR 控制构建控制边界掩码,在 12 个连续控制场景中几乎完全消除干扰项导致的性能崩塌并达到 Oracle 表现。

Distributionally Robust Multi-Task Reinforcement Learning via Adaptive Task Sampling

针对多任务强化学习中因固定均匀交互配额导致难任务欠采样与学习不均衡的问题,本文提出基于分布鲁棒优化理论的自适应任务采样算法(DRATS),将多任务学习建模为可行性极小极大优化,动态倾斜采样距目标回报最远的难任务并严格保证收敛率。

Do LLMs Learn from Rewards in Context? : Rethinking the role of reward in In-Context RL

本文系统探究了直接上下文强化学习(Direct ICRL)的作用机制,发现模型提升主要来自对同任务轨迹表面形式与分布的模仿,而奖励语义在性能提升与轨迹重放中仅起微弱作用(影响力仅约轨迹存在的14%),反转或随机化奖励不改提升曲线,表明直接 ICRL 本质上是上下文学习(ICL)的特例而非真正的推理期强化学习。

does this gradient spark joy

提出基于愉悦度(优势乘意外度)与计算价格博弈的 Kondo 门控机制,在强化学习中仅对高学习价值样本执行反向传播,实现近乎无损的质量并降低数倍至数个数量级的反向计算成本。

domination-avoiding learning agents cannot collude

本文证明了单纯的外部无后悔学习算法仍可在对数几率需求的伯特兰寡头竞争中合谋维持超竞争高价,并提出了更一般的“规避经验占优”(Domination-Avoiding, DA)学习智能体类别,在博弈论上严格证明了该类智能体无法合谋并必然收敛至竞争性纳什均衡邻域。

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

本文提出策略梯度权重分解框架,揭示符号轴与难度轴的根本权衡,并据此设计出自适应优势调度器 FADE,在保持策略多样性的同时加速大模型推理后训练。

DRILL: 训练世界模型以提升策略,而非预测像素

提出 DRILL 双层强化学习框架,将视频世界模型的目标从单步像素预测转向最大化下游策略回报,通过隐式元梯度与签名局部代理打破像素保真度与控制性能的脱节。

DROGO: Default Representation Objective via Graph Optimization in Reinforcement Learning

针对默认表示(DR)主特征向量依赖全矩阵估计与特征分解而无法扩展至高维状态的瓶颈,DROGO 提出基于自然梯度修正与单点锚定约束的对数空间图绘制目标,首次实现了利用神经网络直接端到端拟合 DR 主特征向量。

DRTriton: Large-Scale Synthetic Data Driven Reinforcement Learning for Triton Kernel Generation

DRTriton 通过 CSP-DAG 算法大规模合成满足张量形状约束的 PyTorch 计算图,结合解耦正确性与加速比奖励的课程强化学习(DRPO)与测试期算子融合搜索,使 7B 语言模型在 KernelBench Level 2 任务上取得 92% 的算子加速率。

DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards

DUET 将 RLVR 中生成阶段的 token 预算控制形式化为受限资源优化问题,联合调节 Prompt 级采样次数(基于成本加权的 Neyman 分配与梯度方差代理)与 Rollout 级早停规则(基于标记检测与重要性重加权),在节省大量显存生成开销的同时提升推理性能。

Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

提出了 Dyna-SAuR 算法,通过基于概率集成动力学模型联合学习控制策略与安全滤波器,利用单位超球参数化和数据分布整形将训练期安全违规减少了两个数量级以上。

ECHO-2: A Large-Scale Distributed Rollout Framework for Cost-Efficient Reinforcement Learning

ECHO-2 通过解耦中心化策略训练与广域网异构分布式推理计算池,结合有界滞后执行模型、重叠容量闭式配置规则以及分块对等中继广播流水线,在保障大模型 RL 训练质量与稳定性的同时大幅降低计算成本。

Effectiveness of Curriculum Learning Depends on Reward Sparsity and Competing Optima

本文通过可严格解析求解的开环目标拦截最小策略学习模型,揭示课程学习在RL中显著有效的根本机理在于克服稀疏奖励导致的指数级缓慢收敛,并通过适时分岔引导策略逃离局部极小值(放弃解)。

Efficient Lookahead Encoding and Abstracted Width for Learning General Policies in Classical Planning

针对广义规划中迭代宽度策略面临的显存爆炸与大规模对象下原子组合爆炸难题,提出全搜索树联合的关系增量编码(AD)与基于类型归纳的抽象宽度搜索(AIW),实现单次前向打分所有后继并大幅削减状态空间,在 IPC 2023 超大规模基准上击败经典规划器 LAMA 取得 SOTA。

Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control

本文提出了一种基于策略梯度与 Logit 扰动一阶展开的“熵极性(Entropy Polarity)”理论框架,揭示了强化高概率 token 易诱发策略熵收缩而在低概率 token 上采样易扩张的结构不对称性,并由此设计了极性感知策略优化算法(Papo),通过在线熵轨迹自适应重加权优势函数,在数学与智能体任务上大幅提升训练效率与性能。

EpicWorldModel: Exploration-driven Planning with Latent World Models

针对传统 JEPA 隐空间世界模型在部分可观测与目标遮挡下因确定性单目标回归导致未来幻觉的问题,EpicWorldModel 提出基于流匹配的随机隐空间动力学模型,利用生成未来的方差作为预测熵上界的不确定性信号引导 CEM 规划,在多项视觉受限导航与控制任务上取得了显著的性能提升。

Equivariant Reinforcement Learning for Clifford Quantum Circuit Synthesis

针对全连通量子体系下的 Clifford 电路合成难题,本文提出一种基于逆向辛约简表征的量子比特置换等变强化学习框架,利用尺寸无关的图消息传递架构与随机游走课程学习,在 6 比特基准上大幅刷新最优解恢复纪录,并能零样本直接外推至 30 比特大规模目标。

Ergodic Risk Measures: Towards a Risk-Aware Foundation for Continual Reinforcement Learning

本文首次为持续强化学习(Continual RL)奠定了风险敏感决策的理论基础,揭示了传统静态与嵌套风险度量与持续学习公理的内在不兼容性,并提出一种满足可塑性与可行性公理的全新遍历风险度量(Ergodic Risk Measures)框架。

Escaping Path Mirages in Offline Goal-Conditioned Reinforcement Learning

本文针对离线目标条件强化学习在随机长视距任务中过分迷信侥幸轨迹导致的“路径幻觉”问题,提出了分支感知图规划框架(BGP),通过多步不确定性识别分支地标、设计基于下游可达性的目标条件边代价并结合分段值学习,在 OGBench 复杂迷宫与控制基准上实现了显著优于 SOTA 的稳健目标达成率。

ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning

针对强化学习微调大语言模型显存开销巨大的痛点,本文提出将进化策略(ES)与锐度感知最大化(SAM)紧密结合的零阶全参数微调框架 ESSAM,仅需推理级显存即可取得匹敌 PPO 与 GRPO 的数学推理性能与更强的跨任务泛化能力。

Evolutionary System Prompt Learning for Reinforcement Learning in LLMs

提出了进化系统提示词学习(E-SPL),将大语言模型权重强化学习与基于自省的系统提示词群体进化在单训练循环内解耦协同,显著提升推理泛化与样本效率。

Factorized Spectral Representations for Reinforcement Learning

将连续控制马尔可夫决策过程的状态转移核建模为状态-动作-下一状态三维张量并进行 CP 分解,通过噪声对比估计解耦学习状态与动作特征,显著提升高维动作控制的样本效率并在执行器漂移下实现模块化特征零样本复用。

Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Single-Policy Concentrability

针对前向KL正则化离线情境老虎机缺乏快率理论的问题,本文提出FKL-PCB算法并构建凸共轭与悲观主义紧密结合的新分析框架,首次在单策略覆盖性假设下证明了 \(\widetilde{O}(\epsilon^{-1})\) 样本复杂度快率及匹配的极小极大下界。

Fast Rates for Offline Contextual Bandits with Forward-KL Regularization under Strong Duality

本文针对离线上下文老虎机的前向 KL 正则化目标,提出了基于悲观估计的 FKL-PCB 算法,首次在单策略集中度假设下证明了 \(\widetilde{O}(\epsilon^{-1})\) 快速收敛率,并配套给出了紧致的极小极大下界与低正则机制下的相变特征。

Fisher Decorator: Refining Flow Policy via a Local Transport Map

针对基于流匹配的离线强化学习中各向同性 Wasserstein 代理正则导致的模式坍塌与分布偏移,本文提出 Fisher Decorator (FiDec),将策略精炼建模为局域传输映射,并利用流速度场直接推导的局部 Fisher 信息矩阵实现各向异性信任域优化。

FLAG: Flow Policy MaxEnt-RL by Latent Augmented Guidance

针对生成式连续策略在最大熵强化学习(MaxEnt-RL)中面临的全局重要性采样权重坍塌以及穿透常微分方程的时间反向传播(BPTT)不稳定困境,FLAG 提出将状态空间提升至隐变量增强 MDP,利用流匹配确定性映射构建以锚点动作为中心的局部高斯策略,通过交叉熵代理目标和期望最大化(EM)实现局部重要性采样监督,在高维复杂控制任务与极限动作评估预算下实现稳定高效的策略优化。

Flow Matching for Offline Reinforcement Learning with Discrete Actions

本文提出了离散流匹配离线强化学习框架 QDFM,利用连续时间马尔可夫链与 Q 加权流匹配目标,在无需辅助分类器的情况下实现了离散动作空间中与理论精确等价的能量引导最优策略恢复。

Flow Matching Policy Optimization with Mirror Descent and Entropy Constraints

针对连续控制中扩散策略训练梯度不稳定与策略熵难解的瓶颈,提出结合镜像下降与无偏动作空间熵约束的流匹配策略优化框架(FMER),在稀疏奖励 FrankaKitchen 与连续控制 MuJoCo 上实现高效的免仿真策略训练。

Focal Reward: Balanced Reinforcement Learning under Rubric-Based Rewards

针对开放域生成中基于细则的强化学习(Rubric-based RL)因静态标量化权值导致的奖励极化与维度不平衡瓶颈,本文提出 Focal Reward,利用逆奖励投影机制动态估计前沿样本各维度的饱和度,将优化重点自适应转移至高提升潜力的未饱和准则,在三大模型规模与六大评测基准上均超越现有静态聚合基线。

Focusing Influence Mechanism for Multi-Agent Reinforcement Learning

针对稀疏奖励下多智能体协同探索中影响力分散与盲目漫游的难题,FIM 通过资格迹持续汇聚智能体联合影响力,并结合信息熵自适应聚焦未充分探索的状态维度,在极其稀疏的奖励设定下实现了高效而持久的团队协同行为。

Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT

针对智能体大模型在状态化环境中重复采样代价高昂与长程稀疏验证导致的高方差噪声固化难题,本文提出了基于交叉熵方法的无 Critic 强化微调算法 Follow the Winners (FTW),通过重放缓冲区的小批量序数过滤诱导回报次序统计量的多项式集中,无需 Critic 模型与成组采样即可实现稳健高效的策略改进。

From POMDP Theory to Deep RL with Particle Filters

针对部分可观测马尔可夫决策过程(POMDP)中理论算法与深度强化学习实践脱节的难题,提出将粒子滤波信念追踪、在线潜变量动力学学习与有限深度 QMDP 自举规划紧密整合的 PF-MCTQ 框架,证明了显式分解四大误差的端到端遗憾界并在连续控制任务中验证了其样本高效性。

From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning

QTPT 将共享参数 Transformer 的行为动作预测替换为上下文条件化的 Q 目标回归,使固定权重模型能从同一任务的奖励与转移历史中改进决策;弱行为数据上的实验收益较明显,但理论依赖覆盖与可实现性,不能解释为任意低覆盖数据上的保证。

G-Zero: Self-Play for Open-Ended Generation from Zero Data

提出无需外部评判器或客观规则的开放生成自博弈演化框架 G-Zero,通过衡量自生成提示引起的预测概率漂移构造内在奖励 Hint-\(\delta\),驱动提议者与生成者协同演化,实现零人工数据下的闭环自主提升。

GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning

针对非完美信息博弈中随机均衡策略导致 GAE 采样未来动作产生额外方差的瓶颈,本文提出基于集中式 Q 评判器与多步期望 SARSA 迹的 Q-boosting 估计器及 VRPO 算法,显著降低纳什均衡可利用度并在斗地主和猎头无限注德扑中刷新性能。

Generalized Intention Modeling in Multi-Agent Reinforcement Learning

针对传统对手建模预设固定意图特征无法泛化到不同环境的缺陷,本文提出了自适应意图专家混合框架 MIX,通过门控网络动态融合动作、观测、未来状态及基于 InfoNCE 对比学习的未来收益表征,在部分可观测及高维多智能体场景中显著超越现有基线。

Generative Actor-Critic with Soft Bridge Policies

针对扩散与流策略在最大熵强化学习中边缘动作概率密度不可解以及多次迭代推理反向传播成本高昂的问题,本文提出软生成式行动者-评论家算法(SoftGAC),通过单次前向传播的内部高斯残差桥网络构建路径空间解析相对熵正则化,以极低推理延迟在连续控制基准上超越强扩散与流基线。

Generative OOD-regularized Model-based Policy Optimization

针对离线强化学习在稀疏状态-动作空间中转移模型滚降容易漂移至分布外(OOD)区域的问题,本文提出即插即用的 GORMPO 框架,利用生成式密度估计器显式建模下一状态-动作对概率并施加饱和 tanh 惩罚,在真实心源性休克机械循环支持撤机任务上将回报提升 17%。

Global linear convergence of entropy-regularized softmax policy gradient beyond tabular MDPs

针对一般连续状态与动作空间下的熵正则化马尔可夫决策过程,证明了在价值函数可实现性与特定特征基条件下,对数线性 Softmax 策略梯度流具有非均匀 PŁ 不等式与基于李雅普诺夫径向无界性的全局线性收敛性。

Global Linear Convergence of Entropy-Regularized Softmax Policy Gradient Beyond Standard Settings

本文针对连续状态与动作空间下的熵正则化马尔可夫决策过程,证明了在 \(Q^\pi_\tau\)-可实现性假设下,对数线性 Softmax 策略梯度流在全仿射扩张特征与单纯形特征两类基函数下具备非均匀 PŁ 不等式与 KL 散度径向无界性,从而首次确立了超出表格型设置的全局线性收敛速率 \(\mathcal{O}(e^{-Ct})\)。

Global Optimality for Constrained Exploration via Penalty Regularization

针对受安全或模仿约束的最大熵探索问题,本文提出基于二次罚函数的单循环策略梯度算法 PGP,利用伪奖励构造规避复合非凸项的估计偏差,并证明了首个非渐近全局最后迭代多项式样本复杂度。

Gradient Routing Localizes and Removes Unintended Behaviors in RL

针对强化学习中奖励函数错误指定导致的奖励作弊(Reward Hacking)及弱监控引发的作弊规避问题,GRAFT 提出将监控器信号从传统的奖励惩罚解耦为梯度路由掩码,将检出的非预期行为梯度重定向并放大至牺牲的遗忘适配器,并在部署期直接消融该适配器,在彻底清除作弊行为的同时完整保留目标任务能力。

Graph-Based Stochastic-Power-UCT: Monte-Carlo Graph Search with Power Mean Estimation

针对随机马尔可夫决策过程中基于树的蒙特卡洛搜索因路径冗余而重复探索相同状态的问题,本文提出了结合深度增广图表示与多亲节点幂均值更新的 GS-Power-UCT 算法,在保持有限规划视界根节点 \(O(n^{-1/2})\) 收敛速度的同时显著提升了样本复用效率。

Hadamard Representation: Scaffolding Performance Across Model-free RL

HaM-World: Soft-Hamiltonian World Models with Selective Memory for Planning

HaM-World 把选择性历史记忆与作用于部分潜在坐标的软哈密顿先验接入同一个规划模型,在六个状态输入控制任务上四项最终回报第一、两项第二,但想象预测优势局限于规划相关时域,且消融中记忆的影响明显大于几何结构。

Heterogeneous Agent Collaborative Reinforcement Learning

本文提出异构智能体协同强化学习问题(HACRL)及 HACPO 算法,通过智能体能力感知优势基准、能力差异调制系数、指数重要性采样与逐步截断四大机制,在保证单模型独立推理的前提下实现异构模型训练期跨模型 rollout 高效复用与双向互补学习。

Higher-Order Action Supervision Makes A Strong Policy Class

针对传统模仿学习与强化学习仅优化零阶动作导致控制抖动与泛化差的问题,本文提出无需修改网络架构的高阶动作监督范式与连续时间 HJB 价值正则化,显著提升确定性、随机及流匹配策略在低数据区间的稳定性和闭环性能。

Hitting Time Isomorphism for Multi-Stage Planning with Foundation Policies

提出了同构嵌入学习框架(IEL),首次在算子理论上证明了离线控制马尔可夫过程中期望击中时间与潜在位移的线性同构等价性,并通过融合任务辨识器与非对称距离实现了严格满足三角不等式的基础策略多阶段图规划。

Horizon Adaptive Offline Policy Learning via Value Stitching

针对传统固定步长与动作分块在长时程复杂任务中因刚性时域限制而损失即时决策精度的瓶颈,本文提出 VAST 框架,通过引入可组合的时域累积回报函数与自适应拼接策略,实现了变长价值的动态拼接与双层奖励最大化控制。

How Does RL Post-training Induce Skill Composition? A Case Study on Countdown

本文通过将倒计时任务建模为规范二叉表达式树,解耦了强化学习中的长度泛化与组合泛化,揭示出组合结构(浅层平衡树显著易于深层右偏树)是决定学习难度的核心瓶颈,并证实该前瞻瓶颈同样支配着形式化定理证明中的证明结构偏好。

Imitation from Observations with Trajectory-Level Generative Embeddings

针对专家动作缺失且离线次优数据存在严重支撑集不匹配(support mismatch)的离线观察模仿学习难题,本文提出轨迹级生成式嵌入方法(TGE),利用时序扩散规划器在次优数据上无监督学习的平滑隐空间,结合基于粒子熵估计的重尾对数核构建稠密代理奖励,从而摆脱对脆弱密度比估计的依赖并在下游离线 RL 中取得超越 SOTA 的表现。

Information-Geometric Forward Policy Training in GFlowNets

将 GFlowNet 前向策略视为由其诱导的轨迹采样器统计流形,推导了轨迹费歇尔信息矩阵的单步鞅差精确时间解耦,并据此构建了精确、采样与结构化近似三类自然梯度优化方案,在不依赖辅助探索策略的前提下显著提升了多模态探索与分布拟合效率。

Information Templates: A New Paradigm for Intelligent Active Feature Acquisition

本文针对主动特征获取(AFA)面临的组合爆炸与训练困难痛点,提出基于信息模板的非贪心框架 TAFA,通过遗传变异贪心搜索与 Gumbel-Softmax 连续松弛联合构建紧凑特征模板库,并将其蒸馏为显式规则的步进决策树,在大幅降低推理延迟的同时取得优于 RL 与贪心基线的信息获取效用。

Instructing LLMs to Negotiate using Reinforcement Learning with Verifiable Rewards

本文提出面向双边谈判博弈的可验证奖励强化学习(RLVR)框架,通过客观经济剩余与严格预算约束驱动 GRPO 训练,使 30B 买家模型展现出从低价锚定到多轮说服的四阶段战略演化,大幅超越 10 倍以上参数的顶尖推理模型。

Inverting the Bellman Equation: From \(Q\)-Values to World Models

针对无模型强化学习与基于模型强化学习的二元对立难题,本文提出通过反转贝尔曼方程从已训练的多目标 \(Q\) 值中直接抽取环境动力学转移核的 P-learning 算法,在理论上证明了多目标打破价值等价性的充分条件,并在连续控制任务中实现了零样本跨维度泛化规划。

Inverting the Bellman Equation: From Q-Values to World Models

本文提出 P-learning 算法,通过直接逆向求解多目标贝尔曼方程将无模型智能体的 Q 值“反解”为内部世界模型,并从理论与实验上证明目标条件强化学习中隐藏着高精度的环境转移动态。

JAXtari: High-Throughput and Easy-to-Modify Arcade Learning Environment

针对传统 Atari 模拟器 CPU 仿真瓶颈和语义不可改写的痛点,JAXtari 采用纯 JAX 从零重构了 45+ 款 Atari 2600 游戏,实现了 GPU 原生的高吞吐并行仿真(单张 A100 一小时内完成 1 亿步 PPO 训练),并原生支持对象中心化表征与源码级语义扰动插件系统。

Joint Learning of Hierarchical Neural Options and Abstract World Model

提出 AgentOWL 智能体,通过联合学习基于符号程序专家乘积的时空抽象世界模型与分层神经 Option 策略,结合 LLM 子目标前提假设与分层训练稳定化机制,在极高样本效率下突破长时程硬探索技能习得瓶颈并实现零样本泛化。

Jointly Reinforcing Diversity and Quality in Language Model Generations

针对大语言模型在 RL 后训练阶段容易出现输出分布锐化与多样性崩塌的问题,本文提出 Darling 框架,利用语义划分分类器衡量轨迹级语义多样性并与质量奖励相乘,在非验证性生成与可验证数学推理任务中同时实现了质量与多样性的显著提升。

LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching

针对传统行为克隆蒸馏破坏预训练潜动作空间多峰结构及直接应用流匹配导致动作解码器对齐失真的问题,本文提出 LAFP 框架,采用条件流匹配直接回归目标潜动作并在后训练中引入推理时插值机制,在 PROCGEN 基准上取得显著的模仿学习成功率提升。

Large Discrete Policy: Advancing Explicit Behavior Modeling with Stochastic Iterative Scoring

针对连续生成策略隐式去噪难以解释且易产生不合理动作、而传统离散策略单次评分表达力受限的问题,本文提出大型离散策略(LDiP),通过在大规模固定动作词表上进行多阶段评分剪枝,并引入分值空间随机扰动机制,在保持完全离散与物理合理性的同时大幅提升了行为建模表达力与规划性能。

LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL

本文提出 LASER 框架,将支持集约束(防止分布外 OOD 动作)与显式熵正则化(平滑价值函数景观、避免模式坍塌)相结合,利用潜空间伴随匹配(Adjoint Matching)在避免流 ODE 时序反向传播(BPTT)的前提下优化高表达力流策略,在 OGBench 40 项任务上以完全固定的统一超参数刷新 SOTA。

LeAct: Learning to Reason from Expert Actions

针对传统专家系统(博弈求解器、规划器等)仅输出最优动作却无自然语言思维链的局限,LeAct将推理过程建模为潜变量,通过后向候选生成、前向增量过滤(Forward Delta Scoring)与专家策略强制(EPF)构成的闭环变分EM框架,成功将无声专家动作转化为高质量的自然语言推理能力。

Learning Chance-Constrained MDPs with Bellman Distributional Certificates

论文将累计成本超标事件改写为剩余预算上的贝尔曼递推,在有界后继支持与认证规划预言机条件下得到近匹配的确定性策略样本复杂度,并为随机策略提供局部近似 KKT 优化与独立安全验证,合成及电网仿真实验展示了统计保守性与期望成本替代约束的区别。

Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers

针对传统上下文强化学习在预训练与部署阶段严重依赖外在标量奖励监督的瓶颈,本文提出首个全流程仅由偏好反馈驱动的无奖励学习范式 ICPRL,通过步级直接策略优化(ICPO)与轨迹级隐式奖励生成(ICRG),在完全无需显式奖励与专家动作标签下使 Transformer 元策略在未见任务上实现极具竞争力的快速适应。

Learning Large-Scale Competitive Team Behaviors with Mean-Field Interactions

针对成百上千智能体的大规模团队对抗维度爆炸难题,本文建立了零和平均场团队博弈理论,提出基于极小信息 Critic 与共享 Actor 的 MF-MAPPO 算法,并在部分可观测下设计了兼具理论收敛保证与鲁棒性的动态投影共识估计机制。

Learning Multimodal One-step Flow Policy via Value-weighted Optimal Transport

本文提出 OptiFlow 框架,将多模态流策略的单步蒸馏重构为样本分配问题,利用 Critic 估计值构造非对称边缘约束的最优传输耦合,在保证单步策略推理效率的同时避免模式坍塌与分布外外推风险。

Learning to Explore with Parameter-Space Noise: A Deep Dive into Parameter-Space Noise for Reinforcement Learning with Verifiable Rewards

针对基于可验证奖励的强化学习(RLVR)在长程推理中存在的探索天花板与策略坍缩问题,本文提出在采样阶段对策略参数(特别是 Transformer 的 MLP 层)施加参数空间噪声(PSN),结合截断重要性采样(TIS)矫正分布漂移,并构建基于语义多样性与自确定度的轻量实时自适应噪声调度器,在不破坏全局思维链逻辑一致性的前提下显著拓宽了推理模型的探索能力边界。

Learning to Trigger: Reinforcement Learning at the Large Hadron Collider

针对大型强子对撞机(LHC)中束流漂移与探测器非平稳性导致静态触发菜单失效的问题,提出基于可行性过滤策略优化(GFPO-F与GFPO-FR)的流式自适应阈值控制框架,在严格带宽与背景率约束下显著提升触发在带率与物理信号探测效率,并在CMS真实碰撞数据上首次完成零样本迁移验证。

Learning Weakly Communicating Average-Reward CMDPs: Strong Duality and Improved Regret

本文证明了有限状态动作空间下弱通信平均奖励约束马尔可夫决策过程在平稳策略类上的强对偶性,并基于此提出了首个结合有限时域近似与值函数截断的原对偶算法 PD-LSCVI-UCB,在线性 CMDP 下将遗憾与约束违背界从 \(\widetilde{\mathcal{O}}(T^{3/4})\) 显著改进至 \(\widetilde{\mathcal{O}}(T^{2/3})\)。

Leveraging Error Diversity in Group Rollouts for Reinforcement Learning

针对可验证奖励强化学习(RLVR)丢弃错误轨迹组内分布的问题,EDAS 提出依据组内错误多样性(自信息与香农熵)对错误样本实施优势重塑,加大对主导重复错误的惩罚并放宽对探索性罕见错误的抑制,从而打破错误固着并显著提升复杂推理与代码生成能力。

Lifted State Policy Optimization: Internalizing Self-Correction through Transition Geometry

针对复杂推理中偏好优化与轨迹级强化学习无法精细信用局部纠错动作的问题,LSPO 将离散文本提升到带连续坐标的增广状态空间,通过经编辑与步数成本修正的能量递降转移信用驱动策略改进,并将精选的低能量轨迹端点内化至单次直出策略中,在 Qwen3.5 骨干网络上实现了以单遍生成媲美两阶段测试期反思的性能与极高推理效率。

Lipschitz Dueling Bandits over Continuous Action Spaces

针对连续紧致动作空间与双向 Lipschitz 偏好传递模型下的对决多臂老虎机问题,提出首个利用自适应锚定参考臂将相对比较转化为标量偏好场的递归消除算法 ARC-DuelLi,以 \(O(d \log T)\) 空间复杂度达成匹配标量 Lipschitz 老虎机下界的最优遗憾界 \(\tilde{O}(T^{\frac{d_z+1}{d_z+2}})\)。

LiSA: Lifelong Safety Adaptation via Conservative Policy Induction

针对AI智能体在真实部署环境中面临的上下文隐私与安全规范长尾风险,LiSA提出一种基于结构化记忆的保守策略归纳框架,通过泛化策略抽象、冲突感知局部细化及Beta后验置信度门控,无需重新微调基座模型即可从稀疏且带噪的用户反馈中持续进化安全护栏。

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

针对非可验证指令遵循任务中静态提示词导致奖励信号塌缩的问题,本文提出 LLM-as-a-Tutor 框架,利用单个导师大模型通过成对对比判别非挑战性提示词,并以单调递增难度的“仅追加原子约束与对应细则”策略动态校准训练分布,在三大复杂指令遵循基准上取得最优表现。

Localized Dynamics-Aware Domain Adaption for Off-Dynamics Offline Reinforcement Learning

针对离线强化学习中源域与目标域环境动力学失配问题,提出 LoDADA 算法,通过基于次态的局部聚类与域判别器估计各簇内局部 KL 散度,自适应过滤与重加权源域转移样本,并结合目标行为策略正则化实现高效越域策略优化。

LOCU: Löwdin-Orthogonalized Constraint Updates for Multi-Constraint Policy Optimization

针对受限马尔可夫决策过程中多约束梯度互相耦合与病态抵消的问题,LOCU 在 Fisher-Rao 几何下利用对称 Löwdin 正交化将信任域映射为欧氏球,结合几何筛选与近似共线压缩,通过低维有效集求解实现对称稳定的多约束策略更新与可行性恢复。

Loop-Free Inverse Reinforcement Learning via Sequential Value Recovery with Q-Score Matching

LFIRL 将冻结扩散策略提供的局部动作分数转成软 Q 梯度监督,再依次拟合价值、校准状态偏移并回归奖励,移除了奖励学习与策略优化的交替回路,在包含扩散预训练的计时口径下比最快基线通常快约 2–3 倍,但并非每项奖励质量指标都最优。

Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning

针对离线策略强化学习在大容量 Critic 下因自举目标与回放数据非平稳性导致的严重过拟合与不稳定,本文提出将低秩自适应(LoRA)作为从头训练的结构化正则化器,通过冻结随机初始化的稠密基矩阵并仅优化低秩适配器,在 SAC 和 FastTD3 等多种算法与骨干网络上显著降低 Critic 损失并提升策略回报。

Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning

针对离线策略强化学习在大容量 Critic 下因自举目标与回放数据非平稳性导致的严重过拟合与不稳定,本文提出将低秩自适应(LoRA)作为从头训练的结构化正则化器,通过冻结随机初始化的稠密基矩阵并仅优化低秩适配器,在 SAC 和 FastTD3 等多种算法与骨干网络上显著降低 Critic 损失并提升策略回报。

Managing Self-Learning Experts under Per-Round Budget Constraints

针对有限训练预算下管理多个自适应学习专家的在线决策难题,本文提出 M-LCB 元算法,通过“下置信界(LCB)乐观分配训练资源、上置信界(UCB)保守选取执行决策”的双动作解耦机制,实现了极小化极大最优的累积遗憾界 \(\tilde{O}(\sqrt{KT/M} + (K/M)^{1-\alpha}T^{\alpha})\)。

MHWA: Multi-Timescale Hierarchical World-Action Model

MHWA 针对自回归世界模型在开环外推中误差随步数累积漂移的顽疾,提出了时间步长跨越的全局慢时标 Manager 与局部上下文感知门控稀疏 MoE Worker 的非对称分层架构,在减少 70.88% 训练 FLOPs 的同时比肩两倍参数量的 JOWA 表现。

Mirror Descent Actor-Critic Methods for Entropy Regularised MDPs in General State and Action Spaces: Stability and Convergence

针对一般波兰状态与动作空间下的熵正则化马尔可夫决策过程,本文首次证明了离散时间单环与多环策略镜像下降 Actor-Critic 算法的稳定性与全局收敛性界。

Mitigating Retaliatory Algorithmic Collusion in Repeated Games

本文形式化证明了重复博弈中基于报复惩罚维持的算法合谋必然在智能体策略间诱导可检测的总变差距离下界,并据此提出 CURB 框架,通过在 Q-learning 中惩罚该 TV 信号并辅以单方面偏离未受惩罚的合成信念注入,理论上消除了非平凡惩罚码不动点,在 Bertrand 与 Cournot 博弈中将合谋指数降至近乎零。

Model-Based Bootstrap of Controlled Markov Chains

针对未知非平稳或依赖历史的行为策略所生成的离线受控马尔可夫链数据,本文提出了基于模型的转移核自举法,证明了单长链与多片段机制下的渐近分布一致性,并通过 Hadamard 可微性推广至离线策略评估与最优策略恢复。

Model-Based Online Decision Making via Generative Trajectory Planning

提出基于生成轨迹规划(GTP)的在线决策框架,将扩散模型作为动作序列的生成先验与提议分布,结合动力学集成的不确定性与迭代光束搜索进行序列级推理与探索,在连续控制与长程视觉操作任务中大幅超越传统RL和扩散策略基线。

Modeling Quantum Neural Network Gradient With Reinforcement Learning

RLQ-Grad 用带谱归一化的经典 PPO 策略,根据量子神经网络的训练状态产生替代更新信号,在给定分类模拟实验中提高验证准确率并降低额外求导开销,但不证明真实梯度恢复或普遍绕过贫瘠高原。

Modelling Opinion Dynamics at Scale with Deep MARL

提出了首个端到端 GPU 加速的观点动力学多智能体强化学习框架 OpiniMARL,将 other-play 拓展至一般和博弈以消除虚假协调契约,在千人级真实社交拓扑中复现了人类高从众行为,并揭示了从众倾向在小规模狩猎采集网络中增进共识而在大规模社交网络中诱发“撒谎”与错误信息扩散的进化失配现象。

Monotone Inclusion Approach to Weakly Monotone Discrete-Time Finite-Horizon Mean-Field Games

针对离散时间弱单调有限时域平均场博弈(MFG)均衡求解长期依赖正则化或收缩假设的技术瓶颈,本文将均衡计算直接等价重构为占优测度空间上的约束单调包含问题,提出了首个无需正则化即可收敛到精确均衡且具备 \(\mathcal{O}(1/\sqrt{T})\) 紧致最后迭代收敛率的完全可计算一阶算法。

Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution

针对多目标强化学习中偏好权重剧烈变动导致策略难以跨偏好迁移的核心挑战,本文提出基于 \(\chi^2\) 散度的目标冲突系数刻画迁移难度并证明近似紧致的遗憾界,进而提出路由集成策略学习与基于策略梯度的核代理轨迹归因算法,显著降低探索瓶颈并实现精准样本选择。

Multi-Agent Coordination via Support-Preserving Distillation

针对离线多智能体中生成式教师独立噪声配对导致多模态协调模式混淆并传递至分散学生的问题,提出基于模式支持半离散最优传输的 MoSDOT 框架,通过容量约束的拉盖尔胞腔划分源噪声,实现干净的模式支持保留与协调一致性。

Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution

针对多目标强化学习中偏好权重剧烈变动导致策略难以跨偏好迁移的核心挑战,本文提出基于 \(\chi^2\) 散度的目标冲突系数刻画迁移难度并证明近似紧致的遗憾界,进而提出路由集成策略学习与基于策略梯度的核代理轨迹归因算法,显著降低探索瓶颈并实现精准样本选择。

Multi-Step Likelihood-Ratio Correction for Reinforcement Learning with Verifiable Rewards

针对可验证奖励强化学习(RLVR)中 PPO/GRPO 局部代理目标丢弃未来似然比导致的结构性偏差,提出 N 步前向轨迹策略优化(NFPO),通过截断累积似然比连续插值局部代理与精确策略梯度,在可控方差下显著提升复杂数学推理性能。

NashDreamer: Model-Based Reinforcement Learning for Zero-Sum Imperfect-Information Games

针对双人零和不完全信息博弈中去中心化世界模型存在的策略-物理纠缠不可辨识性问题,提出首个将集中式多智能体循环状态空间模型(MARSSM)与博弈论策略梯度(如 RNaD)相结合的基于模型强化学习框架 NashDreamer,在维持纳什均衡收敛保障的同时显著提高环境交互样本效率。

Noisy Data is Destructive to Reinforcement Learning with Verifiable Rewards

针对近期学术界认为可验证奖励强化学习(RLVR)对标注噪声具有强鲁棒性的结论,本文通过严谨的多阶段数据重验证流水线指出前序研究所用“100% 噪声数据”存在严重的真实正确标签污染(污染率达 16.4%);在剔除污染构建真正无污染的噪声数据集后,系统实证表明噪声数据对 RLVR 具有破坏性影响,现有算法改进无法弥补真实噪声带来的性能崩塌,且真实世界标注错误会导致 5–12% 的严重性能损失。

Non-Asymptotic Best Policy Identification Guarantees in Online Reinforcement Learning

针对受导航约束的在线单轨迹折扣马尔可夫决策过程,首次建立了 Navigate-and-Stop (NaS) 类算法的非渐近有限置信度样本复杂度理论上界,精确刻画了除特征时间外的环境连通性、遍历性以及最优分配目标函数几何锐度对探索代价的显式贡献。

Not all uncertainty is alike: volatility, stochasticity, and exploration

本文证明了环境不确定性中潜状态漂移(波动性)与观测噪声(随机性)对最优探索具有相反的单调驱动作用,并通过控制即推断框架推导出适用于非平稳高斯状态空间老虎机的闭式探索指数策略 CAUSE。

Not Every Rubric Teaches Equally: Policy-Aware Rubric Rewards for RLVR

本文针对可验证奖励强化学习(RLVR)中静态评分量规(Rubric)混淆最终评价重要度与当前训练信号可用性的痛点,提出了策略感知量规奖励框架 POW3R,利用采样 rollout 的方差区分度自适应重分配类别内部权重,显著提升了策略平均奖励、严格全满足率与训练收敛速度。

Offline Constrained Reinforcement Learning under Partial Data Coverage

针对离线安全强化学习在部分数据覆盖下中间策略难评估且依赖未知数据分布提取策略的难题,本文提出基于分解线性规划与占优重参数化的原始对偶算法 PDOCRL,无需访问数据生成分布且仅需标准优化预言机即可实现近最优与近可行的 \(\widetilde{\mathcal{O}}(\epsilon^{-2})\) 样本复杂度。

Offline–Online Reinforcement Learning for Linear Mixture MDPs

针对存在环境漂移(Environment Shift)与任意行为策略的线性混合马尔可夫决策过程,本文提出了双置信集结合乐观规划的 O-O UCRL-VTR 算法,在离线数据有信息时实现亚平方根遗憾(Sub-\(\sqrt{K}\) Regret),在离线数据无信息或强偏差时自适应退化回纯在线最优保证,并建立了几乎紧匹配的遗憾下界。

On Reparameterizing the Score Function

本文提出历史重参数化(HR)策略梯度框架,通过将自回归生成中的条件前缀显式建模为关于模型参数的可微轨迹,并设计中心化无偏控制变量估计器(OHR),在完全不依赖可微标量奖励的前提下打通了下游对上游决策的路径级敏感度反馈,实现了高达数倍的梯度方差缩减与更稳健的长程信用分配。

On the Complexity of Discounted Robust MDPs with \(L_p\) Uncertainty Sets

本文建立了折扣鲁棒 MDP(RMDP)与鲁棒马尔可夫链(RMC)在 \(L_p\) 不确定性集下的计算复杂性全貌:证明了任意紧集下 RMDP 策略迭代可强多项式归约至 RMC 求解器,推导了 \(L_1\) 与 \(L_\infty\) 集合下 RMC 策略迭代的 \(\mathcal{O}(n^3 \log n \cdot L)\) 强多项式收敛界,并证明了对于整数 \(p > 1\) 其决策问题具有 \(p\text{-ROOT-SUM}\) 困难性且属于 \(\exists\mathbb{R}\)。

On the Divergence of Differential Temporal Difference Learning without Local Clocks

本文解决了平均奖励强化学习中的长期未决公开问题,首次证明了局部时钟下收敛的微分时序差分学习(Differential TD)在实际工程普遍采用的全局时钟下会出现发散,彻底打破了折扣奖励与平均奖励在步长时钟等价性上的经验对应。

On the Divergence of Differential Temporal Difference Learning without Local Clocks

针对平均奖励强化学习中差分时序差分学习在全局时钟学习率下的收敛性这一公开难题,本文给出了理论完全特征化并构造出严格发散反例,证明了即使在有限状态遍历链中,全局时钟差分 TD 依然可能发散。

One More Time: Revisiting Neural Quantum States from a Reinforcement Learning Perspective

将神经网络量子态(NQS)的变分基态能量最小化严格表述为玻恩分布上的优势策略梯度强化学习问题,提出近端波函数优化(PWO)算法,通过振幅与相位双通道近端截断实现多轮样本复用,并在 15 亿参数 RWKV-7 模型上验证了超大规模波函数优化。

Online Finetuning Decision Transformers with Pure RL Gradients

针对事后回报重标记破坏重要性采样比例的痛点,本文提出 GRPO-DT 框架,移除重标记并结合子轨迹优化、序列级重要性比率与不确定性主动采样,首次实现了仅依靠纯强化学习梯度的决策 Transformer 高效在线微调。

ORCAID: Oblique Rule-Based Continuous-Action Interpretation for Deep RL Policies

针对连续动作空间与混合状态空间下深度强化学习策略不透明的难题,本文提出基于斜向决策超平面划分与叶节点局部线性回归的规则蒸馏框架 Orcaid,通过高效随机初始化与局部优化切分搜索、活跃条件相邻区域合并及 DAgger 闭环纠错,以极小参数量提取出高保真度且可指导策略改进的可解释 IF-THEN 规则。

Outbidding and Outbluffing Elite Humans: Mastering Liar’s Poker via Self-Play and Reinforcement Learning

提出了首个在谎言扑克(Liar's Poker)中达到人类顶尖水平的强化学习智能体 Solly,通过将正则化纳什动力学(R-NaD)扩展至多人不完全信息博弈并结合自我对弈,在无推理期搜索的前提下全面超越华尔街精英玩家与先进大语言模型。

Performance-Driven Policy Optimization for Speculative Decoding with Adaptive Windowing

针对传统草稿模型以 token 级模仿为目标导致与投机验证机制脱节的问题,本文提出窗口级强化学习框架 PPOW,通过成本感知加速奖励、分布相近度辅助奖励以及置信度加权的自适应困难窗口挖掘,显著提升投机解码接受长度与端到端加速比。

Persistent-Transient Policy Evaluation for Markov Chains via Minimal Peripheral Quotients

针对可能多链且具周期性的有限马尔可夫链策略评估,提出基于极小外周不变子空间商投影的持久-瞬态分解理论与采样估计算法,彻底解耦了持久周期循环振荡与路径瞬态代价。

Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning

针对基于上下文的离线元强化学习在域外任务中策略从未见过越界隐变量的结构性失配,提出 PLATO 方法,通过沿任务流形质心径向向外合成反事实隐变量,并结合解码器集成的认知不确定性进行悲观加权策略更新与 Critic 解耦,显著提升外推泛化性能。

Policy-DRIFT: Dynamic Reward-Informed Flow Trajectory Steering

针对传统强化学习在流体控制中易受标量奖励误设与作弊限制的问题,Policy-DRIFT 将奖励引导从策略梯度迁移至条件流匹配(CFM)的生成推断阶段,利用终端奖励引导(TRG)的前置修正生成物理可实现的减阻目标场,再由轻量级强化学习策略仅通过全场 RMSE 追踪执行作动,在 \(Re_\tau=180\) 湍流槽道流中实现了 48.95% 的近理论上限减阻,且作动能耗较基线降低约 37 倍。

Policy Gradient Algorithms in Average-Reward Multichain MDPs

首次针对具有多个常返类与瞬态状态的一般平均奖励多链 MDP(Multichain MDP)建立了完整的策略梯度定理,并提出带下界截断的策略镜像上升算法(\(\alpha\)-clipped PMA),证明了其在精确与生成模型设定下的收敛速率与样本复杂度上界。

Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients

针对兼具离散模式选择与连续控制的混合动作空间强化学习问题,本文提出混合策略优化(HPO),通过将连续控制的路径梯度与离散决策的评分函数梯度无偏融合,彻底解决了高维连续动作下策略梯度的信度分配难题。

PPO in the Fisher-Rao geometry

针对传统 PPO 启发式截断缺乏单调提升和收敛保证的理论鸿沟,本文在 Fisher-Rao 几何下推导出基于平方密度差的紧致代用目标下界,提出了具有单调改进和无维度依赖次线性收敛保障的 FR-PPO 算法,且可无缝作为 PPO 损失函数的即插即用替代。

Practical Adversarial Attacks on Stochastic Bandits via Fake Data Injection

提出了符合真实推荐与广告系统约束的“假数据注入”对抗攻击威胁模型,证明了指数级抑制原理,并设计出在奖励幅值与注入频率双重限制下仅以次线性代价即可操纵老虎机选择目标臂的攻击策略。

Predictive but Not Plannable: RC-aux for Latent World Models

针对无重建隐空间世界模型在短时预测精确但长程规划易走“几何近但动作预算不可达”虚假捷径的问题,提出轻量辅助目标 RC-aux,通过多步开环预测校准时间误差复合,并结合时间困难负样本学习预算条件可达性判定器,在保持骨干参数量仅增加 3.74% 的前提下显著提升基于像素的目标条件规划成功率。

Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization

D3PO 针对偏好条件化多目标强化学习中早期标量化导致的破坏性优势抵消与表征模式坍塌两大顽疾,提出先对各目标优势独立进行 PPO 截断再应用偏好权重的晚期加权机制,并引入与偏好距离成比例的尺度化多样性正则项,以单一网络在多项高维连续控制任务上大幅刷新超体积与期望效用指标。

Primal-Dual Representation Learning for Low-Rank Constrained MDPs

针对未知转移特征的连续状态低秩约束MDP,本文提出首个具备理论保证的原对偶表示学习算法体系,通过三阶段辅助探测与合并协方差奖励消除估计偏差,分别实现了软约束下的最优 \(\widetilde{O}(\sqrt{K})\) 遗憾与软违例界,以及硬约束下基于置信下界证书的严格累积违例控制。

Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction–Reality Gaps

针对长程智能体强化学习中事后回顾反馈无法感知行动时信念从而导致盲目自信的“事后回顾陷阱”,本文提出前瞻事后回顾(Prospective Hindsight),通过度量行动前前瞻预测与事后评判结果的“意外程度”动态重加权基线损失,在单轮可验证任务与多轮个人智能体任务中无需额外校准目标即同步实现性能提升与误差自校准。

Provably Efficient Regularized Online RLHF with Generalized Bilinear Preferences

本文针对在线人类反馈强化学习(RLHF)在非传递偏好和赌徒反馈下的正则化最大遗憾最小化问题,基于广义双线性偏好模型(GBPM)首次证明了任意强凸正则化下的贪婪策略对偶间隙均可被参数估计误差平方严格控制,从而建立了首个脱离KL几何特异性的通用多对数与高维低秩遗憾界。

Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching

提出 Q-MMR 离线策略评估理论框架,通过自顶向下的逐层矩匹配与最小二阶矩准则为每个样本点学习非参数标量权重,在仅需 \(Q^\pi\) 可实现性(无需贝尔曼完备性)的条件下建立了无统计复杂度维度依赖的有限样本误差界,统一了重要性采样与线性 FQE。

Quantile-Coupled Flow Matching for Distributional Reinforcement Learning

针对条件流匹配(CFM)评价网络中源-目标独立耦合与分布式强化学习 \(W_p\) 贝尔曼收缩理论之间的度量失配问题,本文提出 FlowIQN,通过一维小批量样本排序近似单调最优传输,首次为流匹配价值分布学习建立了严格的 Wasserstein 对齐近似投影理论保证与高效推理机制。

Quantile Geometry Regularization for Distributional Reinforcement Learning

针对基于分位数回归的分布式强化学习因有限统计量非 Bellman 闭包而导致的分布坍缩问题,本文提出基于 Wasserstein 分布鲁棒优化的隐式分位数网络(RQIQN),通过闭式、分位数依赖的局部位置校正正则化回报分布几何,在不改变期望值目标的前提下有效恢复分布扩展度。

Quotient-Categorical Representations for Bellman-Compatible Average-Reward Distributional Reinforcement Learning

针对平均奖励强化学习中偏差函数(Bias)因常数平移非唯一性导致分布无法在实数轴上良定义的难题,本文提出模去公共平移的商分类表示(Quotient-Categorical Representation)与投影算子,证明了坐标 Cramér 度量下的非扩张性与随机逼近有限样本收敛阶,并给出在线增益自适应耦合算法。

Regret Minimization in Single-Dimensional Contract-Design with Binary Actions

针对隐藏动作且代理人努力成本私有的单维度二元动作在线合同设计,通过将多维合同规约为一维激励间隙、构造与LP几何自适应的非均匀离散化以及设计统计二分搜索与合同鲁棒化机制,分别在对抗类型与固定隐藏类型下实现了与结果空间维度完全无关的 \(\Theta(T^{2/3})\) 和 \(\widetilde{\Theta}(\sqrt{T})\) 紧致悔值界。

Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs

针对折扣马尔可夫决策过程中指数效用优化长期缺乏基于值的免模型强化学习算法的问题,本文基于 Porteus 贝尔曼方程衍生出两种 Q 值算子,分别证明了 \(L_\infty\) 与 Thompson/对数上确界度量下的收敛性与贪心平稳策略最优性,并提出了具有几乎必然收敛与有限时间收敛速率保障的双时间尺度与单时间尺度 Q-learning 算法。

Reinforcement Learning from Rich Feedback with Distributional DAgger

针对传统 RLVR 标量奖励信用分配缺失以及已有自蒸馏目标(逆向 KL、JS 散度)缺乏单调提升保证的缺陷,本文提出分布级 DAgger 变体 DistIL,利用前向交叉熵与全局序列级未来信用分配,实现了理论单调策略提升、次线性遗憾界与显著的 Pass@N 收益。

Replay-buffer engineering for noise-aware quantum circuit optimization

本文把量子电路优化的瓶颈从“换一个智能体”转向“更有效地复用经验”:以退火可靠性回放提高样本效率、以分块评估减少量子—经典调用、以仅迁移回放缓存加速噪声适应,但不同任务的精度、门数和收敛速度优势并不统一。

Representation Learning Enables Scalable Multitask Deep Reinforcement Learning

本文通过在大规模多任务连续控制基准(MMBench 200任务)上系统评估,证明无需显式世界模型规划或潜在轨迹展开,仅凭纯无模型强化学习(MR.Q)结合辅助前向动态与奖励预测目标,即可全面超越基于世界模型的 SOTA 方法(Newt),并实现显著更优的挂钟时间效率与少样本迁移能力。

Reward-Conditioned Reinforcement Learning

提出奖励条件化强化学习(RCRL),仅在单一标称奖励下与环境交互收集经验,利用经验回放池存储的奖励分量离策略重计算反事实奖励,并以参数化奖励为条件联合优化 Actor-Critic,在无额外交互开销下大幅提升标称任务样本效率、微调迁移能力与零样本部署调控自由度。

Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization

针对稀疏奖励下游任务无法离线重标记的难题,ROVER 将无奖励预训练形式化为再生核希尔伯特空间(RKHS)中折扣状态占用度量的自相似性最小化,借助线性转移算子的解式核均值嵌入与虚拟吸收汇状态增广,以闭式策略镜像下降学得具备高状态覆盖度且不退化坍缩的平稳探索策略。

Reward Inflation: A Healthy Stimulus for Reinforcement Learning

提出在强化学习训练过程中对奖励进行缓慢指数级放大的“奖励通胀”(Reward Inflation)机制与自适应调节器 Fed,理论证明其诱导隐式近因加权并抑制休眠神经元以保持网络可塑性,在 ALE 与 MuJoCo 基准上一致显著提效。

RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning

针对在线强化学习中局部数据归因仅关注单轮更新而忽视跨轮长期影响的局限,本文形式化了轨迹级留一法目标 RL-LOO,推导出一阶影响估计器 RL-IF 并解耦出优化效应与采样效应,进而提出基于优化效应的高效在线样本筛选算法 RINSE,显著提升了策略训练效率与收敛回报。

Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime

针对二元奖励强化学习中成组轨迹通过率极端倾斜导致对比信号微弱的痛点,本文提出前缀采样框架,利用自身轨迹前缀双向重放与自适应长度调节,将采样通过率主动调控至信息量最大的 50% 黄金工作区间,在智能体软件工程与数学推理任务上实现最高 2.01 倍端到端训练加速。

Safe Score Matching: Diffusion Policies with Hamilton-Jacobi Reachability for Online Safe Reinforcement Learning

Safe Score Matching(SSM)用学习到的 Hamilton–Jacobi 安全价值切换扩散策略的奖励与恢复训练目标,在在线安全强化学习中兼顾多模态动作表达与低违规成本,但其硬约束问题定义不等于学习后的策略具有严格安全保证。

SAIR: Cost-Efficient Multi-Stage ML Pipeline Autoscaling via In-Context Reinforcement Learning

本文提出面向多阶段机器学习推理流水线的无梯度在线弹性伸缩框架 SAIR,将大语言模型建模为上下文强化学习(ICRL)控制器,结合惊奇度经验检索、帕累托前沿奖励塑形与用户态 CUDA 劫持限速,在零离线训练下实现 P99 延迟降低最高 50%、有效资源成本削减达 97%。

SALT: When More Rollouts Don’t Help in Group-Based Policy Optimization and How to Make Them Matter

针对基于组的策略优化(GRPO)中因组中心化与低秩符号梯度冗余导致的采样边际效益递减问题,提出轻量级子空间自适应重加权插件 SALT,通过 Gram 谱分解将组相对优势拆解为主干与正残差探索通道,自适应消除符号抵消并增强有效更新。

Sampling-Based Safe Reinforcement Learning

提出基于采样的安全强化学习算法(SBSRL),通过在有限动力学样本上联合强化紧缩约束来保证训练全过程的高概率安全性,并提出认知不确定性下界约束机制,实现了无需人工调节探索奖赏的主动安全探索与有限样本近优收敛。

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

将最大熵强化学习表述为随机最优控制问题,提出基于互反伴随匹配的无仿真扩散策略优化算法(AMDP),配合误差函数动作压缩与信任域约束,在彻底消除时序反向传播显存开销的同时实现了与高斯策略匹敌的训练吞吐。

Selective Off-Policy Reference Tuning with Plan Guidance

针对基于可验证奖励的组相对策略优化(GRPO)在难题全错采样时优势塌陷与梯度消失的缺陷,SORT 在不改变在线采样分布的前提下,通过提取参考答案的推理计划并计算计划条件化显著性,以几何平均权重对关键推理决策 token 实施选择性离策略修复。

Self-Distilled RLVR

针对在轨自蒸馏(OPSD)因信息不对称诱发特权信息泄漏与训练崩溃的本质缺陷,本文提出 RLSD 范式,解耦更新方向与步长尺度,以真实环境奖励锚定策略优化方向,以特权自蒸馏后验证据比调制 token 级信用分配。

Self-Improving World Modelling with Latent Actions

提出自进化世界模型框架 SWIRL,将动作视为潜变量,通过前向世界模型与逆动力学模型在 GRPO 下交替充当策略与奖励进行对偶强化学习,仅凭无动作标注的状态转移序列即可实现世界动力学预测能力的自主提升。

Sequential Solution Concepts in Cooperative Games with Generalized Characteristic Functions

针对联盟价值依赖智能体到达次序的时序合作博弈(TCG),本文确立了最优到达激励(I4OA)、在线个体理性(OIR)与序贯效率(SE)三条核心公理,刻画了满足该公理体系的 SeqShare 机制族,并从理论上证明了该序列解类与拓展夏普利值(Ext-Shap)在凸博弈与简单博弈下均存在不可调和的结构性正交与不相交性。

Signature Approach for Contextual Bandits with Nonlinear and Path-dependent Rewards

针对传统上下文老虎机难以应对非线性与历史轨迹依赖奖励的瓶颈,本文引入粗糙路径理论中的 Signature 变换线性化连续路径奖励泛函,提出了具备亚线性遗憾界保证的 DisSigUCB 算法。

SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning

SkillRL 提出了一种技能增强强化学习框架,将智能体交互轨迹差异化提炼为分层技能库,并在 GRPO 强化学习过程中根据验证集失败模式实现技能与策略的递归共进化,在 ALFWorld 和 WebShop 等复杂任务上大幅超越现有记忆与强化学习基线。

SLOPE: Optimistic Potential Landscape Shaping for Model-based Reinforcement Learning

针对基于模型的强化学习(MBRL)在稀疏奖励下因梯度匮乏导致采样规划退化的问题,本文提出 SLOPE 框架,放弃拟合平坦标量奖励的传统范式,改用目标网络的值估计构建自演化的稠密势能景观,并通过分位数加权交叉熵损失引入非对称乐观偏差,为模型预测规划提供了连续且保优的方向梯度。

Soft Forward-Backward Representations for Zero-shot Reinforcement Learning with General Utilities

本文提出面向通用效用零样本强化学习的 Soft FB 算法,通过最大熵正则化诱导前向后向分解捕获随机策略族,结合紧凑嵌入零阶搜索突破了传统线性奖励的表达瓶颈。

Sparse Planning in Visual World Models via Cost Gradients

提出无需重训且目标条件化的 Token 选择器 CostGrad,通过规划成本对输入 Token 的梯度范数筛选关键空间位置,在 50% 稀疏度下使视觉世界模型的 CEM 规划速度提升 2.6 至 5 倍,且在多个连续控制基准上持平或超越全量 Token 性能。

Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation Learning

针对多目标决策中专家演示相互冲突导致朴素池化行为克隆退化为受支配劣质策略的问题,提出多输出增广行为克隆(MA-BC),通过隔离分歧状态、池化共享状态,在理论上证明达到了极小化极大最优统计收敛率并严格保障策略的帕累托最优性。

Stabilizing Knowledge, Promoting Reasoning: Dual-Token Constraints for RLVR

针对传统强化学习可验证奖励(RLVR)对所有 token 施加均一约束以及现有过滤策略破坏自回归序列依赖的问题,本文提出了熵感知双锚点框架 Archer,在保留端到端联合优化的同时,通过响应级分位数自适应调控近端裁剪区间与全局参考策略 KL 惩罚,实现了推理探索强化与基础事实知识稳定的统一。

Stabilizing Policy Optimization via Logits Convexity

针对大语言模型强化学习中策略梯度(如 PPO)容易出现梯度爆炸与训练崩溃的痛点,本文从对数几率(logits)局部凸性视角揭示了 SFT 稳定与 RL 不稳定的几何本质,并提出直接对齐闭式最优目标分布或 logits 的凸优化框架 LCO(Logits Convex Optimization),从数学上消除了负优势主导的梯度尖峰并实现高效收敛。

Stable-WorldModel: A Platform for Reproducible World Modeling Research and Evaluation

针对世界模型研究中代码碎片化、多模态视频数据 I/O 瓶颈以及缺乏标准化泛化评测基准的核心痛点,本文构建了集成了基于 Lance 的高吞吐数据层、可插拔规划求解器与系统级可控扰动评测体系的开源可复现平台 stable-worldmodel。

Stage Light is Sequence\(^2\): Multi-Light Control via Imitation Learning

针对传统自动舞台灯光控制中单主灯受限与跨场地参数迁移困难的痛点,SeqLight 提出分层解耦框架,先利用端到端生成模型预测全局色调-亮度分布,再通过基于 HER 专家构建、AIRL 奖励建模与 GRPO 策略优化的三阶段模仿学习将全局分布分解为多灯独立控制。

STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens

针对大语言模型强化学习推理训练后期的熵失控与性能崩塌,STAPO 揭示了约 0.01% 的罕见非因果“伪标记”(spurious tokens)凭借全序列奖励放大梯度的根本原因,提出静默伪标记(S2T)机制自适应屏蔽低概率低熵标记更新,在 Qwen 1.7B 到 14B 模型上实现优异的熵稳定性并显著提升数学推理准确率。

StateTree: Enhancing Long-Term Dialogue Reasoning via Reinforcement Learning

针对长程多会话对话中证据跨会话分散、时序偏好动态演变及全长训练算力高昂等难题,StateTree 将多会话对话推理重塑为二叉状态树路径追踪伪任务,通过四阶段渐进式课程 GRPO 与混合判决奖励,仅凭 616 条样本在 10K 上下文下训练,即可外推至 128K 极端长上下文对话推理并显著超越更大体量基线。

Stochastic Matching Bandits with Rare Optimization Updates

针对多臂老虎机中带有非线性多项Logit(MNL)选择偏好的双边随机匹配收益最大化问题,本文提出基于分批淘汰机制与G-最优设计的B-SMB及无曲率先验的B-SMB+算法,仅需 \(\Theta(\log\log T)\) 次昂贵的NP-hard组合优化更新即可达到 \(\widetilde{\mathcal{O}}(\sqrt{T})\) 次线性遗憾。

Strengthening LLMs for Tabular Prediction with Structural Priors

针对大语言模型在结构化表格预测中面临的结构先验缺失与强化学习奖励稀疏困境,本文提出置换相对策略优化(PRPO),通过保持真实标签的列置换不变性与双层优势估计稠密化学习信号,使 8B 开源模型在零样本迁移与全监督设置下匹敌甚至超越 XGBoost、CatBoost 及 TabPFN 等专用表格模型。

Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning

提出了 Q-Guided Flow (QGF) 算法,通过单步欧拉积分解耦去噪动作并截断雅可比矩阵,以低方差 Critic 梯度在测试时引导流匹配策略生成高价值动作,彻底规避训练期 Actor-Critic 联合优化与时间反向传播的不稳定性。

TGRL: Temperature-Grouped Reinforcement Learning for Efficient Exploration in LLMs

针对可验证奖励强化学习(RLVR)中固定采样预算下探索受限的瓶颈,TGRL 将 rollout 组划分为低温参考组与高温探索组,通过奖励差显式估计 prompt 级探索增益,并利用同一 logits 计算的 token 级 JS 散度实现非对称信用分配,在不增加采样开销的前提下显著提升了数学、代码与智能体长程推理表现。

The Dynamics of Policy Gradient in Social Dilemmas with Partner Selection

本文首次建立了策略梯度在含伙伴选择社会困境中的连续时间动力学理论模型,通过平均场论与二维维纳过程证明了群体方差是合作涌现的充要驱动力,并用福克-普朗克方程刻画了稳态策略分布。

The Laplacian Keyboard: Beyond the Linear Span

针对无监督强化学习中零样本控制受限于特征线性跨度这一核心瓶颈,本文提出了拉普拉斯键盘(LK)分层框架,将图拉普拉斯特征向量诱导的任务无关行为库作为基底,通过元策略在线动态拼接行为选项,打破了线性跨度的表达约束并在样本效率上大幅超越从头训练的扁平智能体。

The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models

本文揭示了可验证奖励强化学习(RLVR)在提升大语言模型单次推理准确率(Pass@1)的同时,会因同策略采样与参数共享引发负干扰及赢家通吃效应,导致采样覆盖率(Pass@k)退化并收缩推理边界,进而提出了聚焦低先验成功率样本与前向KL正则的数据筛选算法 SELF。

The Reciprocity Gradient

针对声誉介导多智能体博弈中因反馈延迟和扩散导致的影响归因难题,提出直接穿越对手策略与声誉动力学展开图反向传播奖励的“互惠梯度”,结合基于公共观测的私有可微对手建模,在无环境奖励塑形下实现了对复杂社会规范的最优判别性响应。

The Sampling Complexity of Condorcet Winner Identification in Dueling Bandits

本文研究了仅假设存在孔多塞胜者(Condorcet Winner)的随机对决赌博机最佳臂识别问题,提出了全面利用非孔多塞胜者臂之间对抗差值矩阵的固定预算与固定置信度消除算法,并给出了匹配的高概率实例依赖型样本复杂度上界与首个匹配下界。

Tool Verification for Test-Time Reinforcement Learning

针对测试时强化学习(TTRL)中多数投票容易因系统性错误而陷入假流行模式崩溃的问题,T3RL 引入外挂验证器与沙箱代码执行器对采样轨迹进行确定性验证,并采用验证加权多数投票生成可靠伪标签,以极低训练开销大幅提升大推理模型在复杂数学与逻辑推理上的泛化能力。

Toward Online Robust Zero-Sum Markov Games with Function Approximation

本文提出乐观对偶鲁棒贝尔曼(ODRB)框架,通过对偶贝尔曼算子拟合、后向验证置信集与剥削者混合数据采集,首次为带函数逼近的在线鲁棒零和马尔可夫博弈建立了可分离探索、算子学习、博弈求解误差与模型误配的次线性遗憾界。

Towards Differentially Private Reinforcement Learning with General Function Approximation

论文提出了首个面向一般函数逼近的差分隐私在线强化学习理论框架,结合固定批次策略更新与指数机制,在覆盖性条件下证明了 \(\widetilde{O}(K^{3/5})\) 的次线性遗憾界,匹配了线性 MDP 无模型设定的当前最优理论界。

Towards Instance-Dependent Regret Optimality in Episodic MDPs with Posterior Sampling

提出 \(\pi_0\)-PSRL 算法,将后验采样转化为隐式广义似然比检验以决定何时探索,并在探索轮次执行固定的全支撑参考策略 \(\pi_0\),首次在有限期情节式 MDP 中为后验采样建立了匹配 KL 混淆率的对数级实例相关遗憾上界。

Training Generalizable Collaborative Agents via Strategic Risk Aversion

针对协作多智能体强化学习中智能体容易相互搭便车且无法泛化到新伙伴的根本难题,本文引入博弈论中的战略风险规避(Strategic Risk Aversion)与风险厌恶量化响应均衡(RQE),证明了风险厌恶不仅能消除搭便车还能促进协作,并提出了兼具可扩展性与鲁棒性的策略优化算法 SRPO。

TrajEvolve: Trajectory Evolution for Reinforcement Learning with Hindsight Credit Assignment

针对大语言模型智能体在长程决策中成功轨迹采样稀疏与奖励无法区分冗余动作的难题,TrajEvolve 将连续信用分配重构为二值必要性判断,借助事后反事实执行精准识别并剔除冗余步,并通过主动轨迹演化打破策略探索边界。

Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement

论文证明了单层单头线性自注意力 Transformer 能够通过显式权重构造精确执行半梯度 SARSA 与 Actor-Critic 批量策略改进,并在训练 MDP 丰富性条件下首次给出了梯度流局部指数收敛到最优参数流形的理论保证。

Trust Guided Decision Transformer

TGDT 用已实现转移的滚动下一状态预测误差先筛选可信历史后缀,再用冻结的 IQL critic 对候选动作排序,在长时域导航上改善回报与持续高误差,但不提供闭环覆盖率或安全保证。

Trust Region Q Adjoint Matching

针对流匹配策略在离线强化学习微调中由 Critic 误差放大引发的崩溃问题,本文提出了信赖域 Q 伴随匹配(TRQAM),通过在随机最优控制采样过程中内化自适应参数 \(\lambda\) 并执行对偶投影下降,实现了对路径空间 KL 散度的精确控制与高稳定性策略改进。

Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization

将目标条件强化学习(GCRL)与互信息技能学习(MISL)统一在控制最大化理论视角下,证明三类经典 GCRL 目标在策略空间上本质不等价,并通过目标敏感度建立下游目标与预训练行为表征的信息论紧界对应。

Utility-Constrained Policy Optimization

针对传统受约束MDP仅在期望层面满足安全约束而容易放任偶发灾难性违规的缺陷,本文提出了效用约束策略优化(UCP),通过未折扣存量增广将历史代价内化为马尔可夫状态,结合分位数回归Critic与初始预算随机化,实现了抑制极端越界尾部风险且无需重新训练即可动态适配任意安全预算的强力智能体。

Value-Rectified Distillation for Flow-based Offline Reinforcement Learning

针对基于流匹配的离线强化学习在多模态数据下出现的潜在融合与分布外模态平均灾难,提出价值整流蒸馏(VRD)框架,通过分位数统计过滤(VRD-Q)与几何重组(VRD-R)精确解耦次优行为并隔离最优生成轨迹。

Variance-Averse n-Step Offline Reinforcement Learning for Sparse Long-Horizon Environments

针对生成式Actor在异质离线数据中易拟合高方差不可靠模态的问题,VAN-Flow通过分类分布Critic显式捕获回报离散度,并设计无需硬截断的方差厌恶期望算子引导Flow-Matching策略进行拒绝采样与Q导引,在稀疏长程基准上大幅提升策略可靠性与学习稳定性。

Verifying Neural Networks with Reinforcement Learning

Rsb 用图结构观测与 actor-critic 学习重加权 Fsb 的神经元分支分数,在不替代验证逻辑的前提下,将 600 个困难测试实例中的求解数量从 148 提高到 165,但奖励定义、特征掩码和部分统计存在原文不一致,需与性能收益分开理解。

VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning

针对基于模型的强化学习在未见视觉扰动下因误差多步递归累积而崩溃的难题,VIGOR 通过非对称弱到强数据增强、动力学级一致性约束与编码器级稳定化,实现了无需测试时微调的高鲁棒零样本视觉泛化。

When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited

针对环境动力学漂移导致行为基础模型(BFM)性能剧烈崩溃的问题,本文提出仅在任务推理阶段引入极小极大分布鲁棒优化,无需修改预训练也无需收集多动力学数据,即可在单一标称环境下实现快速且抗扰动的鲁棒离线模仿学习。

When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning

针对离线强化学习中预训练策略因高昂重训成本或治理审计要求而无法微调的困境,本文揭示了专家乘积(PoE)组合与 KL 正则化自适应在对角高斯策略下闭式解的严格代数等价性,并通过大量真实 MuJoCo 滚转实验证明基于精度的策略组合能作为可靠的“以策略为锚点”的安全层实现平缓退化,同时清晰划定了受制于预训练策略能力的有效应用边界。

WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps

针对流生成模型奖励微调依赖扩散代理与多步慢速采样的难题,本文提出基于基础漂移场的最优传输正则化与确定性最优控制框架 WTF,利用流图单步跨时间步转移实现无需轨迹模拟且无 Critic 的端到端微调,在大幅降低训练算力的同时保持少步数生成质量。

Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor’s Internal States

针对多领域强化学习中 GRPO 依赖同 prompt 组采样损害批次多样性、以及 PPO 引入独立 Critic 模型计算开销翻倍的问题,本文提出 POISE 算法,直接从 Actor 前向传播的内部隐状态与 token 熵训练轻量线性探针预测基线值,并通过独立的跨轨迹(cross-rollout)构建消除策略梯度偏差,在仅需单 prompt 采样 2 条轨迹的极低预算下实现了更低的梯度方差与更优的跨领域推理表现。

Zeroth-Order Stackelberg Control in Combinatorial Congestion Games

针对组合拥塞博弈中因离散策略激活集突变导致上层目标非光滑的问题,提出无须通过下层均衡反向传播求导的 ZO-Stackelberg 框架,通过免投影 Frank-Wolfe 与分层采样 LMO 求解下层 Wardrop 均衡,结合外层双点零阶更新实现收敛到广义 Goldstein 驻点并取得最高上千倍加速。

StarWM: Self-Supervised Trained Attention Routing for Robust World Models

StarWM 用自监督动力学信号决定空间注意力,再用停止梯度和双流解码器约束重建信息的去向,使世界模型在随机视频干扰下保留可预测实体;但连续视频背景仍会混淆默认路由,奖励引导变体 StarWM-R 才进一步改善跨条件表现。