CSO: Refining Robotic Policies via Skill Distribution Alignment and Skill-Grained Optimization¶

会议: NeurIPS 2026
arXiv: 2610.38357
领域: 机器人
关键词: 机器人操作, 技能离散化, 强化学习微调, 拒绝采样, 技能级策略优化

一句话总结¶

针对基于离散技能的机器人策略在模仿学习中存在的量化误差累积与在线强化学习中的编码器不稳定性及采样粒度不匹配问题，本文提出了两阶段后训练框架 CSO（级联技能优化），通过拒绝采样监督微调（R-SFT）稳定表征与技能级策略优化（SPO）精细更新技能先验，在仿真与真机多项长程操作任务中取得显著增益。

研究背景与动机¶

在机器人复杂操作任务中，采用类似 VQ-VAE 或 FSQ 等矢量量化自编码器将连续动作轨迹离散化为可复用的“技能”token 序列，并由自回归模型根据环境观测与任务指令生成技能，已成为一种极具潜力的范式。这种动作离散化不仅提供了更高级别的时域动作抽象，还规避了在高维连续动作空间中直接建模多峰分布的困难。然而，单纯依赖离散技能进行离线模仿学习（Imitation Learning, IL）存在固有的物理瓶颈：量化过程不可避免地引入重构误差，随着在线环境交互的推进，这些底层量化误差与高层策略误差在闭环执行中相互叠加，导致累积误差迅速将机器人推向专家演示分布之外的状态空间，造成灾难性的分布偏移。

为了纠正初始策略的偏差并提升泛化性能，引入在线强化学习（Online RL）进行策略微调是自然的改进途径。但在离散技能架构下直接应用常规强化学习面临两大严峻挑战。首先是观测编码器的梯度更新极其脆弱：在线交互收集到的数据在不同难度任务间天然存在显著的成败失衡，这种不稳定的在线奖励信号会导致端到端微调下的视觉与本体感知编码器表征震荡与崩溃，破坏基础特征的鲁棒性。其次是决策单元与优化单元之间的“粒度困境”（Granularity Dilemma）：一个完整的连续动作 chunk 对应若干个离散 token 构成的技能基元。若采用如 PPO/GRPO 的 token 级优化，会将同一个技能内部各 token 的重要性采样比独立截断，割裂了技能作为一个不可分执行单元的整体语义；而若采用如 GSPO 的整条轨迹（episode）级优化，又会因操作任务中长短不一的执行步数（成功往往快速终止，而超时失败持续很久）导致长度不对称，共享单一截断比从而丧失优化精度。

针对上述编码器不稳定性与粒度失配的核心矛盾，本文提出了两阶段后训练框架：先通过在线成功轨迹对齐观测与技能映射并冻结编码器以提供平稳基底，再在技能这一天然决策粒度上实现精细的重要性采样更新。核心 idea：将离散技能策略的后训练解耦为“拒绝采样监督微调（R-SFT）稳定感知表征”与“冻结编码器下的技能级策略优化（SPO）”两阶段，通过按完整技能基元独立计算和截断重要性采样比，彻底解决在线微调中的表征震荡与优化粒度失配。

方法详解¶

整体框架¶

CSO 框架包含两个严格解耦的串行阶段：阶段一为基于拒绝采样的监督微调（R-SFT），阶段二为基于技能粒度的策略优化（SPO）。在整个后训练流程中，离线预训练好的动作离散化自编码器（包含编码器 $\phi_\theta$ 与解码器 $\psi_\theta$）完全冻结。

在阶段一（R-SFT）中，由模仿学习预训练的策略 $\pi_\varphi$ 在环境中执行高探索度的高温随机采样，并结合“N 次尝试（N-strikes）”机制筛选并收集成功的完整轨迹。利用这些高质量在线成功数据对策略（包含观测编码器与自回归技能先验）进行监督微调，校正策略在自身闭环量化执行下的状态偏移。随后，观测编码器被永久冻结，为下一阶段锁定不变的特征空间。

在阶段二（SPO）中，策略在多组相同初始状态下进行在线并行采样（rollout），剔除全胜或全败的零优势组，计算基于组相对均值的终端稀疏优势函数。优化时，SPO 将每个包含固定 token 数的完整技能视作一个独立决策单元，分别计算其序列联合似然的重要性采样比，并进行非对称截断更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线预训练策略<br/>(IL 策略 + 冻结 VQ 解码器)"] --> B["阶段 1：拒绝采样监督微调<br/>(R-SFT 多轮采样 + N-strikes 收集成功轨迹)"]
    B --> C["对齐微调与编码器冻结<br/>(更新观测-技能映射，随后永久冻结视觉编码器)"]
    C --> D["阶段 2：动态拒绝组采样<br/>(基于相同初始状态采样，过滤零优势组)"]
    D --> E["技能级策略优化<br/>(SPO：按完整技能计算似然比并独立截断)"]
    E --> F["部署最终优化策略<br/>(高鲁棒闭环控制)"]

关键设计¶

1. 拒绝采样监督微调与编码器冻结：化解表征震荡与累积量化分布偏移

离线模仿学习得到的初始策略 $\pi_{\varphi_{\text{IL}}}$ 在面对闭环离散动作量化误差时极易脱轨。为在强化学习介入前校准分布，R-SFT 利用初始策略进行在线探索并构建成功回放池 $\mathcal{D}_{\text{succ}}$。为保证数据的多样性并避免过拟合简单状态，系统采用“N 次尝试”机制（$N_{\text{strikes}}=10$）：对每个随机抽取的初始状态 $s_0$，若连续 10 次尝试均告失败则舍弃该状态；只要存在成功，便将所有成功的完整轨迹存入缓冲池。随后，利用收集到的高质量状态-技能对，以行为克隆损失微调全网络： $$\varphi_{\text{R-SFT}} = \arg\min_{\varphi} \mathbb{E}_{(s_t, Z_t) \sim \mathcal{D}_{\text{succ}}} [-\log \pi_\varphi (Z_t \mid s_t)]$$ 该步骤让策略学会应对自己生成的量化动作所带来的真实动力学反馈。在微调结束后，CSO 立即将视觉与本体感知编码器 $f_{\text{enc}}$ 彻底冻结，切断后续在线 RL 阶段极具噪声的稀疏奖励梯度对底层感知表征的直接冲击，为自回归技能先验提供平稳的输入表征。

2. 动态拒绝组采样：剔除无效探索并聚焦能力边界

在稀疏二值奖励环境（任务完成给 $R=1$，否则为 $0$）下直接进行基于组的策略优化时，若某个初始状态极其简单使得组内所有 rollout 全部成功，或者极其困难导致组内全部失败，组内平均奖励将等于每个轨迹的奖励，使得整组优势函数恒为零。这些样本不仅不提供任何策略梯度，还会稀释更新批次的有效信息。为此，CSO 引入动态拒绝采样策略：以相同初始状态 $s_0$ 采样一组 $K$ 条轨迹 $\{ \tau_k \}$，计算轨迹终端优势 $A(\tau^{(i)}) = R(\tau^{(i)}) - \bar{R}(\mathcal{G})$。如果该组内所有轨迹的优势均为零（即全为 0 或全为 1），则直接在缓冲池构建阶段予以舍弃并重新采样初始状态。这一机制强制将强化学习的交互与计算预算聚焦于策略当前能力边界的临界任务上。

3. 技能级重要性采样与非对称截断（SPO）：破解粒度困境

针对 token 级优化过度分割技能语义、episode 级优化受超时轨迹长度不对称扭曲的缺陷，SPO 将时序上的每一个“技能”基元 $Z_t=(z_t^1, \dots, z_t^n)$ 选定为最小优化单位。在条件策略下，该技能在给定状态 $s_t$ 下的联合生成概率严格分解为其构成 token 的自回归条件概率乘积： $$\pi_\varphi (Z_t \mid s_t) = \prod_{j=1}^n \pi_\varphi (z_t^j \mid s_t, z_t^{<j})$$ SPO 为轨迹中的每一个技能 $Z_t$ 独立计算关于新旧策略的重要性采样比 $\rho(Z_t) = \frac{\pi_\varphi (Z_t \mid s_t)}{\pi_{\varphi_{\text{old}}} (Z_t \mid s_t)}$，并共享整条轨迹的终端组相对优势 $A(\tau) = R(\tau) - \bar{R}(\mathcal{G})$。其代理目标函数为： $$\mathcal{L}_{\text{SPO}}(\varphi) = \mathbb{E}_{\tau \sim \pi_{\varphi_{\text{old}}}} \left[ \sum_{t=0}^H \min \left( \rho(Z_t) A(\tau),\, \text{clip}(\rho(Z_t), 1 - \epsilon_-, 1 + \epsilon_+) A(\tau) \right) \right]$$ 在截断超参数上，SPO 引入了非对称截断边界（默认 $\epsilon_- = 0.07, \epsilon_+ = 0.15$），既允许在正向优势下进行更充分的策略探索，又严格压制负向更新带来的崩溃风险。由于每个技能的截断判定独立进行，避免了长步数失败轨迹掩盖局部关键决策的问题。

实验关键数据¶

主实验¶

论文在极具挑战性的语言引导操作基准 LIBERO（包含 Spatial, Object, Goal, Long 四个子套件共 40 个任务，以及大规模 90 任务套件 LIBERO-90）上进行了系统评测，并扩展至 RoboTwin2.0 仿真与真实 ALOHA 双臂机器人的单臂物理实验。

方法 / 模型	架构类型	LIBERO-Object (%)	LIBERO-Spatial (%)	LIBERO-Goal (%)	LIBERO-Long (%)	LIBERO 总体均值 (%)
Octo	VLA 基座	85.7 ± 0.9	78.9 ± 1.0	84.6 ± 0.9	51.1 ± 1.3	75.1 ± 0.6
OpenVLA	7B VLA	88.4 ± 0.8	84.7 ± 0.9	79.2 ± 1.0	53.7 ± 1.3	76.5 ± 0.6
$\pi_0$	流匹配 VLA	98.8 ± 0.5	96.8 ± 0.8	95.8 ± 1.0	85.2 ± 1.1	94.2 ± 0.6
Diffusion Policy	连续扩散	62.6 ± 2.8	69.5 ± 1.8	54.6 ± 0.5	51.2 ± 3.0	59.5
ACT	CVAE 分块	78.8 ± 1.2	82.0 ± 0.5	66.1 ± 1.6	44.0 ± 0.5	67.7
QueST (基线)	离散技能 IL	90.0 ± 1.1	84.5 ± 0.2	76.7 ± 0.9	69.1 ± 1.0	80.1
QueST + RIPT	在线 RL 微调	98.4 ± 0.3	95.6 ± 0.4	92.7 ± 0.5	87.5 ± 0.6	93.6 ± 0.2
CSO (QueST-style 轻量版)	离散技能后训练	98.6 ± 0.2	98.0 ± 0.6	97.4 ± 0.2	96.0 ± 0.5	97.5 ± 0.4
CSO (Qwen3-VL-2B 扩展版)	VLA 技能后训练	99.1 ± 0.1	98.3 ± 0.4	99.0 ± 0.2	97.8 ± 0.7	98.6 ± 0.4

在长程复合任务 LIBERO-Long 上，轻量版 CSO 从 QueST 基线的 69.1% 大幅跃升至 96.0%（绝对提升 26.9%），总体均值提升 17.4%，超越了参数量大得多的 $\pi_0$。

在真实机器人 ALOHA 平台的 5 项单臂复杂操作任务中，CSO 与基线对比结果如下（每项任务 20 次独立试验）：

方法	叠积木 (Cube on Cube)	积木入碗 (Cube in Bowl)	按按钮 (Press Button)	积木立药瓶 (Cube on Bottle)	顺序放置 (Sequential Placement)	平均成功率 (%)
VQ-BeT	45%	35%	25%	35%	5%	29.0%
QueST	45%	50%	50%	50%	10%	41.0%
QueST + RIPT	60%	60%	70%	60%	25%	55.0%
CSO (本文)	65%	70%	80%	60%	30%	61.0%

消融实验¶

在 LIBERO-Long 与 LIBERO-90 上对 CSO 框架的各核心组件以及优化粒度进行消融：

配置 / 变体	LIBERO-Long 成功率 (%)	LIBERO-90 成功率 (%)	说明
(1) IL 预训练初始策略 (基线)	69.1	88.6	基础 QueST 模型
(2) CSO (完整两阶段模型)	96.0	97.7	R-SFT + 冻结编码器 + SPO
(3) 仅 R-SFT (去掉 SPO)	85.3	93.1	缺少在线 RL 策略提升
(4) 仅 SPO (去掉 R-SFT)	91.7	95.3	缺少成功轨迹预对齐直接进行 RL
(5) 去掉编码器冻结 (端到端更新)	89.6	94.4	阶段 2 观测编码器解冻，表征出现扰动
优化粒度对比 (均基于同个 R-SFT checkpoint)
GRPO (Token 级重要性采样)	94.5	-	割裂完整技能内部语义关联
GSPO (Episode 轨迹级重要性采样)	93.2	-	受成功/失败步长不对称影响大
Standard PPO (引入价值网络 Critic)	94.3	-	稀疏奖励下价值估计误差引入噪声
SPO (技能级重要性采样，本文)	96.0	-	决策粒度与优化粒度严格对齐

关键发现¶

阶段协同的必要性：单做 R-SFT 成功率为 85.3%，单做 SPO 为 91.7%，二者级联达到 96.0%。这证明了“先通过有监督成功轨迹重塑闭环分布、稳固感知，再进行强化提升”的设计高度互补。
编码器冻结的关键作用：若在 SPO 阶段不冻结视觉编码器，LIBERO-Long 成功率显著下降 6.4%（89.6% vs 96.0%），证实稀疏且具有噪声的在线 RL 梯度会破坏编码器的视觉特征空间。
技能级粒度的优越性与鲁棒性：在相同的 R-SFT 检查点下，技能级 SPO（96.0%）全面优于 token 级 GRPO（94.5%）与轨迹级 GSPO（93.2%）。此外超参数敏感性分析表明，GSPO 对截断范围极度敏感（稍放宽至 $[0.97, 1.04]$ 性能便跌至 86.4%），而 SPO 在各种截断区间均保持在 95% 以上的超高成功率。

亮点与洞察¶

解耦感知稳定与策略提升：大语言模型（LLM）微调已证明监督对齐后再做 RL 的有效性，本文巧妙将其迁移至机器人离散控制领域，指明了离线动作量化误差导致的环境分布漂移可以通过收集自生成功轨迹的 R-SFT 进行“自愈”。
决策边界与梯度更新的自然契合：指出机器人任务中轨迹长度不对称（成功快、超时慢）的物理现实，放弃盲目照搬 LLM 的 sequence-level（GSPO）或 token-level 策略，确立以固定 chunk 的离散 skill 作为优化基本元，大幅提升了采样效率与收敛平稳性。
免 Critic 的高数据效率设计：完全摆脱了在机器人领域极难训练的价值网络（Critic），依靠基于组采样的动态剔除策略与相对优势，以仅 30 轮在线交互、极低算力成本（单任务 12 GPU 小时）达成了顶尖表现。

局限与展望¶

依赖非零初始探索支持：R-SFT 要求初始策略必须能偶发成功以触发“N-strikes”收集流程。对于探索难度极高、初始成功率为 0 的硬核任务，该框架需要结合离线数据预热（Offline RL warm-start）或人工介入修正。
受限于预训练 Tokenizer 的容量天花板：离散动作词表的精度、运动多样性以及 chunk 长度 $k$ 决定了动作重构的理论上限，后训练阶段冻结了解码器，无法修正词表中未覆盖的微小机械位移。
未来方向：未来可探索结合自适应重置机制降低真机在线训练的人工复位成本，以及研究将仿真环境预收集的 R-SFT 经验迁移至真实机器人的 Sim-to-Real 方案。

评分¶

新颖性: ⭐⭐⭐⭐ [针对离散技能策略将两阶段对齐与技能级重要性采样相结合，物理直觉与算法设计契合度高]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 40+ 任务 LIBERO、RoboTwin2.0 仿真与真实 ALOHA 机械臂实验，消融严密详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑清晰，对粒度困境和编码器震荡的分析深刻透彻]
价值: ⭐⭐⭐⭐⭐ [为机器人离线模仿策略的高效、低成本在线强化微调提供了极具参考意义的标准范式]