HiPolicy: Hierarchical Multi-Frequency Action Chunking for Policy Learning¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5381
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/10308.pdf
项目: https://hipolicy.github.io
领域: 机器人/具身智能
关键词: 动作分块、多频率建模、模仿学习、扩散策略、熵引导执行

一句话总结¶

HiPolicy 让扩散策略同时预测长时域低频动作块与精细高频动作块，并按采样动作的熵自适应选择执行分支；论文主表报告选定 RoboTwin 任务的总平均成功率从 DP 的 37% 提高到 60%、从 DP3 的 41% 提高到 59%，但这些汇总值不能全部由可见任务行的简单均值复现，自适应加速也另有独立评测口径。

研究背景与动机¶

动作分块让机器人一次预测一段未来动作，而不是仅凭当前画面输出下一步控制。这有助于减轻逐步决策中的误差累积，也能表达示范中的连续运动。然而，“预测多少个动作”并不能单独决定模型看得多远：在动作块长度固定时，采样越密，覆盖的真实时间越短；采样越稀，越容易覆盖一个完整操作阶段，却可能丢掉抓取、对齐和接触附近的重要调整。Diffusion Policy（DP）和 3D Diffusion Policy（DP3）提供了较强的动作分布建模能力，但单一时间分辨率仍然把上述两种需求绑在一起。

这一问题在带停顿的示范中尤为明显。机械臂把微波炉门推到接近关闭的位置后，可能需要短暂停顿再继续施力锁紧；只观察很短的历史，模型可能把停顿误当作任务已经结束。相反，如果始终依赖跨越较长时间的稀疏动作，抓取边缘或按小按钮时又容易缺少精细修正。论文希望保留低频历史里的阶段信息，同时不牺牲高频历史里的局部控制线索，而不是为每个任务手工挑一个唯一频率。

因此，HiPolicy 的“层级”主要指时间采样分辨率，而不是额外加入语言规划器，也不是只对视觉特征做多尺度处理。核心 idea：按多种频率同步组织观测与动作，在同一扩散模型中融合长短时域信息，再把动作分布的集中程度用作执行频率的选择信号。

方法详解¶

整体框架¶

输入是视觉观测历史，以及可选的机器人本体状态；视觉可以使用二维图像或三维点云，本体状态包括关节和夹爪等信息。模型先做频率对齐条件，再通过跨频率联合生成得到多个时间分辨率的动作块；需要自适应执行时，对同一输入进行多次随机采样，由熵引导执行选择一个频率分支输出给机器人。

每个分支具有相同数量的动作位置，但这些位置对应不同的时间间隔。低频分支因此可以描述更长的演示进程，高频分支则保留相邻动作的精细变化；它们不是互不相干的独立策略，而是在生成过程中交换特征。执行阶段只使用被选中的分支，而不是把多个频率的控制量平均成一个动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视觉历史与<br/>可选本体状态"] --> B["频率对齐条件"]
    B --> C["跨频率联合生成"]
    C --> D["熵引导执行"]
    D --> E["选定分支动作块<br/>与机器人执行"]

关键设计¶

1. 频率对齐条件：让动作分支看到与自身时间尺度匹配的历史

把同一份高频视觉特征复制给所有动作分支，并不能真正提供多时间尺度的信息。HiPolicy 先从原始历史中按不同频率抽取观测帧，再通过观测编码器得到各自的特征；可选本体状态经过多层感知机编码。这样，低频分支能够利用跨度较大的历史变化，高频分支则主要接收细密的近期变化。关键不是增加视觉模态，而是改变每组观测在时间轴上的取样位置。

随后，层级化的特征线性调制（FiLM）把对应频率的观测条件注入相应动作特征。FiLM 用条件特征产生调制参数，对动作通道进行缩放与偏移；这里值得关注的是对应关系：低频观测调制低频动作，高频观测调制高频动作，而非所有分支共享一份固定频率条件。论文消融中，仅使用高频观测比仅使用低频观测损失更明显，支持“长时域历史不能仅靠增加动作预测分支补回来”的解释。

这种对齐也避免把不同层级误读为严格的“高层先规划、低层后跟踪”。HiPolicy 没有要求先生成一条完整低频轨迹再启动高频策略；它让各个分支在共同生成过程中获得适合自身分辨率的条件。因此，层级是并存的时间视角，而不是两个独立模型之间的单向命令链。

2. 跨频率联合生成：在去噪过程中交换局部动作与整体阶段信息

如果只给多个扩散策略分别设置频率，它们可能各自预测出合理、但阶段不一致的动作。HiPolicy 将不同频率的带噪动作块沿时间维拼接，交给基于一维卷积的 U-Net 联合预测噪声。动作分支仍有各自的局部特征，但同一次生成过程同时处理这些分支，使长时域意图与短时域修正可以相互约束。

具体的跨频率通信由全局特征融合完成：论文使用交叉注意力，并引入 CLS token 汇集不同频率的动作信息，再将得到的全局特征与各频率的局部特征拼接，之后继续通过 FiLM 融合观测条件。频率对齐条件负责“这个动作层级应该参照哪段历史”，全局融合负责“不同层级是否在描述同一个操作进程”；两者不能互相替代。比如局部画面暂时不变时，跨较长时间的动作特征仍可能提示当前只是操作中途，而不是结束状态。

最终输出包含多个频率的动作块，而非一个被上采样的低频计划。论文强调能够接入 DP 的二维视觉输入和 DP3 的三维输入，但这不意味着已经验证了任意策略架构；实验证据仍集中在这两类扩散基线上。全文缓存的部分张量公式存在抽取损坏，因此这里保留可由正文确认的拼接、注意力和调制关系，不补造精确张量维度或未公开的网络配置。

3. 熵引导执行：把动作选择余地解释为阶段信号，而非一律减速

执行时，HiPolicy 对同一组条件独立采样多个候选动作块。对某一频率、某一动作位置，候选预测越集中，说明该位置允许的动作变化越小；越分散，则可能存在多种同样可行的运动方式。论文将每个位置的预测分布近似为高斯分布，以其微分熵衡量分散程度，再对各频率和各动作位置求平均，得到当前动作块的熵。

对标量高斯变量，标准差记为 \(\sigma\)，相应关系为：

\[ H(a)=\log\!\left(\sqrt{2\pi e}\,\sigma\right). \]

这个式子说明方差越大，熵越高；它是连续分布的微分熵，不是成功概率。原文式 (13) 的方差与标准差记号不够一致，且多维控制量如何归并成最终标量在正文中不充分明确，因此上述公式仅用于解释其高斯熵机制，不据此补全实现细节。

这里最容易读反的是选择方向：低熵时采用高频动作，以便在抓取等动作空间很窄的位置细致修正；高熵时采用低频动作，跨过接近物体等允许多种路径的宽松阶段，以减少执行步数。作者用预设的升序熵阈值对应降序频率，而不是在线训练一个额外的门控网络。算法保留第一次采样的完整输出用于执行，其余候选用于估计熵；不是选择最高分候选，也不是对全部候选取平均。

这一解释依赖“示范中的动作多样性反映精度要求”的经验关联。高熵也可能来自分布外输入或模型本身不可靠，不能普遍推导出“越不确定越应该加速”。同时，低频指的是动作序列的采样分辨率，不应直接理解成把物理控制器时钟调慢；论文的运行时间比较使用固定控制频率，收益主要来自少执行控制步，而非缩短单次模型调用。

一个完整示例¶

以论文讨论的关闭微波炉门为例：门接近关闭后，短历史里可能只剩几乎静止的画面，高频单分支策略容易停在那里。HiPolicy 的低频历史仍覆盖此前推门的进程，跨频率联合生成可把“尚未锁紧”的阶段信息传给细粒度动作分支；继续执行时，熵引导机制再根据当前候选动作是否集中选择分辨率。

这是一条帮助理解机制的流程解释，不是论文逐帧公开的中间变量记录。实际报告中，DP 在该任务的 10 次试验中成功率为 0%，HiPolicy 为 100%；HiPolicy 到“接近关闭”和“完全锁紧”分别需要平均 58 与 67 步，因此不能只拿前一个数字代表完整任务耗时。

损失函数 / 训练策略¶

HiPolicy 沿用 Diffusion Policy 的扩散训练方式，对拼接后的多频率带噪动作进行条件噪声预测；没有在正文中引入新的强化学习奖励。论文将完整训练流程与统一超参数分别放在附录 C、D，但当前本地文件包含完整正文与参考文献，不含这些附录，因此不填造学习率、训练轮数、各分支频率和具体熵阈值。

正文可确认的执行设置是并行采样 \(N=100\)，条件特征只提取一次并重复使用。在其硬件与批处理设置下，采样数由 1 增加到 100，延迟由 105.5 ms 变为 107.5 ms，显存由 7394 MB 变为 7457 MB；这说明共享条件与批处理减轻了额外采样成本，但并不保证低显存设备也有同样开销。

实验关键数据¶

主实验¶

仿真选择 RoboTwin 1.0 的 12 个较难任务和 RoboTwin 2.0 的 9 个长时域或精细操作任务，并非两个基准的全量任务；每任务评估 100 个 episode。真实实验使用 Franka Panda 与 Robotiq 2F-85 夹爪、两个外部相机和一个腕部相机，在 8 个任务上各评估 10 次。下表成功率越高越好，增量为百分点。

设置	基线	基线成功率 ↑	加入 HiPolicy ↑	增量
选定 RoboTwin 任务，论文报告的总平均（表 1，见下方核算说明）	DP	37%	60%	+23
选定 RoboTwin 任务，论文报告的总平均（表 1，见下方核算说明）	DP3	41%	59%	+18
精细任务子集（表 1）	DP	22%	45%	+23
精细任务子集（表 1）	DP3	28%	53%	+25
真实机械臂，8 任务平均（表 6）	DP	60%	85%	+25

汇总核算说明：上表保留论文表 1 的原报总平均，而不将其当作已独立复现的统计量。按可见的 21 个任务等权重算，DP、DP + HiPolicy、DP3、DP3 + HiPolicy 的均值约为 37.57%、59.95%、41.43%、60.24%，四舍五入到整数为 38%、60%、41%、60%，并非原报的 37%、60%、41%、59%。因此，前两行的 +23、+18 个百分点，以及论文报告的 62%、44% 相对增幅，都仅是基于原报汇总值的计算，不能视为由任务行独立验证的总体增益；也不能把相对增幅读成百分点。本笔记不臆造额外权重或执行设置来解释差异。

还需区分执行设置：表 1 没有显式标明是否启用熵引导，其多个任务数值与表 3 的“不启用 EG”列一致；因此主表的 60% 不能直接宣称为启用自适应加速后的平均成绩。

消融实验¶

以下摘取表 2 的两个具体任务，指标为成功率，越高越好；“只用低频/高频条件”仍保留多频率动作输出，只替换观测条件。

配置	Shoe place ↑	Block hammer beat ↑	说明
完整层级模型	48%	67%	对齐条件与跨频率融合均保留
只用低频条件	43%	66%	长历史仍有帮助
只用高频条件	14%	42%	缺少长时域条件
去掉跨频率融合	43%	56%	分支通信被削弱
去掉多频率结构	33%	0%	回到固定频率动作分块

表 2 的 12 个任务按完整模型、只用低频条件、只用高频条件、去掉融合、去掉多频率结构的顺序，均值约为 59.50%、57.83%、49.08%、54.08%、36.58%；四舍五入到整数后与原报 Average 行的 60%、58%、49%、54%、37% 一致，不存在该表汇总均值矛盾。就上述单任务而言，去掉融合分别下降 5 与 11 个百分点；移除多频率结构在 Block hammer beat 上下降 67 个百分点，但不能据此断言所有任务都有同等收益。

执行策略单独比较如下，来自表 3 实际列出的 5 个 RoboTwin 2.0 任务；表题写“8 tasks”，与可见行数及运行时间章节的 5 任务说明不一致。

方法	平均成功率 ↑	平均执行步数 ↓
DP	24%	133
DP + HiPolicy，不启用 EG	45%	139
DP + HiPolicy，启用 EG	41%	100

启用 EG 相对不启用 EG 少 39 步，按表中均值计算约减少 28.1%，同时成功率下降 4 个百分点；论文表中标示的约 25% 步数下降是相对 DP 的 133 步而言，不能混用分母。

关键发现¶

加速不是推理变快。表 5 的 RTX 4090 测量中，DP 与 HiPolicy 单次推理分别为 100 ms 与 108 ms，显存分别为 6560 MB 与 7457 MB；执行步数减少后，报告的 rollout 时间才从 10.57 s 降到 8.07 s。该时间按推理调用次数与固定 15 Hz 控制时间计算，不是跨平台通用速度指标。
采样更多并非单调更好。表 4 中，\(N=100\) 的成功率为 41%，\(N=500\) 为 39%，而后者延迟上升到 147.9 ms；这支持使用适度采样，而非无限增加候选。
改善并非逐任务普遍成立。表 1 中 DP3 在 Pick apple messy 上从 10% 降到 3%；长时域能力与细粒度控制的平均收益不能掩盖具体任务退化。

亮点与洞察¶

时间尺度同时作用于输入与输出。多频率动作只有得到相匹配的观测历史，才有机会利用跨阶段信息，而不只是重复生成不同间隔的控制点。
联合生成与执行选择分开处理。前者让多个时间分辨率相互提供上下文，后者决定当前真正执行哪条分支，消融也显示提高成功率与减少步数不是同一件事。
动作熵被用作任务阶段线索。其价值在于利用生成策略已有的分布信息，但这种解释需要结合接触精度与示范多样性，而不能照搬成通用的不确定性控制法则。

局限与展望¶

作者明确承认只验证了较小模型和数据集，尚未测试与大型视觉语言动作模型的结合；本文不把 DP/DP3 的结果外推为通用机器人模型结论。
仿真任务经过筛选，真实实验每任务只有 10 次，且没有给出足够的置信区间来判断小幅差异的稳定性。复杂环境变化下的熵门控可靠性仍缺少系统验证。
高斯近似可能压缩多峰动作分布的信息，固定阈值是否跨任务成立也需要更明确证据；本地正文缺少阈值和多维熵归并细节，限制了直接复现。
表 1 的总平均不能全部由可见任务行的等权均值复现，表 3 的任务数量也与表题不一致。后续核验应优先厘清主表总平均的来源、EG 开关和加速任务集合，再讨论汇总收益；表 2 的均值则可由正常四舍五入解释。

评分¶

新颖性: 4/5。观测—动作频率对齐与联合生成有清晰设计，熵选择规则具有任务相关辨识度。
实验充分度: 3/5。覆盖二维、三维和真实机器人，但基线范围有限，统计与执行设置的表述不够一致。
写作质量: 3/5。方法主线容易理解，公式记号、表 1 总平均和加速分母需要更仔细核对。
价值: 4/5。为扩散动作分块提供可用的时间层级思路，实际采用仍需复核控制与统计细节。