FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies

会议: NeurIPS 2026
arXiv: 2605.27284
代码: https://finevla.xlang.ai/
领域: 机器人
关键词: 具身智能, 视觉-语言-动作模型, 可操纵策略, 细粒度指令对齐, 双臂协同操作

一句话总结

FineVLA 提出了一个动作-指令对齐的开放框架，通过构建包含 4.7 万条经人工核验的细粒度轨迹数据集 FineVLA-Data 与 RoboFine-Bench 评测基准，并采用细粒度与粗粒度指令混合训练策略，在不牺牲目标级成功率的前提下显著提升了机器人具身策略在执行因子维度的可操纵性。

研究背景与动机

视觉-语言-动作（VLA）模型正在从粗粒度的“任务级”机器人控制，迈向可由人类自然语言精细操纵（steerable）的执行级策略。在实际操作中，相同的任务目标往往存在多种执行路径，用户可能需要对机器人使用哪只手臂、选择哪个目标物体、从何种方向接近、接触哪个物理部件、沿何种轨迹与旋转方向运动等执行细节施加明确约束。然而，现有的开源机器人具身数据集（如 Open X-Embodiment、DROID 等）通常仅为整条长轨迹标注高度抽象的目标级语言指令（例如“把杯子拿起来”），完全忽略了执行过程中的手臂选择、趋近路径、接触部位及状态转移等控制关键信息。

这一现状导致了三个核心瓶颈。首先，多源开源机器人数据集格式高度异构，同一任务下的演示轨迹存在大量时间与动作上的冗余，且缺乏动作对齐的细粒度监督信号与开源基础设施；其次，现有的通用视频大模型与具身评测基准多关注场景表观描述或空间几何关系，缺乏能够细致刻画机器人操作过程细节的评测基准和专用标注模型；最后，学术界缺乏系统性的实证结论来解答：细粒度过程级指令是否真正有助于策略学习，以及细粒度指令与原始目标级指令应如何配比才能取得最优的可操纵控制效果。

为了打破这些限制，本文将可操纵 VLA 学习重新形式化为动作-指令对齐问题，主张语言监督不仅要告诉机器人“做什么”，更要明确“怎么做”。核心 idea：构建涵盖多源异质轨迹规范化、聚类去冗余与十维度动作对齐标注的开放基础设施 FineVLA，通过细粒度与目标级指令的互补混合训练（最佳比例 1:2 至 1:1），全面释放 VLA 策略在多维执行因子上的精细可操纵控制能力。

方法详解

整体框架

FineVLA 构建了一个将细粒度数据构建、机器人视频理解评测、可扩展标注与可操纵策略训练紧密耦合的闭环框架。整个系统流程由 FineVLA-Tool、RoboFine-Bench、RoboFine-VLM 以及 FineVLA-Policy 四大核心组件构成：

首先，数据处理工具 FineVLA-Tool 对来自 10 个开源数据集的 97.2 万条轨迹进行 LeRobot 格式转换与动作-状态规范化，借助动态时间规整（DTW）层次聚类去除冗余演示，提取出 47,159 条高代表性轨迹，并由模型生成结合人工校验完成十个维度的细粒度动作对齐标注，生成 FineVLA-Data。其次，设立完全独立的保留基准 RoboFine-Bench，通过包含 500 个视频、11,631 个原子事实和 1,030 个问答对的评测体系系统评估视频对机器人操作细节的感知能力。第三，基于 FineVLA-Data 监督微调得到专用标注模型 RoboFine-VLM，为后续海量轨迹提供可扩展标注能力。最后，在统一的主干网络与视觉输入下，系统性地构建细粒度指令与粗粒度指令混合训练机制，在两种不同的动作解码架构（OFT 与 GR00T）下训练 FineVLA-Policy，实现面向仿真与真机双臂操作的高精度可操纵控制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多源异构机器人演示数据<br/>10个开源数据集 / 97.2万条轨迹"] --> B["数据规范化与状态一致性清洗<br/>统一LeRobot格式 / 绝对坐标与四元数规范化"]
    B --> C["基于动态时间规整的轨迹聚类与代表性采样<br/>计算动作DTW距离矩阵并进行层次聚类"]
    C --> D["十维度细粒度动作对齐标注<br/>Qwen3.5-Plus步级分解 + 人工在环核验"]
    D --> E["FineVLA-Data (47,159条高质量轨迹)"]
    E --> F["RoboFine-Bench独立评测基准<br/>500视频 / 11,631原子事实 / 1,030 VQA问题"]
    E --> G["RoboFine-VLM专用标注大模型<br/>基于Qwen3.5-397B-A17B全参数监督微调"]
    E --> H["受控指令混合策略训练机制<br/>系统性调节FG与Raw比例 (1:4至4:1)"]
    H --> I["FineVLA-Policy可操纵策略<br/>StarVLA-OFT (MLP回归) / StarVLA-GR00T (DiT流匹配)"]
    I --> J["仿真与真机可操纵执行<br/>RoboTwin双臂仿真 / Cobot Magic实机操纵评测"]

关键设计

1. 基于动作动力学的状态规范化与动态时间规整聚类去冗余：在保留多模态操作策略多样性的同时大幅压缩标注成本

针对开源机器人数据集在动作定义、控制频率和空间参数化上的严重分歧，FineVLA-Tool 首先对所有连续动作和机器人状态进行规范化。非末端执行器变量（如关节位置、机械爪开闭）统一映射为绝对关节坐标，末端位姿统一采用三维全局平移坐标结合归一化四元数 \(\mathbf{q} \in \mathbb{R}^4\)（遵循 \(xyzw\) 顺序，满足 \(\mathbf{q} \equiv -\mathbf{q}\)）。为了剔除记录损坏或因控制延时导致动作与状态脱节的无效轨迹，系统计算动作序列与状态演变之间的 DTW 距离，过滤掉超出阈值的异常数据。

在同一任务的演示数据中，通常存在大量轨迹形状高度相似但时间尺度不同的冗余记录。如果对所有数据进行细粒度标注，将耗费极高的人工成本。为此，FineVLA-Tool 在任务内部计算动作序列间的两两 DTW 距离。以末端执行器空间为例，单帧之间的转移代价综合了空间位置平移误差、四元数测地线旋转距离以及夹爪状态差异：

\[c_{\text{eef}}(\mathbf{x}, \mathbf{y}) = w_{\text{pos}} \|\mathbf{p}_x - \mathbf{p}_y\|_2 + w_{\text{rot}} \cdot 2\arccos(|\mathbf{q}_x \cdot \mathbf{q}_y|) + w_{\text{grip}} |g_x - g_y|\]

系统将夹爪开闭跳变的权重设为 \(w_{\text{grip}} = 100.0\)，从而确保影响抓取策略实质转变的关键接触事件在距离度量中占据主导，避免被连续的微小空间漂移所掩盖。在此基础上，通过基于平均连接（average linkage）的凝聚层次聚类，依据树状图合并高度差自动确定簇数，并从每个聚类簇中挑选 2 至 3 条靠近聚类中心的代表性轨迹。该算法将 97.2 万条初始轨迹精准浓缩为 47,159 条关键轨迹，使有限的人工核验预算能够覆盖最具差异化、信息量最密集的动作模式。

2. 涵盖动作因子的十维度细粒度标注体系与双轨独立评测基准：打通机器人过程级感知的评价与标注闭环

针对目标级指令缺失操作执行约束的问题，本文制定了包含十个维度的细粒度结构化标注范式：动作序列（Action Sequence）、执行主体（Active Actor，如左右臂/单双爪）、目标物体（Target Object，结合颜色、形状及空间位置精确消歧）、初始配置（Initial Configuration）、最终配置（Final Configuration）、接触与趋近（Contact & Approach，包含趋近方向与接触部位）、轨迹与方向（Trajectory & Orientation，平移方向与旋转角度）、物体交互（Object Interaction，附带碰撞与推挤等副反应）、失败与恢复（Failure & Recovery，滑动、重试与抓取纠错）以及本体运动（Body Motion，底盘或云台位移）。标注流程首先由 Qwen3.5-Plus 依据时序视频抽帧生成按时序展开的结构化动作描述，随后由专业人工对照原始多视角视频，严格核实时间顺序、目标标识、主体指定与接触几何的一致性，构建出平均指令长度达 96.8 词的 FineVLA-Data。

为了严格衡量模型对操作过程细节的感知能力，论文构建了由 500 个独立长视频组成的 RoboFine-Bench，与训练集零重叠。基准设计了双重评测轨道：VQA 轨道设置了 1,030 道题目，通过实体场景定位、动作运动理解以及交互状态推理三个维度进行确定性评分；描述生成轨道将标注分解为 11,631 个原子事实，采用大语言模型对生成描述进行细粒度事实级对齐打分，输出一致性（Consistency）、覆盖度（Coverage）与抗幻觉度（Anti-Hallucination）。为避免虚构打分泛化，抗幻觉指标专门针对动作序列维度进行严格定义：

\[\text{Anti-Hallucination} = 1 - \frac{H}{S}\]

其中 \(H\) 为生成描述中未在真实动作基准中出现的虚构动作事件数，\(S\) 为模型生成动作步总数。该设计避免了非动作描述因属性描述开放性而造成的误判。

3. 细粒度与粗粒度指令的受控混合训练机制：消除多架构依赖并实现因子级可操纵控制

在策略训练阶段，FineVLA 并没有重新设计全新的网络拓扑，而是为了剥离网络结构对实验结论的干扰，选用 StarVLA 开源库中的两种典型动作解码范式：以多层感知机（MLP）并行回归连续动作块的 StarVLA-OFT，以及以扩散 Transformer（DiT）流匹配（Flow Matching）连续生成轨迹动作的 StarVLA-GR00T，二者均搭载统一的 Qwen3.5-4B 多模态视觉-语言主干。

在策略学习中，如果完全使用长文本细粒度指令训练，会导致策略在推理时失去对自然任务级宏观指令的概括适应性；而若只输入粗粒度指令，则策略无法获得执行路径与动作因子的可操纵性。因此，本文提出了在微调阶段引入细粒度（FG）与粗粒度（Raw）指令的受控采样配比机制。通过维持完全一致的物理轨迹、动作标签与多视角图像输入，仅改变每次采样输入文本的概率权重，系统性评测从纯粗粒度（Raw-only）、1:4、1:2、1:1、2:1、4:1 到纯细粒度（FG-only）的性能变化曲线。这一机制证明了长文本执行约束与简洁任务指令之间存在深刻的互补协同效应。

一个完整示例

以真机双臂平台上的“取笔入盒（Pose）”任务为例，桌面上同时摆放着一支直立插在笔座中的笔和一支平躺在桌上的笔： - 视觉观察输入：主视角相机与左右腕部相机采集到包含两支笔的操作台面； - 粗粒度指令（Raw）：“把笔放进盒子里。”策略缺乏朝向消歧信息，往往随机选择或按演示数据默认频率抓取； - 细粒度指令 A（FG Variant A）：“右手从侧面平移接近平躺在桌面上的黑色钢笔，闭合夹爪抓取笔身中段，向上抬起后平移至右侧收纳盒正上方，释放夹爪。” - 细粒度指令 B（FG Variant B）：“右手从正上方竖直趋近笔座中垂直竖立的黑色钢笔，垂直夹持笔帽顶端，向上抽出后平移放入盒中。” - 执行结果：混合训练后的 FineVLA-Policy 能够准确解析不同指令所指定的初始姿态（Pose）与趋近方向（Approach），在完全一致的视觉初始状态下激发出截然不同的动作轨迹与抓取行为。

损失函数 / 训练策略

策略预训练在 64 张 NVIDIA A100 GPU 上进行 100k 步，全局批大小为 512，学习率采用余弦衰减。在仿真微调阶段（RoboTwin），在 8 张 A100 GPU 上针对 Clean 与 Random 混合的 2.75 万条轨迹训练 100k 步，批大小为 128；真机微调则在 8 张 A800 GPU 上基于 12 项双臂任务共 600 条演示数据微调 100k 步，批大小为 64。对于 StarVLA-OFT 模型，策略以多步动作块（Action Chunk 长度为 50）为单位采用 L1 回归损失进行监督优化；对于 StarVLA-GR00T，系统通过流匹配速度场预测损失进行连续动作分布建模。

实验关键数据

主实验

论文在 RoboTwin 仿真双臂操作基准（包含官方 Easy 与 Hard 分割，每任务评测 20 个回合）以及 Cobot Magic 真机双臂平台的 8 种任务族（包含常规定位任务、5 组指令敏感执行因子任务及 1 组未见绑定 OOD 探针任务，每项 10 次试验）上展开了系统性验证。

仿真环境评测中，针对三种（数据集，架构）组合在不同指令混合比例下的主实验表现对比如下：

训练配置与架构	指令监督类型	Easy 成功率 (%)	Hard 成功率 (%)	相比 Raw-only 提升
RDT-OFT	Raw-only	61.5	60.0	基线
RDT-OFT	FG-only	62.9	62.0	+1.4 / +2.0
RDT-OFT	FG : Raw == 1 : 1	73.9	72.4	+12.4 / +12.4
RDT-GR00T	Raw-only	55.1	53.4	基线
RDT-GR00T	FG-only	62.1	61.5	+7.0 / +8.1
RDT-GR00T	FG : Raw == 1 : 1	69.4	68.2	+14.3 / +14.8
AlohaMix-OFT	Raw-only	71.8	71.4	基线
AlohaMix-OFT	FG-only	78.3	76.1	+6.5 / +4.7
AlohaMix-OFT	FG : Raw == 1 : 1 (最佳)	86.8	82.5	+15.0 / +11.1

在 AlohaMix-OFT 配置下，真机双臂操作平台上对各个执行因子进行归一化百分制（0–100）评分，主评测结果如下：

监督策略设置	常规任务均分 (桌面整理/叠方块)	颜色选择 (Color)	姿态选择 (Pose)	趋近方向 (Approach)	旋转角度 (Rotate)	手臂选择 (Arm)	分布外探针 (L→R OOD)	分布内均分 (ID Avg)
Raw-only	53.5 (72/35)	22	24	60	76	60	0	49.9
FG : Raw == 1 : 4	56.0 (76/36)	28	32	65	79	61	0	53.9
FG : Raw == 1 : 2	59.0 (79/39)	36	48	76	87	63	5	61.1
FG : Raw == 1 : 1 (最优)	62.0 (84/40)	40	47	78	86	64	10	62.7
FG : Raw == 2 : 1	59.0 (80/38)	34	42	72	83	62	5	58.7
FG-only	52.5 (70/35)	25	41	70	80	60	0	54.4

消融实验

在保留测试集 RoboFine-Bench 上，论文对专用标注模型 RoboFine-VLM 与目前领先的通用商业及开源大模型进行了全面的能力消融与对比评测（VQA 准确率与描述生成综合表现）：

模型名称	VQA 总体准确率 (%)	实体场景定位 Gnd. (%)	动作运动理解 Act. (%)	交互状态推理 State (%)	描述生成 Easy 总分 (%)	描述生成 Hard 总分 (%)	描述 Hard 抗幻觉 (%)
Qwen3-VL-Plus	47.7	57.7	47.1	44.2	75.4	64.4	71.6
Qwen3.5-Plus (基座)	55.9	73.1	60.0	58.4	76.6	72.4	91.2
Doubao-Seed-2.0-Pro	58.5	63.5	55.3	53.2	80.2	73.4	84.0
Gemini-3.1-Pro	59.6	84.6	60.0	53.2	80.1	75.9	93.4
GPT-5.4	60.2	84.6	60.0	49.4	81.4	78.0	93.4
RoboFine-VLM (本文)	68.2	82.7	75.7	68.5	83.2	82.2	94.8

关键发现

• 显著的倒 U 型互补曲线：无论是在仿真还是真机评测中，策略性能均随着细粒度指令占比的增加呈现先升后降的倒 U 型趋势，并在 FG:Raw 比例介于 1:2 至 1:1 之间达到峰值。这表明粗粒度指令提供了高阶任务语义目标，而细粒度指令注入了具体的运动路径与执行先验，二者结合达到最佳协同。
• 细粒度监督缩小了不同解码架构之间的性能差距：在纯粗粒度指令（Raw-only）监督下，基于 MLP 的 OFT 架构相较于流匹配 GR00T 架构具有 6.4/6.6 点的显著优势；然而随着细粒度指令比例的提高，这一架构差距逐步缩小，在 FG-only 下缩小至 0.8/0.5 点。这证明了高质量动作对齐语言监督能极大缓解特征学习瓶颈，降低策略对特定动作解码器复杂结构的依赖。
• 因子级可操纵性大幅提升：在真机成对控制测试中，提升最为显著的维度恰恰是粗粒度任务指令中完全未体现的隐式属性——目标姿态（Pose 提升 +23 分）、颜色选择（Color 提升 +18 分）与趋近方向（Approach 提升 +18 分）。

亮点与洞察

• 将轨迹聚类引入具身数据标注流：FineVLA 通过动作空间归一化四元数与加权 DTW 矩阵聚类，用 4.7 万条代表性样本涵盖了近百万条异构轨迹的核心技能，从根本上攻克了开源演示数据重复低效且难以精细标注的顽疾。
• 澄清了细粒度指令在策略学习中的认知误区：学术界此前担忧冗长详细的过程指令会导致策略过拟合或丧失宏观目标规划能力。本文通过严谨的双架构与多比例对比，确凿证明了细粒度指令不仅不伤害任务成功率，还能通过 1:1 混合大幅增强策略性能。
• 解耦动作与指令的因子级可操纵评测设计：真机评测采用保持相同多视角画面仅变换单一语言因子的成对探针，为 VLA 社区建立了一套严格量化指令遵循度与操控因子的可复用方法论。

局限与展望

• 未见组合的复合泛化（Compositional Generalization）瓶颈：在测试新颖的主体-目标绑定（如左手伸向对侧右侧碗中）的 OOD 探针任务中，即使最优模型得分也仅有 10 分，反映出策略仍严重依赖预训练中常见的近端协同偏置，难以在复杂组合下实现真正解耦的灵活控制。
• 半自动标注仍依赖人工在环校验：虽然 RoboFine-VLM 在动作级视频问答与描述生成上超越了商用大模型，但在接触几何、微小滑移等细节上依然存在幻觉，目前尚未能完全脱离人工核验闭环。
• 物理安全机制有待融合：高自由度的细粒度文本控制在物理世界可能诱发极端逆运动学解或奇异位形，未来工作需要将细粒度指令遵循与实时的可达性、动力学碰撞检测及安全限制机制结合。

相关工作与启发

• vs RT-2 / OpenVLA / π0: 经典 VLA 基线模型专注于扩展通用机器人动作数据集，但指令配对几乎全为粗粒度任务名称（如“pick apple”），缺失执行轨迹细节；FineVLA 证明在不增加轨迹硬件采样量的前提下，仅丰富语言监督的动作对齐信息密度即可大幅提升策略性能。
• vs STEER / PartInstruct: STEER 等方法引入中间子阶段或部件级标签，但往往局限于特定步骤片段或离散部件；FineVLA 建立了覆盖空间运动、主体、接触面、副交互等十个维度的完整连续过程语义空间。
• vs RoboBench / RoboVQA: 现有视频理解基准偏向粗粒度场景感知与物理常识推断；RoboFine-Bench 引入针对操作因子的细粒度原子事实匹配与抗幻觉打分体系，直接对齐底层动作执行需求。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出并验证了 VLA 细粒度动作-指令对齐的完整开环与闭环框架。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 个公开数据集规范化、500 个长视频基准、双仿真解码架构消融及大量严苛真机成对探针实验。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，问题定义明确，图表数据丰富详实且洞见深刻。
• 价值: ⭐⭐⭐⭐⭐ 开源全套规范化工具、十维度数据集、评测基准与模型权重，对构建可操纵具身大模型具有极高推动作用。

相关论文

• [NeurIPS 2026] ATI-VLA: Action-Centric Predictive Vision–Language–Action Models via Actionable Alignment Then Adaptive Injection
• [NeurIPS 2026] CSO: Refining Robotic Policies via Skill Distribution Alignment and Skill-Grained Optimization
• [NeurIPS 2026] ROCKET: Residual-Oriented Multi-Layer Alignment for Spatially-Aware Vision-Language-Action Models
• [NeurIPS 2026] DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation
• [NeurIPS 2026] CofactVLA: Deconfounding Vision-Language-Action Models via Counterfactual Interventions