Go Beyond Earth: Understanding Human Actions and Scenes in Microgravity Environments¶

会议: ICLR 2026
OpenReview: https://openreview.net/forum?id=gygGCVXeh3
代码: https://github.com/lei-qi-233/MicroG-4M
领域: 视频理解 / 数据集与基准
关键词: 微重力, 视频理解, 动作识别, 视频描述, 视觉问答, 域偏移基准

一句话总结¶

本文提出 MicroG-4M——首个面向微重力（太空失重）环境下人类活动时空与语义理解的视频基准，包含 4,759 个真实/电影片段、13,261 条动作标注、1,238 条描述与 7,000+ 问答对，覆盖细粒度动作识别、视频描述、视觉问答三大任务，并用一套基准 MicroG-Bench 系统量化了地面训练模型在太空场景下的显著性能崩塌。

研究背景与动机¶

领域现状：视频理解（动作识别、视频描述、VQA）已在 Kinetics、AVA、ActivityNet 等大规模基准上取得长足进步，是智能人机协作的核心能力。随着空间站长期驻留与未来载人任务激增，舱内机器人辅助宇航员、保障安全与作业效率成为现实需求。
现有痛点：几乎所有现有数据集都录制于地球重力条件下，隐含了"重力对齐的方向先验、可靠支撑面、地面化的物体动力学"等假设。微重力彻底打破这些假设——站立变成方向无关、移动靠拉扶结构而非步态、操作常涉及释放/抓取漂浮物，导致地面训练的 HAR 模型在轨严重退化。
核心矛盾：太空安全攸关应用迫切需要鲁棒的视频理解，但既没有微重力领域的数据，也没有衡量"重力诱导失败模式"的诊断工具，无法公平评估和改进太空适配模型。
本文目标：构建首个微重力视频理解基准，支持细粒度多标签动作识别、时序视频描述、视觉问答三类任务，并提供标准划分与评测协议，量化地球→太空的域差距。
核心 idea：【数据集+诊断基准】 从真实任务录像和高保真太空电影中采集片段，复用 AVA 动作标签体系（保持标签空间不变以支持公平 Earth→space 对比），叠加人工+MLLM 协同标注的描述与问答，把"地面模型在失重下崩塌"做成可量化、可对比的标准化标尺。

方法详解¶

整体框架¶

MicroG-4M 是一个数据工程项目而非新模型，其贡献在于一条"采集→组装→筛选→标注→质检"的自动化与人工协同流水线，以及配套的多任务评测协议。名称"4M"概括了四个特征：Multi-source（真实任务录像 + 物理可信电影）、Multimodal（RGB + 文本标注）、Multi-task（HAR / 描述 / VQA）、Microgravity（微重力）。三大子集共享同一批 3 秒片段，但描述与 VQA 仅约束在真实微重力内容上以保证语义保真。

flowchart TD
    A[原始视频采集<br/>真实太空录像+电影] --> B[3秒切片@30fps]
    B --> C[自动筛选<br/>YOLOv11人检+PySceneDetect转场]
    C --> D[人工筛查<br/>剔除地面/发射前场景]
    D --> E1[HAR分支<br/>YOLOv11+BoT-SORT自动框+AVA动作标签]
    D --> E2[描述分支<br/>逐帧人工撰写+航天资料核验+MLLM润色]
    D --> E3[VQA分支<br/>描述驱动两阶段生成+过滤+人工复核]
    E1 --> F[MicroG-4M 三任务标注]
    E2 --> F
    E3 --> F
    F --> G[MicroG-Bench 评测协议]

关键设计¶

1. 多源采集与纯净化筛选：把"真失重"从噪声里筛出来 数据来自公开 YouTube 的真实空间站/飞船录像（ISS、天宫、舱内、舱外活动）和精选的高保真太空电影两路，以扩展场景多样性。原始视频统一切成 3 秒、30fps 片段以保证时序一致，丢弃过短段。自动筛选用 YOLOv11 做人体检测、PySceneDetect 检测突变转场，剔除无人或时序断裂的片段。关键在于其后追加一道人工逐片复审，专门排除地面场景（如发射前准备、地面训练画面），确保每个片段都清晰呈现真实微重力下的人类活动——这一步是基准"诊断价值"的根基，否则混入地面画面会稀释掉重力诱导的失败模式。最终约 4,759 个片段，以真实空间站录像为主。

2. 复用 AVA 标签空间的微重力动作分类：让 Earth→space 可公平对比 动作体系从 AVA 的 80 个原子动作裁剪而来——剔除太空中物理上不可能的动作（如涉水、贴地动作），合并近义类，并做情境感知的语义微调，最终保留 50 个动作，归为三大组：物体操作（Object Manipulation，4,986 条，37.60%）、人际交互（Person Interaction，4,288 条，32.34%）、人体移动（Person Movement，3,987 条，30.07%）。每个 3 秒片段视为自包含单元，对每个检测到的个体最多赋 5 个可见或可推断的动作标签。刻意保留 AVA 类名、只把其语义重新锚定到微重力，使得在不改变标签空间的前提下可以直接做 AVA→MicroG-4M 的零样本迁移对比，从而把"实现差异"与"重力域差异"干净地隔离开。框标注由 YOLOv11+BoT-SORT 跟踪自动产生，并用稀疏光流评估运动强度来自适应调参，共约 390,000 个框、13,261 条动作标注（真实 9,610 + 仿真 3,651）。

3. 人工撰写 + 航天资料核验 + MLLM 精修的描述标注：保证事实保真 1,238 条描述由标注者基于 3 秒片段逐帧（30fps）视觉检视撰写，不仅描述核心动作与物体，还显式编码宇航员身份、舱位与背景空间布局、手-身-物的细粒度交互、设备外观与用途、姿态朝向等独特视觉特征（如头盔/服装状态）。所有事实内容都对照官方机组名单、航天机构（NASA/CNSA/ESA）传记库、舱体布局图、任务报告、机载视频转录等权威资料交叉核验，再用 MLLM 在后续步骤润色语法流畅度、清晰度与词汇多样性，最后由标注者重新校验。这套"人工先写、资料把关、MLLM 抛光"的顺序保证了语义保真度优先于流畅度。

4. 描述驱动的两阶段 VQA 生成与过滤：把答案钉在视觉可见证据上 VQA 采用以描述为锚、生成+过滤的两阶段流水线（参照 Heilman & Smith 2009）。给定每条精修描述，MLLM 用模板生成候选问答，覆盖标准 Wh- 提问、前景 vs 背景、粗粒度 vs 细粒度动作、身份/位置/设备、时序与因果关系等多个推理维度，并可选地为每个片段插入一个故意不可回答的问题。过滤阶段剔除依赖声音、潜在意图或非视觉线索的候选，剩余问答按逻辑一致性、语言流畅度、语义相关性与信息价值由 MLLM 排序；标注者复核高排名问答，删除幻觉内容、必要时改写 prompt，并核验每个保留问题要么视觉可定位、要么对不可回答者明确标记为"Not mentioned"。每片段最终保留 6 个多样问答，共 7,428 条。9 人标注团队全程交叉验证+小组讨论达成共识，描述与 VQA 还经 LLM 语义一致性检查 + 迭代人工复核。

实验关键数据¶

主实验：细粒度动作识别（MicroG-4M 微调后）¶

所有模型用 Kinetics400 预训练后在 MicroG-4M 上续训。结果在测试集 mAP 约 47% 见顶，远低于地面训练水准；且常见排名被颠覆——带非局部模块的 CNN 领先 mAP/AUROC，说明运动缺乏重力一致性时，局部空间编码与结构化感受野反而更有优势。

模型	TC	Backbone	#Params(M)	Test mAP(%)	Test F1(%)	Test AUROC(%)
C2D NLN	8x8	R50	30.97	44.64	28.30	89.40
I3D	8x8	R50	27.33	46.41	26.37	88.79
I3D NLN	8x8	R50	34.68	47.12	28.07	88.52
Slow	4x16	R50	31.74	46.37	28.72	88.30
SlowFast	8x8	R50	33.76	43.02	22.63	88.51
MViTv2	16x4	S	34.27	15.14	8.16	78.61
X3D	16x5	L	4.37	18.70	9.15	78.27

Transformer 系（MViT）与轻量 X3D 在该域上大幅落后于 CNN，进一步印证微重力下局部编码的优势与"长时序窗口更有帮助"的需求。

跨域迁移：隔离重力域差距（AVA 微调后零样本）¶

在匹配的 AVA 微调设置下，AVA→MicroG-4M 远逊于 AVA→JHMDB，干净隔离出由物理（失重）驱动的差距，而非普通地面域偏移。

模型	TC	Backbone	测试集	mAP(%)	AUROC(%)
SlowFast	32×2	R101	JHMDB	47.50	83.98
SlowFast	32×2	R101	MicroG-4M	23.81	77.83
Slow	8×8	R50	JHMDB	34.24	76.96
Slow	8×8	R50	MicroG-4M	16.24	73.83

同一模型仅换测试域，mAP 几乎腰斩（47.50→23.81），证明地面对方向、支撑/接触、物体动力学的假设在失重下极其脆弱，朴素微调无法弥补。

视频描述与 VQA（部分结果）¶

描述任务上闭源模型领先（Gemini 1.5 Pro CIDEr 3.52、GPT-4o BERTScore 86.75），但绝对分仍低；词汇指标（CIDEr/BLEU）极低而语义指标（S-BERT/BERTScore）相对较高，说明域特定词汇与多样表述拉低了表面重叠。VQA 上 GPT-4o 最强（CIDEr 33.98、S-VQA 44.56），但仍属中等水平。

关键发现¶

重力先验导致系统性误判：AVA 模型把漂浮/倒置姿态误判为"Bend/Bow"或"Sit"，MicroG-4M 模型则能正确预测"Stand"，体现对重力诱导偏差的纠正。
帧数不是越多越好：固定 3 秒窗口内增加采样帧并不稳定提升 VQA——Gemini 2.5 Pro 用 3 帧就拿到最高 S-VQA，说明语义显著线索的提取比时序冗余更关键。
词汇 vs 语义指标分离：Qwen2.5-VL 的 BLEU-4 仅 0.65 却拿到同类最高 S-VQA，反映 MicroG-4M 问题常有多个语义等价但措辞不同的答案。

亮点与洞察¶

首个微重力视频理解基准：填补了视频理解长期局限于地球重力的空白，对太空安全攸关应用（宇航员辅助、自主任务）有现实价值。
诊断式设计而非单纯刷数据：保留 AVA 标签空间 + 匹配迁移协议（AVA→MicroG-4M vs AVA→JHMDB）的巧思，使其能干净隔离"重力域差距"，把失败模式量化成可研究的对象，而不只是又一个数据集。
多源 + 多模态 + 多任务一体：在单一数据集内同时支持时空检测、细粒度识别、描述生成与 VQA，便于统一评估空间定位与语义推理。
意外的模型排名反转：CNN+非局部模块在失重下反超 Transformer，给"太空适配架构"的设计提供了有价值的经验信号。

局限与展望¶

片段短且来源受限：3 秒片段难以覆盖长程任务（如复杂舱内操作流程）；真实录像主要来自公开平台，电影片段虽高保真但终究是模拟，存在分布偏置。
规模相对小：描述仅 1,238 条、VQA 7,428 条，相比地面大规模基准偏小，可能限制数据驱动方法的训练。
只建基准未提方法：论文提供诊断标尺但未给出"太空适配"的新架构，温度计而非药方——后续需要面向方向不变性、漂浮物体动力学、意图建模的专门方法。
语义歧义残留：模型仍会把漂浮工具误判为"Carry/Hold"，时序连贯性与意图建模是明确的未来方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个微重力视频理解基准，问题独特且诊断设计巧妙（保留 AVA 标签空间隔离重力变量）。
实验充分度: ⭐⭐⭐⭐ 覆盖三大任务、多种 CNN/Transformer/开闭源 VLM，含跨域匹配迁移协议；但片段短、文本标注规模偏小。
写作质量: ⭐⭐⭐⭐ 动机论证清晰（逐条说明失重如何破坏地面先验），流水线与发现叙述完整。
价值: ⭐⭐⭐⭐⭐ 面向太空安全攸关应用，提供可量化重力域差距的标准标尺，对后续太空适配模型研究有奠基意义。