MedHorizon: 真实场景长上下文医学视频理解基准¶
会议: NeurIPS 2026
arXiv: 2605.06537
领域: 视频理解
关键词: 长上下文视频理解, 多模态大模型, 真实医学视频基准, 稀疏线索检索, 多跳临床推理
一句话总结¶
针对真实临床长视频中解剖视野高度冗余且关键病变线索极端稀疏的时空特性，提出首个保留完整手术与检查流程的 759 小时医学长视频理解基准 MedHorizon，揭示出帧数扩展失灵、检索与临床解读双重瓶颈以及注意力向解剖冗余漂移的深层机制。
研究背景与动机¶
长程医学视频理解在临床质控、内镜黏膜完整性筛查、超声规范切面质控以及复杂外科手术工作流解析中具有不可替代的作用。结肠镜检查需要跨越漫长的退镜全程评估黏膜观察充分性与肠道准备质量，产科超声需要在完整检查中确认标准解剖切面的覆盖率，而腹腔镜或心脏手术中的关键并发症与器械操作往往间隔数十分钟。然而，现有的医学多模态大模型（MLLM）评估主要局限于单张静态图像、人工裁剪的独立片段或预先切分好的短视频任务。这种预先截取有效片段的设置，人为剥离了临床实践中最为困难的第一步——从海量高度冗余、视觉均质的解剖画面流中精准检索极其微弱的病灶证据。
这种评测范式与真实临床需求之间的核心矛盾在于：自然视频的长视频任务通常依赖视觉显著、语义判别性强的高光时刻，而医学长视频恰恰具有极端的时空冗余与极弱的时序线索。相邻帧之间通常呈现高度相似的粉红色黏膜或组织反光，而决定诊断结论的关键病变（如微小息肉、术中缝合点渗血、罕见器械置入）往往仅在数十毫秒至数秒的短暂窗口闪现，其临床含义又高度依赖前序解剖定位与手术阶段。现有模型在未经筛选的长视频中，常常因为无法在极高噪声背景下定位稀疏线索而产生严重幻觉，或者在检索到局部画面后缺乏与全局临床流程绑定的多跳推理能力。
为了彻底填补全流程医学长视频评测的空白，本文构建了面向真实场景的医学长视频理解基准 MedHorizon。作者拒绝采用传统的“先截取答案片段再提问”的捷径方案，完整保留了来自 8 个公开临床来源、覆盖 7 大器官系统和诊断/手术两大场景的 340 支未裁剪长视频（总时长达 759 小时，单视频最长达 37.2 小时）。核心 idea：构建首个保留全流程长程时序上下文的真实医学视频评测基准 MedHorizon，通过 0.166% 的超稀疏证据密度和 1,253 道经过多轮临床逆向验证的多跳多选任务，评测并诊断 MLLM 在极度视觉冗余流中“先检索稀疏线索、再绑定解剖语境、最后聚合全局临床决策”的系统级能力。
方法详解¶
整体框架¶
MedHorizon 的构建与评测管线旨在打破以往片段级 QA 的数据捷径，确立严格基于证据锚定（Evidence-Grounded）的医学长视频评估协议。整体流程包含三大核心阶段：源数据多源汇聚与规范化、时序证据逆向锚定的候选题生成与抗干扰强化、以及专家在环的三级一致性审计与能力分类分级评测。模型接收未经截断的完整医疗过程视频以及临床多选题作为输入，必须自主在数千至数万帧的时空流中搜寻微弱证据，并输出四选一的唯一确定性临床诊断或质控选项。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["原始医学长视频语料库<br/>8个公开临床来源 / 340支完整视频 / 759小时"] --> B["源数据多源汇聚与规范化<br/>标准化标识符与解码 / 时序标注轨道对齐"]
B --> C["时序证据逆向锚定与候选生成<br/>基于事件窗口反向抽取 / 极稀疏线索帧定位"]
C --> D["时空对抗干扰项强化与语言重写<br/>抽取邻近时序干扰项 / 语义平衡与防文本捷径"]
D --> E["专家在环三级一致性审计<br/>逐题四重审查 / 过滤时间越界与语义歧义"]
E --> F["双层能力分级评测体系<br/>细粒度局部感知 + 多跳时序语义推理"]
F --> G["长视频模型诊断与评测输出<br/>帧扩展曲线 / 模态剥离 / 注意力漂移分析"]关键设计¶
1. 源数据多源汇聚与规范化：构建时长长尾且跨临床形态的全流程语料 针对以往基准多局限在单一手术切口或单一检查类型的局限，该设计整合了 AutoLaparo、Galar、GraSP、MultiBypass、PitVQA、REAL-Colon、TMVP 及 US-Study 共 8 个权威临床数据集，覆盖心脏二尖瓣成形术、腹腔镜减重旁路手术、垂体腺瘤手术、机器人前列腺切除术、胃肠胶囊内镜、结肠镜以及孕期产科超声等 7 种解剖部位。视频时长分布呈现显著的长尾特性，中位时长远超常规视频，单支检查最长记录达到 37.2 小时。在预处理阶段，所有视频均统一标准化编解码，彻底保留从进镜/切开至拔镜/缝合的全过程完整时间轴，严禁对视频进行前缀截断或仅截取含病变片段，确保模型面临的输入数据信噪比与真实临床工作站所见完全一致。
2. 时序证据逆向锚定与候选生成：确定超稀疏证据与时空锚点映射 为了确保评测题目的每一项结论都具备可追溯的视觉依据，该设计放弃从自由文本或通用大模型漫无边际生成问答的路线，而是基于原始临床专家的精细标注反向构建问题。每一道题目均严格锚定于特定的时序证据单元：对于手术阶段识别（PR）、步骤区分（SD）与解剖区域定位（RL），证据单元为重叠的时间窗口；对于器械识别（IR），证据单元为器械置入或阶段转换发生时短时间窗口；对于息肉和病灶属性绑定（Site、Hist、Size），证据单元为专家勾勒的病变帧并集。该设计使得基准具有极其严苛的证据稀疏性：设 \(V_q\) 为第 \(q\) 个问题对应的完整视频，\(N_q\) 为总解码帧数，\(E_q\) 为支持该问题正确答案所需的证据帧并集，则问题级证据稀疏度比率定义为：
在全部 1,035 道具备可定位证据窗口的题目中，平均证据比率仅为 0.166%（即每 1,000 帧中仅有 1.7 帧包含直接决断依据），中位数更是低至 0.051%，其稀疏度是通用视频问答基准 QVHighlights 的 169 倍。
3. 时空对抗干扰项强化与语言重写：消除文本先验并强化混淆项判别 传统 VQA 经常出现模型不看视频仅凭问答语言先验即可猜中答案的“快捷方式”漏洞。针对这一问题，该设计实施了严格的对抗式混淆项增强机制：所有选项均严格在同任务的专业临床标签空间内采样，优先选取时间轴上相邻阶段、视觉形态高度相似的真实组织或解剖病灶作为干扰项；对于统计推理和排序题，干扰项则采用相邻频次区间或极具临床迷惑性的备选阶段。生成初步问答后，利用前沿大语言模型将题目改写为表述自然独立的提示语，但锁死选项集合的临床语义，并进行随机选项字母重排打乱（使全集 A/B/C/D 正确答案分布达到高度均衡的 309:303:319:322），彻底阻断了仅凭语言统计先验解题的可能。
4. 专家在环三级一致性审计：四重核验杜绝数据噪声 为确保基准的医学严肃性，团队设立了严格的专家级人工审计过滤层。三名经过临床基准规范深度培训的专业数据审核员对初始候选的 1,334 道题目进行四项全量核验：视频在长视频解码下是否清晰可用；问题与四选项是否存在表述逻辑漏洞；标定的时序证据帧是否在视觉上严格且充分地支撑正确答案；最终选项在打乱重写后是否与原始专家临床标注完全一致。在审计中，自动过滤机制和人工核验共同排除了 41 道时间越界候选（标注时段超出视频解码长度）和 40 道阶段过渡中存在语义歧义的器械题目，最终精简定稿 1,253 道无瑕疵题目。
5. 双层能力分级评测体系：解耦细粒度局部感知与多跳时序语义推理 基准在评测维度上设计了双层阶梯式能力体系，将评估解耦为“细粒度局部感知”与“多跳语义推理”两大范畴： - 细粒度感知包含 8 项任务：流程阶段识别（PR）、步骤区分（SD）、解剖区域定位（RL）、肠道准备质量评分（BPQ）、最大病变识别（LLS）以及病变部位（Site）、病理组织学（Hist）与尺寸等级（Size）的属性绑定； - 语义推理按照认知跨度逐级加深：一跳任务涵盖器械功能识别（IR）；二跳任务包含手术负荷工作量排序（WR）与步骤时序先后检索（RSR）；三跳复杂聚合任务则要求完成频次-比例统计推理（CPR）与全流程病灶空间分布全局分析（LA）。这一阶梯设计使得评测能精确定位模型究竟是在底层视觉表征上失效，还是在跨时空证据链整合环节崩溃。
实验关键数据¶
主实验¶
论文对闭源商业顶尖模型、开源通用视频大模型、专用长视频采样模型以及医学专用大模型等共计 22 种代表性系统进行了严格对齐的评估。由于医学长视频时长巨大，闭源 API 采用 1 FPS 采样并截取上限 1,248 帧；开源及医学专用模型均采用其官方支持的最大配置。
下表呈现了闭源、开源通用、专用长视频以及医学领域代表性模型在全流程医学长视频上的核心表现对比：
| 模型分类与名称 | 参数量 | 输入策略 | 总体准确率 (Ov.) | 阶段识别 (PR) | 区域定位 (RL) | 息肉部位 (Site) | 步骤时序 (RSR) | 频次比例 (CPR) | 病灶分析 (LA) |
|---|---|---|---|---|---|---|---|---|---|
| 闭源大模型 | |||||||||
| GPT-5.4-mini | – | 1 FPS (≤1248) | 31.2 | 35.0 | 58.3 | 17.0 | 57.7 | 11.5 | 18.8 |
| GPT-5.4 | – | 1 FPS (≤1248) | 32.6 | 36.4 | 61.7 | 29.8 | 69.2 | 30.8 | 18.8 |
| Gemini-3.1-Pro-Preview | – | 1 FPS (≤1248) | 41.1 | 33.3 | 40.0 | 21.3 | 69.2 | 30.8 | 0.0 |
| Gemini-2.5-Flash | – | 1 FPS (≤1248) | 27.4 | 17.2 | 70.0 | 31.9 | 38.5 | 42.3 | 31.2 |
| Kimi-K2.5 | – | 1 FPS (≤1248) | 29.3 | 21.9 | 50.0 | 10.6 | 50.0 | 42.3 | 18.8 |
| Qwen3.5-Plus | – | 1 FPS (≤1248) | 28.1 | 38.9 | 60.0 | 8.5 | 69.2 | 30.8 | 18.8 |
| 开源通用大模型 | |||||||||
| Qwen3-VL-4B | 4B | 1 FPS | 23.1 | 21.5 | 20.0 | 12.8 | 65.4 | 11.5 | 28.1 |
| Qwen3-VL-8B | 8B | 1 FPS | 26.2 | 23.6 | 25.0 | 25.5 | 65.4 | 3.8 | 21.9 |
| InternVL3.5-8B | 8B | 64 帧 | 27.0 | 24.4 | 25.0 | 17.0 | 65.4 | 19.2 | 28.1 |
| LLaVA-Video-72B | 72B | 1 FPS | 29.4 | 28.0 | 51.7 | 19.1 | 53.8 | 15.4 | 21.9 |
| 专用长视频模型 | |||||||||
| AKS | 8B | 128 帧 | 27.3 | 25.0 | 30.0 | 29.8 | 50.0 | 7.7 | 18.8 |
| ViLAMP | 8B | 128 帧 | 27.0 | 24.8 | 21.7 | 31.9 | 42.3 | 7.7 | 18.8 |
| WFS-SB | 8B | 128 帧 | 28.1 | 26.5 | 21.7 | 31.9 | 42.3 | 7.7 | 18.8 |
| VideoLLaMA3-7B | 7B | 1 FPS | 22.7 | 25.1 | 36.7 | 29.8 | 26.9 | 7.7 | 34.4 |
| 医学专用大模型 | |||||||||
| Lingshu-7B | 7B | 1 FPS | 25.0 | 26.7 | 28.3 | 12.8 | 65.4 | 19.2 | 3.1 |
| Lingshu-32B | 32B | 1 FPS | 27.9 | 24.0 | 38.3 | 31.9 | 34.6 | 15.4 | 37.5 |
| Hulu-Med-7B | 7B | 1 FPS (≤1800) | 26.2 | 25.7 | 26.7 | 25.5 | 34.6 | 23.1 | 25.0 |
| HuatuoGPT-Vision-7B | 7B | 1 FPS | 20.1 | 21.7 | 21.7 | 8.5 | 34.6 | 19.2 | 15.6 |
| MedGRPO | 7B | 1 FPS | 20.1 | 22.1 | 23.3 | 19.1 | 19.2 | 11.5 | 9.4 |
消融与诊断实验¶
下表展示了通过输入模态剥离与 Oracle 黄金证据帧对比（诊断四种输入设置：纯文本先验、全视频均匀采样、以及人工标定的黄金证据帧）获得的系统瓶颈剖析：
| 评估配置 / 输入条件 | 评估机理与说明 | 整体准确率 (Avg.) | 细粒度感知 (Fine-grained) | 复杂时序推理 (Semantic) | 相对随机盲猜表现 |
|---|---|---|---|---|---|
| 随机选择 (Random Choice) | 四选一理论盲猜基线 | 25.0% | 25.0% | 25.0% | 基准零点 |
| 纯文本输入 (Text-only) | 仅提供问题与选项，不输任何视觉帧（检验文本捷径） | ~25.2% | ~25.0% | ~25.4% | 无捷径 (+0.2%) |
| 均匀全视频采样 (Uniform 64) | 输入长视频全时程均匀抽取 64 帧（检索与推理受扰） | 24.8% | 27.2% | 18.9% | 推理性能大幅塌陷 |
| 黄金证据帧 (Oracle GT-Images) | 剥离时序检索瓶颈，直接输入人工验证的答案关键帧 | 38.4% | 39.5% | 36.8% | 检索消除但解读受限 |
| MedGRPO (Uniform 64) | 医学强化学习模型在全视频冗余输入下的表现 | 20.1% | 22.1% | 13.6% | 严重受视觉冗余误导 |
| MedGRPO (Oracle GT-Images) | 医学强化学习模型在获得精确病灶帧下的表现 | 31.5% | 30.2% | 33.9% | 消除检索后提升 +20.3% |
| Lingshu-7B (Uniform 64) | 医疗基础大模型在均匀长视频采样下的推理能力 | 22.9% | 24.8% | 22.9% | 背景噪声造成理解受阻 |
| Lingshu-7B (Oracle GT-Images) | 医疗基础大模型在纯净关键帧下的推理表现 | 37.2% | 36.8% | 38.0% | 解读瓶颈显现（仍<40%） |
关键发现¶
- 帧数扩展规律在长程医学视频中彻底失效（RQ1）：在自然视频领域，增加输入帧数通常能稳定提升理解精度；然而在 MedHorizon 上，增加均匀采样帧数（4 帧到 512 帧）完全没有带来单调性能增益。Qwen3-VL-8B 的表现仅在窄幅区间内振荡并在 512 帧时发生回落；Lingshu-7B 在 32 帧时达到峰值后迅速恶化；而经强化的 MedGRPO 更是出现显著的“上下文稀释（Context-dilution）”效应，输入帧数越多准确率越低。这表明在高度均质的解剖结构中，盲目增帧引入的相似组织干扰远超过稀疏病灶带来的增益。
- 临床证据检索与专业视觉解读构成“双重瓶颈”（RQ2）：模态剥离实验证明基准完全没有文本捷径（纯文本得分与 25% 随机盲猜重合）。从全视频采样切换到 Oracle 黄金证据帧时，各模型性能均产生飞跃（如 MedGRPO 推理准确率从 13.6% 骤升至 33.9%），证明“在冗余流中寻找微弱针尖”是首要屏障。然而，即使完全排除了检索困难、直接喂入黄金关键帧，最强模型的准确率依然受限在 40% 以下，说明在极微弱病理形态（如微小息肉浸润判断、器械微动）的视觉细粒度解读与属性绑定上存在深刻的二次瓶颈。
- 注意力向解剖冗余严重漂移且时序理解脆弱（RQ3）：对时序顺序进行打乱（反转、块乱序、局部滑动窗口乱序）仅使 Qwen3-VL-8B 下降约 2%，表明现有大模型在很大程度上仅捕捉粗粒度直方图分布而非真正的临床因果因果工作流。注意力可视化进一步证实，大模型的注意力在平滑的解剖黏膜背景中呈现弥散状态（累计 90% 注意力需要消耗 76.7% 到 85.6% 的帧序列），且高注意力 Patch 与前序关键帧 Patch 的视觉相似度超过 0.90，陷入“注意力漂移（Attention Drift）”，无法聚焦关键离群值。
- 通用长视频采样策略仅提供局部代偿（RQ4）：AKS、ViLAMP 和 WFS-SB 等专用采样策略在 128 帧预算下虽然略优于通用模型（取得 27.0%~28.1%），但它们依据画面动态变化率（Frame Difference）挑选帧，往往挑选了镜头晃动或冲洗管路动作，反而漏掉了静止探查中的细微病灶，并在需要全局流程连贯性的工作量排序（WR）上遭受破坏。
亮点与洞察¶
- 正视医学视频极端稀疏的本质：该工作跳出了以往将医学视频简化为 1-5 分钟人工短切片的误区，敏锐抓住临床记录 99.8% 均属于解剖冗余、而仅有 0.166% 是决定性证据的物理现实，为大模型设立了真实的“大海捞针”考场。
- 逆向证据锚定与抗捷径设计：每一道题目均脱胎于原始真实专家标注的时空锚点，配合时间轴近邻标签所衍生的对抗式混淆项设计，彻底封死了语言大模型“靠猜题套话过关”的逃逸通道，保证了评测的纯度。
- 揭示医学 MLLM 的注意力漂移病理：论文通过逐层 Patch 相似度与跨帧注意力累计分析，不仅给出了性能高低，而且在机理层面上抓到了医学大模型在长序列中失效的元凶——高相似度解剖背景平滑了注意力尖峰，导致模型对微弱病变的“视而不见”。
局限与展望¶
- 选择题范式与自由报告生成的差距：虽然四选一客观题能够消除模型自评打分的模糊性并便于大规模标准化诊断，但真实临床阅片要求医生书写包含阴性发现的结构化报告，多选题难以全面涵盖开放式复杂诊断推导过程。
- 公开数据源对超长罕见病程的覆盖度有限：基准受限于公开数据集的合规与标注颗粒度，部分复杂多阶段并发症或罕见亚专科手术病例规模仍较小，导致部分三跳任务（如 CPR、LA）题量偏少（约 26~32 题）。
- 未来方向：主动时空缩放与解剖记忆架构：实验证明单纯扩展 Context Window 或通用降采样无法应对临床长视频，未来亟需研发具备“粗筛快进-局部高分辨率精读”双流变焦机制的临床专用视频架构，以及具备解剖空间状态追踪能力的时空记忆增强模型。
相关工作与启发¶
- vs PitVQA / SurgeryVideoQA / SUREON: 现有的手术与医疗 VQA 基准视频总长仅 1.8 至 3.0 小时，绝大多数输入为裁剪后包含目标的孤立片段或预分割步骤。MedHorizon 规模达到 759 小时，视频长达数十小时，强调“先从未剪辑流中自主检索极其稀疏的线索，再进行多跳跨时钟推理”，更贴合真实临床工作。
- vs MedVidBench / SurgPub-Video: MedVidBench 整合了多粒度短片段（总长约 22.4 小时），而 MedHorizon 专注于未经处理的长程医疗全流程，且在证据稀疏度上实现了 0.166% 的极端设定，深度检验模型在强冗余背景下的抗干扰能力。
- vs Video-MME / LongVideoBench 等通用长视频基准: 通用基准中有效事件往往伴随着剧烈的场景切换、人物登场或显著运动。而医学视频中视野背景极其一致（均是体内器官腔道组织），病变极为隐蔽。MedHorizon 证明了通用长视频采样机制（如基于帧差或小波边界）在医学均质背景下表现局限，为医疗专用长视频架构指明了方向。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次确立了保留完整流程的真实医学长视频基准，以 0.166% 超稀疏证据打破了以往预裁剪片段的评测盲区。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 22 种顶尖模型，跨越帧扩展规律、模态解耦、时间乱序、注意力漂移机理与通用采样对比，实验闭环完整严密。
- 写作质量: ⭐⭐⭐⭐⭐ 问题意识极为犀利，四个研究问题（RQ1-RQ4）环环相扣，从宏观现象直击微观注意力退化机理。
- 价值: ⭐⭐⭐⭐⭐ 为推动多模态大模型真正迈向临床全时程辅助质控、手术全周期分析奠定了基石级别的严谨测试平台。