MedHorizon: Towards Long-context Medical Video Understanding in the Wild¶
1. 论文速览¶
- 一句话总结：针对真实临床检查与手术视频高度视觉冗余、有效证据极端稀疏的挑战，本文提出了面向完整真实流程的长上下文医疗视频基准 MedHorizon，涵盖 340 部视频、759 小时全长临床记录与 1,253 道经过人工多轮核验的证据锚定选择题，评测揭示当前最先进多模态大模型的最高准确率仅为 41.1%，暴露了现有模型在稀疏证据检索与长程程序推理上的严重短板。
- 核心贡献：
- 问题重构与基准构建：打破传统基准依赖人工裁剪短片段与孤立帧的设定，构建了包含 8 大公开医学视频源、涵盖 7 个解剖器官与 2 大临床场景（诊断检查与手术）的 759 小时超长流程基准，平均证据帧占比仅为 0.166%（每千帧仅 1.7 帧证据），为评估临床真实的“先检索后推理”能力提供了严苛测试场。
- 证据锚定评测范式：设计了细粒度感知（阶段、步骤、解剖区域、肠道准备评分、病灶属性绑定等）与多跳语义推理（器械识别、负荷排序、时序步骤检索、计数比例推理、病灶全局分析等）的双层能力评估体系，并通过扰动干扰项强化、GPT-5.4 自然语言重写以及 3 位专家审计的多轮循环剔除文本偏置捷径。
- 系统性诊断与实证洞察：横跨通用闭源大模型、通用开源视频模型、长视频专有方法与医疗多模态大模型 4 大类 20 余种模型开展基准评测，系统揭示了非单调帧数缩放、检索与解释双重瓶颈、注意力发散与漂移、以及通用下采样策略无法兼顾局部病变细节与全局流程连续性等关键机制。
- 关键结果：在基准全集评测中，最先进的闭源模型 Gemini-3.1-Pro-Preview 仅取得 41.1% 的总体准确率，GPT-5.4 仅达到 32.6%，而主流开源与医疗领域多模态模型普遍徘徊在 20%~28% 的低水平；在极端依赖跨时间聚合的计数比例推理（CPR）和病灶分析（LA）任务上，模型表现严重受挫（多数低于 20%）。诊断实验证明，即便提供人工标注的黄金证据帧（Oracle GT），模型准确率依然低于 40%，表明除了时序检索失败外，针对微弱病变与相似解剖结构的视觉辨识和时空上下文绑定同样是根本瓶颈。
2. 背景与动机¶
在临床常规诊疗和外科手术中，医疗视频分析承担着诊断评估、质量控制、手术流程理解和围手术期决策等核心职能。无论是结肠镜检查全流程中的黏膜退镜观察与肠道清洁度评分、产科超声检查中针对标准切面与胎儿解剖覆盖度的完整排查，还是复杂外科手术中跨越数小时的关键步骤推进与突发事件响应，临床医生做出的每一项专业判断均高度依赖于对整个检查或手术流程的系统性审视。然而，现有的医疗多模态大模型研究及其评测基准，往往严重依赖预先裁剪的短视频片段、关键帧图像或者局部片段级问答，这与真实临床环境中医生面对长达数十分钟乃至数十小时、充斥着大量视觉冗余和器械晃动的原始视频流相去甚远。
在真实的超长临床视频中，视觉模式呈现出与通用自然视频截然不同的底层特性。在通用开放域长视频中，与查询相关的事件往往具有较高的视觉显著性、对比度强且跨越相对充裕的时间窗口；然而在医疗流程视频中，关键诊断证据（例如极微小的息肉、短暂出现的病灶黏膜改变、某一瞬间的器械微操作或血管结扎）在时序上极端稀疏，空间细节微弱隐蔽，并且整段视频在连续数十秒或数分钟内呈现出高度同质化、甚至几无变化的解剖背景。不仅如此，决定性线索的解读往往高度依赖于它在解剖空间中所处的阶段、当前手术步骤或者跨时间片段的多处观察对比。当前基准若预先提供了已定位好的视频段，便在实质上绕过了真实诊疗中最困难的“从海量冗余视野中精准捕获微弱信号”这一先决步骤，从而导致模型在学术评测中虚高、却无法落地于真实临床巡查质控的脱节现状。核心 idea：摒弃脱离临床实际的人工切片设定，直接保留包含完整解剖背景与时序演进的数百小时原始全流程视频流，构建极低证据密度（0.166%）且经过严格证据锚定与多跳逻辑验证的问答基准，系统性倒逼多模态模型攻克“先在大规模高冗余流中精准检索极稀疏微弱证据、再结合解剖与流程上下文执行多跳推理与聚合判断”的复合临床挑战。
3. 方法详解¶
整体框架¶
MedHorizon 的构建与评测体系围绕“真实流程输入、证据精准锚定、干扰项强化与多跳能力分层”四位一体展开。整个基准构建流水线涵盖数据清洗规范化、专家标注锚定证据提取、基于大模型与临床规则的问答生成与选项强化、严苛的多阶段自动化过滤以及三道专家人工闭环审计层。
%%{init: {'theme': 'base', 'themeVariables': { 'primaryColor': '#e3f2fd', 'edgeLabelBackground':'#ffffff', 'tertiaryColor': '#f1f8e9'}}}%%
graph TD
classDef default fill:#f9f9f9,stroke:#333,stroke-width:1px;
classDef highlight fill:#e1f5fe,stroke:#0288d1,stroke-width:2px;
classDef process fill:#fff3e0,stroke:#f57c00,stroke-width:1.5px;
A[原始多源医疗视频语料<br/>8 个公开数据集 / 340 部视频 / 759 小时] --> B[数据规范化与时长/分辨率对齐]
B --> C[证据检索与时间窗锚定<br/>提取关键帧 / 事件区间 / 病灶集合]
C --> D1[生成候选 QA 题库]
D1 --> D2[干扰项强化与临床近义挖掘]
D2 --> D3[GPT-5.4 自然语言重写]
D3 --> E{自动有效性过滤<br/>排除越界/二义性/多解/格式异常}
E -->|剔除 81 道残次题| F[候选池 1,253 项]
F --> G[三道人工审计核验<br/>1. 视频可用性 2. 问答规范性<br/>3. 证据支撑充分性 4. 金标一致性]
G --> H[MedHorizon 正式评测集<br/>1,253 道四选一单选题 / 选项严格均分]
H --> I1[能力维度 1: 细粒度感知<br/>PR / SD / RL / BPQ / LLS / Site / Hist / Size]
H --> I2[能力维度 2: 多跳语义推理<br/>1-hop: IR | 2-hop: WR, RSR | 3-hop: CPR, LA]
I1 --> J[全流程无裁剪视频评测<br/>统一时序采样与统一推理协议]
I2 --> J关键设计¶
1. 涵盖多场景与多解剖系统的原生态长时序语料库：MedHorizon 从 AutoLaparo（腹腔镜子宫切除术）、Galar（胶囊内镜）、GraSP（前列腺切除术）、MultiBypass（胃旁路减重手术）、PitVQA（垂体瘤内镜手术）、REAL-Colon（结肠镜病灶筛查）、TMVP（胸腔镜二尖瓣成形术）和 US-Study（妊娠期子宫肌层收缩超声）8 个权威医疗开源资产中整合出 340 部视频，覆盖心脏、消化道、盆腔、腹部等 7 大解剖部位，横跨外科手术与门诊影像学诊断两大场景。解码总时长达 759 小时，视频时长呈现出强烈的长尾分布（最长单项研究达 37.2 小时），完整保留了真实临床环境下大跨度、非平稳的时序记录。
2. 基于真实临床标注的证据锚定与抗捷径 QA 构建流水线：与传统通过 LLM 观察片段摘要生成泛化问答的做法不同，MedHorizon 强制所有题目必须由视频中的临床专家时空标注反向推导。证据单元被明确划分为精确时间窗（如手术阶段转换、特定步骤）、病灶支撑集合（息肉轮廓出现的帧并集）或全研究级支撑（如全肠道准备评分）。为彻底破除利用纯文本先验或语言统计漏洞猜出答案的捷径，流水线引入临床混淆项强化机制：阶段与步骤类题目的干扰项优先选取同手术中时序临近或视觉高度相似的操作步骤；器械与病灶属性题目的干扰项来自同解剖域内具有相似形态的高混淆类别。随后利用 GPT-5.4 将问题重写为不含提示性语言线索的独立自然语言，并执行选项洗牌以确保 A/B/C/D 四个标签全局均匀分布（A:309, B:303, C:319, D:322）。
3. 细粒度感知与多跳语义推理分级评测体系：基准将临床任务拆解为两大核心能力维度共 13 种子任务： - 细粒度理解（Fine-grained Understanding）：要求模型完成对局部视觉证据的捕捉与属性绑定。包括阶段识别（Phase Recognition, PR）、手术步骤细分（Step Discrimination, SD）、解剖区域定位（Region Localization, RL）、肠道准备评分评估（Bowel Preparation Quality, BPQ），以及针对特定病灶的解剖部位绑定（Site）、病理组织学分型绑定（Hist）、大小形态测算（Size）和最大病灶检出（Largest-Lesion Identification, LLS）。 - 多跳语义推理（Semantic Reasoning）：评估模型在长程时序上的信息关联与多步推演。划分为一跳视觉-语义映射（器械识别, Instrument Recognition, IR）、两跳比较与时序排列（工作量排序 Workload Ranking, WR；步骤时序检索 Ranked Step Retrieval, RSR），以及最高复杂度的三跳聚合（计数比例推理 Count-Proportion Reasoning, CPR；全局病灶分布与状态分析 Lesion Analysis, LA）。后者要求模型遍历整个流程检出所有偶发事件、结合解剖位置和时序阶段进行属性绑定，并在全局维度完成多维统计与临床归纳。
损失函数 / 训练策略与评测协议¶
MedHorizon 作为纯评估诊断基准，不直接包含模型参数训练，但制定了严格的证据稀疏度定量标准与全流程无前缀截断评测协议：
1. 证据稀疏度操作化度量（Operational Evidence Sparsity）： 基准首次对超长视频中的证据密度给出了严格的数学定义。对于问题 \(q\)，设其对应的完整解码视频为 \(V_q\)，视频总帧数为 \(N_q\)，支撑正确答案所必需的最小证据帧并集为 \(E_q\)。则问题级的证据占比（Evidence Ratio）\(r_q\) 定义为：
在基准中包含局部确定性时间窗的 1,035 道题目中，证据帧平均占比仅为 \(\bar{r}_q = 0.166\%\)（相当于每 1,000 帧中仅有 1.7 帧承载直接答案线索），中位数更低至 \(0.051\%\)。这一极值比自然视频通用检索基准（如 QVHighlights）稀疏 169 倍，从底层指标上确立了极端针尖落入大海（Needle-in-a-Haystack）的评测难度。
2. 全流程帧准入与统一降采样机制（Frame Admission Protocol）：
为防止各模型因上下文窗口限制而简单采用“截断前半段视频”的取巧方式，评测协议强制所有输入均覆盖全视频时长范围：
- 对于支持原生视频输入的闭源模型（如 Gemini、GPT-5.4 系列），以 1 FPS 抽帧；若候选总帧数超过官方稳定调用上限 \(C\)（统一设为 1,248 帧），则在整个视频的有效时间轴 \([0, T]\) 上等距均匀抽取 \(C\) 帧，杜绝时序盲区。
- 开源模型中支持原生超长视频的模型遵循官方最大处理预算，其余固定抽取 64 帧；长视频专有算法（如 AKS、ViLAMP、WFS-SB）使用其官方设定的 128 帧预算及专用选择算法。
- 评测指标采用严格的零样本单项选择准确率（Top-1 Accuracy, %），提示词统一约束模型仅输出 A、B、C 或 D 单字符。
4. 实验结果与分析¶
主要实验结果¶
评测涵盖通用闭源大模型、通用开源多模态大模型、专有长视频表征方法以及医疗多模态大模型共 20 款代表性系统。所有模型均在配备 8 张 A800 显卡的统一硬件集群上按照官方标准配置运行。
| 模型类型 | 模型名称 | 参数量 | 输入机制 | 总体均值 | PR | SD | RL | BPQ | LLS | Site | Hist | Size | IR | WR | RSR | CPR | LA |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 闭源 MLLM | GPT-5.4-mini | – | 1 FPS (≤1248) | 31.2 | 35.0 | 17.0 | 58.3 | 38.5 | 0.0 | 17.0 | 19.1 | 17.0 | 34.5 | 42.3 | 57.7 | 11.5 | 18.8 |
| GPT-5.4 | – | 1 FPS (≤1248) | 32.6 | 36.4 | 20.5 | 61.7 | 41.0 | 20.5 | 29.8 | 21.3 | 31.9 | 23.4 | 38.5 | 69.2 | 30.8 | 18.8 | |
| Gemini-3.1-Pro | – | 1 FPS (≤1248) | 41.1 | 33.3 | 31.2 | 40.0 | 59.0 | 61.5 | 21.3 | 31.9 | 48.9 | 62.6 | 61.5 | 69.2 | 30.8 | 0.0 | |
| Gemini-2.5-Flash | – | 1 FPS (≤1248) | 27.4 | 17.2 | 30.4 | 70.0 | 20.5 | 0.0 | 31.9 | 8.5 | 0.0 | 49.8 | 11.5 | 38.5 | 42.3 | 31.2 | |
| Kimi-K2.5 | – | 1 FPS (≤1248) | 29.3 | 21.9 | 17.9 | 50.0 | 38.5 | 10.3 | 10.6 | 8.5 | 19.1 | 54.9 | 30.8 | 50.0 | 42.3 | 18.8 | |
| Qwen3.5-Plus | – | 1 FPS (≤1248) | 28.1 | 38.9 | 8.0 | 60.0 | 10.3 | 30.8 | 8.5 | 0.0 | 19.1 | 16.2 | 26.9 | 69.2 | 30.8 | 18.8 | |
| Qwen3.6-Plus | – | 1 FPS (≤1248) | 25.8 | 24.0 | 40.2 | 51.7 | 10.3 | 20.5 | 10.6 | 21.3 | 31.9 | 21.3 | 19.2 | 57.7 | 42.3 | 0.0 | |
| Qwen3.5-Flash | – | 1 FPS (≤1248) | 25.9 | 23.4 | 11.6 | 40.0 | 30.8 | 20.5 | 10.6 | 10.6 | 0.0 | 41.3 | 30.8 | 57.7 | 30.8 | 28.1 | |
| 开源 MLLM | Qwen3-VL-4B | 4B | 1 FPS | 23.1 | 21.5 | 35.7 | 20.0 | 28.2 | 5.1 | 12.8 | 10.6 | 23.4 | 22.1 | 38.5 | 65.4 | 11.5 | 28.1 |
| MiniCPM-V 2.6 | 8B | 64 帧 | 23.1 | 24.6 | 17.0 | 26.7 | 28.2 | 5.1 | 17.0 | 34.0 | 25.5 | 18.3 | 42.3 | 65.4 | 19.2 | 6.2 | |
| Qwen3-VL-8B | 8B | 1 FPS | 26.2 | 23.6 | 30.4 | 25.0 | 35.9 | 5.1 | 25.5 | 34.0 | 21.3 | 29.4 | 34.6 | 65.4 | 3.8 | 21.9 | |
| InternVL3.5-8B | 8B | 64 帧 | 27.0 | 24.4 | 29.5 | 25.0 | 38.5 | 12.8 | 17.0 | 34.0 | 17.0 | 30.2 | 38.5 | 65.4 | 19.2 | 28.1 | |
| LLaVA-Video-7B | 7B | 1 FPS (≤64) | 24.9 | 23.4 | 27.7 | 46.7 | 38.5 | 0.0 | 14.9 | 17.0 | 2.1 | 31.1 | 26.9 | 50.0 | 11.5 | 15.6 | |
| LLaVA-Video-72B | 72B | 1 FPS (≤64) | 29.4 | 28.0 | 32.1 | 51.7 | 41.0 | 2.6 | 19.1 | 21.3 | 6.4 | 35.7 | 30.8 | 53.8 | 15.4 | 21.9 | |
| 专有长视频方法 | AKS | 8B | 128 选帧 | 27.3 | 25.0 | 31.2 | 30.0 | 35.9 | 2.6 | 29.8 | 23.4 | 31.9 | 34.0 | 15.4 | 50.0 | 7.7 | 18.8 |
| ViLAMP | 8B | 128 选帧 | 27.0 | 24.8 | 30.4 | 21.7 | 38.5 | 5.1 | 31.9 | 25.5 | 27.7 | 35.3 | 15.4 | 42.3 | 7.7 | 18.8 | |
| WFS-SB | 8B | 128 选帧 | 28.1 | 26.5 | 31.2 | 21.7 | 38.5 | 5.1 | 31.9 | 27.7 | 27.7 | 36.6 | 15.4 | 42.3 | 7.7 | 18.8 | |
| VideoLLaMA3-7B | 7B | 1 FPS (≤128) | 22.7 | 25.1 | 18.8 | 36.7 | 20.5 | 7.7 | 29.8 | 8.5 | 10.6 | 22.6 | 15.4 | 26.9 | 7.7 | 34.4 | |
| LongVA-7B-DPO | 7B | 512 帧 | 18.2 | 17.0 | 20.5 | 15.0 | 33.3 | 33.3 | 21.3 | 21.3 | 14.9 | 16.2 | 23.1 | 19.2 | 3.8 | 15.6 | |
| VideoChat-Flash-7B | 7B | 1 FPS (≤512) | 24.9 | 25.1 | 30.4 | 11.7 | 33.3 | 0.0 | 23.4 | 10.6 | 19.1 | 31.1 | 19.2 | 61.5 | 7.7 | 21.9 | |
| 医疗专属 MLLM | Lingshu-7B | 7B | 1 FPS | 25.0 | 26.7 | 23.2 | 28.3 | 46.2 | 7.7 | 12.8 | 10.6 | 19.1 | 25.1 | 34.6 | 65.4 | 19.2 | 3.1 |
| Lingshu-32B | 32B | 1 FPS | 27.9 | 24.0 | 33.0 | 38.3 | 35.9 | 12.8 | 31.9 | 31.9 | 17.0 | 30.2 | 50.0 | 34.6 | 15.4 | 37.5 | |
| Hulu-Med-7B | 7B | 1 FPS (≤1800) | 26.2 | 25.7 | 17.0 | 26.7 | 38.5 | 20.5 | 25.5 | 55.3 | 25.5 | 23.8 | 30.8 | 34.6 | 23.1 | 25.0 | |
| HuatuoGPT-Vis-7B | 7B | 1 FPS | 20.1 | 21.7 | 23.2 | 21.7 | 53.8 | 7.7 | 8.5 | 0.0 | 34.0 | 12.8 | 30.8 | 34.6 | 19.2 | 15.6 | |
| MedGRPO | 7B | 1 FPS | 20.1 | 22.1 | 19.6 | 23.3 | 35.9 | 12.8 | 19.1 | 8.5 | 48.9 | 12.3 | 26.9 | 19.2 | 11.5 | 9.4 |
从上表可以清晰看出： 1. 真实医疗长视频距离实际可用仍极度遥远：即使是表现最佳的 Gemini-3.1-Pro-Preview，准确率也仅有 41.1%，而绝大多数开源大模型和专有医疗多模态模型得分在 20%~28% 之间，仅略高于随机猜测基线（25%）。 2. 任务维度表现两极分化：具有全局宏观视野依赖或视觉显著特征的任务（如 RSR 步骤时序排序、BPQ 肠道准备质量、RL 解剖大区）得分相对较高，证明模型能够捕捉粗粒度宏观阶段；而在微观病灶绑定（LLS、Site、Hist、Size）以及三跳长程逻辑聚合（CPR、LA）上，多数模型表现濒临崩溃（如多款模型在 LLS 或 Size 上出现 0% 或极低得分），揭示了局部微观辨识与多时刻状态聚合能力的严重匮乏。
核心诊断分析与消融实验¶
论文通过四个针对性研究问题（RQ1~RQ4）深入剖析了长上下文医疗视频理解的内在失败机理：
RQ1：帧数缩放定律在医疗长视频中失效（Non-monotonic Frame Scaling）¶
对 Qwen3-VL-8B、Lingshu-7B 以及 MedGRPO 在 4 帧至 512 帧均匀采样预算下的性能追踪显示，模型并没有随着输入帧数的翻倍展现出稳定递增的单调上升曲线。 - Qwen3-VL-8B 展现出区间振荡特征，在 128~256 帧达到短暂峰值后，在 512 帧时因冗余信息充斥而再次回落； - Lingshu-7B 在极低的 32 帧时取得最好表现，之后随着帧数增加入侵更多无关视野，性能单调下降； - MedGRPO 则展现出最为显著的“上下文稀释效应”（Context Dilution），随着帧数从 4 帧扩展至 512 帧，准确率持续下滑。这说明在极高帧间相似度（解剖静态）与极低信号密度共存时，盲目扩充输入帧预算不仅无法等比例捕获稀疏证据，反而引入海量高度相似的解剖伪影，击溃了模型的有效注意力分配。
RQ2：证据检索与临床解读构成双重瓶颈（Retrieval vs. Interpretation Bottleneck）¶
为了定量解耦语言先验、时序检索缺陷与视觉辨识缺陷，研究对比了四种不同控制输入设定下的准确率：
| 输入设定 | Qwen3-VL-4B | Qwen3-VL-8B | Lingshu-7B | MedGRPO |
|---|---|---|---|---|
| 随机猜测 (Random Guess) | 25.0% | 25.0% | 25.0% | 25.0% |
| 纯文本输入 (Text-Only) | 24.8% | 25.2% | 24.6% | 24.9% |
| 全视频均匀采样 (Uniform-64) | 23.1% | 27.0% | 25.0% | 13.6% (语义推理) |
| 黄金证据帧预置 (Oracle GT-Images) | 35.8% | 38.2% | 38.0% | 33.9% (语义推理) |
- 纯文本输入紧贴 25% 随机基线：验证了 MedHorizon 题库已彻底切断依靠问题暗示与大语言模型常识直接投机取巧的可能性；
- 时序检索确实是第一大拦路虎：从均匀采样切换为直接输入人类标注的 Oracle 黄金证据帧后，MedGRPO 在语义推理任务上的表现从 13.6% 暴涨至 33.9%，Lingshu-7B 从 22.9% 提升至 38.0%；
- 事后解读与绑定仍是死结：即便完全剔除时序检索困难、直接将金标图像送入模型，所有模型的得分依然被死死封顶在 40% 以下。这表明即使模型“看到”了关键病灶或操作瞬间，其医疗专业视觉先验仍不足以支撑精细的病理分类、形态度量以及上下文归纳。
RQ3：微弱的时序因果感知与强冗余下的注意力漂移（Attention Drift）¶
通过打乱输入帧的时间序列（原始顺序、完全倒序、8 块块状打乱 Block Shuffle、16 帧局部打乱 Local Shuffle），Qwen3-VL-8B 的全局得分仅从 26.5% 微降至 24.2%~24.5%，这种微弱的降幅反向印证了现有模型根本没有学到手术操作的严密因果流程，大多仅是在依靠无序的浅层视觉共现进行模式匹配。 更深层次的注意力分析（ViLAMP 诊断协议）揭示了注意力漂移（Attention Drift）机理： - 在通用自然视频中，对特定动作查询的 Cross-Attention 往往快速收敛在极少数显著帧上； - 而在医疗长视频中，Qwen3-VL 与 Lingshu 均需要消耗 76.7% 和 85.6% 的时间单元才能累积达到 90% 的注意力权重，注意力曲线呈现高度平滑弥散的状态； - 空间 Patch 级别上，高权重注意力区域与相邻帧对应区域的余弦相似度长期居于 0.90 左右，模型注意力不可遏制地被视觉上反复出现、但在临床上毫无诊断价值的正常肠壁或背景组织所捕获，完全无法聚焦于微小但决定性的病灶特异性异常特征。
RQ4：通用自适应采样无法从根本上破局¶
测试对比了均匀采样（Uniform）、帧差导向采样（Differential Frame-Change）及专有长视频选择器（AKS、ViLAMP、WFS-SB）。结果表明： - 变动敏感型（Frame-Change）采样虽然能够提升如器官区域（RL）或病灶大小（Size）等突变型短时任务的表现，但在阶段识别（PR）等连续流程任务上表现大幅滑坡； - 专有关键帧压缩与自适应采样算法（如 WFS-SB 在 Site 上获得 32.8%）虽然局部优于随机均匀采样，但在需要全局连续性与跨步骤归纳的综合任务（WR、RSR）上，过度激进的选帧往往直接将上下文线索剔除殆尽。
5. 讨论与局限性¶
MedHorizon 明确指出了现有长视频与医疗多模态系统的核心短板，为下一代临床视频大模型的演进路径提供了坚实的经验依托。然而，作为开创性的超长医疗基准，本工作仍存在若干固有的局限性： 1. 公开数据源分布的局限：受制于全球临床视频的合规脱敏与数据开放限制，当前基准涵盖的 8 个源数据集在各解剖部位上的分布不够均衡（胃肠道与减重手术占比较大，而神经外科仅有 10 部视频），部分专科的病种代表性仍有提升空间。 2. 多项选择题（MCQ）协议对自由行文的抽象简化：为了实现自动化、可复现、杜绝裁判模型打分偏置的严格定量评测，基准统一采用了四选一选择题。然而在真实的临床阅片室与手术室中，高年资主任医师的诊疗过程涉及自由文本诊断报告的撰写、空间病灶的精确勾勒以及不确定性风险的交互式沟通，选择题形式尚无法完全衡量模型生成高质量临床诊疗报告的语言组织与诊断推演能力。 3. 时空交互检索架构的空白：实验证明单纯扩大上下文窗口长度或依靠通用注意力机制无法抵御冗余侵蚀，基准评测结果强烈呼唤兼具“临床先验指导的层级式事件索引”与“局部极高分辨率病灶验证”的新一代专门架构。
6. 个人思考与启发¶
MedHorizon 带来的核心启示在于打破了长上下文领域的“参数与窗口盲信”。在过去一年中，多模态社区普遍倾向于通过扩充 Context Length、增加视频输入帧数（从 16 帧冲向数千帧）或增加模型参数来刷高各项榜单。然而本篇论文用极其扎实的数据给这一技术路线泼了一盆冷水：在强背景同质化、微弱病变信号且低信噪比的严肃工业/医疗垂直领域中，“帧数缩放”非但无法带来性能收益，反而是致命的毒药。
针对这一本质困境，未来医学长视频模型的研究或将呈现以下三大突破方向： 1. 层次化两阶段“粗粒度流程索引 + 细粒度证据显微镜”机制（Hierarchical Filter-and-Zoom）：模型不应将所有原始视频帧扁平化送入 LLM 上下文，而应构建类似临床专科医生的两阶段认知链路——首先通过低算力轻量流程分支（Temporal Workflow Anchor）基于器械动作和解剖标志物快速锁定可能发生异常的粗时间窗；随后挂载高分辨率空间辨识头（Spatial Zoom-in Inspector）针对这 0.166% 的可疑时刻进行亚毫米级病灶特征重构与属性提取。 2. 抗注意力发散的显式临床先验注入（Surgical/Clinical Inductive Bias）：当前的通用自注意力机制在面对相似帧时天然表现出均摊发散的倾向。未来架构需要引入解剖解耦损失、强迫模型在时间维度学习流程状态迁移转移矩阵（如利用隐马尔可夫或因果图约束手术阶段单调流转），在空间维度惩罚针对健康背景的过度注意力分配。 3. 记忆化流式状态空间模型（Medical State-Space / Memory MLLMs）：对于动辄数十小时的连续内镜或术后重症监护流，固定容量的上下文窗口终归存在物理极限。引入具备选择性状态更新机制（如 Mamba 类的时空选择性状态空间）以及基于临床关键事件驱动写入的外部记忆网络，将是医疗长时序视频大模型真正走向临床实用的必由之路。