MuSViT: A Foundation Vision Model for Sheet Music Representation¶

会议: ECCV 2026
论文: ECCV 官方
代码: https://grfia.dlsi.ua.es/musvit
领域: 音频/语音
关键词: 乐谱视觉表征 / 基础视觉模型 / 掩码自编码器 / 光学音乐识别 / 课程学习

一句话总结¶

针对通用视觉大模型缺乏乐谱符号结构理解的问题，MuSViT 提出基于 970 万页 IMSLP 真实乐谱与两阶段课程学习预训练的乐谱视觉 Transformer 基础模型，在全页转录、谱表转录、符号检测与难度分类四项下游任务上全面超越通用视觉主干与专用 SOTA。

研究背景与动机¶

音乐作为人类文明与文化遗产的核心载体，数百年来沉淀了浩瀚的纸质与数字化乐谱档案。尽管国际乐谱库（IMSLP）等大型数字化项目已使数百万页乐谱扫描件可在线获取，但绝大部分资料仅停留在原始位图图像形式。高昂的人工抄写成本使得海量乐谱无法转换为可检索、可索引、可计算分析的结构化数字格式（如 MusicXML、MEI），形成了海量文化资产“数字化却无法利用”的困境。

传统光学音乐识别（OMR）长期依赖针对特定版式、排版规则或单谱表设计的专用端到端模型或级联流水线。受限于人工标注数据规模狭小，这些系统表现出极强的脆弱性：面对未见过的雕版风格、历史手稿、复杂多声部排版或扫描视觉伪影时性能断崖式下跌。与自然图像或文档领域不同，通用自监督视觉大模型（如 DINOv3）与多模态视觉语言模型（如 PaliGemma 2、Qwen3-VL、Kosmos-2.5）虽然参数量巨大，但其预训练目标侧重于自然物体轮廓或连续文本语义，严重缺乏对乐谱这种高度离散、符号化、二维几何严谨绑定的音高与时值语法建模能力。

核心 idea：构建首个乐谱专属视觉基础模型 MuSViT，通过 16×16 细粒度 Patch 与高达 70% 掩码自编码（MAE）机制，配合从合成规整乐谱到 970 万页真实历史乐谱的两阶段预训练课程，迫使模型仅靠未标注图像即可建立对乐谱空间排版与符号乐理结构的底层视觉表征。

方法详解¶

整体框架¶

MuSViT 的核心目标是学习一个通用的可复用乐谱视觉特征提取器，能够零样本或高效迁移至细粒度符号检测、跨行全页序列转录乃至宏观难度评估等多尺度任务。整个预训练与下游适配流程包含输入 Patch 化、两阶段课程预训练以及下游双轨评估协议。

在预训练阶段，输入图像被分割为不重叠的细粒度局部 Patch，并施加高达 50%–70% 的随机空间掩码。ViT 编码器仅处理未被遮蔽的可见 Patch 标记；随后，轻量解码器结合可学习的掩码 Token 与二维正弦位置编码，重建被遮挡区域的原始像素。在下游适配阶段，MuSViT 既支持冻结编码器的轻量级线性探测（Linear Probing），又支持端到端下游微调（Fine-tuning）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["乐谱图像输入<br/>512×512 局部裁剪 / 1024×1024 全页"] --> B["两阶段课程学习预训练<br/>合成热身阶段到真实 IMSLP 迁移"]
    B --> C["细粒度 Patch 与高掩码率 MAE<br/>P=16 像素切片，50% 至 70% 掩码重建"]
    C --> D["二维正弦位置编码与非对称 ViT<br/>显式音高行绑定与可见 Patch 高效编码"]
    D --> E["双轨下游任务适配<br/>线性探测评估表征质量 / 微调超越专用 SOTA"]

关键设计¶

1. 两阶段课程学习预训练：从合成规整乐谱到海量真实乐谱的稳态迁移

直接在真实世界乐谱图像上进行自监督训练面临严峻的收敛困难：由于真实历史乐谱存在多样的谱表排版、纸张泛黄、油墨渗透及密集复调纹理，单阶段直接训练会导致严重的维度坍缩（Dimensional Collapse），解码器退化为预测背景像素均值。针对此痛点，MuSViT 设计了两阶段课程学习策略。在第一阶段（合成热身），模型首先在标注规整、视觉噪声极低的 DeepScoresV2 合成乐谱数据集上以 50% 较低掩码率和 512×512 随机裁剪（对应 $N = 32 \times 32 = 1024$ 个 Patch）进行初始化训练，使网络以较低难度快速掌握基础音符轮廓与规则谱线几何先验；在第二阶段（真实世界迁移），模型迁移至涵盖约 40 万部作品、共计 970 万页的 IMSLP 真实扫描全集，分辨率提升至 1024×1024 全页整幅输入（$N = 64 \times 64 = 4096$ 个 Patch），掩码率同步提高至 70%。这种由简入繁的递进有效避免了特征崩溃，让编码器平滑习得跨越数百年的复杂历史版刻风格与宏观多谱系统布局。

2. 细粒度 Patch 与高掩码率 MAE：强制学习局部音符图元与全局乐理空间语法

乐谱是一种视觉化的离散符号语言，符头（Notehead）、符干（Stem）、变音记号（Accidental）与休止符（Rest）等符号体积微小且排布高度紧凑。若沿用普通 ViT 的大尺寸 Patch，单 Patch 内将混杂多个独立音符符号，导致语义粘连。MuSViT 选用 $P = 16$ 的精细 Patch 划分，确保每个图像块尽可能仅覆盖单一符头或变音符号图元。在此基础上，模型选择掩码自编码器（MAE）作为自监督范式，并设置高达 70% 的高掩码比例。在高掩码率下，整行乐节乃至长序列符号被完全擦除，模型无法依靠连续平滑纹理插值进行像素修补，必须被迫从剩余的谱表线段残片与前后文音符中，根据严苛的乐理节奏时值与调号规则，反推出缺失位置“应当出现什么音符符号”以及“在谱表上的纵向音高位置”。

3. 二维正弦位置编码与非对称 ViT：显式音高行绑定与可见 Patch 高效编码

在乐谱视觉理解中，符号在谱表线/间上的绝对纵向高度严格决定其物理音高（Pitch），而传统视觉 Transformer 常见的 1D 展平位置编码抹平了二维物理网格，迫使网络花费大量容量隐式学习纵向排布。MuSViT 引入了显式二维正弦绝对位置编码（2D Sinusoidal Positional Encoding），分别在水平 X 轴与垂直 Y 轴构造正余弦基频嵌入并拼接，使模型从底层即可感知符号在五线谱各条线与间上的精确几何高度。在网络架构上，主干编码器包含 12 层 Transformer Block（隐层维度 $d = 768$，约 85M 参数），且仅对未被遮蔽的 30%–50% 可见 Patch 计算自注意力，大幅节省超长序列（4096 个 Patch）的计算开销；预训练专用的轻量解码器则拼接可学习的 Mask Token 与全图 2D 位置编码进行像素级均方误差（MSE）回归，并在预训练结束后完全剥离，保证下游推理轻盈。为兼顾边缘端低算力场景，作者还衍生设计了轻量级版本 MuSViTLight（$d = 384$，约 25M 参数）。

4. 双轨下游任务适配：线性探测评估表征质量与端到端高效微调

为了客观检验预训练表征的通用性与可迁移性，MuSViT 设立了线性探测与微调两条评估基准，覆盖转录、定位与分类三种完全不同维度的能力需求： - 全页与谱表级转录：在全页级任务上外挂自回归 Transformer 解码器，端到端转录整页符号序列；在谱表级任务上接入循环神经网络（RNN）解码器，评估单行细粒度识别性能。 - 密集符号定位与检测：在 DeepScoresV2 数据集上外挂 Faster R-CNN 检测头，微调时仅借助轻量 LoRA 参数高效微调技术调整骨干，评估对微小乐符目标的定界与分类精度。 - 宏观难度分级：对整页 Patch 表征进行全局平均池化（Mean-Pooling），外挂 MLP 分类器或双向 GRU 聚合网络，从全局乐谱视觉密度与指法复杂度直接预测演奏难度等级。

损失函数 / 训练策略¶

预训练采用像素级均方误差（MSE）作为自监督重建目标，且仅针对被掩码的 Patch 集合 $\mathcal{M}$ 进行损失计算： $$\mathcal{L}_{\text{MAE}} = \frac{1}{|\mathcal{M}|} \sum_{i \in \mathcal{M}} \| x_i - \hat{x}_i \|_2^2$$ 其中 $x_i$ 为第 $i$ 个被掩码 Patch 的归一化原始像素向量，$\hat{x}_i$ 为解码器输出的重构像素向量。由于乐谱图像高度依赖谱线的连续性与完整性，传统自监督方法（如 DINO）中使用的高斯模糊、强对比度扰动等重度数据增广会轻易抹除细如发丝的五线谱线，从而彻底摧毁音高判定基准。因此，MuSViT 在预训练阶段仅采用随机裁剪与缩放（Random Resized Cropping），最大程度保留乐谱原始严谨的几何与排版拓扑。

实验关键数据¶

主实验¶

论文在四项核心下游任务上全面评估了 MuSViT、轻量级 MuSViTLight 以及四大通用视觉与多模态大模型基线（PaliGemma 2、Kosmos-2.5、Qwen3-VL、DINOv3-7B）。

表 1：冻结主干线性探测（Linear Probing）下各项下游任务性能对比 注：全页与谱表转录评估符号错误率（SER %，越低越好）；符号检测评估 mAP 与加权 w-mAP（%，越高越好）；难度分类评估精准匹配 Acc0 与邻近容差 Acc1（%，越高越好）。

模型类型	编码器主干	全页转录 SER ↓	谱表转录 SER ↓	符号检测 mAP ↑	符号检测 w-mAP ↑	难度分类 Acc0 ↑	难度分类 Acc1 ↑
通用 VLM	PaliGemma 2 [34]	48.6	23.9	31.7	39.0	46.8	83.9
文档多模态	Kosmos-2.5 [22]	62.4	47.5	42.7	47.4	34.3	69.6
通用 VLM	Qwen3-VL [4]	51.0	21.0	67.1	61.0	43.3	83.1
自监督视觉	DINOv3-7B [33]	56.9	32.1	70.4	62.0	45.5	83.9
本文基础模型	MuSViT	16.4	18.4	79.7	80.7	47.4	87.1
本文轻量模型	MuSViTLight	20.9	23.0	79.1	80.4	47.4	84.4

表 2：下游端到端微调（Fine-Tuning）下与任务专用 SOTA 方法对比

任务	评估数据集	关键评估指标	之前任务专用 SOTA	MuSViTLight	MuSViT (本文)	相对 SOTA 提升/差距
全页乐谱识别	Mozarteum + Polish Scores	平均 SER (%) ↓	20.0 [32]	11.8	10.9	降低 9.1 个百分点
谱表级乐谱识别	Capitan / FMT 等 5 库	平均 SER (%) ↓	8.0 [24]	9.8	8.6	仅相差 0.6 个百分点
乐谱符号检测	DeepScoresV2 (135 类)	$\text{mAP}_{50}$ (%) ↑	90.5 [21]	96.6	97.0	提升 6.5 个百分点
乐谱难度分类	FreeScores / PianoStreet 等	Acc0 / Acc1 (%) ↑	38.4 / 84.3 [29]	54.0 / 88.9	54.2 / 89.3	Acc0 提升 15.8 个百分点

消融实验¶

表 3：表征空间与音乐符号转录距离相关性分析（Embedding-Transcription Consistency） 注：计算图像嵌入空间欧氏距离与符号转录序列编辑距离（Edit Distance）及符号直方图频次距离（Histogram Distance）的 Pearson（$\rho^p$）与 Spearman（$\rho^s$）相关系数，正值越高代表视觉表征越贴近真实音乐符号语义。

模型主干	编辑距离 Pearson $\rho_{\text{ed}}^p$	直方图 Pearson $\rho_{\text{h}}^p$	编辑距离 Spearman $\rho_{\text{ed}}^s$	直方图 Spearman $\rho_{\text{h}}^s$	表征特性说明
PaliGemma 2	-0.110	-0.127	-0.120	-0.132	呈微弱负相关，受表面视觉笔画干扰
Kosmos-2.5	-0.080	-0.130	-0.114	-0.153	表征与乐谱符号语义完全脱节
Qwen3-VL	-0.041	-0.052	-0.009	-0.009	相关性接近 0，无法感知音符结构
DINOv3-7B	-0.080	-0.100	-0.135	-0.152	7B 大模型在乐谱符号距离上依然负相关
MuSViT	0.606	0.665	0.691	0.714	强正相关，视觉空间深植乐理结构
MuSViTLight	0.618	0.646	0.658	0.662	轻量主干同样保持优异的乐理性对齐

预训练课程策略消融结论：论文对比了直接在 IMSLP 真实乐谱上进行单阶段 MAE 训练的基准配置。奇异值谱与有效秩分析显示，缺少 DeepScoresV2 合成规整数据热身的模型遭遇了不可逆的特征维度坍缩（Dimensional Collapse），解码器完全丧失音符解析力，只能输出模糊背景均值。引入两阶段课程设计后，有效秩大幅提升，模型平稳收敛。

关键发现¶

通用视觉表征在乐谱领域存在系统性盲区：在全页转录线性探测中，无论是以图像文本对齐为主的 PaliGemma 2（SER 48.6%），还是高达 70 亿参数的 DINOv3-7B（SER 56.9%），均严重落后于 85M 参数的 MuSViT（SER 16.4%）。表征一致性分析进一步证明，通用大模型的视觉空间距离与乐谱的真实音符编辑距离呈现负相关（-0.04 至 -0.13），说明其提取的只是纹理与版面灰度，根本无法分辨音高与符头。
符号定位任务中语言对齐的多模态模型表现极差：在符号检测探测中，经过文本对齐训练的 PaliGemma 2（mAP 31.7%）与 Kosmos-2.5（mAP 42.7%）甚至大幅落后于自监督的 DINOv3-7B（mAP 70.4%），表明粗粒度图像-文本对比损失破坏了密集细小符号的高频空间定位精度。
全页端到端转录获益远大于单谱表识别：在微调场景下，MuSViT 在全页端到端转录上较此前 SOTA 大幅降低 9.1% SER，而在单谱表识别上与专用 SOTA 差异仅 0.6%。这表明在大规模全页预训练中建立的全局阅读顺序与多谱表空间拓扑先验，对于解决复杂的全页级 OMR 具有决定性优势。

亮点与洞察¶

两阶段课程学习破解乐谱自监督坍缩难题：针对真实历史乐谱高噪声、多版式导致 MAE 极易坍缩为预测背景均值的困境，创造性采用“合成规则乐谱打底 + 真实千万级全页泛化”的课程梯度，为专用小众文档领域的无监督大模型训练提供了可靠范式。
表征-转录一致性分析设计精妙：作者不仅停留在下游刷榜，而是通过计算图像表征欧氏距离矩阵与真实符号编辑距离矩阵的 Pearson/Spearman 秩相关性，从数理上直接确凿证明了通用大模型对乐理语义的“符号盲”，有力支撑了研发乐谱领域专用视觉基座的必要性。
以小博大的算力效率：85M 参数的 MuSViT 相比 7B 规模的通用视觉大模型，参数量精简 5 到 80 倍，计算开销 GFLOPs 降低 16 到 260 倍，但在乐谱相关专业任务上展现出压倒性的准确率优势，是垂直领域专用模型战胜通用巨无霸的典型代表。

局限与展望¶

作者承认的局限：目前 MuSViT 仅限于纯视觉特征编码，未在预训练阶段端到端接入符号序列解码器；在需要联合音频、手势等多模态音乐分析任务（如视唱对齐、音频-乐谱同步）中，仍需外接跨模态映射模块。
评测与数据维度的局限：预训练语料 IMSLP 主要集中于西方五线谱传统（CWMN 与历史门萨量度记谱法），对于简谱（Numbered Notation）、吉他六线谱（Tablature）或非西方传统记谱体系的表征泛化能力尚未经过系统检验。
未来改进方向：可进一步探索在预训练中融合弱监督的乐理音频先验（Audio-Visual Co-training），或将 MuSViT 作为视觉编码器直接构建音乐多模态大语言模型（Music-VLM），实现乐谱的端到端问答与作曲分析。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 打造了音乐文献计算与 OMR 领域的首个专用视觉基础模型，两阶段课程预训练机制针对性极强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖微观符号检测、行级/全页级转录及宏观难度评估四大任务，结合线性探测、微调与表征空间一致性分析，对比基线涵盖顶尖通用大模型。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，实验设计层层递进，消融与几何一致性分析逻辑极为严密。
价值: ⭐⭐⭐⭐⭐ 公开源代码、预训练权重与 970 万页尺度模型，为全球数字化音乐遗产的自动化索引与理解奠定了里程碑式的开源基石。