Rubato: Transcribing Piano Music with Timestamps¶

会议: NeurIPS 2026
arXiv: 2605.24291
OpenReview: https://openreview.net/forum?id=muSIGk8gSE
论文: https://arxiv.org/abs/2605.24291
代码: https://nctamer.github.io/rubato-transcription
领域: 音频/语音
关键词: 自动音乐转谱, 时间对齐乐谱转录, 序列到序列模型, 多任务方言, 钢琴演奏表现力

一句话总结¶

提出基于 Conformer 架构的端到端提示词条件化自回归模型 Rubato 与规范化文本乐谱表示 InterMo，单次解码直接从钢琴音频联合生成带声学时间戳的高精度五线谱，在乐谱符号准确率上超越已知串联级联与 Oracle 中间表示基线。

研究背景与动机¶

自动音乐转谱（Automatic Music Transcription, AMT）在过去几十年的研究中长期被拆解为割裂的孤岛子任务：前端负责音频到 MIDI 的声学事件检测（音高、起音时间与响度）以及节拍追踪，后端再通过序列到序列网络或统计规则执行 MIDI 到乐谱（MIDI-to-Score）的排版重构。这种分阶段流水线虽然使各单一组件在专属指标上日趋成熟，但中间表示存在不可逆的信息损耗——底层 MIDI 协议完全丢弃了调号、拍号、谱号分配、音高拼写（同音异名辨析）以及节拍层级等符号乐谱先验。下游模块不得不面对病态的符号逆向推断，级联误差在多阶段累积放大，导致即使前端声学指标微弱提升，最终呈现给演奏者与学者的五线谱仍然错误频出。

更为关键的矛盾在于，分级架构彻底斩断了乐谱排版符号与真实演奏时间线之间的直接锚定。现实演奏中广泛存在弹性速度（rubato）——演奏者为了艺术表达而在特定小节拉伸或压缩拍点，产生复杂的局部时间形变。若先将音频转为无乐谱结构的事件流，再转成无时间戳的抽象乐谱，后续要想重新把二者对齐（Score-to-Performance Alignment）在复调音乐中极其困难且极易退化。甚至在实验中可以发现，即使为下游转换模型提供真实的 Disklavier 物理 MIDI 输入，乐谱转写依然受制于结构重建瓶颈。

本文的切入角度是打破「音频 → 演奏事件 → 乐谱」的串联割裂，直接将时间对齐乐谱转写定义为端到端任务：模型在单次自回归预测中同步生成完整的复调五线谱符号及其在真实音频中的物理时间戳。核心 idea：设计一种将度量间隔与音高状态解耦并支持声学时间戳插入的规范化乐谱文本表示 InterMo，并基于 Conformer 编码器-解码器构建提示词条件化模型 Rubato，利用覆盖不同粒度的八类方言实现多源异构数据集的多任务端到端联合训练。

方法详解¶

整体框架¶

Rubato 采用基于 Canary-180M-Flash 架构的 Fast Conformer 编码器与自回归 Transformer 解码器（约 180M 参数），整体接收 40 秒音频切片并前置提示词 token，单阶段直接输出序列化的乐谱符号与时间戳序列。长音频推理时采用 40 秒窗口与 50% 跳步（20 秒步长），解码器在生成超过 20 秒标记时自然截断，为音频切片边界提供后向声学上下文支持。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长音频输入<br/>40秒滑动窗口 / 20秒重叠步长"] --> B["Fast Conformer 编码器<br/>40ms 帧移声学特征提取"]
    C["任务提示词 Prompt<br/>TAST / AMT / DBD / A2S 及其方言变体"] --> D["Autoregressive Transformer 解码器<br/>提示词驱动跨任务自回归解码"]
    B --> D
    D --> E["InterMo 规范化序列生成<br/>区间切片子词 + 10ms 时间戳三元组"]
    E --> F["五线谱排版与声学对齐验证<br/>Verovio 渲染 / 弹性速度分析 / 检索匹配"]

关键设计¶

1. InterMo 规范化文本表示：消除复调置换多义性与局部度量自洽 传统符号音乐表示（如 MIDI 或 MusicXML）在自回归序列建模中面临两大障碍：复调音乐中同时发声的音符缺乏确定顺序导致置换不变性破坏监督目标，以及全局 tick 累积导致局部切片解码难以拼装。InterMo 将乐谱原子拆解为两类独立基元： - 时刻（Moments）：记录直接从声学中可探测的音高状态变化（起音 Onset 与止音 Offset）。针对左右手谱表（PR: 与 PL:），每个音高按起止状态构成严格平衡的括号语言（Dyck-1 单词，整体构成 $k$-Shuffle-Dyck 语言），且同刻事件遵循「谱表自低到高、止音先于起音、音高升序排列」的唯一规范化顺序，彻底消除下一个 token 预测的目标歧义。 - 区间（Intervals）：分为度量区间（如 1/4、1/8，表示相邻时刻在抽象拍值中的度量分数值）与结构区间（小节线如 |3/4k-4，显式声明局部拍号与调号）。度量区间在小节内精确累加为拍号值 $m/n$，使得任意小节完全自包含，解码片段可在小节线无缝拼接。度量区间与音高时刻组合成乐谱语义单元，并可在每个单元后紧跟 <|timestamp|> 时间戳 token，构成「区间 + 时刻 + 时间戳」三元组，以 10ms 精度锚定整簇音符。

3. 区间切片分词与序列长度平衡训练适配 为提升自回归生成效率，采用基于 SentencePiece UnigramLM 的分词方案，以乐谱推进的度量区间边界进行预切分（Interval-Piece）。构建的 8,000 词表中，包含约 3,570 个可学习的符号组合片段（如高频复音和弦、带附点或重音的音符组合），其余为冻结控制标记（4,000 个 10ms 时间戳、129 个 MIDI 属性标记、拍点标记与 Byte 回退）。由于各任务目标序列长度悬殊（同音频的 AMT 序列可能比 DBD 长两个数量级），训练时对交叉熵损失按序列长度进行根号归一化： $$\mathcal{L} = \frac{1}{\sqrt{|T|}} \sum_{t=1}^{|T|} \ell_{\text{CE}}(y_t, \hat{y}_t)$$ 有效防止超长序列任务主导梯度方向。此外，引入参数为 $\alpha=0.25$ 的子词正则化以提高稀有音符组合鲁棒性，并在时间戳预测中采用半衰期为 $\pm 5$ 桶（110ms 窗口）的二次衰减有序标签平滑，缓解编码器 40ms 帧率与解码器 10ms 目标粒度之间的不匹配。

4. 击键释放与延音踏板解耦建模 传统转谱模型在处理音符关断（Offset）时普遍采用混合踏板的 PedOff 约定（即把键位抬起时间人为顺延至踏板释放低于阈值 64 处），但这导致评测对 CC64=64 的二值化临界点极度敏感（MAESTRO 中该阈值处存在密集踏板事件峰值）。Rubato 在 AMT 方言中将物理离键时间（KeyOff）与延音踏板（CC64）作为两个独立流显式解码，不仅精准还原了演奏者的触键手势与指法轮廓，而且实验证实使用 KeyOff 能够显著减轻下游乐谱重构模型因踏板伪延音导致的拍值量化混淆。

损失函数 / 训练策略¶

模型从零初始化训练，针对不同数据源实施针对性增强策略。对于 PDMX 符号乐谱，使用 DawDreamer 配合 8 款真实钢琴 VST 插件及两种混响/拾音环境合成 16 种音色变体，并通过 VirtuosoNet 注入富有动态与速度波动的表现力演奏偏差（Expressive Synthesis），强制模型学会在演奏速度大幅摆动（rubato）下还原标准五线谱小节度量。音频输入随机采样起始偏移量（Discrete Tiling），确保覆盖全部 4,000 个绝对时间戳位置。

实验关键数据¶

主实验¶

在真实钢琴演奏测试集上评测乐谱转录质量，采用衡量印刷乐谱编辑距离的标准指标 OMR-NED（越低越好，%），以及 95% 置信区间。

模型类别	模型名称 / 流水线	ATEPP ($n=1495$)	ASAP ($n=102$)	ASAP-Beyer ($n=25$)
端到端模型	Rubato (TAST, 本文)	75.9 ± 0.9	64.3 ± 3.9	78.7 ± 5.0
通用大模型	Gemini 3.1 Pro (Zero-shot)	—	98.6 ± 0.3	98.9 ± 0.4
通用大模型	Gemini 3.1 Pro (+ ICL)	—	97.6 ± 0.4	97.9 ± 0.6
级联基线 (节拍)	Beat-This → Piano-A2S	88.9 ± 0.3	86.6 ± 1.2	89.7 ± 2.0
级联基线 (MIDI)	Tkun → M2ST	85.2 ± 0.5	69.1 ± 3.9	89.3 ± 2.1
级联基线 (MIDI)	Tkun → PM2S	92.0 ± 0.2	89.5 ± 1.1	92.7 ± 1.6
级联基线 (MIDI)	Bytedance → M2ST	86.5 ± 0.4	76.5 ± 3.2	90.3 ± 1.8
Oracle 基线	Oracle Downbeat → Piano-A2S	—	77.8 ± 2.5	87.7 ± 2.8
Oracle 基线	Oracle MIDI → M2ST	—	69.3 ± 3.6	87.9 ± 3.0
Oracle 基线	Oracle MIDI → PM2S	—	89.8 ± 1.1	92.6 ± 2.1

时间对齐与声学事件定位评估¶

评测各模型在节拍定位（70ms 容差）与 MIDI 音符检测（50ms 容差）上的 F1 指标（%，越高越好）。

任务类别	模型	ASAP $F1_{\text{downbeat}}$	ASAP $F1_{\text{beat}}$	MAESTRO $F1_{\text{note}}$	MAESTRO $F1_{\text{note+vel}}$
带时间戳乐谱	Rubato (TAST)	67.8 ± 3.1	75.8 ± 2.9	87.1 ± 2.0	—
级联基线	Tkun → PM2S	22.4 ± 3.7	56.0 ± 1.8	92.3 ± 0.8	91.8 ± 0.9
节拍追踪专有模型	Rubato (DBD)	65.2 ± 2.7	82.6 ± 2.5	—	—
节拍追踪专有模型	Beat-This	64.9 ± 2.5	79.9 ± 2.6	—	—
转谱专有模型 (AMT)	Rubato (AMT)	—	—	97.0 ± 0.4	94.0 ± 0.6
转谱专有模型 (AMT)	Tkun	—	—	98.3 ± 0.2	97.9 ± 0.3
转谱专有模型 (AMT)	Bytedance	—	—	96.8 ± 0.4	95.0 ± 0.5
转谱专有模型 (AMT)	MT3	—	—	95.7 ± 0.4	—

版本与演奏者身份检索匹配分析 (ATEPP, 106 首乐曲 / 1495 场录音)¶

利用 InterMo 符号序列的 n-gram Jaccard 相似度评估作品识别（$MAP_{\text{work}}$）与演奏家个性辨识（$MAP_{\text{performer}}$），验证乐谱与表现力信息的保留：

评估系统	序列表示 / Tokenizer	$MAP_{\text{work}}$ (%)	$MAP_{\text{performer}}$ (%)
Rubato (TAST)	InterMo (无时间戳，纯排版乐谱)	97.4 ± 0.5	59.3 ± 2.0
Rubato (+ relative TS)	InterMo (保留相对时间戳)	96.6 ± 0.6	72.3 ± 1.9
Tkun → M2ST	InterMo	96.1 ± 0.6	48.5 ± 2.0
Tkun → PM2S	InterMo	95.5 ± 0.7	73.3 ± 1.8
Tkun → M2ST (原版)	M2ST-tok (Compound Word)	87.4 ± 1.2	43.5 ± 2.0
Tkun → PM2S (原版)	REMI	90.5 ± 0.9	67.7 ± 1.9
音频检索专有模型	CLEWS (监督对比学习)	97.6 ± 0.5	67.8 ± 1.9
音频检索专有模型	CoverHunterC	70.1 ± 1.2	55.8 ± 2.1

关键发现¶

打破级联表示瓶颈：在 ASAP 测试集上，即使为 M2ST 输入无噪声的真实 Disklavier MIDI（Oracle MIDI），其 OMR-NED 也仅为 69.3%，依然逊于直接从音频输入的 Rubato TAST（64.3%）。这从实证上证明了传统级联转谱的性能瓶颈主要在于中间表示对乐谱结构先验的损耗，而非前端声学识别错误。
结构与强拍预测互惠：Rubato TAST 生成的强拍（Downbeat）$F1$ 达到 67.8%，高于专门的节拍追踪模型 Rubato DBD（65.2%）和 SOTA 专用模型 Beat-This（64.9%）。这表明将强拍建模为小节线语法并结合小节长度约束，能够为时序节拍定位提供强大的结构互补先验。
乐谱规范化与演奏家个性无需妥协：传统 M2ST 级联在标准化乐谱的同时抹杀了演奏者独特的弹性速度指纹（$MAP_{\text{performer}}$ 仅 48.5%），而 PM2S 虽然保留个性但乐谱 OMR-NED 高达 92.0%。Rubato 在提供最低编辑距离乐谱的同时，通过相对时间戳达到了 72.3% 的演奏家辨识精度，逼近专用音频表征模型 CLEWS。
通用大语言模型（Gemini）在乐谱感知上彻底失效：Gemini 3.1 Pro 在生成标准五线谱记谱法时 OMR-NED 均在 97% 以上，错误分析表明其本质是将音频分类后尝试从语料库「背诵」记忆中的乐谱（倾向于过拟合肖邦作品），缺乏基于声学物理现实的解析能力。

亮点与洞察¶

将复调乐谱规范为 Dyck 语言与区间时刻对：InterMo 创新性地用闭合状态（Dyck-1 括号匹配）和固定偏序规则消除了复调音乐的序列多义性，为 Transformer 提供了无歧义的自回归预测目标，这是目前处理复调音乐文本序列最优雅的表征形式之一。
多任务方言解耦破解数据异构困境：通过一套统一符号体系下的 8 类提示词方言，使没有乐谱标注的 MAESTRO、没有实录音频的 PDMX 以及小样本的 ASAP 能够无缝汇聚在同一个优化目标下，极大拓展了模型对不同粒度弱监督信号的吸收能力。
可复用的声学与符号双重分析范式：生成的带时间戳乐谱兼具可读性与可验证性，不仅能直接通过 Verovio 渲染打印，还能脱离音频仅凭文本 n-gram 完成高精度版本检索与表演风格诊断，对数字音乐学与智能音乐教育极具应用价值。

局限与展望¶

当前受限于单乐器（钢琴）场景：论文主要在独奏钢琴上验证了有效性，由于大谱表钢琴由双谱表构成，扩展至多乐器管弦乐总谱时，谱表切换与动态音轨对齐的复杂度将指数级增加。
超长时序推理依赖分块拼接：40 秒窗口虽然覆盖多数音乐乐句，但在极慢速度或跨小节超长延音的极端作品中，小节线拼接仍可能受边界截断效应轻微扰动。
未来方向：探索免分词的 Byte-level 或更长上下文架构在 InterMo 上的表现，并将这一表征体系拓展至弦乐、管乐及人声伴奏等多轨全要素音乐生成与转写任务中。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首创时间对齐端到端乐谱转写任务，提出规范化 Dyck-1 语言 InterMo 及其方言系统）
实验充分度: ⭐⭐⭐⭐⭐（覆盖三大实录数据集、与多类级联/Oracle/通用MLLM全面对比，设计了完备的版本与演奏家检索分析）
写作质量: ⭐⭐⭐⭐⭐（动机阐述深刻，表征设计形式化严谨，实验图表极其详实且透彻剖析了失败模式）
价值: ⭐⭐⭐⭐⭐（为自动音乐转录与计算机音乐学提供了里程碑式的新范式，极大推进了实用五线谱生成技术）