Getting Motif-ated: Controllable AI Compositions from Injected Motif Prompts¶

会议: NeurIPS 2026
arXiv: 2609.32788
代码: https://github.com/cpyang123/motigen
领域: 音频/语音
关键词: 符号音乐生成、动机控制、注意力偏置、两阶段课程学习、ABC 记谱法

一句话总结¶

本文提出 MotiGen 框架，通过引入移调不变的音程类别序列抽象表征、结构化 %motif: 提示行注入、训练与推理一致的标量注意力偏置，以及从局部动机截断到全篇乐谱的两阶段课程学习，使预训练符号音乐大语言模型在保持音乐自然度的同时实现高达 92.3% 的动机容纳率与可控生成。

研究背景与动机¶

深度学习与自回归大语言模型（LLM）范式的结合显著推进了符号音乐生成的发展。以 NotaGen 为代表的模型通过在海量 ABC 记谱语料上进行预训练与偏好对齐，已经能够根据极简的宏观提示生成结构完整、风格纯正的古典乐谱。然而在真实的作曲流程中，作曲家构思音乐作品的核心出发点往往不是宏观的时期风格或乐器编制，而是几粒简短的核心音符——即音乐动机（Motif），例如贝多芬《第五交响曲》开篇标志性的“命运”音型。在传统音乐学中，动机是整个作品结构展开与变奏发展的胚芽；缺乏对动机层面的控制把手，极大限制了生成模型作为人类创作协作者的实用价值。

现有符号音乐生成控制技术往往徘徊在两个极端之间：一端是粗粒度的元标签控制（如限定作曲家流派、乐器声部或调性），模型在音乐本体材料的发展上依然完全黑盒；另一端则是强约束的完整材料输入，要求用户提供完整旋律骨架或逐小节的详细描述序列，这要求用户预先完成大量作曲工作，违背了交互式辅助创作的初衷。更为棘手的是，若直接将动机写成未经微调的文本提示送入预训练音乐模型，自回归模型会直接忽视生疏的提示行；且音乐动机天然具有移调不变性、等音变化和节奏拉伸特性，强行约束具体绝对音高将严重束缚和劣化音乐的生成空间。

为了赋予预训练音乐模型细粒度动机控制能力同时避免高昂的从头预训练代价，本文提出了 MotiGen 方案。核心 idea：将音乐动机抽象为移调不变的级进/跳进音程类别序列并作为结构化提示行注入，配合训练推理一致的标量注意力偏置锁定动机显著性，再经由“局部动机聚焦截断到完整乐谱展开”的两阶段课程学习，低成本教会预训练模型消化并有机发展音乐动机。

方法详解¶

整体框架¶

MotiGen 的整体工作流程涵盖动机抽取与抽象表征、结构化提示行注入与注意力偏置增强、以及两阶段课程微调三个核心环节。首先，系统使用具备等音辨识与移调不变性的滑动窗口解析器从旋律线中提取代表性音程轮廓；随后将提取出的抽象音程模式（例如 0, 3, -1, -1）作为 %motif:v1:step_skip_leap: 提示行注入 ABC 乐谱头部，并在自注意力层中对动机 token 施加可控标量偏置 \(\beta\)；最后，模型在由局部聚焦切片构成的 Phase 1 语料与全曲乐谱构成的 Phase 2 语料上依次进行微调，实现从动机语义对齐到长程结构展开的平滑过渡。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单声部旋律数据<br/>OpenScore & Irishman"] --> B["音程类别提取与等音折叠<br/>去除重复音并映射级/小跳/大跳"]
    B --> C["结构化提示行注入<br/>生成 %motif: 抽象与具象头部"]
    C --> D["自注意力标量偏置<br/>训练与推理一致注入权重 beta=4"]
    D --> E["两阶段课程微调<br/>Phase 1 局部截断 -> Phase 2 完整乐谱"]
    E --> F["受控音乐生成<br/>输出包含动机展开的完整 ABC 乐谱"]

关键设计¶

1. 移调不变与等音感知的音程类别表征：解决动机抽象与泛化矛盾

在音乐感知中，同一动机在不同调性、不同和声或节奏下重复出现时，人类听觉主要捕捉的是音符走势轮廓（Contour）与音程尺度而非绝对半音数。MotiGen 抛弃了绝对音高序列，设计了基于自然音阶音级步长的音程类别分类器。系统首先通过等音感知解析器跟踪每个音符在两个平行坐标中的位置：半音坐标 \(\pi(n) \in \mathbb{Z}\) 和五线谱音名位置 \(\delta(n) = \ell(n) + 7 \cdot o(n) \in \mathbb{Z}\)（其中 \(\ell(n) \in \{0, \dots, 6\}\) 代表音名 C 到 B，\(o(n)\) 为八度）。在序列处理上，系统首先折叠相邻同音（保持连音与延音下轮廓的连贯性），进而计算相邻音之间的音级差 \(d_t = \delta(q_t) - \delta(q_{t-1})\) 与半音差 \(s_t = \pi(q_t) - \pi(q_{t-1})\)。

\[ c_t = \begin{cases} \operatorname{sign}(s_t) & \text{若 } d_t = 0, s_t \neq 0, \\ \operatorname{sign}(d_t) \cdot g(|d_t|) & \text{其他}, \end{cases} \qquad g(a) = \begin{cases} 0 & a=0, \\ 1 & a=1 \text{ (级进, step)}, \\ 2 & a=2 \text{ (小跳, skip)}, \\ 3 & a \ge 3 \text{ (大跳, leap)}. \end{cases} \]

首音以 \(0\) 锚定，长度为 \(k\) 的动机便映射为抽象向量 \(m = (0, c_{i+1}, \dots, c_{i+k-1})\)。这种设计的精妙之处在于它严格区分了等音异名（Enharmonic Spelling）：例如 C 到 D# 的半音差为 3 但音名字距为 1，被正确判定为一度增二度级进（\(+1\)）；而 C 到 Eb 半音差同为 3 但音名字距为 2，被判定为小三度小跳（\(+2\)）。这种设计既忠实还原了西方调性记谱法的内在调式逻辑，又实现了严格的移调不变性。

2. 训练推理一致的自注意力标量偏置：解决长程解码中的提示稀释衰减

自回归生成模型在生成长篇乐谱时，提示词位于序列开头，随着解码长度持续增加，头部 prompt token 在多头自注意力机制中的归一化权重会被数百个乐谱正文 token 迅速稀释。如果仅仅在推理期人工拔高注意权重（如常见的后处理激活操纵），往往会破坏模型在预训练阶段习得的注意力分布平衡，导致音乐结构混乱甚至崩解。

MotiGen 在 Patch-level 解码器的自注意力计算中显式引入训练与推理完全对称的标量偏置 \(\beta\)：

\[ \alpha_{ij} = \frac{q_i^\top k_j}{\sqrt{d}} + \beta \cdot \mathbf{1}[j \in \mathcal{M}] \]

其中 \(\mathcal{M}\) 代表所有属于 %motif: 结构化提示行对应的 key token 索引集合。在全流程中维持相同的标量偏移，使模型在微调期间自适应调整后续层对动机信道的敏感度与利用模式。实验表明，设置 \(\beta = 4\) 能够在全曲范围内维持强有力的动机引导力，而过低（如 \(\beta = 2\)）不足以抵抗长文本衰减，过高（如 \(\beta \ge 8\)）则会使注意力塌缩至提示行而破坏旋律流转。

3. 两阶段课程微调（Curriculum Training）：打通从动机对齐到全局织体发展的学习路径

直接在数千小节的长篇复杂多声部或长结构乐谱上微调动机，模型面临强烈的监督信号稀释，很难从分散在全曲各处的乐汇中反向建立起提示行与音符生成的强关联。MotiGen 构建了由局部到全局的渐进式两阶段课程学习范式：

在 Phase 1（聚焦截断训练）中，算法根据动机挖掘工具定位的所有动机出现位置，在前后截取各 5 个小节的局部乐句（保留完整 ABC 头部与动机标注），构建了约 65 万条紧密围绕动机的高密度切片数据集。由于这些片段均截取自真实人类作曲谱例，数据分布没有引入人造伪影，模型得以高信噪比地快速建立“抽象音程向量 \(\leftrightarrow\) 乐句音符实现”的映射直觉；在 Phase 2（全篇微调训练）中，模型转入携带完整乐章与动机标注的全曲训练，学习动机在不同乐段间的过渡衔接、变奏发展以及终止式收束。两阶段均采用相位匹配（Phase-matched）验证机制，避免了训练跨阶段指标跳跃带来的伪遗忘现象。

实验关键数据¶

主实验¶

实验基于在约 160 万首 ABC 乐谱上预训练的 NotaGen-large 骨干网络（20 层 Patch 级编码器 + 6 层字符级解码器），在 24 个按出现频次严格分层的测试动机（高频 Band A、中频 Band B、长尾低频 Band C 各 8 个）上，每个动机采样生成 50 首乐曲（共 1200 样本），解码参数设为 \(k=9, p=0.9, \tau=1.2\)。评测指标包含正文容纳率（Body Containment，生成的正文旋律中是否真实包含目标动机）以及实现忠实度（Realization Faithfulness，模型在乐谱头部输出的 %motif:abc: 具象旋律是否符合抽象动机）。

模型与配置	正文容纳率 (Containment, %)	实现忠实度 (Faithfulness, %)	每小节动机密度 (Motifs/Measure)
MotiGen (完整方案: \(\beta=4\) + 课程微调)	92.3 [90.7, 93.7]	93.0 [91.4, 94.3]	0.25
MotiGen 无注意力偏置 (w/o attention bias)	77.8 [75.4, 80.1]	75.8 [73.3, 78.2]	0.18
MotiGen 无截断课程阶段 (w/o cropped phase)	86.7 [84.6, 88.5]	87.2 [85.2, 89.0]	0.22
MotiGen 朴素全曲微调 (w/o both)	79.4 [77.0, 81.6]	76.1 [73.6, 78.4]	0.19
NotaGen 零样本基线 (Base rate, 无提示)	36.8 [34.1, 39.5]	—	0.06

消融实验：训练数据规模与动机频次分布跨尺度分析¶

论文进一步探究了数据规模（1k、10k 与全量 200k+）以及动机在语料中的固有分布频次（A 组：前 10 高频；B 组：11-40 中频；C 组：41+ 长尾稀疏）对各模块效能的影响。

训练语料规模	模型配置	容纳率 A (%)	容纳率 B (%)	容纳率 C (%)	忠实度 A (%)	忠实度 B (%)	忠实度 C (%)
10k 子集	MotiGen (完整方案)	84.8	64.5	53.0	84.5	68.0	59.2
10k 子集	w/o attention bias	73.5	61.0	43.5	58.2	49.8	38.0
10k 子集	w/o cropped phase	68.5	39.2	21.2	38.8	21.0	4.2
10k 子集	w/o both	60.2	46.8	20.2	21.8	10.5	3.2
10k 子集	无提示基线 (Baseline)	47.8	32.5	16.0	—	—	—
全量 200k+	MotiGen (完整方案)	96.2	94.0	86.8	95.2	96.8	87.0
全量 200k+	w/o attention bias	89.8	86.5	57.2	85.5	86.8	55.2
全量 200k+	w/o cropped phase	95.8	87.0	77.2	95.0	87.2	79.5
全量 200k+	w/o both	87.8	84.0	66.5	82.2	80.8	65.2
全量 200k+	无提示基线 (Baseline)	53.2	38.0	19.0	—	—	—

关键发现¶

各模块存在协同非线性增益：去掉注意力偏置导致整体容纳率从 92.3% 暴跌至 77.8%，去掉课程截断学习则跌至 86.7%。单独使用课程截断但在微调与推理中去掉注意力偏置（77.8%）甚至比直接进行全曲微调（79.4%）略低，表明注意力增强机制是模型在全曲长上下文维持对局部动机敏感度的关键锚点。
长尾冷门动机对课程截断极度依赖：在 10k 小样本低资源以及长尾 C 组极端稀有动机（例如罕见的大跳组合）下，去掉局部切片学习阶段（w/o cropped phase）会导致忠实度发生崩塌（从 59.2% 骤降至 4.2%），证明聚焦截断数据在迫使网络学习动机结构化对应关系方面具有不可替代的作用。
质性对比击败通用大模型：在与通用大模型 Claude Fable 5 的案例对比中，通用大模型生成的 ABC 旋律呈现出单调的四分音符堆砌与固化的机械模进；而 MotiGen 在保持动机轮廓的同时展现了丰富的节奏细分、变奏音程以及自然的连接句法。

亮点与洞察¶

等音感知的音级距离分类：巧妙地将自然音名五线谱坐标与半音绝对坐标分离，用极简的步长公式严格保留了调性音乐中增二度与小三度等关键的调式等音差别。
训练/推理对齐的标量偏置注入：不依赖复杂的适配器模块或繁琐的外挂交叉注意力，直接向现有自注意力注意力分数中注入静态标量偏置并同步微调，以近乎零的推理开销解决了长序列生成中的条件衰减痛点。
相称的聚焦课程学习范式：将 MIR 中的模式挖掘转化为训练数据增强手段，先通过局部紧凑切片让注意力集中于动机对应关系，再通过全篇乐谱泛化展开，为结构受控生成提供了典范范式。

局限与展望¶

单声部限制：当前实验受限于高质量单声部伴奏对齐语料（Lieder 人声部与 Irishman 独奏民谣），主要面向单声部旋律生成；多声部复调与和声织体中的声部穿越、倒影及对位尚未纳入支持。
人工主观听感评测缺失：目前结果主要依据自动化的音程提取器与包含度规则驱动，缺乏系统性双盲音乐专业人士人类主观听感评分。
向更高维度乐理形式迁移：文末指出，该套“抽象特征注入 + 注意力增强 + 两阶段课程”的方法论同样具备拓展至和声走向（Harmonic Progressions）、固定低音（Basslines）或曲式结构（Formal Plans）等高阶音乐控制维度的潜力。

评分¶

新颖性: ⭐⭐⭐⭐☆ [提出移调不变音程类别抽象表征与结合注意力偏置的动机注入微调方案]
实验充分度: ⭐⭐⭐⭐⭐ [跨 3 个数据尺度、3 个动机频次分层全面评测，消融与置信区间严谨扎实]
写作质量: ⭐⭐⭐⭐⭐ [动机剖析清晰，乐理概念与深度学习机制融合严密，排版精细]
价值: ⭐⭐⭐⭐☆ [为大模型时代的交互式受控艺术创作与符号生成提供了低成本、可复用的新思路]