Structural and Representational Agency in LLM-Driven Timbre Generation and Interpolation¶

会议: NeurIPS 2026
arXiv: 2610.12532
论文: https://arxiv.org/abs/2610.12532
领域: 音频/语音
关键词: 交互式音频生成, 大语言模型代理, 音色插值, 区域凸多面体, 表征保真度

一句话总结¶

本文通过对基于大语言模型（LLM）的音色生成与插值交互工具 Timbre Canvas 展开严格声学测量研究，揭示了用户“有效代理权”（可抵达的音色空间在结构上严格受限于凸多面体 Zonotope）与“认知代理权”（界面显示的感知坐标误差高达可达区域跨度的三倍且弱模型下静默失败）之间的深刻分离。

研究背景与动机¶

生成式创意工具（Generative Creative Tools）在人机交互界面中通常会向用户显示其在可能性空间中的实时坐标位置。这种显示机制给用户带来了一种隐含的技术担保——即界面呈现给用户的多维坐标是直接从正在生成的实际制品中物理测量得出的。然而，在以大语言模型为驱动的创意交互系统中，这种担保往往失效：为了规避实时音频渲染和特征提取的昂贵算力开销，大量系统直接要求语言模型仅凭文本描述“自我预测”输出制品的感知属性，并在图形界面中将预测值伪装成客观测量值，用户在屏幕上根本无法分辨两者的区别。

在音乐与音色（Timbre）等创意领域，这种替代对用户代理权（Agency）构成了隐蔽的侵蚀。如果界面仪表盘的信息源自模型的主观臆测而非客观工件本身，当用户利用自然语言发出“让声音更亮一些”或“更柔和”的渐进微调指令时，系统可能在内部陷入对错误感知目标的优化。更深层的问题在于，学术界过去往往将用户代理权笼统视为单一维度的体验，缺乏对“用户实际能引起什么物理变化（有效代理权）”与“用户能否准确获知自身的操作状态（认知代理权）”的解耦与严谨测量。

针对上述盲区，本文以一个真实的 LLM 驱动音色合成与插值工具为探针，将计算声学中的 AudioCommons 七维感知度量作为客观基准，首次对生成式创意界面的可达性边界、显示保真度与端到端微调链路展开客观证伪。核心 idea：将创意系统中的用户代理权严格解耦为结构性保障的“有效代理权”与依赖模型保真度的“认知代理权”，通过证明用户操控的音色混合空间为严格的凸多面体（Zonotope），揭示出界面位置显示误差超可达空间三倍且弱模型存在“静默失败”的系统性隐患。

方法详解¶

整体框架¶

本文以合成器交互设计工具 Timbre Canvas 为测量平台。在交互流程中，用户输入文本描述，大语言模型生成商业合成器（LennarDigital Sylenth1）的全套参数预设并将其作为顶点放置在二维画布上；用户在顶点间建立连边，并在连边上拖动滑块（Beads，位置 \(t \in [0, 1]\)）以连续插值合成器底层参数，生成混合音色。当用户输入自然语言修正指令时，模型不生成全新声音，而是在七维 AudioCommons 感知空间中提议目标坐标，系统通过坐标下降法微调滑块位置以逼近该目标。

为了厘清该架构下的真实物理边界与感知显示误差，研究团队设计了一套声学测量管线：将所有音频在标准响度（\(-23\text{ LUFS}\)、\(-1\text{ dBFS}\) 峰值限幅）下离线渲染，通过 AudioCommons 提取真实的七维感知特征，建立重渲染噪声基底（Noise Floor），并数学证明了滑块混合空间所构成的凸多面体闭式解，进而将界面显示误差严格分解为“顶点预测误差”与“参数插值非线性误差”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户文本 Prompt 与微调指令"] --> B["顶点与目标生成<br/>LLM 预测参数与感知坐标"]
    B --> C["有效代理权结构封闭<br/>Beads 插值构成 Zonotope 凸空间"]
    C --> D["音色感知测量与误差解耦<br/>AudioCommons 提取与模型/线性误差分解"]
    D --> E["端到端降落审计<br/>噪声基底阈值化与静默失败捕获"]

关键设计¶

1. 有效代理权结构封闭：基于 Zonotope 凸多面体的可达集数学刻画

为了厘清用户在画布中究竟能探索多大范围的音色空间，本文推导了滑块混合系统在感知空间中的闭式解析解。设有连边集合 \(E\)，滑块权重向量为 \(t = (t_e)_{e \in E}\)，连边两端顶点的感知向量分别为 \(\mathrm{ac}_{a(e)}\) 与 \(\mathrm{ac}_{b(e)}\)。由于每个连边对归一化权重的贡献恒定为 1.0，总归一化因子恒等于 \(|E|\)，因此混合输出在感知空间中的坐标呈现为严格的凸多面体结构：

\[\mathrm{ac}(t) = \frac{1}{|E|}\sum_{e} \mathrm{ac}_{a(e)} + \sum_{e} t_{e} \frac{\mathrm{ac}_{b(e)} - \mathrm{ac}_{a(e)}}{|E|}, \quad t_e \in [0,1]\]

该公式表明，可达集（Reachable Set）本质上是由一系列线段 Minkowski 和所生成的闭合凸形——即区域凸多面体（Zonotope）。这一特性在数值模拟中与软件实际混合逻辑达成了 \(1.1 \times 10^{-16}\) 机器精度的一致。该设计证明了系统的“有效代理权”完全属于用户：画布中能发出的任何声音都是用户所放置顶点的确定性凸组合，模型无法在图外部引入未授权成分；然而其仿射维度严格受限于 \(\min(N-1, 7)\)（\(N\) 为音色顶点数），在参考语料库 10,292 个预设中，2 至 4 个声音构建的画布只能覆盖不到 0.1% 的空间，用户实际操控的仅是七维声学空间中极其狭窄的薄片。

2. 音色感知测量与误差解耦：独立分离模型表征项与物理非线性项

界面向用户呈现的七维 AudioCommons 坐标往往给用户提供导航参考，但研究发现显示位置与实际渲染音频提取的真实坐标存在巨大漂移。本文将总显示误差（Display Error）正交分解为两个相互独立的成因：

顶点预测项（Vertex Term，模型依赖）：由于界面为了保证每秒 15 帧的动画帧率，未对每个顶点实时渲染计算 AudioCommons，而是直接存储大模型在生成预设时单凭文本做出的先验预测。实验表明，参数规模较小的模型（如 gpt-oss:20b）预测相关系数仅为 \(r=0.357\)，误差甚至劣于始终预测语料库均值的基线；而更强的模型（gemma4:31b-cloud）相关系数达到 \(r=0.729\)。这种差异直接决定了顶点的基准漂移，但系统界面对两种模型毫无区别地呈现为用户偏好菜单。
插值非线性项（Linearity Term，模型无关）：由于合成器底层是对振荡器波形、滤波器截止频率等底层 DSP 参数进行线性插值，而声音参数与人耳听觉感知之间具有高度复杂的非线性映射。两个音色参数的平均值，在声学感知上根本不等于其感知特征向量的平均值。即便假设顶点预测完全准确（人工注入真实测量值），参数混合导致的非线性残差依然高达 0.275（约为可达区域宽度的 1.7 倍）。

3. 端到端降落审计：基于噪声基底的阈值化与静默失败捕获

在系统收到自然语言微调指令（如“更加明亮”、“增加温暖度”）后，模型会提议一个修正的目标感知向量，并利用步长 \(\varepsilon=0.04\) 的坐标下降法（Coordinate Descent）移动滑块。为了评估微调的有效性，本文引入严格的声学控制：通过对完全相同的合成器参数重复独立渲染 6 次，测定特征提取算法在各维度上的随机抖动（最大单维抖动达 0.074，平均 0.024），并将这一物理噪声基底作为评判变化的硬性阈值。

审计发现，模型提议的目标点在几乎所有测试中都远在用户画布的 Zonotope 外部，导致优化算法无一例外在凸多面体的边界局部极值处停滞。更严峻的是，当使用能力较弱的模型时，由于其无法稳定输出符合 JSON 语法的数据，系统的后处理代码在解析失败后执行了防御性回退——将当前状态作为目标直接返回。这导致坐标下降法瞬间报告“0 步收敛”，界面向用户提示微调完成，而合成器参数没有任何变动，形成了极其隐蔽的“静默无操作伪装成成功”的系统级失效。

实验关键数据¶

主实验¶

实验分析了在真实日常创作中构建的三个画布（包含 2、3、4 个声音，分别记为 Canvas A、B、C），在 51 种滑块配置下评估界面显示误差与真实音频测量的偏离程度，并解耦为顶点项与线性项。

画布配置	声音数 / 连边数	界面显示误差 (Euclidean)	可达集跨度 (Extent)	误差/跨度比值 (Ratio)	顶点误差项 (Vertex)	插值线性误差项 (Linearity)
Canvas A	2 sounds / 1 edge	0.496	0.159	3.12×	0.486	0.149
Canvas B	3 sounds / 3 edges	0.649	0.173	3.75×	0.627	0.245
Canvas C	4 sounds / 5 edges	0.485	0.163	2.97×	0.145	0.430

消融与微调分析¶

下表展示了分别在强模型（gemma4:31b-cloud）与弱模型（gpt-oss:20b）驱动下，执行 6 类典型微调指令（make it brighter, darker, warmer, harder, smoother, deeper，共 36 次独立试验）在音频物理输出上的端到端响应情况（均经过重渲染噪声基底过滤）。

评估指标 / 现象	强模型 (gemma4:31b-cloud)	弱模型 (gpt-oss:20b)	整体说明
模型提议目标相对当前位置位移	发生位移 (8.96–13.43)	无位移 (0.000)	弱模型解析崩溃触发 fallback，原地回退
音频产生可感知物理变化 (超噪声基底)	9 / 18 次	1 / 18 次	多数指令无法突破物理可达边界或未动
在产生变化的样本中：符合用户预期方向	8 / 9 次 (88.9%)	1 / 1 次 (100.0%)	一旦系统成功引发变化，移动方向高度自洽
无法测得任何显著物理变化 (Silence)	9 / 18 次 (50.0%)	17 / 18 次 (94.4%)	结构限制与解析失败导致大量无操作静默

关键发现¶

显示误差远超操作范围：界面报告的用户位置误差是可达空间宽度的约 3 倍（2.97× 至 3.75×）。这意味着界面上的仪表读数不仅存在偏差，而且完全丧失了区分当前处于画布哪个子区域的能力。
两类代理权的分离：由于图拓扑结构构成的 Zonotope 具有强封闭性，系统从来不会产生失控的有害声音（“有效代理权”得到强力结构性维护）；然而用户却误以为界面读数和微调报告是真实客观的（“认知代理权”全面崩塌）。
非线性残差是物理顽疾：即使未来利用超强模型将“顶点预测误差”降为零，仅因参数空间与感知空间之间的非线性插值鸿沟，界面误差仍将达到可达范围的 1.7 倍。纯靠替换端点测量无法根治连续界面的虚假显示。

亮点与洞察¶

将 Zonotope 几何理论引入人机协作：巧妙地将多连边参数插值映射为高维超立方的低维投影，给出了可达音色集合的严格数学闭式解，使创意边界具备了免渲染的确定性检验手段。
无操作伪装成成功（Silence presented as success）的失效模式总结：敏锐地指出了工业界和开源系统中普遍存在的工程妥协——在 JSON 解析异常时安全回退返回原值，叠加优化器的收敛汇报，在用户侧形成了无法察觉的欺骗性“虚假完成”。
可迁移的界面审计规范：提出了无量纲的“误差与可达跨度比值（Error/Extent Ratio）”指标，为所有搭载连续潜空间插值或 LLM 属性预测的交互系统（如图像属性滑块、文本风格调优）提供了可标准化的审计准则。

局限与展望¶

缺乏真实人机主观行为学实验：作者指出了本研究的核心局限在于尚未开展真人参与的受试者测试，虽然从声学上证伪了界面的虚假性，但尚未系统测量人类音乐人在多大程度上会被这种虚假显示误导或补偿调整。
样本尺度较为克制：受制于特定闭源商业合成器（Sylenth1）插件的授权限制，主要深描了 3 个典型画布与 36 次端到端微调测试，未来需扩展到开源可微分合成器生态中以支持全自动大规模扫描。
改进方向：在前端加入异步轻量级音频渲染与实时神经网络特征提取探针，用实测点动态纠偏插值轨迹，并在模型解析失败时明确向用户抛出异常提示而非静默回退。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从计算声学基准严谨剖析生成式工具中有效代理权与认知代理权的分离，理论深刻。
实验充分度: ⭐⭐⭐⭐☆ 结合了数学闭式推导、声学特征基底对比与端到端优化追踪，唯样本与模型数略显紧凑。
写作质量: ⭐⭐⭐⭐⭐ 论证结构极其严密，概念提炼精炼深刻，对隐蔽失效模式的剖析发人深省。
价值: ⭐⭐⭐⭐⭐ 为所有以 LLM 预测充当 GUI 反馈的创意人机交互系统敲响了警钟，提供了极具指导意义的审计规程。