Same Words, Different Judgments: How Preferences Vary Across Modalities¶

会议: NeurIPS 2026
arXiv: 2602.22710
OpenReview: https://openreview.net/forum?id=SDNH5wA9Vo
代码: https://huggingface.co/datasets/NeurIPS-Anon-2784/modality-prefs-data
领域: 其他
关键词: 偏好强化学习, 跨模态评估, 语音对齐, 组内相关系数, 长度偏差

一句话总结¶

针对当前语音偏好对齐直接照搬文本协议却缺乏跨模态校验的问题，本文基于 PRISM 对话构建了首个严格受控的文本-语音双模态偏好评测基准，发现语音评测决策阈值显著收窄、长度偏差明显减弱且跨模态胜者一致率接近随机猜测，并通过组内相关系数首次系统厘清了偏好标注可靠性随标注人数扩展的标度规律。

研究背景与动机¶

基于人类反馈的强化学习（RLHF）与偏好强化学习（PbRL）已成为大语言模型对齐的核心支柱。随着语音大模型与端到端对话系统的爆发式增长，研究界亟需将对齐范式扩展至音频模态，用以优化自然度、情感表现力与对话适切性。然而，现行语音偏好对齐研究普遍存在一个未经检验的底层假设：直接将面向文本阅读设计的标注流程、评测指标以及基于文本合成的音频（TTS）作为语音对齐的天然代理，默认人类对完全相同语义内容的评判偏好能够在文本和音频之间无损迁移。

这种直接照搬文本协议的做法在现实中面临严重的认知与实验断层。阅读文本允许人类自由分配注意力、跳读、速读并在双侧窗口中同时对比候选回答；而语音音频具有严格的单向时序线性特征，天然引入不可避免的时序呈现顺序与短期记忆衰减，同时强加了固定的信息接收节奏。以往文本偏好中标注者普遍偏好长文本（长度偏差）的现象，在音频线性播放的认知负荷下是否依然存在，单次判定的成对离散胜负是否足够捕获连续偏好强度，以及到底需要多少名独立标注者才能获得统计学意义上可靠的偏好金标准，在文献中均缺乏严格的度量。

本文的核心切入点在于打破这种“模态对等”的经验假设，通过在严格对齐的语义内容上开展首个受控的跨模态人类与合成偏好标注实验，系统厘清模态转换对偏好判定机制、认知偏差与标注一致性的影响。核心 idea：基于统一文本与神经 TTS 语音生成严格配对的双模态评测集，结合连续无锚点滑块评分与交叉随机效应统计模型，首次运用组内相关系数（ICC）量化标注可靠性扩展规律，并揭示出语音评测具有更窄决策阈值、更低长度敏感度以及强近因偏差的本质特征。

方法详解¶

整体框架¶

为了消除语音音质、语调起伏以及不当语义内容对实验带来的外生干扰，整个评测体系采用高度受控的多阶段流水线：从 PRISM 无引导交互对话中抽取代表性样本，使用高保真神经 TTS 生成配对语音，设计消除锚定效应的连续视觉模拟量表（VAS），并在文本与语音组分别进行双盲时序评测与行为轨迹监控。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["PRISM 人机对话语料<br/>(3,113 场无引导对话)"] --> B["受控样本筛选与分层采样<br/>(100 组 Prompt / 200 个模型响应)"]
    B --> C["高保真神经语音合成<br/>(Kokoro-82M 统一音色生成)"]
    C --> D["双模态受控标注实验协议<br/>(文本组 vs 音频组, 时序强制播放)"]
    D --> E["无锚点连续量表与行为采集<br/>(1-100 VAS 滑块 + 重听/修改轨迹)"]
    E --> F["交叉随机效应与可靠性建模<br/>(LMM 回归分解 + ICC 阶梯量化)"]
    E --> G["AI 合成判别与难度分流<br/>(GPT-4o / GPT-4o-Audio 代理)"]

整个架构从原始对话出发，经过标准化音频渲染后，分流至真人被试与多模态大模型，最终汇总至统计推断模型中，实现对可靠性标度、认知偏差和人机对齐能力的多维度拆解。

关键设计¶

1. 跨模态受控基准构建：分层差分采样与音质去混淆控制 为了精确探究模态本身带来的偏好迁移而非由于语义极端差异导致的噪音，研究团队从 PRISM 数据集的 3,113 场无引导真实人机交互中筛选出 100 组对话历史与双模型候选响应（共 200 个文本切片）。在采样策略上，专门实施了长度差分分层：其中 25 组严格取自响应绝对字符长度差异前 10% 的尾部区间（最小字符差 \(\ge 449\) 字符），另外 75 组取自其余 90% 区间，从而为人为检验长度偏差提供充足的方差空间。所有候选音频均采用开源前沿神经语音模型 Kokoro-82M 的单一人声配置（af_heart）合成，剔除了由于说话人音色、性别和口音偏好引入的混淆变量。同时人工全面筛查发音瑕疵与潜在有害内容，并在音频标注任务中额外设置 1-100 的感知音质滑块作为协变量校验，实证验证了在控制主观音质感知后，模态间偏好差异依然稳健存在。

2. 连续无锚点量表与时序回放协议：捕获偏好强度与近因控制 传统 PbRL 普遍采用二元成对强制选择（A 优于 B 或 B 优于 A），这种粗粒度离散标签不仅彻底丢失了偏好强度的幅度信息，而且在存在时序展示时极易掩盖位置偏见。为此，评测协议采用 1–100 连续视觉模拟量表（VAS），滑块表面隐藏具体的阿拉伯数字读数以彻底阻断标注者的锚定效应。在呈现机制上，文本与音频均实施严格的顺序展现（Sequential Presentation）：音频被试首次播放必须完整收听音频流，中途禁止快进或跳跃，听完第二条音频后允许自由重复回听以保障与文本反复阅读相同的认知审阅权利。系统全程记录试次完成时间、回听次数、首次评分与对比后的改判轨迹，从而为分析时序动态提供完整的行为日志。

3. 基于组内相关系数（ICC）的标注可靠性标度量化 以往偏好标注文献仅汇报单标注者重合百分比，无法揭示“增加标注人数能否换取可靠度提升”以及“需要多少人才能达到可用阈值”。本设计引入心理测量学经典交叉随机效应模型，对标注变异进行严格方差分解：

\[ y_{s,p} = \mu + \alpha_s + \beta_p + \epsilon_{s,p} \]

其中 \(y_{s,p}\) 为被试 \(p\) 对刺激项 \(s\) 的评分，\(\alpha_s \sim \mathcal{N}(0, \sigma_s^2)\) 代表刺激项（候选响应）的真实质量随机效应，\(\beta_p \sim \mathcal{N}(0, \sigma_p^2)\) 代表标注者的个体打分宽严偏差，\(\epsilon_{s,p} \sim \mathcal{N}(0, \sigma_e^2)\) 为残差。据此推导单人绝对一致性系数 \(\text{ICC}(2,1)\) 与 \(k\) 人均值聚合可靠性系数 \(\text{ICC}(2,k)\)：

\[ \text{ICC}(2,1) = \frac{\sigma_s^2}{\sigma_s^2 + \sigma_p^2 + \sigma_e^2}, \quad \text{ICC}(2,k) = \frac{\sigma_s^2}{\sigma_s^2 + \frac{\sigma_p^2 + \sigma_e^2}{k}} \]

该公式揭示了随着聚合标注人数 \(k\) 增长时系统噪声的衰减规律，首次为偏好工程给出了定量的人力预算标度曲线。

4. 结合多模态大模型的合成偏好难度分流机制 为验证合成判别（RLAIF）在跨模态环境下的替代可行性，系统引入 GPT-4o（文本）与端到端音频大模型 GPT-4o-Audio-Preview。每组 prompt 在两种模态下分别采集 10 次独立的 1-100 连续评分。核心机制在于利用模型判别的置信幅度作为人类共识度的前置过滤器：当模型对两个响应的评分差值较大时，意味着样本属于“语义/表达明确好坏”的区间；反之当差值接近于零时，意味着响应处于模棱两可的高争议区间。通过将 AI 判别分差与人类标注的真实 ICC 挂钩，构建样本自适应分流机制。

损失函数 / 训练策略¶

虽然本研究聚焦于评测协议与认知机理，但其收集的数据直接用于训练奖励模型。在针对原始评分进行多变量建模时，采用线性混合效应回归（Linear Mixed-Effects Model, LMM），其拟合公式为：

\[ \text{Rating} = \beta_0 + \beta_1 \cdot \text{Order} + \beta_2 \cdot \text{Modality} + \beta_3 \cdot \text{Length} + \beta_4 \cdot (\text{Modality} \times \text{Length}) + u_{\text{stimulus}} + u_{\text{participant}} + \epsilon \]

该模型以音频为基准水平（Reference Level），通过限制性极大似然估计（REML）求解，利用 2,000 次 Bootstrap 重采样构建 95% 置信区间，为精确分离近因效应、长度偏差与模态主效应提供了统计推断保障。

实验关键数据¶

主实验¶

实验招募了 106 名母语为英语的合格被试（排除注意力检查失败与未完成者后，最终有效样本 94 人，其中文本组 48 人、音频组 46 人，每条刺激项获得 8–10 份独立打分）。

下表汇报了 LMM 固定效应模型对原始评分的预测系数估计（以音频模态为参考系）：

预测变量 (Predictor)	回归系数 \(b\)	95% 置信区间	\(p\) 值	核心统计含义
截距 (Intercept)	74.80	[70.72, 78.87]	< .001	音频基准平均打分水平
先呈现项 (Presented first)	-2.61	[-4.65, -0.58]	.012	显著近因偏差：后呈现项评分高 2.61 分
文本模态 (Modality: Text)	-6.21	[-11.28, -1.14]	.017	文本标注者整体给分相对音频偏保守严苛
字符长度 (\(z\)-score)	3.35	[1.10, 5.60]	.004	基础长度偏好：长回答获得更高评分
试次轮次 (\(z\)-score)	0.03	[-1.02, 1.07]	.960	无疲劳衰减：整个标注会话质量高度稳定
先呈现 \(\times\) 模态交互	-0.51	[-3.42, 2.40]	.732	时序近因效应在文本与音频中强度完全一致
模态 \(\times\) 字符长度交互	1.53	[0.03, 3.02]	.045	模态调节长度偏差：文本长度效应比音频高约 40%
模态 \(\times\) 试次轮次交互	0.90	[-0.59, 2.39]	.236	两模态在标注过程中均未发生打分漂移

下表展示了文本与语音模态在不同标注规模下的组内相关系数与一致性度量（Table 2）：

可靠性度量指标	音频模态 (Audio)	文本模态 (Text)	置换检验 \(p\) 值	结论与解释
平均每刺激项标注人数 \(k\)	9.2	8.9	—	两组样本量严格均衡
单人可靠性 \(\text{ICC}(2,1)\)	0.333 [0.286, 0.365]	0.295 [0.250, 0.325]	.127	单一标注者可靠性极低，二者无统计差异
群体可靠性 \(\text{ICC}(2,k)\)	0.821 [0.787, 0.841]	0.788 [0.748, 0.811]	.113	聚合 ~9 人打分后达到良好一致性水平
Krippendorff's \(\alpha\) (连续)	0.315 [0.230, 0.388]	0.228 [0.157, 0.298]	.069	未校正协变量下的连续分量一致性偏低
Krippendorff's \(\alpha\) (有序)	0.157 [0.109, 0.206]	0.217 [0.167, 0.268]	.119	离散化为 A/平局/B 后的有序一致性显著降低
Krippendorff's \(\alpha\) (名义)	0.010 [-0.007, 0.026]	0.031 [0.012, 0.049]	.437	呈现顺序平衡抵消后名义一致性接近于零

消融与横向对比实验¶

针对大模型合成打分能力与 PRISM 真实交互评测基线的对比，实验汇总如下表（Table 3 & Table 4）：

对比维度 / 实验组别	均值差异 \(\bar{d}\) / 统计量	统计检验 \(p\) 值	实验发现与洞察
AI-人类绝对误差 (音频 MAE)	12.27	—	端到端语音模型 GPT-4o-Audio 逼近人类打分
AI-人类绝对误差 (文本 MAE)	14.29	—	文本模态下大模型打分偏离人类程度更大
文本 vs 音频 MAE 差异 (LMM)	2.02	.035	音频模态下 AI 与人类打分契合度显著更优
PRISM 交互原值 vs AI-Text	-1.84	.015	离线 AI 文本打分轻微高估对话质量
PRISM 交互原值 vs AI-Audio	-9.18	< .001	离线 AI 音频打分系统性偏向更严苛打分
PRISM 交互原值 vs 人类-文本	8.03	< .001	离线文本第三方标注者打分系统性偏低
PRISM 交互原值 vs 人类-音频	1.15	.374	人类听音频与交互发起者的原生满意度最契合
AI 区分度预测人类一致性回归 \(B\)	0.014	< .001	AI 给出的分差越大，人类标注一致性 ICC 显著更高
AI 分差与人类 ICC 相关 (音频)	Spearman \(r = 0.23\)	.020	合成评分分差可有效预警音频标注一致性
AI 分差与人类 ICC 相关 (文本)	Spearman \(r = 0.38\)	< .001	合成评分分差对文本标注难度具备更强预测力

关键发现¶

跨模态胜者一致性接近随机猜测：在 0 阈值下，对于完全相同的 100 个 Prompt，文本评测均值胜者与音频评测均值胜者的重合度仅有 53%（二项式检验对比 50% 随机基线，\(p = 0.31\)），在统计学上无法拒绝无偏假设。只有当设定严苛的分数差距阈值（例如仅保留分差大于 10–15 分的明显碾压样本）时，中英双模态判断才收敛。
决策阈值出现模态压缩：当标注者判定非平局胜者时，文本模态下的平均分差高达 41.7 分（中位数 34.0），而音频模态下的胜者分差仅为 27.9 分（中位数 20.0，Mann-Whitney \(U = 150582, p < 0.001\)）。说明音频倾听给标注者带来的心理辨别门槛明显收窄。
长度偏差受到音频时序的物理抑制：在控制模型质量下，更长的回答在两个模态中都会增加得分，但文本模态受长度驱动的膨胀系数（\(b = 4.92\)）比音频模态（\(b = 3.52\)）高出约 40%（交互项 \(p = 0.045\)）。音频的恒定播放节奏阻止了视觉跳读与“字多即好”的快速启发式误导。
质性评价视角分化：通过对 658 条被试打分理由进行 TF-IDF 与卡方检验，发现音频被试显著高频使用 user（\(p < .001\)）和 help（\(p = .002\)），更侧重“这是否真正帮到了对话中的那个人”；而文本被试显著高频使用 detail（\(p < .001\)）和 response（\(p < .001\)），体现出偏向分析内容深度与信息详尽度的文本中心视角。

亮点与洞察¶

首次给出偏好标注的 ICC 阶梯标度法则：明确指出单人偏好标注的信度不可接受（ICC 仅 ~0.3），必须由至少 3 人聚合才能达到及格线（中等信度），而达到良好科研与生产级对齐标度（ICC \(\ge 0.80\)）需要至少 9 名独立标注者。这为业界 RLHF / PbRL 数据工程制定采集预算提供了可复现的理论依据。
警示了将文本对齐数据直接 TTS 化用于语音对齐的巨大风险：跨模态胜者仅 53% 的重合度直接证伪了当前主流工作中“拿文本偏好数据转 TTS 即等于语音偏好数据”的偷懒做法；若直接采用文本标定的二值化阈值切分音频，将导致大量伪平局或虚假翻转，从而在奖励模型训练中注入系统性噪声。
发现大模型分歧度是天然的人类标注分流器：利用 GPT-4o 系列的大模型离线合成评分差距，能够以统计显著度预判人类标注者的共识度。这使得自动化过滤掉 70% 极易达成共识的简单样本成为可能，将有限的人类预算集中投入到大模型判断微弱的高争议边界用例中。

局限与展望¶

合成语音的声学多样性受限：实验为严控混淆，全部使用单一音色（Kokoro 的 af_heart）且排除了口音、情感副语言、说话人重叠与背景杂音；在更接近真实人际对话的自然语音交互中，语音声学特质可能带来比语义更大的方差。
缺乏安全与拒答场景覆盖：实验筛选剔除了攻击性、冒犯性与潜在敏感内容，因此结论无法直接外推到语音大模型的越狱防护与安全性拒答等极端对齐边界。
单向监听与真实双工交互的落差：评估者是以第三方旁听者的视角回放 TTS 语音，而非实时参与口语交谈；未来需要基于全双工对话场景，进一步探究动态打断与延迟容忍度对偏好的动态影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性开展受控跨模态偏好研究，引入心理测量学 ICC 工具解决 PbRL 标注标度问题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 94 名被试完整行为轨迹、多模态大模型对齐、混合效应回归分析与质性语义检验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构极其严密，统计报告规范详实，对局限与威胁性分析冷静客观。
价值: ⭐⭐⭐⭐⭐ 为语音多模态大模型对齐与奖励建模敲响警钟，给出了直接指导数据采集工程的量化标度法则。