Response Time Enhances Alignment with Heterogeneous Preferences¶
会议: NeurIPS 2026
arXiv: 2605.06987
OpenReview: https://openreview.net/forum?id=lSacVQkH6p
代码: 待确认
领域: 对齐/RLHF
关键词: 大模型对齐, 异质性偏好, 漂移扩散模型, 响应时间, 功利主义社会福利
一句话总结¶
针对匿名异质标注者场景下传统二元偏好对齐无法识别总体平均偏好的根本缺陷，本文引入无感记录的响应时间并基于漂移扩散模型构建 Richardson 外推两阶段一致估计器，突破了选择数据的失真下界。
研究背景与动机¶
在大语言模型（LLM）的对齐流程中，RLHF、DPO 及其变体构成了现代偏好微调的标准范式。这套体系的统计学支柱普遍建立在 Bradley–Terry 假说之上，即假定所有标注数据均采样自一个单一、同质的奖励函数。然而在工业级真实标注管线中，偏好池汇总了海量品味各异、专业度不一且高度匿名的标注者，每个个体往往仅提交极少甚至单次比对反馈。当真实的底层偏好呈现群体异质性时，标准的 Bradley–Terry 最大似然估计会发生不可忽视的结构性错配——数学上它渐近收敛于 Borda 计票规则聚合，而非反映社会整体福利最大化的功利主义平均效用，这使得单纯依赖二元选择标签在理论上无法识别真实的总体平均偏好。
为了化解异质偏好带来的失真，现有工作尝试为每位标注者拟合个性化偏好向量，但这严重受制于真实工业场景中用户 ID 匿名、多轮交互轨迹缺失以及缺乏合理效用可比性标尺的困境。社会选择理论中阿罗不可能定理与孔多塞悖论的深层根源，正在于将人类效用视作纯粹不可比的序数信息。若要恢复兼顾效率与公平的功利主义聚合目标，系统必须拥有一种能够量化偏好强度的物理机制。
认知心理学与神经科学中成熟的漂移扩散模型（DDM）为这一难题提供了破局契机：人类在决策时，证据积累过程由效用差驱动的布朗运动漂移控制，效用差距越悬殊，决策响应时间越短。核心 idea：将响应时间作为无需用户追踪且零采集成本的正交测量信号引入偏好学习，利用拉普拉斯变换的高频渐近性质构建 Richardson 外推边界一致估计器，并通过解析反演权重构造伪效用估计，从而在完全匿名且单人单次选择的极端异质环境下严格恢复总体平均偏好。
方法详解¶
整体框架¶
本文针对匿名异质群体偏好学习问题，建立了一套从连续时间序列一阶穿越统计到离散回归的一致估计管线。每位匿名标注者 \(i\) 接收一对候选响应 \((x_i, y_i)\)，在认知层面依据个体效用差 \(v_i = \psi_i^\top \theta_i\) 驱动决策证据积累，当漂移布朗运动首次触碰对称决策边界 \(\pm b\) 时输出二元选择 \(z_i \in \{+1, -1\}\) 并消耗响应时间 \(t_i\)。系统在完全不感知标注者身份的前提下，先利用经验拉普拉斯变换的双尺度衰减行为消除主导偏倚、解耦出未知的共有决策边界估计 \(\widetilde{B}_n\)，再结合级数反演求得的加权函数 \(w_{\widetilde{B}_n}(t_i)\) 形成伪效用标量，最后通过普通最小二乘法（OLS）回归恢复总体平均偏好向量 \(\theta^\star\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["匿名多标注者决策观测<br/>特征差分 & 二元选择 & 响应时间"] --> B["双尺度经验拉普拉斯变换<br/>多尺度高频尾部统计量构造"]
B --> C["Richardson外推边界估计<br/>消除主导偏差并一致估计决策阈值"]
C --> D["解析比值级数权重加权<br/>条件独立解耦与无偏伪效用估计"]
D --> E["正规方程最小二乘求解<br/>总体平均偏好一致性恢复"]关键设计¶
1. 解析比值级数权重：利用首发时间条件独立性解耦效用强度 传统偏好学习直接抛弃时间维度，而 DDM 在固定单体漂移 \(v\) 与边界 \(b\) 下具备优良性质：选择输出 \(Z\) 与响应时间 \(T\) 条件独立，且期望选择满足 \(\mathbb{E}[Z \mid v, b] = \tanh(bv)\)。为了构造漂移 \(v\) 的无偏点估计，需要寻找仅依赖响应时间 \(T\) 的光滑变换函数 \(w_b(t)\)，使得 \(\mathbb{E}[Z w_b(T) \mid v] = v\) 恒成立。由条件独立性可知该约束等价于 \(\mathbb{E}[w_b(T) \mid v] = v / \tanh(bv)\)。通过 Girsanov 定理将非零漂移测度变换回零漂移基准，并对零漂移首发时间密度函数进行拉普拉斯反变换与 Mittag–Leffler 级数展开，推导出的唯一光滑权重具备解析比值形式：
其中常数序列 \(c_k(b) = (2k+1)b\)。该权重巧妙利用了瞬时响应与长迟疑响应在尾部指数衰减上的非对称结构，赋予极端快响应和纠结慢响应精准校准的标量修正，使得加权积 \(z_i w_b(t_i)\) 成为个体漂移 \(v_i\) 的无偏伪观测。
2. 双尺度 Richardson 外推：消除拉普拉斯尾部的一阶非渐近偏倚 在真实应用中，决策阈值 \(b\) 反映标注人群的整体谨慎程度且事前未知。若直接从响应时间的经验拉普拉斯变换 \(\widehat{L}_n(\lambda) = \frac{1}{n} \sum_{i=1}^n e^{-\lambda t_i}\) 提取极限，由于理论总体变换在 \(\lambda \to \infty\) 时满足 \(\log L_b(\lambda) = -b\sqrt{2\lambda} + \log(2C_0) - \frac{bC_2}{2C_0\sqrt{2\lambda}} + O(\lambda^{-1})\)（其中常数 \(C_0 = \mathbb{E}[\cosh(bV)]\)），单尺度对数估计量 \(\widehat{b}_n = -\frac{\log \widehat{L}_n(\lambda_n)}{\sqrt{2\lambda_n}}\) 会残留由常数项 \(\log(2C_0)\) 引起的 \(\Omega(\lambda_n^{-1/2})\) 显著总体偏差，在有限样本下收敛缓慢。为此，本文设计了基于双尺度尺度收敛项的差分外推估计量：
当取 \(\lambda_n = (\log n)^{3/2}\) 时，双尺度对数差值精准对消了由异质性先验分布引入的次级常数项 \(\log(2C_0)\)，将渐近偏倚阶数压低至 \(O(\lambda_n^{-1})\)，不仅在数学上满足弱大数定律一致收敛至真实边界 \(b\)，更在有限样本下显著削减了估计方差。
3. 协方差解耦与 OLS 伪回归：高维线性偏好向量的稳健辨识 在线性上下文设定下，输入样本特征差分 \(\psi_i = \phi(x_i) - \phi(y_i) \in \mathbb{R}^d\)，个体漂移满足 \(v_i = \psi_i^\top \theta_i\)。由于不同标注者的偏好向量 \(\theta_i \sim G^*\) 各异，目标是恢复社会平均偏好 \(\theta^\star = \mathbb{E}[\theta_i]\)。算法利用外推估计的边界 \(\widetilde{B}_n\) 将每个二元样本转化为伪效用标量 \(\widehat{v}_i = z_i w_{\widetilde{B}_n}(t_i)\)，进而建立样本协方差矩阵 \(\widehat{Q}_n = \frac{1}{n} \sum_{i=1}^n \psi_i \psi_i^\top\) 与经验交叉矩 \(\widehat{m}_n = \frac{1}{n} \sum_{i=1}^n \psi_i \widehat{v}_i\)。利用包络引理证明插入误差 \(R_n = \frac{1}{n} \sum_{i=1}^n \psi_i z_i (w_{\widetilde{B}_n}(t_i) - w_b(t_i)) \xrightarrow{P} 0\)，使得线性回归估计量 \(\widehat{\theta}_n = \widehat{Q}_n^{-1} \widehat{m}_n \xrightarrow{P} Q^{-1} Q \theta^\star = \theta^\star\) 具备统计一致性，彻底跨越了仅凭选择数据时 Bradley–Terry 温度与漂移乘积不可识别的理论壁垒。
损失函数 / 训练策略¶
该框架采用两阶段即插即用（Plug-in）无迭代闭式计算流程，单次前向扫描完成全部推断，算力开销极低： - 阶段一（超参及边界提取）：设定拉普拉斯频域参数序列 \(\lambda_n = (\log n)^{3/2}\)，级数展开截断阶数设定为 \(K=100\)（因截断误差呈超指数衰减，在 \(K=100\) 时已逼近机器浮点精度）。对样本响应时间直接计算 \(\widehat{L}_n(\lambda_n)\) 与 \(\widehat{L}_n(4\lambda_n)\)，依外推闭式求解 \(\widetilde{B}_n\)。 - 阶段二（闭式普通最小二乘求解）： $\(\widehat{\theta}_n = \left( \sum_{i=1}^n \psi_i \psi_i^\top \right)^{-1} \sum_{i=1}^n \psi_i z_i w_{\widetilde{B}_n}(t_i)\)$ 在非退化特征分布且样本量 \(n \ge d\) 下，样本协方差矩阵几乎处处可逆，无需进行梯度下降或复杂凸优化求解。
实验关键数据¶
主实验¶
实验在合成异质偏好数据集（\(d=4\)，真实均值 \(\theta^\star=(0.25,-0.15,0.10,-0.30)\)，边界 \(b^\star=1.25\)）以及经典真实跨期决策基准（Amasino et al.，98名被试，共 13,793 次独立二元选择及真实反应时间）上展开，测试不同样本规模 \(n\) 下各估计器与真实总体目标间的均方误差（MSE）或余弦相似度（Cosine Similarity）。
| 数据集 / 设定 | 评估指标 | 本文方法 (DDM Plug-in) | 真实边界先验基线 (DDM Oracle) | 传统对齐基准 (Bradley–Terry MLE) | 表现差异分析 |
|---|---|---|---|---|---|
| 合成线性偏好 (Gaussian, \(n=10^6\)) | 参数 MSE (\(\downarrow\)) | \(2.1 \times 10^{-4}\) | \(1.9 \times 10^{-4}\) | \(2.3 \times 10^{-2}\) (平台期) | 本文收敛速度紧贴 Oracle，BT 陷入固有偏差地板 |
| 合成线性偏好 (Uniform, \(n=10^6\)) | 参数 MSE (\(\downarrow\)) | \(1.8 \times 10^{-4}\) | \(1.7 \times 10^{-4}\) | \(1.9 \times 10^{-2}\) (平台期) | 误差随 \(n\) 持续下降，突破二元选择信息瓶颈 |
| 合成线性偏好 (Laplace, \(n=10^6\)) | 参数 MSE (\(\downarrow\)) | \(2.5 \times 10^{-4}\) | \(2.2 \times 10^{-4}\) | \(3.1 \times 10^{-2}\) (平台期) | 在厚尾偏好先验下仍保持严格一致性 |
| 跨期决策真实数据 (\(n=1,000\)) | 余弦相似度 (\(\uparrow\)) | 0.995 | -- | 0.992 | 真实非严苛 DDM 数据下仍显著更优 |
| 跨期决策真实数据 (\(n=5,000\)) | 余弦相似度 (\(\uparrow\)) | 0.998 | -- | 0.993 (平稳饱和) | 传统 BT 基线在 0.993 停滞，本文逼近完美对齐 |
消融实验¶
实验对决策边界估计器在不同先验分布下的外推收敛性进行了消融验证（以 \(b^\star = 1.25\) 为真值，评估不同样本量 \(n\) 下的边界估计误差中位数及四分位距 IQR）。
| 估计器配置 | 漂移先验 | \(n=10^3\) 估计误差 | \(n=10^4\) 估计误差 | \(n=10^6\) 估计误差 | 收敛性与偏差表现说明 |
|---|---|---|---|---|---|
| 单尺度估计器 \(\widehat{b}_n\) (无外推) | Uniform | +0.284 | +0.215 | +0.138 | 存在 \(O(\lambda_n^{-1/2})\) 固有系统偏高偏差，收敛缓慢 |
| Richardson 外推 \(\widetilde{B}_n\) (本文) | Uniform | +0.042 | +0.015 | +0.002 | 消除主导常数偏差项，快速紧密贴合 \(b^\star=1.25\) |
| 单尺度估计器 \(\widehat{b}_n\) (无外推) | Beta (偏态) | +0.312 | +0.231 | +0.152 | 偏态分布下常数项增大，偏倚更加恶化 |
| Richardson 外推 \(\widetilde{B}_n\) (本文) | Beta (偏态) | +0.051 | +0.019 | +0.003 | 表现出高度先验无关性，偏差大幅压缩 |
关键发现¶
- 打破异质偏好的误差地板：传统 Bradley–Terry MLE 在面对异质群体时，由于其统计目标等价于 Borda 计票，在所有评估先验下无论样本量 \(n\) 增加到 \(10^6\) 还是 \(10^7\)，MSE 均在 \(10^{-2}\) 量级停滞；而引入响应时间的 DDM 估计器 MSE 呈理论 \(O(n^{-1})\) 速率持续递减，彻底打破了仅选择数据的不可识别屏障。
- 外推修正消除有限样本滞后：消融表明，单尺度拉普拉斯估计量因 \(\log(2C_0)\) 引起的正向偏差衰减极其缓慢；Richardson 外推法无需知道漂移分布矩 \(C_0\) 的真实值，通过频域尺度的代数差分即可抵消该项，在较小样本量（\(n=10^3\)）时便能将边界误差压减 80% 以上。
- 现实分布鲁棒性：在真实被试跨期选择数据中，即使人类反应时包含非决策启动耗时且决策分布仅近似符合 DDM，本文估计出的偏好方向余弦相似度仍高达 0.998，证实了响应时间对偏好强度的物理指示具备强鲁棒性。
亮点与洞察¶
- 社会选择理论与扩散过程的跨学科融合：针对阿罗不可能定理指出序数效用无法实现功利主义最优选择的本质困境，论文敏锐地借助神经科学中经典的 DDM 模型，将不可见的“效用强度”投射为物理时间维度的连续测度，在理论层面使整体失真比率（Distortion Rate）由下界大于 1 降为渐近最优的 1。
- 零成本的工业落地可行性：主流 LLM 评测平台与数据标注工具默认仅记录按钮点击结果；而获取每个选项的驻留/响应时间仅需前端极简的时间戳打点，无需追踪标注者持久账号或侵犯隐私，具有零改造成本即可大幅赋能对齐质量的潜力。
- 完全解耦的闭式推断范式：相较于将温度作为可学习参数参与神经网络联合反向传播的高复杂度方案，本文将边界估计与线性偏好回归解耦为两步解析计算，无需调优学习率即可保证全局统计一致性。
局限与展望¶
- 决策边界同质性假设：理论推导假设整个匿名群体共享统一的决策谨慎度边界 \(b\)。若标注者群体的注意力分散程度与谨慎度本身存在剧烈异质性（如部分被试存在随机乱点），论文证明该估计器会退化收敛至边界分布的本质下确界 \(b_-\)，未来需探索分层边界估计或聚类自适应松弛。
- 非决策时间延迟干扰：真实用户界面交互包含页面渲染、眼动阅读长文本等物理固定耗时（Non-decision Time），虽然附录探讨了平移校正，但在长文本生成比对等复杂任务中，非决策时间方差较大，仍需更细粒度的段落级交互建模。
- 向端到端大模型损失函数的推广：当前理论主要在表格模型和线性奖励回归框架下严格证明了一致性，如何将基于响应时间加权的伪效用有效内化到大语言模型的大规模参数微调目标（如加权 DPO 或在线 PPO 奖励塑形）中，是极具价值的后续工程方向。
相关工作与启发¶
- vs 传统 RLHF / DPO (Ouyang et al., 2022; Rafailov et al., 2023)：传统方法假定单一偏好并在二元比较数据上拟合单奖励，在群体异质时收敛到 Borda 计票偏离总体功利最大化；本文保留了单目标简洁性，通过引入响应时间作为正交监督信号，使得匿名异质环境下的平均偏好重新变得在统计上可识别。
- vs 混合奖励与个性化对齐 (Siththaranjan et al., 2024; Chidambaram et al., 2024)：以往解决异质性的方案依赖显式建模隐变量混合分布或要求用户标签持久跟踪，存在高计算开销与隐私追踪风险；本文证明即使每个标注者完全匿名且只贡献一次数据，借助响应时间亦能精准聚合总体效用。
- vs 决策反应时偏好推断 (Echenique et al., 2025; Sawarni et al., 2025)：既有关于 DDM 偏好估计的计量经济学研究通常依赖已知边界 \(b\) 的强假设；本文关键突破在于提出了未知共有边界下的双尺度 Richardson 外推一致估计器，完成了无需先验参数的闭环估计。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从统计学与决策扩散模型角度证明响应时间可解决匿名异质偏好下的总体均值不可识别问题，理论视角极为新颖。
- 实验充分度: ⭐⭐⭐⭐ 涵盖多种先验的合成线性/表格实验，并在真实人类心理物理学数据集上验证，但暂缺大模型预训练微调端到端评测。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨完备，从 Girsanov 测度变换到拉普拉斯渐近展开环环相扣，逻辑链条行云流水。
- 价值: ⭐⭐⭐⭐⭐ 为大模型数据工程指明了极具性价比的数据采集新方向，有力推动了社会选择福利理论在 AI 对齐中的实用化。