InterPol: De-anonymizing LM Arena via Interpolated Preference Learning¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理 / 模型评估与安全
关键词: 大语言模型评估, 匿名对决, 身份识别, 模型插值, 偏好学习
一句话总结¶
本文提出基于模型插值与三元组偏好学习的去匿名化框架 INTERPOL,通过在微调复制模型与基座之间平滑插值合成难度可控的硬负例,训练目标专用的响应身份检测器,不仅在跨模型族与同族对比中大幅超越传统统计基线,更证实了攻击者可借助身份识别显著降低 Arena 竞技场操纵成本的严峻安全隐患。
研究背景与动机¶
随着大语言模型(LLM)的迅速普及与能力的飞跃,静态评估基准(如 MMLU、HumanEval 等)正日益面临测试集污染与难以覆盖开放式生成场景的严重局限。以 LM Arena 为代表的基于人类对决偏好排名的众包评估机制,已成为当前衡量前沿大模型实际对话能力的核心基础设施。该范式的基础假设是响应的双盲匿名性:用户仅根据模型回答的客观质量决定胜负票,模型身份被严格隐去,从而保证 Elo 评分的客观与公信力。
然而,已有初步探索表明模型回答可能无意间泄露来源特征,但主流认知普遍认为这类泄露主要依赖浅层文本统计线索(例如词袋模型 BoW、TF-IDF 或句长分布),这类表层特征在同系列模型(如 GPT-4o 与 GPT-4o-mini)、性能相近模型以及平台引入样式与长度偏差校正后极易失效且易被防御方下权过滤。这就引出了一个关乎评估生态根基的严肃问题:在抹除浅层统计线索与风格差异之后,匿名模型响应是否依然蕴含深层、不可消除的模型特异性行为表征?更先进的去匿名化学习方法是否能够穿透盲测防御并形成实质性的榜单操纵威胁?
本文从偏好学习的视角切入这一挑战,认为识别模型响应的本质是让检测器在给定查询下对目标模型的回答赋予高于任意竞争模型的偏好分。面对常规采集负例难度离散、区分度过低的瓶颈,核心 idea:通过对目标模仿模型与初始基座进行权重空间连续插值,系统性合成难度可控的过渡性硬负例,并结合自适应难度阶梯与三元组偏好学习训练目标检测器,实现深层模型行为指纹的鲁棒识别与高效榜单干预。
方法详解¶
整体框架¶
INTERPOL 的核心流程由两大部分构成:基于模型蒸馏与权重插值的硬负例可控合成机制,以及基于边界感知的自适应渐进式三元组偏好学习训练。针对给定的查询集,框架首先利用目标模型的 API 输出对轻量级基座进行微调(离线策略知识蒸馏)得到复制模型,随后在权重空间将复制模型与基座模型按比例平滑插值,生成介于基座与目标风格之间的过渡性硬负例回答;接着构建包含目标回答、插值硬负例与语料库最相似非目标回答的三元组,输入到基于奖励模型架构的检测器中,通过多阶段递增插值难度的课程学习实现鲁棒去匿名化判别。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询 q"] --> B["离线知识蒸馏与目标复制<br/>监督微调基座模型模仿目标输出"]
B --> C["权重空间插值与硬负例合成<br/>平滑调节难度因子 α 生成过渡回答"]
C --> D["语义相似度检索最难负例<br/>句子编码器嵌入筛选最相似非目标样本"]
D --> E["边界感知自适应三元组偏好学习<br/>依据判别边界动态切换成对与三元组目标"]
E --> F["递进式课程学习优化<br/>从 α1=0.5 到 α2=0.75 逐步提升判别硬度"]
F --> G["目标模型身份判别器 fθ<br/>输出鲁棒标量偏好分数"]
关键设计¶
1. 离线知识蒸馏与目标复制:消除黑盒目标内部依赖构建基础模仿者
由于攻击者或审计者仅能通过公开 API 访问目标模型 \(M^*\),无法获取其内部权重或隐层表征,直接学习精细的连续判别边界十分困难。为解决这一数据孤立痛点,INTERPOL 首先利用轻量级开源基座模型(如 Phi-4-mini-instruct),以标准交叉熵因果语言模型损失在目标模型真实响应集上进行监督微调(SFT): $\(\hat{M}^* = \arg\min_\phi \frac{1}{|D|} \sum_{(q_i, y_i^*) \in D} \mathcal{L}_{\text{CE}}(M_\phi(q_i), y_i^*)\)$ 训练完成后,得到的复制模型参数 \(\hat{\phi}_{\text{copy}}\) 捕获了目标模型的整体语域风格、组织逻辑与偏好表达习惯,成为后续构建精细对抗负例的锚点。
2. 权重空间插值与硬负例合成:突破离散负例瓶颈实现难度精确调控
传统对比学习若仅采用其他独立模型的回答作为负例,往往由于模型能力、主题偏差或行文习惯差异过大而使得判别任务过于平凡,检测器难以学到底层细粒度特征。INTERPOL 利用模型权重算术在参数空间的平滑性,将初始未微调参数 \(\phi_{\text{init}}\) 与复制模型参数 \(\hat{\phi}_{\text{copy}}\) 进行线性插值: $\(\tilde{\phi}_\alpha = (1 - \alpha) \phi_{\text{init}} + \alpha \hat{\phi}_{\text{copy}}, \quad \alpha \in [0, 1]\)$ 随着难度控制超参数 \(\alpha\) 从 0 单调增加至 1,生成的响应 \(\tilde{y}_i^\alpha = \tilde{M}_\alpha(q_i)\) 在语义嵌入相似度上单调逼近目标模型真实响应,困惑度(PPL)亦单调下降。这使得模型在无需调用昂贵外部 API 的前提下,能够合成任意细粒度难度的过渡性硬负例,满足了严格 preference order \(0 < \Delta(q, \tilde{y}^\alpha) < \Delta(q, y^o)\) 的构造需求。
3. 语义相似度检索最难负例:锚定现实候选池的语义最近边界
为了保证训练信号不仅对抗插值模型,还能有效区分实际存在的真实竞争大模型,INTERPOL 在初始多模型语料库中引入了语义相似度硬负例筛选。给定目标响应 \(y_i^*\) 及来自所有其他模型集合的候选响应集合 \(Y_i = \{y_i^k \mid y_i^k \sim M_k(q_i), \forall M_k \in \mathcal{M} \setminus \{M^*\}\}\),采用预训练句子编码器(all-MiniLM-L6-v2)提取高维语义嵌入,选取余弦相似度最高的一项作为基准非目标硬负例: $\(y_i^o = \arg\max_{y_i^k \in Y_i} \text{sim}(e(y_i^*), e(y_i^k))\)$ 该设计将最难的真实对抗样本 \(y_i^o\) 与插值生成的伪样本 \(\tilde{y}_i^\alpha\) 并置,共同构成信息量充沛的信息三元组 \(\mathcal{T}_\alpha = \{(q_i, y_i^*, \tilde{y}_i^\alpha, y_i^o)\}_{i=1}^N\)。
4. 边界感知自适应三元组偏好学习:依据判别置信度自适应切换优化目标
在三元组偏好优化中,若检测器尚未对基础样本形成有效区分,过早施加多重紧耦合的三元组约束易导致训练不稳定或梯度震荡。INTERPOL 引入样本级判别边界 \(m_i = f_\theta(q_i, y_i^*) - f_\theta(q_i, y_i^o)\)。当 \(m_i < 0\) 时,表明检测器当前甚至无法正确区分真实目标与外部最相似负例,此时算法自适应回退至简单的成对 Bradley-Terry 交叉熵损失 \(\mathcal{L}_{\text{pref}}(q_i, y_i^*, y_i^o)\);仅当 \(m_i \ge 0\) 时,才激活复合三元组目标 \(\mathcal{L}_{\text{trp}}^i\): $\(\mathcal{L}_{\text{trp}}^i = \lambda_1 \mathcal{L}_{\text{pref}}(q_i, y_i^*, \tilde{y}_i^\alpha) + \lambda_2 \mathcal{L}_{\text{pref}}(q_i, \tilde{y}_i^\alpha, y_i^o) + \lambda_3 \mathcal{L}_{\text{pref}}(q_i, y_i^*, y_i^o)\)$ 通过权衡三项偏好损失(超参设定为 \(\lambda_1=0.3, \lambda_2=0.3, \lambda_3=1.0\)),检测器稳健地强制拉开“目标 > 插值负例 > 外部硬负例”的有序打分间距。
5. 递进式课程学习优化:多阶段难度爬坡巩固高精检测能力
为了让检测器平稳适应高难度负例,INTERPOL 设计了两阶段迭代式训练策略。第一阶段在较为宽松的难度系数 \(\alpha_1 = 0.5\) 下微调判别基座(GRM-Llama-3.2-3B),学习率设为 \(1 \times 10^{-5}\),建立初步的目标响应评分分布分离;第二阶段继承第一阶段最优检查点,将难度因子提升至 \(\alpha_2 = 0.75\),并将学习率减半至 \(5 \times 10^{-6}\) 进行精细化调优。这一阶梯式递进过程显著避免了极端对抗样本带来的模式崩溃,驱使检测器逐层挖掘超越浅层词汇统计的连贯句法与深层解释性语义特征。
损失函数 / 训练策略¶
- 检测器微调目标:对样本三元组集合 \(\mathcal{T}_\alpha\),最小化全局平均损失 \(\mathcal{L}_{\text{fin}} = \frac{1}{|\mathcal{T}_\alpha|} \sum_{i \in \mathcal{T}_\alpha} \mathcal{L}_{\text{final}}^i\),其中 \(\mathcal{L}_{\text{final}}^i = \mathcal{L}_{\text{trp}}^i\)(当 \(m_i \ge 0\))或 \(\mathcal{L}_{\text{pref}}(q_i, y_i^*, y_i^o)\)(当 \(m_i < 0\))。成对偏好采用 Bradley-Terry 负对数似然:\(\mathcal{L}_{\text{pref}}(q, y_w, y_l) = -\log \sigma(f_\theta(q, y_w) - f_\theta(q, y_l))\)。
- 训练超参数与环境:检测器基座为 GRM-Llama-3.2-3B(奖励模型架构),复制模型为 Phi-4-mini-instruct;使用 AdamW 优化器(\(\beta_1=0.9, \beta_2=0.999\), weight decay 0.01),余弦学习率衰减,100 步预热。每个阶段训练 5 个 epoch,有效 batch size 为 8(batch size 2,梯度累积 4),FP16 混合精度结合 DeepSpeed ZeRO-2,在单张 NVIDIA RTX 6000 Ada (96GB) 上完成训练。
实验关键数据¶
主实验¶
在涵盖 6 个主流模型家族、12 款模型构建的测试集上,针对三款主力前沿模型(GPT-4o、Gemini-2.5-Pro、Claude-Sonnet-4)分别在 LM Arena 人类真实偏好查询与 Alpaca 指令集上评估身份识别准确率(Accuracy)与受试者工作特征曲线下面积(AUROC)。对决测试中每组包含一个目标模型回答与一个非目标模型回答,遍历其余 11 款竞争模型。
| 目标模型 | 方法 | Arena 准确率 | Arena AUROC | Alpaca 准确率 | Alpaca AUROC |
|---|---|---|---|---|---|
| GPT-4o | Length-Word | 0.556 | 0.611 | 0.493 | 0.551 |
| Length-Char | 0.564 | 0.610 | 0.495 | 0.552 | |
| TF-IDF | 0.697 | 0.766 | 0.655 | 0.704 | |
| Bag-of-Words (BoW) | 0.709 | 0.772 | 0.631 | 0.692 | |
| Neural-Based (DeBERTa-v3) | 0.898 | 0.888 | 0.726 | 0.767 | |
| LLM-as-a-Judge (Gemma-2-27B) | 0.822 | — | 0.679 | — | |
| INTERPOL (本文) | 0.908 | 0.920 | 0.887 | 0.875 | |
| Gemini-Pro | Length-Word | 0.792 | 0.830 | 0.618 | 0.647 |
| TF-IDF | 0.844 | 0.926 | 0.780 | 0.851 | |
| BoW | 0.887 | 0.948 | 0.798 | 0.911 | |
| Neural-Based | 0.908 | 0.940 | 0.828 | 0.894 | |
| LLM-as-a-Judge | 0.958 | — | 0.620 | — | |
| INTERPOL (本文) | 1.000 | 0.979 | 0.946 | 0.967 | |
| Sonnet-4 | Length-Word | 0.639 | 0.621 | 0.525 | 0.529 |
| TF-IDF | 0.810 | 0.902 | 0.763 | 0.834 | |
| BoW | 0.851 | 0.929 | 0.767 | 0.861 | |
| Neural-Based | 0.883 | 0.908 | 0.825 | 0.899 | |
| LLM-as-a-Judge | 0.902 | — | 0.631 | — | |
| INTERPOL (本文) | 0.946 | 0.976 | 0.982 | 0.954 |
消融实验¶
针对负例采样机制(N: Negative)、三元组损失(T: Triplet)、自适应边界切换(A: Adaptive)以及多阶段迭代训练(I: Iterative)四大关键组件,论文在三款主力前沿模型上进行了详细消融实验(报告平均指标)。
| 负例策略 (N) | 三元组损失 (T) | 迭代训练 (I) | 自适应边界 (A) | 平均准确率 | 平均 AUROC | 配置说明 |
|---|---|---|---|---|---|---|
| Hard (最相似负例) | — | — | — | 0.863 | 0.882 | 基础成对偏好微调基线 |
| Hard | ✓ | — | — | 0.914 | 0.931 | 引入单阶段三元组偏好损失 |
| Easy (易区分负例) | ✓ | — | ✓ | 0.887 | 0.896 | 引入自适应但使用简单负例 |
| Random (随机负例) | ✓ | — | ✓ | 0.928 | 0.920 | 引入自适应但使用随机负例 |
| Hard | ✓ | — | ✓ | 0.935 | 0.951 | 单阶段完整自适应三元组 |
| Hard (本文完整版) | ✓ | ✓ | ✓ | 0.951 | 0.958 | 完整双阶段课程插值三元组 |
此外,在模拟 LM Arena 竞技场操纵任务中(利用 140k 真实对决数据重构 Bradley-Terry/Elo 动态),攻击者利用检测器实行“目标胜投 + 敌手名单(初始前 3 名)阻击”策略时,不同检测器推动模型升至第 1 名所需的总交互查询数(括号内为有效操纵投票数)表现出巨大差距:
| 识别检测器 | o3-2025-04-16 (初始 #5) 升至 #1 | deepseek-v3-0324 (初始 #15) 升至 #1 | llama-4-scout-17b (初始 #45) 升至 #1 |
|---|---|---|---|
| Length-Char | 26,400 (2,188) | 76,900 (6,425) | 109,100 (9,142) |
| TF-IDF | 21,800 (2,468) | 72,200 (8,131) | 85,300 (9,686) |
| BoW | 22,200 (2,631) | 69,500 (8,188) | 85,200 (10,082) |
| Neural-Based | 22,400 (2,911) | 62,000 (8,011) | 70,600 (9,124) |
| LLM-Judge | 22,500 (2,916) | 62,600 (8,073) | 70,600 (9,100) |
| INTERPOL | 22,200 (3,066) | 59,600 (8,137) | 64,700 (8,871) |
关键发现¶
- 同族辨识优势显著:在极易混淆的同家族模型对比中(如 GPT-4o 对比 GPT-4o-mini、Sonnet-4 对比 Sonnet-3.5),统计基线出现断崖式性能崩溃(例如 TF-IDF 识别 GPT-4o 对 GPT-4o-mini 的准确率仅 0.645,Neural-Based 仅 0.590),而 INTERPOL 分别保持在 0.740 与 0.915,证明其捕捉的是超越家族共性代码风格的深层专属指纹。
- 紧邻 Elo 竞争池同样难以逃脱:在选取真实 Arena 榜单紧邻高分段模型(如 Grok-4-Fast、DeepSeek-V3.1、GLM-4.6、Kimi-K2 等,Elo 均在 1416–1428 窄区间内)构建的 Close-Elo 严苛评估中,INTERPOL 在 GPT-4o 与 Sonnet-4 上分别取得 0.949 与 0.989 的极高判别准确率,彻底推翻了“识别率高仅源于高低能力代差”的质疑。
- 纯响应蕴含绝对身份信号:在切除输入 query、仅以候选响应作为检测器输入的单边消融实验中,Gemini-Pro 与 Sonnet-4 的识别准确率分别维持在 0.989 与 0.981(甚至略高于带 query 模式),证实模型回答中具有自足的固有行为标记,而非仅仅是针对提示词回答得好与差的区别。
- 显著降低恶意操纵成本:在竞技场晋升模拟中,相较于纯目标投票,结合敌手阻击(Enemy-list strategy)的协同投票可将推动 o3 从第 5 名升至第 1 名所需的总交互量从 45,800 次直接削减至 22,200 次(降幅达 51.5%),若仅升至第 2 或第 3 名交互降幅更是达到 88%–90%。INTERPOL 极高的识别率避免了向无关对决盲目耗费查询预算。
亮点与洞察¶
- 将去匿名化重构为连续偏好对齐问题:跳出了传统基于词频/TF-IDF 统计分类或零样本 LLM-Judge 的常规思维,巧妙借助模型权重插值在参数空间制造无限且连续平滑的难度梯度,以近乎零成本的合成数据训练出超灵敏判别器。
- 可解释性归因击穿浅层假象:基于局部擦除(Erasure-based attribution)的实验揭示,移除 INTERPOL 认定的 top-10 关键高权重词导致判别边界下降 11.567,远超 TF-IDF(6.452)与随机擦除(6.195);更重要的是,高权词汇并非罕见特殊字符,而是“improve”、“adherence”、“treatment”等构筑特定解释逻辑段落的普通词汇与句式组织结构。
- 极佳的跨分布与解码超参泛化性:在 Alpaca 训练且跨域至 Arena 测试时 AUROC 仍稳定在 0.838–0.976;当目标模型解码策略从贪婪解码(Greedy)切换为高随机采样(temp=0.7, top-p=0.9)时,判别准确率与 AUROC 波动幅度不足 0.3%,展现出极强的抗干扰鲁棒性。
局限与展望¶
- 语言与交互模态边界:目前评测聚焦于纯英文单轮文本对话场景,尚未覆盖多轮长上下文博弈、代码专门评估以及带有图文交错的多模态 Arena 评测环境。
- 离线环境重构与真实部署差距:榜单模拟基于静态 Bradley-Terry 模型重构与理想化随机匹配假设,实际 LM Arena 线上服务具备复杂的动态调度、IP/账号限流策略与更隐蔽的投票审计机制,真实攻击成本仍需更严密的防御视角验证。
- 复制模型参数量与极端前沿差距:当前复制模型统一采用轻量级 4B 级别基座(Phi-4-mini/Qwen3),虽然对 GPT-4o 与 Gemini-2.5-Pro 表现出优异插值质量,但在针对参数量更大、推理链更加隐蔽的新一代大模型时,可能需要同比例扩充复制模型能力以保障插值连续性。
相关工作与启发¶
- vs. 基于词袋与浅层统计的逆向归因 (Huang et al., 2025; Salton & Buckley, 1988):传统方案依赖 n-gram 与词频统计,极易被平台已上线的长度与样式正规化算法过滤,且在同系列小模型或紧邻高分段模型对比中准确率跌至 50% 附近;INTERPOL 通过端到端表征与偏好学习,精准锁定语义结构与句式特征,性能提升逾 32%。
- vs. 神经多分类溯源模型 (Tay et al., 2020; Antoun et al., 2024):常规溯源分类器(如基于 DeBERTa 的 K 分类器)高度依赖固定候选池监督,缺乏对未知模型的泛化能力且极易在微小风格迁移下过拟合;INTERPOL 将问题解耦为目标专用的二元偏好排序,借助模型插值构建平滑决策超平面,跨域与跨模型泛化性能更优。
- vs. 主动数字水印与指纹嵌入 (Kirchenbauer et al., 2023; Xu et al., 2024):水印技术要求在模型解码端主动注入偏差信号或修改 logits;INTERPOL 揭示的是模型自然预训练与微调沉淀下的无意识“固有行为指纹”,证明即使在完全被动的黑盒输出中,大模型的匿名性壁垒也已被实质性攻破。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将模型权重插值与偏好学习引入 LLM 去匿名化与竞技场漏洞挖掘,视角极具颠覆性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大前沿目标、12 款对比模型、同族深挖、紧邻 Elo 窄域验证、对抗操纵模拟与可解释性擦除,论据坚如磐石。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰、逻辑链条严丝合缝,理论推导与经验证据结合得当。
- 价值: ⭐⭐⭐⭐⭐ 直击全球大语言模型评测基础设施的核心安全假设,对推动下一代抗操纵评估平台设计具有重大现实预警价值。