LLM-Auction: Generative Auction towards LLM-Native Advertising¶

会议: NeurIPS 2026
arXiv: 2512.10551
领域: AIGC检测
关键词: 大模型原生广告, 生成式拍卖机制, 偏好对齐, 机制设计, 一阶价格拍卖

一句话总结¶

本文提出了首个将拍卖机制与文本生成深度融合的学习型生成式拍卖框架 LLM-Auction，通过将广告分配转化为大模型与兼顾广告主价值及用户体验目标的偏好对齐过程，在单次前向推理中内化响应级外部性并实现高分配效率与优良博弈性质。

研究背景与动机¶

随着大语言模型（LLM）驱动的对话助手与 AI 搜索引擎逐渐成为用户获取信息的核心入口，如何在这类生成式场景中探索商业化变现路径成为工业界和学术界关注的焦点。现有的主流商业化实践多采用“外挂式”广告位，即在生成的自然语言回答外部附加固定的展示卡片或离散广告槽位。这种外挂模式虽易于工程部署，却完全割裂了广告与回答的语义逻辑，未能充分发挥 LLM 强大的上下文理解与自然语言生成能力。因此，将广告内容无缝、自然地融入回答上下文的“LLM 原生广告”（LLM-native advertising）被视为下一代在线广告范式。然而，这一范式的转变将传统拍卖的标的物从离散的槽位分配颠覆为大模型生成文本空间的概率分布，导致广义第二价格（GSP）等经典拍卖机制彻底失效。

为了在生成式场景下设计拍卖机制，近年来的工作主要采取“拍卖与生成解耦”的双阶段路线。前生成（Pre-generation）机制在模型生成回答之前就决定展示哪些广告，这必须预设广告插入的数量与结构模板，无法在生成过程中感知并建模回答内部的上下文互斥、共现以及语义流畅度等响应级外部性（externalities），容易造成生硬植入并严重伤害用户体验；而后生成（Post-generation）机制则针对每个候选广告或广告组合分别生成多个候选回答，再通过事后拍卖进行筛选或解码聚合，这种做法虽然具备上下文感知力，但推理开销随着广告主数量与候选集规模呈线性乃至指数级爆炸，在低延迟、高并发的工业级在线检索系统中完全无法落地。

针对“预设规则无法刻画复杂响应级外部性”与“多路候选中继推理延迟过高”之间的核心矛盾，本文的切入视角是：不再将拍卖与生成割裂为两个孤立阶段，而是让 LLM 自身直接扮演拍卖分配规则的角色。核心 idea：将广告分配直接形式化为大模型生成分布与兼顾商业收益和用户体验之机制目标的偏好对齐问题，通过交替迭代的奖励优化算法（IRPO）让模型内化响应级外部性，并配合高效的一阶价格支付规则，在仅需单次前向推理的极低开销下实现优良的激励相容性与分配效率。

方法详解¶

整体框架¶

LLM-Auction 将大模型原生广告拍卖建模为用户与模型之间的单轮交互博弈。给定包含用户查询 $x$、用户画像 $h$ 及候选广告集合 $\bm{a}$ 的上下文 $s=(x,h,\bm{a})$，以及广告主提交的出价向量 $\bm{b}=(b_1, \dots, b_n)$，机制的目标是输出一个广告植入响应 $y$，并在该响应的分布 $\pi_\theta(\cdot \mid s, \bm{b})$ 上实现社会福利与平台效用的最优平衡。整个框架的运行流程分为三个核心部分：首先，基于离线展现日志与完整生成文本构建兼顾广告收益（pCTR 与出价加权）与用户体验约束惩罚的响应级机制奖励模型；其次，通过迭代奖励-偏好优化（IRPO）算法在在线反馈收集与离线 DPO 对齐训练之间交替迭代，动态消除策略演化带来的分布偏移；最后，在线服务时仅需一次模型前向推理解码生成回答，并采用极低计算复杂度的一阶价格支付规则完成结算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询与广告出价<br/>s=(x, h, a), b"] --> B["响应级机制奖励建模<br/>离线 pCTR 预估 + 体验约束惩罚"]
    B --> C["迭代奖励-偏好优化 (IRPO)<br/>在线反馈收集与 DPO 偏好对齐交替迭代"]
    C --> D["高效一阶价格支付规则<br/>单次前向推理与线性计费结算"]
    D --> E["输出原生广告响应与扣费<br/>y ~ π_θ(·|s, b), p_i = b_i · f_i"]

关键设计¶

1. 响应级机制奖励建模：统一商业收益与用户体验目标

传统在线广告系统的预估模型无法在分配前获取完整生成的文本，而离线训练使得奖励模型能够直接将完整回答作为输入，从而准确评估广告在特定上下文中的融入度和有效性。机制追求的目标是在最大化广告主期望价值的同时控制对基座大模型原本生成质量的破坏和过度广告植入。本文将机制设计目标定义为： $$J(\pi_\theta, \bm{b}, \bm{b}, s) = \mathbb{E}_{y \sim \pi_\theta(\cdot \mid s, \bm{b})} \left[ \sum_{i=1}^n b_i f_i(y,s) + \lambda \Omega_{\text{resp}}(y) \right] - \beta \mathcal{D}_{\text{KL}}(\pi_\theta(\cdot \mid s, \bm{b}) \parallel \pi_{\theta_0}(\cdot \mid s))$$ 其中 $\Omega_{\text{resp}}(y)$ 为用户体验惩罚项，具体惩罚过度插入（如 $-10 \cdot N_{\text{ad}}(y)^2$）与格式破坏（如 $-500 \cdot \mathbb{I}\{\text{format error}\}$）；$f_i(y,s)$ 为真实点击率。由于离线训练时只有已展现响应的真实反馈，本文通过轻量化神经网络构建点击率预估模型 $\hat{f}_i^\psi(y,s) = \sigma(\text{MLP}([\phi_{\text{text}}(x); \phi_{\text{text}}(y); \mathbf{e}_h; \mathbf{e}_{a_i}]))$，以此构造可对任意候选响应打分的机制奖励函数 $\mathcal{R}(s,\bm{b},y) = \sum_{i=1}^n b_i \hat{f}_i^\psi(y,s) + \lambda \Omega_{\text{resp}}(y)$。这一设计让大模型在学习过程中能够辨别不同广告排布、上下文衔接及展示频次对综合收益的影响。

2. 迭代奖励-偏好优化 (IRPO)：消除策略演化带来的分布偏移

如果仅使用静态的初始预估模型指导大模型对齐，随着大模型策略 $\pi_\theta$ 的持续演进，其生成的响应分布将迅速偏离初始预估模型的训练分布，导致奖励模型在分布外样本上预测失真。针对这一痛点，IRPO 算法设计了两阶段交替循环：在奖励模型更新阶段，冻结当前大模型 $\pi_{\theta_{t-1}}$ 并在线部署收集用户交互反馈数据 $\mathcal{D}_{\text{on}}^t = \{s^k, y^k, \bm{c}^k\}$，使用二元交叉熵损失更新 pCTR 预估器参数 $\psi_t$；在 LLM 更新阶段，固定更新后的奖励模型 $\mathcal{R}_{\psi_t}$，对每个上下文采样 $M$ 个候选响应并计算机制奖励，挑选出奖励最高的胜者 $y^w$ 与奖励差距超过阈值 $\delta_{\text{th}}$ 的负样本集 $\mathcal{K}$，通过 DPO 目标微调大模型参数： $$\mathcal{L}_{\text{DPO}} = -\frac{1}{|\mathcal{K}|} \sum_{y^l \in \mathcal{K}} \log \sigma \left( \beta \log \frac{\pi_{\theta_t}(y^w \mid s, \bm{b})}{\pi_{\theta_{t-1}}(y^w \mid s, \bm{b})} - \beta \log \frac{\pi_{\theta_t}(y^l \mid s, \bm{b})}{\pi_{\theta_{t-1}}(y^l \mid s, \bm{b})} \right)$$ 通过每轮重采样出价与多轮交替迭代，IRPO 逐步逼近最优 Gibbs 分布策略 $\pi_{\theta^*}(y \mid s, \bm{b}) \propto \pi_{\theta_0}(y \mid s) \exp(\frac{1}{\beta}\mathcal{R}(s,\bm{b},y))$，并在理论上保证了最优分配规则关于出价的单调性与连续性。

3. 高效一阶价格支付规则：规避配分函数积分与保障博弈均衡

虽然在最优分配规则下可通过 Myerson 支付恒等式推导占优策略激励相容（DSIC）的支付规则，但精确计算该支付需要求解生成空间中极其庞大的配分函数比值 $\beta \log [Z(s,(b_i,\bm{b}_{-i})) / Z(s,(0,\bm{b}_{-i}))]$，其积分求解涉及巨大的反事实推理计算量，在工程上无法承受。为此，LLM-Auction 采用了结算极为简便的一阶价格支付规则 $p_i = b_i \cdot f_i(\pi_\theta(\cdot \mid s,\bm{b}), s)$。理论证明表明，该规则在连续且单调的生成分配策略下具有优良的经济学性质：对于以目标 ROI $\tau_i$ 为约束的价值最大化广告主（VM），如实报告有效价值 $b_i = \tilde{v}_i = v_i / \tau_i$ 是占优策略，严格满足 VM-IC；而对于准线性效用最大化广告主（UM），博弈存在混合策略纳什均衡，且内部支撑集出价满足显式的出价压低（bid-shading）平衡条件： $$b_i = v_i - \beta \frac{\overline{A}_i(b_i)}{\overline{V}_i(b_i)}$$ 其中 $\overline{A}_i(b_i)$ 为期望分配量，$\overline{V}_i(b_i)$ 为性能方差。这不仅规避了任何额外的前向推理与积分开销，还自然满足了个体理性（IR）。

一个完整示例¶

假设用户画像为“热爱户外露营的年轻白领”，提出查询 $x$：“周末在杭州周边有哪些风景好又适合新手的露营地推荐？”。候选广告库中包含低出价的广告 1（野餐垫，$b_1=5$）与高出价的广告 2（防滑登山鞋，$b_2=45$）。在未对齐的预训练基座模型中，模型可能因注意力偏差机械地将两款商品罗列在文末作为无关推荐，导致用户体验严重受损（体验惩罚项 $\Omega_{\text{resp}}$ 为负），且用户点击率为 0，总收益为 0。在 LLM-Auction 框架下，模型综合感知到上下文语义、高出价意愿与过度打扰惩罚： 1. 模型在推荐富春江露营基地及周边轻量徒步路线的正文中，自然将户外地形可能湿滑的特点与防滑登山鞋结合，以 @专业抓地轻便防滑登山鞋@[Ad-1024] 形式有机融入为装备建议，同时根据体验惩罚约束自动舍弃与露营场景关联度较低的其他候选； 2. 离线 pCTR 预估模型捕获到该插入具有极高的上下文契合度（预测点击率由 0.15 提升至 0.82），使得机制总奖励达到峰值并在 DPO 采样中成为胜者； 3. 在线服务时，系统输出带有该原生植入的流畅回答，触发用户真实点击后，仅依据广告主出价 $45$ 与点击发生执行单次乘法扣费 $45 \times 1 = 45$ 元，既保证了广告主的有效转化，又维护了用户的阅读体验。

损失函数 / 训练策略¶

模型训练采用两阶段交替迭代： 1. 预估模型优化：采用 Adam 优化器，学习率为 $1 \times 10^{-3}$，批大小为 256，利用在线交互日志 $\mathcal{D}_{\text{on}}^t$ 通过二元交叉熵损失优化 MLP 与 ID 嵌入；文本编码器采用 Qwen3-Embedding-0.6B 并保持完全冻结。 2. 生成模型优化：基座模型为 Qwen3-4B-Instruct，采用 BF16 精度进行全参数微调。DPO 损失超参数设为 $\beta = 0.1$，偏好阈值 $\delta_{\text{th}} = 10$，学习率为 $1 \times 10^{-6}$ 配合 Cosine 衰减与 0.1 预热比例，批大小为 64。每轮 LLM 更新时针对每条训练样本重新均匀采样出价 $\bm{b} \in [1, 100]$，防止模型过拟合到静态数值。

实验关键数据¶

主实验¶

实验在基于 LLM-as-a-judge 构建的大模型原生广告仿真环境中展开，包含 15k 条覆盖真实电商 100 个类目的合成与真实交互数据，对比基线包括预训练模型、前生成机制 RAG-Auction、后生成机制 MOSAIC 以及使用模拟器直接反馈的上界变体 LLM-Auction (Oracle)。

方法	每查询收益 (Revenue/Q) ↑	每查询奖励 (Reward/Q) ↑	点击率 (CTR) ↑	平均点击成本 (CPC) ↑	每查询插入广告数 ↓
Pre-trained LLM	70.37 ± 19.35	-217.97 ± 64.00	0.4424 ± 0.0384	36.79 ± 1.00	4.42 ± 0.12
RAG-Auction	82.15 ± 12.07	-20.87 ± 22.02	0.4385 ± 0.1011	62.87 ± 1.04	2.98 ± 0.01
MOSAIC	106.56 ± 2.48	-20.69 ± 16.73	0.5545 ± 0.0133	57.68 ± 2.08	3.33 ± 0.12
LLM-Auction	170.86 ± 10.13	81.86 ± 7.68	0.7617 ± 0.0437	91.84 ± 0.27	2.44 ± 0.05
LLM-Auction (Oracle)	223.30 ± 5.39	125.24 ± 6.47	0.9169 ± 0.0051	92.85 ± 0.39	2.62 ± 0.07

消融实验¶

通过移除完整生成文本上下文特征以及削减交互反馈样本规模，评估 pCTR 信号对分配机制性能的深层影响：

变体配置	每查询收益 (Revenue)	每查询机制奖励 (Reward)	分组 AUC (GAUC)	说明
LLM-Auction (完整版)	170.86	81.86	0.6872	完整响应级上下文与全部训练数据
50% 样本规模	130.21	60.79	0.6705	数据量减半导致预估偏差增大
移除生成文本上下文 (w/o response)	76.45	-44.30	0.6391	缺失回答特征，收益骤降 55% 且奖励变负

关键发现¶

收益增长并非依赖过量堆砌广告：LLM-Auction 的平均插入广告数仅为 2.44，显著低于预训练模型的 4.42 和 MOSAIC 的 3.33；但其 CTR 高达 0.7617（较 MOSAIC 提升 37.4%），CPC 达到 91.84。这表明收益激增来源于更高的上下文语义契合度与对高出价广告的精准倾斜，而非粗暴轰炸用户。
回答上下文是点击率预估的决定性特征：消融实验显示，如果去掉生成文本 $y$ 的特征编码，机制奖励将从 81.86 暴跌至 -44.30，收益腰斩 55% 以上。这充分证实传统广告中仅依赖“用户-查询-广告”三元组的预估范式无法适应生成式场景，建模回答级外部性至关重要。
机制性质随迭代逐步收敛：在出价微扰检验中，基座模型在 Epoch 0 时出价与点击率完全无相关性；随着 IRPO 迭代轮数增加，单调性与连续性显著增强，模型自发学会了给高出价广告赋予更高的展示概率和更有利的排版位置。

亮点与洞察¶

将拍卖规则内化进模型权重：将机制设计从传统的启发式打分排序转变为 LLM 偏好对齐，使单次自回归解码天然兼顾广告语义原生性与多方利益平衡，消除了候选重打分带来的多路推理开销。
IRPO 闭环自适应演化：设计了交替更新机制，有效克服了传统强化学习在策略迭代过程中“奖励模型滞后于生成分布”的经典失效问题，让离线 DPO 能够稳定逼近理论最优分配。
生成空间中的一阶价格均衡：跳出了传统必须计算复杂反事实分母的 DSIC 机械教条，严谨证明了一阶价格在连续生成分布下对 ROI 约束价值最大化者的真实出价激励与效用最大化者的平滑均衡，具有极强的工业可落地性。

局限与展望¶

依赖模拟器环境评估：受限于真实生产环境 LLM 原生广告公开日志的匮乏，实验主要在 LLM-as-a-judge 沙盒中完成，难以完全捕捉真实用户复杂的长期信任演化和欺诈行为。
全量候选输入的可扩展性瓶颈：当前实验将 100 个候选广告全量放入 Prompt，难以直接扩展至百万级海量工业广告库，亟需与轻量化召回检索模块构建端到端的两阶段生成式拍卖。
安全性与多目标拓展空间：当前的体验惩罚主要侧重于广告数量与排版格式，未来需进一步将事实性幻觉检测、过度说服防御及合规性披露纳入统一奖励目标中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将大模型原生广告分配建模为文本空间生成分布的机制对齐，概念极具开创性。
实验充分度: ⭐⭐⭐⭐ 建立了完备的 LLM-as-a-judge 模拟评测闭环并包含详尽的理论证明与消融，但缺乏真实生产环境日志。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严密自洽，从问题定义、机制性质证明到算法实现逻辑链条清晰通透。
价值: ⭐⭐⭐⭐⭐ 为生成式 AI 商业化与大模型原生广告机制设计树立了重要的理论标杆与落地参考。