Self-Consuming Generative Models with Co-Evolving Human Preferences¶

会议: NeurIPS 2026
arXiv: 2610.09415
代码: https://github.com/osu-srml/Model-Reward-Coevolution
领域: 其他
关键词: 自消耗生成模型、偏好演化、Luce选择规则、平衡态控制、线性规划

一句话总结¶

本文建立了生成模型与人类偏好协同演化的闭环动力系统，证明了纯合成数据自消耗会导致初始偏见放大的单点坍缩，而按特定下界注入真实参考数据可保证全局收敛，并提出将平衡态多样性约束转化为线性规划求解最优参考数据配比。

研究背景与动机¶

现代生成模型在真实生产部署中日益陷入“自消耗”（Self-Consuming）的闭环训练回路：用户从模型输出的候选样本中挑选、点赞、编辑或转发偏好样本，这些被保留的人类策展合成数据随后被重新喂回用于微调或训练下一代模型。已有关于自消耗训练的研究主要关注模型坍缩或固定奖励信号下的隐式对齐，大多默认人类偏好是外生且静止的，即用户始终按恒定的喜好筛选样本。然而，人在与 AI 的频繁交互中并非孤立的评估器，生成模型的输出分布会持续塑造用户的认知暴露面与审美标准，促使人类偏好在时间维度上向模型的生成特征发生内生漂移。

这种双向反馈带来的核心矛盾在于：模型依赖人类策展反馈进行分布更新，而人类的评价准则又被上一轮模型的输出特征所同化，形成了典型的正反馈耦合动力学。在没有外部真实锚点校准的情况下，微小的初始局部偏好优势会被迭代策展机制指数级级联放大，导致小众类别或特征被系统性挤出，最终引发模型多样性完全崩溃并锁定在单一实例上。现有的解决思路多集中在无条件的数据混洗或单纯保留真实数据比例，缺乏对“动态偏好反馈回路何时收敛、平衡态有何结构、如何用最小采集成本精确调控平衡态”的理论刻画与系统设计方法。

针对这一问题，本文构建了首个将“模型分布参数化更新”与“用户偏好向量向模型均值特征漂移”联合建模的离散时间动态系统。核心 idea：通过对协同演化动力学进行严格压缩映射分析，揭示出纯合成自消耗具有“赢家通吃”的多重局部吸引单点平衡态，而足够比例的参考数据注入能使联合动力系统成为严格收缩映射并产生唯一的全局渐近稳定平衡态；进而利用最坏情况松弛将双层平衡态导向优化解耦为关于参考数据分布的线性规划族，以最低真实数据采集成本实现对指定目标属性的保底控制。

方法详解¶

整体框架¶

所构建的协同演化动力系统在每个离散时间轮次 \(t\) 沿两个相互依存的轨道迭代演化。在模型更新侧，当前模型 \(p_t\) 生成 \(K\) 个候选样本，用户依据当前偏好向量 \(w_t\) 赋予的线性奖励 \(r_{w_t}(x)=\langle w_t,\varphi(x)\rangle\) 通过 \(K\) 元 Luce 规则挑选保留样本；平台将该策展分布以合成权重 \(\eta\) 与静态参考真实数据分布 \(p_{\mathrm{ref}}\) 混合构成训练集，以此极大似然更新得到 \(p_{t+1}\)。在偏好演化侧，用户偏好向量向更新后模型 \(p_{t+1}\) 的特征均值 \(\bar{\varphi}(p_{t+1})\) 发生适应速率为 \(\beta\) 的线性漂移并投影回单位球。

针对平衡态控制需求，作者将“以最低真实样本采集成本确保平衡态下目标保护属性比例不低于指定阈值”建模为双层规划，并基于最坏情况松弛将其解耦为外层一维搜索合成比例 \(\eta\)、内层线性规划（LP）精确求解参考数据最优配置 \(p_{\mathrm{ref}}^\star\) 的两阶段流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：当前联合状态 (p_t, w_t)"] --> B["K元Luce策展与多重优势放大<br/>以温度τ从K个候选中抽取胜者样本"]
    B --> C["参考数据混合与模型更新<br/>(1-η)p_ref + η·p_t·H_{p_t,w_t}^K 得到 p_{t+1}"]
    C --> D["内生偏好漂移与单位球投影<br/>(1-β)w_t + β·φ̄(p_{t+1}) 投影更新为 w_{t+1}"]
    D --> E{"是否满足压缩条件<br/>η(L_p + 2L_w) < 1 ?"}
    E -->|纯合成 η=1| F["局部单点平衡态锁定<br/>初始优势模式呈几何级数通吃坍缩"]
    E -->|参考数据充分混入| G["全局唯一稳定平衡态收敛<br/>与初始偏好解耦并消除崩溃"]
    G --> H["最坏情况松弛与双层LP解耦优化<br/>最小化采集成本求解最优 (p_ref*, η*)"]

关键设计¶

1. K元Luce策展与多重优势放大：自消耗回路中的胜者通吃机制

面对生成候选的多样性评估，用户往往在多个候选并存的环境下做出挑选决策。模型以特征映射 \(\varphi:\mathcal{X}\to\mathbb{R}^d\)（满足 \(\|\varphi(x)\|=1\)）将实例表征为单位向量，偏好状态由向量 \(w_t \in \mathcal{W}:=\{w\in\mathbb{R}^d: \|w\|\le 1\}\) 表示，赋予样本线性对齐奖励 \(r_{w_t}(x)=\langle w_t,\varphi(x)\rangle\)。当模型提供 \(K\ge 2\) 个样本时，用户依据带有选择锐度参数 \(\tau>0\) 的 \(K\) 元 Luce 规则选择最佳样本。该再训练步骤对模型分布施加了乘性重加权算子 \(H_{p_t,w_t}^K(x)\)：

\[ H_{p_t,w_t}^K(x) := \mathbb{E}_{x_1,\dots,x_{K-1}\sim p_t}\left[\frac{K e^{\tau r_{w_t}(x)}}{e^{\tau r_{w_t}(x)}+\sum_{i=1}^{K-1}e^{\tau r_{w_t}(x_i)}}\right] \]

这一算子具有严格单调性与几率收缩性（Odds Contraction）：只要 \(r_w(x_i) - r_w(x_j) \ge r_\Delta > 0\)，低奖励样本相对高奖励样本的选择比值就会被严格压制 \(H_{p,w}^K(x_j)/H_{p,w}^K(x_i) \le \lambda_K(r_\Delta) < 1\)。当缺乏外部真实数据修正（\(\eta=1\)）时，动力系统具有 \(n\) 个互不重合的单点退化平衡态 \((p^\star=\delta_{x_i}, w^\star=\varphi(x_i))\)。若初始分布和初始偏好与某特定类别 \(x_i\) 具有充分的正向偏置（初始偏好偏角小于对应奖励裕度 \(\gamma_i\)），非胜者类别的概率质量 \(1-p_t(x_i)\) 将以几何级数率迅速归零，产生“赢家锁定”（Winner Lock-in）。增大候选池尺寸 \(K\) 则使算子逼近指数倾斜（Exponential Tilting），极大加快这种多样性坍缩的演进速度。

2. 内生偏好漂移与全局收敛收缩：参考数据注入打破病态正反馈

在自消耗闭环中，用户偏好并非静止不变，而是受到模型最新产出内容的曝光影响向模型输出特征均值 \(\bar{\varphi}(p_{t+1}) = \mathbb{E}_{x\sim p_{t+1}}[\varphi(x)]\) 发生内生演变：

\[ w_{t+1} = \operatorname{Proj}_{\mathcal{W}}\left((1-\beta)w_t + \beta\bar{\varphi}(p_{t+1})\right) \]

其中 \(\beta\in(0,1]\) 为适应速率。当且仅当注入足量参考数据、使得合成数据配比满足 \(\eta(L_p + 2L_w) < 1\) 时（其中 \(L_p = 2e^{2\tau}(2+e^{2\tau})\) 与 \(L_w = 2\tau e^{4\tau}\) 为算子关于分布与偏好的 Lipschitz 常数），动力系统在加权联合度量空间 \((\mathcal{P}(\mathcal{X})\times\mathcal{W}, d_\xi)\) 上构成严格压缩映射（\(d_\xi((p,w),(q,v)) = d_{\mathrm{TV}}(p,q) + \xi\|w-v\|\)）。这意味着系统彻底摆脱了初始条件的依赖，无论初始模型分布与偏好偏向何处，都将以几何级数速率收敛到全空间唯一的全局渐近稳定平衡态 \((p_K^\star, w_K^\star)\)，彻底消除了病态崩溃风险。在 \(K\to\infty\) 极限下，其冻结偏好模型平衡态更具有优雅的闭式结构 \(p_w^{\infty,\eta}(x) = (1-\eta)p_{\mathrm{ref}}(x)\frac{Z_w^\eta}{Z_w^\eta - \eta e^{\tau r_w(x)}}\)。

3. 最坏情况松弛与双层LP解耦优化：低成本平衡态受控调控

拥有唯一平衡态保证后，平台希望在平衡态下对 \(L\) 个目标属性方向 \(v_\ell \in \mathbb{R}^d\) 的期望表征不低于安全阈值 \(\langle v_\ell, \bar{\varphi}(p_K^\star(p_{\mathrm{ref}},\eta))\rangle \ge \theta_\ell\)。然而真实样本的采集标注成本因稀有度而异，每个样本类型 \(x_i\) 的边际采集成本记为 \(c_i>0\)，每轮真实数据收集开销为 \(J(p_{\mathrm{ref}},\eta) = (1-\eta)N \sum_{i=1}^n c_i p_{\mathrm{ref},i}\)。由于约束中包含非线性动力系统的隐式不动点，原问题属于高度非凸且计算难以处理的双层优化问题。

为突破该计算壁垒，作者利用策展项的概率下界，导出了平衡态特征期望的最坏情况充分下界松弛：

\[ \sum_{i=1}^n p_{\mathrm{ref},i}\langle v_\ell,\varphi(x_i)\rangle \ge \frac{\theta_\ell - \eta \min_{i}\langle v_\ell,\varphi(x_i)\rangle}{1-\eta}, \quad \forall \ell\in\{1,\dots,L\} \]

该充分条件使得约束仅显式依赖于设计变量 \(p_{\mathrm{ref}}\) 与标量 \(\eta\)，彻底将复杂的双层隐式结构解耦。对于任意给定的 \(\eta\)，求解最优参考数据分布 \(p_{\mathrm{ref}}(\eta)\) 简化为一个标准线性规划（LP）。由于该 LP 仅有 \(n\) 个变量和 \(L+1\) 个约束，其极值解至多仅在 \(L+1\) 个基变量上取正值，表明平台仅需针对极少数关键类别定向采集高质量数据即可稳固全局分布；外层则通过对一维参数 \(\eta\) 进行轻量级网格搜索，平衡合成比例增加带来的直接成本节约与诱发的约束收紧成本，从而求得全局最优设计 \((p_{\mathrm{ref}}^\star, \eta^\star)\)。

实验关键数据¶

主实验¶

理论成果在图像生成（CIFAR-10 上的 Optimal Transport Flow Matching 与 DDPM）和文本生成（AG News 上的 GPT-2）两个真实生成架构上进行了闭环迭代验证。表 1 对比了在 CIFAR-10 任务中以 \(w_0=[1,0,\dots]\)（强偏好飞机类）初始化、目标在第 20 轮将四个受保护稀有类（青蛙、马、船、卡车，边际成本分别为 30, 28, 27, 25，而飞机/汽车成本为 1）平衡态占比维持在 \(\theta_\ell = 0.08\) 以上时的策略表现。

策略方案	混入参数 \(\eta\)	单位成本 \(C^\star\)	总采集成本 \(J\)	青蛙占比 (Frog)	马占比 (Horse)	船占比 (Ship)	卡车占比 (Truck)
Uniform baseline 1	0.50	16.40	41,000	0.067 (未达标)	0.077 (未达标)	0.059 (未达标)	0.067 (未达标)
Uniform baseline 2	0.20	16.40	65,600	0.112 (达标)	0.113 (达标)	0.097 (达标)	0.105 (达标)
Ours (LP设计)	0.67	26.81	44,043	0.084 (达标)	0.113 (达标)	0.088 (达标)	0.092 (达标)

实验证实，均匀真实数据混合若采用较高的合成比（\(\eta=0.50\)），在强烈初始偏好漂移牵引下，四个受保护类最终生成占比均滑落至 0.08 之下；若加大真实数据混入至 \(\eta=0.20\)，虽可勉强达标但真实数据开销剧增至 65,600。而通过本文 LP 算法定向设计的稀疏参考分布，在允许模型复用高达 67% 合成数据（\(\eta=0.67\)）的同时，总采集成本仅 44,043 便精确确保了所有受保护类稳定跨过 0.08 的安全线。

消融实验¶

表 2 展示了在非均匀保护阈值设置（Setting B：要求青蛙 \(\ge 0.05\)、马 \(\ge 0.08\)、船 \(\ge 0.10\)、卡车 \(\ge 0.15\)）下，对合成比例 \(\eta\) 进行网格搜索（50 个离散点，\(\eta\in[0.2, 0.9]\)）时 LP 解的结构演变与可行域边界分析。

探索合成比例 \(\eta\)	汽车 (Auto)	青蛙 (Frog)	马 (Horse)	船 (Ship)	卡车 (Truck)	单位成本 \(C^\star\)	总成本 \(J\)	约束可行性状态
0.20	0.525	0.062	0.100	0.125	0.187	13.26	53,030	可行 (Feasible)
0.40	0.367	0.083	0.133	0.167	0.250	17.35	52,039	可行 (Feasible)
0.50	0.240	0.100	0.160	0.200	0.300	20.62	51,544	可行 (Feasible)
0.60	0.050	0.125	0.200	0.250	0.375	25.52	51,049	可行 (Feasible)
0.61 (\(\eta^\star\))	0.015	0.130	0.207	0.259	0.389	26.43	50,978	可行且成本最优
0.63	–	–	–	–	–	–	–	不可行 (Infeasible)
0.90	–	–	–	–	–	–	–	不可行 (Infeasible)

关键发现¶

初始偏好决定的确定性坍缩：在无真实参考数据（\(\eta=1.0\)）时，无论 OT-CFM、DDPM 还是 GPT-2，初始优势类别比例均在 10 至 20 轮内飙升至 90% 以上（例如飞机类从 10% 飙至 \(>95\%\)，而偏好猫初始化则完全坍缩至猫类），所有其他类别被完全湮灭。
参考数据混合的全局解耦作用：当混入 90% 均匀参考真实数据（\(\eta=0.1\)）时，不同初始偏好方向（如飞机初始化与猫初始化）经历 20 轮迭代后收敛至完全重合的平衡态分布，验证了收缩映射定理所保证的与初始化解耦的唯一平衡态特性。
LP 极值解的极度稀疏性：消融表清晰显示，LP 求解出的最优参考数据分布 \(p_{\mathrm{ref}}\) 在无保护且廉价的类别中只选中了“汽车”这一单项进行缓冲填充（飞机虽廉价但因初始偏好已占尽优势而权重为 0），其余质量全部精准按比例投放至四个受保护类，严格印证了最优解至多在 \(L+1\) 个维度上取正值的稀疏性定理。
演化速度的敏感性规律：温度参数 \(\tau\) 越大，几率收缩性越强，坍缩或收敛速度呈指数级加快；偏好漂移率 \(\beta\) 的增大主要导致偏好追踪速度加快，但并不改变多重单点坍缩与唯一平衡态的相变分界；更大的候选尺寸 \(K\) 强化了比较选择能力，在 \(K\ge 10\) 时即可逼近理论上的指数倾斜渐近行为。

亮点与洞察¶

首次闭环刻画模型与偏好协同演化动力学：打破了过去假定人类评价静态不变的单向自消耗框架，将偏好向量向模型生成特征的内生漂移纳入统一系统，从数学上解释了为什么现实部署中“模型同质化”会与“用户审美窄化”互为因果。
用最坏情况松弛突破双层规划维度灾难：巧妙避开了非线性隐式不动点的求导与反演，通过构建平衡态期望特征的严格线性下界，使原本不可解的双层调控问题退化为离线标准线性规划，为工业界管控自消耗模型的多样性漂移提供了轻量且完备的工程解法。
最优数据采集策略具有极高实用价值：证明了最少采集方案天然具有至多 \(L+1\) 个非零类的极端稀疏性，这意味着平台无需盲目、昂贵地采集全品类高质量数据，只需定向采集合成配比公式所锁定的少数稀有品类即可稳固全局分布。

局限与展望¶

特征映射与偏好向量的强可观测性假设：理论推导依赖于预先确知固定的特征抽取器 \(\varphi(x)\) 与可完全观测的显式偏好向量 \(w_t\)，而在真实的复杂交互生态中，用户奖励信号是隐式、噪声大且高度部分可观测的。
单一同质用户群体的建模约束：当前模型设定所有用户共享同一组演化偏好 \(w_t\)，未考虑真实社区中用户分群、圈层极化以及多群组偏好之间通过模型交织产生的博弈动力学。
离散线性奖励向复杂非线性偏好扩展：未来的演进方向包括引入非线性饱和门控响应函数、连续无穷维特征流形下的泛函收缩分析，以及多平台竞合环境下内容共享机制对偏好演化的拓扑级联影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从动力系统角度建立模型-偏好协同演化的闭环分析框架，并严格给出了相变临界条件。
实验充分度: ⭐⭐⭐⭐ 在 CFM、DDPM 和 GPT-2 三种主流生成模型上全面覆盖了图像与文本模态，图表详实且理论一致性极高。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨周密，从纯合成病态坍缩到参考混合收缩的逻辑演进一气呵成。
价值: ⭐⭐⭐⭐⭐ 为解决大规模模型自吞噬坍缩和生成平台内容窄化提供了坚实的理论基石与高性价比的工程控制工具。