OmniSimulator: Aligning Small Language Models for Authentic Heterogeneous Behavior Modeling¶

会议: NeurIPS 2026
arXiv: 2610.29472
代码: https://github.com/icip-cas/OmniSimulator
领域: 对话系统
关键词: 用户模拟, 小语言模型对齐, 结构化思维链, 跨场景行为建模, 拒绝采样蒸馏

一句话总结¶

针对大模型在短视频等交互平台中原生思维链退化为浅层模式匹配、高估正向行为的痛点，OmniSimulator 提出了包含五维用户内在状态认知的结构化 CoT 范式与因果推理蒸馏框架，使 8B 小模型预测表现提升 34.33% 并比肩闭源顶尖模型。

研究背景与动机¶

大语言模型在推荐系统、定向广告、电商智能客服和交互式智能体等领域展现出作为通用用户模拟器的巨大潜力。构建高保真用户模拟器能够支持离线策略评估与产品机制探索，避免直接在线上进行高风险、高成本的 A/B 测试。然而，在以短视频平台为代表的真实工业场景中，用户行为呈现出长程轨迹、跨业务场景（视频浏览、直播互动、广告响应、电商选购与客服多轮对话交织）以及高度异构的特点。真实平台基准测试（如 OmniBehavior）显示，现有前沿大模型不仅性能上限受限，还普遍存在“过度活跃偏见”（Hyper-activity Bias），即系统性高估用户的正向交互意图、生成过于乐观的对话，并将差异化的个体扁平化为中庸的平均人设。

这一预测偏差的核心矛盾在于：真实用户的下一个行为并不是历史日志与当前候选内容的浅层特征拼接或机械关联，而是由未被显式记录的深层心理认知状态所中介的——包括长期稳定的人设画像、近期的兴趣漂移、当前会话中的审美疲劳度、瞬时情绪状态以及决策风格（理性权衡还是随机冲动）。直觉上，引入思维链（CoT）推理应当有助于模型推断这些隐变量。然而实验分析揭示了一个关键缺陷：直接开启大模型的原生“思考模式”（Native Thinking Mode）几乎没有带来预测收益，甚至在多个尺度下出现性能倒退。深究其因，原生 CoT 往往演变为事后合理化的模板填空与泛化模式匹配，无法自发构建以行为学为核心的内在认知推理链。

本文的切入角度在于：用户模拟的上限瓶颈不在于单纯增加思考 Token 的数量或模型参数规模，而在于建立契合人类决策机制的推理结构。核心 idea：将不可见的用户隐状态具象化为结构化的五维思维链模式（画像锚定、历史状态、内容对齐、决策模式、决策宣告），并通过任务感知的因果蒸馏与拒绝采样，将大模型的结构化认知推理范式注入小语言模型中。

方法详解¶

整体框架¶

OmniSimulator 的核心目标是引导小语言模型在给定用户画像、长程跨场景历史行为轨迹和当前情境的前提下，先显式推演其内在决策状态，再预测最终行为。系统将用户行为预测过程建模为：从输入历史与情境 $(H_t^u, x_{t+1}^u)$ 出发，首先生成一段结构化的推理轨迹 $r_t^u$（作为潜在心理状态 $z_t^u$ 的文本代理），进而推导输出最终决策 $y_{t+1}^u$。

整体管线由两大部分构成：一是依据认知心理学与双重加工理论构建的五维结构化思维链范式（Structured CoT Schema）；二是任务感知的因果蒸馏与一致性过滤流程（Task-aware Rationale Distillation）。教师模型在结构化引导下对不同任务执行针对性采样，经由真实答案一致性筛选后，形成高质量监督数据并全参数微调学生模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：用户画像 + 长程历史日志 + 当前情境"] --> S1["结构化思维链范式<br/>五维内在认知推理与隐状态建模"]
    S1 --> S2["任务感知推理生成<br/>教师模型按二值/连续/文本场景差异化采样"]
    S2 --> S3["答案一致性拒绝采样<br/>筛选与实际结果严格吻合的高似然推理轨迹"]
    S3 --> Out["学生模型监督微调<br/>联合学习结构化因果轨迹与最终异构行为"]

关键设计¶

1. 结构化思维链范式：将不可观察的心理隐状态显式解构为五维推演链 针对原生思考模式容易退化为肤浅套话的问题，OmniSimulator 依据人格认知-情感系统理论与决策双重加工理论，要求模型必须在 <think> 代码块内依序完成五个维度的深度推演： - 用户画像锚定（User Profile Grounding）：解读长期沉淀的静态人设属性（如年龄段、性别、受教育程度、家庭状况），为行为预测提供稳定的宏观先验，避免脱离身份的空泛臆测。 - 历史行为状态推断（Historical Behavioral State Inference）：从数月跨场景序列及近期交互中，推断用户在当前时刻的动态心理变化，包括长线兴趣承接、近期主题漂移、当前会话累积疲劳度及瞬时情绪走向。 - 内容相关性对齐（Content Relevance Alignment）：将上述动态心理状态与当前待测试场景的候选内容（标题、标签、时长、作者粉丝量等）进行多维度比对，研判其契合度或潜在抵触心理。 - 决策模式识别（Decision Mode Identification）：判别当前交互是出于理性偏好权衡，还是受好奇心、疲劳滑屏等随机冲动驱动。这对于准确识别负向拒绝行为（如跳过、未完播、未关注）至关重要。 - 最终决策宣告（Final Decision Declaration）：在闭合 </think> 之前明确声明推理结论，强制约束思考过程与最终输出格式的强一致性，根除思而不合的脱节现象。

2. 任务感知因果蒸馏：差异化引导策略防范后验作弊与尺度失真 为了获取高质量结构化推理监督信号，框架引入开源巨量教师模型（GPT-OSS-120B）对真实用户轨迹进行多轮采样生成候选推理集 $\mathcal{R}_t^u = \{r_{t,1}^u, \dots, r_{t,N}^u\}$。针对不同类型行为的预测空间差异，框架制定了专属生成策略以平衡因果可信度与生成稳定性： - 二值分类任务（点赞、完播、转发、关注等）：采用严格的前向推理（Forward-only Reasoning），禁止向教师模型泄露真实标签，防止教师模型依靠后验结果倒推编造伪合理解释，保留推理的因果真实性。 - 连续数值任务（播放时长）：连续回归由于取值空间宽泛且数值敏感，纯前向采样极易导致语义合理但数值严重失准。为此，向教师模型提供由真实标签衍生的粗粒度范围提示（Coarse Range Hint），约束数值推演尺度的合理性。 - 文本生成任务（客服对话下一轮发言）：下一句发言具有极高的开放性，无约束生成难以收敛。框架向教师模型注入真实对话发言，引导其推理链条聚焦于“为什么当前用户在特定情绪与诉求下会说出这句话”，完成意图因果的合理复原。

3. 答案一致性拒绝采样：高标准过滤低置信伪推理样本 从教师模型采样的海量候选轨迹中，必须剔除逻辑混乱或与真实用户选择不符的噪声。OmniSimulator 实施严格的拒绝采样策略： $$\widetilde{\mathcal{R}}_t^u = \{r \in \mathcal{R}_t^u \mid \mathrm{Ans}(r) = y_{t+1}^u\}$$ 仅保留推断结论 $\mathrm{Ans}(r)$ 与真实行为 $y_{t+1}^u$ 严格一致的推理轨迹。对于通过校验的样本，选择教师模型平均 Token 对数似然概率最高（平局时选长度较短者）的最佳轨迹纳入监督训练集 $\mathcal{D}_{\mathrm{SFT}}$。若某样本在 16 次采样中全数预测错误，则视为困难长尾样本主动从训练集中剔除。该机制在构建的 13,389 条原始实例（生成 214,224 条候选轨迹）中，最终筛选出 9,881 条黄金轨迹（保留率 73.8%），确保了微调数据以质量为绝对优先。

一个完整示例¶

以快手短视频真实用户（男，18–23 岁，大专学历，有伴侣和幼儿）为例，面对一条时长 1 分 56 秒的幽默搞笑视频： 1. [画像锚定]：提取具有家庭生活背景的年轻男性特征，确定其对快节奏、轻松解压题材具有全局偏好。 2. [历史状态]：分析长程日志显示其偏好搞笑段子与家庭日常，近期浏览活跃度高，但对冗长广告容忍度极低，单条视频接受上限在 2–3 分钟内。 3. [内容对齐]：当前视频带有“没想到吧”“老铁乐一下”标签，播放量与完播量高，116 秒的时长处于其耐受区间。 4. [决策模式]：判断当前为典型的内容理性选择，而非无意识滑过。 5. [最终宣告]：宣布判定该用户将完整观看此视频，输出最终预测结果 Yes。

损失函数 / 训练策略¶

学生模型（Qwen3 系列，涵盖 0.6B 到 8B）接收输入上下文 $(H, x)$，联合自回归生成结构化思维链 $r$ 与最终预测输出 $y$。训练目标采用标准负对数似然损失： $$\mathcal{L}_{\mathrm{SFT}} = - \sum_{(H, x, r, y) \in \mathcal{D}_{\mathrm{SFT}}} \log p_\theta(r, y \mid H, x)$$ 使用 DeepSpeed ZeRO-3 与 FlashAttention-2 开展全参数微调，初始学习率设为 $1 \times 10^{-5}$，采用 Cosine 学习率衰减调度（Warmup 比例 0.1），训练 2 个 Epoch，上下文窗口长度支持至 38,000 Tokens。

实验关键数据¶

主实验¶

在涵盖 200 名真实用户 3 个月跨场景交互数据的 OmniBehavior 评测基准上，评估不同参数规模小模型及各类前沿大模型的模拟能力。评测指标：二值行为采用 F1-score；连续播放时长采用时长归一化绝对误差转换分 $100 \times (1 - \mathrm{NMAE})$；文本客服交互采用多维度 LLM 评审分（经盲测人工评估校准）。

模型配置	视频二值 (F1)	视频时长 (1-NMAE)	直播二值 (F1)	广告二值 (F1)	电商二值 (F1)	电商文本 (Judge)	综合均分 (Avg.)
Qwen3-8B
Zero-shot (w/o think)	17.29	56.86	20.29	22.96	26.89	40.61	30.82
Zero-shot (w/ think)	17.13	57.52	20.84	22.71	26.55	39.84	30.77
SFT w/ free CoT	23.55	60.46	27.27	27.35	22.95	44.48	34.34
OmniSimulator (本文)	30.24	63.50	32.40	40.97	28.78	52.51	41.40
基线参考 (OmniBehavior 报道)
Qwen3-235B (Thinking)	19.14	58.76	23.31	28.49	25.00	48.04	33.79
Claude-Sonnet-4.5	-	-	-	-	-	-	40.49
GLM-4.7	-	-	-	-	-	-	41.46
Qwen3-4B
Zero-shot (w/o think)	16.21	56.00	18.76	21.08	19.34	38.36	28.29
OmniSimulator (本文)	27.27	62.23	30.10	37.43	25.82	47.11	38.33
Qwen3-1.7B
Zero-shot (w/o think)	15.69	44.40	18.01	21.69	15.58	36.39	25.29
OmniSimulator (本文)	27.03	62.12	27.33	35.59	25.26	40.98	36.39
Qwen3-0.6B
Zero-shot (w/o think)	15.50	30.66	17.91	21.52	13.25	34.63	22.25
OmniSimulator (本文)	22.17	60.26	27.04	31.21	21.83	38.48	33.50

消融实验¶

在 Qwen3-1.7B 模型上对结构化思维链的五个核心维度进行逐一剥离消融实验，验证各认知模块对二值分类、连续时长与文本生成的具体贡献。

配置	画像锚定	历史状态	内容对齐	决策模式	最终宣告	二值 (F1)	连续 (时长)	文本 (Score)	说明
完整模型 (Full)	✓	✓	✓	✓	✓	28.80	62.12	40.98	完整五维结构化范式
w/o 画像锚定	✗	✓	✓	✓	✓	25.47	60.14	31.99	文本生成能力暴跌 (-8.99)
w/o 历史状态	✓	✗	✓	✓	✓	19.65	61.14	35.47	二值行为预测严重恶化 (-9.15)
w/o 内容对齐	✓	✓	✗	✓	✓	24.86	60.21	35.44	桥接特征断裂，二值与文本均掉点
w/o 决策模式	✓	✓	✗	✓	✓	23.42	59.81	40.07	丧失随机/理性判别，二值显著下降
w/o 最终宣告	✓	✓	✓	✓	✗	23.96	59.75	36.86	推理与输出发生不一致漂移
无结构自由 CoT	✗	✗	✗	✗	✗	21.78	57.54	34.39	全面显著退化

关键发现¶

打破原生思考无效论：在未经过行为对齐监督前，直接启用模型的原生思考模式几乎无增益（Qwen3-8B 从 30.82 变动为 30.77；Qwen3-235B 仅从 33.15 变为 33.79）。这证明缺乏领域认知锚定的通用 CoT 无法解决人类行为预测中的隐状态建模难题。
有效瓦解“过度活跃偏见”：OmniSimulator 在广告二值（22.96 → 40.97）与视频完播等二值分类上取得翻倍级提升。正向预测率显著下降并贴近人类真实基准分布，表明模型真正学会了依据疲劳度和内容错配去果断预测“不感兴趣/跳过/不关注”，从机理上抑制了伪阳性过拟合。
模块分工鲜明且高度互补：消融表明，去除“历史行为状态”对二值行为伤害最深（F1 下降 9.15），表明交互动作强依赖动态心理演变；去除“用户画像锚定”则导致文本生成得分直接从 40.98 崩塌至 31.99，印证了自然语言风格极为依赖稳定人设的全局约束。
训练策略分析（表 3）：仅使用筛选后的真实标签进行直接预测微调（Answer-only SFT）均分仅有 31.62；引入自由无约束 CoT 得分 34.34；引入合成理由（Synthetic Rationale）为 37.85；去掉拒绝采样直接训练得分 37.44。唯有将结构化 Schema 与拒绝采样一致性校验联合，才能将 8B 模型推升至 41.40，充分证明了高质量因果推理痕迹的决定性作用。

亮点与洞察¶

将心理学双重加工与认知理论具象化为工程约束：不同于常规任务追求自由思维链，OmniSimulator 首次系统性将画像背景、动态疲劳/情绪、内容匹配和理性/冲动机制收敛为五步可执行的固定推理模式，为用户模拟建立了严密的认知因果框架。
低成本自托管对齐超越闭源庞然大物：仅利用 200 名用户历史轨迹构建不足 1 万条精品蒸馏样本，即让参数量仅 8B 的小模型在跨场景复杂长轨迹评测中超越 235B 原生大模型，并全面战平工业级 API 模型 Claude-Sonnet-4.5（41.40 vs 40.49），兼顾了隐私保护、低延迟与高拟真度。
针对任务模态设计反省防作弊机制：在构建蒸馏数据时，对二值行为严格采用不含真实结果的前向推导，对连续数值仅给予范围提示，有效防止了教师模型出现事后倒果为因的伪推理幻觉，为复杂智能体数据蒸馏提供了高价值参考范例。

局限与展望¶

跨平台与长周期泛化性有待验证：当前训练和测试样本均源自同一短视频平台（快手），时间窗口具有重叠性。模型在全新生态（如长视频、图文社区）及数年跨度时间漂移下的跨域表征迁移能力仍需考察。
认知过程的文本代理偏差：生成的结构化思维链本质上是可解释的行为学文本代理，不能完全等同于人类神经层面的实际生理认知；文本与连续回归任务中依赖后验目标提示引导，存在潜在的事后合理化残余。
未来方向：探索在强化学习（如基于规则或人类行为真实性偏好的 RL / DPO）框架下直接对小模型进行内生行为对齐；拓展跨平台统一行为表征模型。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出五维认知结构的端到端行为推演范式，巧妙化解了用户模拟中原生思考无效的困局。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种小模型规模、多场景异构行为对比、多维度消融、多评测员盲测及与闭源前沿模型的严格对齐。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，动机深刻，因果链条严丝合缝，各模块设计动机与机理解释极为透彻。
价值: ⭐⭐⭐⭐⭐ 为推荐系统与交互式平台提供了极具工业落地价值的高保真、低成本自托管用户仿真方案。