Recon: Reconstruction-Guided Reasoning Synthesis for User Modeling¶

会议: NeurIPS 2026
arXiv: 2605.26969
OpenReview: https://openreview.net/forum?id=RDVTaTGEKI
代码: https://recon-user-modeling.com
领域: 其他
关键词: 用户建模, 推理合成, 动作重构, 事后合理化, 强化学习

一句话总结¶

针对开放域用户建模中“以结果为条件”的事后合理化无法反映真实决策因果链路的问题，本文提出 Recon，利用动作重构保真度评估与筛选合成推理轨迹，并将其作为奖励优化推理模型，大幅提升下游用户动作预测能力。

研究背景与动机¶

在大语言模型驱动的人类行为模拟、人机协作、市场调研及行为科学实验中，用户建模（User Modeling）扮演着核心角色。其核心目标是在给定历史交互上下文的前提下，精确预测特定个体在下一轮对话或决策中所采取的动作。为了增强上下文学习（In-Context Learning）中检索样本的泛化表征能力，近期研究广泛引入推理合成技术，试图为用户行为补充潜在思维链。在数学推演或代码编写等逻辑闭环领域，同时以输入上下文和真实答案为条件进行推理合成往往能得出严密的推导逻辑；然而在开放式自然语言交互场景下，这种方法暴露出根本性的认知缺陷——模型生成的是“事后合理化”（post-hoc rationalization），而非驱动真实决策的因果推理链。

这种事后合理化缺陷的核心矛盾在于：能够自圆其说地解释既定行为的解释空间极其宽泛，且往往存在巨大的逻辑跳跃与任意性。例如某人在咖啡馆点了橙汁，事后解释“我当时口渴了”虽然与动作一致，却无法解释为什么点橙汁而不是更自然的饮用水；真正反映该用户稳定内在特质的潜在线索应是“比起水我更喜欢橙汁的果酸与甜味”。若仅依赖拒绝采样（Rejection Sampling），在开放域自然语言这种高维无限动作空间中直接从上下文盲猜动作在计算上完全不可行；而若端到端使用强化学习仅基于最终动作匹配度给予奖励（如 E2E-GRPO），生成的推理往往退化成缺乏可解释性与跨模型可迁移性的模型内部隐式表征。

本文的切入角度是：将动作的预测力作为衡量推理链质量的核心标准，把事后合理化逆向转化为因果检验——如果一段合成的推理轨迹确实抓住了用户决策的因果内核，那么模型在仅依赖上下文和该推理轨迹、而不提前偷看动作的前提下，应当能够高保真度地重建出该真实动作。核心 idea：提出 Recon 范式，通过冻结动作模型利用“上下文+候选推理”重构用户动作并计算与真实动作的对齐保真度，以此评估并筛选高质量因果推理（Recon-Select），并将该重构评分转化为强化学习奖励优化推理生成策略（Recon-GRPO）。

方法详解¶

整体框架¶

Recon 将用户在上下文 $c$ 下产生动作 $a^*$ 抽象为未观察到的潜式决策路径 $r^*(c) \to a^*$。为了合成逼近 $r^*$ 且具有因果诱导能力的推理轨迹，Recon 并不直接盲采，而是分阶段执行“候选合成—盲态动作重构—多维对齐判决—筛选或强化更新”的闭环管线。输入为语料库中的上下文–动作对 $(c, a^*)$，输出为富含因果解释力的增强推理 $\hat{r}$，下游即可用于检索增强生成（RAG）以提升未见测试上下文 $c_T$ 处的动作模拟精度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入交互样本<br/>上下文 c + 真实动作 a*"] --> B["候选推理生成<br/>条件生成采样 N 条候选轨迹"]
    B --> C["动作重构机制<br/>遮蔽动作，仅凭 (c, r) 重构动作"]
    C --> D["重构保真度判决<br/>语言模型评估 Style/Intent/Values 对齐分"]
    D --> E{"执行范式选择"}
    E -->|免训练检索增强| F["Recon-Select 策略<br/>挑选重构得分最高的最优推理 r"]
    E -->|策略优化训练| G["Recon-GRPO 训练<br/>对齐奖赏 - 重复惩罚更新顾问策略"]
    F --> H["下游用户建模<br/>增强检索池支撑 RAG 动作预测"]
    G --> H

关键设计¶

1. 动作重构机制：遮蔽真实动作以因果还原度检验解释力

为了克服开放式生成下标准拒绝采样无法收敛的痛点，Recon 将动作重构设计为因果因果性的代理测试。具体而言，推理模型首先在条件 $(c, a^*)$ 下采样 $N$ 条候选思维链 $\{\hat{r}_i\}_{i=1}^N$。随后，系统将真实动作 $a^*$ 严格隐蔽，仅将上下文 $c$ 与候选推理 $\hat{r}_i$ 喂入冻结的动作模型 $M_a$，由其生成重构动作 $\hat{a}_i = M_a(c, \hat{r}_i)$。为了防止推理模型通过文字走捷径“作弊”，生成提示词中严厉限制候选推理显式抄袭或直接泄漏真实动作文本。只有当推理真正揭示了用户的内在偏好、决策准则或言语意图时，动作模型才具备足够信息精确重现原始行为，从而在机制上将“事后狡辩”与“因果推理”剥离开来。

2. 重构保真度判决：细粒度对齐评估与免训练筛选

动作生成后的质量度量依赖一个独立的大模型裁判（实验中采用 Gemini-3.1-Flash-Lite）。针对重构动作 $\hat{a}$ 与真实动作 $a^*$ 的匹配度，判决机制摒弃了单一的表面词重合度打分，而是从风格（Style，涉及句式、语阶、语气助词等语言特征）、意图（Intent，对具体命题的立场与言语行为）以及价值观（Values，说话者底层的稳态信条与哲学承诺）三大解耦维度进行细粒度对比。在免训练的 Recon-Select 变体中，判决模型对 $N=4$ 条重构动作进行联合全貌对比，直接挑选中选重构效果最好的候选推理 $\hat{r}_j$ 注入到检索数据库中。这一机制使得即使较弱的基础模型也能借由重构挑选出具有跨模型迁移能力的高保真推理。

3. Recon-GRPO 训练：以顾问模式对齐冻结受训动作

当追求更低推理开销与更高性能时，Recon 将动作重构保真度转化为强化学习奖励信号，采用群体相对策略优化（GRPO）直接微调推理生成模型 $M_r$。不同于端到端 E2E-GRPO 直接让模型同时吐出推理和动作并直接奖赏动作吻合，Recon-GRPO 确立了“顾问模型”（Advisor Model）架构：推理模型 $M_r$ 学习向冻结的动作模型 $M_a$ 传达最有效的思维引导，动作模型本身保持权重固定。奖励函数定义为平均对齐分减去字面重复惩罚项： $$R(\hat{r}, c, a^*) = 1.0 \times \text{Score}_{\text{align}}(M_a(c, \hat{r}), a^*) - 2.0 \times \text{Score}_{\text{verbatim}}(\hat{r}, a^*)$$ 通过对字面泄漏引入强惩罚，迫使模型将注意力收敛于提取用户的抽象风格倾向与认知逻辑，有效防止了端到端强化学习导致的退化与过拟合。

损失函数 / 训练策略¶

在训练阶段，Recon-GRPO 针对推理模型采用 LoRA 微调（rank=128），设置组采样大小 group size 为 4，采样温度设置为 1.0 以增强轨迹多样性；而重构模型 $M_a$ 采样温度固定为 0.7。使用带有余弦退火的优化器，学习率设为 $1 \times 10^{-5}$，在一个 epoch 内完成训练。损失函数严格遵循 GRPO 的相对优势估计，在每组 4 个候选 rollout 之间利用重构奖励进行优势归一化，促使策略向产生易于激发真实行为的思维链方向更新。

实验关键数据¶

主实验¶

实验覆盖四大具有真实代表性的自然语言交互领域：美国最高法院口头辩论（SCOTUS）、英国首相答辩（PMQ）、长音频访谈播客（Podcasts）以及 Reddit 社区争议调解。下游任务为测试集上下文下的真实发言预测（测试集严格按会话隔离切分，共 512 个测试样本）。基线方法为仅做单次事后推导的 Backward Synthesis，评估通过双盲大模型裁判进行成对胜率（Win Rate，排除平局）统计。

评估配置 / 方法	SCOTUS 胜率	PMQ 胜率	Podcasts 胜率	Reddit 胜率	全局平均胜率
Qwen3-8B + Recon-Select	61.2%	53.1%	50.5%	55.0%	54.7%
GPT-5-mini + Recon-Select	56.6%	54.2%	49.0%	52.6%	53.5%
Qwen3-8B + E2E-GRPO	23.6%	48.3%	46.3%	31.5%	38.4%
Qwen3-4B + Recon-GRPO (PMQ)	-	70.0%	-	-	70.0% (PMQ)

消融实验¶

在 PMQ 领域上固定 Qwen3-8B 作为下游动作重构与生成模型，对不同系列和尺寸的推理生成器（$M_r$）进行选优（Recon-Select，N=4）与强化训练（Recon-GRPO，单样本生成）对比消融：

推理模型配置	Recon-Select 胜率	Recon-GRPO 胜率	性能变化说明
Qwen3-4B	59.4%	70.0%	小模型受益于重构奖励幅度极大 (+10.6%)
Llama-3.1-8B-Instruct	54.4%	56.4%	强化训练带来稳定增益 (+2.0%)
Qwen3-8B	54.2%	50.0%	同族模型作为动作重构器削弱了奖励方差反差
Qwen3-14B	49.8%	52.6%	大模型本身生成质量高，小样本搜索增益趋缓

关键发现¶

E2E-GRPO 灾难性退化：端到端针对动作准确度联合训练推理与动作模型的 E2E-GRPO 总体胜率骤降至 38.4%，在 SCOTUS 与 Reddit 上均惨遭滑铁卢（胜率仅 23.6% 与 31.5%）。这强力证明仅优化动作拟合会导致模型利用参数死记硬背或产生专属的不可迁移隐式偏置，破坏了思维链本身的因果引导价值。
跨模型鲁棒迁移：使用 GPT-5-mini 作为推理生成器合成并经 Recon-Select 挑选的思维链，供给 Qwen3-8B 作为下游 RAG 动作预测时，依然能够取得 52.4% 的统计显著性优势；反之若用较弱的 Qwen3-8B 推理去引导强大的 GPT-5-mini，则提升受限。这表明高保真推理捕捉的是用户共通的内在逻辑，而非特定模型的解码捷径。
维度全面性提升：在风格、意图、价值观三大子维度的判定中，Recon-Select 的胜率均显著且均匀地高于 50%，未出现偏科现象，证明该机制对语言深层特质具有出色的捕捉力。

亮点与洞察¶

从“事后合理化”到“重构反演”的范式破局：在无法闭环校验的开放自由文本中，首次明确指出了事后生成的思维链与因果动机之间的本质脱节，巧妙利用“遮蔽动作后看你能否重建出来”作为衡量真实思维的试金石。
顾问式解耦训练（Advisor-Model Optimization）：冻结重构模型、仅让推理模型作为向导学习生成上下文提示，这一机制为大模型代理系统和角色扮演训练提供了一个通用、可解释且防过拟合的强化学习模板。
双轨兼备的工程落地性：免训练的 Recon-Select 仅需少量推理抽样即可实现即插即用；而训练版的 Recon-GRPO 在推理阶段仅需单次采样便可击败基线（在 4B 模型上达成高达 70% 胜率），极大摊薄了线上服务延时。

局限与展望¶

算力开销相对较高：Recon-Select 在分支因子为 $N$ 时需要消耗 $2N+1$ 次大语言模型调用；虽然语料库增强属于离线一次性摊销成本，但对海量实时数据吞吐仍存在压力。
尚未完全摆脱动作条件：Recon 依然需要先以 $(c, a^*)$ 为起点采样候选，随后做逆向验证；完全脱离真实动作、纯粹由上下文出发在开放自然语言空间生成高质量因果推理的方法仍有待探索。
验证范围聚焦于模拟任务：论文主要在 4 个口语/写作领域的 8 位人物角色上展开，未进一步拓展至具备真值闭环的形式化科学推理或长程工具调用环境。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出用“遮蔽动作后的逆向重构保真度”来衡量开放域思维链真实性的判据，切中要害。
实验充分度: ⭐⭐⭐⭐☆ 跨越司法、政辩、播客和网络论坛四个异质性极强的口语与文本领域，并包含严格的人工评测验证。
写作质量: ⭐⭐⭐⭐⭐ 论点极其鲜明，逻辑链条层层递进，“合理化 vs 推理”的概念辨析极其精彩。
价值: ⭐⭐⭐⭐⭐ 对人类行为模拟、数字分身构建、个性化智能体以及非可验证领域的思维链合成均具重大指导意义。