Early Prediction of Future Behavioral Strategy from Process Traces¶

会议: NeurIPS 2026
arXiv: 2605.30550
领域: 学习理论
关键词: 过程轨迹、跨任务行为推断、潜在表征学习、行为遥测、探索与觅食策略

一句话总结¶

针对自适应交互系统难以提前预判用户在未来任务中行为策略的问题，本文提出过程级隐变量模型（PLVM），通过自监督因果 Transformer 对源任务的过程轨迹进行编码，并将多任务表征融合为共享个体隐空间，在真实人类游戏遥测数据与受控仿真中实现了对未来目标任务行为策略（如区域规划者与区域跳跃者）的早期精准跨任务预测。

研究背景与动机¶

自适应交互系统（如智能辅导系统、动态自适应游戏、人机协同系统）往往需要在仅获得受限前期证据的情况下，为具体用户做出任务级别的个性化决策。例如，智能家教需要预判学习者在新题型上的认知解题路径，协同机器人需要推断人类搭档在全新任务轮次中是坚持既定计划还是频繁切换目标。这类自适应个性化依赖于塑造个体跨任务解决问题的内在行为倾向。然而，传统行为科学与应用评估通常依赖宏观聚合结果指标（如准确率、反应时间、完成率、生产率或总得分）来度量个体差异。这类总结性统计量虽然紧凑通用，但极易将截然不同的行为过程压缩为相似的结果：两位得分相近的玩家，其背后可能分别对应严密的局部深度探索策略与频繁无序的跳跃切换策略，而这两种过程往往需要完全相反的干预方式。

为了捕获这一过程维度的差异，近期的研究转向细粒度过程轨迹建模，利用时序行为记录保留行为展开的动态信息。现代序列模型（如 Transformer）能够很好地学习单任务内的时序依赖。然而，仅仅在单任务上建模过程轨迹并不能解决跨任务推断的挑战。单一环境下的强序列模型极易将环境的物理空间布局、动作可供性（affordances）与个体稳定的行为倾向深度纠缠；同时，个体核心的行为倾向在单一源任务中往往只能得到片面的表达。因此，核心瓶颈在于：既不能只依赖丢失动态的过程结果汇总，也不能单纯在单任务内拟合序列，而必须跨多个源任务融合互补的过程证据，提取出能够泛化至未见目标任务的个体级稳定行为表征。

本文从觅食理论（Foraging Theory）与跨任务表示学习出发，形式化了“早期跨任务行为策略预测”问题。研究的切入点是：通过对多个源任务的部分过程轨迹进行因果表征提取，并将互补的任务表征融合至个体级隐变量空间，从而在未见目标任务任何轨迹的前提下，提前预判其长期行为策略。核心 idea：提出过程级隐变量模型（PLVM），先通过自监督因果 Transformer 独立提取多源任务前缀过程轨迹的时序动态表征，再将其多路拼接融合为个体共享隐表征，实现在目标任务零观测输入下的未来行为组织策略（局部区域规划者 vs 频繁跳跃者）早期推断。

方法详解¶

整体框架¶

PLVM 的核心目标是在目标任务 $k^\star$ 尚未发生（或未提供任何输入轨迹）时，仅根据观察到的多个源任务 $\mathcal{K}_{obs}$ 的早期截断过程轨迹 $X_{i,k}^{(t)}$，预测个体在目标任务中的宏观行为组织策略 $y_{i,k^\star}$。

整个处理管线包含三个串联阶段： 1. 任务特异性过程编码（Task-specific Process Encoders）：对每个源任务 $k \in \mathcal{K}_{obs}$，独立训练一个因果 Transformer 编码器 $f_k$。编码器通过自监督的下一个事件预测任务（例如仿真中的下一动作预测、真实游戏中的下一步空间位移预测）学习任务内的时序行为动态，训练完成后冻结权重。 2. 跨任务特征融合（Cross-task Fusion）：将每个源任务编码器输出的固定维度表征向量在特征维度进行拼接，输入前馈融合网络 $g_\phi$，映射生成个体级共享隐表征向量 $z_i^{(t)}$，提炼出跨越单一布局局限的个体行为偏好。 3. 目标行为解码（Target-behavior Decoder）：通过分类解码器 $d_\psi$ 对共享隐表征进行投影和 Softmax 归一化，输出对未见目标任务行为策略（如 Zone Planner 与 Zone Hopper）的分类概率，并采用交叉熵损失端到端优化融合层与解码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源任务部分过程轨迹<br/>X_i,k^(t): 位置/时间/子任务事件序列"] --> B["任务特异性因果编码<br/>自监督预训练 Transformer f_k 独立提取时序动态并冻结"]
    B --> C["跨任务特征融合<br/>前馈融合网络 g_phi 映射多源嵌入为个体共享隐表征 z_i^(t)"]
    C --> D["目标任务行为解码<br/>解码器 d_psi 输出未见目标任务策略分布 p(y_i,k* | z_i^(t))"]
    D --> E["个性化自适应决策<br/>区域规划者 vs 区域跳跃者早期干预"]

关键设计¶

1. 任务特异性因果编码：解耦单任务动态与自监督预训练

直接在跨任务预测任务上端到端训练序列编码器极易面临两个困境：一是跨任务带标签的样本量受限于完成多任务的用户交集，端到端容易过拟合；二是单任务的时序动力学往往被环境结构主导。为此，PLVM 将过程编码与跨任务融合解耦。对每个源任务 $k$，设计因果自注意力 Transformer 编码器 $f_k$，输入截至时间截断点 $t$ 的有序事件序列 $X_{i,k}^{(t)} = (x_{i,k,1}, \dots, x_{i,k,t})$，映射得到嵌入向量： $$h_{i,k}^{(t)} = f_k(X_{i,k}^{(t)})$$ 每个编码器仅基于任务内部的自监督“下一个事件预测（Next-event Prediction）”进行独立预训练。在网格世界仿真中，预测目标为智能体的下一步动作或目标选择；在 PowerWash 真实游戏中，预测目标为玩家到达下一个子任务完成节点时的空间位移变化量 $(\Delta x, \Delta y, \Delta z)$。这种设计确保了编码器能够无监督地捕捉个体在特定任务约束下的精细移动与探索节奏，随后将其参数完全冻结，阻断任务特异性噪声对下游融合的干扰。

2. 跨任务特征融合：构建共享个体级隐表征空间

单一源任务往往只能激发个体的某一侧面（例如开阔空间更能体现探索广度，狭窄空间更能体现局部持久性）。为了捕获本质的个体倾向，PLVM 设计了跨任务前馈融合网络 $g_\phi$。融合层将各冻结编码器提取的源任务前缀嵌入进行拼接，并通过多层感知机（MLP）将其投影为紧凑的低维个体隐表征 $z_i^{(t)}$： $$z_{i}^{(t)} = g_{\phi}\left(\operatorname{concat}_{k\in\mathcal{K}_{obs}} h_{i,k}^{(t)}\right)$$ 消融研究表明，低维隐空间（尤其是二维隐表征 PLVM-2）表现出极优的泛化性与可解释性。融合网络不强制各任务的几何空间强行对齐，而是学习如何组合互补任务的动态线索，过滤掉单任务特异的空间布局依赖，提炼出可跨任务迁移的个体行为表征。

3. 目标行为解码与结构化导航风格量化：从连续轨迹到可行动策略

在目标任务端，模型需要在完全不接触目标任务输入轨迹的情况下，通过目标行为解码器 $d_\psi$ 输出目标策略类别概率： $$p_\psi(y \mid z_i^{(t)}) = \operatorname{softmax}\left(d_\psi(z_i^{(t)})\right)_y$$ 整个融合层与解码器联合使用交叉熵损失进行训练： $$\mathcal{L}(\phi, \psi) = -\sum_{i} \log p_\psi(y_{i, k^\star} \mid z_i^{(t)})$$ 为了定义客观真实的目标任务行为策略标签 $y_{i, k^\star}$，论文基于动物觅食理论中的“斑块利用-转移”范式，对目标任务（Fire Station）构建了空间区域导航风格得分 $S_i$。首先将目标任务的 183 个清洗子任务三维空间坐标聚类为 $K=6$ 个空间区域（Zones），将玩家的子任务完成序列离散化为区域访问流。随后提取四个标准化统计量：区域切换率 $a_i$、回访率 $r_i$、平均单区域连续作业长度 $\ell_i$、以及跨区域空间跳跃距离 $d_i$，构建综合导航风格得分： $$S_i = z(a_i) + z(r_i) - z(\ell_i) + z(d_i)$$ 其中 $z(\cdot)$ 为全人群 Z-Score 标准化。得分前 35% 的玩家被定义为频繁在不同区域间穿梭的“区域跳跃者（Zone Hoppers）”，后 35% 为专注于单一区域彻底清理的“区域规划者（Zone Planners）”，中间 30% 为混合模糊型。这一标签客观刻画了个体在高自由度复杂空间中的计划执行特质。

损失函数 / 训练策略¶

两阶段训练机制：
- 第一阶段（任务编码自监督）：单任务因果 Transformer 在所有可用的单任务轨迹上独立预训练。仿真环境采用分类交叉熵损失优化下一动作预测（准确率达到 85%–88%）；PowerWash 环境采用 MSE 损失优化下一子任务的三维位置位移预测（Back Garden 与 Bungalow 的位置预测 RMSE 分别为 2.70/0.39/2.26 与 3.46/0.72/2.78）。
- 第二阶段（融合与下游预测）：冻结所有 Transformer 编码器参数，使用配对的多任务完成者子集（PowerWash 真实数据中共 2,187 名同时满足源任务数据与目标任务完整度的玩家），端到端最小化交叉熵损失 $\mathcal{L}(\phi, \psi)$。
优化超参数：
- 序列编码 Transformer：隐藏层维度 32（PowerWash）或 256（仿真），2 层，4 个注意力头，上下文长度分别为 120 个事件和 200 步，学习率分别为 0.002/0.01 和 0.001。
- 融合与分类解码器：隐藏层维度 32，解码器 3 层（PowerWash）或 2 层（仿真），采用 Adam 优化器，学习率设为 $1 \times 10^{-4}$。
- 实验采用严谨的 10 折交叉验证评估跨个体泛化能力。

实验关键数据¶

主实验¶

主实验在 PowerWash Simulator 真实人类行为数据集上评估，以 Back Garden 和 Bungalow 作为早期观察任务，预测玩家在全新且空间更广阔的 Fire Station 关卡中的导航策略（Zone Planner vs. Zone Hopper）。基准模型包含聚合结果模型（Best Outcome，使用完成百分比、完成子任务数、速率、趋势等统计量）以及最佳单任务过程序列模型（Best Single-task，仅使用 Bungalow 的前缀过程轨迹）。所有模型在完全匹配的时间截断点（20 分钟、60 分钟、120 分钟）进行评估。

模型类别	20 min 准确率 (%)	60 min 准确率 (%)	120 min 准确率 (%)	120 min AUC
最佳结果基线 (Best Outcome)	56.0 ± 2.8	53.0 ± 1.6	52.5 ± 3.4	0.54 ± 0.02
最佳单任务过程 (Best Single-task, Bungalow)	57.9 ± 3.0	62.9 ± 4.1	63.6 ± 4.0	0.62 ± 0.03
PLVM (本文方法)	61.6 ± 4.6	65.3 ± 4.7	65.2 ± 4.6	0.64 ± 0.04

消融实验与机制检验¶

为了直接验证跨任务融合在何种场景下有效，论文设计了基于已知真实潜在表征的受控网格世界仿真实验（8,000 名智能体）。每个智能体由两个潜在行为特质参数控制：局部斑块驻留倾向 $P_i$ 与机会主义高价值奖励追求倾向 $O_i$。觅食任务设计了大量稀有高价值目标，对 $O_i$ 高度敏感；清理任务由均匀分布的斑块组成，对 $P_i$ 高度敏感。目标表征取决于两者的协同关系（同向为 Type A，反向为 Type B）。论文对比了不同源任务关系下的跨任务预测性能增益。

任务间关系设定	最佳单任务过程准确率 (%)	PLVM 跨任务融合准确率 (%)	PLVM 性能增益	说明
互补任务 (Complementary tasks)	68.0	86.6	+18.6	两任务分别揭示不同潜变量维度，融合带来质的飞跃
弱相关共享信号 (Weak but shared signal)	56.6	74.8	+18.2	单任务信号含噪微弱，多任务聚合消除方差
信息冗余任务 (Redundant tasks)	89.4	88.4	-1.0	单任务已充分揭示表征，融合无额外收益

关键发现¶

宏观结果指标无法反映行为组织：在 20 分钟观察截断下，单纯依靠 Back Garden 的完成率（AUC 0.51）或 Bungalow 的完成率（AUC 0.55）几乎完全无法区分未来的规划者与跳跃者；随着观察时间延长至 120 分钟，结果基线准确率甚至退化至接近随机猜测的 52.5%，表明“完成了多少”与“如何组织行为”是两个完全解耦的维度。
单任务过程轨迹包含有效但片面的信号：基于单任务 Transformer 的模型（Bungalow）在 120 分钟时准确率达到 63.6%，显著优于结果基线，证明细粒度过程轨迹确实记录了策略倾向；但受限于单个任务布局的诱导偏置，其性能明显受限。
跨任务互补性是融合增益的核心源泉：PLVM 在 20 分钟早期即可达到 61.6% 准确率，并在 60 分钟收敛至 65.3%，全面超越单任务与结果基线。仿真消融清晰揭示：只有当不同源任务分别暴露潜在认知特质的不同切面时，跨任务隐空间融合才能产生高达 +18.6% 的性能跨越；若源任务本身信息冗余，融合则无额外收益。
极低维度隐空间的鲁棒性：在潜变量维度敏感性分析中，PLVM-2（2 维隐表征）在二分类与更严苛的三分类（包含 Mixed 组）任务中均表现出极具竞争力的分类精度，且在潜空间二维可视化中展现出规划者与跳跃者清晰的聚类平移趋势。

亮点与洞察¶

将觅食理论与行为遥测结合建立策略指标：利用空间聚类与转换统计量构造出无监督的“区域导航风格得分 $S_i$”，成功将无序的现实复杂空间移动序列量化为具备认知学解释力的高层策略标签。
解耦“序列动态学习”与“跨任务个性融合”：避免了将原始时序轨迹直接端到端送入联合大模型的过拟合陷阱，采用“单任务自监督因果编码 + 冻结特征拼接降维”的两阶段范式，既保留了单任务微观运动规律，又提炼出个体级宏观策略。
反直觉的实验事实：结果相似不代表策略相似：严格证实了在长周期开放环境中，生产力/完成度等“绩效指标”几乎完全无法充当“行为风格”的代理变量，为个性化人机交互、教育辅导与用户建模指明了必须深入“过程流”的研究方向。

局限与展望¶

依赖源任务间的潜在迁移性：作者承认，PLVM 能够发挥作用的前提是所观测的任务之间存在共享的个体行为倾向。如果任务间毫无关联、行为模式极度不稳定，或者单一任务已完全暴露策略，模型将无法获得跨任务增益甚至可能引发负迁移。
真实环境缺乏金标准认知特质真值：在 PowerWash 实验中，标签是通过空间转换统计量计算的操作化代理指标，而非心理学临床量表经过严格外在效度验证的特质，更多反映的是空间操作风格而非全面的认知能力。
下游自适应干预验证缺失：目前工作停留在“策略预测”阶段，尚未将推断出的策略表征接入实际的动态自适应辅助系统（例如为 Hopper 提供路线锚定提示，为 Planner 提供微观隐藏目标高亮），其实际干预效用有待闭环评估。

评分¶

新颖性: ⭐⭐⭐⭐ [首次明确形式化早期跨任务过程轨迹策略推断问题，并提出解耦融合的 PLVM 架构]
实验充分度: ⭐⭐⭐⭐⭐ [结合 1.1 万人规模真实 3D 游戏遥测轨迹与 8,000 智能体受控认知仿真，证据链极其扎实自洽]
写作质量: ⭐⭐⭐⭐⭐ [逻辑极为严谨，问题动机、理论根基、形式化建模与消融机制层层递进]
价值: ⭐⭐⭐⭐ [对人机协同、游戏自适应体验、自适应智能教育系统的冷启动个性化建模具有重要参考价值]