Latent Action Reparameterization for Efficient Agent Inference¶

会议: NeurIPS 2026
arXiv: 2605.18597
OpenReview: https://openreview.net/forum?id=YmrnpGIDSb
代码: https://github.com/EZ-hwh/LAR
领域: LLM Agent
关键词: LLM Agent, 推理加速, 动作重参数化, 隐动作空间, 轨迹蒸馏

一句话总结¶

针对大语言模型智能体因底层文本动作粒度过细导致长决策视野与高推理延迟的问题，本文提出隐动作重参数化（LAR），通过频次与下词熵筛选多步语义行为并将其压缩为可执行的离散隐动作符号，在不修改环境交互接口与任务性能的前提下显著缩短有效决策步数与推理开销。

研究背景与动机¶

基于大语言模型（LLM）的自主智能体在多步复杂推理、工具调用与外部环境交互中展现出强大能力。然而，随着任务复杂度与交互轮次的攀升，推理效率逐渐成为智能体走向实际部署与实时交互的核心瓶颈。现有面向智能体加速的工作主要集中在系统层优化（如多Token推测解码、Prompt缓存）、硬件加速或提示词工程（压缩上下文或精简CoT）。这些方法虽然在底层加快了单步Token生成的吞吐率或削减了历史上下文冗余，却始终将智能体的决策过程视作黑盒，使得智能体在面对复杂任务时所需生成的底层决策步数并未发生本质改变。

这种效率瓶颈的根源在于现有智能体架构将动作空间直接表征为离散且低层级的文本输出。智能体生成的每一个Token都被作为显式的决策步来参与自回归生成并条件化后续动作，即便对于高度固定的多步语义行为（如系统提示解析、固定的工具调用协议模版、以及反复出现的状态查询语句），模型也必须逐字自回归吐出数十乃至数百个Token。这导致了极其庞大的“有效决策视野”（Effective Action Horizon）。如果直接套用层次化强化学习或完全隐式的隐状态传递，智能体又会丧失与外部工具或沙盒执行器严格对齐的语法接口，破坏动作的可执行性与透明度。

因此，核心矛盾在于：如何在大幅抽象并压缩智能体动作决策视野的同时，严格保全外部工具执行所需的语法规范与参数动态性？本文的切入视角是显式划分“低熵结构支架”与“高熵任务参数”的边界——工具语法模版与通用控制脚手架在不同上下文中具有稳定的转移等价性，可安全压缩为高阶语义单元；而具体的查询词或实体参数必须显式保留。核心 idea：提出隐动作重参数化（LAR）框架，从智能体自身交互轨迹中基于转移等价性与下词熵挖掘多步循环行为并压缩为专用词表符号，配合轻量轨迹级知识蒸馏将底层文本动作无缝重参数化为高阶隐动作，在零额外解码开销下大幅收敛有效动作视野。

方法详解¶

整体框架¶

LAR将智能体动作空间从细粒度Token流重构为紧凑的混合动作序列。整体流水线分为四个阶段：(1) 从离散交互轨迹中提取并筛选满足转移等价性的动作片段；(2) 构建隐动作词表并将专用符号扩展至模型Embedding；(3) 构造双轨迹（教师原始轨迹与学生重参数化轨迹）训练样本；(4) 通过冻结基座模型的轻量LoRA与新Embedding联合微调，利用共享内容位置上的KL散度蒸馏赋予隐动作完整的语义承载力。推理阶段，隐动作符号与普通Token无异，直接由模型自回归生成，无需后处理展开或二次解码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["智能体历史交互轨迹<br/>tau = (o_1, a_1, ..., o_T, a_T)"] --> B["1. 基于转移等价性的动作片段挖掘<br/>N-gram提取 + 频次与下词熵H(s)双重过滤"]
    B --> C["2. 隐动作词表构建与双轨迹配对<br/>Top-K候选去冗余并最长匹配替换"]
    C --> D["3. 轨迹级知识蒸馏对齐<br/>冻结基座 + LoRA微调 + 共享内容位置KL散度"]
    D --> E["4. 端到端高效隐动作推理<br/>词表隐符号直接解码，零后处理开销"]

关键设计¶

1. 基于转移等价性的动作片段挖掘：在离散文本轨迹中自动化识别稳定多步决策单元 为了将连续的底层Token动作抽象为高阶动作，首先必须确定哪些多步子序列能够被安全地折叠为一个语义单位。论文形式化定义了环境交互中的转移等价性：若两段动作序列在任意历史上下文拼接后，诱导出的环境状态转移与任务结果一致，则它们属于同一等价类。由于在离散长文本历史中穷举验证转移函数计算不可行，LAR设计了经验替代度量——动作候选片段 $s$ 的下一个Token预测经验条件熵： $$H(s) = -\sum_{w \in V_s} p(w \mid s) \log_2 p(w \mid s)$$ 其中 $V_s$ 为在轨迹中跟在片段 $s$ 后续出现的Token集合，$p(w \mid s)$ 为经验转移概率。直觉上，若某个动作片段后续的承接内容高度确定（即 $H(s)$ 极低），说明它主要承载的是确定性的调用模版、控制脚手架或固定语法；反之，若后续熵极高（如自由形式搜索查询词或动态数字参数），则该片段强依赖任务上下文，强行压缩将破坏执行接口。LAR通过滑动窗口提取词级别 $n$-gram（范围 $[n_{\text{lo}}, n_{\text{hi}}]$），执行频次阈值 $f_{\min}$ 与熵阈值 $H_{\max}$ 双重过滤，按综合得分 $\text{score}(s) = \text{freq}(s) / (H(s) + 1)$ 降序排序，并在去重阈值 $\rho=0.7$ 下剔除字串重叠项，最终选出最具代表性的Top-$K$个片段作为隐动作集合 $\mathcal{Z}$。

2. 保持可执行性的边界约束与隐动作词表扩展：隔离高熵参数以保证外部环境调用绝对兼容 智能体动作必须能够被外界代码解释器、网页浏览器或API网关解析。如果盲目追求高压缩率而将任务关键参数（如具体的网页元素选择器、搜索实体名）吞入隐动作，智能体便无法泛化到新输入并引发动作无法执行的灾难。LAR通过前述的信息熵过滤器严格划定了“抽象边界”：只有低熵结构支架被分配给词表中新注册的专用隐动作标记（如 [LATENT_ACTION_i]），而高熵、携带参数绑定的关键实参则在输出空间中强制显式保留。在构建重参数化轨迹 $\hat{\tau}$ 时，算法采用最长前缀优先匹配，将原始轨迹 $\tau$ 中的目标片段一次性替换为对应的单个隐动作符号，使得整个有效决策视野 $H_{\text{lat}}(\tau) = \sum_t |z_t|$ 相比原始的Token总数 $H_{\text{eff}}(\tau) = \sum_t |a_t|$ 产生实质性压缩。

3. 共享内容位置的轨迹级知识蒸馏：让0.1%参数轻量适配吸收多步高阶语义 为使模型在输入或生成单个隐动作符号时能够激活与原长文本序列等效的语义表征，LAR引入了教师-学生双轨迹蒸馏机制。教师网络为完全冻结的原生LLM基座，输入未压缩的原轨迹 $\tau$；学生网络采用相同基座但冻结全部预训练权重，仅添加针对注意力投影矩阵（$q, k, v, o$ 投影，秩 $r=8$，缩放因子 $\alpha=16$）的LoRA适配器以及专属于隐动作词表 $\mathcal{Z}$ 的Embedding层，可训练参数量仅占总量的约0.1%。为了让新Embedding在缺乏显式文本提示的前提下被迫编码整段被替代动作的完整语义，蒸馏损失仅施加在重参数化前后文本内容完全一致的共享位置集合 $M$（不包含隐动作自身）： $$\mathcal{L}_{\text{KL}} = \frac{1}{|M|} \sum_{i \in M} D_{\text{KL}}\left(\text{softmax}\left(\frac{z_i^T}{\tau}\right) \parallel \text{softmax}\left(\frac{z_i^S}{\tau}\right)\right)$$ 其中 $z_i^T, z_i^S$ 分别为教师与学生的输出Logits，$\tau=2.0$ 为蒸馏温度。这种损失约束强制要求学生模型在看到隐动作符号后，对后续决策关键步骤的条件概率分布能够完全复刻未压缩教师的行为，从而成功将多步动作转移规律内化至低维隐符号Embedding与轻量LoRA中。

一个例子：多步检索智能体中的动作折叠¶

在TriviaQA的一道跨实体事实检索任务中（如查询“阿瑟·贝尔福之后的下一任英国首相”），原生ReAct智能体在每一步思考与工具调用时都需要生成长串冗余字符：Thought: I need to search the web for the next British Prime Minister after Arthur Balfour. Action: Search[Next British Prime Minister after Arthur Balfour]。整串动作在原生分词器下消耗40余个Token，其中大量的思维模板词汇、方括号格式以及调用前缀均属固定模式。经过LAR重参数化后，由于前缀模板高频且下词条件熵极低，系统将其折叠为单一隐动作符号 [LATENT_ACTION_42]，紧随其后直接显式生成高熵实体参数 Next British Prime Minister after Arthur Balfour 与环境闭合符。智能体决策视野从40余步离散Token压缩为极少数关键符号，随后直接触发搜索API；搜索结果反馈给环境后，模型以同样紧凑的隐符号衔接提取出的实体并完成回答。在此过程中，工具解析器获得完全一致的显式实参，而模型在自回归生成时的KV缓存与Prefill计算量均减半。

损失函数 / 训练策略¶

模型优化采用AdamW优化器，有效批大小为16（配合梯度累积），学习率设为 $1 \times 10^{-4}$，采用余弦退火学习率调度策略并配置100步预热，权重衰减为0.01，在8卡NVIDIA H200 (140GB) 上以fp16精度训练3个Epoch。此外，在进一步策略优化分析中，LAR适配模型可无缝接入GRPO强化学习算法（学习率 $1 \times 10^{-6}$，KL散度系数0.001），相较基线显著提升了策略收敛速度并保证了探索稳定性。

实验关键数据¶

主实验¶

主实验在三个典型智能体基准上评估：多步推理检索（TriviaQA）、代码生成（KodCode）以及网页工具操作（Mind2Web），骨干模型涵盖Qwen3-8B与Llama-3.1-8B-Instruct。动作Token减少比例以相对于Vanilla轨迹的变化率呈现在括号中。

骨干模型	方法	TriviaQA (Acc)	KodCode (Pass@1)	Mind2Web (Success)	决策层动作Token变化
Qwen3-8B	Vanilla	67.40	34.44	36.73	基准 (0.0%)
	CoT	69.43	35.10	34.15	-
	ReAct	77.84	53.64	-	-
	TokenSkip	57.02	29.80	31.13	-28.7% / -28.4% / -16.6%
	ACON	55.33	28.67	30.77	-27.9% / -22.5% / -17.7%
	ConciseHint	68.69	28.47	35.33	-12.7% / -12.5% / +11.9%
	LAR (本文)	80.09	54.30	39.84	-27.1% / -9.2% / -2.9%
Llama-3.1-8B	Vanilla	73.63	31.13	24.40	基准 (0.0%)
	CoT	75.50	22.52	13.85	-
	ReAct	59.88	33.11	-	-
	TokenSkip	68.87	26.03	14.27	-12.0% / -5.8% / -1.9%
	ACON	57.14	24.67	15.63	-25.4% / -23.1% / -16.7%
	ConciseHint	67.32	25.83	17.33	-13.5% / -12.0% / -13.0%
	LAR (本文)	72.46	35.10	28.30	-23.3% / -9.8% / -20.8%

消融实验¶

为了验证LAR带来的准确率提升究竟是源于“动作抽象语义”本身还是仅仅因“序列长度缩短减轻了注意力衰减”，论文进行了等长填充（Padding Tokens, PT）消融实验，在重参数化序列后强制补齐Padding至原长度。

骨干模型	配置	TriviaQA	KodCode	Mind2Web	结论与机制说明
Qwen3-8B	ReAct (基线)	77.84	53.64	34.15	原始文本动作流基线
	LAR-PT (补长对齐)	79.64	53.64	34.40	消除长度红利后性能仍优于ReAct，证实隐动作表征具有纯粹语义优势
	LAR (完整方案)	80.09	54.30	39.84	序列压缩带来互补的额外性能增益（Mind2Web提升尤为显著）
Llama-3.1-8B	ReAct (基线)	59.88	33.11	24.40	原始文本动作流基线
	LAR-PT (补长对齐)	74.25	34.44	27.15	大幅超越ReAct (+14.37)，证明动作抽象本身能有效稳定推理状态
	LAR (完整方案)	72.46	35.10	28.30	整体性能表现稳健，动作Token大幅缩减20.8%

关键发现¶

泛化与零样本迁移验证：在仅用TriviaQA与KodCode训练隐动作的前提下，LAR直接零样本迁移至未见过的Musique（QA多跳推理）以及HumanEval/MBPP（代码基准）。在Qwen3-8B上，HumanEval Pass@1从89.63%进一步提升至91.46%，MBPP从74.17%提升至75.50%，证明所学到的隐动作捕捉的是通用的代码脚手架与推理结构，而非过拟合特定数据集的伪规律。
系统级吞吐与显存收益：硬件侧测试表明，在vLLM推理引擎下，Qwen3-8B在TriviaQA上的Token吞吐率从127.8 tokens/s提升至150.2 tokens/s，峰值GPU显存从75.3GB微降至73.1GB。由于隐动作符号无需任何后处理解码与展开，重参数化带来的视野缩减直接按比例兑现为硬件时延降低。
抽象边界的三阶段坍塌（Phase I-III）：随着动作重参数化率持续提升，智能体表现呈现明显的“Phase I 适度抽象增益 $\rightarrow$ Phase II 性能峰值边界 $\rightarrow$ Phase III 语义坍塌断崖”。当熵阈值放宽导致具体的搜索关键词等参数被强行折叠时，外部工具接口直接解析失败，性能发生断崖式下跌，验证了严格限制在低熵结构性片段进行抽象的必要性。

亮点与洞察¶

将动作空间表征确立为智能体推理加速的一等公民：区别于传统仅在系统底层加速Token生成或在上层压缩提示词的思路，LAR指出了长决策视野的根本矛盾在于文本Token作为动作原语过于细碎。通过改变动作本身的抽象级别，在算法层面重新定义了决策单位。
以信息熵作为转移等价性与可执行边界的数学代理：利用下一个Token预测的条件经验熵 $H(s)$ 巧妙避开了长历史状态转移穷举的不可行性，以极低代价精准切分出“低熵固定语法”与“高熵动态参数”，实现了高压缩率与外部接口兼容性的完美平衡。
即插即用且完全免除反向解码开销：在词表中直接扩充隐符号并通过轻量LoRA与KL散度蒸馏内化语义，使生成出的动作符号本身即具备高层级语义驱动力，模型推理过程与常规自回归完全一致，做到了真正的零Runtime Overhead。

局限与展望¶

高度依赖任务环境的结构化重复度：作者指出LAR在具有高度格式规范的场景（如Web交互协议、代码脚手架、标准格式工具调用）中效果显著，但在纯自由文本漫谈或高变异性的开放式创造任务中，低熵转移等价片段较少，可压缩空间相对受限。
离线挖掘难以动态自适应环境分布偏移：当前的动作片段挖掘依赖预先收集的Rollout轨迹，若部署环境或工具协议发生剧烈演变，固化的隐动作词表可能面临失真，需要重新运行挖掘与蒸馏流水线。未来可探索在线自适应学习隐动作单元的机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出将LLM Agent动作空间重参数化为紧凑离散隐单元，从动作表征本身突破推理效率瓶颈]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖多跳推理/代码/网页交互三大任务、迁移泛化验证、GRPO学习稳定性分析及真实OpenClaw系统实测]
写作质量: ⭐⭐⭐⭐⭐ [从转移等价性数学定义到信息熵工程落地的推导严密流畅，实验消融与三阶段坍塌分析极具说服力]
价值: ⭐⭐⭐⭐⭐ [为工业级智能体落地提供了一种与底层推理引擎兼容且不损失准确率的高效动作压缩新范式]