TaxoAgent: Utility-Aligned Policy Optimization for Hierarchical Semantic Classification¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 大语言模型智能体
关键词: 层级语义分类、策略优化、大语言模型智能体、效用对齐、分布外意图拒绝
一句话总结¶
TaxoAgent 将层级语义分类重塑为显式的“粗到细”决策轨迹,通过融合分类准确率、层级结构约束、语义距离与轨迹连贯性的全局复合效用,利用群组相对策略优化(GRPO)强化高价值决策路径,显著降低了跨分支严重错误与层级违规率。
研究背景与动机¶
层级语义分类(Hierarchical Semantic Classification, HTC)是工业级分类体系、移动应用商店审核、科学文献标引以及开放域意图理解的核心基石。与传统的扁平分类不同,层级分类不仅要求模型预测单个标签的正确性,更要求整条预测路径在有向无环分类图(Taxonomy DAG)上满足严格的父子依存与层级一致性。以往的经典方法主要依赖分层神经网络、图卷积网络或层级对比学习将类别结构隐式编码为辅助表示或解码掩码,但本质上依然将各节点视作割裂的打分目标,无法感知分类错误的非对称严重性。
在真实场景中,分类预测的效用具有内在的非可分性:混淆同一粗粒度父节点下的局部兄弟类别(例如将“心血管药”误分为“降压药”)属于温和近错(near-miss),而跨越顶层大类的越界误判(例如将“金融理财”直接归类到“母婴健康”)则属于破坏下游业务逻辑的灾难性错误;此外,扁平打分模型容易预测出无父节点支撑的孤立细粒度标签,导致严重的层级不一致。尽管通用大语言模型(LLM)具备深厚的语义先验,能够理解标签名与说明文本,但直接零样本提示(Prompting)不仅缺乏对层级约束的刚性控制,而且在面对分布外(Out-of-Scope, OOS)或演化新增类别时缺乏经过校准的拒识边界,极易产生自信的结构性幻觉。
面对传统优化目标与层级分类真实业务效用之间的严重割裂,本研究不再把分类任务视作孤立的标签打分或文本生成,而是将分类体系本身视为结构化的序列决策空间。核心 idea:将层级分类建模为由父至子的显式可验证决策轨迹,构建整合分类正确率、层级有效性、原型语义近邻与粗到细连贯性的复合效用函数,并通过群组相对策略优化(GRPO)将端到端结构效用内化为大模型策略,在保持推断合规的同时将严重越界错误重塑为温和近错。
方法详解¶
整体框架¶
TaxoAgent 的核心思想是将静态的标签匹配转化为一个三阶段的结构化决策轨迹 \(\tau = (a_p, a_c, a_v)\)。给定输入文本 \(x\) 和分类体系有向图 \(G=(V, E)\),智能体首先在粗粒度父节点空间 \(P\) 中选择候选父标签集 \(a_p\);随后在选定父节点诱导的语义上下文下展开细粒度子标签 \(a_c\);最后执行校验决策 \(a_v\) 并解析出原始预测集合 \(\tilde{Y} = (\tilde{Y}^p, \tilde{Y}^c)\)。该决策轨迹由非可分复合效用函数驱动,利用结构校验器和基于文本编码器的语义原型校验器对候选轨迹打分,最终在组内轨迹间计算相对优势以更新策略模型参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入文本与分类体系拓扑"] --> B["粗到细决策轨迹策略<br/>逐级生成父标签、子标签及校验决策"]
B --> C["语义原型与层次校验器<br/>评估父子支撑约束与原型空间语义距离"]
C --> D["全局非可分复合效用奖励<br/>融合分类结果、层级合规、语义温和度与决策连贯性"]
D --> E["群组相对策略优化与推断投影<br/>组内效用归一化更新策略权重并执行结构闭包截断"]
E --> F["最终合规层级分类结果"]
关键设计¶
1. 粗到细决策轨迹策略:扁平解码割裂父子依赖 -> 显式解耦为父节点选择、子节点展开与自校验三阶段生成 -> 约束搜索空间并建立条件依赖
传统方法直接使用单步解码或扁平多分类器输出整套标签,割裂了高层类别对底层细粒度类别的强剪枝约束。TaxoAgent 将策略参数化为 \(\pi_\theta\),显式将轨迹概率分解为自回归的条件概率流: $\(\pi_\theta(\tau | x, G) = \pi_\theta(a_p | x, G) \cdot \pi_\theta(a_c | x, G, a_p) \cdot \pi_\theta(a_v | x, G, a_p, a_c)\)$ 其中首步决策 \(a_p\) 输出排名的粗粒度父标签集合 \(\tilde{Y}^{step,p}\),第二步决策 \(a_c\) 在已被激活的父分支上下文约束下展开候选子标签,最后一步验证动作 \(a_v\) 统一输出规范的 JSON 结构并剔除非法词表串。这一显式分步设计在推理时为模型提供了类似于推理链(Chain-of-Thought)的演进轨迹,将全局庞大的标签空间剪枝为局部的层级决策链,显著减少跨大类胡乱关联的搜索复杂度。
2. 语义原型与层次校验器:等价看待所有误报导致惩罚失真 -> 构建多源原型与结构约束衡量错误严重度 -> 区分温和近错与灾难性越界
在传统的二元交叉熵或 F1 损失下,将样本错分为近邻兄弟类与错分为完全无关大类的损失完全等价,导致模型无法习得分类体系的几何邻近关系。TaxoAgent 引入基于冻结特征编码器 \(f_\phi\) 的原型空间,为每个子标签 \(c\) 融合文本名称语义与训练集样本表征: $\(q_c = \lambda_{name} f_\phi(t_c) + \frac{\lambda_{data}}{|D_c| + \epsilon} \sum_{(x_i, Y_i) \in D_c} f_\phi(x_i)\)$ 对于父标签 \(p\),则通过其名称特征与下属所有子标签原型向量的加权聚合构造 \(q_p\),归一化后得到单位原型向量 \(e_\ell\)。结构校验器计算未受父节点支撑的子标签惩罚项 \(R_{hier}\);语义校验器则基于余弦相似度 \(s_{\ell, b} = \frac{1 + e_\ell^\top e_b}{2}\) 计算语义距离 \(d(\ell, B) = 1 - \max_{b \in B} s_{\ell, b}\)。对于跨父节点的严重误判,施加惩罚放大因子 \(\kappa \ge 0\): $\(D_c = \frac{1}{|\tilde{Y}^c| + \epsilon} \sum_{\tilde{c} \in \tilde{Y}^c} \left(1 + \kappa \cdot \mathbb{I}[\rho(\tilde{c}) \notin Y^p]\right) d(\tilde{c}, Y^c)\)$ 进而生成平滑的语义奖励 \(R_{sem} = \exp\left(-\frac{\alpha D_p + (1-\alpha) D_c}{\tau_{sem}}\right)\),确保模型受到平滑但具有严重度惩罚的梯度信号引导。
3. 全局非可分复合效用奖励:局部奖励无法保证全局有效性 -> 构建多维度联合优化的标量效用函数 -> 平衡命中率、结构合规、语义偏离与步间一致性
层级分类的成功并非单纯取决于某一个指标,单方面追求零违规可能导致模型选择保守不输出,单方面追求局部 F1 容易出现父子矛盾。TaxoAgent 设计了取值范围严格归一化到 \([0, 1]\) 的轨迹级复合效用 \(U(\tau; x, Y, G)\): $\(U(\tau; x, Y, G) = \lambda_{out} R_{out} + \lambda_{hier} R_{hier} + \lambda_{sem} R_{sem} + \lambda_{traj} R_{traj}\)$ 其中 \(R_{out}\) 综合衡量父标签集合 F1、子标签集合 F1 以及父子绑定对 \((p, c)\) 的匹配度;\(R_{hier} = 1 - \frac{\sum_{\tilde{c} \in \tilde{Y}^c} \mathbb{I}[\rho(\tilde{c}) \notin \tilde{Y}^p]}{|\tilde{Y}^c| + \epsilon}\) 直接在原始输出上重罚结构孤立子节点;轨迹连贯性奖励 \(R_{traj} = \frac{\sum_{\tilde{c} \in \tilde{Y}^c} \mathbb{I}[\rho(\tilde{c}) \in \tilde{Y}^{step,p}]}{|\tilde{Y}^c| + \epsilon}\) 专门检验最终生成的子节点是否真正承接自第一步决策所声明的父类别,阻断跨步“偷换前提”的不一致行为。
4. 群组相对策略优化与推断投影:后处理重排无法内化能力 -> 基于组内效用对比的策略梯度优化与确定性闭包投射 -> 实现端到端策略自修正与零违规保障
微调如果仅依赖教师强制(SFT)只能拟合正确答案的字面序列,无法探索并抑制次优路径。TaxoAgent 采用群组相对策略优化(GRPO),对同一输入样本 \(x_i\) 从老策略 \(\pi_{\theta_{old}}\) 中采样 \(G\) 条轨迹 \(\{\tau_i^g\}_{g=1}^G\),计算各轨迹的效用得分 \(r_i^g = U(\tau_i^g)\),并计算组内相对优势: $\(A_i^g = \frac{r_i^g - \mu_i}{\sigma_i + \epsilon}, \quad \mu_i = \frac{1}{G}\sum_{g=1}^G r_i^g, \quad \sigma_i^2 = \frac{1}{G}\sum_{g=1}^G (r_i^g - \mu_i)^2\)$ 通过裁剪型代理目标函数配合与参考策略 \(\pi_{ref}\) 之间的 KL 散度正则项优化策略参数 \(\theta\)。在测试阶段,模型生成单条原始轨迹 \(\tilde{Y}\) 后,应用确定性结构投影算子 \(\Pi_G\):强制补全所有已命中子标签的祖先节点,并剔除不在拓扑树中的非法词条,使得最终落盘预测 \(\hat{Y} = \Pi_G(\tilde{Y})\) 达到理论上的绝对合规。
损失函数 / 训练策略¶
TaxoAgent 的端到端训练算法由带 KL 惩罚项的 GRPO 目标驱动: $\(J_{GRPO}(\theta) = \frac{1}{\sum_{i,g} T_{i,g}} \sum_{i,g,t} \min\left(r_{i,g,t}(\theta) A_i^g, \, \text{clip}(r_{i,g,t}(\theta), 1-\varepsilon, 1+\varepsilon) A_i^g\right) - \beta D_{KL}\left(\pi_\theta(\cdot | x_i, G) \,||\, \pi_{ref}(\cdot | x_i, G)\right)\)$ 其中 \(r_{i,g,t}(\theta) = \frac{\pi_\theta(\tau_{i,g,t} | \dots)}{\pi_{\theta_{old}}(\tau_{i,g,t} | \dots)}\) 是逐 token 的概率比率,\(\varepsilon\) 为近端裁剪阈值。基础策略网络采用 Qwen3-14B,在 8 张 A100-80GB GPU 上基于分布式数据并行训练。对于多级(任意深度 \(D > 2\))通用分类体系(如 RCV1 的 4 级树),TaxoAgent 将层级校验奖励推广为全路径祖先覆盖检验 \(R_{hier}^{multi} = 1 - \frac{\sum_{\ell} \sum_{a \in Anc(\ell)} \mathbb{I}[a \notin \tilde{Y}]}{\sum_{\ell} |Anc(\ell)| + \epsilon}\),并通过层级递归与逐级连贯性奖励支持任意深度的拓扑体系。
在分布外意图(OOS)识别场景下,模型无需重新全量微调,而是利用训练好的语义原型在推断阶段计算文本与合法父子边 \((p, c) \in E\) 的最大置信度得分 \(q_{max}(x) = \max_{(p,c) \in E} [\eta s_x(p) + (1-\eta) s_x(c)]\)。当 \(q_{max}(x) < \delta_{oos}\) 时,决策系统将直接触发拒识并输出 OOS 标签,使得开放域安全防御与层级分类有机统一。
实验关键数据¶
主实验¶
论文在两个真实移动应用分类数据集(中文 IOS-APP-ZH、英文 Google-APP-EN)以及两个标准学术基准(RCV1、Web of Science)上进行了全面评测,对比了传统编码器模型、图神经网络、对比学习方法以及先进的闭源/开源大语言模型直接提示方案。
| 数据集 | 指标 (%) | 本文 (TaxoAgent) | 最优对比基线 | 提升幅度 |
|---|---|---|---|---|
| IOS-APP-ZH | Micro-F1 | 77.35 | 74.86 (HILL) | ↑2.49 |
| Macro-F1 | 35.21 | 32.66 (DeepSeek-3.2) | ↑2.55 | |
| Google-APP-EN | Micro-F1 | 82.50 | 81.84 (HILL) | ↑0.66 |
| Macro-F1 | 80.70 | 79.01 (TELEClass) | ↑1.69 | |
| RCV1 | Micro-F1 | 89.38 | 87.92 (HMCN+HMCL) | ↑1.46 |
| Macro-F1 | 73.15 | 71.36 (HMCN+HMCL) | ↑1.79 | |
| WOS | Micro-F1 | 89.93 | 89.17 (TELEClass) | ↑0.76 |
| Macro-F1 | 83.75 | 81.77 (HILL) | ↑1.98 |
消融实验与同底座控制变量¶
为了严格排除参数量与基座模型带来的红利,论文在统一使用 Qwen3-14B 底座的条件下,细致剖析了策略微调、提示链、校验重排、成对偏好优化(DPO)与 GRPO 策略优化的递进收益,并记录了投影前的原始层级不一致率(Raw-HIR)。
| 配置 / 变体 | IOS-APP-ZH Micro-F1 | IOS-APP-ZH Macro-F1 | IOS Raw-HIR (%) ↓ | Google-APP-EN Micro-F1 | Google-APP-EN Macro-F1 | Google Raw-HIR (%) ↓ |
|---|---|---|---|---|---|---|
| Qwen3-14B Raw (直接Prompt) | 31.38 | 25.02 | 10.2 | 68.00 | 66.00 | 12.1 |
| + SFT (标准序列监督微调) | 73.51 | 31.92 | 8.3 | 73.00 | 68.00 | 10.4 |
| + SFT + 确定性投影 (Projection) | 73.89 | 32.18 | 8.3 | 73.55 | 68.42 | 10.4 |
| + SFT + 轨迹提示 (Trajectory Prompt) | 74.18 | 32.65 | 7.2 | 75.40 | 70.25 | 8.8 |
| + SFT + 校验器重排 (Verifier Rerank) | 75.62 | 33.40 | 6.4 | 78.10 | 74.20 | 7.5 |
| + DPO (成对偏好优化) | 76.41 | 34.36 | 5.9 | 80.10 | 78.40 | 6.8 |
| TAXOAGENT (完整 GRPO 策略优化) | 77.35 | 35.21 | 5.3 | 82.50 | 80.70 | 6.1 |
关键发现¶
- 宏平均与长尾增益尤为突出:在各基准上,Macro-F1 的提升幅度显著超过 Micro-F1。长尾分析表明,在低频标签群组上,TaxoAgent 在 IOS-APP-ZH 上平均提升达 +8.7 F1,远超中频(+4.1)与高频(+1.6)标签,证实了层级语义奖励将拓扑结构知识有效迁移至样本稀疏的尾部类别。
- 错误质量发生质的改变:语义错误距离分析显示,TaxoAgent 将 IOS-APP-ZH 上的平均误判距离从最优基线的 0.266 压缩至 0.148,近错率(Near-Miss Rate)由 51.6% 跃升至 82.0%;在 Google-APP-EN 上近错率由 65.9% 提升至 88.2%,绝大部分错误被限制在同一父类下的兄弟节点内,阻断了跨业务线的严重越界。
- 多步轨迹内部展现主动纠错行为:冲积图(Alluvial Flow)诊断显示,初始解码中 70.2% 的问题决策单元在最终输出时被成功化解(补齐召回缺失正类,或剔除孤立假阳性);若计入良性近错,软纠错率高达 86.6%~86.9%,证明多阶段设计并非简单的长文本生成,而是实质性的状态检查与修正机制。
- 分布外拒识边界更加清晰:在 CLINC150 严苛的域内 OOS 测试中,TaxoAgent 超越专门的少样本分类模型 FCSLM,在 Banking 和 Credit Cards 两个域上分别取得 87.93 和 86.39 的 OOS-F1(相比 FCSLM 提升 +3.64 与 +3.68),展现出卓越的不确定性排序能力。
亮点与洞察¶
- 将层级分类重构为强化学习轨迹决策:摆脱了以往将层级信息硬编码进特征表示或注意力掩码的被动做法,首次系统性地将分类验证、拓扑合规与语义相近度构建为可导引策略梯度的非可分奖励函数。
- 错误非对称性惩罚机制:通过在语义校验器中引入跨父分支惩罚乘子 \(\kappa\),在奖励层面重重惩罚“跨领域风马牛不相及”的严重误判,使智能体学会即使在细分类别上把握不准时,也优先保守归属在同父近邻分支下。
- 零额外微调的层级拓扑动态演化:在分类体系动态新增父节点与子类目时,只需通过名称语义与少量种子样本增量注册原型向量,策略模型即可在免于全量重训的情况下在新体系上保持 94.1%~95.7% 的子类准确率。
局限与展望¶
- 假设已知完整的标签元数据:当前方法依赖标签的文本名称及语义描述来初始化可靠的语义原型,在高度抽象的无语义代号或高度加密的专业体系中原型引导效果可能受限。
- 推断延时增加:多步轨迹生成导致每条样本的平均生成 Token 数由单步解码的约 80 增至 630,单样本推断延时从 0.24 秒上升至 1.27 秒。尽管对于离线类目审核完全可承受,但在毫秒级高并发检索在线链路中仍需知识蒸馏压缩。
- 未来方向:探索部分可观测、含噪声或由外部用户动态贡献的动态层级图;拓展至生物医学本体编码(如 ICD/SNOMED)及多语言跨国产业目录的泛化验证。
相关工作与启发¶
- vs 传统分层编码与图匹配(HiAGM, HMCN, HiMatch):传统方法通过层次图卷积或树递归网络修改底层特征,输出依然是孤立的标签打分概率,无法在后验层面抑制层级违例;TaxoAgent 直接以大模型为策略骨干,以完整的决策轨迹与全局效用为优化靶心。
- vs 层级对比表征学习(HGCLR, HILL, HMCL):对比学习方法重在拉近语义或层级相邻样本的特征表征,优化目标依然偏向样本/标签判别力;TaxoAgent 进一步将表征空间固化为原型校验器,充当策略强化学习的环境反馈,从表征提升升维至行为决策对齐。
- vs 通用大模型直接提示与后处理(ChatGPT-4o, DeepSeek-V3.2, TELEClass):通用大模型零样本提示缺乏结构性拒绝能力与结构先验约束,层级不一致率高;TaxoAgent 通过组内相对优势学习(GRPO)将校验标准内化为生成直觉,且显著提升了长尾和演化类别的泛化边界。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐(将层级分类创新重构为粗到细策略优化轨迹,提出针对层级严重度与结构效用的全局奖励)
- 实验充分度: ⭐⭐⭐⭐⭐(覆盖4个中英文分类基准、演化分类、OOS拒识、同底座控制变量消融、错误距离分布及推断纠错流全景分析)
- 写作质量: ⭐⭐⭐⭐⭐(理论阐述严密,动机与方法链路自洽,公式与全景图清晰)
- 价值: ⭐⭐⭐⭐⭐(直击工业界电商/应用分类严重误报痛点,对大模型结构化决策与拒识对齐具有显著指导意义)