How Fine-Tuning Objectives Shape Layer-Wise Information in LLM Hallucination Detection¶

会议: NeurIPS 2026
arXiv: 2610.27711
领域: 幻觉检测
关键词: 幻觉检测, 微调目标, 逐层信息分析, 线性探针, 提前退出

一句话总结¶

本文揭示了在 LLM 二分类幻觉检测中，分类头微调（cls）比生成式序列到序列微调（s2s）诱导了具有更强线性可解码性与双簇几何结构的任务表征，并通过静态部分信息分解（PID）与动态训练轨迹定位到中高层任务信号形成区（InfoWindow）及其上方的冗余平台，进而提出静态高层截断规则，在移除 Qwen3 模型 31% 层数的同时保持精度无损并带来 $1.4\times$ 推理加速。

研究背景与动机¶

大语言模型（LLM）在检索增强生成（RAG）和智能体工作流中广泛应用，准确且低延迟的二分类幻觉检测（判断生成声明是否受上下文支撑）是保障下游可靠性的核心环节。当前基于标注数据微调预训练 LLM 主干的检测器主要有两种范式：一是将任务表述为生成 Yes/No 判定词的 LLM-as-Judge 序列到序列微调（s2s），二是将语言建模头替换为二分类线性头的分类头微调（cls）。直觉上，s2s 保留了预训练的完整词表解嵌入头且与自回归预训练目标一致，理应具备更强的归纳偏置；然而在严格对齐训练数据、LoRA 参数量与计算预算的条件下，cls 在 Qwen3、Llama-3.2 和 Mistral 等所有测试主干上均持续优于 s2s，且这一优势在对数似然比打分、提示词集成和阈值校准后依然稳健存在。

这一经验反差背后的核心矛盾在于：不同的输出读出头与微调目标究竟如何在各层隐藏状态中塑造任务表征？即便观察到 cls 的类别可分性在抵达最后一层前就已提前饱和，仅凭训练结束时的静态表征等价性仍无法回答两个直接决定工程干预手段的关键问题：第一，高层饱和平台中的各层究竟是编码了互补证据（应当做多层特征融合），还是对同一二分类信号的同质冗余拷贝（应当做高层截断）？第二，即便高层在收敛终点是冗余的，它们在训练过程中是否充当了早期生成任务信号并向下层传递梯度的关键媒介？

本文从静态表征几何、信息论分解与动态训练轨迹三个维度切入，系统追踪了两种微调目标对隐藏状态的逐层重塑机制。核心 idea：联合方向对齐 Fisher 判别分数、$\mathcal{V}$-信息、部分信息分解（PID）与检查点训练动力学，证明 cls 在狭窄的中高层信息窗口（InfoWindow）内率先涌现二分类判别信号，而更高层仅在训练后期同步复制该冗余信号；据此保留底层基座、InfoWindow 与短暂稳定裕度并静态截断上方约 31% 的冗余层，即可实现精度无损的高效幻觉检测器训练与推理。

方法详解¶

整体框架¶

本文围绕二分类幻觉检测构建了一套“表征归因 $\rightarrow$ 冗余判定 $\rightarrow$ 动力学定位 $\rightarrow$ 静态早退截断”的分析与优化管线。给定完全相同的上下文-声明对输入 $x=(c,s)$，首先在严格对齐的 LoRA 配置下对比 cls 与 s2s 两种微调范式，提取各层最终输入 token 的隐藏状态；随后通过静态表征几何与 $\mathcal{V}$-信息探针定位两者的表征差距；接着利用配对自助法（Bootstrap）饱和测试与部分信息分解（PID）检验 cls 高层平台的同质冗余性；再通过跨训练检查点的 $\mathcal{V}$-信息轨迹划分底层基座、InfoWindow 与高层同步平台；最后在 InfoWindow 上方施加简短稳定裕度并物理截断后续 Transformer 块，形成可直接迁移深度比例先验的高效检测器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文-声明对 x = (c, s)<br/>统一 NLI 提示词与左填充"] --> B["微调目标对比与静态几何探针<br/>对比 cls 与 s2s 的方向对齐 Fisher 分数与 V-信息"]
    B --> C["高层平台同质性检验与 PID 分解<br/>Bootstrap 饱和层判定 + 唯一/协同信息分解"]
    C --> D["InfoWindow 训练动力学轨迹定位<br/>追踪跨检查点信息增益与饱和时间划分三阶段层区"]
    D --> E["InfoWindow 引导的静态层截断<br/>保留底层基座 + InfoWindow + 稳定裕度，移除上方 31% 块"]
    E --> F["输出二分类幻觉判定 Y_hat<br/>精度处于随机种子波动内且推理提速 1.4x"]

关键设计¶

1. 微调目标对比与静态几何探针：量化分类头与生成头的表征重塑差异

为了排除提示词格式与训练配置干扰，本文将上下文-声明对统一格式化为无系统提示的单轮 NLI 模板，仅在末尾 Answer: 提示符后区分两种微调目标：s2s 保留预训练语言建模头 $W_{\mathrm{LM}}\in\mathbb{R}^{|V|\times D}$ 生成单 token 判定词（Yes/No），而 cls 将读出头替换为无偏置二分类线性映射 $W_{\textsc{cls}}\in\mathbb{R}^{2\times D}$ 直接作用于最后一层末尾输入 token 的隐藏状态 $H_L(x)$。为了在统一坐标系下度量各层隐藏状态 $H_\ell(x)$ 向二分类边界的靠拢程度，本文提取 cls 头部学到的归一化判别法向量 $w^{\mathrm{disc}}\propto W_{\textsc{cls}}[1]-W_{\textsc{cls}}[0]$，计算第 $\ell$ 层的方向对齐 Fisher 分数（即两类均值在该方向投影差值的平方除以类内协方差投影之和）：

\[F_{w}(\ell)=\frac{\bigl(w^{\mathrm{disc}}\cdot(\mu_{1}(\ell)-\mu_{0}(\ell))\bigr)^{2}}{w^{\mathrm{disc}\,\top}\bigl(\Sigma_{0}(\ell)+\Sigma_{1}(\ell)\bigr)w^{\mathrm{disc}}}\]

同时，由于几何可分性不直接等于下游读出头可提取的标签信息量，本文在每层隐藏状态上独立训练逻辑斯蒂线性探针 $g_\ell$，利用标签熵 $H(Y)$ 减去温度校准后的探针交叉熵来计算 $\mathcal{V}$-信息 $I_{\mathcal{V}}(\ell)=H(Y)-\mathrm{CE}(g_\ell)$。这种双重诊断揭示了本质差异：s2s 借助预训练解嵌入矩阵中固定的 Yes/No 词向量方向做决策，对主干隐藏状态施加的几何重组压力极小，表征仍贴近预训练基座；而 cls 迫使网络在中高层沿判别方向形成清晰的双簇结构，$\mathcal{V}$-信息急剧攀升并逼近标签熵上限。

2. 高层平台同质性检验与 PID 分解：区分高层表征的冗余拷贝与互补证据

逐层 $\mathcal{V}$-信息曲线显示，cls 的线性可解码性在远未到达最终层 $L_{\max}$ 时便已拉平。为了严格界定饱和起点并判断后续高层应当“融合”还是“截断”，本文设计了两步检验。第一步用 1,000 次配对自助法（Paired Bootstrap）计算候选层 $\ell$ 与最终层探针 Macro-F1 差值 $\Delta_{\mathrm{final}}(\ell)=F_1(\ell)-F_1(L_{\max})$ 的 95% 置信区间，将置信区间首次包含 0 的最小层定义为统计等效饱和层 $L^\star$（在 Qwen3-4B 和 8B 上分别为 L22 和 L23，约占总深度的 61%–64%）。第二步针对“单层读出等效但可能编码不同互补特征”的疑问，对任意候选层 $\ell$ 与平台层 $p$ 联合训练双层融合探针，采用部分信息分解（PID）将联合 $\mathcal{V}$-信息拆解为共享冗余信息 $R$、各层唯一信息 $UI_\ell, UI_p$ 以及跨层协同信息 $\mathcal{S}$：

\[I_{\mathcal{V}}\bigl(H_{\ell},H_{p};Y\bigr)=R+UI_{\ell}+UI_{p}+\mathcal{S}\]

即便在使协同项 $\widehat{\mathcal{S}}(\ell)$ 最大化的最有利层 $\ell^\star$ 上，一旦给定平台层 $p$，候选层的唯一信息贡献 $\widehat{UI}_\ell$ 恒等于 0，且协同信息不足 0.06 nats（低于二分类标签熵 $\ln 2$ 的 9%），双层融合探针在 OOD 测试集上相比单层读出也无正向增益。这从信息论角度证实了 cls 高层平台是同质冗余的信号保持器，而非异质特征的累加器。

3. InfoWindow 训练动力学轨迹定位：揭示中高层信号涌现与高层滞后同步机制

静态终点的冗余性并不能排除高层在训练早期辅助梯度塑造的可能性。为此，本文沿训练轨迹在每个保存的检查点 $t$ 上计算逐层 $\mathcal{V}$-信息 $I_{\mathcal{V}}(\ell,t)$，并提取两个核心动力学统计量：一是总信息增益 $\Delta I_{\mathcal{V}}(\ell)=I_{\mathcal{V}}(\ell,T)-I_{\mathcal{V}}(\ell,0)$，衡量微调期间新习得的线性可解码信息；二是饱和时间 $t_{\ell}^{0.9}$，即第 $\ell$ 层首次达到其最终 $\mathcal{V}$-信息 90% 的训练步数。基于这两个指标的二维时空热力图，36 层的 Qwen3 网络自然分化为三个动力学区域：底层基座（L1–L15）的 $\Delta I_{\mathcal{V}}$ 极低，始终维持在预训练水平以提供通用语言特征；中高层信息窗口 InfoWindow（L16–L19）率先出现显著的信息增益（$\Delta I_{\mathcal{V}}\ge 0.10$），且饱和时间随层深呈现自下而上的阶梯式推进，是真正构建任务判别信号的核心频段；而高层平台（L20–L36）直到 InfoWindow 完成信号塑造后的训练中后期，才在一个极其紧凑的时间窗内同步达到饱和。这一“中高层先生成、高层后同步”的时序因果链证明，高层平台并非任务信号的发源地，而是后期被动对齐了下方 InfoWindow 已经成型的二分类表征。

4. InfoWindow 引导的静态层截断：跨尺度与跨主干的免分析深度先验迁移

基于上述三阶段动力学分区，本文提出了直接移除冗余高层的静态早退（Early-Exit）微调与推理规则。由于 InfoWindow 刚结束时的首个平台层（L20）尚未到达统计等效饱和点 $L^\star$（L22/L23），直接在此截断会因缺乏稳定缓冲而导致跨随机种子方差增大；因此，规范的截断位置定在 InfoWindow 上方保留约 5 层稳定裕度处（在 36 层 Qwen3 上为 L25，物理移除上方 31% 的 Transformer 块）。更重要的是，针对未经逐层探针分析的新主干网络（总层数为 $L$），本文将 Qwen3 验证过的有效保留深度比例提炼为免分析深度先验（Depth Prior）：提供保守截断 $\ell_{\mathrm{exit}}=\lceil 0.70L\rceil$（对应 Qwen3 的 $25/36\approx 0.69$）和激进截断 $\ell_{\mathrm{exit}}=\mathrm{round}(0.60L)$ 两个候选点，无需运行昂贵的全层探针与动力学追踪即可直接迁移构建轻量化检测器。

损失函数 / 训练策略¶

损失函数：s2s 采用对提示词掩码（置为 $-100$）、仅在判定词序列 $y_{1:T}$ 上计算的标准自回归交叉熵损失 $\mathcal{L}_{\textsc{s2s}}(\theta)=-\sum_{t=1}^{T}\log\mathrm{softmax}(W_{\mathrm{LM}}h_{t})_{y_{t}}$；cls 采用作用于截断层（或末层）末尾 token 隐藏状态的二分类交叉熵损失 $\mathcal{L}_{\textsc{cls}}(\theta,W_{\textsc{cls}})=-\log\mathrm{softmax}(W_{\textsc{cls}}H_{L}(x))_{Y}$。
训练与数据防泄漏策略：所有主干均冻结预训练权重，在保留层的全部 7 个投影矩阵（q/k/v/o/gate/up/down_proj）上挂载秩 $r=32$、缩放系数 $\alpha=64$、Dropout $0.05$ 的 LoRA 适配器，使用 AdamW（学习率 $10^{-4}$，权重衰减 $0.01$，前 3% 步线性预热，有效批大小 8）训练 3 个 epoch。训练集由 RAGTruth、ClaimVerify 和 FactCheck-GPT 合并而成（共 22,827 条）。全部 6 个测试集（含 3 个分布内 ID 与 3 个分布外 OOD）先按 (premise, hypothesis) 指纹严格去重，再按分层抽样 50/50 划分为互不重叠的 probe-half（仅用于 §4–5 的探针拟合、PID 与动力学分析）和 eval-half（仅用于汇报最终基准测试指标），彻底杜绝分析探针向测试集的信息泄漏。

实验关键数据¶

主实验¶

表 1 对比了四种主干网络在完全对齐的微调条件下 s2s 与 cls 的三随机种子（42, 43, 44）平均 Macro-F1（%）。ID 包含 RAGTruth、ClaimVerify、FactCheck-GPT，OOD 包含 AggreFact、FaithBench、FavaBench。

主干模型	方法	RAGTruth (ID)	ClaimVerify (ID)	FactCheck (ID)	ID 平均	OOD 平均	六库总平均 (All)
Qwen3-4B	Base	55.7	70.5	71.0	65.7	58.2	62.0
Qwen3-4B	S2S LoRA	81.7 $\pm$ 1.1	79.3 $\pm$ 0.5	72.5 $\pm$ 3.0	77.8 $\pm$ 1.0	50.1 $\pm$ 2.1	64.0 $\pm$ 0.9
Qwen3-4B	CLS LoRA	86.8 $\pm$ 0.1	79.4 $\pm$ 1.0	76.9 $\pm$ 2.1	81.0 $\pm$ 1.0	70.8 $\pm$ 0.4	75.9 $\pm$ 0.5
Qwen3-8B	S2S LoRA	83.1 $\pm$ 0.2	78.3 $\pm$ 0.4	73.7 $\pm$ 1.4	78.4 $\pm$ 0.5	64.5 $\pm$ 3.0	71.4 $\pm$ 1.3
Qwen3-8B	CLS LoRA	86.8 $\pm$ 0.3	80.0 $\pm$ 0.6	77.1 $\pm$ 1.5	81.3 $\pm$ 0.7	70.7 $\pm$ 2.4	76.0 $\pm$ 0.9
Llama-3.2-3B	S2S LoRA	78.3 $\pm$ 0.4	77.5 $\pm$ 0.9	70.5 $\pm$ 1.2	75.4 $\pm$ 0.8	49.1 $\pm$ 2.8	62.3 $\pm$ 1.6
Llama-3.2-3B	CLS LoRA	84.6 $\pm$ 0.7	79.6 $\pm$ 0.5	73.2 $\pm$ 2.3	79.1 $\pm$ 0.8	52.3 $\pm$ 7.4	65.7 $\pm$ 3.3
Mistral-7B-v0.3	S2S LoRA	81.4 $\pm$ 0.6	79.5 $\pm$ 0.6	72.8 $\pm$ 0.6	77.9 $\pm$ 0.2	56.1 $\pm$ 2.1	67.0 $\pm$ 1.0
Mistral-7B-v0.3	CLS LoRA	83.7 $\pm$ 2.8	77.7 $\pm$ 0.5	75.6 $\pm$ 0.8	79.0 $\pm$ 1.3	50.7 $\pm$ 11.5	64.8 $\pm$ 6.3

注：Mistral-7B-v0.3 的 cls 在 OOD 平均上略低且方差极大（$\pm 11.5$），原因是正例率仅 0.20 的 FavaBench 在固定 0.5 阈值下导致单个种子（Seed 44）发生单类坍缩；若剔除 FavaBench 做配对 Bootstrap 检验或对双方施加同等的单语料库阈值校准（表 10、表 11），cls 在全部四个主干上均显著领先 s2s（校准后领先 +2.2 至 +5.3 个百分点，$p \le 0.004$）。

消融实验¶

表 4 展示了基于 InfoWindow 分析选定的截断位置（Qwen3 系列）以及免分析深度先验迁移（Llama-3.2-3B 与 Mistral-7B-v0.3）的早退消融结果与推理加速对比（结合表 14 实测延迟）。

主干模型	截断配置	退出层 / 总层数	节省层比例	六库平均 Macro-F1 (%)	相对全深 $\Delta$	H200 单样本延迟 (加速比)
Qwen3-4B	Full cls (全深基线)	L36 / 36	0%	75.9 $\pm$ 0.5	—	47.4 ms ($1.00\times$)
Qwen3-4B	Before InfoWindow (过早截断)	L15 / 36	58%	65.9 ($n=1$)	-9.9	—
Qwen3-4B	First plateau layer (临界层)	L20 / 36	44%	71.4 $\pm$ 4.3	-4.5 $\pm$ 4.8	26.5 ms ($1.79\times$)
Qwen3-4B	InfoWindow + margin (推荐)	L25 / 36	31%	75.4 $\pm$ 1.1	-0.5 $\pm$ 1.4	33.0 ms ($1.44\times$)
Qwen3-8B	Full cls (全深基线)	L36 / 36	0%	76.0 $\pm$ 0.9	—	71.8 ms ($1.00\times$)
Qwen3-8B	Before InfoWindow (过早截断)	L15 / 36	58%	62.8 ($n=1$)	-14.4	—
Qwen3-8B	First plateau layer (临界层)	L20 / 36	44%	75.1 $\pm$ 0.6	-0.9 $\pm$ 1.2	40.1 ms ($1.79\times$)
Qwen3-8B	InfoWindow + margin (推荐)	L25 / 36	31%	76.8 $\pm$ 0.4	+0.8 $\pm$ 1.1	50.1 ms ($1.43\times$)
Llama-3.2-3B	Full cls (全深基线)	L28 / 28	0%	65.7 $\pm$ 3.3	—	—
Llama-3.2-3B	Conservative ($f=0.70$)	L20 / 28	29%	64.0 $\pm$ 0.9	-1.7 $\pm$ 3.8	—
Llama-3.2-3B	Aggressive ($f=0.60$)	L17 / 28	39%	67.5 $\pm$ 2.5	+1.7 $\pm$ 1.9	—
Mistral-7B-v0.3	Full cls (全深基线)	L32 / 32	0%	64.8 $\pm$ 6.3	—	—
Mistral-7B-v0.3	Conservative ($f=0.70$)	L23 / 32	28%	70.4 $\pm$ 1.8	+5.6 $\pm$ 5.9	—
Mistral-7B-v0.3	Aggressive ($f=0.60$)	L19 / 32	41%	67.4 $\pm$ 3.7	+2.6 $\pm$ 2.7	—

关键发现¶

切在 InfoWindow 之前会导致性能崩塌，而保留简短稳定裕度可实现无损截断：在 Qwen3-4B 和 8B 上，于 InfoWindow 之前的 L15 截断会导致六库平均 F1 暴跌 9.9 和 14.4 个百分点；在平台起点 L20 截断虽然在 8B 上仅降 0.9 点，但在 4B 上因低于统计饱和层（L22）而出现严重跨种子波动（-4.5 $\pm$ 4.8）；而保留 5 层稳定裕度的 L25 截断（节省 31% 层数）与全深模型的差距完全处于随机种子噪声之内（4B 为 -0.5 $\pm$ 1.4，8B 为 +0.8 $\pm$ 1.1），且在 H200 与 RTX A6000 上均取得约 $1.42\times\text~~}1.44\times$ 的实测推理加速。~~
表征差距根植于主干特征而非读出头形式：在“读出头替换控制实验”（表 12）中，丢弃 cls 和 s2s 各自微调好的头部、冻结主干并重新训练完全相同的逻辑斯蒂线性探针，s2s 最佳层的探针 F1 在四个主干上依然全面落后 cls 达 0.128 至 0.153（例如 Qwen3-4B 上 cls 为 0.988，而 s2s 仅为 0.835）；即便放开 s2s 的 LM Head 全参训练或采用多判定词对数似然比集成（表 10），仍无法追平 cls。
三阶段层结构具有跨任务普适性，但 cls 的幅度优势取决于预训练基座的初始能力：将相同实验复制到 QNLI 与 SST-2 任务上（表 13），依然复现了“底层基座 + InfoWindow 跃升 + 高层饱和平台”的三段式结构（饱和深度位于 0.50–0.61）；但由于预训练基座本身已能以 0.895 和 0.940 的探针 F1 线性解码这两个简单任务，微调无需大幅重组表征，因此 cls 相对 s2s 的最佳层探针优势缩小至 +0.023 和 +0.002。

亮点与洞察¶

从静态冗余推进到动态因果的严密证据链：许多探针研究止步于发现“某层之后准确率不再上升”，但本文敏锐地指出静态读出等效既不能排除跨层互补性，也不能证明高层在训练期无用。通过引入 PID 唯一信息分解排除特征互补、再结合跨检查点饱和时间热力图证实“中高层先生成、高层后同步”，构成了支撑训练前直接物理砍层的完整逻辑闭环。
反直觉的微调目标机制洞察：打破了“复用预训练 LM Head 的生成式微调（s2s）比随机初始化分类头（cls）更能继承预训练优势”的常见迷思。正因为 s2s 依赖预训练解嵌入矩阵中现成的 Yes/No 方向即可降低损失，它缺乏重塑中间层隐藏状态几何结构的动力；反而是随机初始化的二分类头迫使网络在 InfoWindow 层区内开辟出高可分性的任务专属判别子空间。
极低成本的深度先验跨模型迁移：通过发现不同架构（Qwen3、Llama-3.2、Mistral）的 InfoWindow 与饱和层相对深度均集中在 $0.43\text{0.64$ 区间，将 $0.60L\text{--}0.70L$ 提炼为免分析截断先验，使新模型在微调前即可直接裁减约 30%–40% 的高层块，兼顾训练显存节省与推理降延。

局限与展望¶

局限于单 Token 判定的 s2s 范式：为严格控制微调目标为唯一变量，本文限制 s2s 仅输出单个 Yes/No 判定词，未涵盖先生成思维链（Rationale / CoT）再给出结论的生成式裁判模型；在允许更高推理开销的场景下，带推理过程的 s2s 与 cls 的表征差异仍有待探索。
静态单一截断层与固定阈值对类别不平衡敏感：当前早退方案对所有输入样本使用同一个静态截断深度，未结合样本难度的动态自适应退出；此外，在 FavaBench（正例率仅 20%）上的实验表明，无论 cls 还是 s2s，固定 0.5 阈值在严重类别失衡的 OOD 语料上均可能出现单随机种子预测坍缩，实际部署需配合标签偏移校准。
层内特征维度的细粒度机制尚未拆解：本文在“层（Layer）”粒度上定位了 InfoWindow 与冗余平台，但尚未深入到层内神经元、注意力头或稀疏自编码器（SAE）特征维度去解析究竟是哪些具体子电路承载了幻觉判别信号。

评分¶

新颖性: ⭐⭐⭐⭐ 巧妙结合方向对齐 Fisher 分数、PID 信息分解与跨检查点训练动力学，将分类头微调的性能优势与高层早退截断统一在清晰的层间信息演化机制下。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个主流开源 LLM 主干、6 个 ID/OOD 幻觉检测语料库与 2 个通用 NLP 任务，包含严格的 50/50 探针/评测防泄漏切分、三随机种子、读出头替换控制、阈值校准与真实硬件延迟测量。
写作质量: ⭐⭐⭐⭐⭐ 逻辑递进极为严密，每一节都针对上一节留下的替代假设（如“读出等效是否因为特征互补？”“静态冗余是否训练期仍必需？”）设计针对性实验予以证伪或证实。
价值: ⭐⭐⭐⭐⭐ 不仅为构建高精度幻觉检测器提供了“优先选 cls 而非单 token s2s”的明确实践指南，还给出了开箱即用的 $0.70L$ 静态截断先验，可直接无损削减约 30% 的微调与推理开销。

主干模型	方法	RAGTruth (ID)	ClaimVerify (ID)	FactCheck (ID)	ID 平均	OOD 平均	六库总平均 (All)
Qwen3-4B	Base	55.7	70.5	71.0	65.7	58.2	62.0
Qwen3-4B	S2S LoRA	81.7 \(\pm\) 1.1	79.3 \(\pm\) 0.5	72.5 \(\pm\) 3.0	77.8 \(\pm\) 1.0	50.1 \(\pm\) 2.1	64.0 \(\pm\) 0.9
Qwen3-4B	CLS LoRA	86.8 \(\pm\) 0.1	79.4 \(\pm\) 1.0	76.9 \(\pm\) 2.1	81.0 \(\pm\) 1.0	70.8 \(\pm\) 0.4	75.9 \(\pm\) 0.5
Qwen3-8B	S2S LoRA	83.1 \(\pm\) 0.2	78.3 \(\pm\) 0.4	73.7 \(\pm\) 1.4	78.4 \(\pm\) 0.5	64.5 \(\pm\) 3.0	71.4 \(\pm\) 1.3
Qwen3-8B	CLS LoRA	86.8 \(\pm\) 0.3	80.0 \(\pm\) 0.6	77.1 \(\pm\) 1.5	81.3 \(\pm\) 0.7	70.7 \(\pm\) 2.4	76.0 \(\pm\) 0.9
Llama-3.2-3B	S2S LoRA	78.3 \(\pm\) 0.4	77.5 \(\pm\) 0.9	70.5 \(\pm\) 1.2	75.4 \(\pm\) 0.8	49.1 \(\pm\) 2.8	62.3 \(\pm\) 1.6
Llama-3.2-3B	CLS LoRA	84.6 \(\pm\) 0.7	79.6 \(\pm\) 0.5	73.2 \(\pm\) 2.3	79.1 \(\pm\) 0.8	52.3 \(\pm\) 7.4	65.7 \(\pm\) 3.3
Mistral-7B-v0.3	S2S LoRA	81.4 \(\pm\) 0.6	79.5 \(\pm\) 0.6	72.8 \(\pm\) 0.6	77.9 \(\pm\) 0.2	56.1 \(\pm\) 2.1	67.0 \(\pm\) 1.0
Mistral-7B-v0.3	CLS LoRA	83.7 \(\pm\) 2.8	77.7 \(\pm\) 0.5	75.6 \(\pm\) 0.8	79.0 \(\pm\) 1.3	50.7 \(\pm\) 11.5	64.8 \(\pm\) 6.3