跳转至

Target-Language Generation in Multilingual Models: Activation Steering and Optimal Control

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/jmichaelov/target-language-control
领域: 多语言/翻译
关键词: 激活导引, 最优控制, 跨语言生成, 目标语言控制, 语言解耦

一句话总结

本文将多语言大模型的跨语言生成视作激活空间轨迹的最优控制问题,基于 LISECO 框架推导出闭式解线性语义控制算法,并提出结合语言依从性、句法连贯性与语义连贯性的统一评测指标“依从连贯率”(Adhered Coherence),在无需提示词引导下实现了稳定高效的语言强制切换。

研究背景与动机

多语言大语言模型在近年来取得了显著突破,其跨语言知识迁移能力为全球化自然语言处理奠定了坚实基础。然而,当前模型在不同语种间的表现存在极大的不均衡性,高资源语言(主要是英语)在训练语料与表示空间中占据主导地位。一个普遍存在的痛点在于,当用户明确提示或要求模型以特定低资源语言生成文本时,模型在长程推理或长文本生成过程中极易发生“语言漂移”(Language Drift),退化为输出英语等高资源语言。

解决这一问题的核心矛盾在于语言表征与语义表征的耦合与干扰。现有基于表征干预的激活导引方法(如均值差法 DIFFMEANS 或激活相加 ACTADD)通常依赖固定的启发式偏移向量,盲目地将所有中间激活向目标方向平移。这种无视输入激活几何状态的干涉极易破坏模型高度各向异性的潜在流形,导致模型陷入非自然激活子空间,在诱发目标语言的同时造成灾难性的句法崩溃、无限循环重复或语义失真。此外,现有研究在评估跨语言生成时往往片面关注单一的语种判别率,忽视了生成质量本身的合法性与语义保真度。

为了在无须修改模型权重或复杂微调的前提下实现无提示的平滑语言切换,本文跳出经验性启发式加法,从动态系统与几何控制的视角切入。核心 idea:将跨语言激活流动形式化为离散时间动态系统的最优控制问题,结合语义中心假说通过闭式正交投影推导最小扰动控制律(LISECO),并在统一的三维评测框架“依从连贯率”下实现兼顾语言依从、句法通顺与语义保真的无提示跨语言生成。

方法详解

整体框架

本文的方法将 Transformer 层间激活的流动抽象为一个离散时间动态系统,并通过在特定层施加最优控制输入来重塑激活轨迹。输入源语言文本首先通过嵌入层映射为初始隐状态,随着逐层前向传播,各层状态在潜在表示空间中形成一条动态轨迹。针对目标语言生成的干预流程包含三个核心阶段:首先在各层通过轻量级线性探针界定各语言在激活空间中的超平面边界;随后利用闭式最优控制律实时计算正交投影扰动向量,将偏离目标区域的状态以最小能量精确推入目标语言流形;最终配合无提示生成完成跨语言受控解码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入源语言文本序列 s"] --> B["多层动态轨迹建模<br/>x_τ+1 = ℓ_τ+1(x_τ)"]
    B --> C["层级语言区域线性探查<br/>界定目标概率超平面边界"]
    C --> D["闭式极小化扰动控制律<br/>正交投影至目标决策边界"]
    D --> E["无提示跨语言文本生成<br/>解耦语言属性保留语义内容"]
    E --> F["输出目标语言连贯文本"]

关键设计

1. 多层动态轨迹建模:刻画跨语言激活演化的动态系统视角 传统的表征干涉技术通常将多层 Transformer 视为静态黑盒,随意挑选中间某一层施加静态偏置,忽略了语义与语言属性在网络深层逐步解耦与重构的几何演化过程。为了给跨语言导引建立严谨的数学基础,本文将 Transformer 层的序贯计算形式化为动态系统: $\(x_0 = E(s), \quad \tilde{x}_\tau = x_\tau + \theta_\tau(x_\tau), \quad x_{\tau+1} = \ell_{\tau+1}(\tilde{x}_\tau), \quad y = U(x_T)\)$ 其中 \(x_\tau \in \mathbb{R}^d\) 表示序列最后一个 token 经过第 \(\tau\) 层的激活表征,\(\theta_\tau\) 为我们在激活空间施加的控制输入。该设计将语言干预转化为经典的轨迹跟踪与终端状态约束问题,不仅允许在单层或全部中间层同时施加协同控制,更为在不破坏底层跨语言共享表征前提下重定向生成方向提供了系统性工具。

2. 层级语言区域线性探查:基于线性表示假说界定目标流形 在施加控制之前,必须先准确识别激活空间中表征不同语言的几何区域。根据大语言模型的线性分离假说,语言属性在各隐藏层中呈现为近似线性可分的几何分布。本文在每一层 \(\tau\) 训练一个轻量级的线性分类探针 \(f_\tau(x_\tau) = \text{softmax}(W_\tau^T x_\tau)\),映射激活向量到离散语言标签概率分布。探针参数 \(W_\tau \in \mathbb{R}^{d \times |L|}\) 仅需在少量双语对齐语料(如 FLORES 验证集的末尾词激活)上通过标准交叉熵损失优化即可获得。由此,目标语言 \(L_t\) 对应的空间区域可被显式表示为分类器预测概率满足区间要求的原像空间: $\(\mathcal{R}_t = \{x \in \mathbb{R}^d \mid \alpha_{\min} \le \sigma(W_\tau^T x) \le \alpha_{\max}\}\)$ 这一构造将抽象的语言概念具象化为激活空间中的凸几何区域,避免了无监督聚类带来的漂移风险。

3. 闭式极小化扰动控制律:依据语义中心假说的保真投影干预 以往的 DIFFMEANS 和 ACTADD 方法直接施加静态偏移 \(\theta_\tau = \kappa z_\tau\),其扰动大小完全独立于当前激活 \(x_\tau\),容易发生严重欠推(无法改变生成语言)或过推(彻底破坏语义几何)。根据语义中心假说(Semantic Hub Hypothesis),在跨语言空间中,与源语言语义等价的目标语言表征天然比非等价表征更接近源激活。因此,最保全语义的干涉方案正是找到目标区域内距离当前激活最近的几何投影点。将控制问题建模为带约束的极小化二次规划: $\(\min_{\theta_\tau} \|\theta_\tau\|_2^2 \quad \text{s.t.} \quad \alpha_{\min} \le \sigma(W_\tau^T (x_\tau + \theta_\tau)) \le \alpha_{\max}\)$ 该问题拥有解析的闭式最优解:当当前激活已处于目标概率区间内时,控制输入严格为零(\(\theta_\tau^* = 0\));若未达标,则沿法向量 \(W_\tau\) 方向进行最小位移调整: $\(\theta_\tau^* = \frac{\log(\frac{1}{\alpha_{\min}} - 1) - W_\tau^T x_\tau}{\|W_\tau\|_2^2} W_\tau \quad (\text{当 } \sigma(W_\tau^T x_\tau) < \alpha_{\min})\)$ 该控制律保证修改后的激活精确落入目标语言流形,同时在正交方向上完全零扰动,极大程度地守护了上下文的语义结构。

4. 依从连贯率统一评估指标:多维度解耦与合成的质量准则 现有跨语言导引研究往往只测量生成文本的语言分类准确率,导致即使模型反复输出目标语言的单个无意义词汇或乱码也能获得满分。为此,本文建立了包含语言依从性(Language Adherence)、语言连贯性(Linguistic Coherence)以及语义连贯性(Semantic Coherence)的立体评估框架。针对生成序列 \(s_{\text{gen}}\),语言依从通过 fastText 验证分类标签;语义连贯基于 LaBSE 跨语言句子向量判断生成句与真实合理结局 \(s_{\text{true}}\) 的余弦相似度是否显著高于非合理结局 \(s_{\text{false}}\);语言连贯性则通过 \(n\)-gram 语言模型的对数困惑度 \(L_t\) 设立严格上限门限(不超过无干预单语基准均值加两倍标准差 \(\mu(L_b) + 2\sigma(L_b)\),有效规避了神经网络判别器对死循环重复文本的低困惑度误判)。最终合成的三元合取二值指标“依从连贯率”(Adhered Coherence)\(C \in \{0, 1\}\) 确保了只有三项指标同时达标的生成才被记为成功样本。

一个完整示例

以输入英语故事前文 “A girl bought a new bike. She rode it to the park.” 切换为目标语言西班牙语(spa)为例: 1. 初始前向传播计算各层激活 \(x_\tau\)。在未干预状态下,各层线性探针预测其属于西班牙语的概率仅为 \(\sigma(W_\tau^T x_\tau) \approx 0.02\)。 2. 设定控制边界 \(\alpha_{\min} = 1 - 10^{-8}\)。由于当前激活远低于阈值,控制模块在各隐藏层动态注入正交偏置 \(\theta_\tau^*\),推算出的向量大小严格等于点到决策平面的垂距。 3. 调整后的激活 \(\tilde{x}_\tau\) 使得探针预测概率瞬间跨过边界升至目标区间以上,而平行于超平面的内容表征完全被保留。 4. 解码器在无额外 prompt 提示的情况下,连续生成合法的西班牙语延续句子:“Ella se divirtió mucho allí.”。 5. 质量校验器介入:fastText 准确判定其为西班牙语(依从性达标);LaBSE 向量与真实西班牙语结尾相似度为 0.81,高于干扰句的 0.35(语义连贯达标);\(n\)-gram 困惑度对数值为 3.42,处于基准门限 \(4.10\) 之内(句法连贯达标),最终样本判定依从连贯率为 1。

实验关键数据

主实验

在跨语言 XSTORYCLOZE 测试集(包含 English、Spanish、Hindi、Chinese 4 种语言构成的 12 个跨语言对,共 1,512 个测试项)上,评估 8 款主流多语言大模型在“无提示语言强制切换”任务下的依从连贯率表现。对比基准包括针对单层及模型调优的 DIFFMEANS(单层干涉)和全局多层 LISECO。

模型架构与规模 评估指标 DIFFMEANS (模型层调优) LISECO (单一通用配置) LISECO (模型超参调优) 相对增益 / 趋势
BLOOM 7.1B Adhered Coherence ~0.11 ~0.14 ~0.15 +36.4% (明显胜出)
EuroLLM 9B Adhered Coherence ~0.24 ~0.16 ~0.18 -25.0% (DIFFMEANS 占优)
Gemma-3 1B Adhered Coherence ~0.19 ~0.13 ~0.14 -26.3% (DIFFMEANS 占优)
Llama-3.1 8B Adhered Coherence ~0.21 ~0.25 ~0.29 +38.1% (显著提升)
Llama-3.2 3B Adhered Coherence ~0.24 ~0.27 ~0.31 +29.2% (显著提升)
Qwen-2.5 7B Adhered Coherence ~0.23 ~0.28 ~0.29 +26.1% (显著提升)
Qwen-3 8B Base Adhered Coherence ~0.27 ~0.26 ~0.28 持平
Tiny-Aya-Base 3B Adhered Coherence ~0.17 ~0.21 ~0.23 +35.3% (显著提升)

消融实验

在 Llama 3.2 1B 验证集(覆盖 eng、spa、hin 语种对)上,系统对比干预架构形态(单层 vs 多层)、首个干涉起始层(First Intervened Layer)以及控制超参数对依从连贯率各细分维度的影响。

导引方法与作用范围 超参数设置 语言依从性 (Adherence) 句法连贯性 (Linguistic) 语义连贯性 (Semantic) 依从连贯率 (Adhered) 机制说明
LISECO: Multi-Layer (全层) \(\alpha_{\text{inner}} = 10^{-5}\) ~0.88 ~0.92 ~0.57 ~0.36 全层闭式投影,三项指标均保持最优权衡
LISECO: Multi-Layer (全层) \(\alpha_{\text{inner}} = 10^{-1}\) ~0.42 ~0.95 ~0.59 ~0.18 控制边界过松,语言迁移率不足
LISECO: Single-Layer (单层) \(\alpha_{\text{inner}} = 10^{-5}\), 后段层 ~0.55 ~0.91 ~0.55 ~0.22 单层干预动能不足,后续层易发生语言纠偏
DIFFMEANS: Multi-Layer (全层) \(c = 1.0\) ~0.72 ~0.40 ~0.48 ~0.12 多层强加固定均值差严重破坏激活流形
DIFFMEANS: Single-Layer (单层) \(c = 1.0\), 最终 1/3 层 ~0.62 ~0.89 ~0.54 ~0.24 集中于输出控制层,避免前中期语义崩溃
ACTADD: Single-Layer (单层) \(c = 1.0\) ~0.45 ~0.88 ~0.52 ~0.15 基于特定词汇差的向量缺乏泛化性

关键发现

  • 全层最优控制 vs 单层经验微调:DIFFMEANS 和 ACTADD 若在全网络多层施加干预,会造成句法连贯性暴跌至 40% 以下(模型陷入非自然各向异性死空间);相反,LISECO 依靠动态微小位移可安全应用于全层(除静态嵌入层),从而以更平滑的渐进动力学实现语言引导。
  • 超参数鲁棒性极其优异:LISECO 仅需固定单一超参数配置(\(\alpha_{\text{inner}} = 10^{-8}\) 并应用于全层),即可在测试的 8 个模型中的 5 个上直接击败经过逐模型精心调优层数的 DIFFMEANS,显著降低了实际部署的调参开销。
  • 语言对不对称性与英语优势:实验呈现出强烈的语种不对称现象。例如所有模型从其他语言导引至英语(\(x \to \text{eng}\))的效果普遍最佳,而 EuroLLM 和 Gemma-3 从英语转向非英语语言时难度较大。这反映出预训练数据中高资源语言占据着更广阔且更致密的潜在表征流形。

亮点与洞察

  • 激活控制从启发式加法升级为理论最优控制:摆脱了以往手工调凑 injection coefficient 的经验试错,首次将现代控制理论与大模型各向异性激活几何严密结合。
  • 利用闭式极小化解实现极低计算开销:所推导的解析正交投影只需微秒级的向量计算,在保证严格数学边界的同时完全不增加自回归解码的推理时延。
  • 确立“依从连贯率”立体金标准:彻底纠正了多语言导引领域只看 langID 分类准确率的学术虚高倾向,为文本生成受控质量提供了可靠的标尺。

局限与展望

  • 依赖线性探针的因果相关性:LISECO 的控制上限取决于线性分类器所界定的边界是否具有真实的因果效应。若分类器学到的是虚假相关特征,强制投影将无法诱导正确的语言生成。
  • 多语种场景下的二分类边界泛化局限:当前形式化基于源语言与目标语言的二元线性切分。在包含数十种语言的复杂激活空间中,二分类超平面可能意外卷入第三种语言的重叠区域。
  • 任务与语种覆盖面仍待扩展:实验受算力限制(约 7,000 GPU 时)仅评测了 12 个语言对和 XSTORYCLOZE 闭卷续写任务,未完全涵盖带长提示的显式机器翻译或开放式对话生成。

相关工作与启发

  • vs DIFFMEANS (Rimsky et al., 2024; Lu et al., 2025):DIFFMEANS 使用固定的正负样本均值差向量进行全局平移,无法随输入激活自适应调整扰动量,易引起严重的表征畸变;LISECO 通过动态条件判断实现近邻投影,无须干预时扰动严格为零。
  • vs INCLINE (Wang et al., 2025b):INCLINE 虽引入线性映射矩阵变换激活,但依然依赖固定超参步长 \(\kappa\),存在过推或欠推隐患;LISECO 提供具有理论收敛保证的最优闭式解。
  • vs 神经元操控方法 (Gurgurov et al., 2025):神经元激活提升法仅针对小于 5% 的离散神经元进行干预,灵活性受限且难以捕捉分布式表征;LISECO 在连续几何空间内运作,表征覆盖度更全。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将多语言跨语言生成形式化为动态系统最优控制并导出闭式解。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款开源大模型、12 个语言对及系统的多维度消融实验(耗时约 7000 GPU 时)。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备,评测指标设计严谨且分析深入透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型内部表征编辑、跨语言无缝切换与可控文本生成提供了坚实的理论与工程范式。