跳转至

LSC-Pattern: Interpretable Lexical Semantic Change Analysis via Diachronic Sense Distributions

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Lexuss-D/LSC-Pattern
领域: 可解释性
关键词: 历时语义演变, 词义消歧, 大语言模型, 语义维度, 可解释性

一句话总结

针对传统词汇历时语义演变分析(LSCD)仅能输出标量变化分数、无法解释具体词义与语义属性如何演化的黑盒痛点,提出 LSC-Pattern 框架,将大语言模型词义消歧映射至显式词典义项与多维语义属性(情感效价、语义广度、隐喻度)联合建模,在日语跨越 150 年的历史语料上实现高可解释、高对齐的人类判断分析。

研究背景与动机

词汇历时语义演变分析(Lexical Semantic Change Detection, LSCD)旨在追踪词语随时间迁移而发生的意义转变。近年来,从早期基于分布式词嵌入的静态几何对齐,到基于预训练语言模型(BERT/RoBERTa 等)的上下文词义聚类与表示距离度量,计算语言学在判断“某词是否发生演变”及“演变幅度有多大”上取得了显著进展。然而,认知语言学与词典编纂学的核心诉求并不仅停留在标量分数上,学者更关注词汇语义演变的内部认知动因与演化类型:究竟是词语中某项特定的负面义项随时代使用激增导致词义恶化,还是某个专业具体义项逐渐泛化为日常概念导致词义泛化。

现有基于隐式聚类的主流方法将用例投影为潜在高维向量并进行无监督聚类,聚类中心往往抽象且缺乏明确边界,难以与语言学家和词典中已建立的词义体系建立可追溯的映射。另一方面,近年新兴的基于语义维度(如情感效价、具体度、广度)的演变分析虽然提供了可解释属性,却通常直接在词汇或词袋层面统计,脱离了具体义项这一语义核心载体,使得表面维度的变化(如上下文负面化)究竟是源于新义项诞生、旧义项消亡还是既有义项频率重分配(Sense Redistribution)完全处于黑盒状态。这种“聚类无显式义项、维度脱离词义载体”的断层,极大削弱了计算分析作为实证语言学证据的可信度。

为了打通语料库级统计度量与细粒度语言学解释之间的壁垒,本文提出了两阶段分析框架 LSC-Pattern。其切入角度在于:以词典权威义项体系为锚点,借助大语言模型强大的上下文理解能力将历时用例显式对齐到词典义项,进而基于离散义项分布在时序上的重构分解宏观语义属性轨迹。核心 idea:将词汇历时演变分解为“基于词典锚定的历时词义分布构建”与“结合可解释语义维度的多维轨迹分解”两阶段,通过义项频率重分配这一显式载体统一解释词义恶化/改善、泛化/专门化以及隐喻化等经典语义演变模式。

方法详解

整体框架

LSC-Pattern 采用两阶段模块化流水线架构。第一阶段输入历时语料库中目标词的多时期真实用例与权威词典义项清单,利用大语言模型(Qwen3-8B 思考模式)进行以词典为基准的词义消歧(WSD),将每一个用例归入固定义项(或未覆盖的兜底标签 Sense 0),并按年代聚合生成该词在各时期的离散义项概率分布;第二阶段根据语言学分析目标挑选正交的语义维度(本工作聚焦对应恶化/改善的情感效价 Valence、对应专门化/泛化的 WordNet 树深度 Semantic Scope、以及对应隐喻化的模型检测 Metaphoricity),将标量维度轨迹与义项概率分布在时序上对齐分解,由词义重新分布机制提供细粒度归因解释。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历时用例库与词典义项清单<br/>CHJ/SHC/BCCWJ (1870s-2010s)"] --> B["词典锚定历时词义消歧<br/>Qwen3-8B Thinking 模式映射至岩波义项"]
    B --> C["历时义项分布构建与散度度量<br/>按年代统计义项频率分布与 JSD 演变分数"]
    C --> D["多维语义属性轨迹分解<br/>效价/语义广度深度/隐喻度与义项消歧联合对齐"]
    D --> E["演变模式解释与原型用例验证<br/>Sabetsu 恶化 / Meshi 泛化 / Dodai 隐喻化"]

关键设计

1. 词典锚定历时词义消歧:以显式权威词典打破无监督隐式聚类的黑盒不可解释性

传统基于嵌入聚类的方法产生的簇没有确定语义,且跨历史时期聚类难以对齐。该设计以《岩波国语辞典》第五版为离散词义空间 \(S_w = \{s_1, s_2, \dots, s_{|S_w|}\}\),并将无法归类的用例显式设立兜底标签 \(s_0\)(防止模型强行分配导致噪声)。针对历史日语正字法变迁、跨时代语域漂移等难点,采用 Qwen3-8B 处于思考模式(Thinking mode)的大语言模型作为 \(f_{\text{WSD}}(u, S_w)\),将目标词在历史句中的上下文与词典义项、释义及例句输入模型,直接输出预测的义项编号 \([i]\) 及简要理由。针对各历史时期 \(t\) 内属于义项 \(s_i\) 的用例集合 \(U_{t,s_i} = \{u \in U_{t,w} \mid \hat{s}(u) = s_i\}\),模型聚合得到严谨的时期词义概率分布:

\[p_t(s_i \mid w) = \frac{|U_{t,s_i}|}{|U_{t,w}|}\]

该机制保证了义项边界在 150 年跨度中保持恒定,从而使时序变化完全归结为离散义项权重的转移,两时期 \(t\) 与 \(t'\) 之间的总体演变幅度可直接采用 Jensen-Shannon 散度(JSD)进行度量。

2. 多维语义属性轨迹分解:将抽象标量轨迹正交分解为可验证的认知演变维度

针对单纯时序曲线无法刻画词义演变属性方向的问题,设计了三种正交的语义维度度量机制,分别对应经典语义变化分类学。对于情感效价(Valence),基于极性词典计算目标词上下文窗口环境(排除目标词自身)的情感极性均值:

\[\text{Val}_t(w) = \frac{1}{|U_{t,w}|} \sum_{u \in U_{t,w}} \left( \frac{1}{|C(u)|} \sum_{x \in C(u)} \text{val}(x) \right)\]

以此度量词汇使用语境是趋于正面(改善 Amelioration)还是负面(恶化 Pejoration)。对于语义广度(Semantic Scope),利用 Sarashina-Embedding-v2-1B 将岩波辞典义项与日文 WordNet 的概念节点对其,以 WordNet 分类层次树的深度 \(\text{scope}(s_i)\) 作为特异度量度(深度越深表示含义越具体),并结合义项时序概率加权计算词级深度 \(\text{Scope}_t(w) = \sum_i p_t(s_i \mid w) \cdot \text{scope}(s_i)\),深度上升指示专门化,下降指示泛化。对于隐喻度(Metaphoricity),利用日文隐喻检测分类器输出用例二值隐喻标签 \(m(u) \in \{0, 1\}\),并统计时期隐喻比例 \(\text{Meta}_t(w) = \frac{1}{|U_{t,w}|} \sum_{u \in U_{t,w}} m(u)\),其上升表征隐喻化(Metaphorization)。这三大维度将词汇宏观演变分解到了具体可测量的语言学属性上。

3. 演变模式解释与原型用例验证:结合时序斜率与典型用例排除伪趋势

针对历史语料采样不均可能导致的伪趋势,构建了基于一元线性回归斜率与非参数单调性检验的候选发现与人机联合验证协议。对于覆盖至少 10 个年代的 130 个目标词,计算各维度时间序列斜率 \(\beta_{1,w,d}\)(通过普通最小二乘法 OLS 与 Theil-Sen 稳健回归),快速筛选潜在剧烈演变词。更重要的是,框架不将统计斜率作为最终结论,而是强制要求通过“义项分布变迁图 ↔ 维度轨迹曲线 ↔ 对应时期典型原始用例(Prototypical Examples)”三维互证:例如当发现某词隐喻度上升时,必须检验是否由具体实体义项转移到抽象基底义项驱动,并抽取真实用例确认源域到目标域的认知映射。这种设计彻底防止了统计假象(如因特定时代小说主题偏置引起的表面极性漂移)对词汇语义学研究的误导。

一个完整示例

以日语词“差別”(sabetsu,区别/歧视)的历时演变为例: 1. 用例输入与消歧:输入明治时期 1880s 政治军事议论文用例「正攻・奇襲の区別なく、また戦略攻撃と戦術攻撃の差別なく……」,Qwen3-8B 读取岩波义项(义项 1:歧视性对待;义项 2:差异、区别),判定为中性的“区分、区别”,输出 [2];输入 2001 年用例「偏見と差別から自由を勝ち取る……」,模型准确捕捉到人权、偏见上下文,输出 [1]。 2. 分布聚合:在 1880s 和 1890s,义项 2 占据绝对主导(占比分别达 84.0% 和 69.4%);1920s 起义项 1 增至 64.2%;1950s 后义项 1 持续稳定在 80% 以上,1990s 达 100%,2000s 达 98.0%。 3. 多维轨迹与归因:上下文情感效价斜率为显著负值(\(\beta = -0.0124, R^2 = 0.564\)),表明语境急剧恶化。由于义项 1 本身带有强烈的社会贬义与压迫色彩,义项分布从义项 2 向义项 1 的单调迁移,完美解释了该词发生经典“词义恶化(Pejoration)”的内部认知机制。

实验关键数据

主实验

实验基于日本国立国语研究所历史日语语料库(CHJ,1870s–1920s)、昭和平成语料库(SHC,1930s–2010s)及现代日语书面语均衡语料库(BCCWJ,2000s)三个大型语料库构建,覆盖约 150 年共 47.7M 词(213,650 条用例)。

表 1 评估了 LLM 词义消歧模块在 50 个目标词、976 个专家标注用例(3 位专业母语语言学者标注,平均 Cohen's \(\kappa = 0.798\))上的内在消歧准确率,对比了均匀随机、最大词频基线(MFS)以及三种基于词向量/词典释义检索的代表性基线。

模型 / 方法 标注者平均准确率 (Mean annot.) 多数投票准确率 (Majority vote)
Random Baseline 0.281 0.282
WordNet BERT \(\rightarrow\) Iwanami 0.476 0.435
Target token–gloss BERT 0.577 0.591
Usage–gloss embedding (Sarashina) 0.663 0.681
Most Frequent Sense (MFS, 乐观上界) 0.695 0.699
Qwen3-8B Thinking (Ours) 0.793 0.815

表 2 评估了 LSC-Pattern 诱导的义项分布 JSD 变化分数与日语标准语义变化评测基准 JaSemChange(基于人类历史用例对相似度打分)的外在相关性(Spearman 秩相关系数 \(\rho\))。

评测子集 语料对比周期 Spearman's \(\rho\) \(p\)-value
多义词重叠子集 (7 词) SHC–BCCWJ (1930s–2000s) 0.821 0.023
多义词重叠子集 (7 词) CHJ–BCCWJ (1870s–2000s) 0.750 0.052
全量基准集合 (20 词) SHC–BCCWJ (1930s–2000s) 0.580 0.007
全量基准集合 (20 词) CHJ–BCCWJ (1870s–2000s) 0.367 0.112

案例分析与消融发现

表 3 汇总了三个典型案例在三大语义维度上的 decade 斜率及拟合优度 \(R^2\)(粗体代表案例深入分析的对应主导维度),证明不同语义演变模式在各维度上的响应具有明确的正交特异性。

目标词 (Lemma) 演变模式 情感效价斜率 (Valence) 语义广度深度斜率 (Scope Depth) 隐喻度斜率 (Metaphoricity)
差別 (sabetsu) 词义恶化 (Pejoration) -0.0124 (\(R^2=0.564\)) -0.0533 (\(R^2=0.734\)) 0.0121 (\(R^2=0.478\))
飯 (meshi) 词义泛化 (Generalization) 0.0123 (\(R^2=0.215\)) -0.0193 (\(R^2=0.132\)) 0.0038 (\(R^2=0.018\))
土台 (dodai) 隐喻化 (Metaphorization) 0.0079 (\(R^2=0.021\)) 0.0000 (constant) 0.0404 (\(R^2=0.576\))

关键发现

  • 大模型消歧在历史语料上具有极高泛化稳定性:Qwen3-8B 不仅在整体上以 0.815 多数投票准确率大幅击败词向量检索(0.681)与 MFS(0.699),且在分时期评估中表现极其稳健:CHJ(明治大正时期)准确率达到 0.803,SHC(昭和时期)为 0.813,BCCWJ(现代)为 0.844,证明近代日语正字法和文体差异并未导致大模型推理崩溃。
  • 词典粒度直接决定外在相关性上限:在 JaSemChange 评测中,当目标词在岩波词典中存在细分多义项时,JSD 与人类判断的相关度高达 \(\rho = 0.821\);而全集 20 词中部分词在词典中被记录为单义项,导致无法发生义项权重转移(JSD 为 0),从而拉低了全集相关度(0.580)。这证明固定词典是一柄双刃剑:提供极强可解释性的同时受限于词典本身的粒度。
  • Sense 0 集中于词典漏洞与特定实体歧义:全量 21.3 万条用例中,Sense 0 仅占 1.42%。其中两类典型错误各具代表性:外来词「イン (in)」高达 93.17% 判为 Sense 0,是因为现代用例多指“内衣 (inner)”或英文介词,而词典仅收录体育术语;而「北 (kita)」判为 Sense 0(68.42%)则是模型误读了释义中提及反义词“南”的括号注记,属于特定提示误判。

亮点与洞察

  • 将无监督表征变化转化为有监督语义重分配:巧妙利用现成通用大语言模型的上下文理解能力作为桥梁,将不可解释的词向量聚类距离转换为语言学可读的词典条目概率转移,兼顾了算法可扩展性与学术规范性。
  • 正交语义维度与历时义项的双向解耦验证:不仅计算维度的宏观时间斜率,更通过底层义项的转移解释维度变化背后的驱动力(例如「土台」由建筑物地基转变为抽象基础,深度没变但隐喻度大幅跃升),实现了计算结果与认知语言学理论的深度融合。
  • 严谨的兜底机制与质量审计:设立 Sense 0 显式容纳词典未覆盖义项与模糊用例,不强迫模型猜选,并通过人工双盲标注与多时期交叉检验严格量化了历史语料上的迁移可靠性。

局限与展望

  • 受限于现代通俗词典的义项收录范围:《岩波国语辞典》作为中型现代词典,未详尽收录江户/明治时期的罕见义项或古义,也无法动态捕捉近年互联网涌现的新兴俚语,未来可扩展至历史专业辞书或结合新义项发现(Novel Sense Induction)。
  • 词网深度作为语义广度代理存在颗粒度缺陷:WordNet 的层级深度仅是分类学代理,未能完美映射真实概念特异度(如「土台」的两个义项在 WordNet 中深度均为 8,无法反映广度变化),未来需引入更精细的概念蕴含或属性范畴度量。
  • 跨语料库系统误差与年代交叠:CHJ、SHC 和 BCCWJ 在文体、选材、切分词标准上存在微妙差异,且 2000 年代在 SHC 与 BCCWJ 中存在交叠,未来需要开展跨语料控制变量实验以进一步剥离文体效应。

相关工作与启发

  • vs 无监督上下文嵌入聚类 (Kutuzov et al., 2022; Schlechtweg et al., 2020):传统方法依赖 BERT 向量的余弦相似度或图聚类度量变化,输出无标签的聚类中心;LSC-Pattern 将每个用例绑定至权威词典义项,从根本上赋予了语义变化显式的语言学实体。
  • vs 纯语义维度演化分析 (Baes et al., 2024):Baes 等人直接评估词汇情感、广度等维度的年代变化,但由于缺乏义项桥梁,无法区分是“某个既有义项的情感发生了漂移”还是“褒义/贬义义项所占的比例发生了变化”;LSC-Pattern 将维度变化归因于义项重分配,解释深度大幅提升。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将大模型驱动的词典锚定 WSD 与多维语义演变轨迹深度结合,开创了高可解释 LSCD 的新范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 跨越 150 年日语语料,包含 976 条专业语言学者人工标注、3 种 baseline 对比、全量 21.3 万用例分析及深入案例研究。
  • 写作质量: ⭐⭐⭐⭐⭐ 框架逻辑极其缜密,对方法适用边界、Sense 0 成因及实验局限性讨论坦诚且透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为计算历史语言学、数字人文和词典编纂学提供了真正可落地、可检验的高价值分析工具。