FLARE: Task-Agnostic Embedding Model Evaluation via Normalizing Flows¶

会议: ACL 2026
arXiv: 2604.17344
代码: 无
领域: 信息检索
关键词: 嵌入模型评估, 无标签评估, 正则化流, 信息充分性, 高维密度估计

一句话总结¶

提出FLARE框架，利用正则化流（Normalizing Flows）进行无标签的文本嵌入模型评估，通过直接从对数似然估计信息充分性来避免基于距离的密度估计在高维空间中的崩溃，在11个数据集上与有监督基准的Spearman \(\rho\) 达0.90。

领域现状：文本嵌入模型（如Qwen3 Embedding、Gemini Embedding）数量快速增长，选择最适合特定语料的模型变得越来越困难。标准方法依赖MTEB等有标注基准，但这需要标注数据且可能存在基准污染。

现有痛点：（1）有标注基准对专有领域不可用，且基准泄露导致分数虚高；（2）无标签方法如均匀性、IsoScore等关注几何性质而非语义内容；（3）EMIR方法使用KDE或GMM估计密度，在高维空间因维度灾难而不稳定。

核心矛盾：需要无标签评估嵌入质量，但现有密度估计方法在高维空间中统计不可靠。

本文目标：设计一个在高维嵌入上仍然稳定可靠的无标签嵌入评估框架。

切入角度：利用正则化流的精确对数似然估计能力，避免基于距离的密度估计。

核心 idea：用正则化流替代KDE/GMM来估计信息充分性，将评估误差从依赖原始维度转为依赖数据流形的内在维度。

两阶段流水线：（1）训练边际流 \(p_\phi(v)\) 建模目标嵌入分布；（2）初始化条件流 \(p_\theta(v|u)\)（复制边际流权重+零初始化的低秩条件分支），训练捕获源-目标嵌入间的依赖关系。信息充分性分数 = 边际熵 - 条件熵。

基于正则化流的信息充分性估计:
- 功能：无标签量化嵌入模型的质量
- 核心思路：\(I_s(U \to V) = H(V) - H(V|U)\)，即源嵌入U对目标嵌入V的不确定性减少量。用正则化流精确计算对数似然，避免KDE/GMM的维度灾难。最终得分为跨参考模型的归一化中位数
- 设计动机：正则化流支持精确似然计算而非变分下界，确保估计的可靠性
低秩条件化与零初始化:
- 功能：高效且稳定地估计条件密度
- 核心思路：条件流通过低秩残差分支注入源信息：\(\mathbf{h}_{cond} = \mathbf{h}_{base} + B(A(u))\)，A投影到r=64的瓶颈，B初始化为零使条件流初始等同于边际流
- 设计动机：标准条件流复杂度O(d²)在高维不可行，低秩设计将参数降至O(dr)
有限样本泛化界:
- 功能：理论保证评估的可靠性
- 核心思路：证明估计误差的上界主要由数据流形内在维度 \(d_{eff}\) 而非原始维度d决定。因 \(d_{eff} \ll d\)，中等样本即可获得可靠估计
- 设计动机：理论保证部署到新语料时的可靠性

标准正则化流最大似然训练。两阶段渐进训练，零初始化确保稳定收敛。

与有监督排名的Spearman \(\rho\) 对比：