Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models¶
会议: NeurIPS 2026
arXiv: 2511.03087
领域: 优化/理论
关键词: 广义线性模型, 变分不等式, 强Minty条件, 非规范链接函数, 广义可加模型
一句话总结¶
针对广义线性模型（GLM）与广义可加模型（GAM）在非规范、非光滑或非单调链接函数下极大似然估计（MLE）面临的非凸、病态与平坦优化困境，本文提出基于变分不等式（VI）的算子平衡估计范式，建立了有限样本高概率误差界与渐近正态性，并证明了确定性不动点迭代与流式随机逼近算法的快速收敛保证。
研究背景与动机¶
广义线性模型（GLM）通过指数族分布与链接函数将响应变量的条件均值同线性预测器紧密联系，是统计推断与机器学习的基石方法。长期以来，极大似然估计（MLE）一直是参数推断的黄金标准，在模型正确设定与规范链接（canonical links）下享有严格的渐近一致性与统计有效性。然而，规范链接函数往往无法满足真实场景对模型鲁棒性与表达灵活性的严苛需求。在实际应用中，研究者常常采用带有截断或饱和特性的非规范链接（如带强度的双边截断指数链接、Softplus 激活函数、分段线性的 ReLU 或 Hinge 结构）。
在这些更通用的非规范或非光滑设定下，基于负对数似然（NLL）的经验损失曲面会急剧恶化。复合损失函数 \(\ell \circ g^{-1}\) 的曲率常常极度病态，在尾部区域出现大面积的平坦高原（梯度的局部收缩性微弱，二阶 Hessian 矩阵甚至指数级衰减），或者由于截断和扭折点而产生处处不可微与全局非凸的几何结构。这导致传统一阶与二阶梯度算法极易停滞、对初始化高度敏感、震荡甚至发散。核心症结在于：传统统计推断过分受制于似然曲面的局部凸性与光滑性，将统计参数定义与特定概率密度下的极小化几何深度绑定。
本文的切入角度是打破以似然极小化为中心的传统推断视角，将估计问题转化为算子理论中的变分不等式（VI）平衡解寻找。核心 idea：将 GLM 的参数估计重新表述为受强 Minty 条件控制的单调算子变分不等式平衡问题，绕开复合似然函数的非凸与非光滑缺陷；在保留规范链接下一阶最优性等价的同时，为非规范链接建立具有三明治协方差的 \(\mathcal{O}(N^{-1/2})\) 统计一致性与确定性线性收敛的固定点优化保证。
方法详解¶
整体框架¶
所提框架以总体算子 \(V(\bm{\beta})\) 的零点或平衡条件为核心。对于协变量 \(\bm{x} \in \mathbb{R}^d\)（扩展截距项后为 \(\tilde{\bm{x}} = [1; \bm{x}] \in \mathbb{R}^{d+1}\)）与响应变量 \(y \in \mathbb{R}\)，假定条件均值满足 \(\mathbb{E}[y \mid \bm{x}] = g^{-1}(\tilde{\bm{x}}^\top \bm{\beta}^\star)\)。总体与经验算子分别定义为： $\(V(\bm{\beta}) := \mathbb{E}_{(\bm{x},y) \sim \mathbb{P}} \left[ \left( g^{-1}(\tilde{\bm{x}}^\top \bm{\beta}) - y \right) \tilde{\bm{x}} \right], \quad V_N(\bm{\beta}) := \frac{1}{N} \sum_{i=1}^N \left( g^{-1}(\tilde{\bm{x}}^{i\top} \bm{\beta}) - y^i \right) \tilde{\bm{x}}^i\)$
参数估计的目标即寻找使算子满足变分不等式 \(\langle V_N(\hat{\bm{\beta}}_N), \bm{\beta} - \hat{\bm{\beta}}_N \rangle \ge 0, \forall \bm{\beta}\) 的平衡解 \(\hat{\bm{\beta}}_N\)（在无约束欧氏空间中等价于求根方程 \(V_N(\hat{\bm{\beta}}_N) = \mathbf{0}\)）。在规范链接下，经验损失的梯度 \(\nabla \mathcal{L}_N(\bm{\beta})\) 恰与 \(V_N(\bm{\beta})\) 精确吻合；而在非规范、非光滑乃至非单调链接下，该算子直接聚焦于条件矩的几何平衡，完全脱钩了负对数似然复合求导项 \((g^{-1})' \cdot \ell'\) 带来的曲率畸变。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据样本与逆链接函数<br/>允许非规范、截断非光滑及非单调链接"] --> B["算子平衡建模：变分不等式重构<br/>规避似然非凸曲面，解耦极值几何"]
B --> C["正则性保证：强 Minty 条件验证<br/>利用弱单调性与误差界确立模量 mu"]
C --> D["两类优化求解器：离线固定点与流式随机逼近<br/>确定性线性收敛 / 在线次线性速率"]
D --> E["非线性加性泛化：基函数扩展 GAM<br/>正交基展开将非线性分量降维至高维 GLM"]关键设计¶
1. 变分不等式算子重构：解耦似然复合几何与参数估计
传统 MLE 求解依赖目标函数 \(\mathcal{L}_N(\bm{\beta}) = \frac{1}{N} \sum_{i=1}^N \ell(g^{-1}(\tilde{\bm{x}}^{i\top}\bm{\beta}), y^i)\) 的梯度： $\(\nabla \mathcal{L}_N(\bm{\beta}) = \frac{1}{N}\sum_{i=1}^N (g^{-1})'(\tilde{\bm{x}}^{i\top}\bm{\beta})\,\ell'\big(g^{-1}(\tilde{\bm{x}}^{i\top}\bm{\beta}), y^i\big)\,\tilde{\bm{x}}^i\)$ 当 \(g^{-1}\) 非规范时，导数项 \((g^{-1})'\) 与损失导数项 \(\ell'\) 杂糅在一起。例如在 Poisson 回归搭配截断指数或 Softplus 激活函数时，在自变量很大时导数急剧变小，导致 Hessian 极度退化，梯度更新停滞于平坦高原或卡在折点。VI 范式直接抛弃对似然势能的求导，构造纯净的一阶矩算子 \(V_N(\bm{\beta})\)。当 \(g^{-1}\) 是规范链接时（如 Logistic 配 Sigmoid、正态配恒等、Poisson 配指数），\((g^{-1})'\) 恰好与似然损失分母对消，\(\nabla \mathcal{L}_N(\bm{\beta}) \equiv V_N(\bm{\beta})\)；而当面对非规范链接时，VI 算子不再包含任何高阶链式法则的导数放大或衰减因子，从而将病态损失曲面平滑为一个具有全局单调趋势的向量场。
2. 强 Minty 条件：超越凸性与单调性的理论基石
为了确保解的存在唯一性、统计收敛界以及算法的收缩性，论文引入了关于算子 \(V\) 和 \(V_N\) 的强 Minty 条件： $\(\langle V(\bm{\beta}), \bm{\beta} - \bm{\beta}^\star \rangle \ge \mu \|\bm{\beta} - \bm{\beta}^\star\|^2, \quad \forall \bm{\beta} \in \mathbb{R}^{d+1}\)$ 强 Minty 条件要求向量场在离开平衡解时至少以线性下界背离，它比强单调性（Strong Monotonicity）更加宽松，甚至允许逆链接函数局部非单调（例如带有小振幅高频波动的正弦畸变逆链接 \(g^{-1}(z) = z + 2\sin(z)\cos(z)\)，虽然其导数存在负值而非单调，但全局仍以模量 \(\mu=1/2\) 严格满足强 Minty 条件）。论文进一步证明，若向量场满足 \(\rho\)-弱单调性与参数误差界条件（\(\mu_{\mathrm{EB}}\)），只要 \(\rho L < \mu_{\mathrm{EB}}^2\)，即可自动诱导出强 Minty 模量 \(\mu = \frac{\mu_{\mathrm{EB}}^2 - \rho L}{L - \rho}\)，为工程中设计更加灵活鲁棒的非标准链接函数提供了严谨判定准则。
3. 三明治协方差与统计有限样本保证
在统计性质方面，由于逆链接函数 \(g^{-1}\) 仅需满足 \(L\)-Lipschitz 连续性（其不可微点集测度为 0），利用 Rademacher 定理与经验过程局部线性化，论文建立了 VI 估计量 \(\hat{\bm{\beta}}_N\) 的有限样本高概率误差界：对于任意 \(\epsilon \in (0,1)\)，以至少 \(1-\epsilon\) 的概率满足： $\(\|\hat{\bm{\beta}}_N - \bm{\beta}^\star\| \le \frac{RM}{\mu} \sqrt{\frac{2(d+1)\ln(2(d+1)/\epsilon)}{N}}\)$ 其中 \(R\) 为残差上界，\(M\) 为特征有界性常数。更进一步，渐近正态性表明 \(\sqrt{N}(\hat{\bm{\beta}}_N - \bm{\beta}^\star) \xrightarrow{d} \mathcal{N}\big(0, \nabla V(\bm{\beta}^\star)^{-1} \Gamma \nabla V(\bm{\beta}^\star)^{-\top}\big)\)，其中雅可比矩阵为 \(\nabla V(\bm{\beta}^\star) = \mathbb{E}[(g^{-1})'(\tilde{\bm{x}}^\top \bm{\beta}^\star)\tilde{\bm{x}}\tilde{\bm{x}}^\top]\)，协方差矩阵为 \(\Gamma = \mathbb{E}[(y - g^{-1}(\tilde{\bm{x}}^\top \bm{\beta}^\star))^2 \tilde{\bm{x}}\tilde{\bm{x}}^\top]\)。这种三明治型渐近协方差结构揭示了计算稳定性与统计效率的理性权衡。
4. 基于正交基展开向广义可加模型（GAM）的无缝推广
广义可加模型将线性预测器推广为非线性可加分量 \(\sum_{j=1}^d f_j(x_j)\)。论文通过正交基函数展开（如 B 样条或去常数项勒让德多项式 \(\psi_k\)），将每个分量参数化为 \(f_j(x_j) \approx \sum_{k=1}^K \beta_{jk}\psi_k(x_j)\)。通过将原始协变量堆叠映射为 \(\tilde{\Phi}(\bm{x}) \in \mathbb{R}^{dK+1}\)，非线性 GAM 被精确等价为扩展维度下的 GLM。在此基础上，经验算子平滑延展为： $\(V_N(\bm{\beta}) = \frac{1}{N}\sum_{i=1}^N \left( g^{-1}\big(\langle \bm{\beta}, \tilde{\Phi}(\bm{x}^i) \rangle\big) - y^i \right) \tilde{\Phi}(\bm{x}^i)\)$ 只要基函数在数据分布下保持正交或线性无关（最小奇异值 \(\sigma_N > 0\)），强 Minty 条件即可平移保留，使得 GAM 能够直接继承全部线性和次线性收敛理论，彻底解决了非规范链接 GAM 拟合中交替反拟合（backfitting）易陷入局部极小的难题。
一个完整示例¶
以非单调逆链接函数 \(g^{-1}(z) = z + 2\sin(z)\cos(z) = z + \sin(2z)\) 为例。在传统 MLE 优化下，其对数似然导数包含项 \((g^{-1})'(z) = 3\cos^2(z) - \sin^2(z)\)；当 \(z \in (\pi/3, 2\pi/3)\) 时，导数小于零，原对数似然在此区间内凹凸性颠倒，出现大量虚假驻点和局部极小值陷阱，梯度优化极易停滞。而在 VI 框架下，考察平衡点 \(z^\star = 0\)： $\(\langle g^{-1}(z) - g^{-1}(0), z - 0 \rangle = z(z + \sin(2z)) \ge \frac{1}{2} z^2\)$ 尽管映射局部不单调且局部导数变号，算子内积仍以模量 \(\mu = 1/2\) 全局保持强 Minty 条件。采用固定点更新步长 \(\eta = \mu / [L^2(1+dM^2)^2]\) 时，单调压缩映射强制迭代点单调跨越非凸波动区间，几何级数快速收敛至全局真实解。
损失函数 / 训练策略¶
针对经验 VI 问题的求解，论文分析了确定性离线求解与流式在线求解两种策略：
- 确定性不动点迭代法（Fixed-Point Iteration）：针对固定样本集 \(N\)，更新格式为 \(\bm{\beta}^{t+1} := \bm{\beta}^t - \eta V_N(\bm{\beta}^t)\)。选取恒定步长 \(\eta = \frac{\mu}{L^2(1+dM^2)^2}\)，估计序列展现严格的全局线性收敛速率： $\(\|\bm{\beta}^t - \hat{\bm{\beta}}_N\|^2 \le \left( 1 - \frac{\mu^2}{L^2(1+dM^2)^2} \right)^t \|\bm{\beta}^0 - \hat{\bm{\beta}}_N\|^2\)$ 结合统计误差界，在有限步 \(t\) 后距离真值总体参数 \(\bm{\beta}^\star\) 呈现几何级数衰减加上 \(\mathcal{O}(\sqrt{d/N})\) 统计下界。
- 随机逼近算法（Stochastic Approximation）：针对流式数据 \((\bm{x}^t, y^t) \sim \mathbb{P}\)，更新格式为 \(\bm{\beta}^{t+1} := \bm{\beta}^t - \eta^t V_{(\bm{x}^t, y^t)}(\bm{\beta}^t)\)。采用衰减步长 \(\eta^t = \frac{1}{\mu(t+1)}\)，证明其均方估计误差具有全局次线性收敛上界 \(\mathbb{E}\|\bm{\beta}^t - \bm{\beta}^\star\|^2 \le \frac{c_0(d+1)R^2M^2}{\mu^2(t+1)}\)。
实验关键数据¶
主实验¶
实验在 Poisson 回归框架下评测，真值参数设为 \(\bm{\beta}^\star = d^{-1/2}(1,\dots,1) \in \mathbb{R}^d\)，协变量采样自标准高斯分布 \(\mathcal{N}(0, I_d)\)，响应变量满足 \(y \sim \mathrm{Poisson}(g^{-1}(\bm{\beta}^{\star\top}\bm{x}))\)。下表列出 Softplus 逆链接函数 \(g^{-1}(z) = \log(1+e^z)\) 下，不同迭代步数 \(k\)、特征维度 \(d\) 与样本量 \(N\) 时，VI 估计器与 MLE 的平均均方误差 \(\|\bm{\beta}^k - \bm{\beta}^\star\|^2\)（括号内为 1000 次独立重复的标准差）：
| 迭代步数 \(k\) | 维度 \(d\) | \(N=100\) (VI / MLE) | \(N=200\) (VI / MLE) | \(N=500\) (VI / MLE) | \(N=1000\) (VI / MLE) |
|---|---|---|---|---|---|
| 20 | 10 | .63 (.08) / .71 (.06) | .51 (.07) / .62 (.06) | .34 (.06) / .47 (.05) | .21 (.04) / .34 (.03) |
| 20 | 20 | .73 (.07) / .79 (.05) | .63 (.06) / .71 (.05) | .47 (.05) / .58 (.04) | .33 (.04) / .46 (.03) |
| 20 | 50 | .82 (.05) / .87 (.03) | .75 (.04) / .81 (.03) | .63 (.04) / .71 (.03) | .51 (.03) / .62 (.03) |
| 20 | 100 | .88 (.03) / .91 (.02) | .83 (.03) / .87 (.02) | .73 (.03) / .79 (.02) | .63 (.03) / .71 (.02) |
| 50 | 10 | .47 (.10) / .57 (.09) | .32 (.08) / .44 (.07) | .16 (.05) / .27 (.05) | .08 (.03) / .16 (.03) |
| 50 | 20 | .59 (.09) / .67 (.07) | .46 (.07) / .57 (.06) | .28 (.05) / .40 (.05) | .16 (.03) / .27 (.03) |
| 50 | 50 | .75 (.06) / .80 (.05) | .64 (.06) / .71 (.05) | .46 (.05) / .57 (.04) | .32 (.04) / .44 (.03) |
| 50 | 100 | .83 (.05) / .86 (.04) | .74 (.05) / .79 (.04) | .59 (.04) / .68 (.03) | .46 (.03) / .56 (.03) |
| 100 | 10 | .40 (.11) / .50 (.10) | .26 (.08) / .36 (.08) | .12 (.04) / .20 (.04) | .05 (.02) / .11 (.03) |
| 100 | 20 | .54 (.10) / .62 (.08) | .40 (.08) / .50 (.07) | .22 (.05) / .32 (.05) | .12 (.03) / .20 (.03) |
| 100 | 50 | .71 (.07) / .76 (.06) | .59 (.06) / .66 (.05) | .40 (.05) / .50 (.04) | .26 (.04) / .36 (.03) |
| 100 | 100 | .82 (.05) / .84 (.04) | .72 (.05) / .76 (.04) | .54 (.05) / .63 (.04) | .40 (.04) / .50 (.03) |
| 200 | 10 | .38 (.12) / .48 (.10) | .24 (.08) / .34 (.08) | .10 (.04) / .18 (.04) | .05 (.02) / .09 (.02) |
| 200 | 20 | .53 (.11) / .61 (.09) | .38 (.08) / .47 (.07) | .20 (.04) / .30 (.04) | .10 (.03) / .18 (.03) |
| 200 | 50 | .71 (.07) / .75 (.06) | .57 (.07) / .64 (.06) | .38 (.05) / .48 (.04) | .24 (.04) / .34 (.03) |
| 200 | 100 | .82 (.06) / .84 (.04) | .70 (.06) / .75 (.04) | .52 (.05) / .61 (.04) | .38 (.04) / .48 (.03) |
消融实验¶
为了验证不同几何特性链接函数的敏感性，作者在四种不同类型的逆链接函数下进行了对比消融分析：规范链接（Log）、带平坦区域的单调非规范链接（Softplus）、非光滑双边截断链接（Clipped Exp，\(g^{-1}(z) = \min\{e^z, 2\}\)）以及多模态非凸混合高斯 CDF 链接（GMM CDF）。下表展示在固定迭代 \(k=50\) 下的均方误差对比：
| 逆链接函数几何属性 | 模型代表 | \(d=10, N=500\) (VI / MLE) | \(d=20, N=500\) (VI / MLE) | \(d=50, N=500\) (VI / MLE) | 表现差异分析 |
|---|---|---|---|---|---|
| 规范光滑凸面 | Log Link (\(e^z\)) | .012 (.006) / .012 (.006) | .028 (.010) / .028 (.010) | .096 (.025) / .096 (.025) | 理论严格等价，数值轨迹与收敛速度完全重合 |
| 非规范平坦尾部 | Softplus Link | .16 (.05) / .27 (.05) | .28 (.05) / .40 (.05) | .46 (.05) / .57 (.04) | MLE 因 Hessian 右尾衰减严重变慢，VI 保持强收缩 |
| 非光滑截断 Plateau | Clipped Exp Link | .201 (.048) / .208 (.036) | .297 (.044) / .306 (.037) | .448 (.038) / .458 (.034) | 触及截断边界时 MLE 梯度消失停滞，VI 持续平稳推进 |
| 高度非凸多模态 | GMM CDF Link | .023 (.010) / .074 (.026) | .057 (.017) / .209 (.043) | .164 (.026) / .452 (.043) | MLE 陷入局部极小与振荡，VI 早期误差缩小近 3-4 倍 |
关键发现¶
- 早期收敛加速显著：在非规范链接下，VI 在初始迭代步（\(k=20\) 和 \(k=50\)）展现出极大幅度的收敛优势。这是因为 MLE 的经验 Hessian 严重依赖于 \((g^{-1})' / g^{-1}\) 的局部缩放，在离开真值较远时极易陷入平坦区域，而 VI 算子的雅可比矩阵保持了更均匀的本征曲率。
- 鲁棒克服非凸振荡：对于具有非凸起伏的 GMM CDF 逆链接，MLE 的梯度轨迹在多模态损失曲面上发生剧烈振荡甚至偶发发散；VI 则依靠强 Minty 算子场的向心单调性平滑收敛，在 \(d=20, N=500\) 下将估计误差从 MLE 的 0.209 大幅削减至 0.057。
- 截断与折点处的稳定性：在截断指数链接中，初始阶段未越过截断阈值时两算法行为接近指数规范链接；一旦迭代点逼近或进入截断边界，MLE 遭遇零梯度平台导致更新停滞，而 VI 依然能够稳定拉回平衡点。
亮点与洞察¶
- 算子几何替代极小化几何：巧妙利用变分不等式直接刻画矩平衡条件，将原本必须建立在光滑、凸势能函数上的优化理论，推广到仅需向量场满足强 Minty 条件的非光滑、非单调场景，突破了传统似然理论对二阶连续可微性的硬性约束。
- 兼顾计算优越性与统计严谨性：不仅证明了数值算法的全局线性收敛，还利用经验过程工具给出了有限样本高概率界 \(\tilde{\mathcal{O}}(\sqrt{d/N})\) 和三明治渐近正态分布，建立了完备的统计计算协同理论。
- 基函数扩展自然赋能 GAM：将非线性加性回归的求解降维成高维空间下的规范/非规范线性算子反求，为带有非线性成分和非规范链接的可解释模型提供了一致收敛且避免陷入次优解的实用工具。
局限与展望¶
- 渐近有效性权衡：虽然 VI 在非规范链接下获得了远优于 MLE 的数值稳定性与收敛速度，但其渐近协方差矩阵呈现三明治结构，在模型完全正确设定的理想极限下略微损失了 Cramér-Rao 渐近有效性下界。
- 强 Minty 常数的先验依赖：理论收敛率与步长设计依赖于强 Minty 模量 \(\mu\) 和 Lipschitz 常数 \(L\)，但在超高维或复杂非线性特征分布下，严格估计经验数据的 \(\mu\) 仍具有一定挑战。
- 拓展方向：未来可将 VI 框架与高维稀疏正则化（如 Lasso 型非光滑惩罚项或非凸压缩感知算子）相结合，拓展在生物基因组与超高维因果推断中的应用。
相关工作与启发¶
- vs 经典极大似然估计 (MLE & IRLS)：经典方法依赖对数似然的一阶与二阶求导，在规范链接下凸且光滑，但非规范链接下目标函数非凸、平坦且对不可微截断无能为力；本文在规范链接下完美退化为 MLE，在非规范链接下以单调算子场提供全局收敛与更高数值稳定性。
- vs Juditsky & Nemirovski (2019) 的变分不等式估计：此前 VI 方法主要用于非线性最小二乘与在线随机近似，未深入探讨 GLM 样本平均估计量的统计极限；本文系统给出了有限样本误差界、渐近正态三明治协方差及向 GAM 的基展开拓展。
评分¶
- 新颖性: ⭐⭐⭐⭐ [打破似然极小化思维定势，引入变分不等式与强 Minty 条件重构 GLM 统计推断]
- 实验充分度: ⭐⭐⭐⭐ [针对多种规范、非规范、截断和高度非凸链接函数进行了 1000 次独立重复评测，覆盖 GLM 与 GAM]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，几何动机直观清晰，统计保证与算法收敛分析环环相扣]
- 价值: ⭐⭐⭐⭐ [为现代非光滑、鲁棒及非规范统计建模提供了坚实稳定的替代优化求解框架]