📐 学习理论¶
🧠 NeurIPS2026 · 202 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (1) · 🔬 ICLR2026 (294) · 🧪 ICML2026 (45) · 🤖 AAAI2026 (3) · 🧠 NeurIPS2025 (25) · 🧪 ICML2025 (16)
🔥 高频主题: 扩散模型 ×6 · 对抗鲁棒 ×5 · 压缩/编码 ×5 · 布局/合成 ×3 · LLM ×2
- Sponsored Questions and How to Auction Them
-
本文首次形式化了对话式AI平台中“赞助澄清问题/提示词”的信息引出与后续广告位联合拍卖问题,证明了端到端VCG机制能够兼顾真实报告与社会福利最大化,而直觉上的分阶段模块化拍卖(VCG-per-stage)存在严重的战略低效,其无政府状态代价(Price of Anarchy)无界。
- A Local Geometric Analysis of Maximal Coding Rate Reduction via Error Bounds
-
本文证明了最大编码率降低(MCR²)目标函数在其局部极大值点邻域满足误差界性质,建立了距离局部极大值点集合与梯度范数之间的几何控制关系,进而证明了一阶优化算法在此非凸景观下具有局部线性收敛保证。
- A mathematical theory of balancing relational generalization and memorization
-
本文提出了带例外的传递推理任务范式,通过可解析求解的核岭回归模型从理论上揭示了表征几何与正则化对关系泛化与例外记忆平衡的机理约束,并在微调大语言模型中验证了理论预测的系统性错误。
- A multi-scale information geometry reveals the structure of mutual information in neural populations
-
本文从高斯粗粒化下表征距离收缩的第一性原理公理体系出发,推导出了唯一的多尺度费歇尔信息度规,严格证明了其迹与群体互信息的等价恒等式,并通过条件扩散模型克服高维积分瓶颈,在猕猴 V1/V4 视觉皮层神经数据上揭示出稳健且具生物可解释性的信息几何结构。
- A Theoretical Analysis of Why Masked Diffusion Models Mitigate the Reversal Curse
-
本文从理论上证明掩码扩散模型(MDM)缓解逆转诅咒的核心在于相对位置编码下「位置无关的证据存储」与「注意力路由」的参数级耦合,正向掩码训练更新的参数能直接以一阶近似降低逆向查询损失。
- A Topological Sorting Criterion for Random Causal Directed Acyclic Graphs
-
揭示了因果发现基准中广泛使用的 ER 与 SF 随机有向无环图(DAG)沿因果拓扑序天然具有单调递增的“亲属节点”(relatives)数量,证明了该结构缺陷不仅直接泄露因果拓扑排序并压缩马尔可夫等价类(MEC),更提出了基于时间展开 DAG 的无偏差随机图生成替代方案。
- Adaptive inference for functionals of M-estimands
-
本文把非参数 M-估计目标的光滑泛函推断扩展到已知采样策略的自适应数据,通过一步偏差校正配合逐轮条件方差稳定化,或在方差收敛到随机非零极限时采用自归一化,构造渐近有效的置信区间;动态定价模拟显示普通 GLM 和仅加逆倾向权重的 GLM 会欠覆盖。
- Aligning Inductive Bias for Data-Efficient Generalization in State Space Models
-
本文从核泛化理论出发,形式化证明了线性时不变状态空间模型(LTI SSM)的归纳偏置由其频率响应主导,并提出了基于任务相关谱匹配的任务依赖初始化(TDI),在不改动模型架构与推理成本的前提下显著提升了有限样本预算下的泛化效率。
- Ambient Discrete Diffusion: Using the Wrong Data at the Right Time for Data Efficient Learning
-
针对严苛数据匮乏场景,本文提出基于噪声水平选择性引入分布外(OOD)数据的 RefineMix 框架,证明并利用了离散扩散在极度掩码下仍保持域可分性的本质差异,仅在高噪声使用目标域、低噪声混合源域数据,在 5 组文本迁移任务及仅 197 个样本的蛋白质家族生成中使有效折叠多样性产率近乎翻倍。
- Amortized Vine Copulas for High-Dimensional Density and Information Estimation
-
提出 Vine Denoising Copula (VDC) 架构,通过预训练可复用的二维 U-Net 经验直方图去噪网络与 IPFP 边缘均匀化投影,将藤 Copula 中原本高昂的 \(O(d^2)\) 次重复双变量拟合转化为毫秒级 GPU 推理,实现高维显式密度建模与无偏互信息/全相关树级分解。
- Anchor PCA
-
针对多源异构域主成分分析易被少数域局部高方差虚假方向主导的问题,提出在解释总方差与跨域子空间一致性之间进行权衡的 Anchor PCA,严格保证恢复最大不变子空间,并在有界协方差膨胀下具备极小极大最优重构鲁棒性。
- Announced Breaks Separate Conformal Reliability from Frequency Calibration
-
论文揭示了当数据流存在公开预告的结构性断点时,“单步共形可靠性”(按时审计)与“闭合窗口误差率”(频率审计)两种评估标准在本质上发生分离,并证明了经验分位数重置规则与自适应递归分别在两类审计下达到最优收敛率。
- Asymptotically Log-Optimal Bayes-Assisted Confidence Sequences for Bounded Means
-
提出贝叶斯辅助的有界均值置信序列框架,通过贝叶斯或伪贝叶斯工作预测分布自适应选择鞅对赌系数,在保证任意先验误设下随时有效覆盖的同时,证明了其在预测一致性下达到渐近对数最优性。
- Asymptotically Optimal Best Arm Identification with Fixed-Budget under Differential Privacy
-
针对严格保护交互轨迹与最终推荐的纯 \(\epsilon\)-差分隐私多臂赌博机最佳臂识别问题,本文推导了由非对称逆向隐私迁移指数决定的固定预算错误率下界,并提出了基于拉普拉斯树流式估计与 AdaHedge 极小极大对抗采样的渐近最优算法 AO-Pri-BAI。
- Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics
-
将多层无注意力残差/纯注意力 Transformer 建模为两阶段上下文经验贝叶斯过程,证明层深通过粒子动力学逼近逆向扩散提炼先验,长程残差完成条件后验均值推断。
- Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
-
本文从反向传播视角揭示因果注意力汇在反向求导时会引发严重的梯度向首 Token 聚集(梯度汇),而 RMSNorm 的雅可比压缩性质使得网络自发涌现巨量激活作为梯度调节器以稳定残差流传输;据此设计的 V-scale 梯度阀干预成功解耦了双汇现象。
- Augmented Lagrangian Predictive Coding
-
将预测编码置于增广拉格朗日乘子法框架下,通过在各层引入对偶变量累积预测误差,使纯局部动态在有限推理步数下实现对反向传播梯度的高效弹道式传播并完全闭合深窄网络下的性能差距。
- Autoregressive Learning in Joint KL: Sharp Oracle Bounds and Lower Bounds
-
本文针对模型设定误差下的自回归序列学习,首次在自然匹配对数损失训练目标的联合 KL 散度下建立了匹配的上下界,证明了近似误差具有无视序列长度的常数因子,而估计误差的线性视距依赖性在信息论意义下是不可避免的统计瓶颈。
- Bayes-Optimal BER and AUC: Estimation and Evaluation of Estimators
-
本文提出了一种基于软标签估计二分类任务贝叶斯最优平衡错误率(BER)与最优AUC(AUC)的方法,结合保序回归有效消除了未知保序失真与加性噪声的影响,并扩展了无需已知真实最优值的无监督评估框架。
- Bayesian Additive Distribution Regression
-
本文提出 DistBART 框架,利用贝叶斯加性回归树先验建模分布回归的 Riesz 表示元,结合浅层树集合天然诱导的低维边际稀疏加性归纳偏置与随机特征近似,实现具备近极大极小收敛保证且兼具高可解释性的分布到标量回归。
- Bentkus-Type Asymptotic E-Values
-
针对无已知方差上界假设下指数型渐近e值存在的保守性与“缺失因子”缺陷,本文基于Bentkus非渐近浓度不等式理论构建了全新的Bentkus型渐近e值族,不仅消除了缺失因子并证明了严格更优的渐近界,还在事后置信区间构建与e-BH多重检验中显著提升了检验效力。
- Beyond Augmented-Action Surrogates for Multi-Expert Learning-to-Defer
-
针对多专家延迟决策(Multi-Expert L2D)在增广动作空间中面临的目标畸变、梯度放大与专家饥饿等优化病态,本文跳出增广动作框架提出解耦代理损失(Decoupled Surrogate),分别用 Softmax 建模类别后验与独立 Sigmoid 建模各专家效用,实现坐标级解耦更新并建立了与专家数量无关的超额风险一致性界。
- Beyond Kemeny Medians: Consensus Ranking Distributions - Definition, Properties and Statistical Learning
-
本文突破经典 Kemeny 中位数对多峰排序分布总结过于粗糙的瓶颈,提出基于局部中位数的稀疏狄拉克混合模型“共识排序分布”(CRD),建立了基于 Kendall \(\tau\) 最优传输的失真界,并设计了自顶向下的二叉递归划分算法 COAST 实现高效统计学习。
- Beyond Pessimism: Offline Learning in KL-regularized Games
-
本文突破离线博弈学习中对悲观值估计的传统依赖,利用KL正则化诱导的最优响应平滑性与零和博弈算子反对称性,提出了首个无需悲观惩罚的离线学习框架,在单侧覆盖条件下将样本复杂度由 \(\widetilde{\mathcal{O}}(1/\sqrt{n})\) 大幅提升至 \(\widetilde{\mathcal{O}}(1/n)\) 快速率,并给出了具备末轮收敛保证的高效自博弈算法。
- Beyond the Half Approximation: Fair and Efficient Online Class Matching
-
提出了首个基于阈值分阶段分配的在线类别匹配框架,首次打破了强公平性下功利社会福利不超过 1/2 的理论瓶颈,并给出了紧密的公平性代价上界。
- Beyond Worst-Case Coreset Bounds for k-Clustering via Determinantal Sampling
-
针对 \((k,z)\)-聚类核心集规模受限于最坏情况 \(\Omega(\varepsilon^{-2})\) 下界的理论瓶颈,本文引入基于行列式点过程(DPP)的负相关行列式采样机制,在自然亚高斯分布假设下首次证明了 \(\tilde{O}_{d,z}(k^{\frac{d}{d+1}}\varepsilon^{-\frac{2d}{d+1}})\) 的更紧核心集界,突破了最坏复杂度限制并在真实数据上大幅缩减了核心集规模。
- Block Optimism for Nonstationary Bandits with Latent Linear Dynamics
-
针对动作同时驱动未观测隐状态与双线性即时奖励的内生非平稳老虎机问题,提出基于指数稳定衰减的块循环近似方法与块级乐观探索算法 Block-OFUL,在开环动作序列基准下首次将遗憾上界从 \(\widetilde{\mathcal{O}}(T^{2/3})\) 降低至 \(\widetilde{\mathcal{O}}(\sqrt{T})\)。
- BOOST: Power-Optimal Strong-FWER Testing for Block-Structured Multiplicity
-
针对临床试验、eQTL定位与分流A/B测试中普遍存在的块结构多重性问题,本文提出BOOST框架,在块可分离检验类下实现了三元块(\(K=3\))的强FWER控制与功效最优分配,复杂度仅为 \(\mathcal{O}(K)\)。
- Calibration Without Ground Truth
-
本文提出一种无需真实标签的后处理框架,利用校准良好但能力较弱的参考模型(如预训练 Base 模型),通过向相互校准集合做函数空间布雷格曼投影,在理论上严格保证降低强模型(如对齐 Instruct 模型)在任意严格真损失下的期望误差。
- Calibration Without Labels in Multiple Testing
-
针对大规模假设检验中无真实标签导致单假设误差率难以校准的难题,本文通过 \(p\) 值间距构建渐近无偏的连续伪标签,证明了保序校准等价于非参数经验贝叶斯 Grenander 估计,给出了无单调性假设下的有限样本 Brier 遗憾上界,并为单假设提供了可靠的后验概率校准诊断。
- Can Metadata Fix the Gauge? Calibration Turns Sparse Multi-Source Learning from Sparse PCA into Sparse Mean Recovery
-
本文证明了在具有源未知符号规范(sign gauge)的多源稀疏高斯模型中,仅依赖源标签将退化为困难的稀疏 PCA 问题,而引入与任务无关的相对标定元数据可通过谱同步将问题线性化为稀疏均值恢复,从而在微源弱信号区域实现统计与计算复杂度的根本分离。
- Can the Parts Fool the Test? Counterfactual Pairing Cycles for Relational OOD
-
论文提出了反事实配对循环(Counterfactual Pairing Cycles)评测与训练原语,利用 \(2\times 2\) 图像-文本对调闭环在有限样本下精确抵消任意单模态边缘捷径,揭示了冻结 CLIP 特征能较好识别几何尺寸关系却在严格左/右角色绑定上逼近随机猜测的本质缺陷。
- Causal pieces: analysing and improving spiking neural networks piece by piece
-
类比 ReLU 人工神经网络的线性片段,本文提出面向单脉冲前馈 SNN 的“因果片段”(Causal Pieces)划分理论,证明了逼近误差下界与因果片段数量成反比,并揭示了初始化阶段的片段数量与 SNN 训练成败高度强正相关。
- Cheap and Powerful Tests for Supervised Subspaces: Per-Component Inference for PLS
-
把偏最小二乘(PLS)监督子空间的显著性转化为留出预测相关性检验,用 NB 修正提供有明确经验适用范围的快速近似、用置换提供总体独立性零假设下的有限样本有效检验,并严格区分原始分量的顺序推断与旋转后坐标的解释。
- Class Adaptive Conformal Training
-
针对端到端符合预测训练在类别不均衡与海量类别场景下因全局固定惩罚导致少数类预测集虚大与覆盖偏倚的问题,本文提出类别自适应符合预测训练(CaCT),通过将类别条件尺寸约束转化为增广拉格朗日优化,交替自适应更新类别乘子与惩罚参数,在保持边际覆盖保证的同时显著压缩预测集尺寸并降低类别覆盖差距。
- Classification Fields: Arbitrarily Fine Recursive Hierarchical Clustering From Few Examples
-
提出了将层次聚类建模为由局部父到子细化法则递归生成的无限深几何对象“分类场”,仅从有限观察前缀即可学习预测器外推至任意未见深度并保持谱系、几何与路径测度结构。
- Closing the Approximation Gap in Simulation-Free Latent SDEs
-
针对无仿真潜随机微分方程(Latent SDE)因单时刻边缘分布无法唯一确定路径定律所导致的后验逼近截断误差,本文提出 Helmholtz-SDE,通过在正交于边缘演化的无散度向量场空间中引入基于 Hermite 多项式基的解析修正,完全闭合了高斯共轭下的后验 KL 差距,在保持无仿真高效性的同时显著提升了动力学学习质量与多时刻统计保真度。
- Clustered Randomized Smoothing for Stochastic Prediction Functions
-
针对随机神经网络在多模态回归任务中应用传统随机平滑导致模式坍缩的问题,本文提出聚类 \(\alpha\)-平滑框架,通过在输出空间聚类、簇内局部截断平滑并重组为混合分布,在提供统计鲁棒性保证的同时完整保留了多模态预测结构。
- Coherence Mechanisms for Provable Self-Improvement
-
本文提出了基于任务保持变换下输出一致性(Coherence)的自我提升几何理论框架,证明了基线模型向一致性模型集的 Bregman 投影能够单调降低与理想模型的散度误差,并建立了保证可证明提升的机制必然等价于一致性投影的刚性特征定理。
- Complexity of Differentially Private Selection via Federated APIs
-
证明了基于高斯噪声聚合API进行私有候选选择必须承受 \(\Omega(\sqrt{d}/\varepsilon)\) 的样本复杂度下界,进而提出联邦稀疏向量技术(SVT)API,实现匹配中心化模型最优的 \(O(\log(dn)/\varepsilon)\) 加法误差与近线性期望查询复杂度 \(O(d\log^* d)\)。
- Computationally Efficient Replicable Learning of Parities and Applications
-
提出了首个在任意数据分布下多项式时间可复制学习奇偶校验(Parities)函数的算法,打破了此前高效可复制学习局限于 SQ 可学习任务的壁垒,并证明了多项式时间内将可复制算法泛化转化为纯差分隐私算法必然损失样本复杂度。
- Computationally Sufficient Statistics for Ising Models
-
本文研究了受限观测能力下离散马尔可夫随机场的参数与结构学习问题,证明通过阶数为 \(O(\gamma)\) 的局部低阶矩统计量,即可在多项式计算复杂度与与全样本同阶的样本复杂度下完成 Ising 模型的结构恢复与参数重构。
- Computing All Optimal Partial p-Wasserstein Matchings on the Line
-
针对一维线段上部分 \(p\)-Wasserstein 最优传输(OT-profile)中 \(p>1\) 导致的二次复杂度瓶颈,本文基于线段单调配对结构提出了 FFT 加速的平衡区间匹配数据结构,首次在 \(O(p\,n\log^2 n)\) 近线性时间内计算出全部最优部分匹配代价,并给出了 \(p=\infty\) 依赖 \((\min,+)\)-卷积猜想的二次下界。
- Concise and Logically Consistent Conformal Sets for Neuro-Symbolic Concept-Based Models
-
COCOCO 对神经符号概念模型的概念与任务标签分别校准,再用一次演绎—溯因交集修正删除双方无法支持的候选,在明确的覆盖损失边界下获得更小且相互一致的集合,并以 COCOCO* 支持自适应大小预算。
- 一致性几何深度学习:基于希尔伯特丛与胞腔层的统一学习框架
-
本文将几何深度学习从标量与切向量场拓展到流形支持的无穷维信号,提出基于希尔伯特丛联络拉普拉斯算子与博雷尔函数演算的卷积框架 HilbNets,并通过两阶段采样证明了诱导胞腔层拉普拉斯算子对连续算子的依概率收敛性与跨分辨率可迁移性。
- Constraint-Aware Influence Estimation in Deep Constrained Learning
-
针对约束深度学习中经典影响函数因破坏可行域约束及解不可微而失效的难题,本文提出方向影响函数(DIF),将 KKT 最优性条件转化为变分不等式并推导其一阶方向导数敏感度,最终转化为高效的二次规划求解以实现保约束的数据归因。
- Continuity Laws for Sequential Models
-
本文将时间连续性确立为序列模型的重要归纳偏置,提出时间细化收敛性框架与数据驱动任务连续性度量,揭示 S4 具备稳定连续性而 S6 对输入幅度高度敏感,并基于连续性提出阶段式时间下采样训练策略显著提升训练效率与精度。
- Contrastive Identification and Generation in the Limit
-
论文将 Gold 的极限识别与 Kleinberg–Mullainathan 的极限生成范式拓展至无向异或对比数据流(仅知每对样本标签相反但不知正负朝向),基于“公共跨割图”完整刻画了可识别性与可生成性,建立了四者构成的严格菱形层级,并证明在有限对抗污染下对比数据展现出超越正例数据的鲁棒性反转。
- Conveyance: A Versatile Framework for Learning in Structured Class Spaces
-
Conveyance 针对传统交叉熵忽略类别拓扑关系的根本缺陷,提出一种仅需简单布尔矩阵定义合理候选集、在对数几率空间同时最大化两个边际的轻量通用损失函数,在标签噪声、多示例学习、序数回归和分层分类任务上均达到或超越了专用模型。
- Cost-Aware Best-LLM Identification using Dueling Feedback
-
本文把“以给定置信度找出两两偏好中的最佳模型”建模为异质成本决斗老虎机,用单位成本拒绝证据分配比较预算、跟踪抽样并通过最佳臂假设检验停止,获得几乎处处的渐近成本保证,但有限实验中置信区间版本 DCTAC 比主算法 DCTAS 更省成本。
- DASS: A Solver-Adaptable Dynamic Auxiliary Search Strategy for Symbolic Regression
-
DASS 提出了一种解算器通用的动态辅助搜索策略,将符号回归解空间建模为由高潜能基函数项张成的函数子空间,通过多环境评估、稳定性滤波与 Gibbs 后验更新动态校准子空间,并利用解算器高质量反馈闭环重塑基函数库,在仅增加 24.14% 运行时间的前提下将主流解算器的平均求解准确率提升近一倍。
- Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold
-
本文从有限训练数据诱导的时变对数密度脊流形(Log-Density Ridge Manifold)出发,证明扩散模型在非记忆化(泛化)状态下的反向推理遵循“到达-对齐-滑动”(Reach-Align-Slide)三阶段几何机制,并严格建立了法向/切向训练误差(含网络架构宽度偏置与梯度下降优化偏置)对生成样本空间几何分布的定量控制关系。
- Dimension-Uniform Discretization Analysis of Preconditioned Annealed Langevin Dynamics for Multimodal Gaussian Mixtures
-
针对高维与无限维多模态高斯混合分布采样,证明了传统欧拉-马山(EM)离散化因前向欧拉步处理退火分数刚性线性漂移而导致严重的步长稳定性限制,进而提出并严格证明了基于精确积分线性漂移的指数积分器(ELP)离散化方案具备维度一致的 KL 散度收敛上界。
- Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts
-
本文证明了在未知非线性微分同胚观测下,当两个连续时间加性噪声随机微分方程(SDE)环境共享漂移项且具备坐标方差比互异的对角扩散协方差时,隐动力学坐标系在单项式仿射变换(置换、坐标缩放与常数平移)下可辨识,并可由两阶段估计器精确恢复瞬时漂移雅可比因果图。
- Distribution Shift in Missing Data Imputation: A Risk-Based Perspective and Importance-Weighted Correction under MAR
-
本文从均方误差风险最小化理论出发,证明了在随机缺失(MAR)机制下观测数据训练与全数据评估之间存在天然的协变量偏移,并提出一种基于密度比估计与方差调控的加权轮换迭代填补算法,显著降低填补误差并大幅改善边缘分布保真度。
- 缺失数据填补中的分布偏移:基于风险视角的理论分析与 MAR 下的重要性加权修正
-
本文从均方误差(MSE)风险最小化视角严格审视缺失数据填补问题,揭示出随机缺失(MAR)机制下观测数据与全数据分布之间固有的协变量偏移,并提出一种在轮循迭代框架中自适应估计密度比加权的新型填补算法,显著降低填补误差并大幅提高边际 Wasserstein 距离分布保真度。
- Distributionally-Robust Policy Learning with Observational Data
-
针对观测数据策略学习面临的测试期协变量分布漂移挑战,本文提出基于交叉拟合双重稳健分数与对偶样本分割偏差修正的分布鲁棒策略学习算法,并首次在 Tsybakov 宽边际条件下突破 \(\widetilde{O}(n^{-1/2})\) 瓶颈,实现介于 \(\widetilde{O}(n^{-1/2})\) 至 \(\widetilde{O}(n^{-1})\) 之间的快速收敛速率。
- Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias
-
本文通过受控实验提出并度量了“初始化记忆”(即验证选定预测器对随机初始化尺度的依赖性),揭示了低学习率 SGD 即使插值训练集依然严重保留初始化偏置,而自适应方法与显示/隐式正则化则通过特征累积时钟快速擦除初始化记忆,阐明了实用归纳偏置本质上是经训练遗忘动力学过滤后的先验。
- Do Heavy Tails Help Diffusion? On the Subtle Trade-off Between Initialization and Training
-
针对近期将重尾噪声引入扩散模型以建模极端事件的热门范式,本文建立了统一的总变差采样误差非渐近分解界,从理论和实证上指出重尾噪声虽能指数级削减初始化误差,却会导致逆向动力学估计误差沿整条轨迹线性累积,在有限样本下轻尾高斯扩散通常表现更优。
- Do More Modalities Always Help? A Geometric Perspective on Missing-Modality Robustness
-
揭示了多模态模型在测试期模态缺失时表现常劣于单模态模型的反直觉退化现象,从几何视角证明该问题源于跨模态交互层主输入子空间的病态旋转,并提出基于格拉斯曼流形测地线路径的轻量后处理参数编辑方法 Geodesic Unlearning。
- Does Compression Imply Generalization? A Minimum Description Length Perspective
-
本文基于最小描述长度(MDL)视角提出利用训练轨迹直接计算的序贯编码悔量(Prequential Regret)作为神经网络复杂度度量,证明其上界化参数描述长度并在 PAC-MDL 框架下转化为泛化界,在 CIFAR 上与泛化差距达到 0.9 以上的皮尔逊相关性。
- does sparse connectivity improve generalization convolutional networks below the
-
本文证明了在梯度下降的稳定性边缘(BEoS)机制下,稀疏连接(卷积局部感受野)将损失海森矩阵的曲率约束从高维全图空间转换至局部低维补丁多重集,在全连接网络保证完全退化的超球面数据上诱导非平凡泛化界并抵抗维度灾难。
- Does Weight Decay Enhance Training Stability?
-
本文通过将带权重衰减的梯度下降建模为欠阻尼谐振子,揭示了权重衰减在稳定性边缘(EoS)下通过全局几何对齐项引发的动力学阻尼与相变机制,证明了参数空间曲率下降能直接约束神经正切核谱半径并增强特征学习稳定性。
- Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization
-
论文从数据生成过程(DGP)的可辨识性理论出发,证明经验风险最小化(ERM)在单窗口训练数据下对观测等价的候选过程完全不可辨识,揭示特征映射、标签映射与模型类的联合选择 \((\varphi,\psi,\mathcal{M})\) 构成了打破该不确定性的结构承诺,并跨化学反应、开普勒定律、DNA编码序列以及序列架构位置编码验证了特征工程对分布外外推的决定性作用。
- Drifting Fields are not Conservative
-
论文揭示了单步扩散新范式 Drifting 模型所使用的漂移场通常不具备保守性(旋度非零),指出其根源在于基于未升阶核的局部密度归一化失配,并通过引入对应逆导数性质的尖锐核(sharp kernel)构造出完全保守的漂移场与等价的标量 log-KDE 目标函数。
- DTA-GT: Direction- and Topology-Aware Graph Transformer for Neural Network Representation Learning
-
本文提出全局保持方向一致性的图Transformer架构 DTA-GT,在节点初始化、磁拉普拉斯谱编码、双向结构注意力与方向敏感MoE前馈网络全流程显式保留有向计算语义,在小样本预算下的NAS准确率与时延预测中全面优于现有GNN与Transformer基线。
- Early Prediction of Future Behavioral Strategy from Process Traces
-
针对自适应交互系统难以提前预判用户在未来任务中行为策略的问题,本文提出过程级隐变量模型(PLVM),通过自监督因果 Transformer 对源任务的过程轨迹进行编码,并将多任务表征融合为共享个体隐空间,在真实人类游戏遥测数据与受控仿真中实现了对未来目标任务行为策略(如区域规划者与区域跳跃者)的早期精准跨任务预测。
- Efficient Test-time Adaptation through Candidate Verification and Divergence Shifts
-
针对视觉语言模型在推理阶段遭遇目标域偏移的问题,本文提出 TTC(Test-Time Correction)框架,打破传统预测端调整参数或原型的范式,将其重塑为基于假说检验的候选验证过程,通过度量测试样本假想插入类别子空间诱发的散度偏移实现高效无参校正。
- EM-NeSy: Expectation Maximization for Neurosymbolic Learning
-
将概率神经符号学习形式化为期望最大化(EM)算法,E 步利用任意精确或近似符号推断引擎反推神经预测的后验分布,M 步仅在神经网络内进行梯度下降更新,彻底解耦符号推理与端到端微分需求并在精确推断下数学等价于传统梯度反传。
- Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees
-
针对表格基座模型在离散选择预测中破坏经济学一致性(如成本单调性违背、时间价值为负)的问题,本文提出两阶段适配器架构,将冻结的基座模型离线预测概率嵌入多项 Logit 效用函数,通过理论证明在数学上严格保全结构边际替代率,兼获基座模型高精度与经典计量经济学的严谨结构保证。
- End-to-End Identifiable and Consistent Recurrent Switching Dynamical Systems
-
针对非平稳时序中机制切换动力学可辨识性理论与估计器近似鸿沟难题,本文首次建立了可逆生成映射下非线性循环切换动力系统的端到端可辨识性理论,并提出基于流模型与期望最大化的精确似然估计器 \(\Omega\text{SDS}\),实现了渐近一致且强解缠的动力学表征学习。
- Energy-Tweedie: Score meets Score, Energy meets Energy
-
本文突破经典 Tweedie 公式仅局限于高斯加性噪声与后验均值的狭隘对应,建立了适用于任意可归一化 Gibbs(基于能量)噪声的通用 Energy-Tweedie 恒等式,证明含噪边际的 Stein 分数精准等于匹配核评分规则(如 Mahalanobis 能量评分)在去噪后验处的路径导数,统一了分数估计、未知噪声参数辨识与任意非高斯参数路径扩散采样。
- Enhancing Tabular Learners with Context-Aware Semantic Embeddings
-
针对传统表格学习器视文本特征为离散符号且孤立行编码缺失全局语境的问题,本文提出 CASE 框架,通过在自建表格语言模型中预填充训练集行组成的 KV 缓存构建持久语义锚点,提取与目标对齐的上下文行级嵌入并融合 PCA 降维特征,显著提升了 GBDT 与表格上下文学习器在富语义与低样本场景下的预测性能。
- Epistemic Pairwise Maximin Share
-
本文首次形式化引入认知配对最大最小份额(EPMMS)与认知群组最大最小份额(EGMMS),打破了 EEFX 现有技术(消圈与孤立划分者)无法直接迁移的理论壁垒,证明了加性效用下多项式时间可求 4/5-EPMMS 分配,双值效用下多项式时间存在精确 EGMMS 分配,并在 MMS 普遍不存在的 3 智能体与双类型智能体设定下证明了精确 EPMMS 的必然存在性。
- Estimating Implicit Regularization in Deep Learning
-
提出一种基于经验梯度匹配的隐式正则化估计框架,通过将经验损失梯度与参数化正则项梯度的偏差构建回归系统,首次在不需要解析推导的前提下从复杂深度网络训练轨迹或终点中定量恢复隐式正则项。
- Estimating the Expected Output of Wide Random MLPs More Efficiently than Sampling
-
针对宽随机多层感知机(MLP)在输入分布已知时的期望输出估计难题,提出基于累积量传播与厄米特展开的无采样解析估计方法,理论证明其在固定深度、大宽度极限下以 \(O(n/\varepsilon^2)\) 复杂度击败蒙特卡洛采样的 \(\Theta(n^2/\varepsilon^2)\),并在极端低概率估计中实现跨越数个数量级的精度优势。
- Estimation of the Label-Noise Transition Matrix with Performance Guarantees via Selective Classification
-
本文先用单侧选择性分类筛出各类别的高纯度子集,再以其中全部噪声标签的经验频率估计转移矩阵,将误差分解为子集纯度偏差、学习次优性和接受样本的统计波动,而不要求逐点恢复准确的类别后验概率。
- Even More Guarantees for Variational Inference in the Presence of Symmetries
-
论文将对称性下位置-尺度分布族变分推断的理论保证拓展到了前向 KL 与 \(\alpha\)-散度,放宽了以往研究对目标分布对数凹性的严苛约束,证明了多模态和重尾目标下均值与相关性矩阵的精确可恢复性。
- Even Sharper Bounds for Transductive Learning and Its Applications
-
本文以交换随机游走上的双参数熵闭合证明 Bernstein 型上确界集中,再用局部复杂度控制直推经验风险最小化,在有界损失及相应局部化条件下同时去掉旧结果的样本量失衡限制与额外置信度对数因子,并给出可实现 VC 分类和经验核谱应用。
- Exact Gaussian Moment Matching for Residual Networks: A Second-Order Method
-
针对任意多元高斯输入下深度网络难以精确闭式传播分布矩的问题,本文基于 Stein 引理与高斯微分方程推导出了针对 probit、GeLU、ReLU、Heaviside、sine 激活函数及通用残差层的解析一阶与二阶矩匹配公式,并在平滑四阶概率距离下证明了层间复合的渐进二阶精度。
- Exact Power Indices for Plurality-Voting Ensembles
-
针对带均匀随机平局决胜的相对多数投票(Plurality-Voting)集成模型归因难题,本文提出了合作博弈论新框架 enpower,通过组合对称性与普通生成函数,首次在二分类实现线性时间、多分类实现低阶多项式时间的 Banzhaf 与 Shapley 权力指数精确计算。
- Exact Topological Compliance: Generating Persistence-Equivalent Graphs
-
首次对严格满足目标持久图(PD)的图生成问题展开首要原理研究,证明了局部迭代采样的内在不可能性极限,并提出了基于约束规划(CP)的极小充分全局可满足性编码,在合成与真实分子基准上实现了 100% 拓扑精准匹配。
- Expanding Flow Maps
-
本文提出了扩展生成流(EFlows)与扩展流映射(EFMs),将流映射分解为条件增噪扩维的扩展算子与前向去噪的传输映射,统一了连续与离散空间下的自适应维度少步生成。
- Expressive Power of Deep Homomorphism Networks over Relational Databases
-
本文系统刻画了深度同态网络(DHN)在关系数据库上的表达能力边界,证明了 max-DHN 与一元否定一阶逻辑(UNFO)等价、有界度 sum-DHN 与带计数的一元否定逻辑(UNFOC)等价,并确立了与 UQAFO 及 HML+C 的包含界限与静态分析可判定性。
- Extending Myerson's Optimal Auctions to Correlated Bidders via Neural Network Integration
-
针对相关竞拍者环境下迈耶森(Myerson)贪婪分配因非单调而破坏策略证明性(strategy-proofness)的理论难题,本文提出结合极小型 ReLU-MLP 神经网络插值、混合整数规划(MIP)单调性形式化验证与构造性收益修正的端到端框架,在多种合成、对抗与真实数据分布下以可验证的确定性策略证明机制实现逼近理论贪婪上界的近最优收益。
- Feature Learning Dynamics in Infinite-Depth Neural Networks
-
本文针对 depth-\(\mu\mathrm{P}\) 缩放下的单层 ResNet,利用条件高斯表示显式隔离反向传播中权重复用引起的前向-反向耦合项,证明该耦合在初始化时随宽度以 \(\mathcal{O}(n^{-1})\) 消失,而在训练时虽在无限宽度极限下存留,却随深度以更高阶 \(\mathcal{O}(L^{-2})\) 衰减,从而严格建立了无限深度特征学习的神经特征动力学(NFD)前向-反向 SDE 极限。
- Finding Koopman Invariant Subspaces via Personalized PageRank
-
针对非线性动力系统高维字典扩展动态模态分解(EDMD)中子空间截断与泄漏问题,本文证明了 Koopman 不变子空间在有限样本下必然诱导 EDMD 矩阵的零块结构,并提出将行归一化 EDMD 矩阵重构为 Markov 链、利用个性化 PageRank(PPR)精确检测不变子空间与控制多步泄漏误差。
- Fisher information and the geometry of memorization in neural networks
-
本文揭示了神经网络参数空间中泛化结构与样本记忆的损失曲率几何解耦机制:通过将权重投影到各层费歇尔信息矩阵(Fisher Information Matrix)的前 \(k\) 个主本征空间,可以在几乎不损失泛化能力的前提下选择性擦除无结构的样本记忆,甚至恢复被标签噪声污染的真实语义并提升过拟合上下文学习模型的泛化表现。
- Fixed Universal Transformers
-
类比通用图灵机,本文证明了固定权重(稀疏确定性或随机初始化)的Transformer仅需调整输入嵌入层,即可精确模拟给定族内的任意目标Transformer,同时揭示出多头机制下嵌入维度对网络深度呈固有指数下界的理论界限。
- Flexformer: Flexible Linear Transformer with Learnable Attention Kernel
-
Flexformer 基于谱表示理论将随机傅里叶特征中的谱频率与尺度参数转化为端到端可学习参数,构建包含 Softmax 核且表达力更强的平稳与非平稳注意力核族,在保持 \(O(N)\) 线性时空复杂度的同时显著超越现有线性注意力基线。
- Flexible Routing via Uncertainty Decomposition
-
本文提出了一种基于高阶校准(Higher-Order Calibration)的不确定性解耦路由框架,能够将总损失分解为固有偶发不确定性与模型认知不确定性,在无需重新训练的情况下实现支持预测、路由与弃权三方决策的零样本泛化路由器。
- Flow-based Spectral Kernel Learning for Nonstationary Attention
-
提出了基于正规化流的谱核注意力(FSKA),将非平稳核学习转化为双变量谱密度估计并结合正随机特征实现线性计算复杂度,同时利用核表达能力吸收 QK 投影并固定正交 V 投影,削减约 40%–47% 投影参数。
- Forest-Guided Semantic Transport for Label-Supervised Manifold Alignment
-
本文提出 FoSTA 框架,利用域内独立学习的有监督随机森林几何与扩展 RF-GAP 仿射度量构建类别语义表征,通过分层最优传输在无预设跨域锚点的情况下恢复样本对应关系,实现了兼顾语义结构保持与可扩展性的标签监督流形对齐。
- Fréchet Regression on the Bures-Wasserstein Manifold
-
针对对称正定(SPD)矩阵在 Bures-Wasserstein 流形上外推预测时权重大多为负导致的非凸与边界退化难题,本文提出了正权重谱支配充分条件保证解的存在性与无局部极大值,并设计了首个免投影的黎曼梯度下降及成对随机黎曼算法。
- From Average Sensitivity to Small-Loss Regret Bounds under Random-Order Model
-
针对随机到达序模型下的在线学习问题,本文通过引入动态近似精度机制拓展批到在线转换技术,建立了由离线算法平均敏感度与其凹共轭控制的通用小损失遗憾界,无需损失函数的凸性或平滑性假设,并在在线子模函数极小化等非平滑场景中取得了突破性理论上界。
- From Collapse to Improvement: Statistical Perspectives on the Evolutionary Dynamics of Iterative Training on Contaminated Sources
-
本文从严格的统计估计理论出发,刻画了生成模型在真实与合成混合数据下迭代训练的风险演化递推律,证明了在保留新鲜真实数据且样本量合理增长时,污染无关的普通极大似然训练不仅能规避模型崩溃,还能收敛到真实目标分布。
- From Matrix Inversion to Constraints: Provably Tighter Confidence Regions for Importance Weights in Label Shift
-
针对无监督标签偏移下重要性权重估计过度保守的难题,本文提出 MaC-LP 框架,将区间高斯消元的矩阵求逆范式重构为直接矩阵约束系统,利用线性规划导出理论上最紧且具严格有限样本保证的置信区间,大幅压缩下游保形预测集大小。
- From Persistence to Survival: Hypothesis Testing, Effect Sizes and Vectorisation for Topological Features
-
STRAND 将拓扑持续图视为生存时间数据,首次利用持久存活函数将非参数假设检验(Log-Rank 检验与风险比效应量)与 1-Wasserstein 稳定的紧凑向量化统一在同一理论对象下。
- Function graph transformers universally approximate operators between function spaces
-
本文提出将函数提升为其图像上的概率测度(graph measure),定义保持单值函数结构的函数图像 Transformer(Function Graph Transformers),证明标准 softmax 自注意力与逐点 MLP 的有限复合可在连续函数空间乃至负阶 Sobolev 分布空间上一致/逐点万有逼近非线性算子,并通过乘积测度自注意力统一跨域任意查询点预测。
- Gaussian Mixture Models in Hilbert Spaces via Kernel Methods
-
本文针对无限维希尔伯特空间中的复杂及动态随机对象,基于核均值嵌入提出了一种无须概率密度的无似然高斯混合模型(MMD-GMM),推导了闭式目标并给出谱投影一致性算法与 Wasserstein 逼近保证,在泛函曲线、连续血糖轨迹与图拉普拉斯空间中实现了高效精确聚类。
- Generalization in Neural Networks Through the Lens of Magnitude Potential
-
本文提出基于度量广度(Metric Magnitude)理论的“度量广度势能比”(Magnitude Potential Ratio, MP ratio),在神经网络对数几率(logit)空间中量化样本在同类与全数据间的几何覆盖度,以无须重新训练的单检查点闭式解精准刻画样本记忆化、预警决策边界结构相变并前瞻指示顿悟(grokking)泛化。
- Generating from Discrete Distributions Using Diffusions: Insights from Random Constraint Satisfaction Problems
-
本文基于随机约束满足问题(CSP)与统计物理相变理论,系统评测了离散数据扩散生成方法,证实连续高斯扩散在离散解生成上一致性优于离散掩码扩散,且学习型去噪器能达到理论极限,创新的拓扑变量重排机制大幅推高了可采样密度阈值。
- Generative Conformal Prediction with Optimized Coverage Allocation
-
针对传统符合预测在多模态与异质分布下不确定性区间过于保守的问题,本文提出三阶段框架 ORCA,利用生成模型采样结合局域密度排名将覆盖分配转化为混合整数线性规划,在保证有限样本有效性的同时渐进收敛至神谕最高密度区域。
- Geometric Analysis of Neural Regression Collapse via Intrinsic Dimension
-
首次通过内在维度(Intrinsic Dimension)视角系统分析神经网络多元回归中的坍缩现象,揭示了过压缩与欠压缩两种泛化机制,并提出以特征与目标的内在维度差作为无须真实仿真的策略评估与模型选择准则。
- Geometry-Aware Optimal Transport: Fast Intrinsic Dimension and Wasserstein Distance Estimation
-
针对大规模最优传输中由有限样本引起的离散化误差瓶颈,本文基于半对偶最优权重解析解提出了免求解器的蒙特卡洛离散误差与本征维度估计器,并设计了样本与正则项联合对齐的对角Richardson外推方案,在大幅降低计算开销的同时实现了Wasserstein距离的强去偏估计。
- Geometry of Relaxed Fair Regression: A Unified Framework for Aware and Unaware Settings
-
本文将人口统计学奇偶性惩罚下的回归问题严格建模为最优传输问题,在统一感知与无感知设置的框架下首次推导出连续几何空间中 Wasserstein-2 与全变差(Total Variation)松弛的闭式解,揭示了两种惩罚背后深刻的公平哲学差异,并提出了高效稳健的非参数后处理算法。
- Global Convergence in Deep Networks via the Second Law of Thermodynamics
-
本文基于热力学第二定律推导了马尔可夫过程在 Rényi 散度下的时变测度变换不等式,首次证明了正则化连续时间朗之万动力学在有限宽度深度网络训练中无需将参数束缚在初始点附近即可保持 NTK 最小特征值稳定,给出了与噪声水平无关的非渐近线性收敛速率与显式误差下界。
- Gluing Local Contexts into Global Meaning: A Sheaf-Theoretic Decomposition of Transformers
-
本文将同义复述对视作激活一致性的局部证明,在复述图上构建细胞层析结构,通过层析拉普拉斯算子的零空间(\(H^0\))无监督分离出跨表述稳定的事实语义内容子空间,并由谱补空间(\(H^1\))定位高因果影响方向与跨层循环霍奇谐波质量以诊断模型导向脆弱性。
- Guidance for Prior Change via Density Ratio Estimation
-
针对基于扩散模型的摊销基于模拟推断(SBI)在训练先验变化时的偏差与重训练开销,本文提出利用扩散加噪状态下的密度比估计(DRE)直接学习无偏且通用的分数引导项,实现免模拟调用、免逆向核高斯近似的测试时先验自适应。
- Hierarchical Conformal Classification
-
本文提出了层次化符合分类(HCC),将类别层次结构(DAG)融入符合预测的预测集构造与语义表达中,通过搜索无重叠叶覆盖子集并结合动态剪枝,在严格保证有限样本叶节点覆盖率的同时最小化集合大小与特异度代价。
- High-Arity Sample Compression
-
本文将经典学习理论中的样本压缩方案推广至笛卡尔积空间上的高元学习设置(含分部与非分部两种范式),证明了存在次线性压缩方案即可通过构造 Doob 鞅与 Azuma 集中不等式严格推导出高元 PAC 可学习性,并给出了明确的样本复杂度上界。
- High-Dimensional Learning Dynamics of Attention-Indexed Models
-
论文针对嵌入维度与注意力矩阵秩同步发散的高维广义注意力模型,证明了总体损失曲面由有限个迹序参量刻画,而在线随机梯度下降动力学由无限阶矩阵矩谱系驱动;揭示了绑定注意力通过正半定几何诱导自动对称破缺实现 \(\Theta(d^2 \log d)\) 弱恢复,非绑定注意力则依赖快慢双时间尺度机制选择慢速特征学习初态。
- High-Probability Minimax Adaptive Estimation in Besov Spaces via Online-to-Batch
-
针对非参数 Besov 空间回归中经典小波估计缺乏高概率误差保证且依赖未知噪声方差的问题,本文提出一种基于自适应梯度截断与多尺度专家聚合的在线学习算法,通过精细的自归一化在线转批处理技术,在亚指数噪声下首次建立了未知噪声水平自适应的高概率极小化极大最优风险界。
- How Do Transformers Learn to Represent Symmetries?
-
本文系统探究了标准原生 Transformer 在有限数据增强下学习对称性不变性与等变性的机制,揭示了对称群可学习性的清晰层级结构,并剖析了注意力层、残差流与归一化协同实现旋转、平移和缩放不变性的可解释内部机制。
- How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences
-
本文通过复高斯矩阵的 Wick 展开与对换子置换环计数,推导出了有限宽度线性循环模型中隐状态信号能量的精确闭式解,首次揭示了循环深度与宽度呈 \(t \sim c\sqrt{n}\) 的临界缩放律及其导致 Glorot 初始化失效的本质机制。
- Human-AI Teaming Through the Lens of Calibration
-
本文从统计校准(Statistical Calibration)的统一理论视角审视人机协作(Human-AI Teaming),揭示了现有基于模型或贝叶斯混淆矩阵的预测融合方法无法保持人类的校准性,而在委托决策(Learning to Defer)框架下,拒识器需具备足够细粒度的校准能力来刻画人类优势区域,并在人类享有未观测隐变量时不可避免地产生过剩风险。
- Hybrid Probabilistic Zonotopes for Identifiable and Refinable Predictive Uncertainty
-
提出混合概率Zonotope(HProbZ)预测头,将预测不确定性显式分解为离散模态、有界系统漂移与不可约高斯噪声生成元,利用精确卷积似然实现参数可辨识,并通过跨时间步共享有界生成元实现单次前向下的序贯观测收缩与紧凑多模态保形覆盖。
- Hyper Input Convex Neural Networks for Shape Constrained Learning and Optimal Transport
-
本文提出超输入凸神经网络(HyCNN),将 Maxout 门控与双通道跳跃连接相结合,在保证全局输入严格凸的同时使逼近二次函数的参数效率随网络深度呈指数级提升,并在高维最优传输映射与单细胞扰动预测中大幅超越传统 ICNN。
- Identified-Set Geometry of Distributional Model Extraction under Top-k Censored Queries
-
本文首次从计量经济学部分可识别性(Partial Identification)视角刻画了Top-k截断API下单位置分布恢复的可识别集几何结构,证明其全变差距离直径恰为闭式可计算的 \(U_K\),并揭示出KL散度保真度与下游任务能力迁移解耦的分层提取层级。
- Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning
-
本文通过凸对偶理论为齐次神经网络中的镜像流建立了守恒的对偶平衡方程,提出了由凸共轭势函数界定的 Q-margin,证明了方向迭代向视界函数诱导的最大间隔 KKT 点收敛,并揭示了镜像映射在特征学习中诱导稀疏与稠密表征的几何机理。
- Improved State Mixing in Higher-Order and Block Diagonal Linear Recurrent Networks
-
本文提出了高阶线性循环单元(H-LRU)与块对角线性循环单元(BD-LRU),结合行级 \(L_1\) 门控联合归一化与并行扫描算法,在打破对角状态转移表达力瓶颈的同时保持高吞吐与动力学稳定性。
- In-Expectation Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise
-
针对重尾噪声(仅存在 \(p \in (1,2]\) 阶矩)下经典随机梯度方法传统上被认为发散的理论困境,本文提出了全新的分析框架,首次在无界可行域与无梯度截断/归一化的原始算法下,严格证明了 SMD、ASMD、SGD 与 SGDM 在凸与非凸优化中的期望收敛保证。
- Inference and Uncertainty Quantification for Streaming \(r\)-PCA
-
针对一般秩 \(r\) 的流式 PCA 与 Oja 算法,本文在次高斯数据下消除了收敛界中妨碍小尾谱适应性的多余余项并证明了最优算子范数界,进一步通过切矩阵线性化建立了全局与行向高斯逼近理论及在线乘子自举推断算法。
- Inference and Uncertainty Quantification for Streaming r-PCA
-
针对流式 \(r\)-PCA 中 Oja 算法的收敛速度与统计推断难题,本文建立了亚高斯数据下无非消失残差项的尖锐算子范数收敛率,并通过切空间线性化技术推导了子空间全局与逐行的高斯近似极限分布,进而提出了在线乘子 Bootstrap 算法实现一致的不确定性量化。
- InfoFlow: A Framework for Multi-Layer Transformer Analysis
-
本文揭示了单层与多层 Transformer 在检索任务上由深度带来的本质逼近能力差异,证明了 Softmax 注意力仅能高效检索最大注意力得分位置,并提出了基于离散信息集与参数复杂度法则的 InfoFlow 理论分析框架。
- Information from coincidences
-
本文证明了一个单一的非渐近代数“混合巧合恒等式”(Mixed Coincidence Identity),将玻尔兹曼巧合计数、指数族配分函数、最大熵变分原理与 KL 质心优化统一在同一算子下,为集中不等式、多假设检验与 PAC-Bayes 界提供了统一代数骨架,并在大语言模型词表与基因组序列分析中得到了实证验证。
- Instance-Adaptive Online Multicalibration
-
针对传统在线多校准算法受制于 \(\widetilde{\mathcal{O}}(T^{2/3})\) 最坏情况极小化极大下界的问题,本文提出基于二进网格自适应细化与睡眠专家博弈的统一高效算法,在良态实例上自动实现 \(\widetilde{\mathcal{O}}(\sqrt{T})\) 到 \(\widetilde{\mathcal{O}}(T^{2/3})\) 的动态插值收敛率并证明其紧致性。
- 实例自适应在线多校准 (Instance-Adaptive Online Multicalibration)
-
提出首个能够根据问题实例难度动态内插的在线多校准算法,通过自适应二分网格细化与睡眠专家包装器,在保持对抗最差情况 \(\widetilde{O}(T^{2/3})\) 上界的同时,自动在随机或分段稳态良性实例上取得 \(\widetilde{O}(\sqrt{T})\) 与 \(\widetilde{O}(\sqrt{JT})\) 的极小化极大最优校准率。
- Integral Probability Boundaries
-
针对传统积分概率度量(IPM)压缩为单一实数导致极值界松散甚至失效的问题,本文提出了非线性泛化框架“积分概率边界”(IPB),建立起与 Neyman-Pearson 检验与折线散度的信息论联系,并给出了具备有限样本保证的估计范式与算法。
- Intrinsic-dimension empirical Bernstein inequalities for bounded self-adjoint operators
-
针对有界自伴希尔伯特-施密特算子和随机矩阵,本文建立了首个摆脱环境维度限制、完全由数据驱动且仅依赖内在维度(有效秩)的经验贝内特与经验伯恩斯坦浓度不等式,在非各向同性算子估计与无限维核学习中实现了渐进锐度。
- [NeurIPS 2026] Intrinsic-Dimension Empirical Bernstein Inequalities for Bounded Self-Adjoint Operators
-
针对独立有界自伴希尔伯特-施密特算子和,提出首个完全由数据驱动、依赖内在维度而非环境维度的经验 Bennett 与 Bernstein 集中不等式,不仅无缝扩展到无穷维空间,还在非各向同性方差谱下渐近达到最优神谕速率。
- Intrinsic Riemannian Cross-covariance for Manifold-valued Random Objects
-
针对非线性黎曼流形上随机对象缺乏内蕴二阶统计量的问题,本文提出基于测地线平行移动的内蕴基点不变黎曼互协方差与相关系数估计器,证明了渐近一致性与正态性,并在球面、SPD流形及心室形状空间上验证了其鲁棒性与无偏性。
- Is a Linear Probe Evidence of a Linear Representation?
-
本文证明线性探针的高准确率无法区分低维线性世界模型与高维弯曲核机器,并提出反向可预测性、谱集中度及分布外跨风格泛化三项非对称诊断指标,揭示预训练视觉模型介于两者之间。
- Is Backpropagation Optimal? When Synthetic Gradients Improve Sample Efficiency
-
本文从样本效率的理论视角重新审视反向传播,证明在梯度反馈存在不确定性且节点具备局部充分性时,合成梯度可通过局部自举降低梯度估计均方误差,并在理论与实验中取得超越反向传播的样本效率优势。
- Is \(\sqrt{d}\) Separation Necessary for Gradient EM to Learn Gaussian Mixtures in High Dimensions?
-
论文严格证明了在高维情形下,高斯混合模型各分量均值必须具备 \(\Omega(\sqrt{d})\) 尺度的最小分离度,混合权重采用标准EM、均值采用梯度EM的混合更新算法才能从随机初始化在亚指数时间内全局收敛,彻底确立了梯度EM高维收敛对维数依赖的紧致性。
- Isotropic Activation Functions Enable Deindividuated Neurons and Adaptive Topologies
-
论文通过引入正交等变各向同性激活函数消除神经元的基底依赖性,结合仿射层奇异值分解实现前向函数无损的对角化重参数化,进而支持实时的神经元生成与退化以及渐进 50% 稠密网络无损稀疏化。
- Iterative Chow Filtering for Learning with Distribution Shift
-
证明了 \(\mathcal{L}_1\) 夹逼多项式足以支撑分布偏移下的高效 PQ 学习与容错 TDS 学习,提出了利用假说加权低阶矩约束测试集离群点的迭代 Chow 滤波算法(ICF),首次闭合了 DNF 公式与 \(\mathsf{AC}^0\) 电路在 PAC 与 PQ 学习模型间的计算复杂度差距。
- Latent Process Generator Matching
-
将生成元匹配(Generator Matching)从静态隐变量拓展到一般时间非齐次 Feller 隐随机过程,证明了前推 Kolmogorov 前向方程与条件损失函数的梯度等价性,统一并拓展了离散与连续状态空间下的辅助动力学消除问题。
- Learn from your own latents and not from tokens: A sample-complexity theory
-
针对生成式模型预训练中 token 级自监督需要随隐树深度指数级增长样本量的问题,本文基于随机层级模型(RHM)严格证明了“自预测隐状态表示”(如 data2vec/JEPA)可将非根节点层级结构的恢复样本复杂度从 \(\mathcal{O}(vm^{L+1})\) 降低至与树深度无关的 \(\mathcal{O}(vm^3)\),并通过端到端堆叠网络与隐式层次等价性揭示了显式多尺度堆叠(如 H-JEPA)的冗余性。
- Learning Distributions from Multiple Data Providers
-
本文针对来自异构且重叠数据提供商的受限条件采样问题,首次建立了离散分布学习的完备理论框架,证明了共现图连通性是点态一致性的充要条件、完全图是 PAC 可学性的充要条件,并揭示了样本复杂度在 \(\widetilde{\Theta}(n/\varepsilon^2)\) 至 \(\widetilde{\Theta}(n^2/\varepsilon^2)\) 之间的多项式连续谱。
- Learning Energy-Based Models from Stochastic Interpolants using Spatiotemporal Differences
-
针对能量模型(EBM)中纯时间差异易受支撑集不匹配破坏、纯空间差异在多模态下严重失效的瓶颈,提出时空噪声对比估计(stNCE)统一二分类框架,通过联合建模数据空间与时间的流动差异,实现了高效且具备非参数一致性的单步似然评估。
- learning fractional-order dynamics from a single trajectory
-
针对非马尔可夫长程依赖动力系统,本文提出了利用对角差分结构解耦行辨识的两阶段算法 FO-GS,首次在单条观测轨迹下为离散时间线性分数阶系统提供了阶数 \(\boldsymbol{\alpha}\) 与系统矩阵 \(A\) 均为 \(\mathcal{O}(t^{-1/2})\) 的高概率非渐近统计恢复保证。
- Learning Lotteries with Minimal Stakeholder Violations from Membership Queries
-
本文针对多利益相关者需求冲突时无法达成全员一致的 AI 部署困境,在成员查询模型下研究如何最小化拒绝主体数(Min-Viol),证明了其 APX-Hardness,给出了基于均匀抽样的无参人口级泛化误差界与多项式时间凸松弛 LP,并严格证明确定性算法对未查询主体无法提供任何非平凡保障。
- Learning Orthonormal Bases for Function Spaces
-
将函数空间无限维正交基的参数化重构为无限维正交李群流形上的 ODE 路径,利用低秩反对称积分核与 Cayley 保结构积分器,实现了保能量、无离散化误差且可端到端优化的连续基底学习。
- Learning Reveals Invisible Structure in Low-Rank RNNs
-
本文将低秩循环神经网络分析框架从稳态表征扩展至梯度下降学习动力学,推导出低维重叠空间的解析常微分方程,揭示出决定功能的损失可见重叠与影响学习轨迹及编码历史记忆的损失不可见重叠之间的内在解耦。
- Learning Sparse Compositional Functions with Norm-Constrained Neural Networks
-
本文突破经典参数量控制的局限,建立了首个基于乘性 Frobenius 范数约束的有向无环图(DAG)稀疏组合函数逼近率与统计超额风险界,从理论上严密证明了过参数化深度神经网络如何借助分层局部性彻底克服维数灾难。
- Learning through Internalization
-
本文系统形式化了神经网络将外部慢速计算过程吸收入权重的“内化”机制,实证揭示了宽度优于深度与分布外性能衰减的双刃剑效应,并首次在稀疏奇偶校验任务上理论证明了单层线性注意力 Transformer 通过思维链截断课程序列内化难学习目标的可行性。
- Learning to Decide with AI Assistance under Human-Alignment
-
本文将人机协同二值决策的交互学习问题建模为全反馈双臂在线情境学习,证明了对齐假设可将累积遗憾界从 \(\Omega(\sqrt{|\mathcal{H}||\mathcal{B}|T})\) 显著压缩至 \(\mathcal{O}(\sqrt{|\mathcal{H}|T\log T})\)(在弱条件下甚至达到 \(\mathcal{O}(\sqrt{T\log T})\)),并在两组真实人类实验数据上验证了其在弱对齐下的鲁棒性。
- Learning to Price with Persuasion
-
本文首次研究了具有信息优势的垄断卖家如何在买家价值先验分布未知的情况下,通过价值样本或交互式需求查询同时学习最优质量-价格菜单与说服信号机制,并给出了首个收益最大化增量全多项式时间近似方案(FPTAS)。
- Learning to target with network interference
-
针对网络溢出干扰下的在线自适应定向决策问题,论文证明了忽略网络结构的全局回报聚合必然导致超线性遗憾下界,并针对全支撑已知、仅列支撑大小已知及完全无支撑三种场景提出近最优遗憾界的网络老虎机算法。
- Learning under Localized Minority Imbalance
-
针对现实中少数类在特征空间特定区域非均匀缺失导致的局部少数类不平衡(LMI),提出基于决策树递归分层并在层内全局复用少数类的分层集成方法(SE),显著提升了在无偏真实目标分布下的泛化性能。
- Learning with Multiple Correct Answers: Regret Bounds under Different Feedback Models
-
本文系统形式化了样本允许多个正确答案的在线多标签学习问题,针对错误未知、错误已知与集合值三种反馈机制,通过定义新型树状组合维度精确刻画了可实现设定的最优错误界,并在不可知设定中揭示出线性、次线性乃至常数阶悔界的分离现象。
- Length Generalization for Transformers via Compression
-
本文基于幂词(power words)压缩机制为 Transformer 的逻辑形式化语言 C-RASP+ 与 C-RASP1 建立了多项式级的压缩长度复杂度界,从而证明了样本复杂度仅随公式大小呈单重指数增长,成功消解了此前双重指数上界与 PARITY 变体实验相悖的理论困境。
- Leveraging Data Symmetries to Select an Optimal Subset of Training Data under Label Noise
-
本文针对经典基于 k-NN 特征相似度的 cutstats 算法在高维噪声数据下近似贝叶斯分类器失效的理论瓶颈,证明通过引入正交群与置换群的不变性表征可消除维数灾难并恢复最优子集筛选保证,从而在未知下游分类器的情况下实现稳健的数据清洗。
- LLM Flow Processes for Text-Conditioned Regression
-
本文提出将神经扩散过程的轨迹一致性先验与大语言模型的文本条件边际概率通过免梯度的专家乘积(Product of Experts)闭式高斯卷积引导相结合,消除了自回归回归模型的误差累积与确定性坍缩,实现了高质量文本条件函数空间选择。
- Locality Sensitive Hashing for p-Exponential Kernels with Applications to Density Estimation
-
本文提出基于泊松超平面过程(PHP)与 \(\ell_1\) 偏置 \(p\)-稳定分布高效采样的马赛克哈希方案,首次证明了有界区域内所有 \(p\)-指数核(\(1 < p \le 2\))均具备精确的核局部敏感哈希(LSHable)性质,并将其落地于差分隐私与相对误差核密度估计。
- logistic bandits with tildeosqrtdt regret without context diversity assumptions
-
本文提出了首个无需上下文多样性假设(如协方差矩阵最小特征值严格正下界)即可达成率最优 \(\widetilde{\mathcal{O}}(\sqrt{dT})\) 累积遗憾的 \(K\) 臂逻辑斯蒂老虎机算法 SupSplitLog,通过创新性样本分流(pilot set 与 estimation set)与牛顿型一步修正机制,消除了随机均匀探索阶段,并将界拓展至数据依赖几何复杂度。
- Logistic Bandits with \(\tilde{O}(\sqrt{dT})\) Regret without Context Diversity Assumptions
-
提出 SupSplitLog 算法,通过将样本正交分割为用于粗估计的引导集与用于牛顿修正的估计集,首次在无需任何上下文协方差特征值下界(分集假设)的前提下实现了 \(\tilde{O}(\sqrt{dT})\) 的极小极大最优累积遗憾,并支持数据依赖的几何自适应上界。
- Mean Testing under Truncation beyond Gaussian
-
针对任意截断下高维均值检验面临的多项式偏差屏障 \(\mathcal{O}(\nu_{P,p}\varepsilon^{1-1/p})\),本文完整刻画了有限矩下的不可检下界与匹配的二阶 U 统计量最优上界,并提出方向中位数正则性破除该屏障,将偏差压低至线性阶 \(\mathcal{O}(\varepsilon)\)。
- measure-to-measure regression with transformers
-
本文形式化了非线性测度到测度(M2M)回归问题,并利用 Transformer 天生的均值场与测度依赖结构,提出了静态推前映射(M2M-Static)与动态速度场流匹配(M2M-TFM)两种高表达力且可扩展的算子学习方法。
- Mini-batch kernel k-means
-
提出了首个 mini-batch 核 \(k\)-means 算法,利用滑动窗口稀疏截断将单步迭代时间降至 \(\widetilde{O}(k b^2)\),并在早停准则下严格证明了与空间维度无关的 \(O(\gamma^2/\epsilon)\) 步收敛性与 \(O(\log k)\) 期望近似比。
- Multigroup Fairness and Omniprediction: Separations and Equivalences
-
本文系统解决了全能预测理论中的核心基础问题,严格证明普通全能预测甚至不需要最弱的期望准确率(从而不需要校准或多群体公平性),而更强的损失结果不可区分性(Loss OI)则在温和条件下等价于校准多精度。
- Nearly Optimal Robust Covariance and Scatter Matrix Estimation Beyond Gaussians
-
针对强污染模型下高维椭球分布的散射矩阵与协方差估计问题,提出多阶段空间符号协方差滤波与 degree-4 平方和(SoS)松弛算法,在近乎最优样本复杂度下首次以多项式时间达到了匹配高斯情形的近最优误差上界。
- Neural Expansion: A Unified Mechanism for How Deep Neural Networks Generalize
-
本文提出“神经扩展”(Neural Expansion)几何框架,通过倒数第二层特征雅可比的奇异值分解与方向泛化区间(Generalization Interval, GI)量化训练样本周围保持分类不变的射线覆盖区域,揭示深度网络并非靠点状记忆,而是沿着低曲率平坦方向各向异性扩展覆盖走廊来实现对测试样本、对抗样本乃至随机标签的泛化与预测。
- Neural Networks With Dense Weights Are Not Universal Approximators
-
本文结合连续图极限论中的弱正则引理与信息传递核神经网络表示,确立了确定性模型压缩定理,证明了权重大致均匀且无特权神经元主导的强稠密前馈网络存在不可逾越的表达能力饱和界,因而不是 Lipschitz 连续函数类的通用逼近器。
- No Triangulation Without Representation: Generalization in Topological Deep Learning
-
本文扩展了组合流形基准 MANTRA,系统证明图神经网络在恰当表示与特征编码下性能不逊于高阶消息传递模型,并提出基于星形/重心细分的拓扑泛化压力测试,揭示现有拓扑深度学习模型仅学会拟合组合结构伪影而完全丧失跨尺度拓扑泛化能力。
- Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers
-
本文给出复杂度随样本量增长的异质流形混合上的非参数上下文学习极小极大率,并证明结构知情 Transformer 能逼近达到该率的切空间局部多项式估计器;实际训练模型的最优性仍需要足够任务数和足够小的经验风险优化间隙。
- On Making SE(2)-Invariant Networks Optimal
-
本文基于经典不变量理论推导了关于群作用可证明最优(极小且信息无损判别)的 \(\mathrm{SE}(2)\) 不变量映射,构建了可无缝集成到标准 CNN 的即插即用卷积模块,在大幅削减计算复杂度与参数量的同时实现了领先的旋转鲁棒性。
- On the Convergence of Multicalibration Gradient Boosting
-
针对工业级多校准梯度提升算法缺乏全局多轮收敛理论的难题,本文将其严格建模为特征空间动态演化的离散非线性动力系统,证明了预测更新差值与经验多校准误差具有 \(\mathcal{O}(1/\sqrt{T})\) 的全局收敛界,并在弱学习器光滑假设下证明了线性收敛率以及自适应重标定的局部二次收敛性。
- On the depth of monotone ReLU neural networks and ICNNs
-
通过在神经网络与凸多面体几何之间建立对应关系,证明了单调 ReLU 网络无法计算甚至无法逼近最大值函数 \(\mathsf{MAX}_n\),建立了 \(\mathsf{MAX}_n\) 在 ICNN 上的精确线性深度下界 \(n\),并给出了深度为 2 的通用 ReLU 网络与任意深度 \(k\) 的 ICNN 之间的大深度分离。
- On the Tightness and Computational Tractability of Higher-Dimensional Confidence Sequences
-
本文系统研究了基于对赌财富过程的一维置信序列向高维有界向量均值的拓展范式,证明了投资组合置信集在保持紧致性上最优但计算不可行,进而提出了包围盒、\(\ell_p\) 超椭球及其交集三种具备闭式解或线性复杂度的外近似区域,在严谨保持随时统计有效性的同时实现了高效的多指标序贯监控与早期停止。
- One-Bit Clustering for Two Component Sub-Gaussian Mixture Models
-
针对两分量对称亚高斯混合模型在通信受限下的极低比特聚类难题,本文提出了首个基于均匀抖动的一比特量化聚类方法与改进版 Lloyd 算法,证明其部分恢复误分类率达到与未量化设置同阶的指数衰减,并在施加 Haar 随机旋转预处理后彻底消除了中心峰度限制,以尖锐常数达成了精确恢复与极小化极大下界。
- One-Shot Generative Flows: Existence and Obstructions
-
本文建立了独立端点下诱导零加速度直线流(单步流)随机过程的结构性理论,推导了流直线性的 Eulerian-Lagrangian 等价 PDE,并在构造任意高维高斯端点精确单步插值过程的同时,证明了多峰目标分布下直线流的几何与拓扑不可能定理。
- Online Budget Allocation with Censored Semi-Bandit Feedback
-
针对多任务在线预算分配难题,提出首个基于乐观原则的截断半多臂老虎机算法 UCBowski,在通用单调曲线上达到极小化极大最优的 \(\widetilde{\mathcal{O}}(K\sqrt{T})\) 遗憾界与匹配下界,并在边际递减收益机制下免调参实现 \(\mathcal{O}(\mathrm{poly}(K)(\log T)^2)\) 的多对数超快收敛率。
- Online Set Learning from Precision and Recall Feedback
-
本文首次形式化了仅接收随机单样本精确率与召回率反馈的在线未知集合学习问题,证明了假设类可学习的充要条件是有穷 VC 维,并在可实现与不可知设定下分别给出了次线性遗憾界算法与下界刻画。
- PAC-Bayesian Bounds for Learning Partially Observed Stochastic Linear Time-Invariant State-Space Systems with Inputs and Sub-Gaussian Noise
-
针对带外生输入和亚高斯无界噪声的部分可观测随机线性时不变状态空间系统,本文建立了首个关于泛化差距为 \(\mathcal{O}\big(\frac{(\ln N)^r}{\sqrt{N}}\big)\) 且对置信度呈对数依赖 \(\mathcal{O}(\ln(1/\delta))\) 的算法无关 PAC-Bayes 上界,并导出了 MEP、MAP 和 Gibbs 采样的参数估计与 \(H_2\) 传递函数有限样本误差界。
- PAC Learning with Bandit Feedback: Sharp Sample Complexity in the Realizable Setting
-
本文针对可实现多分类 PAC 学习中的 Bandit 反馈设定,提出了全新的组合复杂度度量——Bandit DS 维度 \(\operatorname{BDS}(\mathcal{H})\),并设计基于级联列表学习的 ListCascade 算法,首次在对数因子意义下给出了紧致匹配的样本复杂度界 \(\widetilde{\Theta}(\operatorname{BDS}(\mathcal{H})/\epsilon)\)。
- PENEX: 基于 AdaBoost 思想的神经网络正则化 (PENEX: AdaBoost-Inspired Neural Network Regularization)
-
将多分类 AdaBoost 最小化指数损失的抗过拟合机制推广到深度学习,提出带 SumExp 惩罚项的无约束指数损失 PENEX,通过动态自适应估计最优惩罚系数并在训练中最大化分类间隔,在小样本与带噪场景下显著超越交叉熵及常规正则化方法。
- Performative Prediction with Selective Labels
-
本文形式化了选择性标签约束下的表现性预测问题,证明了仅在被接受子群体上再训练会导致模型严重偏离表现性稳定解,并提出基于正标签概率区间与强凸上界损失的鲁棒重复风险最小化(Robust RRM)方法,理论上严格约束了与真稳定点的距离,且可利用历史接受样本持续收紧不确定性区间。
- Playing Markov Games Without Observing Payoffs
-
本文首次将无收益观测下的对称博弈在线学习拓展至马尔可夫序列决策,提出了逐状态局部模仿与期望收益重分配技术,在对手全知且转移未知的极端信息劣势下取得了与理论下界紧确匹配的亚线性后悔界。
- Prudent-Banker: No Extra Fees for Baseline Safety in Adversarial Bandits With and Without Delays
-
针对带任意未观测延迟的对抗多臂老虎机,本文提出首个兼顾最优对抗极小化极大遗憾 \(\widetilde{\mathcal{O}}(\sqrt{T}+\sqrt{D})\) 与 \(\widetilde{\mathcal{O}}(1)\) 基准安全悔界的 Prudent-Banker 算法,并证明了信息论匹配下界。
- Pure Exploration Beyond Reward Feedback: The Role of Post-Action Context
-
本文首次研究了具有行动后上下文(Post-Action Context)的固定置信度最佳臂识别问题,推导了分隔符与非分隔符两类因果结构下的样本复杂度实例相关下界,并提出了直接跟踪上下文几何空间的 G-tracking 及拓展 Track-and-Stop 算法,渐近达到最优样本复杂度。
- Rank-Transformed Dissimilarity Profiles for High-Dimensional Classification
-
针对高维小样本(HDLSS)下均值与方差信号混杂的分类难题,本文提出将高维样本间的成对相异度转化为类别级秩次画像,直接将特征维度压缩至类别数,并利用画像空间的渐近高斯性质实现自适应且对异常值鲁棒的判别分类。
- Regret–Oracle Complexity Tradeoffs in Agnostic Online Learning
-
针对不可知在线学习中经典归约导致预言机查询复杂度双重指数级爆炸的理论瓶颈,本文提出基于弱一致性预言机动态剪枝无效伪标签前缀的 ADEPT 框架,将预言机调用复杂度从 \(\mathcal{O}(T^{2^{\mathcal{O}(d_{\mathrm{LD}})}})\) 骤降至 \(\mathcal{O}(T^{d_{\mathrm{VC}}+1})\),并刻画了查询预算与次线性后悔界之间的紧致权衡与下界。
- Robust PAC Learning of Concurrent Stochastic Games
-
针对转移概率未知的双人一般和并发随机博弈,提出首个具备纳什均衡存在性可靠判定的 PAC 学习框架 PAC-CSG,结合 \(L^1\) 置信集与探索性鲁棒 MDP 机制实现 \(\widetilde{\mathcal{O}}(R_{\max}^2 H^4 |S|^2 |A| / (p_{\text{reach}} \varepsilon^2))\) 多项式样本复杂度。
- Sharp Convergence and Sample Complexity of Policy Mirror Descent for Average-Reward MDPs
-
针对各态历经平均奖励马尔可夫决策过程,本文提出了无外部正则化的策略镜像下降统一主递归框架,在精确、表格不精确和单轨迹线性函数逼近设定下均建立了线性收敛保障与紧致的 \(\widetilde{O}(t_{\mathrm{mix}}^3/\varepsilon^2)\) 端到端样本复杂度,并通过匹配的信息论下界证明了评价器对混合时间的立方依赖不可改进。
- Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers
-
针对多层深度 Transformer 现有范数泛化界具有深度指数放大与固定范数维度依赖的缺陷,本文提出了首个事后谱自适应泛化界,允许在训练完成后按层和矩阵类型独立选取 Schatten 指标以自适应权重的奇异值衰减。
- The Panel Complexity of Sortition: Is 12 Angry Men Enough?
-
本文基于统计学习理论中的 Wasserstein 距离建立了抽签决策中代表性小组的新定义,并给出了参与式预算与设施选址在社会福利最大化、核心公平性及异常偏离控制下的近乎紧致的小组规模复杂度界。
- The Pareto Frontier of Randomized Learning-Augmented Online Bidding
-
提出了将离散随机出价序列连续化分析的“出价函数”(Bidding Function)全新理论框架,在学习增强在线出价问题中首次给出了紧致的随机化一致性-鲁棒性界限,并在 \(R \ge 2/\ln 2 \approx 2.885\) 的广泛区间内完全闭合了帕累托前沿。
- The Price of Locality: Why Forward-Forward Underperforms Backpropagation?
-
这篇机制分析论文用条件性的局部收敛理论、表示核与误差信号谱分析,以及分组训练和更新谱干预,解释 Forward-Forward Algorithm(FFA)为何常落后于反向传播(BP);放宽 CNN12 的层间梯度隔离可把准确率从 53.02% 提高到 78.74%,但仍未达到 BP 的 85.67%。
- The Sample Complexity of Multiple Change Point Identification under Bandit Feedback
-
本文研究了基于Bandit主动反馈的连续紧区间多变点定位问题,提出了融合多尺度粗筛与带回溯二分细化的LCP算法,证明并刻画了由能量项(间距与跳变幅度)主导的非渐近精确样本复杂度与信息论极小极大下界。
- Tight \(L_\infty\) Sample Complexity for Low-Degree and Sparse Boolean Polynomials
-
针对黑盒伪布尔优化中代理模型必须保证全域误差可控的需求,本文严格刻画了低度与稀疏布尔多项式在次高斯噪声下实现一致 \(L_\infty\) 近似的 Minimax 样本复杂度,证明了噪声引入的统计维度瓶颈使得样本下界本质超越无噪插值。
- Time-Sensitive Anytime-Valid Testing
-
论文将随时有效检验(Anytime-Valid Testing)中的对赌机制转化为受控序贯决策问题,通过为拒绝发生时刻赋予时间敏感奖励函数,建立了财富与时间状态下的贝尔曼动态规划方程,并针对指数衰减奖励推导出基于 Rényi 散度的闭式 EDO 最优下注准则。
- Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex
-
本文证明了直接在概率单纯形上用外部后悔与新提出的交换后悔损失训练单层自注意力模型,其平稳驻点在前向传播中分别精确诱导出平滑虚拟博弈与多头 Blum–Mansour 动态,无需算法轨迹监督即可使多智能体博弈收敛至粗相关均衡与相关均衡。
- Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing
-
本文系统研究了利用多个最小二乘预训练模型辅助高维线性回归目标任务的迁移学习,利用随机矩阵理论精确刻画了渐近测试误差与负迁移边界;揭示了过参数化预训练模型因最小 \(L_2\) 范数诱导子空间偏差而导致的估计不一致性,并提出基于源任务参数化比率的乘法去偏与验证集缩放策略,突破了过参数化瓶颈并恢复一致性。
- Transfer Learning Through Conditional Quantile Matching
-
针对多源回归迁移学习中协变量与概念偏移并存的普遍挑战,本文提出 TLCQM 框架,通过在各源域独立训练条件生成模型并在目标域协变量上进行条件分位数校准合成高质量样本,在无强分布假设下证明了基于增广数据的经验风险最小化超额风险界紧于纯目标域学习。
- Tree Search With Predictions
-
本文系统探究了带机器学习预测建议的树结构搜索问题,证明了任意通用树上无法实现与预测误差平滑相关的 \(O(\log \mathrm{dist}(s,t))\) 查询复杂度,进而针对路径宽为 \(k\) 的树提出了基于 \(k\)-Spine 分解的递归指数搜索算法,实现了严格紧致的 \(O(k \log \mathrm{dist}(s,t))\) 查询复杂度界并在真实网络拓扑上验证了实用优势。
- Two-Fidelity Best-Action Identification for Stochastic Minimax Tree
-
2FFS 在已知快评估偏差包络、慢评估对节点真实 minimax 值无偏的模型下,用端点证书和递归预算自适应选择扩树或采样,在合成树上保持高准确率并显著减少节点访问,而停止与成本保证需要额外正则条件。
- Uncertainty-Aware Probabilistic Constrained Clustering from Entangled Pairwise Supervision
-
针对现实成对监督中内在偶然模糊性、专家认知偏差与随机记录噪声纠缠的难题,本文提出不确定性感知概率约束聚类(UPCC)形式化表征、建立角度空间成对目标 ProbPair,并构建估计器-校正器-集成器(ECI-PP)迭代框架,显著超越现有深度约束聚类 SOTA。
- Uncovering Challenges of Solving the Continuous Gromov-Wasserstein Problem
-
本文系统揭示了现有声称求解连续格罗莫夫-瓦瑟斯坦(GW)最优传输的方法严重依赖离散技术和数据显式相关性的致命缺陷,证明其在统计独立的真实数据下近乎完全失效,并提出了首个基于对偶极小极大化、完全摆脱离散近似的可扩展连续神经求解器 NeuralGW。
- Why Heavy-Tailed Weight Spectra Predict Model Quality
-
本文通过熵正则化概率框架将深度神经网络的边缘似然简化为仅依赖最后一层权重的贝叶斯自由能,并在高温Marchenko-Pastur重尾谱极限下严格证明尺度重尾度与重尾指数对模型泛化与过拟合的预测机制。
- Disentanglement as Identifiable Pushforward Factorisation
-
本文从确定性光滑映射的推出测度出发,将解缠结形式化为流形密度在雅可比奇异值分解诱导的一维缝隙因子上的统计独立分解,证明了解缠结充要条件为雅可比右奇异向量轴对齐(C1)与奇异值偏导对角化(C2),确立了其在自然对称性下的可辨识性,并利用精确恒等式揭示了 VAE 对角后验协方差诱导解缠结的数学机制。