📐 优化/理论¶
🧠 NeurIPS2026 · 313 篇论文解读
📌 同领域跨会议浏览: 🎞️ ECCV2026 (16) · 📷 CVPR2026 (23) · 🔬 ICLR2026 (223) · 🧪 ICML2026 (91) · 🤖 AAAI2026 (22) · 🧠 NeurIPS2025 (127)
🔥 高频主题: 对抗鲁棒 ×13 · 扩散模型 ×11 · LLM ×8 · 持续学习 ×5 · 压缩/编码 ×4
- A Biconvex Formulation for Stable Transport of Mixture Models with a Unique Solution
-
提出最优混合传输(OMT),将基于样本的传统最优传输重构为子群体混合模型间的双重熵正则化双凸优化问题,证明其具备单步收敛的全局唯一极小值与倾斜稳定性,并利用指数族闭式解将计算复杂度彻底解耦于样本量。
- A Differentiable Interior-Point Method in Single Precision
-
针对传统内点法在单精度浮点运算下因互补松弛条件导致线性系统病态发散的瓶颈,提出基于 softplus 辅助变量的隐式互补紧致投影与谱有界 KKT 系统,首次在 f32 下实现了高鲁棒二次规划求解与高保真隐函数求导。
- A Kernel Nonconformity Score for Multivariate Conformal Prediction
-
提出多变量核不贴合度分数(MKS),将马氏距离推广至再生核希尔伯特空间(RKHS),证明其等价于高斯过程后验方差并可解构为 MMD 与各向异性 KPCA 修正项,在保证无分布有限样本覆盖率的同时大幅压缩多变量预测区域体积。
- A Memory Efficient Unified Algorithm for Online Learning of Linear Dynamical Systems
-
针对含有少量不稳定或弱阻尼模态的高维线性动态系统,提出一种参数量仅与不稳定性复杂度 \(k\) 对数相关的统一在线预测算法,通过解耦并融合自回归残差、谱滤波与有限记忆滤波,在无需已知系统矩阵的情况下达到次线性平方损失遗憾。
- A Minimal Interpretable Architecture for Zero-Shot Reconstruction of Dynamical Systems
-
本文通过对顶尖动力系统重构基础模型 DynaMix 进行系统的结构逆向工程与对称性约简,提出了仅含两个自由参数的极简可解释迭代映射 DynaBase,以近乎零的参数量和极低训练代价实现了媲美庞大基础模型的零样本动力系统长程几何重构,并揭示了单步预测优化与动力系统重建目标间的本质分歧。
- A Near-optimal SQ Lower Bound for Smoothed Agnostic Learning of Boolean Halfspaces
-
针对均匀边缘分布下布尔半空间的平滑不可知学习,本文构造了结合对称三角核与加权拉盖尔积分的正交对偶见证,证明了近乎匹配 \(L^1\) 多项式回归算法的统计查询(SQ)下界 \(n^{\Omega(\log(1+\sigma/\varepsilon^2)/\sigma)}\)。
- A Novel Schur-Decomposition-Based Weight Projection Method for Stable State-Space Neural-Network Architectures
-
针对非线性动力系统辨识中状态空间神经网络层稳定性保障难题,本文提出基于实舒尔分解的截断式准三角矩阵投影与预分解正交投影方法,在不引入冗余超参数与过度参数化的前提下,以反向传播兼容方式实现严格的舒尔稳定性保证。
- A Provably Convergent and Practical Algorithm for Gromov–Wasserstein Optimal Transport
-
针对非凸格罗莫夫-瓦瑟斯坦最优传输中精确投影代价高昂导致理论与工程实现脱节的问题,本文提出了一种基于易验证原始可行性残差的不精确投影梯度(iPG)框架,不仅在理论上严格证明了全序列收敛到驻点,而且在图对齐任务上兼顾了高稀疏度、近可行性与优异的目标函数解质量。
- A Reduction from Delayed to Immediate Feedback for Online Convex Optimization with Improved Guarantees
-
本文提出统一的连续时间事件模型,将带延迟的在线凸优化分解为无延迟遗憾与预测漂移惩罚,并在多臂 Bandit 凸优化中将延迟遗憾界从 \(\mathcal{O}(\sqrt{T d_{\max}})\) 和 \(\mathcal{O}((T d_{\text{tot}})^{1/3})\) 大幅优化至 \(\mathcal{O}(\sqrt{d_{\text{tot}}})\)。
- A Spectral Framework for Closed-Form Relative Density Estimation
-
本文提出一种基于广义特征值分解的谱分析框架,将KL散度等算子凸f-散度的变分估计转化为加权卡方散度的积分,仅凭一阶与二阶特征矩即可闭式估计相对对数密度势函数,无需迭代优化与显式归一化常数计算。
- A Unified Approach for Computing Wasserstein Barycenters of Discrete and Continuous Probability Measures
-
提出在 Fisher-Rao 几何下利用 KL 散度作为 Bregman 距离的原始镜面下降算法 FRBary,以统一范式计算离散、连续及异构混合分布的精确无正则化 Wasserstein 重心,并在离散输入下自适应迭代生成具备理论收敛保证的绝对连续重心。
- Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
-
针对非凸-强凸在线双层优化(OBO),本文通过自适应追踪内层最优漂移与新颖的窗口平均超梯度分析,分别在标准局部遗憾与窗口平均局部遗憾下达成了匹配理论下界的最佳遗憾界与全单循环算法。
- Achieving Directional-Stationarity from a Single Random Direction Step
-
本文提出了一种与底层优化器解耦的单步随机方向探索机制(REP),在极弱的局部Lipschitz连续与方向导数存在性假设下,保证任意可行优化算法生成的迭代序列聚点几乎必然达到强方向平稳性(d-stationarity),同时完全保持基线算法原有的收敛速率。
- Activation-Keyed Momentum: An Anisotropic Momentum Update via the Delta Rule
-
本文提出基于 Delta 法则的激活键控动量(AK-Momentum),将线性层输入激活视作键、反传误差视作值,构建输入密度自适应的非各向同性动量遗忘机制,在无需矩阵求逆与持久显存的前提下实现隐式输入端曲率校正,在大模型预训练中节省高达 46.6% 的达到目标验证损失步数。
- Active Learning of Conditional Generative Models via the Transport Neural Tangent Kernel
-
针对高通量科学实验中多条件概率分布输出的数据获取难题,本文提出传输神经正切核(tNTK)刻画生成分布对参数微扰的敏感度,严格证明其为后验 Fréchet 方差的上界,并基于高斯过程贪心最小化后验方差实现分布感知的条件生成模型主动学习。
- Adam under Generalized Smoothness with Second-Moment-Type Stochastic Gradients
-
本文对有限时域校准、无偏差校正的 Adam 建立广义光滑性与二阶矩 ABC 噪声下的高概率收敛分析,证明置信度代价的 \(\delta^{-1/2}\) 指数不可一般消除,并区分 \(p<1\) 的期望上界与 \(1\leq p<2\) 的特定算法族最坏情形下界。
- Adaptive Calibration in Non-Stationary Environments
-
针对序列预测中对抗性校准算法过于保守而平稳算法无法应对漂移的脱节问题,本文提出了能够自适应环境非平稳程度 \(C\) 与分段数 \(K\) 的在线校准算法体系,在 \(\ell_1\)、\(\ell_2\) 与伪 KL 误差下平滑内插最优独立同分布界与对抗界。
- Adaptive Conditional Gradient Sliding: Projection-Free and Line-Search-Free Acceleration
-
针对约束集投影开销昂贵的大规模凸优化问题,本文提出自适应条件梯度滑动算法(AdCGS),在仅依赖线性最小化预言机(LMO)且无需线搜索与全局光滑常数的条件下,首次实现了匹配基于投影方法的 Nesterov \(\mathcal{O}(1/k^2)\) 加速收敛率与强凸线性收敛率。
- Adaptive Delayed-Update Cyclic Algorithm for Variational Inequalities
-
针对单调 Lipschitz 算子的广义 Minty 变分不等式,本文提出了首个无需全量或块 Lipschitz 常数且无逐轮线搜索的自适应循环块坐标算法 ADUCA,利用整轮延迟算子信息解除块间严格同步约束,并达到最优 \(\mathcal{O}(1/\epsilon)\) 或强单调下 \(\mathcal{O}(\log^2(1/\epsilon))\) 的预言机复杂度。
- Adaptive Power Iteration Method for Differentially Private PCA
-
针对以单行敏感数据为隐私邻域的严苛模型,提出无需预知矩阵相关度参数的自适应滤波私有幂迭代算法,在低相关度确定性数据与高斯分布样本上打破了最坏情形误差下界。
- Adaptively Incorporating Directional Hints into Zeroth-Order Optimization
-
提出控制变量零阶下降(CV-ZOD)框架,将低维方向线索作为无偏控制变量注入梯度估计,并设计了仅依赖函数查询的自适应步长准则,在收敛率上实现从一阶 \(\mathcal{O}(1/T)\) 到零阶 \(\mathcal{O}(d/T)\) 的动态平滑插值。
- AdaptNC: Adaptive Nonconformity Scores for Conformal Prediction under Distribution Shift
-
针对非平稳及机器人动态场景下预测误差结构畸变导致的保形区域过度保守问题,本文提出 AdaptNC 框架,通过专家动态重加权自适应优化非一致性评分几何形状,并利用反事实重放机制消除评分切换引发的覆盖冲击,在严格满足目标覆盖率的同时显著缩减了预测集合体积。
- Adversary-Robust Learning from Fully Asynchronous Directional Derivative Estimates
-
提出 FAR-SIGN 算法,通过固定方向字典采样与带符号方向投影,配合双时间尺度滑动平均消除符号偏差,首次在无中心参考集、无服务端缓存的完全异步参数服务器架构下实现抗拜占庭鲁棒优化,并证明一阶非凸接近最优收敛率 \(\mathcal{O}(n^{-1/4+\epsilon})\) 与零阶收敛率 \(\mathcal{O}(n^{-1/6+\epsilon})\)。
- Affine-invariant Cubic Newton with Weak Learners
-
本文将仿射不变三次牛顿法(AICN)推广至弱学习器凸优化框架,证明其更新等价于步长由方向改善量显式确定的阻尼弱牛顿步,在半强自协调条件下实现全局 \(\mathcal{O}(1/\overline{\Theta}_k^4 k^2)\) 收敛率并涵盖坐标下降法。
- Algorithm for Contextual Queueing Bandits with Rate-Optimal Queue Length Regret
-
针对未知服务率下的异构任务调度问题,提出三阶段算法 CQB-\(\eta\)-2,通过在临界轮次截断随机探索并转向纯 UCB 调度,将随机上下文排队老虎机的队列长度遗憾从 \(\widetilde{\mathcal{O}}(T^{-1/4})\) 提升至速率最优的 \(\widetilde{\mathcal{O}}(T^{-1/2})\),并建立了匹配的 \(\Omega(T^{-1/2})\) 极大极小下界。
- Amortized Optimal Transport from Sliced Potentials
-
以廉价的一维切片 Kantorovich 势函数作为特征,用共享线性系数预测原空间势函数,再恢复近似传输计划;RA-OT 与 OA-OT 减少训练成本并支持可变原子数,但并非所有场景下推理最快或生成质量最好。
- Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
-
针对高斯过程潜变量模型(GPLVM)中平均场假设导致认识不确定性严重低估的问题,本文提出摊销结构化随机变分推断(A-S-GPLVM),通过将潜变量变分后验显式条件化于重参数化的稀疏 GP 诱导点状态,在保持小批量随机优化与闭式核期望的同时显著提升了流形重构与不确定性校准质量。
- AMUSE: Anytime Muon with Stable Gradient Evaluation
-
本文从河谷损失地形几何视角揭示了 Muon 正交化在放大有益低曲率主体更新的同时也会放大高曲率优势方向噪声的机理,并提出结合时变插值系数与无调度迭代平均的 AMUSE 优化器,无需显式学习率衰减即可实现稳定的随时训练与帕累托前沿提升。
- Annealing in Variational Inference Mitigates Mode Collapse: A Theoretical Study of Gaussian Mixture Models
-
论文针对变分推断中多峰目标分布导致的模式崩溃难题,建立双峰高斯混合的降维概要统计量动力学系统,推导出模式崩溃概率的解析闭式解,揭示初始温度与退火速率的关键权衡并在 RealNVP 上完成验证。
- Approaching I/O-optimality for Approximate Attention
-
针对基于多项式近似的近线性时间注意力机制,本文建立了其在两级存储层次下的紧致与近紧致 I/O 复杂度上下界,证明其数据移动量在序列长度维度上达到近线性,大幅突破了精确注意力 FlashAttention 的二次方 I/O 瓶颈。
- Archimedean Copula Inference via Taylor-Mode AD
-
提出了首个原生基于 JAX 的嵌套阿基米德 Copula 推理框架 acopula,通过 Taylor 模式自动微分的高阶泰勒系数多项式乘方卷积,消除了对各族解析贝尔多项式表的依赖,实现了在任意逐变量右删失模式与嵌套树拓扑下的多项式时间精确似然计算及自动参数梯度。
- ASTRA: ADMM-Accelerated Topology Reconfiguration for Dynamic Satellite Constellations
-
本文提出 ASTRA 拓扑重构框架,推导了适配拉普拉斯结构约束的专用 ADMM 离线求解器与 OGD/OCG 闭式在线更新子程序,在非零效用矩阵下证明了强凸性与对数静态遗憾,并建立不精确内部迭代下的动态遗憾界,在真实 Starlink 部分部署和非均匀轨位场景下实现了 SOTA 连通质量与显著加速。
- AsyncMesh: Fully Asynchronous Optimization for Data and Pipeline Parallelism
-
AsyncMesh 在 2D 网格拓扑下同时将数据并行与流水线并行完全异步化,结合前向外推与基于指数移动平均的稀疏平均延迟校正机制,在消除分布式通信停顿的同时实现完全一致的收敛精度。
- AT-SKM-Net: An Accelerated Trainable Sampling Kaczmarz-Motzkin Framework for Linear Hard-Constraint Feasibility on Dynamic Graphs
-
针对动态图结构线性硬约束优化中传统投影与采样开销巨大的瓶颈,AT-SKM-Net 将增量低秩乔列斯基更新与拓扑感知异构 GNN 引导的有效集混合采样相结合,在严格保证零约束违验的前提下实现 2.95× 至 7.29× 的端到端投影加速。
- Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift
-
揭示大语言模型在部署阶段因量化或温度改变导致校准与部署配置不匹配时破坏保形预测交换性的“推理时模型偏移”失效机制,并提出显式对冲部署不确定性的校准审计准则与鲁棒基线。
- Automated Kernel Discovery Towards Understanding High-Dimensional Bayesian Optimization
-
本文提出基于大语言模型进化搜索的高维贝叶斯优化核函数发现框架 Kernel Discovery,通过“数学形式提案 + 代码转换”的两阶段生成与留一连续排位概率评分(LOO-CRPS)防过拟合准则,突破预设组合与上下文长度限制,在 5 项高维基准上斩获 1.2 的平均名次并揭示非平稳与几何形变核的有效机理。
- Automated Reformulation of Robust Optimization via Memory-Augmented Large Language Models
-
针对鲁棒优化(RO)中将不确定规划手动转化为确定性对偶形式耗时费力且极易推导错误的瓶颈,本文提出首个专用基准 AutoRO-Bench 与免微调记忆增强重构框架 AutoREM,通过单元级经验沉淀与双检提交机制实现紧凑无冗余的高质量对偶重构知识自主演化,在多种基座模型与分布外测试上取得显著优于现有记忆方法与专家 Prompt 的精度和推理效率。
- B2P-Corr: Batch-to-Population Gradient Estimators for Non-Decomposable Correlation Losses
-
针对皮尔逊相关系数(PCC)与一致性相关系数(CCC)等非可加目标在小批量随机优化中存在的 \(O(1/B)\) 梯度偏差问题,本文提出基于全局矩草图与 stop-gradient 解耦伪损失的 B2P-Corr 框架,实现了渐近无偏的常数开销梯度估计。
- B3-PWL: GPU-Batched Branch-and-Bound for Piecewise-Linear Optimization with SOS2 Constraints
-
针对传统CPU分支定界求解器难以并行化求解大量子问题LP松弛的瓶颈,B3-PWL构建了首个以GPU批处理一阶原始对偶求解器为核心引擎的SOS2分段线性优化分支定界框架,配合B2-SpMV不规则稀疏矩阵分块内核与统一可行性搜索模块,在基准测试中实现了相比NVIDIA cuOpt达9.25倍的几何平均求解加速。
- Bayesian Optimization on Function Spaces via Sparse RKHS Manifolds
-
针对传统函数空间贝叶斯优化(FBO)因基底固定或事后稀疏化导致解空间受限的瓶颈,本文提出 L0MO(\(L^0\) Manifold Optimization),在 RKHS 的稀疏分层流形上联合优化核函数支撑点位置与线性组合系数,在保留紧凑表示的同时极大拓展了候选函数表达能力。
- Bayesian Optimization with Fisher Information Geometry: Gradient Bounds and Trust-Region Methods
-
本文用后验映射的拉回 Fisher 张量分离采集函数梯度中的模型几何与效用敏感性,并据此用正则化局部 Fisher 对角权重替换 TuRBO 的核长度尺度权重,在 SE 核基准上取得有竞争力的表现,但不提供外层贝叶斯优化的遗憾或全局收敛保证。
- Benchmarking Optimizers for Large Language Model Pretraining
-
通过在统一设置下对 11 种前沿优化器进行涵盖 4 种稠密模型规模、MoE 架构、多种批大小及不同训练时长的系统性评估(耗费约 30,000 GPU 时,训练 2,900 个模型),全面厘清了大模型预训练中新型优化器的真实性能边界与关键超参数实践准则。
- Best Arm Identification for Bandits with Shifting Means
-
针对均值差固定但基准均值面临未观测对抗性共模漂移的非平稳赌博机,本文揭示经典广义似然比检验与 Track-and-Stop 算法的失效机理,提出具备 \(\delta\)-正确性与渐近最优样本复杂度的新算法 ISM。
- Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models
-
针对广义线性模型(GLM)与广义可加模型(GAM)在非规范、非光滑或非单调链接函数下极大似然估计(MLE)面临的非凸、病态与平坦优化困境,本文提出基于变分不等式(VI)的算子平衡估计范式,建立了有限样本高概率误差界与渐近正态性,并证明了确定性不动点迭代与流式随机逼近算法的快速收敛保证。
- Bidirectional Information Flow (BIF) - A Sample Efficient Hierarchical Gaussian Process for Bayesian Optimization
-
BIF 用子高斯过程的采集图构造父模型软先验,再把父级真实响应按不确定性感知权重分给子模型持续学习,改善低预算组合任务的重建质量与学习轨迹,但这种反馈是有偏伪响应而非真实子任务分解。
- Blocked Gibbs Meets Diffusion Transformers: Unsupervised Learning for Constraint Optimization
-
针对标准扩散模型全局微小高斯去噪与离散约束优化局部靶向重修之间的根本失配,本文提出块吉布斯扩散 Transformer(BloGDiT),通过可退火掩码重采样与自适应掩码策略,以无监督玻尔兹曼采样实现了跨二值图优化与多值通用约束满足问题的强泛化求解。
- BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability
-
针对传统贝叶斯优化倾向于改动弱相关参数产生稠密冗余配置的痛点,BONSAI 提出一种轻量级候选点重置剪枝机制,在严谨控制采集函数增益损失的前提下将低影响扰动贪心重置为默认值,在维持与标准 BO 相当的优化性能和几乎相同耗时(仅 1.5×)的同时大幅削减非默认参数数量,并在 GP-UCB 下具备亚线性累积遗憾与稀疏支撑恢复的理论保证。
- Born-Preconditioned Learning for Iterative Neural PDE Solvers
-
针对非均匀介质高频波模拟及不适定线性系统,本文提出神经预条件玻恩级数(NPBS),将经典收敛玻恩级数解释为位移拉普拉斯左预条件系统,并通过参考格林算子诱导的度量匹配损失函数协同训练残差更新网络,在保持快速谱变换计算效率的同时显著降低迭代步数与求解耗时。
- BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization
-
针对大规模神经网络双层优化中海森向量积与辅助变量导致的显存激增瓶颈,BROS 提出在随机子空间中更新下层与辅助变量,并引入 Rademacher 双探针校正恢复无偏海森作用,在维持 \(\mathcal{O}(\varepsilon^{-2})\) 最优收敛复杂度的同时将训练峰值显存最高降低 44.9%。
- Calibrating Generative Models to Feature Distributions with MMD Finetuning
-
本文提出核校准生成模型方法(kCGM),利用无偏核最大均值差异(MMD)估计器配合专为耦合核项设计的 \(O(M^2)\) 留一法梯度基线(MMD-LOO)与预训练 KL 正则,在仅依赖非可微黑盒目标特征样本的条件下校准自回归与扩散生成模型,在抗生素小分子、蛋白质二级结构和调控 DNA 序列生成上全面超越均值匹配基线 CGM 与直接监督微调。
- Capacity-Constrained Online Convex Optimization with Delayed Feedback
-
本文首次研究了具有有限追踪容量 \(C\) 的延迟在线凸优化(OCO 与 BCO)问题,提出将原问题约化为带有重要性权重的延迟优化子问题,结合新型代理延迟调度机制,证明了在 \(C=\Omega(\ln T)\) 的极小容量下即可达到近乎无约束时的最优后悔界。
- Certification-Enhanced Generalization Bounds
-
将算法稳定性重构为可形式化验证的规范,利用抽象梯度训练(AGT)计算样本特异性参数可达域并结合新型集中不等式,在无需凸性或全局Lipschitz假设下给出严格可靠且紧致的泛化误差界。
- Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
-
本文针对高维比例渐近机制下的随机特征岭回归,首次建立了允许任意非保分布数据增强(含模型错误设定与样本间强依赖)下的泛化误差严格确定性等价公式,并给出了关于正则化系数和样本量的非渐近误差界。
- Christoffel-DPS: Optimal Sensor Placement in Diffusion Posterior Sampling for Arbitrary Distributions
-
针对科学与工程中复杂非高斯分布状态估计难题,本文提出首个基于克里斯托费尔函数的无分布假设最佳传感器放置理论,并推导出了非渐近样本复杂度界限与离线/在线 Christoffel-DPS 算法,在流体和偏微分方程重构中将所需传感器数量缩减近半。
- Co-Optimization for Adaptive Conformal Prediction
-
提出自适应共形预测协同优化框架 CoCP,通过折叠残差分位数回归更新半径与边界局部平滑覆盖目标优化中心交替迭代,从几何上动态逼近最短最高密度区间(HDI),在严格保证有限样本边际覆盖的同时大幅收窄区间宽度并改善条件覆盖可靠性。
- Colored Noise Diffusion Sampling
-
针对传统扩散 SDE 采样器无视模型频域生成规律、盲目注入均匀白噪声浪费随机能量的问题,提出有色噪声采样(CNS),利用频域进展矩阵将方差动态重定向至尚未解析的频段,实现严格保持总方差且免训练的即插即用采样加速与保真度跃升。
- Commutator Memory: Sparse, Path-Local Reading and Steering in Language Models
-
本文把两次训练更新的非交换残差分解为有符号的词元读出,在局部 SGD 条件下定位并干预训练次序差异,Qwen-3-4B 的定向干预使留出损失差距中位数缩小 32.0%,配对终点次序判别达到 66/72 = 91.7%。
- Compatible Likelihoods for Flow Matching on Manifolds
-
本文揭示了流形上基于端点似然的变分流匹配(RG-VFM)存在总体最优解无法恢复真实边缘速度场的“不兼容性”缺陷,并提出以条件速度为充分统计量的端点空间指数族似然目标,通过逆费希尔信息预条件化的加权回归损失同时实现似然兼容性与紧致流形支撑集感知,在平环面、球面地理数据及高维人体姿态流形上显著提升了似然与样本生成质量。
- Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
-
针对高斯特征一致线性回归,论文证明了重球动量(HB)与加速 SGD(ASGD)在离散时间有限维下的批大小下界,揭示出 HB 并不提升计算效率前沿而是扩大了保效率的线性扩展窗口,而 ASGD 虽能提升小批次计算效率但在增大数据批次时必须以牺牲计算效率为代价换取串行时间缩短。
- Concept Modulation Models: A Unified Framework for Identifiability and Extrapolation
-
本文提出概念调制模型(CMMs)统一框架,将非线性ICA、因果表示学习与扰动外推的生成结构抽象为属性到调制器、概念再到观测特征的马尔可夫链,揭示了观测特征等价性在潜空间诱导的转换必须保持属性势函数,从而为可辨识性与外推泛化提供了统一的代数判别准则与证明工具。
- Conditioning Gaussian Processes on Almost Anything
-
本文建立了高斯过程与线性扩散模型/流匹配的精确数学等价性,提出 FlowGP 框架,通过求解带蒙特卡洛测试时引导的概率流 ODE,在无需推导定制核函数或近似推断算法的前提下,首次将高斯过程条件推断拓展至非线性物理 PDE 乃至大语言模型自然语言约束。
- Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification
-
针对大语言模型因同义改写导致置信度剧烈波动的问题,本文提出基于语义释义聚合与隐藏层轻量代理模型的释义感知非共形得分(PA Score),在保持严谨统计覆盖保证的同时将预测集大小压缩达 2 至 4 倍。
- Conservation Laws for Diffusion Models
-
基于编码理论中的广义外信息传递(GEXIT)函数建立统一的不匹配守恒律,证明离散与连续无记忆信道下扩散模型的数据-模型交叉熵可精确表示为沿噪声路径对局部后验边缘导数的积分,将训练简化为基于信道倾斜的外先验分类负对数似然学习,并在马尔可夫信源、text8 和 CIFAR-10 上揭示了模型有限容量引起的显著信道依赖差异。
- Consistency Regularised Gradient Flows for Inverse Problems
-
本文提出了欧几里得-瓦瑟斯坦联合梯度流框架(CWGF),利用潜在一致性模型在 VAE 隐空间中同时执行后验采样与文本提示词最大边际似然优化,无需对解码器反向传播即可在 16 次神经函数评估内实现高质量图像逆问题求解。
- Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives
-
针对深度学习中 Muon 与 Scion 等谱梯度优化器缺乏通用约束与正则化支持的理论瓶颈,本文提出了一套结合非线性谱对偶预条件与各向异性近端算子的随机近端预条件梯度算法框架,首次证明了在重尾噪声和非凸约束下向驻点的自适应收敛性,并严格刻画了 Polar Express 等多项式迭代的实际收敛行为。
- Continuous-depth Deep Gaussian Processes
-
将深度高斯过程(DGP)从离散层级复合重构为由漂移族驱动的潜随机微分方程(SDE),并通过可分离核直接建模或神经流演化定义漂移先验,克服深层离散优化的敏感性病态。
- Contrastive Distribution Matching for Amortized Sequential Monte Carlo in Discrete Diffusion
-
针对离散扩散模型在奖励对齐中评估最优扭曲函数(Twist Function)高度依赖昂贵蒙特卡罗采样的推理瓶颈,本文提出基于前向 KL 散度的对比分布匹配(CDM)与基于扩散前向核的高效缓冲区训练方案,将扭曲函数评估摊销为单次网络前向传播(额外开销低于 5%),在生物序列设计与扩散大模型对齐等多项任务上实现显著超越基线的帕累托缩放边界。
- Convergence Analysis of Newton's Method for Neural Networks in the Overparameterized Limit
-
首次对过参数化单隐藏层神经网络上的正则化牛顿法建立严格的收敛理论,证明其在无限宽极限下收敛至由“牛顿神经切线核”(NNTK)主导的确定性动力系统,且能消除梯度下降固有的谱偏差实现全频段均匀线性收敛。
- Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
-
针对潜高斯模型中积分拉普拉斯近似(ILA)边缘后验偏差不可消除的理论缺陷,本文提出基于重要性采样框架的纠偏算法体系(PM-ADLA、QMC-ADLA 与 RQMC-ADLA),并推导出反向模式自动微分与伴随梯度算法,使高维超参数哈密顿蒙特卡洛采样具备渐进无偏保证。
- Counterfactual Online Conformal Prediction Under Adaptive Logging
-
针对在线决策中自适应记录机制引发的内生性分布偏移,提出了倾向加权在线共形预测(PW-OCP)及其双重稳健变体(DR-OCP),首次在理论上推导出极小化极大最优的反事实覆盖界并有效规避了下游决策后悔值膨胀。
- CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching
-
针对先验拟合网络(PFN)在面对大规模表格训练集时自注意力二次复杂度导致推理不可行、而逐样本 k 近邻检索又无法批量推理的瓶颈,提出 CRUMB 推理包装器,通过对测试查询聚类并在各簇内贪心最小化 MMD 选取小规模分布匹配训练上下文,在保持批量推理吞吐的同时大幅提升精度与抗协变量偏移韧性。
- Cumulative-Goodness Free-Riding in Forward-Forward Networks: Real, Repairable, but Not Accuracy-Dominant
-
本文证明累积 goodness 会在上游已分离样本上精确衰减深层块的局部判别梯度,并用去历史、难度门控和梯度补偿修复层健康,却发现修复没有成为准确率的主导收益来源,MGC 甚至使 CIFAR-100 的 Stage-1 单裁剪准确率下降 1.05 个百分点。
- Curvature Beyond Positivity: Greedy Guarantees for Arbitrary Submodular Functions
-
针对含有成本惩罚导致目标函数可能取负值且非单调的次模优化难题,本文首次将经典 Conforti–Cornuéjols 曲率拓展至任意次模函数,提出了带局部正边际剪枝的贪心算法并建立了首个超越单调性与非负性假设的乘性近似比保证 \((1-e^{-\bar{c}_g})/\bar{c}_g\)。
- Curvature-Dependent Lower Bounds for Frank-Wolfe
-
针对光滑强凸及满足Hölder误差界的目标函数在 \(p\)-一致凸集上的优化问题,本文通过构造 \(\ell_p\) 球投影实例并分析迭代动力系统的收缩不变流形,首次为精确线搜索和短步长 Frank-Wolfe 算法证明了匹配上界的 \(\Omega(T^{-p/(p-1)})\) 维度无关渐近下界。
- Debiasing Random Oblique Projections for Subsampled OLS and Fast CUR in High Dimensions
-
针对随机采样诱导的非线性伪逆导致随机斜投影产生系统性统计偏差的问题,本文建立了高维随机斜投影的非渐近精确偏差与方差刻画,提出了逐样本自适应重加权的去偏采样框架,并在子采样 OLS 与快速 CUR 分解中证明了可在不牺牲方差的前提下显著降低偏差与重构误差。
- Decoupled Descent: Exact Test Error Tracking Via Approximate Message Passing
-
本文基于近似消息传递(AMP)理论提出了解耦下降(Decoupled Descent, DD)训练算法,通过在预激活值和参数梯度中引入双端 Onsager 纠偏项抵消全批量训练中的数据复用偏差,在高维高斯混合模型下严格证明了训练误差与测试误差渐近相等的“训练-测试恒等式”,实现了 100% 数据利用率的零代价验证。
- Decoupled Optimization for Teacher–Student Semi-Supervised Learning via a Pioneer Student
-
针对半监督学习中教师-学生架构因参数强耦合导致的拟合-泛化困境以及有监督/无监督梯度不对称引发的标签驱动陷阱,提出独立参数空间的先锋学生(PiS)分支实现双重解耦优化,并通过周期性参数硬覆盖实现大幅性能提升与 3-4 倍收敛加速。
- DEG: Diffusion-Enhanced GFlowNet for Solving Vehicle Routing Problems
-
针对传统 GFlowNet 求解车辆路径问题(VRP)在高奖励区域流扩展受限、以及扩散模型缺乏自适应奖励信号的缺陷,本文提出 DEG 框架,利用 GFlowNet 轨迹多样性构建边级别反向信号并引入连续高斯加噪-去噪轨迹平衡学习,配合图尺度自适应模块 GSA,在高达 10,000 节点的合成与真实大规模 VRP/TSP 实例上均显著超越现有神经与启发式基线。
- Delve into the Applicability of Advanced Optimizers for Multi-Task Learning
-
本文揭示了现代高级优化器(如 Adam、Muon)中的指数移动平均动量会削弱多任务学习的即时梯度去冲突效果,并提出基于局部曲率的自适应动量调节与轻量方向保持策略(APT),显著提升多任务联合优化性能。
- Denoising Implicit Variational Inference
-
针对半隐式变分推断中边缘分值难求导致证据下界(ELBO)梯度优化受阻的难题,本文提出去噪隐式变分推断(DIVI),通过去噪分值匹配直接拟合边缘分值网络作为即插即用估计器,免除反向条件采样并具备严格非精确随机梯度收敛保证。
- density-ratio losses for post-hoc learning to defer
-
本文提出从理想分布及其密度比的视角形式化事后推迟学习(post-hoc L2D),借助类别概率估计(CPE)将密度比学习规约为可微二分类评分器,不仅在联合分布设定下打通了与专家倾斜后验下的 Chow 规则及专家比较回归目标的理论联系,而且实现了无需重新训练即可根据验证集灵活调整推迟率。
- Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics
-
本文通过发现西尔维斯特-哈达玛矩阵能精确对角化非线性 Softmax 算子,首次将精确动力学分析拓展至多分类交叉熵非凸优化,构建显式 KL 散度李雅普诺夫函数证明了梯度流全局收敛至神经坍缩几何结构,并揭示了 \(K \ge 8\) 时欧氏距离指标非单调演化与指数级鞍点减速等全新现象。
- Difference of Convex Programming in the Wasserstein Space with Applications to MMD Optimization
-
针对概率测度空间中最大均值差异(MMD)等目标沿测地线非凸导致的优化停滞问题,提出了 Wasserstein 凸凹过程(WCCCP),利用平移不变核与径向核的凸差分解实现亚线性收敛与稳定粒子优化。
- Differentiable Knapsack and Top-k Operators via Dynamic Programming
-
将 0/1 背包与 Top-\(k\) 子集选择统一建模为动态规划递推,通过对 Bellman 递归中的最大值算子进行正则化平滑,导出了支持置换等变性与稀疏选择的可微松弛算子、高效向量-雅可比积(VJP)及自回归采样算法。
- 可微系统重采样变分序贯蒙特卡洛(Differentiable Systematic Resampling for Variational Sequential Monte Carlo)
-
针对变分序贯蒙特卡洛(VSMC)中系统重采样离散不可微、阻塞端到端梯度反向传播的瓶颈,提出可微系统重采样(DSR),通过平滑累积分布函数(CDF)阶跃指示函数并结合莫顿空间填充曲线排序,在保留低方差带状结构的同时实现了完全可微与指数级收敛。
- Diffusion Path Samplers via Sequential Monte Carlo
-
针对非归一化目标分布的采样难题,本文提出基于序贯蒙特卡洛的扩散路径采样框架(DPSMC),通过序列化演化条件后验辅助变量实现无偏边际密度与高效可并行的分数估计,并结合最优控制变量调度将分数方差压至最低。
- DisCoMBO: Steering Expert-in-the-Loop Black Box Optimization via Distributional Conformance
-
针对概率电路(PC)在黑盒优化中缺乏认识不确定性度量与先验校验机制的缺陷,本文提出了具备核同构性质的分布一致性得分(DisCo),并构建了具备零遗憾理论保证且支持线性时间推理的专家在环优化框架 DisCoMBO。
- Discrete Langevin-Inspired Posterior Sampling
-
提出无需连续松弛且与先验训练范式解耦的离散朗之万后验采样器 \(\Delta\)LPS,通过梯度引导在有效离散状态间构建可因式分解的提议分布,实现了全坐标高效并行更新与高保真逆问题求解。
- Distributed Online Convex Optimization with Compressed Communication: Optimal Regret and Applications
-
针对带约束域的分布式在线凸优化中压缩误差与投影误差相互耦合导致发散的难题,本文通过将误差反馈机制融合进 FTRL 框架解耦投影误差,并结合块化在线压缩策略消除双向压缩放大效应,首次达成了凸与强凸损失下的最优后悔界及离线随机非光滑收敛率。
- Do We Need Asynchronous SGD? On the Near-Optimality of Synchronous Methods
-
针对异构计算与通信环境下普遍认为必须使用异步SGD以消除“计算气泡”的传统共识,本文证明了标准同步SGD及其带备用工作节点策略的鲁棒变体 \(m\)-Synchronous SGD 在固定延迟、亚指数随机延迟和对抗性部分参与等广泛场景下均具备对数因子意义下的近最优时间复杂度。
- DRIVE: Fine-tuning via Data Contribution- and Diversity-aware Weighting with Prior Regularization
-
DRIVE 提出了一个统一的可微数据加权框架,利用 Shapley 可加性解耦抗遗忘与新任务适应贡献,结合基于协方差行列式的可微样本多样性项与 KL 先验正则化,在无源预训练数据场景下实现稳定性与可塑性的最优权衡。
- Dynamic k-center Clustering with Lifetimes
-
本文提出了兼顾任意增删与先验存续期的「生命周期动态聚类模型(dynamic setting with lifetimes)」,针对度量空间 \(k\)-center 问题设计了首个近似比达理论下界的确定性 \((2+\varepsilon)\) 近似算法(摊还更新时间 \(\widetilde{O}(k/\varepsilon)\)),并为有序流提出了仅需 \(\widetilde{O}(k/\varepsilon)\) 亚线性工作内存的确定性 \((6+\varepsilon)\) 近似算法。
- Dynamic Regret in Online Convex Optimization with Indicator Switching Costs
-
本文把二进制尺度重启的随机惰性 FTRL 分布交给切换感知元学习器,以最大耦合控制真实动作变化,在期望意义下获得分段常数比较器的近最优动态遗憾,并给出适用于小路径长度比较器的另一条保证。
- E-GEO: A Testbed for Generative Engine Optimization in E-Commerce
-
本文提出了首个专注于电商场景的生成式引擎优化(GEO)基准数据集 E-GEO,系统评估了跨引擎重排行为,并构建了基于反思的提示词元优化算法,揭示出收敛于真实信息结构化的通用有效优化策略与对抗防御韧性。
- Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
-
揭示了小批量随机梯度下降(SGD)在均方误差神经网络训练中并不以全批次海森矩阵最大特征值 \(\lambda_{\max}\) 为稳定性边界,而是由小批量锐度(Batch Sharpness,即小批量海森矩阵沿其随机梯度方向的期望瑞利商)在 \(2/\eta\) 处饱和所主导的“随机稳定性边缘”(EoSS)机制,阐明了小批次选择平坦极小值的内生动力学根源。
- EDISCO: 欧氏组合优化的等变离散扩散模型
-
本文提出首个端到端具备精确 \(E(2)\) 几何不变性生成分布的欧氏组合优化离散扩散模型 EDISCO,结合等变图神经网络、连续时间马尔可夫链多步后验采样与原生边扩展解码器,仅用基线 33%–50% 的训练数据即可刷新从 100 到 10000 规模 TSP/CVRP 的最前沿求解质量,并在空间与容量约束偏移下展现出极强的零样本泛化能力。
- Efficient Pre-Training with Token Superposition
-
提出两阶段Token叠加训练(TST),通过词嵌入平均粗粒化输入与多标签交叉熵预测未来词包,在不改动模型推理架构的前提下大幅提升训练数据吞吐量,在10B MoE规模下实现同等Loss下2.5倍预训练加速。
- Efficient Transferable Optimal Transport via Min-Sliced Transport Plans
-
针对传统最优传输求解无法跨相似任务复用且计算复杂度高的难题,本文提出了基于拉普拉斯平滑排序(LapSum)与可迁移最小投影传输方案(min-STP)的全新框架,证明了数据分布发生微小扰动时最优切片器具备有界迁移性,并给出了小批量训练的有限样本统计收敛界,在3D点云对齐、流模型生成和图像翻译中实现了高效、高精度的快速摊销求解。
- EnerGNN: Learning Optimization-Compatible Energy Functions for Exact Constrained Combinatorial Inference
-
EnerGNN 提出将组合配置的偏好函数学习为可混合整数线性规划(MIP)精确编码的分段线性能量函数,结合图神经网络编码器与紧凑非线性 ReLU 头部,实现了显式硬约束下的精确全局能量极小化与 100% 可行解推断。
- Ensemble Modeling for Time Series Forecasting: an Adaptive Robust Optimization Approach
-
提出基于自适应鲁棒优化(ARO)的时间序列线性集成方法,通过将时变集成权重建模为对历史误差窗口的仿射决策规则,并利用等价对偶定理将其转化为可高效求解的正则化回归,显著提升模型漂移场景下的预测精度与风险控制能力。
- Escaping Parameter Space: Tight Generalization Bounds via Representation Quality
-
突破传统参数空间与后验扰动的复杂性代价,本文直接基于神经网络倒数第二层特征空间的局部几何质量与交叉拟合验证,为确定性深度网络推导出紧致、可加性分解且极具诊断价值的非真空泛化界。
- Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models
-
EoupCT 用冻结预训练模型和可学习软提示构造容易被新任务破坏的可微知识代理,再联合蒸馏与梯度投影保护历史任务和通用能力;在六个模型的 SuperNI/MMLU 子集实验中改善遗忘,但其“纯一阶”和“绝对零遗忘”表述需要限定。
- EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Optimization Modeling
-
EvoOptiGraph 将混合整数线性规划(MILP)表示为带属性二分图并进行保结构演化生成,结合基于图特征解释的弱点诊断与求解器可验证强化学习(RLVR),构建了数据与模型动态协同演化的闭环框架。
- EvoOptiGraph: Weakness-Driven Coevolution via Graph-Based Structural Generation for Hard Optimization Problems
-
针对大语言模型在运筹优化建模中训练数据结构单一及静态分布脱节的问题,EvoOptiGraph 将混合整数线性规划建模为属性二分图进行保持有效性的遗传结构演化,并通过 XGBoost 与 SHAP 提取模型弱点特征,构建自适应强化学习闭环,以 8B 参数在六大运筹基准上取得了 78.1% Pass@1 的领先表现。
- Extended Wasserstein-GAN Approach to Causal Distribution Learning: Density-Free Estimation and Minimax Optimality
-
提出了因果分布学习方法 GANICE,基于扩展 Wasserstein 距离的对角耦合构建反事实对抗目标,采用分层元胞归一化实现免密度比与倾向得分的隐式生成估计,并在离散与各向异性连续协变量设定下证明了极小化极大最优收敛速率。
- Factor Augmented High-Dimensional SGD
-
提出因子增广随机梯度下降(FSGD),在流式数据下耦合在线 Oja 因子学习与潜在空间小批量 SGD,首次建立了显式刻画因子估计误差与特质噪声传播的 \(\ell^s\) 范数矩收敛界。
- Factorized Gradients for Scalable Highly-expressive Parametric Diffeomorphisms
-
本文提出基于离散伴随动量累积的 FG-CPAB 微分同胚变换框架,将空间轨迹积分与参数投影彻底解耦,使反向梯度复杂度从 \(\mathcal{O}(dTN)\) 骤降至 \(\mathcal{O}(TN + dC)\),并在稀疏节点基与分段检查点加速下实现万倍加速与超 500 倍显存降低,使高分辨率细剖分参数化微分同胚首次在 2D/3D 中具备实用扩展性。
- Fast and Stable Gradient Approximation for Bilinear Forms of Hermitian Matrix Functions
-
针对大规模厄米矩阵函数双线性型求导难的问题,提出一种仅依赖前向 Lanczos 过程的快速且无条件数值稳定的梯度近似方法,舍弃基向量变化项并将误差严格控制在最终 Lanczos 残差尺度内。
- Fast Gauss-Newton for Multiclass Cross-Entropy
-
针对多分类 Softmax 交叉熵广义高斯牛顿(GGN)曲率在类别数增大时耦合严重的计算瓶颈,本文提出 Fast Gauss-Newton(FGN),通过严谨的代数分解将 GGN 拆分为秩一的“真实对其余”边际项与竞争类间协方差项,在保留前者并精确维持原损失与梯度的前提下,导出了规模仅取决于批大小的无矩阵共轭梯度行空间求解器。
- Faster Rates for Federated Variational Inequalities
-
针对光滑单调变分不等式在联邦优化中收敛界弱于凸优化的问题,本文通过改进客户端漂移平方项分析收紧了经典 Local Extra SGD 的收敛速率,并提出基于近似近端点迭代与外推步的新算法 LIPPAX(及高斯平滑版 SLIPPAX),在多种设定下首次达成了匹配凸优化 LSGD-optimal 的快速收敛边界。
- Federated Learning by Utility-Constrained Stochastic Aggregation for Improving Rational Participation
-
针对非独立同分布跨孤岛联邦学习中理性节点因全局模型降低本地效用而发生参与度雪崩的问题,FedUCA 将服务端聚合重构为满足个体理性约束的凸可行性优化,并通过狄利克雷随机化候选聚合策略借助琴生不等式诱导效用盈余,在无需外部经济激励的前提下有效维持节点长效参与。
- FedRSPO+: A Heterogeneity-Aware Algorithm for Decision-Focused Federated Learning
-
针对多组织跨域协同决策场景中下游目标与多面体约束异质性导致的解映射极值跳跃难题,本文提出基于莫罗包络光滑化代理损失的决策聚焦联邦学习框架 FedRSPO+,给出了无强凸假设且在同质时退化的异质性误差上界,实现了显著更优的真实决策后悔值。
- FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning
-
针对非独立同分布(Non-IID)数据与批次扰动友好对抗现象诱发的“平坦度不兼容”失效模式,FedVSSAM 构建参数服务器端维护的方差抑制调整方向,并在本地平坦度搜索、本地模型更新与全局聚合三阶段统一锚定该方向,无需上传额外辅助变量即实现更优的全局泛化与非凸线性加速收敛。
- Finding Simple Proofs for First-Order Optimization
-
针对机器自动生成优化算法收敛性证书过于冗密且难以解释的问题,本文将寻找简洁证明形式化为在拉格朗日对偶证书上的二阶段稀疏优化与半定规划(SDP)搜寻问题,成功自动剔除冗余不等式并提炼出紧凑的李雅普诺夫函数。
- Finite-Sample Performance of Gradient Descent in Logistic Regression with Gaussian Design
-
本文在正确设定的高斯逻辑回归中,用总体曲率分析与经验梯度的近似可逆性证明梯度下降线性进入统计误差邻域,并通过分开估计方向与范数得到高维下更尖锐的误差界,但大步长加速仅有局部保证,近最优区间的原文表述存在需要保留的条件疑点。
- Flash-KMeans: Fast and Memory-Efficient Exact K-Means
-
针对现代 GPU 上 Lloyd k-means 赋值阶段显存 IO 爆炸与质心更新阶段原子冲突两大系统瓶颈,Flash-KMeans 在不引入任何数学近似的前提下,通过融合在线 argmin 的 FlashAssign 与基于逆向排序的 Sort-Inverse Update,实现最高 17.9 倍端到端加速与十亿级点集的外存扩展。
- Flash-SD-KDE: Accelerating SD-KDE with Tensor Cores
-
针对经验分核密度估计(SD-KDE)计算复杂度过高的瓶颈,提出 Flash-SD-KDE,通过代数重排将经验分与核评估显式分解为 Tensor Core 支持的 GEMM 乘法并流式累加,将高维非参数密度估计提升数个数量级。
- Flow Annealing Posterior Sampling for Function-Space Regression and Inverse Problems
-
本文提出基于预训练算子流匹配先验的函数空间流退火后验采样框架(FLAPS),利用确定性流传输、离线低秩协方差预条件的Langevin修正和无残差重桥接循环,在无需显式先验概率密度评估的前提下统一了稀疏带噪随机过程回归与PDE逆问题求解。
- Flow Perturbation++: Multi-Step Unbiased Jacobian Estimation for High-Dimensional Boltzmann Sampling
-
Flow Perturbation++ (FP++) 借助概率流 ODE 的流映射半群分解性质,将全局雅可比行列式拆解为各积分步局部行列式的乘积,在各步引入独立单位超球面扰动实现无偏且低方差的雅可比行列式估计,并在序贯蒙特卡洛(SMC)退火框架下成功实现了千维高斯混合模型与全原子多肽的高保真平衡态采样。
- Flow-Transformed Implicit Processes for Function-Space Variational Inference
-
本文提出流动变换隐式过程(FTIP),通过将正规化流引入隐式过程的有限样本代理系数空间,在保留前向采样可扩展性的同时诱导高度非高斯的函数空间后验,成功捕捉传统高斯近似无法建模的多峰与非对称不确定性。
- FluxLite: Inference-Time Proposal Control for Discrete Diffusion Models
-
FluxLite 在不重训离散扩散模型的前提下,联合调整稀疏跳转速率与补偿权重,以图散度保持目标边缘分布路径不变,并用局部规则 HEU 或小规模非负二次规划 D-VCG 缓解粒子权重退化。
- From Cursed to Competitive: Closing the ZO–FO Gap via Input-to-State Stability
-
本文从离散时间动力系统与输入-状态稳定性(ISS)视角重新审视零阶优化,证明了在高斯平滑随机预言机下,零阶算法的平均轨迹等价于对应一阶算法叠加有界扰动,从而在期望下继承与一阶方法完全相同的无维数依赖迭代衰减率,维度因子仅作用于可控的极限收敛邻域半径。
- From Generic to Dedicated: A Novel Optimizer for Online Continual Learning
-
针对在线持续学习中通用优化器受瞬时样本主导导致灾难性遗忘的瓶颈,本文提出首个专用优化器SPIN,通过快变可塑性序列与慢变稳定性序列在参数空间的双向耦合插值,隐式实现带Tikhonov正则化的曲率感知更新,在无回放和严苛内存约束下全面超越SGD与AdamW。
- From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity
-
本文将带有异质性与拜占庭攻击的分布式学习统一规约为一阶不精确梯度预言机(Inexact Gradient Oracle)优化问题,证明了该归约在误差下界上的紧致性,并据此设计出首个具备 \(\mathcal{O}(\sqrt{\kappa}\log(1/\varepsilon))\) 加速收敛率的鲁棒 Nesterov 算法,以及利用辅助代理损失函数将通信复杂度降至 \(\mathcal{O}(\frac{\Delta}{\mu}\log(1/\varepsilon))\) 的 PIGS 算法。
- From SGD to Muon: Adaptive Optimization via Schatten-p Norms
-
论文基于线性极小化神谕(LMO)理论将 SGDM 与 Muon 统一进 Schatten-\((p+1)\) 范数约束下降族,推导出利用一阶激活与动量统计闭式求解单层最优几何指数 \(p^*\) 的代理准则,并结合 \(p\) 依赖的二阶预条件与硬件高效 Taylor-Horner 极因子逼近,实现了端到端自适应谱优化。
- GauS: Differentiable Scheduling Optimization via Gaussian Reparameterization
-
GauS 提出用一维高斯连续分布对算子执行时间步进行松弛建模,保留时间序列的天然序数邻近先验并将优化参数量压缩至 \(O(|V|)\),结合增广拉格朗日法与 GPU 向量化首次实现了流水线/模调度的高效端到端可微求解。
- Generalization Analysis of Biased Stochastic Gradient Methods for Minimax Problems
-
本文建立了首个面向极小极大问题有偏随机梯度法的泛化分析框架,将已有文献强依赖的全局有界梯度条件放宽至二阶矩有界假设,并在零阶与梯度截断 SGDA 上均证明了匹配无偏基准的 \(\mathcal{O}(1/\sqrt{n})\) 最优超额风险界。
- Global Convergence of Four-Layer Matrix Factorization under Random Initialization
-
针对四层矩阵分解(非凸深层线性网络模型),证明了在随机高斯初始化与平衡正则化项下,梯度下降算法在复数域以高概率、在实数域以接近 \(1/2\) 的概率在多项式时间内全局线性收敛到全局最优解。
- GPU-Accelerated Synthesis of Mixed-Boolean Arithmetic: Beyond Caching
-
针对定量位向量行为导致语言缓存无法扩展的根本瓶颈,本文提出首个无缓存GPU程序合成系统Simba,通过双射逆波兰枚举与局部一致编码避免内存爆炸与warp分支分歧,实现规模达16的高效MBA表达式精确合成。
- Greedy Alignment Principle for Optimizer Selection
-
将一阶优化器建模为作用于梯度时间序列的因果滤波器,证明最大化瞬时期望损失下降率等价于滤波器与梯度自相关在希尔伯特空间中的内积,由此推导出无需网格搜索的 SGD 与 Adam 动态动量选择准则。
- Grokking or Glitching? How Low-Precision Drives Slingshot Loss Spikes
-
论文证明无正则长周期训练中周期性出现的“弹弓”损失尖峰(Slingshot Loss Spikes)并非模型固有的优化动态,而是交叉熵中低浮点精度吸收误差破坏类别梯度的零和约束后,引发分类器与特征均值反向指数膨胀(数值特征膨胀 NFI),进而因梯度突然重现与 Adam 膨胀步长共同诱发的大幅参数震荡。
- Group Distributionally Robust Optimization with Flexible Sample Queries
-
将群体分布鲁棒优化建模为在线凸优化与非遗忘有限建议预测的双人博弈,提出了支持动态任意样本查询的统一 FTRL 算法,首创非遗忘 PLA 的高概率后悔界,并将 GDRO 优化误差提升至消除对数时间因子的最优阶。
- Guaranteed Noisy CP Tensor Recovery via Riemannian Optimization on the Segre Manifold
-
将含噪低CP秩张量恢复问题建模为秩一张量乘积在Segre流形上的优化问题,提出具有保结构特性的黎曼梯度下降(RGD)与黎曼高斯-牛顿(RGN)算法,并从理论上证明了收敛至统计噪声下界的局部线性及局部二次收敛率。
- How I Learned to Stop Worrying and Love Stopgrads: Stationarity, Convergence, and Acceleration in Implicit Models
-
本文在变分微积分框架下形式化了 StopGrad 操作并提出 Stopgrad 回归原则,不仅证明了 MeanFlow 及其改进版的唯一驻点即真实流图,还推导出训练显存降低 2 倍且具备理论驻点保障的 Slim ESD/LSD,同时证明了泛函半梯度流具有显式封闭复合结构的指数级收敛性。
- HyCO: A Hybrid Neural Solver for Combinatorial Optimization
-
针对神经组合优化中序列强化学习长程累积误差与全局扩散模型全空间高遗憾的互补缺陷,HyCO提出在统一边际遗憾框架下寻找唯一最优交接点,并通过策略熵与模型分歧轻量自适应触发单次交接与双轨补全,在TSP、MIS和OP上一致大幅超越单一求解器。
- Hypernetworks for Dynamic Feature Selection
-
针对传统动态特征选择依赖单一共享模型面临的表达力瓶颈与梯度冲突问题,本文提出 Hyper-DFS,利用 Set Transformer 将特征观测状态编码为平滑几何空间,并驱动超网络按需为每个特征子集动态生成专属分类器参数。
- Improved Regret Analysis for Parallel Gaussian Process Bandit Optimization
-
针对并行与延迟反馈高斯过程老虎机优化,提出基于改进椭圆势计数的理论分析技术,证明批量汤普森采样(GP-BTS)无需经验上低效的初始不确定性采样阶段即可将批大小/延迟参数 \(Q\) 从乘性因子降为加性常数项,并在无噪声场景下首次建立收敛速率显著更优的超低后悔界。
- Inexact Bregman Sparse Newton Method for Efficient Optimal Transport
-
针对大规模精确最优传输计算复杂度过高且熵正则化数值不稳定的困境,本文提出了非精确Bregman稀疏牛顿法(IBSN),在半对偶空间中结合Hessian稀疏化与可验证停机准则,以二阶超线性收敛加速精确求解。
- Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling
-
提出了 COSINE 框架,通过可微符号消息传递将图结构与动力学稀疏回归联合优化,并引入大语言模型外循环自适应演化符号基函数库,在未知图拓扑下实现了高精度的拓扑恢复与可解释物理机制发现。
- Interpreting Neural Combinatorial Optimization via Evolving Programmatic Bottlenecks
-
本文提出了首个面向神经组合优化(NCO)的演化程序化瓶颈(EPB)解释框架,通过将黑盒 NCO 策略蒸馏为动态调用的可执行代码启发式程序库,兼顾了高保真度决策解释与显著提升的大尺度分布外(OOD)泛化能力。
- Intrinsic Muon: Spectral Optimization on Riemannian Matrix Manifolds
-
针对 Muon 等谱范数优化器难以直接推广到流形约束的问题,本文提出内在 Muon(iMuon),通过黎曼度量将酉不变范数典则提升至切空间,彻底消除了商流形对称性破坏与切空间范数耦合难题,并在固定秩、SPD、Stiefel 与 Grassmann 等多种矩阵流形上实现了精确闭式更新与与条件数无关的收敛保证。
- Jacobian Descent for Multi-Objective Optimization
-
论文提出了将梯度下降推广至向量目标函数的雅可比下降(JD)框架与非冲突投影聚合器 \(\mathcal{A}_{\text{UPGrad}}\),证明了平滑凸情形下收敛至 Pareto 前沿的强保证,并利用格拉姆矩阵将显存复杂度降至 \(\mathcal{O}(n+m^2)\),开拓了样本级风险最小化(IWRM)新范式。
- Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
-
针对自适应采样与无似然贝叶斯优化中广泛使用的非线性参数化模型缺乏理论保障的问题,本文通过参数空间核诱导模型类 RKHS 几何,为正则化凸损失学习建立了类似 GP 的置信界,并在有限域近似汤普森采样策略下给出了首个亚线性累积后悔保证。
- Last-Iterate Convergence of Single-Loop Stochastic Methods for Constrained Convex-Concave Minimax Problems
-
针对随机光滑凸凹极小极大问题中 vanilla 外梯度与乐观梯度算法最后迭代发散的根本难题,本文提出一种基于二次扰动的单循环稳定框架(PS-EG 与 PS-OGDA),在标准有界方差随机预言机下首次证明了约束域上的非渐近最后迭代收敛保证(时间范围已知时受限原始-对偶间隙达 \(\mathcal{O}(T^{-1/4})\),随时版本达 \(\mathcal{O}(T^{-1/5})\),无约束梯度范数达 \(\mathcal{O}(T^{-1/4})\))。
- Layerwise LQR for Geometry-Aware Optimization of Deep Networks
-
将深度网络下基于散度诱导的二阶几何最速下降步严格等价重写为层级有限时域线性二次调节器(LQR),并提出通过直接最小化 LQR 目标周期性学习结构化逆预条件子的松弛算法,在避免显式构建与求逆全局曲率矩阵的同时完整保留层间耦合信息。
- Leaner Transformers Can Easily Learn to Cluster
-
本文提出了一种紧凑型二进制词元嵌入 Transformer 架构,将执行 Lloyd 聚类算法的嵌入维度从 \(d+k\) 压缩至 \(d+\lceil\log_2 k\rceil\),并系统性建立了端到端平滑替代目标下的优化收敛性与泛化理论。
- Learning-Augmented Approximation for Unrelated-Machines Makespan Scheduling
-
本文针对无关并行机极差调度(\(R\|C_{\max}\))设计了首个带预测误差平滑退化保证的学习增强近似算法,利用对大作业机器分配的预测进行局部化搜索与残差线性规划舍入,在准确预测下以多项式时间达成 \((1+\varepsilon)\mathrm{OPT}\) 近似,并在任意低质预测下平滑退化至经典 \(2\mathrm{OPT}\) 基线。
- Learning-Augmented Coordination Mechanisms
-
针对拥塞博弈中自私路由造成的均衡低效难题,本文将不可靠的需求预测引入协调机制设计,提出以置信度参数平滑权衡一致性与鲁棒性的势函数阈值机制,并给出了关于无序代价一致性与预测误差容忍度的理论不可能界限。
- Learning-Augmented Online Scheduling with Parsimonious Preemption
-
本文针对带预测在线调度中频繁盲目抢占引发系统开销的难题,首次建立控制抢占次数与优化总流转时间权衡的理论体系,提出 SNAP 与 PMLF 算法,在单机、不相关并行机及可延展作业环境下取得常数竞争比,并将单作业抢占次数严格约束在预测误差的对数阶。
- Learning-Augmented Streaming Algorithms for Approximating Boolean Max-CSPs
-
针对布尔 Max-CSP 在流模型中的空间下界瓶颈,本文提出基于 \(\varepsilon\)-精确预言机的学习增强流算法,通过将弱预测建模为二元对称信道输出并显式高斯消元求逆,在插入流中实现了与变量规模 \(n\) 无关的 \((1-\eta)\)-近似空间复杂度。
- Learning Augmented Exact Exponential Algorithms
-
本文首次将学习增强算法范式拓展至精确指数时间算法领域,证明仅需具有两两独立误差、准确率略高于随机猜测的带噪预测器,即可在保留精确解保证的同时将子集选择问题的搜索空间底数指数级缩减 \(\Omega(\varepsilon^2)\),并打破强指数时间假设(SETH)壁垒。
- Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry
-
证明了多项式宽度两层神经网络在标准随机初始化下学习正交多指标模型仍遵循 Hermite 阶数的增量学习,揭示了参数质量竞争性重分配机制,并提出基于对称性的有限宽逼近分析框架。
- Learning Pareto Stationary Fronts via Single-Pass Backpropagation
-
本文提出 MOSEL 框架,将多目标深度学习中的后验帕累托前沿学习重构为表征网络(追随者)与偏好对齐网络(领导者)之间的斯塔克尔伯格博弈,利用时间尺度分离实现单次前向-反向传播下的帕累托平稳前沿恢复,在强冲突(公平性-性能)与弱冲突(多任务学习)场景下均达到单目标训练级别的极高计算效率与前沿质量。
- Learning Polyhedral Conformal Sets for Robust Optimization
-
针对传统共形预测不确定性集与下游任务解耦导致决策过度保守的问题,本文提出一种决策感知的多面体共形集合学习框架,通过极小化诱导的下游鲁棒损失自适应优化超平面几何形态,并借助独立重校准步骤在消除选择偏差的同时严格恢复有限样本覆盖率保证。
- Learning Provable Neural Network Observer for Uncertain Dynamical Systems
-
针对高维复杂不确定动态系统下神经网络观测器求解李雅普诺夫线性矩阵不等式(LMI)存在的可扩展性瓶颈,提出“采样点引导李雅普诺夫预训练 + 轻量化 LMI 微调”两阶段框架,在保持严格全局稳定性证书的同时实现 2.5 倍训练加速,显著提升无人机地面效应与水下航行体涡流扰动下的跟踪精度。
- Learning Rate Transfer for Hybrid Transformer-SSM Architectures
-
本文系统探究了 Transformer 与 SSM 混合架构在实际有限宽度下的学习率扩展规律,证实无需针对 SSM 设计复杂的专用规则,基于 AdamW 的朴素最大更新参数化(Naïve μP)即可在多种串并行混合结构及生产级模型(Nemotron-H)上实现近乎零间隙的学习率跨宽度与深度迁移。
- Learning Scenario Reduction for Two-Stage Robust Optimization with Discrete Uncertainty
-
针对离散不确定性下两阶段鲁棒优化求解开销巨大的瓶颈,提出前瞻式启发式算法 PRISE 评估场景边际贡献,并构建 GNN-Transformer 代理模型 NeurPRISE 进行一次前向打分,在保持接近预言机求解质量的同时实现 77–200 倍加速。
- Learning Theory of Transformers: Local-to-Global Approximation via Softmax Partition of Unity
-
本文提出了一种基于 Softmax 单位分解(POU)的 Transformer 构造性逼近理论框架,首次证明了仅需 2 层编码器块、标准 Softmax 点积注意力和正弦位置编码的浅宽稠密 Transformer 即可达到 \(\alpha\)-Hölder 连续函数的最优逼近阶 \(\mathcal{O}(\varepsilon^{-d/\alpha})\) 与近极大极小泛化率 \(\mathcal{O}(n^{-\frac{2\alpha}{2\alpha+d}}\log n)\),并在黎曼流形上克服维数灾难。
- Learning to Solve Compositional Geometry Routing Problems
-
针对涵盖点、线、面多几何混合且动作空间庞大冗余的组合几何路径规划问题(CGRP),提出即插即用求解框架 DiCon,通过差分注意力抑制次优候选动作并结合实例级与任务内双层对比学习,显著提升神经求解器的表征能力与零样本组合泛化性。
- LINC: Decoupling Local Consequence Scoring from Hidden Matching in Constructive Neural Routing
-
针对构造式神经组合优化强行依赖隐状态隐式重构转移算术的瓶颈,LINC 将候选节点确定性局部转移后果与隐状态全局匹配显式解耦,通过线性比较器与可行集状态调制实现高效高精度的跨尺度路径求解。
- Literati: Towards Anytime Optimal Shape Generalized Trees via AO*
-
本文提出首个全局最优形状广义决策树归纳算法 Literati,通过 AND/OR 图联合优化树结构与单变量形状函数断点,并结合非容许次级启发式与 Round-Robin 机制实现了兼顾最优性保证的高效随时搜索。
- Local linear convergence of gradient methods for overparameterized Gaussian mixture models
-
针对过参数化高斯混合模型在局部收敛阶段因 Fisher 信息矩阵奇异而严重减速的理论瓶颈,本文揭示了 KL 散度损失曲面内在的“细谷”(ravine)四阶几何结构,提出了交替执行标准梯度步与长 Polyak 步的 GDPolyak 算法,在保持全局收敛优势的同时首次证明并实现了局部线性收敛率。
- Local linear convergence of gradient methods for overparameterized Gaussian mixtures
-
针对过参数化高斯混合模型因 Fisher 信息矩阵退化导致的局部次线性收敛痛点,本文揭示了 KL 散度损失具有四阶增长的“沟壑”(ravine)流形几何结构,设计了交替执行梯度下降与 Polyak 步长的两阶段一阶算法,首次证明了局部近线性收敛速率并给出了权重失配容忍边界。
- Log-Averaged Mirror Prox for Fast, Large-Scale Optimal Transport in Linear Space
-
本文提出对数平均镜像邻近算法(LAMP),通过在对偶空间维护加权对数平均序列隐式重构原始变量,将最优传输原对偶求解的空间复杂度从 \(\mathcal{O}(nm)\) 压缩至 \(\mathcal{O}(n+m)\),在保持 \(\widetilde{\mathcal{O}}(nm\varepsilon^{-1})\) 末次迭代算术复杂度的同时实现了超大规模规模扩展与高性能 GPU 密集规约加速。
- MAdam: Metric-Aware Multi-Objective Adam
-
揭示多目标优化解算器与 Adam 默认耦合导致的权重边际化与欧氏几何畸变两大失配,提出即插即用的度量感知封装器 MAdam,通过在线估计跨目标 Fisher 矩阵在 Adam 更新前对调和方向实施偏好条件化白化,使更新步遵循正确流形度量,在多任务学习、Pareto 前沿拟合、PINN 与医学图像超分/分割上全面超越 Adam。
- Manifold Sampling via Entropy Maximization
-
针对非连通流形上传统局部 MCMC 采样器无法跨越不可行势垒正确分配分量概率质量的难题,提出通过 k 近邻密度估计进行最大熵重采样的 MASEM 框架,证明了其在均场下以几何速率指数收缩 KL 散度,并在合成与真实机器人基准上将 Sinkhorn 距离降低了一个数量级。
- Maximin Robust Bayesian Experimental Design
-
将模型误设下的贝叶斯实验设计形式化为极小化极大(max-min)博弈,推导出由 Sibson α-互信息支配的鲁棒期望信息增益,并结合 PAC-Bayes 框架优化随机化设计策略以控制嵌套蒙特卡洛有限样本误差。
- Maxitive Donsker-Varadhan Formulation for Possibilistic Variational Inference
-
本文建立了经典 Donsker-Varadhan 变分对偶公式在可能性理论中的极大化(maxitive)对应形式,提出了基于极大相对熵的对偶一致性界(CBO),并在可能性指数族下推导出无需测试期采样的实用神经网络优化器家族 CBOpt。
- Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
-
通过路径修补(Path Patching)因果分析揭示 LoRA 具有高度非均匀且强任务依赖的层级/组件稀疏性,据此提出的 Adaptive-LoRA 利用冻结基模的零消融快速校准关键层,仅微调 30% 层数即全面超越全层基线并降低 3.5 倍适配器参数。
- Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning Dynamics and Edge of Stability
-
本文证明了在正交数据回归任务中,微过参数化双层ReLU网络在小初始化极限下的梯度流动力学收敛为离散鞍点跳转过程,不仅首次在非线性激活网络中严格刻画了神经元逐个激活的增量学习机制,还证明了所获插值解的参数平方 \(\ell_2\) 范数按 \(\mathcal{O}(\sqrt{n})\) 缩放,达到最小范数插值解的常数倍界。
- Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
-
论文给出了正交数据与微弱超参数化(\(m \gtrsim \log n\))下两层 ReLU 网络小初始化梯度流动力学的首个严格理论刻画,证明其在时间重标度下弱收敛为离散鞍点跃迁跳跃过程,并证明所达插值解的参数平方 \(\ell_2\) 范数与最优插值解同阶(\(\mathcal{O}(\sqrt{n})\))。
- Min-Max Optimization Requires Exponentially Many Queries
-
本文证明在独立乘积紧凸集约束下,非凸非凹极小极大优化寻找一阶 \(\varepsilon\)-近似平稳点在最坏情况下需要指数级查询复杂度(\(2^{d^{\Omega(1)}}\),即使 \(\varepsilon = 1/\text{poly}(d)\)),将无条件黑盒下界从联合约束推进到乘积约束,并排除任意常数阶优化算法实现多项式查询的可能性。
- Minimax Optimal Early-Stopped Gradient Descent for Gaussian Mixture Classification
-
本文针对带标签翻转噪声的高斯混合分类问题,证明了在快且连续衰减(FCD)协方差谱下,逻辑损失梯度下降(GD)在预言机早停时间处可达到极小化极大最优的过剩 0-1 风险,而插值分类器需要指数级更多样本。
- Minimax Optimal Estimation of Transport-Growth Pairs in Unbalanced Optimal Transport
-
针对非平衡最优传输(UOT)中边缘分布质量不守恒的本质特征,本文提出了将“传输映射与增长因子”联合作为统计估计目标的理论框架,设计了离散方案估计器与边界自适应核平滑估计器,并通过目标泛函扰动的稳定性展开证明了其达到极小极大最优收敛阶。
- Minimax Private Estimation of Smooth Optimal-Transport Maps
-
本文针对概率分布间光滑最优传输映射的私有化估计问题,基于紧支撑小波密度估计与分位数回归机制,首次提出了在中心差分隐私与局部差分隐私下达到(近)极大极小最优收敛速率的即插即用估计框架,并严格建立了匹配的极大极小下界。
- Mirror Descent-Ascent for mean-field min-max problems
-
本文研究了概率测度空间上的镜像梯度下降上升(MDA)算法,通过平坦导数和对偶连续有界函数空间分析证明了交替更新通过对偶 Bregman 对易子控制可将收敛率从同步更新的 \(\mathcal{O}(N^{-1/2})\) 显著加速至 \(\mathcal{O}(N^{-2/3})\)。
- Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialisation Sensitivity
-
本文系统研究非欧几何下镜像下降(MD)对初始点扰动的动态放大机制,严格证明即使用于光滑凸目标及良态正则子,非二次正则化仍会使初始扰动以指数速率扩散,并在单形负熵几何下揭示边界局域病态诱导的指数分离,进而提出固定锚点正则化实现多项式级稳定性。
- Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity
-
论文揭示了非欧氏几何下镜像下降(MD)对初始化的敏感性与欧氏梯度下降存在指数级分离:即使目标光滑凸且正则化子良态,初值扰动仍可随迭代步数呈指数放大;并通过引入固定锚点的布雷格曼正则化成功恢复 \(O(1/T)\) 稳定性。
- Most ReLU Networks Admit Identifiable Parameters
-
本文引入加权多面体复形与依赖图框架,证明了所有输入与隐藏层宽至少为2的深度ReLU网络架构均存在参数可辨识的开集,彻底解决了该类架构的函数维度问题,并揭示出极小表示下非平凡冗余依然存在及基于层级刚性的通用深度分离。
- Move on Muon: A Hamiltonian Probability Gradient Flow Perspective of Muon Optimizer
-
将硬谱正交化 Muon 优化器正则化为核范数 Fenchel 对偶平滑诱导的镜像步,并提升至矩阵概率测度空间建立阻尼哈密顿动力学流与精确耗散恒等式,确立了有限粒子 McKean-Vlasov 极限、混沌传播保证及指数收敛率。
- Multi-Marginal Couplings for Metropolis--Hastings
-
针对多链马尔可夫链蒙特卡洛(MCMC)配对耦合扩展到多链时伙伴固定与高维指数级失效的瓶颈,本文提出基于共享随机性泊松点过程的联合多边缘耦合框架,引入混合重心自适应提议消除维度爆炸,并证明增广接受空间耦合严格优于直接核耦合,将全汇合时间缩短达 50%。
- Muon Does Not Converge on Convex Lipschitz Functions
-
本文证明了在深度学习中表现优异的谱下降优化器 Muon 即使搭配衰减学习率在凸 Lipschitz 目标上也无法收敛,揭示了其等价于对角符号动量法,并证明虽可通过误差反馈恢复理论收敛,但这层理论补丁在实际视觉与大语言模型预训练中反而导致性能显著退化。
- Muon Dynamics as a Spectral Wasserstein Flow
-
本文为以 Muon 为代表的谱归一化优化器构建了严格的无限宽均值场数学框架,通过在正半定锥上引入单调谱度规建立谱 Wasserstein 距离,证明了归一化均值场 PDE 本质上正是该传输度规下的最大斜率梯度流。
- Nash Social Welfare for Multi Armed Bandits: Trajectory-wise Expected and High Probability Regret
-
针对纳什社会福利老虎机中期望内嵌几何平均无法刻画单条轨迹公平性的缺陷,本文提出了轨迹级期望与高概率纳什后悔度量,并设计两阶段 RR-NCB 算法实现了理论最优的 \(\widetilde{\mathcal{O}}(\sqrt{k/T})\) 界。
- Near-Linear Time Generalized Sinkhorn Algorithms for Bounded Genus Graphs
-
本文针对定义在有界亏格图(如平面图、三维网格)测地线距离代价上的广义最优传输问题,提出了首个在预处理、单步迭代和传输计划查询阶段均达到近线性时间与近线性内存的 GenusSink 算法。
- Near-Optimal Decentralized Stochastic Convex Optimization over Networks
-
本文针对非阻塞 Gossip 网络上的分布式随机平滑凸优化,提出单步延迟双重加速随机梯度算法 DDA-SGD,通过动量补偿查询解耦本地采样与网络共识混洗,在总梯度预算 \(N\) 下将保留中心化统计率的临界并行机器数由 \(M \lesssim \rho\sqrt{N}\) 提升至近乎最优的 \(M \lesssim \sqrt{\rho} N^{3/4}\),且对最优点异质性仅呈对数级依赖。
- Near-Optimal Regret in Adversarial Kernel Bandits
-
针对非线性、无穷维再生核希尔伯特空间(RKHS)下的对抗核老虎机问题,本文提出带有正规化损失估计器与显式偏差消除项的指数权重算法,在移除秩一对手假设的同时,首次达到了与随机核老虎机已知下界严格对齐的近最优遗憾界。
- Nearest-Neighbor Radii under Dependent Sampling
-
首次系统建立了强混合相关采样下最近邻半径的几何理论,证明在多项式混合下半径以概率 1 收敛至支集距离,并在几何混合下推导出紧致非渐近矩界 \(\mathbb{E}[R_{n,k}(x)^p] \asymp (k/n)^{p/s}\),揭示弱相关性仅改变局部集中常数而不改变由本征维度 \(s\) 决定的规范尺度。
- Neural Compression of Long ADMM Trajectory for Multiparametric Quadratic Program
-
针对多参数二次规划求解中迭代优化轮数多、高维在线延迟高的问题,本文提出了 TQPNet 自监督神经压缩框架,通过推导低维原始-对偶 ADMM(ReLU) 算子并结合深度 MLP(ReLU),将长优化轨迹压缩为神经热启动与少量展开修正层,实现了无需求解器标签且具备自适应在线残差认证的极速批并行求解。
- Neural Galerkin Normalizing Flows for Bayesian Inference of Diffusions with Inaccessible Boundaries
-
针对具有不可达边界且扩散矩阵退化的随机扩散过程,本文提出一种基于截断高斯混合规范化流与神经伽辽金时域投影的转移概率密度近似方法,免去 MCMC 在线轨迹桥模拟或实时求解 Fokker-Planck 方程的巨大计算开销,实现高效高精度的离散观测贝叶斯参数推断。
- Neural Slack Variables for Shape Constraints
-
本文提出一种深度学习原生的原始侧软约束优化框架——神经松弛变量(Neural Slack Variables),通过将初级网络与结构化非负辅助网络在约束空间进行尺度平衡与双曲正弦稳定的回归匹配,彻底根除了传统罚函数与原始对偶方法因互补松弛性导致的“约束漂移”失效模式,在单调性、高维凸性验证以及金融期权无套利隐式波动率曲面生成中实现了零违规与高精度数据拟合。
- Non-Linear Pricing Restores Tractability for a Data Seller
-
在已知买者线性估值与预算、按数据集分别定价的模型中,允许非线性价格反而把原先 APX-hard 的最优线性定价问题转化为可多项式求解的 LP,并保证存在总拐点数不超过买者数的最优方案;California Housing 构造实例还显示收益比至多 1.1、总拐点数至多 10。
- Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noise
-
针对非凸去中心化双层优化中下层强凸假设失效且随机梯度噪声服从重尾分布的难题,提出首个无需梯度裁剪的归一化方差缩减双层梯度下降上升算法(D-NSVRGDA),不仅建立了显式刻画网络谱间隙的理论收敛率与线性加速比,还在超参优化和模型剪枝任务上显著超越现有基线。
- On the Last-Iterate Convergence of Clipped Gradient Methods
-
针对随机(强)凸优化中存在重尾梯度噪声的现实设定,本文首次证明了 Clipped-SGD 的末次迭代(last-iterate)在具有高概率保证下的最优收敛速率,填补了现有理论中仅适用于轻尾假设或速率次优的长期空白。
- Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
-
通过建立一阶最优性条件驱动的 \(\mathcal{O}(\eta^2)\) 离散化耦合,证明在线梯度下降(OGD)在未知的隐凸损失下可达到对抗环境最优的 \(\mathcal{O}(\sqrt{T})\) 全反馈 Regret 与 \(\mathcal{O}(T^{3/4})\) Bandit Regret,并揭示了非保守几何壁垒导致的 \(\Omega(T)\) 线性下界。
- Online Learning via Learned Latent Bayesian Tracking
-
本文离线学习适合分布漂移的低维参数生成空间和动态先验,在线用每个带标签样本做一次潜空间扩展卡尔曼滤波,再重建预测参数,在图像分类和时变无线接收中改善有限监督下的适应效果与计算成本。
- Online Localized Conformal Prediction
-
针对时序流式数据中分布漂移与特征空间异质性交织的难题,提出结合协变量局部化分位数与在线反馈校准的 OLCP,并通过在线带约束凸优化算法 OLCP-Hedge 自适应聚合多尺度带宽专家,在严格保证长期覆盖率的同时显著压缩预测区间宽度。
- Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
-
针对时序零和博弈中最小化个体遗憾无法保证收敛至累积鞍点的根本缺陷,本文提出以静态对偶间隙与动态鞍点遗憾为核心的在线极小极大优化框架,证明了 OGDA 与 OMMNS 算法的对数阶界与鞍点收敛性,并确立了非凸非凹两面 PL 条件下的动态遗憾界及静态纳什均衡遗憾的不可能性定理。
- Optimal Dimension-Free Sampling for Regularized Classification
-
本文针对带正则化项的宽泛 Lipschitz 分类损失函数(包含 Logistic、Sigmoid、Hinge 与 ReLU),提出了一种基于行范数与均匀混合采样的维度无关采样框架,借助经验过程高阶矩与度量熵链式积分将此前立方阶界限突破至紧致的线性 \(\tilde{\Theta}(k/\varepsilon^2)\) 与二次 \(\Theta(k^2/\varepsilon^2)\) 阶,并给出了匹配的下界与不可行性证明。
- Optimal Hidden-Target Learning for Online Inventory Optimization on General Convex Sets
-
针对一般有界凸容量约束下的在线库存优化(OIO),本文证明了简单的隐目标投影算法具备最优性,通过引入范数对齐原则将状态相关可行性规约为一维 Lindley 排队控制,将遗憾界对公共需求概率的依赖提升至最优的 \(O(\sqrt{T/\mu})\),并给出了匹配的下界与强凸/动态扩展。
- Optimal In-context Adaptivity and Distributional Robustness of Transformers
-
证明了预训练在混合难度回归任务上的大型 Transformer 能够自适应实现针对未知任务难度的最优上下文学习预测收敛率,并对测试分布在卡方散度球(\(\chi^2\)-divergence ball)内的分布偏移保持严格鲁棒。
- Optimal Learning-Augmented Algorithm for Online Bidding
-
提出了出价分布轮廓(Bidding Profile)分析框架,通过延迟微分方程彻底刻画并闭合了随机学习增强在线出价算法的鲁棒性-一致性理论间隙,给出了首个全范围严格帕累托最优算法,并成功推广至线性搜索问题。
- Optimal Rates for Pure \(\varepsilon\)-Differentially Private Stochastic Convex Optimization with Heavy Tails
-
论文针对重尾梯度条件下的随机凸优化问题,提出了基于局部化 Lipschitz 扩展与联合凸重构的高效算法,首次在纯 \(\varepsilon\)-差分隐私下达成了极小极大近最优超额风险上界及高概率多项式时间收敛,并给出了紧密匹配的高概率下界。
- Optimal Recalibration of an Online Predictor
-
针对序列预测中模型损失最小化与概率校准往往不可兼得的问题,本文提出了非对称不平衡的 Blackwell 可逼近性框架与二次审计算法,针对任意 Lipschitz 恰当损失实现了最优的 \((\varepsilon, \varepsilon^2)\) 在线重校准与 \(\widetilde{\mathcal{O}}(\varepsilon^{-3})\) 轮次下同时达到 \(\varepsilon\)-校准与 \(\varepsilon^2\)-calibeating。
- Optimistic Dual Averaging Unifies Modern Optimizers
-
本文提出将乐观对偶平均(SODA)作为现代一阶优化器的统合理论框架,不仅自然囊括了 Adam、Lion、Muon、NAdam 等主流算法,更推导出将权重衰减重新解释为原始迭代平均的免调参 \(1/(k+2)\) 调度包装器。
- Optimizing Computational-Statistical Runtime for Wasserstein Distance Estimation
-
本文提出面向连续概率分布二次 Wasserstein 距离估计的「抽样-草图-求解」范式,在对样本建立笛卡尔网格中心投影草图后转化为多部图最小费用流精确求解,首次在 \(d=2\) 且 \(\alpha>1/2\) 的 Hölder 平滑分布下实现了匹配统计下界的 \(\tilde{O}(\varepsilon^{-2})\) 最优计算-统计运行时。
- Overcoming Rank Collapse in Feedback Alignment
-
揭示了反馈对齐(Feedback Alignment)在深层网络中性能崩溃的核心机理是梯度与更新轨迹的「秩塌缩」(Rank Collapse),并证明利用 Muon 优化器正交化更新步长与利用批归一化维持特征空间多样性,能有效恢复梯度有效维度,使纯反馈对齐成功扩展到深层 ResNet-18 与复杂视觉基准。
- Pairwise AUC Optimization Needs Corrective Power: A Unified View
-
论文提出了“纠错能力”(Corrective Power)分析框架,揭示了直接成对 AUC 优化在陷入高严重排序错误区域时由于 U-统计量一阶方差退化导致 SGD 逃逸停滞的动力学机理,统一解释了平方折页损失的优越性、交叉熵预热的必要性以及参数高效微调缓解冷启动的根本原因。
- Parameterized Complexity of Stationarity Testing for Piecewise-Affine Functions and Shallow CNN Losses
-
本文系统建立了分段仿射(PA)函数与浅层 ReLU 卷积神经网络损失函数在给定点处一阶近似驻点判定的参数化复杂度全景,证明了固定维度下的 XP 算法可解性,并确立了互补极性的 W[1] 难性与 ETH 紧界。
- Path-Guided Flow Matching for Dataset Distillation
-
本文提出首个基于流匹配的生成式数据集蒸馏框架 PGFM,通过在 VAE 隐空间引入带信任域约束和早停门控的轻量级原型路径引导,仅需少量 ODE 求解步数即实现了高效、高多样性且保真的紧凑数据集合成。
- Penalty-Based First-Order Methods for Bilevel Optimization with Minimax and Constrained Lower-Level Problems
-
针对上下层均含极小极大(Minimax)结构的新型双层优化难题,提出首个基于对偶对隙罚函数的一阶邻近点算法,确定性与随机场景分别达到 \(\tilde{O}(\epsilon^{-4})\) 与 \(\tilde{O}(\epsilon^{-9})\) 的 KKT 点复杂度,并将凸非线性约束下层双层优化的复杂度由现有的 \(\tilde{O}(\epsilon^{-7})\) 大幅降至 \(\tilde{O}(\epsilon^{-4})\)。
- Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
-
针对插值范式下的随机二次优化问题,本文建立了经典动量加速(重球动量与 Nesterov 动量)的统一收敛理论,证明其收敛速率随小批量大小 \(m\) 呈线性加速直至达到 \(\mathcal{O}(\sqrt{\kappa_f})\) 的加速饱和点,首次在极少噪声假设下从理论上解释了经典动量实现小批量 SGD 完美并行化的机制。
- Phase Kernel Lifts Capacity of Dense Associative Memory
-
针对现代 Hopfield 网络在线性核下高负载导致的吸引子盆地重叠与虚假伪态瓶颈,提出可分强凸非线性相位核理论框架并具象化为 S-Hop,在保持指数级存储容量与李雅普诺夫稳定性的同时实现凹凸过程单调能量递减,将高维图像检索负载极限提升数倍至数十倍。
- Phases of Muon: When Muon Eclipses SignSGD
-
本文通过高维矩阵值线性回归模型与随机矩阵理论推导了谱优化器(SignSVD/Muon)和对角优化器(SignSGD/Adam)的精确确定性风险动力学,揭示了大批次下的平方根谱预条件加速机制、临界批次效应以及幂律各向异性数据下的三阶段相图。
- Pion: A Spectrum-Preserving Optimizer via Orthogonal Equivalence Transformation
-
针对大语言模型训练中权重谱漂移和激活爆炸的痛点,本文提出基于正交等价变换的优化器 Pion,通过左右正交李群旋转完全保持权重矩阵的奇异值谱与超球面能量,结合 RMS 尺度一致性缩放与李代数动量,实现了无归一化层与极端深度下的稳定高效训练。
- Polynomial-Time Algorithm for Thiele Voting Rules with Voter Interval Preferences
-
针对计算社会选择领域悬而未决十年的公开难题,本文证明了选民区间(Voter Interval, VI)偏好域上最优 Thiele 委员会得分关于规模的结构凹性定理,并结合拉格朗日松弛与全单模(TU)整数规划,提出了首个多项式时间精确求解算法。
- Polynomial-Time Robust Multiclass Linear Classification under Gaussian Marginals
-
针对多分类线性分类器在对抗噪声与高斯边际下难以多项式时间学习的难题,本文证明了多分类感知机即便在无噪高斯设定下也会失效,进而提出基于两两非正常学习与空间局部化采样的全多项式时间鲁棒学习算法,首次实现了与维度无关且逼近线性的误差保证。
- Pooling Versus Ensembling for Ridge Regression Under Covariate Shift
-
本文在高维比例渐近体制下推导了岭回归与无岭回归在多集群协变量偏移下的精确预测风险公式,证明当岭正则化参数大于零时,汇聚全量数据的单模型在渐近风险上严格优于基于真实集群划分的凸组合集成模型,且两者的相对优劣几乎完全由维度样本比决定,与集群均值的几何结构无关。
- Position: Adopt Constraints Over Fixed Penalties in Deep Learning
-
针对深度学习中常将不可妥协的硬性指标弱化为固定加权惩罚项的普遍做法,本文从非凸几何失效、超参调优黑洞与约束合规性降级三大维度论证了该范式的根本缺陷,倡导从原生约束优化问题出发,并采用一阶原对偶拉格朗日及分级决策方法实现可审计、低开销的端到端训练。
- Posterior Inference in Latent Space for Scalable Constrained Black-box Optimization
-
针对高维黑盒约束优化中可行域极难搜寻且惩罚地形多峰断裂的难题,CiBO 将候选样本生成建模为流模型平滑潜空间中的后验推断,利用外包扩散模型与轨迹平衡目标实现高效多模态采样与代理过滤。
- Predicting Plasticity in Deep Continual Learning: A Theoretical Perspective
-
针对持续学习中表征秩与神经正切核秩等结构诊断指标无法有效表征可塑性的问题,本文从理论反例证明了结构性指标的失效性,进而提出融合梯度强度与信噪比的优化就绪度(Optimization Readiness)指标,严格下界单步优化增益并实现了极高的可训练性排序准确率。
- Provably Reliable Classifier Guidance via Cross-Entropy Control
-
本文首次建立了分类器交叉熵损失(条件 KL 散度)与扩散模型引导向量场误差之间的定量理论联系,证明了无平滑性时低分类误差仍会导致引导发散,而在匹配真实后验的二阶平滑性约束下,条件 KL 达到 \(\mathcal{O}(\varepsilon^2)\) 能严格保证引导均方误差收敛至 \(\widetilde{\mathcal{O}}(d\varepsilon)\) 且速率最优。
- Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime
-
本文通过连续时间平均场连续性方程严谨刻画了深层 Transformer 的低温度推理演化,给出了 token 分布在 \(W_2\) 距离下向 \(VB^\top\) 主特征子空间投影前推分布聚集的非渐近误差界,并揭示了由 \(V\) 主特征子空间主导的终态动力学。
- Quantitative Local Convergence of Mean-Field Stein Variational Gradient Flow
-
本文首次在连续时间均值场极限与环面拓扑下,针对以 Riesz 核为代表的非局部相互作用 Stein 变分梯度流(SVGF),建立了在强 \(L^2\) 范数下的局部定量多项式收敛速率保证,并证明了其对均匀目标分布的紧性。
- QuanVI: Score-based Variational Inference via Quantum Maximally Mixed States
-
QuanVI 将 EigenVI 的单特征向量解改成低能子空间上的最大混合态,再用局部量子张量网络压缩密度算子,在链式结构的合成分布上扩展到 100 维,但局部窗口的表达能力和计算代价仍是主要限制。
- Query-Limited Community Recovery in Stochastic Block Models
-
本文研究了受限且带单边噪声的邻域预言机查询下的双社区随机块模型精确恢复问题,证明了自适应查询在纯预言机设置下可突破均匀采样的线性常数瓶颈,并在下采样图辅助设置下实现亚线性查询阶的严格自适应增益。
- Query Lower Bounds for Diffusion Sampling
-
首次证明高维扩散采样在多项式精度分数预言机下需要至少 \(\widetilde{\Omega}(\sqrt{d})\) 次自适应查询,且必须在至少 \(\widetilde{\Omega}(\sqrt{d})\) 个不同噪声尺度上扫描,从信息论层面揭示了多尺度噪声调度的必要性。
- Reaching a Consensus in Predictive Loops
-
本文将网络观点动力学(Friedkin-Johnsen 模型)与表演性预测(Performative Prediction)理论形式化结合,提出了算法介入与人际交互协同演化的预测循环极简模型,从理论与实证上证明了标准预测目标如何通过自适应反馈充当网络同质化力量,在经典网络模型导致观点分歧的固执个体场景下驱动全网达成共识。
- Reflected Schrödinger Bridge Matching
-
本文提出反射薛定谔桥匹配(RSBM),将部分无模拟(partially simulation-free)的迭代马尔可夫拟合推广至单位超立方体上的反射布朗运动参考过程,通过解析截断高斯和与两步反射桥中点采样,在几乎零额外耗时下严格消除了高维受限域图像配对生成的越界伪影。
- Regularized Large Neighborhood Search
-
针对神经网络端到端集成组合优化层依赖全局精确求解器的计算瓶颈,本文提出正则化大邻域搜索(RLNS),将局部子问题转化为基于平滑最大算子的高效无拒绝 MCMC 采样,在香农熵正则化下等价于精确块吉布斯采样,并通过迭代步数在伪似然与最大似然估计间实现平滑插值。
- Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees
-
针对具身机器人 4D 时空记忆中视觉语言模型描述的多视角不一致与静默幻觉问题,提出基于加权语义散射矩阵对数行列式的物体级不确定性度量,并在贝叶斯最优实验设计框架下给出基于一阶随机优势的视角质量启发式不确定性下降概率保证,实现预算受限下的主动视角精炼与阶段感知描述融合。
- Rennala NSGD: Asynchronous Stochastic Optimization Beyond Euclidean Geometry
-
本文提出了针对一般赋范空间平滑非凸随机优化的半异步并行算法 Rennala NSGD,借助对偶空间的 \(\kappa\)-正则性框架在原生对偶范数轻尾噪声下建立了高概率预言复杂度界,并在异构计算延迟下给出了极小化极值形式的真实时间(wall-clock time)收敛保障。
- Replicable Constrained Bandits
-
本文首次研究了带约束随机多臂老虎机(Constrained MAB)的可复制学习问题,提出基于动态倍增分段与乐观-悲观安全调整的 DEBORA 算法家族,在软约束和硬约束下均实现了与非可复制最优算法一致的 \(\widetilde{\mathcal{O}}(\sqrt{T})\) 遗憾界与约束违规界。
- Resilient Byzantine Agreement with Predictions
-
本文首次形式化研究了基于机器学习预测的拜占庭共识容错能力(Resilience),针对非认证与认证信道分别提出了最优的一致性-鲁棒性权衡算法,并完整刻画了容错界限随预测误差衰减的平滑性规律及理论不可能界限。
- Rethinking Forward Processes for Score-Based Nonlinear Data Assimilation in High Dimensions
-
针对传统基于分数的贝叶斯滤波在空间稀疏与通道耦合非线性观测下似然分数失效的问题,本文提出直接朝向观测空间插值的测量感知前向过程(MASF),通过马尔可夫投影严格推导闭式与高斯近似似然分数,在 \(10^5\) 维 Kolmogorov 流上取得最优滤波精度并实现最高 28.2 倍加速。
- Rethinking Neural Nonlinearity as Gating
-
将传统线性变换后的激活函数重新表述为 MAC 运算前的输入条件阈值门控(Threshold Gating),在理论上证明主流激活函数及 Softmax 均为门控特例,并在无需重训的前提下实现跨 CNN、ViT、RNN 及大语言模型的无损转换与硬件统一。
- Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks
-
本文提出了检索中心深度学习(RCDL)范式,基于经典线性层与线性注意力的对偶关系,通过泛函分析在希尔伯特空间中严格推导了径向基函数(RBF)与加权Softmax核的泛函梯度学习规则,使神经网络通过在训练中持续追加键值对、并在推理中动态检索重组特征而自适应增长,打破了传统网络将任意规模经验刚性压缩至固定权重矩阵的范式局限。
- Revisiting Decentralized Online Convex Optimization with Compressed Communication
-
针对分布式在线凸优化中的通信瓶颈与复杂投影耦合难题,首次提出基于正则化跟随领导者(FTRL)的压缩通信算法,利用对偶变量共识天然解耦约束集投影,并在Bandit设定下同时实现更优遗憾界与次线性通信轮数。
- Robust Importance Sampling for Rare Events via Constrained Gaussian Mixtures
-
针对极小失效概率估计中优化冷启动与提议分布方差爆炸的双重瓶颈,提出解耦“覆盖优先初始化”与“协方差严格下界约束高斯混合拟合”的两阶段重要性采样框架,从理论上保证估计器有限方差,并在多模态及高维物理/深度网络扰动基准上实现高达上万倍的方差缩减。
- Robust Statistical Estimators with Bounded Empirical Sensitivity
-
针对传统鲁棒统计无法刻画估计量在对抗污染下自身漂移幅度的问题,提出“经验敏感度”(Empirical Sensitivity)新指标,证明了均方误差最优的高斯均值估计量在 \(\eta\) 比例污染下必有 \(\Omega(\eta + \sqrt{\eta d / n})\) 的敏感度下界,并结合经验均值恢复算法给出了对数紧的上界。
- SAG-Sep: Sparse Augmented Graphs and Onion-Guided Search for Rounded Capacity Cut Separation
-
针对大规模有容量车辆路径问题(CVRP)中圆整容量割(RCC)分离计算开销高昂且现有递归粗化神经分离器速度慢的问题,SAG-Sep 提出稀疏增广图与单遍编码架构,并基于高质量割的嵌套层级特性设计无须训练的洋葱扫描解码器,在大幅加速神经分离的同时显著压紧松弛界隙。
- Sample-Efficient Optimization over Generative Priors via Coarse Learnability
-
针对黑盒复杂生成先验下的零阶优化缺乏有限样本理论保证的难题,本文提出了仅需模型以多项式因子覆盖目标质量的“粗可学习性”假设,并设计了结合模拟退火与 Metropolis-Hastings 修正的 ALDrIFT 算法,证明了多项式样本复杂度并在二次包络非凸全局优化中达成了 \(\widetilde{O}(\log 1/\varepsilon)\) 样本复杂度。
- Scalable Derivative Gaussian Processes via Exact Gradient Reduction
-
针对导数高斯过程在联合状态下 \(\mathcal{O}(n^3 d^3)\) 的立方级计算瓶颈,本文提出 Tera 方法,证明平稳核下与目标差值正交的梯度分量条件独立于目标函数值,从而将局部全梯度精确降维为至多 \(m^2\) 个方向导数,并结合 Vecchia 近似将单因子求逆复杂度彻底解耦为与输入维度 \(d\) 无关的 \(\mathcal{O}(m^6)\)。
- Scaling Full Conformal Image Classifiers
-
针对全共形预测(FCP)在千类规模图像分类中逐类别重拟合导致计算爆炸的瓶颈,提出结合零样本 VLM 剪枝的靶向全共形预测(T-FCP)与在线秩一逆协方差更新求解器(SO-LDA),在严格保持统计覆盖率的前提下将 ImageNet 单图推理耗时从 500 秒压缩至 30 毫秒。
- Search at the Cost of Sampling: Nearly-Instant Latent Space Bayesian Optimization
-
本文提出了一种在生成模型隐空间超球面上构建线性代理模型的高速贝叶斯优化算法,利用球面全局对称性将代理拟合与采集函数优化简化为单次特征分解与一维标量求根,在保持甚至超越非线性高斯过程样本效率的同时,将单轮优化开销降低逾两个数量级,实现了接近纯随机采样的极速搜索。
- Select-then-differentiate: Solving Bilevel Optimization with Manifold Lower-level Solution Sets
-
针对过参数化与非凸神经网络中下层解集呈现连通流形且非单值的挑战,本文提出“先选择后微分”(Select-then-differentiate)框架,证明了乐观选择唯一性是超目标可微的充要条件并推导出广义伪逆超梯度公式,进而构建了基于 Gibbs 采样与 Best-of-N 机制的 HG-MS 算法及其内在维度复杂度界。
- Select Smarter, Not More: Prompt-Aware Evaluation Scheduling with Submodular Guarantees
-
将自动提示词优化的评估过程形式化为在线自适应考试问题,提出具有单调次模性理论保证的动态调度框架 POES,通过 IRT 区分度、设施选址覆盖度与带切换成本的有界漂移热启动更新,在削减 35%–60% Token 开销的同时显著提升提示词质量。
- Self-Organized Conformal Prediction: Reducing Regional Coverage Gaps with Unsupervised Group Discovery
-
本文提出基于自组织映射(SOM)的保形预测校准框架 SOCP,在无需监督分组与重训预测器的情况下发现特征空间局部几何,通过三类校准缓冲区检索机制消除区域覆盖缺口,在十项基准上使加权覆盖缺口平均降低 14.8%。
- Semiparametrically Efficient Inference for Kernel Measures of Noise Heterogeneity
-
针对加性噪声模型中第一阶段非参数回归误差在残差核检验中引入伪相关性的难题,本文提出了基于希尔伯特空间有效影响函数的去偏一步核协方差算子估计器,在原假设下消除了标量 HSIC 的一阶退化效应,实现了校准的拟合优度检验与半参数高效置信区间。
- SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws
-
针对长尾幂律先验的大规模类别高维高斯混合模型,本文解析证明了多分类逻辑回归在交叉熵损失下的序列学习机制与三阶段标度律,并给出PCA降维下的算力最优缩放法则。
- SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model
-
首次对两层非线性 ReLU 神经网络在线小批量 SGD 优化动态给出端到端理论证明,揭示具有线性快捷特征的异或模型中伪特征如何以指数速度抢先增长并抑制二次信号特征学习。
- Sharp Feature-Learning Transitions and Bayes-Optimal Neural Scaling Laws in Extensive-Width Networks
-
本文在隐藏层宽度与输入维度同阶的大宽度极限(\(k=\Theta(d)\))下,通过留一法解耦推导出教师-学生网络贝叶斯最优泛化误差与特征重叠度的闭合不动点方程,揭示特征逐级阶梯式涌现的尖锐一阶相变,并用统一有效宽度 \(k_c\) 严格论证了神经缩放法则的内在机制。
- Sharpness of Minima in Deep Matrix Factorization
-
本文推导出了深度矩阵分解与深度线性神经网络任意全局极小值处 Hessian 矩阵最大特征值的首个精确闭式解,证明了平坦极小值本质上由谱范数平衡决定而非 Frobenius 范数平衡,并首次在深度矩阵分解中经验性刻画了基于动力学稳定性的逃逸现象。
- Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
-
针对循环脉冲神经网络(RSNN)在无梯度强化学习中因有限种群噪声导致更新步长失控和边界崩溃的问题,本文提出了信号自适应置信域(SATR)更新律,通过将逐维度 KL 散度约束动态耦合至经验信号能量,在伯努利连接分布下推导出闭式自然梯度更新,并结合硬件级 Bitset 位运算加速,在 Brax 连续控制任务上实现了极高的训练稳定性与计算效率。
- Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
-
本文用单目标采集函数的向量帕累托搜索生成候选,再以预测均值的超体积筛选查询点,并用 MO-Hedge 自适应选择采集策略;在九个基准上表现有竞争力,但低运行开销的优势主要体现在批量设置,不能概括为所有设置都最快。
- SimpleEvol: An Agent-Loop Framework for LLM-Driven Automated Heuristic Design with Minimal Human Priors
-
SimpleEvol 用单条“生成代码—执行评价—压缩记忆”搜索轨迹替代复杂的种群与进化算子编排,在十个 LLM 上获得最高的 TSP/CVRP 智能转化回归斜率,并在 GPT-5-mini 下取得更低的各规模测试 gap,但这不等于证明“先验越少必然越好”。
- Sinkhorn Based Associative Memory Retrieval Using Spherical Hellinger Kantorovich Dynamics
-
本文将现代Hopfield联想记忆拓展至离散经验测度(加权点云),基于去偏Sinkhorn散度构建Log-Sum-Exp能量泛函,并导出显式协同更新支集位置与粒子权重的球面Hellinger-Kantorovich梯度流及其确定性检索算法,具备维度指数级的存储容量与几何收敛保证。
- Skip the Hessian, Keep the Rates: Globalized Semismooth Newton with Lazy Hessian Updates
-
针对机器学习中广泛存在的导数非光滑复合优化问题,本文提出了首个兼具惰性 Hessian 更新(多步复用陈旧曲率算子)、非渐近全局收敛速率与渐近超线性收敛率的半光滑牛顿法(GLAd-SSN),在大规模二阶优化中大幅削减曲率计算耗时并保持理论速率优势。
- Slower Generalization, Faster Memorization: A Sweet Spot in Algorithmic Learning
-
揭示在结构化输出的算法学习任务中,验证集精确匹配泛化在适中的数据集规模下收敛最快(存在数据集规模“甜点”),推翻了数据越多必然加速验证收敛的直觉,并阐明部分规则学习可反向加速训练拟合。
- Slowly Annealed Langevin Dynamics: Theory and Applications to Training-Free Guided Generation
-
本文提出了缓慢退火朗之万动力学(SALD)的边际逆向 KL 微分不等式非渐进收敛理论,并进一步针对扩散与流匹配模型设计了速度感知动力学(VA-SALD),将先验传输速度与引导残差解耦,实现了理论有界且高质量的无训练引导采样。
- SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization
-
针对多目标贝叶斯优化在历史任务迁移中面临的元任务不确定性传递与跨目标相关性建模难题,本文提出了 SMOG 模型,通过可扩展的结构化高斯过程联合先验,在保持对元任务数量线性计算复杂度的同时实现了闭式目标先验推导与跨目标依赖建模。
- Smoothed Score Queries and the Complexity of Sampling
-
本文证明高维高斯采样中,平滑分值查询能将对条件数 \(\kappa\) 的查询复杂度从传统一阶梯度的 \(O(\sqrt{\kappa})\) 骤降至多项式对数 \(\mathrm{polylog}(\kappa)\),并通过逆 Shannon 信道合成建立了近乎匹配的信息论下界。
- Sobolev Regularized MMD Gradient Flow
-
针对最大均值差异(MMD)与核斯坦差异(KSD)梯度流非凸性导致的收敛瓶颈,本文提出对检验函数施加梯度罚项的索伯列夫正则化 MMD(SrMMD)流,在连续和离散时间下证明了不依赖目标测度等周常数的全局指数收敛性,并给出了统一适用于未归一化采样与生成建模的高效粒子实现。
- SplineFlow: Flow Matching for Dynamical Systems with B-Spline Interpolants
-
针对传统流匹配采用分段线性插值监督信号导致动力系统曲率失真与震荡的问题,本文提出基于 Cox-de Boor 递归 B 样条插值构建条件概率路径的 SplineFlow,兼具确定性 ODE 动力学渐进导数逼近保证与随机 SDE 漂移-得分回归能力。
- SS-eSOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning
-
本文提出 SS-eSOAP 优化器,通过将 Kronecker 结构预条件与沿位移方向的标量割线能量校正相结合,并引入基于非对角能量的自适应基底更新与方差状态下采样,成功克服了 PINN 高精度优化中的病态刚性难题。
- Stochastic Dynamic Barrier Perturbed Gradient Methods for Nonconvex Simple Bilevel Optimization
-
针对上层和下层目标均为光滑非凸函数的随机简单双层优化问题,提出扰动对偶动态障碍物法(SDBPG)与无需稀有访问假设的罚正则化方法(PR-SDBPG / VR-PR-SDBPG),首次建立了显式的 \((\epsilon_f, \epsilon_g)\)-稳态点样本复杂度理论保证。
- Stochastic Grouping Conformal Prediction for Effective Subgroup Reliability
-
针对标准保形预测仅能保障全群体平均覆盖而掩盖敏感子群体失误、现有子群校准又易引发预测集膨胀与小样本不稳定的困境,本文提出随机分组保形预测(SGCP),通过学习样本自适应的隐式局部得分律混合模型与后验均值映射,在无需预定义敏感属性的前提下显著降低子群覆盖偏差并维持极高预测集效率。
- Stochastic Zeroth-Order Optimization Under Heavy-Tailed Noise
-
针对机器学习中普遍存在的无限方差重尾梯度噪声,本文提出基于共享随机性与单方向标量截断的双点零阶优化算法 RSC-ZO 及其动量变体,在弱 \(L_p\) 条件下首次建立了非凸零阶高概率收敛界,实现了匹配一阶下界的 \(\widetilde{O}(d^{\frac{p}{2(p-1)}}\varepsilon^{-\frac{3p-2}{p-1}})\) 查询复杂度。
- Sublinear Time Quantum Sensitivity Sampling
-
针对大规模数据摘要与逼近问题,本文提出了一个通用的量子敏感度采样框架,基于格罗弗搜索与递归分半缩约,在不依赖数据特定参数(如条件数、矩阵范数)的前提下,首次实现了聚类、回归及多类低秩逼近任务在输入规模上的次线性时间核心集构建。
- Submodular Benchmark Selection
-
将大模型基准套件子集挑选严格形式化为多元高斯分布下的子模优化问题,证明贪心互信息选择在极小评测子集下通过捕捉与未选基准的紧密耦合显著优于贪心熵选择(主成分 Cholesky 分解),仅需 5 个 MMLU 学科即可实现高斯条件期望插补 \(R^2 \ge 0.91\)。
- Super-Level-Set Regression: Conditional Quantiles via Volume Minimization
-
针对多变量条件分位数预测区域估计中的“先估全密度再阈值化”两步法瓶颈,提出超水平集回归(SLS),通过收缩概率窗口代理目标消解体积目标与模型自身条件分位数的隐式耦合,实现复杂非凸多峰条件最高密度区域的直接几何参数化与端到端优化。
- Supervised Distributional Reduction via Optimal Transport and Dependence Maximization
-
本文提出有监督分布约简(SDR)框架,结合熔合 Gromov-Wasserstein 最优传输与基于 CKA 的显式依赖性最大化以解决监督梯度瓶颈,并通过再生核希尔伯特空间(RKHS)正则化投影实现样本外泛化与非平稳自适应高斯过程核构建。
- SURF: Steering the Scalarization Weight to Uniformly Traverse the Pareto Front
-
论文揭示了多目标优化中均匀采样标量化权重导致非均匀 Pareto 前沿覆盖的几何本质,提出了基于弧长累积分布函数(CDF)逆变换的采样框架 SURF,在无需修改内部单目标求解器的前提下以 \(\mathcal{O}(N^{-2})\) 离散极限实现沿 Pareto 前沿的严格均匀遍历。
- Surprises in Proper Positive-Only Learning
-
论文彻底解决了正样本 PAC 学习领域长期悬而未决的“真学习(Proper Learning)”完全刻画难题,证明概念类真可学当且仅当具有有限 VC 维且满足一致外部可分性(UES),并揭示了正样本下真与非真学习分离、确定性与随机化分离以及 ERM 失效等一系列颠覆常识的理论现象。
- Symmetry Guarantees Statistic Recovery in Variational Inference
-
本文建立了变分推断中基于对称性的统计量恢复通用理论,证明当目标分布关于变换群不变且变分族关于该群稳定时,唯一变分极小值点必继承对称性并落入统计量不动点集,不仅统一了解释位置-尺度族下的均值与协方差恢复,还首次为超球面 von Mises–Fisher 族导出了对称轴方向恢复保证及相变临界阈值。
- TagBO: LLM-Driven Task-Aware Graph Bayesian Optimization for Scientific Discovery
-
针对科学发现中离散物理描述符与目标任务脱节导致的非线性优化偏差,提出 TagBO 框架,通过提取大模型粗粒度排序先验与理化特征图结构进行自适应多目标对齐,构建保序平滑的联合连续搜索空间,在低预算化学反应与材料配方实验中大幅提升样本探索效率。
- Taking the Road Less Scheduled with Adaptive Polyak Steps
-
本文针对 Schedule-Free 优化器仍需人工网格搜索基准学习率的痛点,通过最小化参数距最优解距离的上界,推导了适配 Schedule-Free 迭代平均机制的自适应 Polyak 步长,彻底摆脱了预设训练步长与学习率调优的负担。
- Teacher-Aware Evolution of Heuristic Programs from Learned Optimization Policies
-
将预训练黑盒神经优化策略作为行为教师,在候选启发式程序访问的状态上查询动作偏好形成局部行为反馈,通过大模型反思与帕累托进化搜索出无需神经网络推理的高性能静态可执行程序。
- Tensorion: A Tensor-Aware Generalization of the Muon Optimizer
-
本文提出了一种感知张量多重线性结构的优化器 Tensorion,通过将 Muon 的谱范数约束优化视角从矩阵提升至高阶张量,基于对偶核范数构造出紧致且可解的松弛线性极小化神谕(LMO),在卷积核与高阶张量参数上实现了超越 SGD 和 AdamW 的收敛性与泛化表现。
- Test time training enhances in-context learning of nonlinear functions
-
证明了结合测试时训练(TTT)的单层 Transformer 能够在上下文提示下学习动态变化的非线性单指标模型,突破标准上下文学习对非线性连接函数无法自适应及渐近方差不可消除的理论瓶颈。
- The Implicit Bias of Hyperbolic Representation Learning for Multiclass Data: A Busemann Risk Perspective
-
本文通过大半径下双曲距离的径向-Busemann分解,首次对置换等变相对间隔(PERM)多分类损失下的黎曼梯度流建立了渐近分析理论,揭示了径向逃逸/回弹的二分性以及边界方向收敛至Busemann风险驻点的隐式偏置机制。
- The Multi-Block DC Function Class: Theory, Algorithms, and Applications
-
针对经典差分凸(DC)规划在现代机器学习多块结构中难以显式构造分解且单项复杂度呈指数爆炸的问题,本文提出了多块差分凸(BDC)函数类,证明了其在单项式表示上相对于全局 DC 的指数级复杂度优势,并为深度 ReLU 网络推导了首个构造性的逐层 BDC 分解及其在广义平滑和随机设置下的非渐近收敛保证。
- The Query Complexity of Local Search in Rounds on General Graphs
-
本文首次系统研究了一般图上限制 \(t\) 轮交互查询的局部搜索黑盒复杂度,针对 \(n\) 节点图证明了关于分离数 \(s\) 与最大度 \(\Delta\) 的确定性上界 \(O(t n^{1/t}(s\Delta)^{1-1/t})\)、对任意连通图均成立的随机下界 \(\Omega(t n^{1/t} - t)\),并证明对高分离数常度图随机并行最速下降可达亚线性 \(O(n/\log n)\)。
- The Sign Code: The Hidden Binary Nature of Deep Networks
-
论文揭示了深度网络背后的离散二进制本质:对于所有保号激活函数(ReLU/SiLU/GELU/tanh),神经元激活可精确分解为符号与幅度两部分;在过参数化体系下,仅凭末层离散符号编码(Sign Code)构建的无权重最近邻分类器便足以匹敌完整网络精度,因果干预证明分类决策完全由符号路由主导而对幅度噪声高度免疫。
- The Symmetries of Three-Layer ReLU Networks
-
本文基于热带多面体几何与平衡复形理论,首次完整刻画了三层瓶颈ReLU网络(\(n_1 \le d\))在泛型参数下的参数纤维结构,揭示了由层复合引发的跨层连续平移与离散符号翻转新对称性,给出了符号模式决定的可识别性充要条件、多项式时间函数等价性判定算法,并阐明了这些对称性对梯度流局部守恒律的影响。
- The two clocks and the innovation window: When and how generative models learn rules
-
本文通过可控合成规则任务揭示了生成模型训练中解耦的“两只时钟”——规则习得时刻 \(\tau_{\text{rule}}\) 与训练集记忆化时刻 \(\tau_{\text{mem}}\),指出两者的时间差构成了生成模型产生新颖有效样本的“创新窗口”,并通过能量函数、去噪分数匹配谱分解与吸引子动力学景观给出了统一机制解释。
- TILT: Target-Induced Loss Tilting under Covariate Shift
-
本文提出面向协变量偏移无监督领域适应的目标诱导损失倾斜(TILT),将源预测器解耦为可部署主模型与辅助残差项,利用无标签目标域数据惩罚辅助分量,无需估计或截断潜在发散的密度比即可实现严格等价于相对重加权的超额风险最小化。
- Towards Understanding Momentum Acceleration in River-Valley Loss Landscape
-
本文针对大语言模型预训练中广泛存在的非凸「河谷」损失地形,建立了重球动量的非渐近收敛理论,证明动量本身并不直接提升沿低曲率河流的巡航速度,而是通过阻尼横向陡峭山壁的有害震荡将最大容许稳定学习率放大约 \(\frac{1+\beta}{1-\beta}\) 倍,进而借由大学习率实现对低损失流形的大幅加速追踪。
- Towards Understanding the Power and Limits of the Muon Optimizer: A River-Valley Perspective
-
本文基于“河谷”几何视角构建混合加刺矩阵感知理论模型,揭示 Muon 依赖谱正交化在训练初期沿河谷信息流方向具备超快探索能力、但在后期因丢失残差尺度信息而必然产生震荡超调的内在机制,并由此提出“Muon前期探索 + AdamW后期精炼”的两阶段混合优化范式。
- Training-Induced Escape from Token Clustering in a Mean-Field Formulation of Transformers
-
建立带前馈网络参数优化的噪声均场Transformer理论,严格证明训练驱动网络深度动力学演化出「浅层聚类、中层收费站平台、终层逃逸」的三阶段相变结构。
- Training for the Model You Return: Improving Optimization for Iterate-Averaged Language Models
-
将大语言模型训练中“最终返回迭代平均模型”这一现实设定抽象为连续时间随机最优控制问题,推导出拉回当前权重至其历史 EMA 的最优控制律,并提出轻量级 AdamW 包装优化器 PACE,在预训练与指令微调中实现无需退火即可超越传统学习率衰减的鲁棒表现。
- Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex
-
本文证明了在概率单纯形策略上,用(交换)悔值损失直接端到端训练单层自注意力架构时,其驻点在前向传播中恰好等价于带有 \(\widetilde{\Theta}(1/\sqrt{T})\) 学习率的平滑虚构行动(实现外部无悔与粗相关均衡)以及由固定点层拼接多头的 Blum-Mansour 算法(实现无交换悔与相关均衡)。
- Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH
-
针对高维层次化 CASH 问题,LB-MCTS 将优化过程建模为蒙特卡洛树搜索,利用共享树状态统一大模型语义先验与贝叶斯优化定量搜索,结合选择性调优记忆与可靠性自适应提议策略,在 104 个 AMLB 数据集上取得显著优于传统 BO 与纯大模型基线的优化表现。
- Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion
-
针对两级 Softmax 采样中由聚类规模不均衡与簇内相似度离散度引起的系统性采样扭曲,本文提出 S-2LS 与 SD-2LS 两种理论修正方案,在保持亚线性计算复杂度的同时使逼近误差降低数个数量级。
- Two Speeds of Learning: A Representation-Readout Decomposition of Grokking and Double Descent
-
将神经网络解耦为非线性编码器与线性读出层,提出结合临界维度、流形几何、线性探测与末层 NTK 对齐的自顶向下诊断框架,揭示点悟与双重下降源于表示学习与读出校准的“两种学习速度”失衡,并成功判别虚假泛化。
- Understanding Generalization Requires Universal Induction
-
证明经典统计学习理论及其元学习均受制于无免费午餐定理,唯有以物理计算可达性为基准的相对化所罗门诺夫归纳(Oracle Solomonoff Induction)能从算法互信息守恒上为通用 AI 的泛化提供非平凡理论解释。
- Understanding Gradient Orthogonalization for Deep Learning via Non-Euclidean Trust-Region Optimization
-
本文首次建立了梯度正交化方法(如Muon)与非欧几里得谱范数置信域优化之间的理论等价性,提出了带动量、权重衰减及外推的统一随机算法框架,并给出了非凸、星凸与二阶光滑设定下的收敛率分析。
- Understanding Sample Efficiency in Predictive Coding
-
本文通过“目标对齐”指标从理论上解析了预测编码(PC)优于反向传播(BP)的样本效率机制,证明了 PC 中平衡态推断产生的预条件矩阵能天然抵消权重畸变带来的学习干扰,并推导出了单样本与批处理下达到无干扰最优化更新的精确重缩放条件。
- Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
-
通过建立连续时间极限常微分方程与离散李雅普诺夫函数,严格证明了标准形式的 Schedule-Free GD 与 SGD 在非凸光滑目标下达到一阶最优收敛率,并在微小扰动下几乎必然规避严格鞍点。
- Understanding the Curse of Unrolling
-
本文首次为算法展开中导数迭代初期偏离真实雅可比矩阵的“展开之诅咒”提供了完整的非渐近理论分析,证明了早期迭代误差累积会导致 \(\mathcal{O}(k\rho^k)\) 的暂态误差膨胀项,并证明截断早期求导与双层优化中的热启动能有效消除该诅咒并在固定算力预算下显著提升超梯度精度。
- Uniform-in-Time Weak Propagation of Chaos in Shallow Neural Networks
-
本文针对浅层神经网络特征学习区,首次在无需动力学加噪或局部强凸假设的确定性无噪梯度流设置下,利用平均场能量泛函自身的收敛率建立了时间一致(Uniform-in-time)的弱混沌传播上界,证明了只要平均场总体损失收敛快于 \(t^{-2}\),仅需 \(\operatorname{poly}(d/\epsilon)\) 宽度的网络即可在任意长训练时间内将泛化均方误差控制在 \(\epsilon\) 以内。
- Universal Adaptive Proximal Gradient Methods via Gradient Mapping Accumulation
-
论文针对包含非光滑正则项的复合优化问题,提出了一种基于历史梯度映射范数累加的通用自适应近端梯度算法(以及针对凸问题的加速变体),在无需任何问题先验参数的前提下,统一在非凸光滑、凸非光滑与凸光滑三类函数上自适应达到匹配近端梯度法的最优或近最优收敛速率。
- Universal Approximation Theorems for Dynamical Systems with Infinite-Time Horizon Guarantees
-
针对现有动力系统逼近理论局限于有限时间域或单吸引子衰减记忆系统的理论空白,本文基于拓扑结构稳定性理论建立了首个多稳态连续动力系统的无限时间域通用近似框架,提出了精度与可靠性解耦的 \(\varepsilon\)-\(\delta\) 逼近度量,并在固定点、极限环和连续吸引子三类动力学基元上证明了有限规模神经ODE的无限时间轨迹保真性。
- Unpaired Canonical Correlation Analysis
-
针对跨视图数据缺乏样本级配对这一统计多视图表征学习瓶颈,本文建立无配对典型相关分析(UCCA)理论,证明白化核二次分配问题(QAP)等价于最大相关性配对松弛,并提出基于聚类锚点与 QAP 求解器的实用无配对线性投影算法,显著逼近配对 CCA 的性能上限。
- Variance Reduction for Expectations with Diffusion Teachers
-
针对预训练冻结扩散模型作为教师在 SDS 优化、单步蒸馏与数据归因中蒙特卡洛梯度估计方差大、计算代价昂贵的问题,本文提出 CARV 框架,通过计算感知的分层蒙特卡洛重加噪复用、基于显式权重的步长重要性采样以及分位数分层采样,在不改变原始目标的前提下实现了 2-3 倍有效算力乘数提升。
- Very Fast Bayesian Additive Regression Trees on GPU
-
针对贝叶斯可加回归树(BART)在传统 CPU 上因树结构动态变化和 MCMC 串行采样导致难以处理大规模样本的瓶颈,本文基于 JAX 提出了一种定长二叉堆矩阵表征与无分支(branchless)向量化算法,在保持完整贝叶斯推断的同时在 GPU 上实现最高 200 倍加速,使 BART 的运行时间可与 XGBoost 正面匹敌。
- Wavelet Flow Matching for Multi-Scale Physics Emulation
-
本文提出小波流匹配(Wavelet Flow Matching, WFM),将最优传输条件流匹配重构于多尺度小波空间,利用分层 U-Net 联合预测各尺度子带流速度,在无需预训练自编码器的前提下实现长程稳定且高频谱保真度的偏微分方程动力学生成模拟。
- When and Why SignSGD Outperforms SGD: A Theoretical Study Based on \(\ell_1\)-norm Lower Bounds
-
论文打破了传统 \(\ell_2\) 欧氏几何下 SGD 极小化极大最优的理论壁垒,建立了契合符号更新特性的 \(\ell_\infty\) 平滑与可分噪声理论框架,首次从理论上证明 SignSGD 相比 SGD 能在稀疏噪声下取得高达 \(d\) 倍的维度复杂度加速,并将该框架通过 SVD 动态同构完美推广至矩阵优化器 Muon。
- When Does Trimming Help Conformal Prediction? A Retained-Law Diagnostic under Calibration Contamination
-
将校准集异常修剪重新表述为向诱导「保留分布」的条件化过程,建立精确有限样本覆盖恒等式与保留法则诊断,定量分离干净侧协方差失真与脏点留存比率代价。
- When One Leak Pays Forever: Context Binding and the Price of Deterring Collusion
-
论文用一次终止性泄露所能触及的未来价值流刻画联盟威慑的精确门槛,证明密钥真正按上下文隔离时只需覆盖单轮价值,而长期复用在无折扣的有限期内可把所需责任敞口放大到单轮的 \(T\) 倍。
- Zeroth-Order Sharpness-Aware Learning with Exponential Tilting
-
本文提出基于指数倾斜的零阶锐度感知优化算法 ZEST,通过倾斜参数在平均损失平滑与极值损失之间构建连续过渡,不仅保持了经典零阶优化极低的显存开销,还在理论与实证上成功规避高曲率尖锐极小值,显著提升了大语言模型下游任务的泛化性能。
- 分层保形分类:利用类别层次结构构建紧致且具覆盖保证的预测集 (Hierarchical Conformal Classification)
-
本文提出分层保形分类(HCC)框架,将有向无环图(DAG)形式的类别层次结构显式引入保形预测的预测集构建中,通过非重叠叶覆盖剪枝将原本组合爆炸的搜索空间急剧缩减,在严格保持有限样本覆盖率理论保证的同时,自适应权衡预测集合紧凑度与语义特异性,显著生成更符合人类认知且实用的预测集。
- SpecDrop: Parameter-Free Category-Conditioned Routing for Modular Specialization
-
SpecDrop 用固定类别到分支映射、非零跨类别软权重和定分母融合塑造模块专门化,在可信类别标签可用于推理的视觉任务上优于不使用标签的匹配基线,但标签感知的稠密输出掩码准确率更高,且模糊文本划分上的路由增益接近零。