📖 NLP 理解¶

🧠 NeurIPS2025 · 3 篇论文解读

Generalization Error Analysis for Selective State-Space Models Through the Lens of Attention: 将选择性SSM（Mamba）展开为注意力形式，利用覆盖数技术推导出受连续时间状态矩阵谱横断面\(s_{\mathbf{A}}\)控制的泛化界——\(s_{\mathbf{A}}<0\)时泛化界与序列长度无关，\(s_{\mathbf{A}}\geq0\)时指数增长，并证明这种依赖不可消除。
Planning without Search: Refining Frontier LLMs with Offline Goal-Conditioned RL: 提出PNLC方法，通过训练轻量级目标条件价值函数作为"自然语言评论家"，在推理步骤层面引导LLM智能体进行多轮规划和自我精化，无需直接微调或推理时搜索，在Web导航、社交推理、劝服等复杂交互任务上显著超越现有方法且推理速度快8-10倍。
Weak-to-Strong Generalization under Distribution Shifts: 本文发现朴素的弱到强泛化在分布偏移下会失败（强模型甚至不如弱监督者），并提出 RAVEN 框架，通过动态学习多个弱模型的最优组合权重来实现鲁棒的弱到强泛化，在 OOD 任务上超越 baseline 超过 30%。