Automated Reformulation of Robust Optimization via Memory-Augmented Large Language Models¶

会议: NeurIPS 2026
arXiv: 2605.11813
OpenReview: https://openreview.net/forum?id=zQKV5SkKAi
领域: 优化/理论
关键词: 鲁棒优化, 大语言模型, 记忆增强推理, 自动重构, 免微调上下文演化

一句话总结¶

针对鲁棒优化（RO）中将不确定规划手动转化为确定性对偶形式耗时费力且极易推导错误的瓶颈，本文提出首个专用基准 AutoRO-Bench 与免微调记忆增强重构框架 AutoREM，通过单元级经验沉淀与双检提交机制实现紧凑无冗余的高质量对偶重构知识自主演化，在多种基座模型与分布外测试上取得显著优于现有记忆方法与专家 Prompt 的精度和推理效率。

研究背景与动机¶

鲁棒优化（Robust Optimization, RO）作为应对参数不确定性下决策制定的重要数学工具，在运筹优化与工程控制中得到了极其广泛的应用。然而，RO 从建模到求解的实际落地往往面临严重瓶颈：传统流程包含“问题形式化（Formulation）- 数学重构（Reformulation）- 求解器求解（Solving）”三个阶段。虽然近年来大语言模型（LLM）在运筹建模和求解代码编写上展现了惊艳的潜力，但位于核心枢纽的“重构阶段”仍极度依赖人工手动推导。将包含无穷多不确定性约束的模型转化为可计算的确定性鲁棒等价式（Robust Counterpart, RC），需要严密结合凸分析与线性规划对偶理论进行逐行代数转换，这一极高的专业门槛严重制约了鲁棒优化的规模化普及。

针对 LLM 复杂数学推理能力的增强，现有方法主要分为参数微调与免微调上下文适应两大路线。基于强化学习（RL）的后训练不仅需要庞大的采样计算开销，且近期研究表明其本质更多是“分布锐化”而非赋予模型全新能力；免微调的上下文演化方法（如 ACE、ReasoningBank）虽然具有轻量高效、可复用经验的优势，但直接迁移至严谨的 RO 重构任务时暴露出致命弊端：现有记忆机制普遍采用“只增不减（additive-only）”的粗粒度累加模式，缺乏步级与轮级严密的质量校验与回滚保障。在严格的数学推导中，单条带符号错误或矛盾的记忆条目就足以使整体推理全盘崩溃，盲目堆叠海量经验甚至会导致模型性能比基座模型还退步。

为彻底解决鲁棒优化重构无法系统评估、缺乏免微调可靠演化机制的困境，本文提出了系统性评估基准 AutoRO-Bench 与免微调记忆增强框架 AutoREM。核心 idea：将重构经验解构为约束行粒度的“单元级经验”，并通过结构化增删改算子、步级双检提交防退步门控与轮级全集回滚机制，自主反思沉淀出极度紧凑且即插即用的无专家标注鲁棒重构模板。

方法详解¶

整体框架¶

AutoREM 框架由“离线自适应（Offline Adaptation）”和“在线推理（Online Inference）”两个闭环阶段构成。在离线自适应阶段，系统利用 AutoRO-Bench 自动化生成的不确定性规划实例，驱动重构器（Reformulator）进行推导并交由求解器执行校验；当推导失败时，反思器（Reflector）在临时记忆副本上提议原子化编辑，经步级双检（DCC）与轮级验证集验收（VBA）双重把关，确保只有严格正确的经验被固化到经验记忆库中。在在线推理阶段，系统采用隐式检索范式（Implicit Retrieval），直接将离线收敛生成的紧凑结构化文本经验库注入重构器的 Prompt 上下文中，由大模型自身的注意力机制按需激活对偶变换模式，最后由强代码生成器生成标准求解器代码完成求解验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["不确定性规划实例<br/>LaTeX 数学模型 / 自然语言问题"] --> B["重构器推理<br/>Reformulator + 记忆注入"]
    B --> C["求解器执行校验<br/>Fixed Coder 翻译并比对 f*"]
    C -->|推导正确| D["跳过反思 / 记录正向命中"]
    C -->|推导失败| E["反思器提议算子<br/>基于 ULE 生成 SMO 增删改操作"]
    E --> F["双检提交门控 DCC<br/>锁定批次验证防退步"]
    F -->|双检通过| G["提交到全局记忆库<br/>更新经验-实例归因映射"]
    F -->|双检失败| H["失败反馈注入下一轮反思<br/>最多迭代 K 次"]
    G --> I["轮级全量验收 VBA<br/>未达历史最高即刻回滚"]
    I --> J["最终收敛紧凑记忆库<br/>8 个标准对偶模板"]

关键设计¶

1. 单元级经验与结构化记忆算子：细粒度原子化解构与显式维护 传统记忆增强代理通常以“完整问题”为粒度保存经验叙述，导致经验冗长且难以跨问题局部复用。针对 RO 重构中每个不确定约束行或目标函数本身具备独立对偶结构的数学特性，AutoREM 提出了单元级经验（Unit-Level Experience, ULE）。系统将记忆库组织为一系列独立的最小重构单元，每个单元仅关注特定不确定性集（如 Box、Budget、Polyhedral）与方向（min / max / 约束 \(\le\) 或 \(\ge\)）下的对偶变换规范。与之配合，结构化记忆算子（Structured Memory Operators, SMO）打破了既有框架纯追加写入（additive-only）的死结，为反思器赋予了 add、update、delete 三种原子操作。反思器直接输出统一的 JSON 操作指令，外部控制器在临时记忆副本 \(\hat{\mathcal{M}}\) 上精准执行局部编辑，彻底杜绝了不同规则间符号冲突或冗余堆叠的隐患。

2. 双检提交机制：步级微批次锁定防退步 在离线反思过程中，仅凭修复当前训练样本容易引发严重过拟合，甚至导致先前已答对的样本发生静默退步（silent regression）。为此，AutoREM 设计了双检提交（Dual-Check Commit, DCC）机制。当临时记忆副本 \(\hat{\mathcal{M}}\) 首次使当前错误样本推导成功时，外部控制器立即从验证集中锁定一个规模为 \(B\)（默认 \(B=4\)）的微批次样本 \(\mathcal{V}_s\)。该微批次优先抽取那些先前正确解正是归因于被修改经验项的“关联样本”（Linked Instances），剩余名额由当前正确的非关联样本补齐。只有候选记忆在锁定的微批次上全数测试通过，更新才允许正式提交至 \(\mathcal{M}\)；一旦发生退步，具体的回归失败信息（问题定义、错误输出、求解器误差）将被作为高价值反馈传回反思器，引导其进入下一轮内层微调。

3. 基于验证集的验收机制：轮级全局屏障与防漂移回滚 微批次 DCC 提供了低开销的步级防线，但局部有益的微小调整经过多步累积仍有可能对全局形成不可逆的性能污染。为彻底消除长期漂移，AutoREM 在每个 Epoch 结束时引入基于验证集的验收机制（Validation-Based Acceptance, VBA）。系统在每个训练轮次结束时，在规模为 \(|\mathcal{V}|=64\) 的全局留出验证集上全面评估当前记忆库 \(\mathcal{M}\) 的重构准确率。如果轮末准确率未严格超过历史最优指标 \(\mathrm{acc}^*\)，系统强制将记忆状态硬回滚至历史最优检查点 \(\mathcal{M}^*\)。VBA 充当了全局断路器，确保漫长的自适应轨迹始终单调演进，防止有害的局部调整逐渐腐蚀模型整体推理能力。

一个完整示例¶

以一个包含 Polyhedral 不确定性约束的鲁棒优化实例为例： - 原始输入：不确定约束 \(\sum_{j=1}^n \tilde{a}_{ij} x_j \le b_i\)，扰动项满足 \(\boldsymbol{\zeta}_i \in \mathcal{U}_{\text{poly}} = \{\boldsymbol{\zeta} \mid \mathbf{F}\boldsymbol{\zeta} \le \mathbf{g}\}\)。 - 初次推理与报错：基座 LLM 在推导内部最大化问题 \(\max_{\mathbf{F}\boldsymbol{\zeta}\le\mathbf{g}} \boldsymbol{\zeta}^\top \mathbf{x}\) 时，混淆了原问题与对偶问题变量的对应符号，误写成了 \(\mathbf{F}^\top \boldsymbol{\lambda} = -\mathbf{x}\)，导致求解器返回的目标值 \(\hat{f}\) 与真实值 \(f^*\) 不匹配（\(e_m=0\)）。 - SMO 原子修复与双检：反思器识别出符号错误，针对 ULE 条目提出 update 算子，纠正对偶平稳性条件为 \(\mathbf{F}^\top \boldsymbol{\lambda} = \mathbf{x}, \boldsymbol{\lambda} \ge \mathbf{0}\)，约束转换为 \(\bar{\mathbf{a}}_i^\top \mathbf{x} + \mathbf{g}^\top \boldsymbol{\lambda} \le b_i\)。临时修改在锁定批次 \(\mathcal{V}_s\)（包含 2 个关联约束样本和 2 个非关联样本）上运行全部通过。 - 最终收敛形态：经过 10 轮自适应，记忆库并未像对比方法那样膨胀成几十条冗长文本，而是极简地收敛为恰好 8 条 标准对偶变换模板（覆盖 Box、Budget、Polyhedral 与约束/目标方向的笛卡尔积组合），推理时直接全局注入，零检索开销。

损失函数 / 训练策略¶

AutoREM 采用纯免微调范式，无需任何反向传播参数更新。离线自适应配置为 \(E=10\) 个 Epoch，每轮 \(S=8\) 步，内层反思上限 \(K=3\) 次，双检批次大小 \(B=4\)，全局验证集 \(|\mathcal{V}|=64\)。基座模型选用 DeepSeek-V4-Flash，固定代码生成器采用更强的 DeepSeek-V4-Pro。推导一致性判定基于求解器最优目标值容差：\(|\hat{f} - f^*| / (|f^*| + 1) \le 10^{-4}\)。

实验关键数据¶

主实验¶

在 AutoRO-Bench 的核心重构任务三大测试集（同分布 Random、分布外硬约束 Hard、分布外大维度 Large）上，AutoREM 与基座 LLM、测试时算力扩展（Max Thinking）、领域专家提示词（Expert Prompt）及两大学术界前沿记忆框架（ReasoningBank、ACE）的对比结果如下表所示：

方法	Random 准确率 (%) ↑	Random 输出 Tokens ↓	Hard 准确率 (%) ↑	Hard 输出 Tokens ↓	Large 准确率 (%) ↑	Large 输出 Tokens ↓
Base LLM	87.5 ± 5.4	7777 ± 162	70.8 ± 10.0	9026 ± 295	76.0 ± 3.6	11757 ± 135
Max Thinking	90.6 ± 1.6	13857 ± 331	83.3 ± 1.8	14902 ± 651	77.1 ± 3.6	22695 ± 1164
Expert Prompt [39]	92.7 ± 3.3	8750 ± 200	83.3 ± 3.6	7549 ± 101	79.2 ± 9.5	13243 ± 1033
ReasoningBank [15]	85.4 ± 0.9	6575 ± 131	80.2 ± 4.8	8089 ± 701	71.9 ± 13.6	11774 ± 471
ACE [14]	87.0 ± 6.3	4419 ± 56	81.3 ± 9.4	5238 ± 570	63.5 ± 4.8	6706 ± 531
AutoREM (本文)	97.4 ± 0.9	6386 ± 56	94.8 ± 3.6	6944 ± 27	85.4 ± 7.1	10929 ± 238

在跨基座模型泛化能力测试中，直接将 DeepSeek-V4-Flash 上训练出的 8 条记忆库零样本迁移到闭源及异构大模型上： - GPT-5.4：基座 90.6%（Token 2871） \(\rightarrow\) AutoREM 96.9%（Token 2550），准确率提升 6.3%，Token 减少 11.2%； - Qwen3.6-Plus：基座 81.2%（Token 3448） \(\rightarrow\) AutoREM 88.5%（Token 2697），准确率提升 7.3%，Token 减少 21.8%。

在端到端自然语言输入 RO Application 数据集（32 题）上，AutoREM 达到 81.3% 准确率，显著超越传统运筹建模智能体 AlphaOPT（75.0%）、LEAN-LLM-OPT（68.8%）与 OptiTree（65.6%）。

消融实验¶

在验证集上对 AutoREM 核心组件进行独立剔除测试（每个变体仅移除对应模块，其余保持完整）：

配置	验证准确率 (%)	关键机制与影响说明
AutoREM (Full)	97.4%	完整模型，自适应收敛至 8 条高质量对偶重构模板
w/o ULE	90.6%	移除单元级经验，退化为整道题粗粒度经验，无法对约束行解耦归因，掉点达 6.8%（影响最大）
w/o SMO	92.2%	禁用增删改原子算子，退化为传统纯追加写入，引发冗余与符号规则相互踩踏
w/o DCC	93.8%	移除步级锁定双检门控，单样本过拟合导致已答对样本发生静默退步
w/o VBA	93.8%	移除轮级全局验证集屏障，有害的累积漂移无法在 Epoch 结束时触发硬回滚

关键发现¶

质量远胜于数量：现有记忆方法（ReasoningBank 积累 80 条具体实例笔记、ACE 累积 51 条策略与片段）因缺乏严格校验，存在大量矛盾规则与符号混乱，在严格数学重构任务上准确率甚至低于未经记忆增强的基座模型（85.4% / 87.0% vs. 87.5%）。AutoREM 仅收敛至 8 条严密模板，表现出极强的有效性。
分布外结构鲁棒性极高：在人为构造了多重符号反转与多面体极端约束的 Hard 集合上，基座模型暴跌 16.7%，专家提示词暴跌 9.4%，而 AutoREM 仅轻微下降 2.6%（94.8%），超出最强基线 11.5%，证明模型学到了不变的代数对偶机制而非死记硬背。
超参设计高度平衡：双检规模 \(B=4\) 恰好平衡了“测试多样性”与“反思提示词过长导致修复发散”；内层反思上限 \(K=3\) 仅在冷启动阶段使用，随后迭代轮数快速衰减至 1-2 轮即可收敛通过。

亮点与洞察¶

自动化反思完胜人工专家 Prompt：AutoREM 自主归纳的 8 条记忆模板性能全面超越运筹领域专家精心手写的 Prompt（97.4% vs 92.7%）。实验分析表明，反思器是“针对基座 LLM 在推导中的具体易错行为”提炼纠错规则，比面向人类专家的静态教程更具靶向性。
跨模型架构与参数规模即插即用：由于沉淀下的知识高度抽象为严谨的代数对偶公式与变量边界约束，在开源小模型上习得的经验无需任何微调即可直接迁移至超大规模旗舰商业模型，展现出极具潜力的跨架构通用性。
数学严谨任务下的双重质检范式：结合步级微批次归因锁定（DCC）与轮级宏观断路器（VBA），为 LLM 自我反思进化构建了“局部防退步 + 全局防漂移”的安全护栏，对其他定理证明与严格形式化推理任务具有重大借鉴价值。

局限与展望¶

依赖确定性目标值监督：当前离线自适应依赖求解器验证目标函数数值 \(f^*\) 作为强标量监督信号；对于不可行性检验、多目标或求解极其耗时的大规模混合整数不确定规划，该监督信号可能不可行或成本过高，未来可探索弱监督弱反馈机制。
问题范畴局限于线性鲁棒对偶：目前基准主要聚焦于线性规划（LP）下的三类经典凸不确定集（Box, Budget, Polyhedral），其鲁棒对偶形式仍为 LP；尚未延伸至二阶锥（SOCP）或半正定（SDP）形式的椭球不确定性（Ellipsoidal）及更复杂的分布式鲁棒优化（DRO）体系。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索大模型在鲁棒优化核心重构阶段的自动对偶推导，提出的免微调双层验证记忆框架设计极为精巧。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含同分布、极端硬约束、高维度扩展以及自然语言端到端应用的完整 AutoRO-Bench 基准，对比基线全面，跨模型与消融实验详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，数学推导严格完整，附录提供了详尽的生成算法、对偶证明及演化定性对比。
价值: ⭐⭐⭐⭐⭐ 成功攻克了运筹优化从现实不确定性建模到成熟求解器求解之间的关键代数瓶颈，为工业界高风险稳健决策提供了全新的低门槛自动化路径。