LensDesigner: A Self-Improving Agent for Optical Lens Design¶

会议: NeurIPS 2026
arXiv: 2609.30450
代码: https://github.com/xxx
领域: LLM Agent
关键词: 光学镜头设计, 自主智能体, 自我演化机制, 物理仿真环境, 课程学习

一句话总结¶

本文提出了首个面向经典成像光学镜头设计的自主智能体框架 LensDesigner，通过构建包含 18 万透镜结构的大规模光学透镜库 LensLib100K 提供物理种子，结合光学感知检索、宏观编排与物理护栏工具箱，并引入双智能体驱动的自演化机制持续提炼经验启发式，在首个包含 120 项极端光学设计基准 LensArena 上显著超越传统数值优化与大模型基线。

研究背景与动机¶

光学镜头设计是现代光学工程、智能手机成像、虚拟与增强现实（AR/VR）及自动驾驶感知的底层基石。然而，传统光学镜头设计本质上是一个极度复杂、高维且非凸的物理优化难题，涉及曲率半径、厚度间距、透镜折射率与色散系数等数十维连续离散混合参数。传统设计流极度依赖资深光学专家的直觉经验与数十年积累的先验配置作为初始结构，若缺乏优质结构种子，商用数值仿真工具（如 Zemax OpticStudio、CODE V）中的局部优化算法极易陷入局部最优；而基于遗传算法或神经进化的自动寻优方法动辄需要数天的算力消耗，且对超出狭窄设计范围的新参数泛化能力极弱。

大语言模型（LLM）虽然蕴含广泛的光学物理与光学工程领域知识，并具备优秀的工具调用与自省反思能力，但大语言模型天生不擅长精准的连续数值计算与严苛物理几何约束求解。如果直接使用普通提示词或上下文学习（In-Context Learning），LLM 频繁出现穿透重叠、厚度压缩至零、极端彗差或畸变爆炸等严重违反物理可行性的结构退化，无法应对高精度光学工程任务。如何借鉴资深光学工程师“基于种子结构进行宏观拓扑调整、借助仿真环境微观验证、并从复杂案例中提炼可复用设计经验”的问题解决模式，构建具备闭环物理演化能力的光学设计智能体，成为光学与 AI 交叉领域的核心空白。

针对上述挑战，本文提出将光学先验结构库、确定性宏观编排与双智能体课程学习闭环结合。核心 idea：构建十万级真实光学透镜库 LensLib100K 与非对称光学感知检索以打破冷启动瓶颈，通过物理护栏约束的工具箱对结构种子进行宏观几何拓扑编排与梯度微调，并借助课程智能体驱动的“任务生成-物理反馈-因果反思-技能蒸馏”闭环，实现零权重更新下的光学设计直觉自演化。

方法详解¶

整体框架¶

LensDesigner 的运行架构模拟了人类光学专家的完整工作流，主要由四大核心阶段闭环构成：基于 LensLib100K 的光学感知检索（Optics-Aware Retrieval）、确定性宏观编排（Macro Orchestration）、受物理护栏严格保护的光学工具箱（Optical Tool Suite）执行与 Zemax 真值验证，以及由课程智能体（Curriculum Agent）引导的光学感知自我演化（Optics-Aware Self-Evolving）。

系统的完整推理与自演化数据流如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["设计需求输入<br/>(FoV, #F, EFFL)"] --> B["1. 光学感知检索与种子初始化<br/>离线近轴光线追迹与非对称距离评分"]
    B --> C["2. 确定性宏观编排与双层评估<br/>SOP状态流转 + 快速近轴预筛 + 熔断保护"]
    C --> D["3. 物理护栏光学工具箱执行<br/>保光焦度拆分 / 惩罚局部优化 / DLS验证"]
    D --> E{"Zemax DLS 光线追迹<br/>RMS 弥散斑与公差达标?"}
    E -->|达标成功| F["输出物理合规镜头结构"]
    E -->|未达标/失败| G["4. 课程自演化反思与技能持久化<br/>因果轨迹归因 / 极端参数提炼 / 注入技能库"]
    G -.->|经验注入 Prompt| C

关键设计¶

1. 光学感知检索与种子初始化：基于物理非对称先验的结构破局

传统 RAG 依赖文本语义相似度或简单的欧氏参数距离，但在光学工程中，不同光学参量的几何可调性存在本质物理差异。例如，视场角（FoV）直接受光学系统内部主光线入射角与元件孔径光阑拓扑制约，后验拓扑优化极难强行扩大视场；而对于相对孔径（F数，#F），缩小孔径（#F 变大）只需加装或收紧光阑即可天然削减边缘球差，安全且稳定，但强行扩大孔径（#F 变小）则会引入暴增的高阶球差与彗差。因此，作者设计了结合近轴光线追迹先验与非对称惩罚的光学感知距离：

\[d = w_{\text{FoV}} \cdot \left| \frac{\text{FoV}_{\text{lens}} - \text{FoV}_{\text{tgt}}}{\text{FoV}_{\text{tgt}}} \right| + w_{\text{\#F}}^{\pm} \cdot \left| \frac{\text{\#F}_{\text{lens}} - \text{\#F}_{\text{tgt}}}{\text{\#F}_{\text{tgt}}} \right| + w_{\text{RMS}} \cdot \text{RMS}_{\text{lens}}\]

其中视场角惩罚权重 \(w_{\text{FoV}}\) 赋予极高对称权重 10.0；相对孔径权重 \(w_{\text{\#F}}^{\pm}\) 采用方向非对称设计，当候选结构孔径小于目标（即候选 #F 大于目标）时施加严格惩罚 \(w_{\text{\#F}}^{+} = 1.0\)，而当候选结构孔径大于目标（候选 #F 小于目标，即缩小光阑即可匹配）时给予宽松惩罚 \(w_{\text{\#F}}^{-} = 0.5\)；近轴弥散斑 RMS 仅作为打破平局项赋权 0.01。配合两阶段重排（FAISS 粗筛 Top-20 + 轻量大模型精筛 Top-5），并当遇到 FoV 偏差超 10° 或 #F 偏差超 0.5 的分布外（OOD）极端需求时自动挂载标准化作业程序（SOP），保证智能体始终拥有可靠的物理起点。

2. 确定性宏观编排与双层评估：结构化控制流与安全熔断

为避免大模型在无界动作空间中发散，宏观编排模块将工程推理固化为确定性有限状态机式 SOP。系统引入双层评估（Two-Tier Evaluation）机制：首先利用自研 Python 近轴光线追迹器作为毫秒级快速粗筛，对有效焦距（EFFL）偏差超过 2% 或视场角偏差超 50% 的病态结构直接拦截，避免频繁调用昂贵商业仿真内核；仅通过初筛的候选结构才经由 Flask-Bridge 通信协议提交至底层 Ansys Zemax OpticStudio 进行严格的有限元非近轴光线追迹与阻尼最小二乘（DLS）微调。同时，编排器内置基于滑动窗口（10 步历史）的循环熔断机制（Circuit Breaker），若同一工具与参数组合在窗口内连续触发 3 次即强行中止并转移解题策略，杜绝振荡死循环。

3. 物理护栏光学工具箱执行：基于光焦度守恒与约束优化的几何调整

针对光学加工与成像质量的硬性物理规律，工具箱内嵌了领域硬约束机制：在焦距缩放（align_effl）中保持全系统相对像差轮廓，严格限制单次缩放比例不超过 300%；在单面修改（modify_lens）中限制通光孔径调节比在 \([0.5, 3.0]\) 之间，强制仅允许 CDGM 实物玻璃库替换，并自动同步全系统 F 数；针对深层高阶相差消除，提供保光焦度透镜拆分（split_lens），将单片正透镜拆分为双胶合/双分离镜片，严格遵循薄透镜光焦度守恒：

\[\phi_{\text{orig}} = \frac{n_d - 1}{R_{\text{orig}}}, \quad \phi_1 = r \cdot \phi_{\text{orig}}, \quad \phi_2 = (1-r) \cdot \phi_{\text{orig}}, \quad R_i = \frac{n_d - 1}{\phi_i}\]

其中光焦度分配比 \(r \in [0.2, 0.8]\)（默认 0.5）。此外，局部梯度优化（local_optimize）在目标函数中显式构建了软惩罚机制：

\[\widetilde{\text{RMS}}(\mathbf{R}) = \text{RMS}(\mathbf{R}) + \beta \cdot \text{RMS}_0 \cdot \max\left(0, \frac{|\text{EFFL} - \text{EFFL}_0|}{|\text{EFFL}_0|} - \tau\right)\]

设置惩罚权重 \(\beta = 0.5\)、容差阈值 \(\tau = 0.03\)，有效防止优化器为了过度压榨弥散斑而牺牲宏观系统焦距。

4. 课程自演化反思与技能持久化：经验因果提炼与零权重更新自适应

为实现专家级直觉的持续演进，系统部署由课程智能体（Curriculum Agent）和设计智能体（Design Agent）构成的自演化双轨机制。课程智能体自主生成从常规透镜参数到超大视场（FoV 达 180°）、超大光圈（#F 小至 0.7）的渐进式设计任务；设计智能体在解题时详细记录“几何操作 \(\rightarrow\) 物理状态变化（\(\Delta\text{RMS}, \Delta\text{EFFL}\)）”的因果时序轨迹。蒸馏模块不仅总结成功路径，更主动从负样本（如材料置换引发的色散失控或几何穿透失败）中提取不可行物理边界规则。提炼出的经验经由 Bigram-Jaccard 相似度去重（阈值 0.80）后序列化为 JSON 技能，动态挂载至后续推理 Prompt 中，在无需微调底层大模型权重的前提下实现了自主进化的闭环学习。

实验关键数据¶

主实验¶

评估在作者提出的 LensArena 评测基准（涵盖 120 项涵盖极限制约的设计任务，分 Easy、Medium、Hard 三个难度等级，且 70% 的测试用例相对 LensLib100K 属于分布外数据）上展开。对比基线包括光学设计领域传统与深度学习算法（LensNet、QGSO、DeepLens）以及通用大模型在提示词上下文学习（ICL）下的零样本表现。

方法	成功率(%) Easy ↑	成功率(%) Medium ↑	成功率(%) Hard ↑	平均RMS(μm) Easy ↓	平均RMS(μm) Medium ↓	平均RMS(μm) Hard ↓
LensNet (Optics Express 2021)	50.0	39.3	30.0	3.89	8.99	7.99
QGSO (IEEE TCI 2025)	25.0	22.7	13.3	24.20	17.70	11.10
DeepLens (Nat. Commun. 2024)	4.2	1.5	0.0	29.60	41.10	-
Gemini-3.0-flash (ICL)	37.5	36.3	26.7	43.56	94.70	120.40
ChatGPT-5.2 (ICL)	33.3	27.3	26.7	52.68	90.85	112.40
Kimi-2.4 (ICL)	33.3	16.6	23.3	44.70	87.45	108.70
Qwen-3-32b (ICL)	16.6	21.2	20.0	67.83	124.23	176.43
LensDesigner w/ Gemini-3.0-flash (本文)	87.5	83.3	80.0	3.70	7.50	12.70
LensDesigner w/ ChatGPT-5.2 (本文)	87.5	83.3	66.7	6.50	6.90	14.80
LensDesigner w/ Qwen-3-32b (本文)	75.0	75.8	70.0	4.90	8.20	7.80

注：平均 RMS 弥散斑半径仅统计设计成功的样本，失败用例不计入平均以真实反映有效系统的成像锐度。

消融实验¶

消融实验在基座模型 Gemini-2.5 下进行，系统剖析了核心模块与自演化机制对光学系统综合指标的影响：

配置	成功率(%) Easy ↑	成功率(%) Medium ↑	成功率(%) Hard ↑	平均RMS(μm) Easy ↓	平均RMS(μm) Medium ↓	平均RMS(μm) Hard ↓
w/o LensLib100K (从零冷启动)	25.0	39.3	26.7	89.60	194.40	293.40
w/ LensLib100K + Vanilla RAG (普通文本检索)	58.3	51.5	40.0	35.10	128.10	189.60
w/o Optical Tool Suite (去掉物理护栏工具箱)	66.7	63.6	26.7	37.10	54.70	68.90
w/o Macro Orchestration (无确定性SOP编排)	80.0	69.7	33.3	21.80	34.20	87.90
w/o Reflection (移除因果轨迹反思)	66.7	60.6	46.7	26.10	31.20	81.40
w/o Skill Library (移除持久化跨任务技能库)	66.7	72.7	46.7	23.20	31.20	81.40
LensDesigner (完整模型)	91.7	70.0	53.2	19.20	33.40	48.80

关键发现¶

种子库与光学感知检索是防崩溃底线：完全移除 LensLib100K 导致模型在困难任务上的 RMS 爆炸至 293.40 μm，成功率跌至 26.7%；而用朴素文本 RAG 替换光学感知检索时，困难任务的平均 RMS 恶化了近 4 倍（189.60 μm vs 48.80 μm），证明光学问题不可依赖纯语义或单纯数值大小进行相似度检索。
物理工具箱与宏观编排遏制极端失效：去掉 Optical Tool Suite 使困难任务成功率从 53.2% 骤降至 26.7%，缺少保光焦度拆分与梯度软惩罚，优化过程极易撕裂系统焦距与物理形态。
自演化带来稳定的分布外泛化：随着课程学习轮次推进，成功率呈现稳步上升趋势。消融掉失败反思（Reflection）或技能库（Skill Library）会使困难集上的 RMS 误差从 48.80 μm 劣化至 81.40 μm，证明大模型通过提炼负样本边界与特定操作组合，能够将试错转化为通用设计直觉。

亮点与洞察¶

非对称光学感知距离设计：巧妙利用了物理光学中“收缩光阑消除高阶像差安全可逆，扩大光阑激发边缘畸变极难收敛”的非对称物理规律，给扩大光阑施加高惩罚、缩小光阑施加低惩罚，实现了高度符合工程实际的种子筛选。
物理因果反思与零权重演化：打破了单纯将 LLM 当作代码生成器的浅层交互，通过记录微观光线变化并提炼“参数-物理响应”因果链，构建了可插拔、可迁移的显式技能库，为重物理计算科学领域提供了一种无须持续微调模型参数的全新自演化范式。
首创高难度全尺度基准 LensArena：填补了经典成像光学设计领域缺乏标准公共基准的空白，120 项任务中有 70% 属于分布外极端配置（视场角达 180°、F数小至 0.7），极大推动了物理仿真辅助智能体评测的标准化。

局限与展望¶

透镜面型范围受限：当前框架仅聚焦于共轴球面透镜系统，尚未覆盖非球面（Aspherical）、自由曲面（Freeform）以及离轴非对称反射折反系统。
光线追迹通信与计算延迟：通过外部商业仿真软件（Zemax OpticStudio）通信的交互延迟较高，拖慢了自演化智能体的大规模经验吞吐效率，未来结合可微波动/光线追迹代理模型可进一步加速。
材料库与制造公差考量：目前选材局限于常用国产 CDGM 玻璃目录子集，尚未完整纳入全工业级材料热光效应（\(dn/dT\)）与透镜装配偏心、倾斜等制造敏感度分析。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将自演化双智能体范式落地于严苛的光学透镜全流程自动化设计中，提出了非对称光学检索与因果反思机制。
实验充分度: ⭐⭐⭐⭐⭐ 构建了 18 万级透镜库 LensLib100K，并在自建的 120 项高难度基准 LensArena 上与传统优化、深度学习及多款主流大模型开展了详尽对比与消融。
写作质量: ⭐⭐⭐⭐⭐ 物理概念推导严谨，系统架构与流程图设计逻辑自洽，图表与实验分析详尽透彻。
价值: ⭐⭐⭐⭐⭐ 极大降低了高端成像光学设计对资深专家经验的极端依赖，开创了智能光学与科学发现智能体（AI for Science / Optics）结合的新范式。