Program-as-Weights: A Programming Paradigm for Fuzzy Functions¶

会议: NeurIPS 2026
arXiv: 2607.02512
OpenReview: https://openreview.net/forum?id=ppCD0mb6ty
代码: https://github.com/programasweights
领域: 其他
关键词: 模糊函数编程, 权重即程序, 神经网络编译器, LoRA 超网络, 端侧本地执行

一句话总结¶

提出 Program-as-Weights（PAW）编程范式，利用 4B 神经网络编译器将自然语言规范一次性编译为紧凑的 LoRA 权重与伪程序，并在冻结的 0.6B 本地端侧解释器上以 30 tok/s 离线执行，仅用约五十分之一的内存即可匹配 32B 大模型直接 Prompting 的精度。

研究背景与动机¶

日常软件工程中存在大量难以用确定性符号规则或正则表达式编写的“模糊函数”（fuzzy functions），例如过滤关键系统日志、修复破损 JSON、按搜索意图重排序以及处理存在拼写错误与格式漂移的非结构化文本。现代开发者应对这类任务的常见做法是直接在代码中调用商业大语言模型 API（如 gpt("extract answer", text)）。这种做法虽然开发极为便捷，但在生产环境中带来了严重的弊端：高昂的逐次调用成本、不可控的外部网络延迟、依赖闭源 API 静默升级导致的实验不可复现性，以及软件无法做到独立离线运行的架构硬约束。

这种模式的深层矛盾在于将通用大语言模型当成了“每个输入的实时求解器”，每次运行都必须全量激活数百亿参数来处理简单局部的模糊逻辑。直接利用现有符号代码生成工具（如 ALCHEmist）让大模型生成 Python 代码，又受限于符号语法本身的刚性表达力，难以应对模糊逻辑中固有的长尾边缘情况与歧义漂移；而若针对每个具体子任务单独微调小模型，又会面临标注数据匮乏与微调周期漫长的工程瓶颈。

本文的切入视角是重构基础模型的系统角色：大模型应当作为“一次性工具构建器（编译器）”，而非“逐次输入求解器”。开发者只需提供自然语言规范，编译器将其离线编译为体积仅有数十兆字节、可版本化管理的紧凑神经二进制构件；端侧设备仅需常驻一个参数量极小（0.6B）且完全冻结的神经解释器，即可像调用本地普通函数库一样廉价、离线、确定性地执行该功能。核心 idea：提出“权重即程序”（Program-as-Weights, PAW）架构，将自然语言规范拆解编译为由“离散伪程序（自然语言语义防护）”与“连续 PEFT（超网络生成的 LoRA 权重）”组成的混合神经程序，并在冻结的轻量端侧解释器上热插拔运行。

方法详解¶

整体框架¶

PAW 的架构借鉴经典软件工程中“编译器-解释器”的分工设计，由三个核心组件构成：一个用于语义重写的非训练伪编译器（Pseudo Compiler \(C_p\)）、一个基于超网络架构训练的 LoRA 编译器（LoRA Compiler \(C_L\) 结合映射器），以及一个部署在终端且完全冻结的轻量神经解释器（Interpreter）。整体工作流划分为“一次性云端编译”与“无限次端侧本地执行”两个阶段。

在编译阶段，开发者输入模糊函数的自然语言规范 \(s\)。冻结的 4B 指令模型 \(C_p\) 结合少量模板将其展开为包含规范化描述和代表性输入输出范例的离散伪程序 \(p_{\text{discrete}}\)。接着，已训练的 4B 权重编译器 \(C_L\) 接收规范与伪程序的拼接输入，前向传播提取特定前缀位置的隐藏状态，通过轻量 LoRA 映射器投影生成一组低秩矩阵权重 \(p_{\text{continuous}}\)。两者打包为神经程序 \(p = (p_{\text{discrete}}, p_{\text{continuous}})\)。在执行阶段，端侧设备仅加载体积仅 23MB 的 LoRA 适配器热挂载到冻结的 0.6B 解释器中，并将用户输入 \(x\) 拼接在伪程序之后完成自回归生成，无需联网与高昂算力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言函数规约 s<br/>(任务描述与边界约束)"] --> B["阶段 1：伪编译器重写<br/>(4B 模型生成 p_discrete 范例与规整描述)"]
    B --> C["阶段 2：LoRA 编译器前向推理<br/>(4B 模型提取前缀隐藏状态 H)"]
    C --> D["阶段 3：LoRA 映射器基底混合<br/>(全局均值池化 + 投影到 64 组共享基底)"]
    D --> E["生成可分发神经构件 p<br/>(23MB LoRA 适配器 + 离散伪程序)"]
    E --> F["阶段 4：冻结端侧解释器执行<br/>(0.6B 模型热挂载 LoRA 并处理输入 x)"]
    F --> G["本地输出 y_hat<br/>(30 tok/s 离线确定性执行)"]

关键设计¶

1. 离散与连续解耦的混合程序表征：构筑面向自然语言噪声与歧义的语义护盾

直接让超网络由粗糙、充满错别字或长尾歧义的用户文本直接预测连续权重，不仅模型收敛极难，而且小模型解释器极易被语法错误误导。PAW 提出混合程序表示 \(p = (p_{\text{discrete}}, p_{\text{continuous}})\)。离散部分 \(p_{\text{discrete}}\) 由无需额外微调的开箱即用 Qwen3-4B-Instruct 模型基于任务重写模板生成，它将用户的随意 prompt 转换为语义清晰的任务说明并自动扩充代表性输入输出样本对。这种两阶段设计构筑了强大的鲁棒性护盾：4B 伪编译器利用通用语言能力先行对输入进行了语义去噪与规范化；随后的连续部分则专门编码精细的控制流与行为微调。实验证明，在包含严重错别字和语法错误的极端噪声规约下，提供 \(p_{\text{discrete}}\) 的变体仅有轻微性能波动（维持 61.08%），而剥离伪程序直接输入原始规约给解释器时准确率断崖式下跌至 56.62%，验证了离散去噪组件的不可替代性。

2. 基于共享基底与全局池化的文本到LoRA映射器：兼顾参数紧凑性与生成稳定性

直接利用超网络全量生成数百万维度的模型权重往往面临严重的梯度弥散和过拟合风险。PAW 提出一种参数高效且结构优雅的 LoRA 映射器机制。在 LoRA 编译器 \(C_L\) 的输入端拼接 \(T=64\) 个可学习的前缀 token \(\tau_{1:T}\)，在前向计算后从按深度均匀对齐的 \(L\) 个层提取隐藏状态，形成张量 \(H \in \mathbb{R}^{L \times T \times d_{\text{teacher}}}\)。映射器并不采用高自由度的逐层或逐 token 映射，而是反直觉地对层维度与前缀位置进行全局均值池化：

\[\bar{h} = \frac{1}{LT} \sum_{l=1}^L \sum_{t=1}^T H_{l,t}\]

池化向量 \(\bar{h}\) 经过一层浅层残差 MLP 主干 \(\phi\)，随后由线性预测头直接输出混合系数 \(\alpha_{l,m,n}^{A,B} \in \mathbb{R}\)。针对解释器中所有注意力层（\(q, k, v, o\)）与 MLP 层（\(\text{gate}, \text{up}, \text{down}\)），映射器预先维护 \(N=64\) 组秩为 \(r=64\) 的全局可学习共享基底矩阵 \(A^{(m)}_{1:N} \in \mathbb{R}^{N \times r \times d_{\text{in}}^{(m)}}\) 和 \(B^{(m)}_{1:N} \in \mathbb{R}^{N \times d_{\text{out}}^{(m)} \times r}\)。最终注入解释器第 \(l\) 层模块 \(m\) 的 LoRA 矩阵由系数对基底加权求和线性合成：

\[A^{\text{ex}}_{l,m} = \sum_{n=1}^N \alpha^A_{l,m,n} A^{(m)}_n, \qquad B^{\text{ex}}_{l,m} = \sum_{n=1}^N \alpha^B_{l,m,n} B^{(m)}_n\]

这一设计向解释器仅注入约 38.5M 的 LoRA 参数。消融实验表明，更复杂的“逐位置聚合”、“逐层独立基底”或“同时融合 prefix-tuning”等理论表达能力更强的变体反而全面掉点（准确率从 62.23% 骤降至 55.59%~60.28%），证明全局池化混合机制具备极佳的泛化抗噪性。

3. 端侧极轻量解释器与热插拔量化部署：实现无外部依赖的高效工业落地

为了让模糊函数真正具备作为本地库函数分发的属性，PAW 将运行时解释器完全冻结，采用 Qwen3-0.6B 作为主体。这意味着同一台设备上的操作系统只需常驻一个内存占用约 1.2GB（量化后仅 484MB）的基础模型基座，后续无论开发者定义多少个模糊函数，每个函数仅仅对应一个 23MB 的 Q4_0 LoRA 权重文件。在调用不同函数时，仅需将对应的 LoRA 矩阵在毫秒级内动态热插拔挂载到基座上。借助 llama.cpp 的 GGUF 格式量化支持，Q4_K_M 基座配合 Q4_0 LoRA 在苹果 M3 芯片的 MacBook 上能达到 31.6 tok/s 的极低延迟推理与 0.48s 冷启动，且精度相比未量化的 bf16 模型仅损失 1.3 个百分点，完美打破了端侧设备运行智能逻辑的资源壁垒。

损失函数 / 训练策略¶

在训练阶段，两端的端点完全冻结：伪编译器 \(C_p\) 保持开箱即用状态，解释器模型参数 \(\phi\) 完全锁定。整个系统只对 LoRA 编译器 \(C_L\) 的 Transformer 主干及其映射器参数 \(\theta\) 进行端到端优化。

训练数据来自团队构建的超大规模模糊函数基准 FuzzyBench-10M，每个训练样本为三元组 \((s, x, y)\)。训练目标为解释器在拼接伪程序 \(p_{\text{discrete}}\) 与当前编译得到的 LoRA 适配器 \(p_{\text{LoRA}}(\theta; s, p_{\text{discrete}})\) 条件下，生成真实目标 \(y\) 的负对数似然损失：

\[\mathcal{L}(\theta) = \mathbb{E}_{(s,x,y)} \left[ -\log P_\phi \left( y \mid p_{\text{discrete}}, p_{\text{LoRA}}(\theta; s, p_{\text{discrete}}), x \right) \right]\]

梯度反向传播路径由冻结解释器的交叉熵损失开始，穿过 LoRA 残差连接反传至动态生成的矩阵 \(A^{\text{ex}}, B^{\text{ex}}\)，经过混合系数与共享基底，再通过 MLP 主干注入编译器 \(C_L\) 的前缀隐藏状态并更新其全网络参数。

实验关键数据¶

主实验¶

在涵盖 800+ 模糊逻辑子类的 FuzzyBench 验证测试集以及 WRENCH 文本分类基准（YouTube, SMS, Yelp, IMDB）上，PAW 与主流开源大模型 Prompting、符号代码生成（ALCHEmist）及基座微调展开全面对比。

方法 / 模型	解释器参数量	存储 / 传输开销	FuzzyBench (Acc)	SMS (F1)	Yelp (Acc)	IMDB (Acc)
gpt-5.2 (API 上界)	–	0.73 KB	96.09%	97.06%	98.55%	95.60%
Qwen3-0.6B (直接 Prompting)	0.6B	0.73 KB	9.84%	0.00%*	89.55%	66.88%
Qwen3-4B (直接 Prompting)	4B	0.73 KB	49.63%	92.54%	97.53%	93.76%
Qwen3-8B (直接 Prompting)	8B	0.73 KB	52.15%	91.55%	97.95%	94.52%
Qwen3-14B (直接 Prompting)	14B	0.73 KB	63.96%	92.75%	97.74%	92.64%
Qwen3-32B (直接 Prompting)	32B	0.73 KB	68.70%	89.04%	98.11%	94.64%
LM→Code (ALCHEmist 复现)	29 MB	0.08 KB	35.81%	86.41%	50.35%	73.92%
PAW (Qwen3-0.6B, 本文)	0.6B	23 MB	73.78%	80.77%	95.82%	90.64%
PAW (Qwen3.5-0.8B)	0.8B	16 MB	67.29%	84.55%	94.05%	82.68%
PAW (GPT-2 124M)	124M	38 MB	54.39%	77.50%	93.16%	82.12%

注：Qwen3-0.6B 在 SMS 上因召回率为 0 导致 F1 为 0.00%。PAW 仅用 0.6B 参数在 FuzzyBench 上即以 73.78% 超越了 32B 大模型直接 Prompting 的 68.70%。

消融实验¶

针对 LoRA 映射器的架构方案设计消融，以及剥离编译器的传统微调对比实验：

架构变体 / 训练配置	基础规模	核心指标 (FuzzyBench Acc)	说明
默认设计 (r=64, N=64, 共享基底)	0.6B	62.23%	全局均值池化 + 共享基底混合
变体：逐位置聚合 (Per-position)	0.6B	55.98%	保持前缀位置维度进行逐点映射，掉 6.25%
变体：逐位置 + 逐层独立基底	0.6B	55.59%	参数自由度最高但严重过拟合，掉 6.64%
变体：仅逐层独立基底	0.6B	60.28%	限制层间基底共享，掉 1.95%
变体：LoRA + Prefix-Tuning 双路径	0.6B	60.33%	叠加前缀KV缓存，增加复杂度未增益
传统对比：全量微调 (Full FT)	0.6B	58.40%	相同数据算力下微调 0.6B，比 PAW 低 15.38%
传统对比：固定任务 LoRA (r=64)	0.6B	52.10%	无编译器逐任务直接梯度拟合，比 PAW 低 21.68%

关键发现¶

小模型战胜大模型 Prompting：0.6B 的端侧解释器加载由 4B 编译器生成的 PAW 权重后，FuzzyBench 准确率比 0.6B 原模型高出 63.9 个百分点，不仅大幅超越 14B 模型（63.96%），还领先 32B 模型达 5.08 个百分点，证明离线权重专业化注入比在线上下文提示在模糊逻辑执行上高效得多。
超网络设计的“奥卡姆剃刀”：在 LoRA 权重生成网络中，看似更能保留细粒度上下文信息的逐位置、逐层异构映射器均表现不佳。全局池化强迫超网络提取高度浓缩的任务控制先验，配合全层共享的基底字典，形成了对多样化下游模糊函数的强正规化效应。
极小基座与多模态迁移能力：即使在只有 124M 且从未经历指令微调的远古基座 GPT-2 上，PAW 仍能实现 54.39% 的可用准确率。此外，若仅将编译器基座替换为 Qwen3-VL-4B，解释器依然保持纯文本 0.6B Qwen3 不变，便可直接将图像理解能力通过 LoRA 注入纯文本解释器，在电路（Circuit）、化学式（Chemical）和乐谱图表（Music）三项任务中全面超越 4B 纯视觉语言模型。

亮点与洞察¶

从“逐次输入求解器”到“一次性工具构建器”的范式颠覆：传统开发将昂贵的商业 LLM 作为每次请求的运算中心；PAW 仅在函数定义阶段调用一次大模型进行编译，将重型计算前置并固化为 23MB 的本地权重，从根本上消除了在线服务对外部 API 的强依赖。
双轨解耦的神经编译器设计：将自然语言规范的离散解析（通过非微调 LLM 展开样本）与连续控制生成（LoRA 权重映射）拆分为互补模块，使系统兼具自然语言抗噪能力与小模型参数控制精度。
对本地与移动端 AI 开发的极高复用价值：PAW 输出的产物是标准的 LoRA 权重，能完全复用当前工业界高度成熟的量化生态（GGUF / llama.cpp）与包管理机制，使得 Python / JS 开发者只需一行代码 paw.function("slug") 即可在本地无显卡环境下极低开销调用。

局限与展望¶

长文本结构化生成瓶颈：实验显示在 Im2LaTeX 等需要超长生成序列的任务中，离散伪程序中携带的大量 I/O 范例严重挤占了 0.6B 小模型的上下文窗口，使得基于 LoRA 的 PAW 在此类长任务上落后于前驱的 Prefix-tuning 方案。未来需研究自适应裁剪伪程序的轻量表示。
任务复杂度上限依赖数据蒸馏基准：当前 PAW 编译器的高度泛化性主要受限于 FuzzyBench-10M 的覆盖范围。若用户提出的模糊任务超出了自然语言常见文本/分类/提取处理的范式，生成的 LoRA 可能退化。
编译器冷启动开销：虽然解释器端仅需 0.6B 运行，但在云端/开发机完成一次函数编译仍需加载 4B 模型执行前向生成，暂无法支持在毫秒级内按需动态高频生成全新函数权重。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次完整确立“自然语言规约编译为端侧本地权重”的模糊编程范式，打通了超网络与工业工程落地的断层]
实验充分度: ⭐⭐⭐⭐⭐ [自建 10M 规模涵盖 800+ 类的严谨评测基准，包含详细消融、噪声鲁棒性、多模态拓展与端侧延迟实测]
写作质量: ⭐⭐⭐⭐⭐ [概念定义极其清晰自洽，从软件工程视角类比编译器与解释器，论述极具说服力]
价值: ⭐⭐⭐⭐⭐ [为端侧轻量化模型替代云端昂贵 API 提供了非常优雅且极具落地潜力的工业化技术路线]