A Theory of Training Profit-Optimal LLMs¶

会议: NeurIPS 2026
arXiv: 2605.16430
OpenReview: https://openreview.net/forum?id=PbONLA9iaS
论文: https://arxiv.org/abs/2605.16430
领域: 预训练
关键词: 规模法则, 微观经济学, 利润最大化, 计算受限, 数据受限

一句话总结¶

本文将大模型规模法则（Scaling Laws）与微观经济学厂商理论相结合，首次建立了垄断大模型厂商在算力受限与数据受限场景下的利润最大化训练理论，推导了最优模型尺寸、训练数据量与算力支出的渐近解析界，并指出现行算力军备竞赛的扩张速度已超出合理利润最优区间。

研究背景与动机¶

近年来，大语言模型（LLM）的研发伴随着惊人规模的资本支出（CapEx）。这一激进投入的底层逻辑主要依托于经验性的规模法则（Scaling Laws）：增大模型参数量与预训练数据规模能够单调降低预测损失（Loss），并在各类下游评测任务中带来性能提升。然而，训练算力需求与参数量和数据量呈双线性增长（$6nd$ FLOPs），推理算力开销则与参数量线性绑定（$2nt$ FLOPs）。随着参数量和数据量跨越多个数量级，算力开销呈现爆发式上升，而模型质量的边际提升却面临显著的收益递减（Diminishing Returns）。

这就引发了一个根本性的经济学矛盾：在模型性能边际收益递减与算力成本指数爆炸的双重夹击下，无限追加巨额资本去追逐微弱的质量改进，在商业上究竟能否长期实现盈利？现有的 Chinchilla 等计算最优（Compute-Optimal）框架仅从纯工程角度优化“给定 FLOPs 下的最低 Loss”，完全没有考量代币售价、市场需求弹性、推理运营开销与资本回报率之间的联动机制。学术界与工业界亟需一套严谨的数理框架，来判定究竟多大尺度的模型和算力投资才是经济理性驱动下的“利润最优（Profit-Optimal）”。

本文的切入角度是将微观经济学中的垄断厂商理论（Theory of the Firm）与神经缩放法则深度融合，把大模型训练抽象为厂商根据消费者质量阈值分布和定价逆需求函数，联合优化模型参数、训练数据量与推理代币产量的利润极值问题。核心 idea：将 LLM 训练建模为垄断厂商的利润最大化生产决策问题，通过拟线性逆需求函数连接模型质量与代币定价，并在 Leontief 规模法则下证明了利润最优解必为质量最优互补点，给出了算力受限与数据受限下训练支出与硬件/算法效率缩放的渐近理论界。

方法详解¶

整体框架¶

本文构建的微观经济理论模型将 LLM 训练与服务厂商视为垄断企业，厂商投入训练算力与数据作为生产要素，生产并出售推理代币（Tokens）获取收益，同时承担模型预训练与推理服务的计算成本。整个决策链路包含四个相互咬合的阶段：首先建立基于消费者保留质量分布的代币逆需求定价模型；其次基于 Chinchilla 互补性引入 Leontief 生产函数以刻画参数与数据的质量转化；接着构建包含训练成本和推理成本的净利润目标函数；最后通过一阶极值条件分别推导算力受限（Compute-Bound）与数据受限（Data-Bound）两大真实制度下的渐近比较静态（Comparative Statics）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["生产要素与市场输入<br/>硬件效率 E (FLOPs/$) · 算法效率 a, b · 数据上限 D"] --> D1["1. 拟线性逆需求模型<br/>代币单价 p(t,q) = ω f(q) - δ t"]
    D1 --> D2["2. Leontief 规模生产法则<br/>质量 q(n,d) = min(a n^α, b d^β)"]
    D2 --> D3["3. 垄断厂商利润最大化求解<br/>Max π = R(n,d,t) - C_train(n,d) - C_inf(n,t)"]
    D3 -->|算力受限分析| Out1["算力受限渐近界<br/>n*, d* ∝ E^{1/(1+αγ)} · C_train* ∝ E^{(1-αγ)/(1+αγ)}"]
    D3 -->|数据受限分析| Out2["数据受限渐近界<br/>n* ∝ (D/ρ)^{β/α} · C_train* ∝ D^{1+β/α} / E"]

关键设计¶

1. 拟线性逆需求模型：连接模型质量与代币市场定价 传统规模法则只关注损失值，无法描述商业变现能力。为解决这一脱节，作者借鉴微观经济学中的产品质量与逆需求理论，提出大模型代币单价同时由出售数量 $t$ 与模型质量 $q$ 共同决定的拟线性逆需求函数：$p(t, q) = \omega f(q) - \delta t$。其中 $\delta > 0$ 体现了需求法则（产出越多单价越低），$f(q)$ 为严格单调可微的质量连接函数。作者从第一性原理出发，假定市场中每个消费者都存在一个解锁该领域任务的保留质量阈值 $q_* > 0$（当且仅当 $q \ge q_*$ 时付费），该阈值在全体消费者中服从幂律分布，其概率密度为 $1 / q_*^{1+\gamma}$（$\gamma > -1$ 表示质量提升的边际吸引力递减）。通过在区间 $[1, q]$ 上积分可求出愿意买单的最大消费者规模，由此导出多项式连接函数 $f_\gamma(q) = \frac{1}{\gamma}(1 - q^{-\gamma})$（当 $\gamma \to 0$ 时退化为对数型 $f_0(q) = \ln q$）。该设计将抽象的下游任务能力自然映射为经济学中的市场支付意愿。

2. Leontief 规模生产法则：证明利润最优解的参数-数据强互补性 在工程实现中，模型参数量 $n$ 与训练标记数 $d$ 共同决定模型质量。作者通过隐式微分证明，Chinchilla 幂律损失的替代弹性为 $\sigma \approx 1/(1+\alpha) \approx 0.76 < 1$，表明参数与数据在本质上是互补品而非替代品。为在经济学极值求解中保持可解析性，作者采用 Leontief 生产函数对这种互补性进行理想化建模：$q(n, d) = \min\{a n^\alpha, b d^\beta\}$，其中 $a, b > 0$ 分别代表参数效率与数据效率。作者进一步证明了关键引理（Lemma 2）：若存在任意策略使 $a n^\alpha \neq b d^\beta$，厂商完全可以在保持相同模型质量（即总收益不变）的前提下，削减冗余侧的投入从而严格降低算力成本。因此，任何能最大化利润的参数和数据组合 $(n^*, d^*)$，必然严格满足平衡方程 $a (n^*)^\alpha = b (d^*)^\beta$。定义参数对数据的效率因子 $\rho \triangleq (a/b)^{1/\beta}$，在经验成立的 $\alpha \approx \beta$ 设定下即可消除变量 $d = \rho n$，将三维优化问题严格收敛为一元利润最大化方程。

3. 垄断厂商利润最大化求解：算力受限与数据受限的双重制度比较 厂商总成本由预训练算力与推理服务算力构成：$C(n, d, t) = \frac{6nd + 2nt}{E}$，其中 $E$ 代表硬件效率（FLOPs/$）。由于利润函数对代币供给量 $t$ 为严格下凹的二次形式，通过一阶条件可先解析求得最优推理代币产量 $t^*(n) = \frac{1}{2\delta}(\omega f(a n^\alpha) - \frac{2n}{E})$，进而代回利润表达式。随后，作者分两大制度对厂商行为展开比较静态分析： - 在算力受限制度（Compute-Bound）下，厂商仅受计算与推理成本约束。对于多项式需求（$\gamma \neq 0$），最优模型规模缩放为 $n^* = O\left(\left(\frac{E}{\rho a^\gamma}\right)^{\frac{1}{1+\alpha\gamma}}\right)$，最优训练支出满足 $C_{\text{train}}^* = O\left(a^{-\frac{2\gamma}{1+\alpha\gamma}} \left(\frac{E}{\rho}\right)^{\frac{1-\alpha\gamma}{1+\alpha\gamma}}\right)$。这意味着在 $\alpha \approx 0.3$ 的现实环境下，即使在最宽泛的线性需求假定（$\gamma = -1$）下，最优训练支出对硬件效率 $E$ 的增速上界也仅为 $E^{\frac{1+\alpha}{1-\alpha}} \approx E^{1.86}$，呈次二次（Sub-quadratic）缩放；当 $\gamma = 0$ 时，模型参数和总支出更仅与 $E$ 呈线性缩放。 - 在数据受限制度（Data-Bound）下，可用高质量预训练标记上限被锁定为 $D$（即强制 $d = D$）。由于互补性约束，最优模型大小直接被锁定为 $n^* = (D/\rho)^{\beta/\alpha} = (b/a)^{1/\alpha} D^{\beta/\alpha}$，与硬件效率 $E$ 完全解耦。而此时的最优训练支出为 $C_{\text{train}}^* = \Theta\left(\frac{D^{1+\beta/\alpha} b^{1/\alpha}}{a^{1/\alpha} E}\right)$，即算力支出随数据量增加呈近二次方增长（$D^2$），但随硬件效率 $E$ 的提升反向下降。这一结论颠覆了直觉：在数据枯竭时代，芯片能效提升并不会促使厂商盲目增加训练预算，反而会直接节约训练总成本。

4. 行业支出实证校准：理论前沿与现实资本狂欢的对照检验 作者进一步将微观极值解映射至宏观时间序列，结合 Epoch.ai 历史跟踪指标设立了资本支出增长率检验基准： $$\hat{g}_{\text{CapEx}} = \frac{1+\alpha\gamma}{1-\alpha\gamma} g_E + \frac{2}{1-\alpha\gamma} g_{\text{algo}}$$ 通过代入实测参数（硬件能效年增 37%，算法效率年翻 3 倍），该式表明年均 5 倍的算力投资扩张仅在极其激进的需求无衰减假定下勉强成立，为行业资本支出的可持续性提供了精确量化检验工具。

实验关键数据¶

主实验：理论最优训练支出增速与真实工业界趋势对比¶

作者基于 Epoch.ai 截至 2026 年 5 月的真实历史监测指标，将理论预测的年化增长率（Annualized Growth Rates）与现实产业界趋势进行定量对齐。根据 Epoch.ai 统计，现实中训练计算开销按每年 5 倍激增（$\hat{C}_{\text{train}} \propto 5^t$），硬件效率年均增长 37%（$E \propto 1.37^t$），综合算法效率每年提升 3 倍（$a \cdot b \propto 3^t$，均分至参数与数据效率即 $a \propto b \propto \sqrt{3^t}$）。在基准参数 $\alpha \approx \beta \approx 0.3$ 下，不同需求弹性下的理论上限与产业现状对比如下：

机制 / 假设设定	逆需求参数 $\gamma$	硬件效率年化增速 $E$	算法效率年化增速 $a, b$	理论最优年化开销增速 $C_{\text{train}}^*$	产业实测年化增速 $\hat{C}_{\text{train}}$	经济理性判定
算力受限（宽容上界）	$\gamma = -1$（线性需求，边际不递减）	$1.37^t$	$\sqrt{3^t}$	$\le 7.59^t$	$5.00^t$	符合理性区间
算力受限（平衡收敛）	$\gamma = \hat{\gamma} \approx -0.77$（临界盈亏点）	$1.37^t$	$\sqrt{3^t}$	$= 5.00^t$	$5.00^t$	刚好收支平衡
算力受限（标准对数）	$\gamma = 0$（对数需求，弱先验）	$1.37^t$	$\sqrt{3^t}$	$\le 4.11^t$	$5.00^t$	显著过度投资（超支 21.6%）
算力受限（强递减）	$\gamma = 1.0$（强边际递减）	$1.37^t$	$\sqrt{3^t}$	$\le 2.05^t$	$5.00^t$	严重超支（盲目烧钱）
数据受限制度	任意 $\gamma$（预训练数据见顶）	$1.37^t$	$\sqrt{3^t}$	$\propto D^{2}/1.37^t$（随 $E$ 下降）	$5.00^t$	完全背离经济学最优

消融实验：硬件技术演化停滞（Hardware Stagnation）下的抗风险分析¶

为检验未来若半导体物理极限导致硬件能效增长停滞（即 $E = O(1)$）对大模型商业模型的影响，作者推导了硬件增速归零时的理论模型承载力：

硬件情景	需求假设 $\gamma$	硬件增长因子	算法驱动支出增长公式	最优支出年化上限 $C_{\text{train}}^*$	实测资本支出 $\hat{C}_{\text{train}}$	商业可持续性状态
硬件正常演化	$\gamma = -1$	$1.37^t$	$(1.37^{\frac{1+\alpha}{1-\alpha}} \cdot 3^{\frac{1}{1-\alpha}})^t$	$7.59^t$	$5.00^t$	持续盈利扩张
硬件增长停滞 ($E \to 1$)	$\gamma = -1$	$1.00^t$	$(3^{\frac{1}{1-\alpha}})^t$	$4.66^t$	$5.00^t$	陷入亏损（超支 7.3%）
硬件增长停滞 ($E \to 1$)	$\gamma = 0$	$1.00^t$	$3^t$	$3.00^t$	$5.00^t$	深度亏损（超支 66.7%）
硬件增长停滞 ($E \to 1$)	数据受限	$1.00^t$	$\Theta(D^2 b^{1/\alpha} / a^{1/\alpha})$	依赖新数据注入	$5.00^t$	投资泡沫破裂

关键发现¶

现行行业投资节奏处于极为边缘的激进区间：现实中训练算力开销每年 5 倍的增速，唯有在逆需求指数 $\gamma \le -0.77$（即消费者对模型质量的边际支付意愿几乎不发生衰减）时才具备经济学合理性。一旦将更符合科技史常识的对数需求（$\gamma = 0$）设为基准，实际投入增速已超出理论利润最优上界（$5^t > 4.11^t$）。
数据瓶颈会引发投资逻辑的根本反转：在数据受限制度下，硬件效率 $E$ 的提升在分母端降低了最优训练开销（$C_{\text{train}}^* \propto 1/E$）。若当前行业已实质性迈入由合成数据或人类知识存量见顶构成的数据受限期，盲目维持 $5^t$ 的算力支出扩张与利润最优逻辑彻底背道而驰。
算法效率的双刃剑效应：提升数据效率 $b$ 始终会激励更大的模型和更多的训练开销；但参数效率 $a$ 的提升却是一把双刃剑——在主流的 $\alpha < 0.5$ 区域内，参数架构的紧凑优化反而会促使理性厂商缩小最优模型尺寸并缩减总训练支出。

亮点与洞察¶

将神经规模法则升维至微观经济学统一框架：巧妙跳出了工程视角下仅关注“FLOPs 与 Loss 权衡”的狭隘范式，把下游采纳门槛分布、代币边际收益与全生命周期服务推理成本纳入闭环，赋予了 Scaling Laws 真实的经济学度量衡。
给科技巨头的“无上限军备竞赛”提供了量化反思工具：针对业内关于“AI 投资必须指数级扩增”的狂热论调，通过严密的比较静态分析给出了明确边界，指出了当前资本狂欢实质上建立在“硬件年年大跨步 + 需求边际近乎不衰减 + 数据供给无穷尽”的三重极端苛刻假定之上。
解析求解中微观机制与理论手法的优雅结合：利用 Chinchilla 经验弹性证明 Leontief 强互补性，进而将难以求解的非线性多元极值问题优雅地降维为单变量闭式渐近界，展现了极高的理论解析技巧。

局限与展望¶

垄断厂商假设忽略了寡头博弈与市场竞争：论文假定厂商具有绝对垄断定价权，但在现实中，各大模型厂商（OpenAI、Anthropic、Google 及开源阵营等）处于残酷的纳什均衡或古诺/斯塔克伯格博弈中，为了抢夺市场份额往往会进行非理性的先发性过度投资。
未建模递归式自我改进（Recursive Self-Improvement）：理论将硬件效率 $E$ 与算法效率 $a, b$ 视为外生变量（Exogenous Variables），未能囊括强模型加速自身代码演进和芯片设计的闭环正反馈机制。
推理成本的静态假设与推理性扩展（Test-Time Compute）脱节：论文将单代币推理算力简化为固定的 $2n$ FLOPs，未能刻画近年来以 OpenAI o1/o3 为代表的测试时推理计算扩展（思维链搜索、动态验证）对经济成本结构的深远重塑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次跨界桥接了神经规模法则与垄断厂商理论，奠定了“利润最优训练”的数理分析基石。
实验充分度: ⭐⭐⭐⭐ 纯理论分析论文，但极为详实地结合 Epoch.ai 历史宏观指标进行了细致的渐近边界检验与情景推演。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，微观经济学概念阐释精准清晰，附录给出了详尽的闭式与渐近证明。
价值: ⭐⭐⭐⭐⭐ 为评估 AI 行业资本支出、基础设施扩建及长期商业可持续性提供了极其关键且迫切需要的理论准绳。

机制 / 假设设定	逆需求参数 \(\gamma\)	硬件效率年化增速 \(E\)	算法效率年化增速 \(a, b\)	理论最优年化开销增速 \(C_{\text{train}}^*\)	产业实测年化增速 \(\hat{C}_{\text{train}}\)	经济理性判定
算力受限（宽容上界）	\(\gamma = -1\)（线性需求，边际不递减）	\(1.37^t\)	\(\sqrt{3^t}\)	\(\le 7.59^t\)	\(5.00^t\)	符合理性区间
算力受限（平衡收敛）	\(\gamma = \hat{\gamma} \approx -0.77\)（临界盈亏点）	\(1.37^t\)	\(\sqrt{3^t}\)	\(= 5.00^t\)	\(5.00^t\)	刚好收支平衡
算力受限（标准对数）	\(\gamma = 0\)（对数需求，弱先验）	\(1.37^t\)	\(\sqrt{3^t}\)	\(\le 4.11^t\)	\(5.00^t\)	显著过度投资（超支 21.6%）
算力受限（强递减）	\(\gamma = 1.0\)（强边际递减）	\(1.37^t\)	\(\sqrt{3^t}\)	\(\le 2.05^t\)	\(5.00^t\)	严重超支（盲目烧钱）
数据受限制度	任意 \(\gamma\)（预训练数据见顶）	\(1.37^t\)	\(\sqrt{3^t}\)	\(\propto D^{2}/1.37^t\)（随 \(E\) 下降）	\(5.00^t\)	完全背离经济学最优

硬件情景	需求假设 \(\gamma\)	硬件增长因子	算法驱动支出增长公式	最优支出年化上限 \(C_{\text{train}}^*\)	实测资本支出 \(\hat{C}_{\text{train}}\)	商业可持续性状态
硬件正常演化	\(\gamma = -1\)	\(1.37^t\)	\((1.37^{\frac{1+\alpha}{1-\alpha}} \cdot 3^{\frac{1}{1-\alpha}})^t\)	\(7.59^t\)	\(5.00^t\)	持续盈利扩张
硬件增长停滞 (\(E \to 1\))	\(\gamma = -1\)	\(1.00^t\)	\((3^{\frac{1}{1-\alpha}})^t\)	\(4.66^t\)	\(5.00^t\)	陷入亏损（超支 7.3%）
硬件增长停滞 (\(E \to 1\))	\(\gamma = 0\)	\(1.00^t\)	\(3^t\)	\(3.00^t\)	\(5.00^t\)	深度亏损（超支 66.7%）
硬件增长停滞 (\(E \to 1\))	数据受限	\(1.00^t\)	\(\Theta(D^2 b^{1/\alpha} / a^{1/\alpha})\)	依赖新数据注入	\(5.00^t\)	投资泡沫破裂