Intelligence per Watt: Measuring Intelligence Efficiency of Local AI¶

会议: NeurIPS 2026
arXiv: 2511.07885
领域: 其他
关键词: 本地AI, 能效比, 每瓦智能, 混合协同路由, 边缘推理

一句话总结¶

提出了统一的“每瓦智能”（IPW）与“每焦耳智能”（IPJ）能效评测基准与跨平台测试框架，对20+本地大模型与8类加速芯片展开超百万级真实查询的纵向能效测算，揭示了端云混合协同路由降低60%~80%能耗成本的可行路径。

研究背景与动机¶

大语言模型（LLM）的日常查询负载当前绝大部分依赖中心化云端集群进行处理。然而，随着全球推理任务从数十亿级向数万亿级每日调用量攀升，中心化云端部署面临着严峻的电力供应短缺、高昂的服务器基础设施投入以及不断恶化的碳排放压力。从计算发展史来看，1946至2009年间计算能效（每瓦性能）每1.5年翻一番，推动了算力从大型机数据中心向个人电脑终端的再分配；这一转移的发生前提并非个人设备在绝对性能上战胜大型机，而是能效提升使得个人终端功耗预算足以满足主流用户的日常计算需求。

当前，小于等于20B激活参数的轻量级本地开源大模型（如Qwen3、gpt-oss、Gemma3等）在常识与日常交互中展现出匹敌早期大模型的实用能力，同时端侧异构芯片（如搭载大容量统一内存的Apple M系列、AMD与高通移动端处理器）具备了运行低延迟推理的硬件基础。然而学术界与工业界长期缺乏一个统筹衡量“模型在任务上的解题质量”与“端侧加速器消耗电能”的统一评价标准。传统硬件指标仅关注每秒Token吞吐或纯算力FLOPs/W，无法反映不同推理质量下的真实任务价值；而常规NLP测评仅对比准确率，忽略了端侧极度严苛的瞬时功率与总能耗约束。

为了准确回答本地推理能否真正分担中心化云基础设施压力，评估本地软硬件系统随代际演进的能效收敛速度，本文系统性建立了端侧大模型智能能效评测体系。核心 idea：提出以任务准确率除以功耗的“每瓦智能”（IPW）与每焦耳智能（IPJ）作为评估本地推理可行性的统一核心标尺，通过跨20+模型、8类加速器和百万真实查询的纵向实验，系统解构模型与硬件对能效提升的代际贡献，并证明端云自适应路由能以80%准确率捕获绝大部分理论能耗与计算节约收益。

方法详解¶

整体框架¶

本文构建了面向本地大模型与端云协同架构的标准化评测与分析体系。评测基准输入涵盖100万条真实用户单轮对话（Wildchat）与综合科学推理（NaturalReasoning），并扩展至MMLU Pro专业知识与SuperGPQA研究生级学科难题。通过跨平台的硬件测试脚手架，在NVIDIA数据中心GPU（A100、H200、B200等）、工作站GPU（Quadro RTX 6000、RTX 6000 Ada）、AMD芯片（MI300X）、Apple统一内存架构（M4 Max）以及移动端SoC（iPhone 16 Pro A18 Pro）上精确采集纳秒级同步的功率、延迟、显存与准确率数据，最后在端云混合路由模拟器中验证分级部署的系统收益。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Q["海量多领域查询输入<br/>(Wildchat / NaturalReasoning / MMLU Pro / SuperGPQA)"] --> D["动态端云混合协同路由"]
    D -->|"常规对话与轻量推理 (≤20B激活参数)"| L["端侧本地轻量模型集群<br/>(Qwen3 / gpt-oss / Gemma3 / Granite)"]
    D -->|"高难度专业推理与深层科学计算"| C["云端前沿超大模型<br/>(Qwen3-235B / GPT-5 / Gemini 2.5 Pro)"]
    L -->|"部署于本地加速器 (M4 Max / RTX 6000 Ada / A18 Pro)"| T["跨平台微秒级遥测监控与评测框架<br/>(NVML / powermetrics / ROCm SMI)"]
    C -->|"部署于云端集群 (H200 / B200 / SN40L, bs=16)"| T
    T --> E["统一多维度能效指标评估<br/>(IPW / PPW / APJ / PPJ)"]

关键设计¶

1. 能效评估核心指标族：将任务准确度与物理电能消耗显式耦合

传统的评测体系将模型准确率评估与硬件基准测试（如MLPerf）割裂，无法度量生成式任务的真实产出性价比。本文形式化定义了四项互补的智能能效度量标准。对于模型 $m$ 与加速硬件 $h$ 处理查询集合 $\mathcal{Q}$： - 功率能效比（Accuracy per Watt，APW/IPW）：度量瞬时功率产出的解题能力： $$\text{APW}(m,h) = \frac{\mathbb{E}_{q\sim\mathcal{Q}}[\text{acc}(m,q)]}{\mathbb{E}_{q\sim\mathcal{Q}}[P(m,h,q)]}$$ - 每焦耳准确率（Accuracy per Joule，APJ/IPJ）：计入响应生成总延迟 $\tau(m,h,q)$，反映单次查询全生命周期的端到端能量产出： $$\text{APJ}(m,h) = \frac{\mathbb{E}_{q\sim\mathcal{Q}}[\text{acc}(m,q)]}{\mathbb{E}_{q\sim\mathcal{Q}}[P(m,h,q)\cdot\tau(m,h,q)]}$$ 结合困惑度（Perplexity）倒数分别衍生出每瓦困惑度（PPW）与每焦耳困惑度（PPJ）。二者的分离至关重要：功率指标（IPW）受限于设备的散热热设计功耗（TDP/TBP），而总能耗指标（IPJ）综合考量了显存带宽与算力提升所带来的延迟压缩收益。

2. 跨架构软硬件对齐的高精度遥测脚手架：实现端侧芯片核心子系统功率的精准剥离

由于主流性能分析工具（如CodeCarbon）采样间隔过粗（通常15秒级）且不支持Apple Silicon与ROCm原生接口，本文开发了专门的轻量级异步探针脚手架。在NVIDIA设备上通过NVML直接读取GPU驱动级瞬时功率并累加硬件电能计数器；在AMD平台上采用ROCm SMI轮询核心功耗与显存占用；在macOS设备上借助高权限powermetrics持续解析系统plist数据流，特异性提取processor_power.actual（专门隔离GPU加速器子系统功率，规避SoC整机待机底噪引入的偏差）。全平台统一在50毫秒高频采样窗口下进行能量离散数值积分，每条查询执行10次重复采样求均值，有效平抑芯片DVFS动态调频与瞬态突发功耗造成的测量扰动。

3. 动态端云协同路由仿真机制：利用模型多样性填补端侧单体模型瓶颈

针对本地单体模型在复杂推理上无法胜任所有长尾任务的痛点，该机制通过路由函数 $r:\mathcal{Q}\rightarrow\mathcal{M}_{\text{local}}\cup\mathcal{M}_{\text{cloud}}$ 实现负载分流。本地维护一个包含Dense与MoE架构的候选模型池（如Qwen3-4B/8B/14B、gpt-oss-20b），面对输入时，通过判别路由评估置信度：可胜任任务直接留在本地Apple M4 Max（bs=1）等终端硬件上执行，困难任务或置信度不足项回退上传至云端批处理集群（H200，bs=16）。研究显示，通过多个小模型的组合集成（Best-of-Local），端侧整体覆盖率可达88.7%，成功将端侧从“单个模型的性能妥协”转变为“低延迟高能效协同前端”。

实验关键数据¶

主实验¶

论文评测了从2023至2025年连续3代代表性本地模型与硬件加速器配对在真实查询集上的任务胜率/成功率及每瓦智能演进（表2），并横向对比了端侧M4 Max与云端旗舰加速器在固定模型下的能效表现（表13/14）：

年份	代表性本地模型	代表性加速芯片	任务成功率 (%)	每瓦智能 IPW (Acc/W)	YoY能效提升倍率
2023	Mixtral-8x7B-v0.1	NVIDIA Quadro RTX 6000	$23.2 \pm 1.9\%$	$(7.92 \pm 0.32) \times 10^{-4}$	—
2024	Llama-3.1-8B-Instruct	NVIDIA RTX 6000 Ada	$48.7 \pm 2.7\%$	$(1.80 \pm 0.21) \times 10^{-3}$	$2.27\times$
2025	GPT-OSS-120B (≤20B激活)	Apple M4 Max	$71.3 \pm 2.2\%$	$(4.18 \pm 0.53) \times 10^{-3}$	$2.32\times$

在相同模型下对比不同架构硬件的实际能效（以Qwen3-32B与GPT-OSS-120B为例，bs=1）：

运行模型	评测硬件平台	硬件定位	任务成功率 (%)	IPW ($\times 10^{-3}$ Acc/W)	IPJ ($\times 10^{-5}$ Acc/J)
Qwen3-32B	Apple M4 Max (128GB)	本地工作站	$69.5 \pm 2.3\%$	$1.97 \pm 0.24$	$3.51 \pm 0.38$
Qwen3-32B	NVIDIA B200 (192GB)	云端数据中心	$69.5 \pm 2.3\%$	$2.75 \pm 0.14$	$5.91 \pm 0.42$
Qwen3-32B	SambaNova SN40L	云端专有RDU	$69.5 \pm 2.3\%$	$3.51 \pm 0.43$	$22.7 \pm 3.0$
GPT-OSS-120B	Apple M4 Max (128GB)	本地工作站	$71.4 \pm 2.2\%$	$4.18 \pm 0.53$	$4.23 \pm 0.45$
GPT-OSS-120B	NVIDIA B200 (192GB)	云端数据中心	$71.4 \pm 2.2\%$	$5.85 \pm 0.35$	$6.78 \pm 0.47$
GPT-OSS-120B	SambaNova SN40L	云端专有RDU	$71.4 \pm 2.2\%$	$7.44 \pm 0.61$	$31.2 \pm 3.8$

消融实验¶

基于24小时内8020万次真实工业级负载（BurstGPT分布）的大规模端云协同路由仿真，对比不同路由精度及单体部署下的资源开销削减比例（基准为全量上云批处理Qwen3-235B，bs=16）：

部署与路由策略配置	能源消耗节约 (Energy)	计算资源节约 (Compute)	财务成本节约 (Cost)	系统端到端质量保持率
云端基线 (全部路由至云端 Qwen3-235B)	0.0% (基准)	0.0% (基准)	0.0% (基准)	100.0%
60% 准确率实用路由器 (带云端回退)	48.4%	46.7%	44.5%	100.0%
80% 准确率实用路由器 (如RouteLLM)	64.3%	61.8%	59.0%	100.0%
完美理论上限 (Oracle 理想路由)	80.4%	77.3%	73.8%	100.0%

此外，针对数值量化与计算精度的消融（FP16 vs FP8 vs FP4）表明，模型从FP16压缩至FP4可直接斩获 $3\sim 3.5\times$ 的端到端能耗下降，而每级量化精度平均仅带来约 $2.5\%$ 的准确率折损；例如Qwen3-14B在FP4精度下的推理准确率仍明显超越FP16精度的Qwen3-4B，证明“扩大参数底座并采用激进量化”在本地部署中具备压倒性的能效优势。

关键发现¶

能效复合增长的解耦特征：从2023至2025年，IPW整体提升 $5.3\times$（模型创新贡献 $3.1\times$，硬件贡献 $1.7\times$）。在总能耗维度（IPJ），提升幅度高达 $18.0\times$（模型 $3.0\times$，硬件 $5.9\times$），表明硬件代际进步通过超高带宽HBM与张量指令集大幅缩短了解码时延，对总焦耳能耗改善贡献更显著。
任务领域的解题断层：在创意生成、日常文书等开放式对话中，本地轻量模型胜率/平局率已超 93%；但在建筑工程、物理与生命科学等专业高难度推理（SuperGPQA、Level 5硬核题目）上，本地模型成功率陡降至 40%~50%，且两年来在硬核难题上的年化改进极其微弱。
端侧集成胜过单体模型：不同架构的端侧小模型在知识覆盖上展现出高度互补性。虽然最强的单个本地模型（gpt-oss-120b）平均任务解决率为 71.4%，但 Best-of-Local 组合策略将整体解题覆盖率推升至 88.7%，甚至在部分推理子集上因基数优势反超单一云端闭源模型。

亮点与洞察¶

提出以人为本的真实系统能效度量标准：摒弃脱离应用场景的纯TOPS/W硬件标称测试，将解题成功率与物理实测电能相结合，确立了衡量本地AI代际跃迁的统一基准。
MoE架构与统一内存的协同突破：在具备大容量统一内存（如128GB+）的本地芯片上，稀疏MoE架构（如gpt-oss-120b）以小于20B激活参数兼顾了超高存储容量利用与超低单Token动态算力开销，登顶本地能效榜首。
端云路由的非对称价值：即便本地加速芯片在单次查询能耗比上落后于云端顶级HBM集群（落后 $1.4\times\sim 7.4\times$），但通过将 80%+ 的简单常规查询拦截在低功耗本地终端运行，整个系统的总能源与算力开销反向减少了 60%~80%。

局限与展望¶

单轮查询设定与长上下文局限：核心实验聚焦于单轮短输入（≤32k字符），对多轮智能体调用（如GAIA虽然验证了趋势一致性）、深层KV缓存重用以及超长上下文（100k+）的能效变化剖析仍较初级。
软件遥测的固有误差边界：依赖系统级驱动接口（NVML、powermetrics）采样，缺乏物理分流器与毫瓦级外部功率分析仪的硬采样校准，存在 10%~15% 的测量偏差区间。
极端低比特量化的微架构协同缺位：实验探讨了FP4量化，但更极端的INT2或三值化架构在当前通用本地GPU上缺乏硬件级矩阵加速指令支撑，其实际硬件收益尚无法充分释放。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向本地大模型的每瓦智能（IPW）评测度量体系，打通了模型性能与物理能效的跨学科鸿沟。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖20+前沿模型、8类横跨移动端/工作站/云端的硬件平台、百万级真实工业查询与连续两年的代际对比。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，逻辑推导自洽，系统分析与架构权衡叙述极其透彻。
价值: ⭐⭐⭐⭐⭐ 为未来端侧个人AI助手（如OpenClaw、OpenJarvis）的能效优化与端云协同基础设施建设提供了关键量化指南。