NeurIPS 2026 模型压缩本地端侧大模型能效比瓦特智能算力评测端云协同路由硬件加速器

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI¶

会议: NeurIPS 2026
arXiv: 2511.07885
代码: https://github.com/stanford-futuredata/ipw
领域: 模型压缩
关键词: 本地端侧大模型, 能效比, 瓦特智能, 算力评测, 端云协同路由, 硬件加速器

一句话总结¶

本文提出了衡量本地端侧智能系统能效的统一基准指标“每瓦特智能”（Intelligence per Watt, IPW），通过在 20+ 款端侧大模型、8 款主流硬件加速器和 100 万真实推理负载上的大规模实证分析，揭示了端侧模型两年来 5.3 倍的能效提升以及端云混合路由削减 60%–80% 能耗与成本的巨大潜力。

研究背景与动机¶

当前大语言模型（LLM）的推理服务绝大部分依赖于中心化云端数据中心中的大规模集群。然而，随着全球推理请求由数十亿级向数万亿级爆发式扩张，中心化基础设施正面临着算力荒、电网容量制约以及极高的运营成本瓶颈。历史上，计算体系从大型机向个人计算机（PC）的权力重分配，正是由性能能效比（Performance-per-Watt）的指数级提升所驱动：当终端硬件在严苛功耗预算下能够满足用户的核心体验时，工作负载便会自然发生分布式重塑。

当前三大技术浪潮的交汇表明，本地端侧推理（Local Inference）正迎来类似的拐点：其一，参数量 $\le 20\text{B}$ 的小型本地模型（如 Qwen3、gpt-oss、Gemma3、IBM Granite 4.0）在多任务评测中已展现出逼近前沿模型的优异准确率；其二，以苹果 M4 Max、AMD Ryzen 等为代表的终端加速器具备了百 GB 级统一内存与高吞吐显存带宽；其三，本地智能体开发栈迅速涌现。然而，业界始终缺乏一个统一的物理度量标准来回答：端侧模型到底能承担多少真实推理任务？其将电能转化为实际智能的物理效率究竟有多高？核心 idea：确立并形式化“每瓦特智能”（IPW）与“每焦耳智能”（IPJ）等全维度端侧能效评测基准，研发跨芯片平台的纳秒级同步能耗画像工具链，并在百万级真实任务上系统解耦模型架构创新与硬件制程演进的能效收益贡献。

方法详解¶

整体框架¶

评测框架将端侧推理系统形式化为模型集合 $\mathcal{M}_{\text{local}}$（活跃参数量 $\le 20\text{B}$）、云端前沿模型 $\mathcal{M}_{\text{cloud}}$（参数量 $\ge 100\text{B}$）、本地硬件加速器 $\mathcal{H}_{\text{local}}$ 与云端服务器硬件 $\mathcal{H}_{\text{cloud}}$ 的交互。系统构建了由分布式多 GPU 推理编排、响应质量自动化评估以及底层系统级遥测（System-level Telemetry）组成的一体化软硬件性能剖析探针。探针以 50ms 超高采样率跨平台对齐采集 NVIDIA NVML、AMD ROCm SMI 与 macOS powermetrics 的实时功率，隔离计算加速器子系统的瞬时功耗 $P(m, h, q)$ 与端到端延迟 $\tau(m, h, q)$，并通过智能路由函数 $r: \mathcal{Q} \to \mathcal{M}_{\text{local}} \cup \mathcal{M}_{\text{cloud}}$ 模拟端云协同分发。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实推理请求流 Q (1M+ Queries)<br/>Wildchat / NaturalReasoning / MMLU Pro / SuperGPQA"] --> B["端云自适应路由决策 r(q)<br/>本地优先判定与复杂任务分流"]
    B -->|端侧可解 (≤20B)| C["本地端侧执行环境 (Mlocal × Hlocal)<br/>Qwen3 / gpt-oss / Gemma3 / M4 Max / Ada"]
    B -->|前沿攻坚 (≥100B)| D["中心化云端集群 (Mcloud × Hcloud)<br/>Claude-3.5 / Gemini-2.5 / GPT-5 / H200"]
    C & D --> E["高分辨率硬件遥测探针 (50ms 采样)<br/>NVML / ROCm SMI / powermetrics 功耗与延迟对齐"]
    E --> F["双重能效评价体系<br/>瞬时能效 APW + 端到端综合能效 APJ"]

关键设计¶

1. 功率基准与能量基准的双重能效指标定义

针对不同物理约束场景，研究形式化了四类互补的度量指标： - 准确率瓦特能效（Accuracy per Watt, APW）： $$\text{APW}(m,h) = \frac{\mathbb{E}_{q\sim\mathcal{Q}}[\text{acc}(m,q)]}{\mathbb{E}_{q\sim\mathcal{Q}}[P(m,h,q)]}$$ - 准确率焦耳能效（Accuracy per Joule, APJ）： $$\text{APJ}(m,h) = \frac{\mathbb{E}_{q\sim\mathcal{Q}}[\text{acc}(m,q)]}{\mathbb{E}_{q\sim\mathcal{Q}}[P(m,h,q)\cdot\tau(m,h,q)]}$$ 结合困惑度指标（PPW 与 PPJ），APW 衡量硬件在特定稳态功耗预算下交付智能的峰值密度，而 APJ 则从终端用户视角结合 Prefill 与 Decode 延迟，度量单次生成消耗的完整能量成本。

2. 跨平台纳秒级同步硬件剖析探针（Hardware Profiling Harness）

针对市面工具（如 CodeCarbon 默认 15s 采样）无法捕获短文本生成精细能耗的问题，自研测试床通过原生驱动 API 实现了 50ms 级别高频采样。在 NVIDIA 平台调用 NVML 过滤单卡能耗，在 AMD 平台读取 ROCm SMI，在 Apple Silicon 上精确提取 processor_power.actual 隔离纯 GPU 能耗，规避系统整机（SoC/外设）静态待机噪声，确保异构硬件评测基准严格公平可比。

3. 多源真实任务与职业经济映射（Workload Curation）

评测涵盖涵盖真实人机对话（Wildchat 50 万条）、自然推理（NaturalReasoning 50 万条）、多学科专业知识（MMLU Pro 1.2 万条）以及研究生级攻坚推理（SuperGPQA 2.65 万条）。引入大模型将查询映射至美国劳工部 O*NET 体系的 22 种职业分类，全方位覆盖从创意写作、管理咨询到工程设计、基础科学的现实生产力场景。

损失函数 / 训练策略¶

本研究主要聚焦于全系统推理阶段的实证剖析，端云分流策略采用基于二元分类与成本效益前沿的最优停止阈值搜索。对于分类器置信度大于阈值 $\gamma$ 的样本路由至本地，否则分发至云端集群，并在批处理吞吐（Batch Size=16）与交互延迟（Batch Size=1）之间做离散Pareto搜索。

实验关键数据¶

主实验¶

在跨代际硬件与模型上的任务胜率、覆盖率与能效演变：

评测年份	代表性本地 SOTA 模型	代表性加速器硬件	相对前沿胜率/平局率	任务覆盖率 (Best-of-Local)	每瓦特智能 (IPW) 增益
2023	Mixtral-8x7B-v0.1	NVIDIA Quadro RTX 6000	$23.2 \pm 1.9\%$	$62.1\%$	$1.0\times$ (基准)
2024	Llama-3.1-8B-Instruct	NVIDIA RTX 6000 Ada	$48.7 \pm 2.7\%$	$74.5\%$	$2.3\times$
2025	GPT-OSS-120B / Qwen3	Apple M4 Max / Ada	$71.3 \pm 2.2\%$	$88.7\%$	$5.3\times$

消融实验¶

模型演进 vs 硬件加速演进对总能效提升的归因贡献分解（以 2023 年至 2025 年为基准）：

能效指标度量	总体演进提升倍数	模型架构/算法贡献占比	硬件加速器演进贡献占比	物理机制动因
每瓦特智能 (IPW)	$5.3\times$	$3.1\times$ (约 58%)	$1.7\times$ (约 42%)	模型准确率提升主导，功耗压缩协同
每焦耳智能 (IPJ)	$18.0\times$	$3.1\times$ (约 17%)	$5.9\times$ (约 83%)	新型制程与统一内存大幅降低解码延迟

关键发现¶

端侧覆盖率跨越临界点：通过集成多种端侧小模型（Best-of-Local），端侧可独立胜任高达 88.7% 的单轮问答与通用推理任务，在日常对话与知识问答中已不输于云端巨无霸模型。
复合能效跃升：端侧端到端能效（IPJ）在两年间暴增 18 倍，硬件架构（如高带宽统一内存与流处理器微架构）在缩减推理延迟上发挥了核心作用。
端云混合分流潜力巨大：即使部署准确率仅 80% 的轻量化路由器，也能实现捕获 80% 的最优能耗降低效果，相比纯云端模式削减 60%–80% 的电力与经济开支。

亮点与洞察¶

智能能效的摩尔定律雏形：两年来端侧模型能效提升速率大幅超越了传统半导体能效提升曲线，体现出模型小参数化高质量与硬件高能效协同演进的乘数效应。
本地先行的可行性确立：大算力模型并非所有请求的必须选项，在保护用户隐私的同时，端侧足以沉淀绝大部分日常生产力流量。

局限与展望¶

高阶跨步长推理瓶颈：面对 SuperGPQA 与前沿数理定理证明等复杂长链推理，端侧模型胜率骤降至 50% 以下，仍依赖云端超大规模参数基底。
未来方向：探索多轮长上下文智能体（Agentic Loop）中的端侧能效衰减，以及端侧量化（INT4/FP4）对能效比的非线性影响。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出每瓦特智能/每焦耳智能统一物理评测标准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20+ 款前沿模型、8 款异构芯片加速器及 100 万真实 Prompt。
写作质量: ⭐⭐⭐⭐⭐ 体系严密，论证扎实，数据翔实。
价值: ⭐⭐⭐⭐⭐ 为端侧大模型落地、绿色可持续 AI 算力规划提供了权威指导。

能效指标度量	总体演进提升倍数	模型架构/算法贡献占比	硬件加速器演进贡献占比	物理机制动因
每瓦特智能 (IPW)	\(5.3\times\)	\(3.1\times\) (约 58%)	\(1.7\times\) (约 42%)	模型准确率提升主导，功耗压缩协同
每焦耳智能 (IPJ)	\(18.0\times\)	\(3.1\times\) (约 17%)	\(5.9\times\) (约 83%)	新型制程与统一内存大幅降低解码延迟