HSCO-Bench: An Agent-Driven End-to-End Hardware-Software Co-design Benchmark for Systems-on-Chip¶
会议: NeurIPS 2026
arXiv: 2605.19399
OpenReview: https://openreview.net/forum?id=cPhwxK5hja
代码: https://github.com/B07901087/hsco_bench
领域: 其他
关键词: 软硬件协同设计, 大语言模型智能体, 片上系统, 高层次综合, 基准评测
一句话总结¶
首个面向大语言模型智能体的端到端软硬件协同设计基准评测，覆盖从工作负载瓶颈分析、高层次综合加速器生成、驱动与应用重构到真实 FPGA 片上系统集成的完整闭环，揭示了前沿模型具备显著加速潜力但在硬件资源利用与多加速器集成上面临的系统级瓶颈。
研究背景与动机¶
随着 Dennard 缩放定律的失效和摩尔定律的放缓，现代计算系统愈发依赖于集成通用处理器与多种定制加速器的异构片上系统（SoC）。然而，当前评估大语言模型（LLM）工程能力的基准测试在软件与硬件领域处于严格割裂的状态：软件优化基准（如 KernelBench、TritonBench）通常固定硬件平台，仅测试模型在给定硬件约束下编写高性能内核的能力；硬件设计基准（如 RTLLM、VerilogEval、HLS-Eval）则假定计算需求与算法规范已由人类指定，仅评估独立硬件模块或算子的高层次综合（HLS）与 RTL 代码生成。
这种评估割裂掩盖了系统设计中最关键的核心决策——跨越软硬件边界的协同权衡。在真实的异构 SoC 架构设计中，软件负载与底层硬件构成统一的设计空间，系统工程师必须自主剖析软件计算瓶颈、合理划分软硬件边界、综合面积与时序约束生成定制硬件，并将其挂载至片上网络（NoC）且重写软件驱动与应用。此前没有任何基准测试能够评测 LLM 智能体是否具备完成此类跨软件栈与硬件架构全栈协同设计的能力，亦无法检验智能体在真实物理约束下进行系统级资源分配与端到端原型的构建水准。
受限于软硬件接口协议复杂、EDA 工具链配置繁琐以及真实芯片仿真周期漫长等技术壁垒，构建全流程自动评估体系极具挑战。本文基于开源 ESP 平台与 Catapult HLS 工具链，构建了首个支持在物理 FPGA（AMD Virtex-7 VC707）上端到端验证的片上系统协同设计基准 HSCO-Bench。核心 idea：将异构 SoC 设计形式化为由智能体自主驱动的「算法剖析-加速器设计-驱动编写-NoC集成-板载验证」五阶段端到端闭环，并在统一的软件开销与 FPGA 硬件开销正交度量下，量化前沿智能体跨软硬件全栈的协同优化能力与设计瓶颈。
方法详解¶
整体框架¶
HSCO-Bench 包含 10 个精心挑选且经过 RISC-V 裸机环境适配的经典工作负载（覆盖机器学习推理与数字信号处理两大领域），为 LLM 智能体提供结构化的工作区。智能体需要自主分析 C 语言应用程序调用链定位热点算子，基于参考模板实现 synthesizable 的 SystemC 加速器，编写对应软硬件交互驱动，配置 SoC 片上拓扑结构，并通过一键式物理部署脚本进行验证。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入工作负载与加速器模板<br/>C代码 + 结构化README + dummy_workspace"] --> B["端到端软硬件协同闭环管道<br/>瓶颈分析→HLS生成→驱动编写→NoC集成"]
B --> C["模块化加速器工作区与标准化抽象<br/>模板克隆+MMIO寄存器映射+共享DMA内存"]
C --> D["一键式物理验证与容错评估基础设施<br/>设备ID防冲+行为仿真+Vivado综合+板载UART"]
D --> E["双轴评估产出<br/>正确性验证 + 周期加速比 + FPGA资源开销"]整个评估流程由 mini-swe-agent 驱动，并在本地 Docker 容器中安全隔离运行。智能体完成的所有设计修改最终汇聚至自动化评测流，完成从行为仿真（bev-sim）、高层次综合、SoC 顶层网表更新到 FPGA 比特流加载与板载执行的完整验证。
关键设计¶
1. 端到端软硬件协同闭环管道：打通从计算瓶颈定位到片上系统集成的全链路
针对传统基准仅孤立测试单点代码生成的痛点，HSCO-Bench 构建了严格由浅入深且高度依赖前序输出的五阶段执行闭环。智能体首先由 systest.c 入口追踪主程序与算子定义（如 nn_ops.h 或直接嵌入的主算法源码），识别耗时最密集的计算核心；随后设计并实现硬件加速器逻辑及其 SystemC 代码；接着在专用的软件驱动头文件中封装设备探测与 MMIO 配置接口；第四步修改原始 C 算法源码，通过条件编译宏（#ifdef USE_ACCELERATOR）将原本在 CPU 运行的高开销算子无缝卸载（offload）至定制硬件；最后更新 SoC 顶层配置文件（esp_xilinx-vc707-xc7vx485t_defconfig），在片上网络 NoC 瓦片（Tile）网格中为加速器分配具体槽位，必要时自动扩展网格维度。该流程迫使智能体同时承担算法分析师、硬件架构师、固件工程师与系统集成师的多重角色。
2. 模块化加速器工作区与标准化软硬件抽象：消除异构集成中的底层协议摩擦
异构片上系统集成通常涉及复杂的总线仲裁、DMA 协议和时钟域交叉，若要求 LLM 处理底层 RTL 接线将引发无法收敛的语法与协议崩溃。HSCO-Bench 基于开源 ESP 架构设计了高层次的模块化工作区标准：每个加速器独立封装在 <name>_workspace 目录中，底层通信均由标准化 Socket 隔离。基准提供了名为 dummy_workspace 的轻量透传模板，规范了 SystemC 加速器中的 config() -> load() -> compute() -> store() 四级流水线与 DMA 接口。在寄存器设计上，XML 描述符中的参数按逆序自动映射至 0x40 开始的 MMIO 内存空间；在数据传输上，通过统一的 512KB 共享物理内存（accel_shared_mem）布局连续的输入输出缓冲区，避免裸机环境内存分配碎片；在数值表示上，统一采用 32 位字长、16 位整数位的定点数（Fixed-point, WL=32, IL=16）硬件运算，并分配位于 0x201 至 0x27F 范围内的唯一 10 位设备 ID。该设计既保留了硬件微架构设计的充分自由度，又将系统集成的工程摩擦限制在明确的规范契约之内。
3. 一键式物理验证与容错评估基础设施：实现从沙盒代码到FPGA原型部署的自愈闭环
由于 LLM 在隔离容器内缺乏对全局硬件注册表的感知，极易发生设备 ID 冲突或命名不规范。评测平台设计了自动化的自愈校验层：在执行最终验证前，评测基础设施自动运行 check_device_ids.py 检测并修正 ID 重叠，调用 install_registry.py 将新加速器注册进 ESP 模块树。随后，流水线串行启动 Catapult HLS 综合提取 RTL 网表，使用 RISC-V GCC 编译生成裸机二进制，通过 esplink 串口将比特流与测试向量烧录至 Xilinx Virtex-7 XC7VX485T FPGA 评估套件。通过读取 Ariane CPU 核心内建的 64 位机器周期计数器寄存器（mcycle CSR）精确测量端到端执行周期数，并在宿主机侧自动解析板载 UART 输出，对照软件黄金参考解（Golden Reference）实施带有数值容差的正确性判定。
损失函数 / 训练策略¶
本工作作为评测基准，不涉及模型训练损失函数，其评测目标是在保证正确性的前提下最大化系统加速比与资源利用效率，并定义了衡量 LLM 经济可行性的成本效益指标。
1. 性能加速比（Speedup）
加速比 \(S\) 定义为纯软件 CPU 基线执行周期数 \(C_{\text{sw}}\) 与硬件加速执行周期数 \(C_{\text{acc}}\) 的比值：
$\(S = \frac{C_{\text{sw}}}{C_{\text{acc}}}\)$
两者均通过 RISC-V 汇编指令 csrr %0, mcycle 现场读取物理 CPU 周期计数获得，杜绝了模拟器缓存估算的不确定性。
2. 硬件资源开销（Hardware Overhead）
基准监控 FPGA 上的三类核心资源占用：逻辑单元（Logic Cells）、块状 RAM（BRAMs）以及数字信号处理切片（DSP Slices）。基础 SoC 架构本身占用 13.02% 的芯片资源，加速器的硬件开销以超出基线 SoC 的绝对百分比增量表示。
3. 成本效益比（Cost Efficiency, \(\eta\)）
为综合衡量模型设计能力与 API 调用成本之间的投入产出比，定义成本效益比 \(\eta\) 为： $\(\eta = \frac{1 - \frac{1}{S}}{C}\)$ 其中分子 \(1 - 1/S\) 表示相较于软件基线节省的执行时间比例，\(C\) 表示智能体在该任务上消耗的 API 总费用（美元）。该指标量化了单位美元成本换取的系统执行时间压缩收益。
实验关键数据¶
主实验¶
评测选取了 5 款主流前沿模型（MiniMax-M2.5、Kimi-K2.5、Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro），通过统一的 mini-swe-agent 智能体框架在 10 个测试用例上进行全自动评测。基线 SoC 固有资源占用为 13.02%，失败尝试保守记为加速比 \(1.00\times\)、额外开销 \(+0.0\%\)。
| 任务负载 | 类别 | CPU 基线周期 | MiniMax M2.5 | Kimi K2.5 | Opus 4.6 | GPT-5.4 | Gemini 3.1 Pro |
|---|---|---|---|---|---|---|---|
| Autoencoder | 异常检测 | \(1.4\times 10^8\) | — (+0%) | — (+0%) | 1.01× (+4.04%) | 1.00× (+0.00%) | — (+0%) |
| BERT-Tiny | NLP 分类 | \(6.1\times 10^9\) | — (+0%) | — (+0%) | 5.18× (+2.38%) | 1.00× (+2.13%) | — (+0%) |
| EfficientViT | 视觉分类 | \(1.0\times 10^{10}\) | — (+0%) | — (+0%) | 3.03× (+2.37%) | — (+0%) | — (+0%) |
| MiniDeiT | 视觉 Transformer | \(1.3\times 10^{11}\) | — (+0%) | — (+0%) | 3.59× (+4.98%) | 3.72× (+17.45%) | — (+0%) |
| MiniLM | NLP 释义 | \(7.3\times 10^{10}\) | 1.00× (+0.0%) | — (+0%) | 9.69× (+2.36%) | — (+0%) | — (+0%) |
| MobileNetV4 | 移动端 CNN | \(2.6\times 10^{10}\) | — (+0%) | — (+0%) | — (+0%) | — (+0%) | — (+0%) |
| TinyCLIP-T | 文本编码器 | \(1.9\times 10^{10}\) | — (+0%) | — (+0%) | 7.44× (+4.98%) | 16.22× (+15.37%) | 1.00× (+0.0%) |
| TinyCLIP-V | 视觉编码器 | \(1.8\times 10^{10}\) | — (+0%) | — (+0%) | — (+0%) | 11.02× (+23.67%) | — (+0%) |
| NightVision | 直方图均衡化 | \(2.2\times 10^8\) | — (+0%) | — (+0%) | 1.08× (+1.12%) | — (+0%) | — (+0%) |
| WAMI | 广域运动图像 | \(4.1\times 10^8\) | — (+0%) | — (+0%) | — (+0%) | — (+0%) | — (+0%) |
| 几何平均加速比 | 全局指标 | — | 1.00× | 1.00× | 2.32× | 1.92× | 1.00× |
| 平均额外资源开销 | 全局指标 | — | +0.0% | +0.0% | +2.22% | +5.86% | +0.0% |
| 端到端成功率 | 全局指标 | — | 10% | 0% | 70% | 50% | 10% |
消融实验与错误剖析¶
为深入剖析绝大多数模型失败的系统级根因，作者将执行中断与集成失败归类为四类主要模式，并统计了各模型的失败分布与 API 成本效益。
| 模型 | 硬件无法编译 (HLS/语法) | 软件无法编译 (裸机/C语法) | 硬件功能错误 (仿真失败) | 软件功能错误 (死锁/数值偏差) | 最终成功率 | 实验总成本 (USD) | 平均成本效益比 \(\eta\) |
|---|---|---|---|---|---|---|---|
| MiniMax M2.5 | 60% | 20% | 10% | 0% | 10% | $1.83 | 低 |
| Kimi K2.5 | 50% | 30% | 20% | 0% | 0% | $6.75 | 0 |
| Opus 4.6 | 10% | 0% | 0% | 20% | 70% | $46.96 | 基准 (1.0×) |
| GPT-5.4 | 10% | 20% | 20% | 0% | 50% | $11.61 | 高 (7.14×) |
| Gemini 3.1 Pro | 70% | 10% | 10% | 0% | 10% | $73.88 | 极低 |
关键发现¶
- 断崖式能力鸿沟：在评估的 5 款模型中，仅有 Claude Opus 4.6 与 GPT-5.4 能够真正理解并完成完整的端到端协同设计流程，分别实现 70% 与 50% 的成功率；而 MiniMax、Kimi 与 Gemini 的成功率仅为 0%~10%，几乎无法跨越硬件 HLS 编译与软硬件接口对齐门槛。
- 截然不同的微架构设计哲学：Opus 4.6 倾向于设计极轻量化的硬件加速核，高度依赖在软件驱动层进行分块（Tiling）管理（如 BERT-Tiny 中实现三层嵌套分块循环），这使其平均硬件额外开销仅为 +2.22%，但由于高频的 CPU-加速器数据搬运牺牲了部分峰值性能；相比之下，GPT-5.4 倾向于构建大体量单体加速核（Monolithic Accelerator），在 TinyCLIP-T 与 TinyCLIP-V 上大幅增加硬件资源（分别消耗 +15.37% 与 +23.67%），一举斩获 \(16.22\times\) 与 \(11.02\times\) 的峰值加速比。
- 算子融合与非标准逻辑提取：前沿模型展现出超越模板复现的高阶设计能力。在 Autoencoder 中，Opus 4.6 自主识别出
dense_bn_relu模块链，在软件驱动层利用数学变换将 BatchNorm 的参数预先折叠进权重与偏置，在硬件端实现 GEMM 与 ReLU 的单核融合，实现了零额外开销的高效卸载；在 NightVision 中，Opus 4.6 自主提取出基于冒泡排序网络的 3x3 空间滤波核（slowMedian3x3），利用 5 轮比较交换（CAS）精准求取中值。 - 过度保守与硬件严重欠利用：即使在成功的设计中，模型普遍表现出保守策略，几乎仅实例化单一通用矩阵乘法加速器，最大额外资源占用仅为 23.67%，远未充分利用 FPGA 提供的 48 万逻辑单元与 2800 个 DSP 切片。Kimi 尝试为 GELU、LayerNorm、MatMul 同时构建多个独立加速器，但由于无法协调复杂的系统级互联与驱动调度而全盘崩溃。
- 经济效益差异显著：尽管 Opus 4.6 成功率最高且泛化稳定，但多轮深度推理导致其 API 消耗高达 $46.96；GPT-5.4 则以更高效的推理在多个测试用例上取得极高加速比，总成本仅 $11.61，取得了 Opus 4.6 的 7.14 倍成本效益比。
亮点与洞察¶
- 从孤立评估迈向真实系统全栈闭环：打破了过去纯软件 CUDA 内核生成与纯硬件 RTL/HLS 综合两套基准各自为政的壁垒，首次将「应用瓶颈分析-硬件定制-驱动开发-片上网络总线集成-FPGA板载验证」统一进单一自动化评测闭环。
- 软硬件边界动态协商：证明了前沿模型具备在软硬件之间动态划界的能力——既能在软件驱动层执行代数融合化简（如折叠 BatchNorm 计算），又能在硬件侧实施流水线算子融合（GEMM + ReLU），展现了初级的系统架构师思维。
- 暴露了多加速器集成的关键系统瓶颈：实验清晰揭示了当前智能体在多加速器协同设计上的巨大无能——多智能体/多加速器并发集成往往引发接口失配与语法雪崩，为未来智能体架构在复杂异构系统设计方向的研究指明了突破口。
局限与展望¶
- 基准测试规模受限于物理验证耗时：由于 FPGA 板载加载比特流、烧录输入数据与仿真验证的物理执行耗时较长（单个应用执行耗时在 30 秒至 45 分钟不等），目前测试集仅包含 10 个代表性应用，测试用例吞吐量受限。
- 硬件设计空间探索仍显保守：当前的提示与评估策略主要鼓励无资源上限下的性能最大化，导致模型倾向于堆叠单核而不敢尝试复杂的片上双缓冲或深度片上网络路由优化。
- 未来演进方向：未来可引入多目标 Pareto 前沿评估（设定严苛的功耗/面积硬约束），探索智能体自主进行多轮交互式性能调优与多加速器异构拓扑生成，甚至打通从 FPGA 原型向 ASIC 物理版图（GDSII）的自动生成全流程。
相关工作与启发¶
- vs KernelBench / TritonBench: 后者专注于在固定 GPU 架构上利用 CUDA 或 Triton 语言优化软件算子，硬件规范是固定不变的；HSCO-Bench 则将硬件架构本身纳入优化空间，智能体必须同时生成定制硬件电路、底层通信驱动与应用调度。
- vs RTLLM / VerilogEval / HLS-Eval: 后者要求模型根据自然语言描述或孤立函数生成 Verilog 或 HLS C/C++ 代码，计算目标均由人类静态指定；HSCO-Bench 要求智能体自行分析大型应用程序源码定位性能瓶颈，并解决真实片上系统（SoC NoC）中的总线交互、MMIO 映射与 DMA 内存管理等全栈集成难题。
- vs SLDB: SLDB 虽然评估异构 SoC 集成，但其硬件加速器是预先给定的静态 IP，仅测试智能体的集成配置能力；HSCO-Bench 则是从底层应用热点分析到加速器微架构生成、再到系统集成的完整端到端自适应协同设计。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次构建连接软件应用剖析与真实物理 FPGA 片上系统集成的智能体协同设计基准，突破了软硬件割裂的传统范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大前沿模型、10 款跨领域负载、真实板载周期精确度量、详细的失败分类学以及深度的微架构案例研究。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，软硬件接口规范与评测协议描述详实清晰，图表数据表现力丰富。
- 价值: ⭐⭐⭐⭐⭐ 为自动化芯片设计（AI for EDA / AI for Systems）提供了极具挑战性和高实用价值的系统级评测基础设施。