TSNBench: Benchmarking LLM Proficiency in Time-Sensitive Networking¶

会议: NeurIPS 2026
arXiv: 2605.09481
论文: arXiv:2605.09481
领域: LLM 评测
关键词: 时间敏感网络、大模型评测、最坏情况延迟、网络演算、模型校准

一句话总结¶

提出了首个面向时间敏感网络（TSN）的全面大模型评测基准 TSNBench，包含 939 道专家审校的选择题和 200 个基于网络演算与封闭公式的最坏情况延迟计算任务，揭示了大模型在表层领域知识与深层多步确定性数值推理之间存在的严重能力断层。

研究背景与动机¶

时间敏感网络（TSN，IEEE 802.1 标准族）作为下一代工业自动化、自动驾驶、航空航天及国防装备的核心底层通信技术，通过确定性机制为安全关键业务提供微秒级的端到端有界时延与抖动保证。随着大语言模型在网络工程、配置自动化与运维中的普及，工程人员开始尝试借助大模型进行 TSN 调度配置合成、时延边界估算以及流量分类。然而，在汽车防抱死制动、机械臂协同等安全攸关场景中，即便是数十微秒的时延误差或配置违例，都会导致实时死线突破，进而引发机械故障甚至灾难性事故。

当前主流大模型评测基准（如 MMLU、MMLU-Pro）主要聚焦于通识百科、基础数理与法律医学知识，即使在电信与网络领域，现有基准也多以通用选择题（MCQA）为主，完全缺乏针对安全关键确定性通信的评测标准。选择题往往只考察陈述性术语记忆，根本无法评估模型是否具备理解确定性网络拓扑、推演流量竞争并依据网络演算（Network Calculus）执行多步数值推理的能力。直接依赖 MCQA 指标不仅无法反映模型在严苛物理约束下的真实水平，更会给工业界带来盲目落地的虚假安全感。

针对上述严峻空白，本文构建了首个涵盖陈述性概念与高难度开放式延迟分析的综合基准 TSNBench，通过严格的形式化网络演算求解器与闭式数学上限确立真实真值，全面审视 16 种前沿大模型的领域可靠性。核心 idea：将 TSN 领域能力拆解为「专家审校的高质量概念问答」与「形式化验证支持的开放式最坏情况延迟推演」双重任务，揭露大模型在确定性网络数理推演中的真实瓶颈与过度自信缺陷。

方法详解¶

整体框架¶

TSNBench 的构建旨在打通领域学术语料、标准化形式化工具与大模型能力测试闭环。整个基准由两大互补维度构成：第一部分是包含 939 道经同行评审文献与领域专家双重把关的 MCQA 数据集，覆盖 TAS、CBS、CQF、ATS 等核心 TSN 机制与术语；第二部分是包含 200 个开放式最坏情况延迟（Worst-Case Delay, WCD）多步推演任务，聚焦基于网络演算（NC）的基于信用整形器（CBS）和基于闭式公式的循环排队与转发（CQF）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["83 篇同行评审 TSN 论文与标准"] --> B["领域语料与术语提炼<br/>提取核心词汇与上下文定义"]
    B --> C["专家在环的陈述性评测集构建<br/>三模型生成 + 选项乱序 + 5位专家审查"]
    C --> D["确定性网络最坏延迟推演基准<br/>单交换机/网格/环形拓扑 + CBS/CQF 任务"]
    D --> E["多维可靠性与安全置信度度量<br/>MAE/MAPE 计算 + ECE/CW 置信校准"]

关键设计¶

1. 领域语料与术语提炼：消除幻觉的无先验知识萃取
构建高可信领域评测集的前提是保证语料的准确性与权威性。作者收集了 83 篇涵盖 TAS、CBS、CQF、ATS、网络演算调度分析及硬件实测的高质量同行评审公开论文，剔除作者机构、致谢及伪代码等噪音内容。利用大模型提取出具有精准定义的专业术语与缩略词，并强制要求仅依据文本本身给出一至两句话的严谨定义。所有术语经 TSN 资深专家人工校验与去重，形成标准术语库，为后续精准考察模型对确定性网络机制边界的理解提供坚实的语义支撑。

2. 专家在环的陈述性评测集构建：多模型交叉生成与严格四级审查
单一模型生成选择题往往引入特定的语言风格偏置与固定选项位置陷阱。TSNBench 采用 Claude Sonnet 4、GPT-4o mini 和 Llama 3.1 70B 三个独立模型家族轮询生成 1,326 道原始试题，随后对所有选项执行强制随机置换以打破位置偏差。更关键的是，研究团队引入 5 位拥有 8 年至 15 年以上 TSN 顶尖研究经验的教授与博士后组成专家评审团，按照接受（Accept）、修改（Revise）、拒绝（Reject）、存疑（Doubtful）四级规则进行盲审。最终淘汰了 387 道包含歧义、过度依赖单一论文特定参数的试题，修正了 185 道题干，保留了 939 道兼具严谨性与独立性的高质量题目。

3. 确定性网络最坏延迟推演基准：网络演算与闭式解析双轨建模
针对传统选择题无法衡量工程推演能力的问题，TSNBench 建立了 200 个涵盖单交换机、中等网格及工业环形拓扑的开放式 WCD 计算测试用例（各机制 100 例）。对于非确定性交叉流复杂的 CBS 机制，真值采用经过严格形式化验证的网络演算（Network Calculus）总流量分析（TFA）求解器计算： $$D_{f}^{h} = D_{M_i}^{h} = \sup_{t \geq 0} \left\{ \inf \left\{ \tau \geq 0 \mid \alpha_{M_i}^{h}(t) \leq \beta_{M_i}^{h}(t + \tau) \right\} \right\}$$ 结合到达曲线 $\alpha(t)$ 与基于信用整形服务曲线 $\beta(t)$ 计算各交换机端口偏差；对于周期同步的 CQF 机制，真值由确切闭式数学上界给出： $$\mathrm{WCD} = f_i.\phi + (\mathrm{SW_{num}} + 1) \cdot T + \xi$$ 其中 $f_i.\phi$ 为源节点流量偏移，$T$ 为周期长度，$\xi$ 为处理、传播及同步时钟误差综合常数。评测以零样本、无公式提示的纯封闭黑盒方式进行，严格测试模型自主调用数理知识推导端到端排队行为的能力。

4. 多维可靠性与安全置信度度量：区分常规校准与危险过度自信
在工业与车载安全通信中，大模型给出错误判断并不可怕，可怕的是以极高的置信度给出错误结论，从而误导工程师注入致命配置。TSNBench 不仅统计平均绝对误差（MAE）、平均绝对百分比误差（MAPE）和期望校准误差（ECE），还特别提出了高危指标 Confidently Wrong（CW）率，即模型预测错误但置信度依然大于等于 0.8 的样本占比。该设计使评估维度直接对齐工程安全规范。

实验关键数据¶

主实验¶

论文对 16 个前沿大语言模型（包括闭源前沿模型、开源模型、推理专用模型和轻量端侧模型）进行了全面测试，所有测试在确定性（$T=0.0$）和随机采样（$T=0.7$）下重复 3 次。下表汇总了各模型在选择题准确率（MCQA Accuracy）与两项机制最坏时延推演（WCD MAE / MAPE）的核心表现：

模型	MCQA 正确率 (%)	CBS 时延 MAE (µs)	CBS 时延 MAPE (%)	CQF 时延 MAE (µs)	CQF 时延 MAPE (%)
Claude Sonnet 4.5	95.3	292.8 ± 173.9	71.7 ± 15.3	211.5 ± 1057.3	116.2 ± 607.6
GPT-5	95.0	150.2 ± 198.2	36.2 ± 36.4	107.0 ± 69.0	62.4 ± 42.1
o3	94.7	262.5 ± 319.4	84.4 ± 106.0	102.2 ± 76.0	60.4 ± 46.0
DeepSeek-V3.2 (Thinking)	94.7	– (大量超时/空输出)	–	– (无有效响应)	–
DeepSeek-V3.2 (Non-thinking)	94.0	– (输出格式不合规)	–	172.3 ± 72.8	94.1 ± 40.4
Grok 4.1 Fast	93.2	174.6 ± 314.5	127.9 ± 514.1	139.6 ± 90.0	83.2 ± 56.6
Mistral Large 3	92.8	240.1 ± 152.3	62.7 ± 27.5	59.5 ± 27.2	41.8 ± 27.1
Mistral Medium 3.1	92.1	337.4 ± 225.7	102.7 ± 93.8	166.8 ± 92.6	96.2 ± 82.6
GPT-4o	91.8	– (全部退化输出为0)	–	82.2 ± 264.7	61.9 ± 193.6
Gemini 2.5 Flash	90.1	552.7 ± 1821.0	277.8 ± 1417.7	112.0 ± 89.9	60.6 ± 46.5
Llama 3.3 70B	88.9	313.3 ± 174.0	84.2 ± 39.0	160.9 ± 83.7	99.0 ± 77.2
GPT-4o mini	88.3	378.5 ± 189.7	97.2 ± 13.9	180.5 ± 82.0	99.2 ± 44.8
Ministral 3 8B	86.9	70287.8 ± 403636.4	25498.1 ± 164932.0	2918.5 ± 4017.6	1705.5 ± 2382.1
Qwen3 8B	83.7	– (API 超时无输出)	–	– (API 超时无输出)	–
Llama 3.2 1B	67.4	– (幻觉编造千条流)	–	– (输出全0或空)	–

模型可靠性与置信度校准分析¶

为进一步考察模型在安全关键环境中的盲目自信倾向，下表列出了代表性模型在 939 道 MCQA 上的平均置信度、期望校准误差（ECE）及高危错误率（CW Rate）：

模型配置	平均置信度 (Conf.)	ECE ↓	Brier 分数 ↓	盲目自信错误率 (CW Rate %) ↓
o3 (Reasoning)	0.7524	0.1874	0.0852	3.4
GPT-5	0.8773	0.0569	0.0475	51.7
Claude Sonnet 4.5	0.9374	0.0181	0.0429	86.6
DeepSeek-V3.2 (Non-thinking)	0.9312	0.0105	0.0526	96.4
GPT-4o	0.8782	0.0354	0.0765	99.2
Grok 4.1 Fast (Non-Reasoning)	0.9760	0.0328	0.0764	100.0
Mistral Medium 3.1	0.9779	0.0295	0.0750	100.0
Ministral 3 8B	0.9649	0.0822	0.1230	100.0

关键发现¶

表层答题与底层推演的剧烈割裂：多数主流模型在 TSN MCQA 上的得分均超过 90%，给人一种大模型已全面掌握确定性网络机制的假象；但在开放式 WCD 计算中，除 GPT-5 将 CBS 相对误差控制在 36.2% 之外，其余所有模型的误差普遍高于 70% 至 100% 以上。面对通常仅有 1000 µs 死线预算的 TSN 流量，上百微秒的绝对误差足以毁掉整个实时调度。
数理机制复杂度压倒机制成熟度：CBS 虽然比 CQF 标准化更早、在工程界积累文献更多，但模型在 CBS 上的计算失败率显著高于 CQF。其原因在于 CBS 的 TFA 分析需要依赖抽象的 $(\min, +)$ 代数网络演算，而 CQF 具备代数形式明确的封闭公式，这证明当前大模型的确定性推演瓶颈在于底层数学建模与多步逻辑展开能力，而非知识预训练的时间久暂。
校准指标的致命欺骗性与 o3 的保守优势：诸如 DeepSeek-V3.2 (NT) 和 Claude Sonnet 4.5 展现出极低且理想的 ECE（~0.01-0.018），但其答错题目时的盲目自信率（CW Rate）却高达 86.6%-96.4%，许多非推理模型更是达到 100%；反观 o3，虽然因为整体倾向保守导致 ECE 统计值偏高（0.1874），但其答错题目时仅有 3.4% 给出高置信度，在工程安全实操中体现出更强的安全性。

亮点与洞察¶

构建了确定性网络领域首个权威严谨的评估基准：通过 5 位资深专家的四级同行评审机制，结合严格的形式化网络演算求解工具，填补了 IEEE 802.1 TSN 领域缺乏端到端大模型评价体系的空白。
揭示了通用基准对专业领域能力的系统性高估：证明了单纯依靠多项选择题（MCQA）评估大模型的局限性，指出了封闭式数值推演才是衡量模型能否作为网络编排助手的真正试金石。
确立了严谨的零样本闭卷评测范式：在不显式提供推导公式和示例的条件下评估模型的内化推导能力，为后续结合外部形式化验证器（SMT/NC Solvers）的 Agent 协同网络编排研究提供了清晰的基准基线。

局限与展望¶

机制覆盖仍显有限：目前开放式计算仅覆盖了 CBS 和 CQF，尚未纳入门控列表（GCL）生成属于 NP-hard 的时间感知整形器（TAS）与异步流量整形器（ATS）。
语料仅来源于公开学术论文：受版权限制，MCQA 暂未直接解析未公开的 IEEE 802.1 原始标准化文本；未来需在授权框架下进一步扩充工业规范原生用例。
测试拓扑规模适中：当前拓扑局限于单交换机、中小网格与工业环网；未来需向大规模航空总线及超大型车联网拓扑延伸，探索结合工具调用（Tool-use Agent）的确定性求解协同。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对 TSN 与网络演算的时序推演评测基准，问题切入点极其犀利。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 个各体系代表模型，结合 ECE、CW Rate、MAE 与 MAPE 多维交织，实验扎实可信。
写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严密，对确定性网络背景与实验误差归因分析透彻。
价值: ⭐⭐⭐⭐⭐ 为安全关键工业物联网与网络自动化运维（NetOps）引入大模型建立了不可逾越的安全评测门槛。