Computer Science Conferences Should Require Nonrepudiable Experimental Results¶

会议: NeurIPS 2026
arXiv: 2605.08586
OpenReview: https://openreview.net/forum?id=UK7onMx1HA
代码: https://kveritas.org/docs
领域: 其他
关键词: 实验不可否认性, 计算证明层, 可重现性, K-Veritas, 智能体不可否认性

一句话总结¶

本文提出计算机科学顶会应强制要求不可篡改且防抵赖的实验结果认证，将“实验不可否认性”形式化为通过独立被动观察器与外部签名服务绑定的计算证明层，并开源了无需访问私有训练数据的参考实现 K-Veritas。

研究背景与动机¶

计算机科学与机器学习领域的实验可重现性危机已持续十余年，然而现有应对手段并未从根本上遏制学术不端与低质量实验数据的蔓延。在当前的同行评审与学术发表机制下，学术评价体系高度奖励新颖性与刷榜 SOTA 数值，而审稿人受限于紧迫的评审周期与算力预算，根本不可能为每篇投稿重跑实验。这导致审稿机制实质上退化成了“审查数值的合理性”而非“验证数值的真实性”；实验表格中由大语言模型伪造的虚构指标与真实运行产生的数字在视觉上毫无二致，论文中关于优化器、超参数与硬件环境的文本描述亦极易被虚构。

现有的各种制度性应对措施均存在本质缺陷。自查清单（如 NeurIPS Checklist、REFORMS）仅依赖作者自报，能防君子不能防有意造假；制品评估（Artifact Evaluation）多为录用后自愿参与，且仅验证代码的可运行性与通用可用性，并不检查该代码是否真正输出了论文所载的具体数字；Weights & Biases、MLflow 等实验记录平台完全处于作者控制之下，作者可以随意篡改或选择性上传有利日志；预注册（Pre-registration）仅约束了事前实验计划，并未将事后汇报的指标绑定到实际计算轨迹上；软件供应链签名（如 in-toto、Sigstore）则仅绑定构建产物与源码，无法将数值实验度量与执行过程锚定。

本文的核心洞见在于：物理科学在实验者与学术主张之间必然引入物理仪器作为不可篡改的见证者，而经验计算科学同样需要一个作者无法操控的见证层，让计算结果必须附带不可抵赖的执行证明才能作为合规证据。核心 idea：将论文指标绑定到具体执行计算并剥夺作者事后篡改与否认能力的性质定义为“实验不可否认性”（Experiment Nonrepudiation），通过引入作者不可控、数据盲态的“计算证明层”（Proof-of-Compute Layer）及参考实现 K-Veritas，以单向哈希聚合、硬件遥测一致性检验与独立数字签名终结数值信任赤字。

方法详解¶

整体框架¶

实验不可否认性协议的核心目标是在不泄露用户私有数据的前提下，将论文中报告的实验指标 $m_1, \ldots, m_k$ 与具体的计算执行过程 $C$ 形成密码学不可篡改的双向绑定。整个系统由本地独立观察器、外部不可控证明服务以及公开验证端构成。用户在原有执行命令前添加前缀启动观察，观察器在操作系统层面被动捕获进程的输入输出流与硬件资源遥测，在会话结束时将执行指纹发送至独立证明服务进行签名，生成单文件证明报告。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["作者执行入口<br/>前缀封装 kveritas run --seal"] --> B["被动观察与数据盲态捕获<br/>非阻塞捕获 stdout/stderr + 系统级硬件遥测采样"]
    B --> C["密码学摘要生成<br/>计算源码/环境/标准输出/指标/配置之 SHA-256"]
    C --> D["独立外部证明签名<br/>发送 64 位会话摘要至远程服务获取 RSA-PSS 签名"]
    D --> E["生成防篡改证明报告<br/>输出单文件 signed report.pdf + 密封代码包"]
    E --> F["公开独立验证<br/>验证端校验签名与哈希 + HMC 硬件遥测一致性"]

关键设计¶

1. 形式化安全属性与数据盲态机制：保障零数据泄露下的防抵赖 协议规定合规的不可否认性系统必须满足六大安全属性：被动性（不修改计算本身）、数据盲态（绝不接触私有数据集 $D$）、执行绑定（指标必须与实际计算硬件消耗相符）、防篡改性（修改任意字段均破坏签名）、作者与私钥隔离（签名私钥由独立第三方托管，作者无法伪造）以及独立可验证性。形式化地，一次执行证明定义为二元组 $A=(R, \sigma)$，其中 $R$ 记录了执行环境、源码哈希、输出流摘要、硬件遥测时序以及解析出的指标，$\sigma = \mathrm{Sign}(\mathrm{Hash}(R))$ 为证明服务基于独立私钥生成的签名。任意有效多项式时间攻击者伪造通过验证的异构记录 $R^* \neq R$ 的概率严格受限于数字签名伪造概率与哈希抗碰撞安全界： $$\Pr\Big[\,\mathrm{Verify}(R^*, \sigma^*)=1\;\wedge\;R^*\neq R\,\Big]\;\le\;\varepsilon_{\mathrm{sig}}+\varepsilon_{\mathrm{hash}}$$ 数据盲态通过仅将源文件指纹与标准输出文本摘要打包来实现；作者可通过忽略规则排除专有训练数据，同时保证数据哈希被锚定在证明体系中。

2. 软硬件遥测一致性度量（HMC）：防范无算力伪造与虚假训练循环 针对攻击者编写虚假脚本直接打印逼真度量或在轻量 CPU 上谎称进行了大规模 GPU 训练的威胁模型，K-Veritas 在执行生命周期中按秒采样 CPU 时间、内存常驻集大小、GPU 算力利用率、显存占用与磁盘 I/O。系统提出了硬件-指标一致性（Hardware-Metric Consistency, HMC）相干性评分。HMC 分析不同进程级遥测通道之间的协方差与联动特征，评估多路硬件资源消耗是否作为单一真实计算进程在时间轴上同步波动。若论文报告在海量数据上进行了多轮 GPU 训练，但后台遥测显示 GPU 活跃度为零或与所声明的吞吐量存在显著偏差，证明报告将直接标明遥测不足或硬件行为不一致，使轻量伪造在形式上无所遁形。

3. 运行锚定机制（Run Anchors）：遏制选择性汇报与偷跑筛选 针对“作者反复运行 100 次仅汇报单次最优结果”的选择性报告（Cherry-picking）攻击，协议引入了运行锚定机制。每当作者在本地调用观察器运行实验时，无论实验正常结束、因报错中断还是被人为强制终止，会话终止事件均会在外部证明服务进行轻量级计数锚定。最终生成的密封证明报告中强制载明当前调用周期内的总运行次数、保留次数、失败次数与中断次数。审稿人与读者能够一目了然地获知作者是否在当前密封环境下进行了海量试错后仅展示单次结果，从而有效挤压暗箱筛选实验的空间。

4. 基于哈希链的智能体不可否认性扩展（Agent Nonrepudiation）：审计自主代理执行流 将实验不可否认性范式外推至日益普及的自主研究与代码智能体（Autonomous Agents）场景，论文定义了针对判定谓词 $D(x_k)=1$（包括工具调用、文件写操作、跨智能体消息及子智能体创建等关键操作）的不可否认机制。系统在初始阶段由服务端签发包含谓词约束与起始时间的创世块（Genesis Block），其哈希 $\ell_0$ 作为链根。智能体执行的每个指定动作生成一个包含执行者身份 $\alpha_j$、输入输出内容摘要及前序链条链接的条目 $e_j$： $$\ell_j = \mathrm{Hash}(e_j \parallel \ell_{j-1})$$ 在工具边界设置拦截钩子，确保指定动作在实际生效前必须完成哈希提交（Completeness by construction）。对于层次化多智能体系统，动作条目内嵌父子派生标识符，构成有序的有向树/森林结构，使任何篡改执行顺序、冒名顶替或抹杀子代理行为的企图均能在验证阶段精确定位到首个失败节点。

一个完整示例：Llama-2 15M 预训练会话密封¶

作者在搭载 Intel Xeon W-2145 与单张 NVIDIA RTX 5060 Ti 的物理机上复现 karpathy/llama2.c，在 TinyStories 数据集上训练 15M 参数语言模型。 1. 启动与封装：作者运行命令 kveritas run --seal -- bash kv_run.sh。K-Veritas 自动扫描工作区内 66 个受跟踪文件并记录快照，通过 .kveritasignore 豁免 50 个 TinyStories 数据分块（内容保密但哈希锁定）。 2. 遥测与执行：训练历时 2 小时 23 分钟（采样 7200 个硬件快照，累计 CPU 时间 8580.0 秒，峰值显存 8.46 GB，峰值 GPU 利用率 99%）。 3. 指标捕获：解析器从标准输出流捕获关键指标（step 14000 时 train_loss 为 1.1897，val_loss 为 1.1907，C 推理速度为 69.49 tokens/s），并锁定初始随机种子 seed:1337。 4. 摘要签名与验证：K-Veritas 生成唯一 64 字符的会话 SHA-256 摘要并提交给远程证明服务器，获取 4096 位 RSA-PSS 签名，生成单文件 report.pdf（公开发布记录为 kv:2610.00028v1）。审稿人无需安装环境，只需访问 Web 验证端上传 PDF，即可在数秒内验证签名有效性、HMC 相干性（0.50，判定为协同计算）以及源码与度量的精确对应。

实验关键数据¶

主实验：现有学术可重现性保障机制能力对比¶

论文在附录 A 对现存的 6 大类学术可重现性与代码管理机制进行了系统的安全与功能属性对照分析。

机制类型	绑定数值至真实运行	防篡改性	评审前可核验	无需访问私有数据	作者无法事后修改	自动化公开核验	具备全员通用性潜力
自查清单 (Checklist)	✗ 否	✗ 否	✓ 是	✓ 是	✗ 否	✗ 否	✓ 是
制品评估 (Artifact Eval)	✗ 否	✗ 否	✗ 否	✗ 否	✗ 否	✗ 否	✗ 否
实验追踪平台 (W&B / MLflow)	✗ 否	✗ 否	N/A	✗ 否	✗ 否	✗ 否	✗ 否
复现竞赛 (MLRC)	部分支持	✗ 否	✗ 否	✗ 否	✓ 是	✗ 否	✗ 否
预注册机制 (Pre-registration)	✗ 否	✗ 否	✓ 是	✓ 是	部分支持	✗ 否	✗ 否
不可否认性方案 (K-Veritas)	✓ 是	✓ 是	✓ 是	✓ 是	✓ 是	✓ 是	✓ 是 (阶段化推广)

对比分析：公开注册库真实记录核查与局限暴露测试¶

论文分析了已收录在公开发布注册表（包含跨 CV、NLP、系统、机器人等 43 项公开记录）中的典型异构测试案例，展示了其在官方实现与第三方独立复现下的表现。

记录编号 / 任务类型	源码与目的	执行耗时	捕获指标	硬件配置与峰值资源	遥测样本数与 HMC 判定	真实代码 / 隐匿数据绑定	验证结论与限度揭示
kv:2610.00028v1 (Llama-2 15M 预训练)	官方复现 TinyStories	2h 23m	train_loss: 1.1897 val_loss: 1.1907 speed: 69.49 tok/s	Intel Xeon W-2145 RTX 5060 Ti (99% GPU)	7200 样本 HMC: 0.50 (Coherent)	66 个源文件 50 个数据块隐匿	签名完全有效；软硬件资源高度协变，证实长程重算力训练真实发生
kv:2610.00033v1 (Mamba-370M 零样本评测)	第三方复现 state-spaces/mamba	5m 15s	LAMBADA acc: 0.556 PIQA acc: 0.695	Intel Xeon W-2145 RTX 5060 Ti (97% GPU)	3136 样本 HMC: 0.36 (Coherent)	84 个跟踪文件 4 个 CUDA 源文件绑定	签名有效；算力消耗与 5 分钟推理评估吻合，数值与外部公开基准一致
kv:2610.00041v1 (Sεbεn 快速评估)	论文官方实现短程评测测试	1.8s	phi: 0.500696 phi_bam: 0.542398	Intel Xeon 8核 NVIDIA L4 (0% 峰值)	8 样本遥测过少无法判定	27 个跟踪文件无数据隐匿	签名与代码哈希绑定成立，但系统如实标记“遥测过少无法判定一致性”，暴露短程评估局限

关键发现¶

现有手段无一能防有意造假：自查清单与制品评估无法回答“报告的数据是否由所述代码真实跑出”，18% 的顶会论文可运行代码率表明传统制品复现存在严重瓶颈。
透明度胜于虚假担保：如 kv:2610.00041v1 所示，当程序仅运行 1.8 秒时，系统不会给出虚假的“完全真实”结论，而是忠实记录其缺乏足够硬件遥测；证明系统记录其局限性本身即构成了科学证据的一部分。
零开销与隐私兼容：在整个流程中，训练数据无需上传至第三方服务器，仅以 64 字节哈希参与约束，彻底打消了工业界敏感数据合规顾虑。

亮点与洞察¶

将信任成本推高至物理与内核层面：以往学术造假仅需文字编辑器即可凭空制造漂亮的 SOTA 表格，而引入不可否认性体系后，攻击者必须实际运行消耗等量算力的真实脚本，或者入侵并劫持底层操作系统内核，极大提高了造假门槛与作恶成本。
类比 AI 审稿禁令的思想统一：ICML 2025 明确禁止使用生成式 AI 撰写审稿意见，理由是社区无法通过文本检验其是否反映真实人类审查；论文一针见血地指出，既然无法核验真伪的虚假审稿意见应被明令禁止，那么同样无法被核验真伪的虚假实验数据更应当被强制进行源头计算证明。
轻量非侵入式工程设计：采用 Go 语言构建单一无依赖静态二进制文件，用户无需在 Python 代码中注入繁琐的 API 或修改原有计算流，直接作为外部 CLI 包装运行，极大降低了研究人员的采纳阻力。

局限与展望¶

无法抵御高权限与硬件层劫持：当前的纯用户态软件观察器无法防御被篡改的操作系统内核或恶意虚拟化固件所伪造的伪假硬件计数器；未来需要借助机密计算（TEE）与硬件根信任（如 NVIDIA APEX / Intel SGX）实现硬件背书证明。
只能证明“发生了计算”，不能证明“科学设计合理”：不可否认性仅保证上报数值与实际运行产物严格对应，但无法识别糟糕的基线对比、存在严重数据泄露的训练流程或不合理的实验切分；它保障的是数据真实性而非学术洞察力。
中心化签名服务器的权力隐患：单点证明服务存在单点故障与学术话语权垄断风险；未来亟需建立类似 OpenReview 的独立非营利组织治理架构，并向多节点联邦证明网络（Federated Attestation）演进。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出“实验不可否认性”概念并将其形式化为安全协议，填补了可重现性体系在证据链防抵赖上的空白。
实验充分度: ⭐⭐⭐⭐ 包含完备的形式化推导、威胁模型推演，以及跨 43 项公开真实计算任务的落地验证和原型系统。
写作质量: ⭐⭐⭐⭐⭐ 论证严密、层层递进，对比分析鞭辟入里，哲学层面的科学证据反思极具启发性。
价值: ⭐⭐⭐⭐⭐ 对扭转经验计算科学与机器学习领域日趋严峻的虚假实验与复现危机具有深远的制度与技术指导价值。