RigorMed
← 科研资源

计算机与 AI

推理基准怎么写才可复现?延迟、吞吐和准确率记录表

先定义负载和计时起止,再比较延迟或吞吐。离线批处理和在线请求回答不同问题,需要各自的指标和配置。

计算机与 AI

整理模型权重、数据版本、推理代码、硬件与运行日志。若要声明方法更快,先决定是在固定负载下比延迟,还是在同一延迟预算内比可持续吞吐。

MLPerf 按场景规定指标和规则。本文的工作表用于普通科研报告,正式 MLPerf 提交须使用对应规则与工具。

怎么做

  1. 写清比较口径

    记录同一任务、输入长度分布、并发、批量大小、预热和缓存策略。硬件、驱动、精度和框架版本放进表格。

  2. 明确计时边界

    声明从客户端发送到收到完整结果、服务端执行,还是某个算子耗时。GPU 异步执行时说明同步方式。生成式模型可分开报首令牌延迟和生成吞吐,并记录输入、输出长度。

  3. 核对准确率和异常

    在同一数据与指标下核对输出质量。计入失败、超时和重试的数量。预先定义排除条件并保留原始请求日志。

  4. 给出多次测量和原始定位

    报告请求数、重复运行数及所用统计量,例如 p50 和 p95。附配置文件与运行 ID,结果表每行可回到一份日志。

示例对照表

以下为合成接口基准。同一设备、同一请求流,端到端计时,数据用于说明该怎样写结果表。

示例对照表
项目基线 A方法 B
请求、并发每轮 1,000 次,并发 8每轮 1,000 次,并发 8
端到端 p50 / p9517 / 35 ms15 / 42 ms
吞吐 / 超时112 请求/秒;2 次超时118 请求/秒;7 次超时
质量准确率 0.91,测试集 v2准确率 0.91,测试集 v2

B 的中位延迟更低,尾延迟与超时增加。若预先要求 p95 不超过 40 ms,B 在此例中未达标。单次示例不构成稳定提升证据。

常见问题

为什么要同时报告延迟与吞吐?

增加批量或并发可能抬高处理量并拉长等待。给出同一负载下的指标,可定位这种取舍。

不同硬件上的两条记录能比较吗?

可以比较两个完整系统,并把硬件差异写入结果;若结论针对算法本身,需要额外的受控实验。

核验来源

以下官方来源核验于 2026-11-13,页面发布前将再次检查访问条件和更新时间。

  1. MLCommons — MLPerf Inference
  2. MLCommons — Inference Datacenter benchmarks

RigorMed 工作台

整理可复跑的推理基准

带上两套配置、原始计时日志和质量指标,整理可比条件、计时口径和待验证结论。