计算机与 AI
推理基准怎么写才可复现?延迟、吞吐和准确率记录表
先定义负载和计时起止,再比较延迟或吞吐。离线批处理和在线请求回答不同问题,需要各自的指标和配置。
整理模型权重、数据版本、推理代码、硬件与运行日志。若要声明方法更快,先决定是在固定负载下比延迟,还是在同一延迟预算内比可持续吞吐。
MLPerf 按场景规定指标和规则。本文的工作表用于普通科研报告,正式 MLPerf 提交须使用对应规则与工具。
怎么做
写清比较口径
记录同一任务、输入长度分布、并发、批量大小、预热和缓存策略。硬件、驱动、精度和框架版本放进表格。
明确计时边界
声明从客户端发送到收到完整结果、服务端执行,还是某个算子耗时。GPU 异步执行时说明同步方式。生成式模型可分开报首令牌延迟和生成吞吐,并记录输入、输出长度。
核对准确率和异常
在同一数据与指标下核对输出质量。计入失败、超时和重试的数量。预先定义排除条件并保留原始请求日志。
给出多次测量和原始定位
报告请求数、重复运行数及所用统计量,例如 p50 和 p95。附配置文件与运行 ID,结果表每行可回到一份日志。
示例对照表
以下为合成接口基准。同一设备、同一请求流,端到端计时,数据用于说明该怎样写结果表。
| 项目 | 基线 A | 方法 B |
|---|---|---|
| 请求、并发 | 每轮 1,000 次,并发 8 | 每轮 1,000 次,并发 8 |
| 端到端 p50 / p95 | 17 / 35 ms | 15 / 42 ms |
| 吞吐 / 超时 | 112 请求/秒;2 次超时 | 118 请求/秒;7 次超时 |
| 质量 | 准确率 0.91,测试集 v2 | 准确率 0.91,测试集 v2 |
B 的中位延迟更低,尾延迟与超时增加。若预先要求 p95 不超过 40 ms,B 在此例中未达标。单次示例不构成稳定提升证据。
常见问题
为什么要同时报告延迟与吞吐?
增加批量或并发可能抬高处理量并拉长等待。给出同一负载下的指标,可定位这种取舍。
不同硬件上的两条记录能比较吗?
可以比较两个完整系统,并把硬件差异写入结果;若结论针对算法本身,需要额外的受控实验。
核验来源
以下官方来源核验于 2026-11-13,页面发布前将再次检查访问条件和更新时间。
RigorMed 工作台
整理可复跑的推理基准
带上两套配置、原始计时日志和质量指标,整理可比条件、计时口径和待验证结论。
