AI 推理引擎评测先固定模型、输入与执行路径推理引擎的基准不是跑一次 demo 再截图。模型图、量化方式、线程策略和算子回退任一变化数字就不再可比。评测对象要能被唯一描述记录模型哈希、权重格式、编译选项、输入形状和后端设备。动态 shape、预填充与解码阶段分别测量避免把不同执行路径揉成一个耗时。指标需要和阶段对应首 Token、单 Token、峰值内存和吞吐各自回答不同问题。并发测试还应记录批处理策略与排队时间不能用总吞吐掩盖单请求长尾。预热与冷启动分组报告。算子回退在日志中单独标记。结果附上提交版本与运行命令。先验证正确性再谈速度使用固定输入比较输出误差并保留失败样本。优化如果改变数值精度应说明容差来自任务需求而不是为了通过测试临时放宽。可复现的基准像一份实验协议别人按同样条件能得到相近结论数字才值得讨论。