尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

【推理优化】性能指标:TTFT、TPOT、吞吐量,一个都不能少

【推理优化】性能指标:TTFT、TPOT、吞吐量,一个都不能少 性能指标为什么重要假设你是一位系统工程师,接到一个任务:为公司的 LLM 推理服务做性能优化。你的第一反应是什么?大概率是直接上手调参数——增大 batch size、开启 continuous batching、调低采样温度。但等一下:你凭什么知道这些改动是变好了还是变差了?凭直觉?凭看响应速度好像快了一点?这在工程上是灾难性的做法。任何没有量化基准的优化,本质上都是猜测。而猜测驱动的优化,是生产环境事故的头号来源。度量驱动优化优化学有一个被反复验证的基本原则:你无法优化一个无法测量的东西(You can’t optimize what you can’t measure)。这在 LLM 推理领域表现得尤为明显——因为 LLM 推理的性能特征是非线性的。给它增加一个并发用户,延迟可能不是上升 10%,而是翻倍;把 batch size 从 8 调到 16,吞吐量可能提升 60%,但 TTFT 可能从 400ms 恶化到 900ms。这些非线性效应,没有任何经验法则可以精确预测,唯一的办法就是测量。度量驱动的优化有一个标准流程,它构成一个闭环:
返回列表