小芯片模型评测的样本准备当团队把 DeepSeek-R1-Distill-Qwen-1.5B 跑在 RK3588 边缘开发板上时测试报告里的数据让所有人一头雾水。研发给出的推理速度是 42 Tokens/s而测试组测出的平均吞吐却只有 8.5 Tokens/s。这种巨大差异并非测试失误而是基准测试Benchmarking在指标定义和数据集设计上踩了坑。在计算资源受限的边缘芯片上模型推理被严格切分为 Prefill首字生成/上下文处理与 Decode逐字生成两个物理阶段。前者的性能瓶颈在算力后者的瓶颈却完全卡在 LPDDR4x/LPDDR5 的总线带宽上。如果拿吞吐量的平均数去评估用户体验只会掩盖真实的硬件卡顿。1. 边缘端推理性能瓶颈的物理真相在嵌入式 SOC 或边缘加速卡上DRAM 内存带宽往往远低于桌面级 GPU。以 RK3588 为例其四通道 64-bit LPDDR4x 内存理论峰值带宽约为 17 GB/s。当运行 INT4 量化后的 1.5B 模型权重体积约 1.1 GB时读取一次完整权重就需要耗费至少 65 毫秒。Decode 阶段理论上限计算 TPS_Max 内存总线带宽 (17 GB/s) / 模型权重体积 (1.1 GB) ≈ 15.4 Tokens/s无论 NPU 或 GPU 的算力有多高逐字推理阶段的速度绝对不可能超越这个物理极限。如果测试数据集里的 Prompt 极其简短例如 5 个 Token模型大部分时间都在跑 DecodeTPS 表现就会接近 15而如果 Prompt 长达 2048 个 TokenPrefill 阶段的并行 GEMM 计算会瞬间拉低整体的平均吞吐率。2. 边缘大模型基准测试评测管线为了获得客观、可复现的评测结果必须建立分层基准测试体系。测试的核心准则严禁将 Prefill 的处理耗时与 Decode 的生成耗时混为一谈。3. 硬件性能计数器Perf与总线带宽抓取命令在测试运行期间必须使用 Linux 系统的perf命令抓取 CPU/NPU 访存指令与 L3 Cache 缺失率结合sysfs节点监控内存控制器频点。首先锁死 RK3588 的 NPU 与 DDR 频率排除 CPU 动态调频CPUFreq造成的测量抖动# 锁定 DDR 频率到最高 2112MHz echo userspace /sys/class/devfreq/dmc/governor echo 211200000 /sys/class/devfreq/dmc/userspace/set_freq # 锁定 NPU 频率 echo performance /sys/class/devfreq/fdab0000.npu/governor随后启动基准测试程序同时利用perf捕获内存总线访问事件perf stat -e bus_access,L1-dcache-load-misses,l2d_cache_refill \ ./rknpu_llm_runner \ --model_path ./models/deepseek_r1_1.5b_w4a16.rknn \ --prompt_file ./bench_prompts_512.json \ --max_new_tokens 128终端返回的关键硬件计数器数据Performance counter stats for process ./rknpu_llm_runner: 1,842,910,240 bus_access 421,050,112 L1-dcache-load-misses # 22.8% of all L1-d cache accesses 98,420,105 l2d_cache_refill # 频繁引发外部 DRAM 读取 12.450201402 seconds time elapsed通过计算bus_access与实际消耗时间的比值即可精确推导出推理过程中真实的 DRAM 实际带宽利用率Bandwidth Efficiency。4. 自动化 Python 基准测试集与精确指标采集脚本下述 Python 脚本示范了如何精准测量 TTFTTime to First Token与 ITLInter-Token Latency并导出 Percentile 分位数统计。import time import json import numpy as np from typing import List, Dict, Tuple # 模拟边缘推理 C 绑定的 Python 接口 class EdgeLLMInferenceEngine: def __init__(self, model_path: str): self.model_path model_path # 实际工程中这里调用 ctypes 或 Pybind11 加载 .so def stream_generate(self, prompt_tokens: List[int], max_new_tokens: int): # 模拟 Prefill 耗时 (首字) prefill_time 0.05 len(prompt_tokens) * 0.00015 time.sleep(prefill_time) yield 101 # 返回第一个 token # 模拟 Decode 耗时 (后续字) for _ in range(max_new_tokens - 1): decode_time 0.045 # 约 22.2 TPS time.sleep(decode_time) yield 102 def run_benchmark(engine: EdgeLLMInferenceEngine, dataset: List[Dict[str, any]]) - Dict[str, float]: ttft_list [] itl_list [] for item in dataset: prompt_tokens item[input_ids] max_new_tokens item[max_new_tokens] timestamps [] start_time time.perf_counter() generator engine.stream_generate(prompt_tokens, max_new_tokens) for token in generator: timestamps.append(time.perf_counter()) # 计算首字耗时 TTFT ttft (timestamps[0] - start_time) * 1000.0 # ms ttft_list.append(ttft) # 计算 Token 间延迟 ITL for i in range(1, len(timestamps)): itl (timestamps[i] - timestamps[i-1]) * 1000.0 # ms itl_list.append(itl) ttft_np np.array(ttft_list) itl_np np.array(itl_list) metrics { TTFT_P50_ms: float(np.percentile(ttft_np, 50)), TTFT_P99_ms: float(np.percentile(ttft_np, 99)), ITL_P50_ms: float(np.percentile(itl_np, 50)), ITL_P99_ms: float(np.percentile(itl_np, 99)), Decode_TPS_P50: float(1000.0 / np.percentile(itl_np, 50)), } return metrics if __name__ __main__: # 构建不同 Context 长度的测试集 dummy_dataset [ {input_ids: [1] * 128, max_new_tokens: 64}, {input_ids: [1] * 512, max_new_tokens: 64}, {input_ids: [1] * 1024, max_new_tokens: 64}, ] engine EdgeLLMInferenceEngine(./model.rknn) results run_benchmark(engine, dummy_dataset) print( 边缘 LLM 基准测试结果 ) print(json.dumps(results, indent2))5. 指标口径防坑检查清单在发布边缘小模型性能测试报告之前必须按照以下规程复核测量条件剔除 Tokenizer 编解码耗时测试 TTFT 时起点必须是输入 Token ID 数组拷贝进 NPU/GPU 显存的时刻终点是推理引擎吐出首个 Output Token ID 的时刻严禁将 CPU 端 Python Tokenizer 的文本切词耗时计入模型推理延迟。区分冷启动与热加载第一遍推理会触发动态库加载、内存 Page Table 建立与 Shader 编译。测试数据必须丢弃前 3 次 Warmup 的结果。固定量化 Group Size 口径评测 INT4 模型性能时必须明确标注量化细节如 W4A16, Group Size 128 或 Per-Channel。不同的 Group Size 会直接影响 Prefill 阶段反量化算子的指令开销。记录散热与降频状态边缘芯片在持续高负荷运行 10 分钟后极易触发 Thermal Throttling。基准测试必须在记录芯片温度cat /sys/class/thermal/thermal_zone0/temp的同时进行。把指标切干净把环境锁死小芯片上的大模型测试数据才有工程参考价值。 小芯片模型评测的样本准备
小芯片模型评测的样本准备当团队把 DeepSeek-R1-Distill-Qwen-1.5B 跑在 RK3588 边缘开发板上时测试报告里的数据让所有人一头雾水。研发给出的推理速度是 42 Tokens/s而测试组测出的平均吞吐却只有 8.5 Tokens/s。这种巨大差异并非测试失误而是基准测试Benchmarking在指标定义和数据集设计上踩了坑。在计算资源受限的边缘芯片上模型推理被严格切分为 Prefill首字生成/上下文处理与 Decode逐字生成两个物理阶段。前者的性能瓶颈在算力后者的瓶颈却完全卡在 LPDDR4x/LPDDR5 的总线带宽上。如果拿吞吐量的平均数去评估用户体验只会掩盖真实的硬件卡顿。1. 边缘端推理性能瓶颈的物理真相在嵌入式 SOC 或边缘加速卡上DRAM 内存带宽往往远低于桌面级 GPU。以 RK3588 为例其四通道 64-bit LPDDR4x 内存理论峰值带宽约为 17 GB/s。当运行 INT4 量化后的 1.5B 模型权重体积约 1.1 GB时读取一次完整权重就需要耗费至少 65 毫秒。Decode 阶段理论上限计算 TPS_Max 内存总线带宽 (17 GB/s) / 模型权重体积 (1.1 GB) ≈ 15.4 Tokens/s无论 NPU 或 GPU 的算力有多高逐字推理阶段的速度绝对不可能超越这个物理极限。如果测试数据集里的 Prompt 极其简短例如 5 个 Token模型大部分时间都在跑 DecodeTPS 表现就会接近 15而如果 Prompt 长达 2048 个 TokenPrefill 阶段的并行 GEMM 计算会瞬间拉低整体的平均吞吐率。2. 边缘大模型基准测试评测管线为了获得客观、可复现的评测结果必须建立分层基准测试体系。测试的核心准则严禁将 Prefill 的处理耗时与 Decode 的生成耗时混为一谈。3. 硬件性能计数器Perf与总线带宽抓取命令在测试运行期间必须使用 Linux 系统的perf命令抓取 CPU/NPU 访存指令与 L3 Cache 缺失率结合sysfs节点监控内存控制器频点。首先锁死 RK3588 的 NPU 与 DDR 频率排除 CPU 动态调频CPUFreq造成的测量抖动# 锁定 DDR 频率到最高 2112MHz echo userspace /sys/class/devfreq/dmc/governor echo 211200000 /sys/class/devfreq/dmc/userspace/set_freq # 锁定 NPU 频率 echo performance /sys/class/devfreq/fdab0000.npu/governor随后启动基准测试程序同时利用perf捕获内存总线访问事件perf stat -e bus_access,L1-dcache-load-misses,l2d_cache_refill \ ./rknpu_llm_runner \ --model_path ./models/deepseek_r1_1.5b_w4a16.rknn \ --prompt_file ./bench_prompts_512.json \ --max_new_tokens 128终端返回的关键硬件计数器数据Performance counter stats for process ./rknpu_llm_runner: 1,842,910,240 bus_access 421,050,112 L1-dcache-load-misses # 22.8% of all L1-d cache accesses 98,420,105 l2d_cache_refill # 频繁引发外部 DRAM 读取 12.450201402 seconds time elapsed通过计算bus_access与实际消耗时间的比值即可精确推导出推理过程中真实的 DRAM 实际带宽利用率Bandwidth Efficiency。4. 自动化 Python 基准测试集与精确指标采集脚本下述 Python 脚本示范了如何精准测量 TTFTTime to First Token与 ITLInter-Token Latency并导出 Percentile 分位数统计。import time import json import numpy as np from typing import List, Dict, Tuple # 模拟边缘推理 C 绑定的 Python 接口 class EdgeLLMInferenceEngine: def __init__(self, model_path: str): self.model_path model_path # 实际工程中这里调用 ctypes 或 Pybind11 加载 .so def stream_generate(self, prompt_tokens: List[int], max_new_tokens: int): # 模拟 Prefill 耗时 (首字) prefill_time 0.05 len(prompt_tokens) * 0.00015 time.sleep(prefill_time) yield 101 # 返回第一个 token # 模拟 Decode 耗时 (后续字) for _ in range(max_new_tokens - 1): decode_time 0.045 # 约 22.2 TPS time.sleep(decode_time) yield 102 def run_benchmark(engine: EdgeLLMInferenceEngine, dataset: List[Dict[str, any]]) - Dict[str, float]: ttft_list [] itl_list [] for item in dataset: prompt_tokens item[input_ids] max_new_tokens item[max_new_tokens] timestamps [] start_time time.perf_counter() generator engine.stream_generate(prompt_tokens, max_new_tokens) for token in generator: timestamps.append(time.perf_counter()) # 计算首字耗时 TTFT ttft (timestamps[0] - start_time) * 1000.0 # ms ttft_list.append(ttft) # 计算 Token 间延迟 ITL for i in range(1, len(timestamps)): itl (timestamps[i] - timestamps[i-1]) * 1000.0 # ms itl_list.append(itl) ttft_np np.array(ttft_list) itl_np np.array(itl_list) metrics { TTFT_P50_ms: float(np.percentile(ttft_np, 50)), TTFT_P99_ms: float(np.percentile(ttft_np, 99)), ITL_P50_ms: float(np.percentile(itl_np, 50)), ITL_P99_ms: float(np.percentile(itl_np, 99)), Decode_TPS_P50: float(1000.0 / np.percentile(itl_np, 50)), } return metrics if __name__ __main__: # 构建不同 Context 长度的测试集 dummy_dataset [ {input_ids: [1] * 128, max_new_tokens: 64}, {input_ids: [1] * 512, max_new_tokens: 64}, {input_ids: [1] * 1024, max_new_tokens: 64}, ] engine EdgeLLMInferenceEngine(./model.rknn) results run_benchmark(engine, dummy_dataset) print( 边缘 LLM 基准测试结果 ) print(json.dumps(results, indent2))5. 指标口径防坑检查清单在发布边缘小模型性能测试报告之前必须按照以下规程复核测量条件剔除 Tokenizer 编解码耗时测试 TTFT 时起点必须是输入 Token ID 数组拷贝进 NPU/GPU 显存的时刻终点是推理引擎吐出首个 Output Token ID 的时刻严禁将 CPU 端 Python Tokenizer 的文本切词耗时计入模型推理延迟。区分冷启动与热加载第一遍推理会触发动态库加载、内存 Page Table 建立与 Shader 编译。测试数据必须丢弃前 3 次 Warmup 的结果。固定量化 Group Size 口径评测 INT4 模型性能时必须明确标注量化细节如 W4A16, Group Size 128 或 Per-Channel。不同的 Group Size 会直接影响 Prefill 阶段反量化算子的指令开销。记录散热与降频状态边缘芯片在持续高负荷运行 10 分钟后极易触发 Thermal Throttling。基准测试必须在记录芯片温度cat /sys/class/thermal/thermal_zone0/temp的同时进行。把指标切干净把环境锁死小芯片上的大模型测试数据才有工程参考价值。