1. 项目概述当YOLOv8遇见移动端最近在折腾一个挺有意思的事儿把YOLOv8这个目前业界公认又快又准的目标检测模型塞到手机里跑起来。听起来是不是有点“把大象装进冰箱”的感觉毕竟YOLOv8虽然以高效著称但其模型体积和计算需求对于手机这类资源受限的设备来说依然是个不小的挑战。但需求就摆在那里离线安防巡检、实时AR互动、智能购物导览甚至是帮视障朋友“看清”世界都需要在移动端实现精准、快速的目标识别。我之所以花时间研究这个是因为发现很多教程要么停留在云端API调用要么就是用一个极度简化的模型在演示离真正的“可用”还有距离。真正的移动端部署需要考虑模型压缩、推理引擎适配、前后处理优化以及功耗控制等一系列工程问题。这不仅仅是跑通一个Demo而是要让它在你的安卓或iOS设备上稳定、流畅且省电地工作。如果你是一名移动开发者想为App增加AI视觉能力或是一名嵌入式爱好者想探索端侧智能的极限那么这篇从环境搭建、模型转换到性能调优的完整实践笔记应该能给你提供一条清晰的路径。2. 核心思路与技术选型解析把YOLOv8部署到手机本质上是一个模型轻量化与端侧推理的工程问题。我们不能直接把从PyTorch或Ultralytics官网下载的原始模型丢进手机那就像试图把一台台式机的主板塞进智能手机一样不现实。整个流程需要经过精心设计。2.1 为什么选择YOLOv8及其面临的挑战YOLOv8在精度和速度的平衡上做得非常出色其骨干网络和检测头的设计相比前代更为高效。但是其标准模型如YOLOv8m参数量仍有几千万计算量达到几十G FLOPs直接部署到手机即使是最新的旗舰芯片也难以达到实时如30 FPS且功耗可控的效果。因此我们的核心思路是“先瘦身再适配”模型压缩与优化在保持精度可接受的前提下大幅减少模型体积和计算量。格式转换将PyTorch模型转换为移动端推理引擎高效支持的格式。端侧推理集成将转换后的模型集成到手机应用中并优化前后处理流程。2.2 移动端推理引擎选型这是最关键的技术选型之一直接决定了最终的性能和兼容性。主流的选项有以下几个TensorFlow Lite (TFLite)谷歌官方出品对安卓和自家TensorFlow模型生态支持最好。拥有丰富的优化工具如量化、剪枝和硬件加速委托Delegate如GPU、Hexagon DSP、NNAPI。如果你是安卓原生开发或Flutter开发这是最稳妥、文档最全的选择。PyTorch MobilePyTorch的官方移动端解决方案。如果你熟悉PyTorch生态希望从训练到部署的流程更统一这是一个好选择。它对iOS的支持也相当不错。ONNX Runtime Mobile支持ONNX格式的跨平台推理引擎。如果你的技术栈跨平台iOS 安卓或者后端也使用ONNX这能提供很好的一致性。它也支持通过NNAPI、Core ML等进行硬件加速。第三方引擎如NCNN腾讯开源针对移动端做了大量优化、MNN阿里开源等。这些引擎通常体积更小启动更快对国内一些手机芯片有特别的优化但社区和工具链可能不如官方引擎完善。我的选择与理由 经过对比我选择了TensorFlow Lite作为本次实践的推理引擎。原因如下工具链成熟TFLite拥有完整的模型优化工具链TFLite Converter支持训练后量化、动态范围量化等多种压缩技术对YOLO类模型的支持经验丰富。硬件加速统一通过NNAPI可以方便地调用不同安卓设备上的GPU、DSP等硬件加速单元无需为不同芯片写多份代码。社区资源丰富遇到问题时更容易找到解决方案和案例参考。对于iOS虽然Core ML是苹果亲儿子但TFLite也提供了良好的支持并且选择TFLite可以保持安卓和iOS在模型处理和核心推理代码上的一致性减少维护成本。2.3 模型压缩策略确定模型压缩是移动端部署的灵魂。我们主要采用以下“组合拳”模型剪枝在训练后移除网络中冗余的通道或权重。YOLOv8本身结构已经比较紧凑我们可以尝试使用一些自动化剪枝工具如Torch-Pruning进行轻微剪枝主要去掉一些贡献度低的滤波器。知识蒸馏用一个更大的“教师模型”来指导一个更小的“学生模型”训练让小模型获得接近大模型的性能。这需要在训练阶段完成对于本次部署我们可以直接使用社区提供的、已经过蒸馏的轻量版YOLOv8模型如YOLOv8n即nano版本作为起点。量化这是效果最显著的一步。将模型参数从32位浮点数FP32转换为更低精度的格式如16位浮点数FP16甚至8位整数INT8。量化能直接让模型体积减少75%并大幅提升在支持整数运算的硬件如DSP、NPU上的速度。动态范围量化最简单仅将权重转换为INT8激活值在推理时动态量化。易用精度损失小。全整数量化权重和激活值都转换为INT8需要少量代表性校准数据。能获得最佳的加速比和功耗优化尤其适合有NPU的设备。我的策略是以YOLOv8n预训练模型为基础优先进行全整数量化INT8。如果校准后精度下降太多则回退到动态范围量化或FP16量化。3. 从训练到TFLite模型的完整转换流程有了清晰的思路接下来就是一步步实现。我们从获取模型开始直到得到一个可以在手机上高效运行的.tflite文件。3.1 环境准备与模型导出首先我们需要一个训练好的YOLOv8模型。这里假设你已经用Ultralytics YOLO库训练好了自己的模型或者直接使用其官方的预训练模型。# 安装必要的库 pip install ultralytics tensorflow onnx onnxsim onnxruntime # 使用Ultralytics导出为ONNX格式这是中间桥梁 from ultralytics import YOLO # 加载模型这里以yolov8n.pt为例 model YOLO(yolov8n.pt) # 导出为ONNX 设置动态批处理以适应不同输入 opset12是较稳定的版本 success model.export(formatonnx, imgsz640, batch1, dynamicTrue, simplifyTrue, opset12)关键参数解析imgsz640: 指定模型输入尺寸。YOLOv8支持动态输入但固定尺寸有利于某些优化。640是平衡速度和精感的常用尺寸。dynamicTrue: 允许动态批处理维度对于移动端单张图片推理通常设为batch1但保留动态性兼容性更好。simplifyTrue: 启用ONNX简化移除图中不必要的操作对后续转换至关重要。opset12: ONNX算子集版本。版本太低可能缺少某些算子支持太高可能TFLite不支持。12是一个兼容性较好的版本。导出后你会得到一个yolov8n.onnx文件。重要检查使用Netron一个模型可视化工具打开这个ONNX文件检查模型结构是否简洁特别是最后输出节点的名称和形状。YOLOv8的ONNX输出通常是一个形状为[1, 84, 8400]的张量对于640x640输入其中84 4框坐标 80COCO数据集类别数。3.2 ONNX模型优化与转换直接转换的ONNX模型可能包含一些TFLite不支持的算子或冗余结构。我们需要进行优化和转换。# 1. 可选使用onnx-simplifier进一步优化模型结构 python -m onnxsim yolov8n.onnx yolov8n_sim.onnx # 2. 使用TensorFlow的转换工具将ONNX转换为TFLite # 首先安装onnx-tf转换器注意版本兼容性 pip install onnx-tf # 使用命令行转换推荐更清晰 python -m tf2onnx.convert --opset 12 --tflite yolov8n_sim.onnx --output yolov8n_float32.tflite但更强大和推荐的方式是使用TensorFlow Lite Converter 的 Python API因为它允许我们指定详细的优化选项。import tensorflow as tf import onnx from onnx_tf.backend import prepare import numpy as np # 步骤1: ONNX 转 TensorFlow SavedModel中间格式 onnx_model onnx.load(yolov8n_sim.onnx) tf_rep prepare(onnx_model) tf_rep.export_graph(yolov8n_saved_model) # 导出为SavedModel格式 # 步骤2: 使用TFLiteConverter进行转换和量化 converter tf.lite.TFLiteConverter.from_saved_model(yolov8n_saved_model) # 配置优化选项 converter.optimizations [tf.lite.Optimize.DEFAULT] # 启用默认优化包含权重量化等 # 如果要进行全整数量化INT8需要提供代表性数据集 def representative_dataset_gen(): # 这里需要准备100-200张代表性的图片预处理成模型输入格式 # 例如从你的验证集中随机取一些图片 for image_path in representative_image_list: img load_and_preprocess_image(image_path) # 你的预处理函数缩放、归一化等 img np.expand_dims(img, axis0).astype(np.float32) # 增加批次维度 yield [img] # 应用全整数量化 converter.representative_dataset representative_dataset_gen converter.target_spec.supported_ops [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] converter.inference_input_type tf.uint8 # 可选设置输入为UINT8以进一步提升性能 converter.inference_output_type tf.uint8 # 可选设置输出为UINT8 # 步骤3: 转换模型 tflite_quant_model converter.convert() # 步骤4: 保存模型 with open(yolov8n_int8_quant.tflite, wb) as f: f.write(tflite_quant_model) print(INT8量化模型转换完成)实操心得与避坑指南代表性数据集这是INT8量化的关键。数据集必须能代表你实际应用场景的图片分布。如果只用简单图片校准遇到复杂场景时精度会暴跌。建议使用训练集或验证集中的200-500张图片。算子支持YOLOv8中的某些算子如SiLU激活函数、Upsample的某些模式在早期TFLite版本中可能支持不佳。如果转换失败尝试更新TensorFlow和tf2onnx到最新版本。在导出ONNX时尝试不同的opset版本如11, 12, 13。查看错误信息寻找不支持的算子并考虑在训练或导出时用兼容性更好的算子替换例如将SiLU替换为ReLU或Hardswish后者在移动端有更好优化。动态尺寸如果你需要模型支持多种输入尺寸在转换时需要特别指定。TFLiteConverter支持设置input_shape为[None, None, None, 3]但并非所有模型结构和算子都支持完全动态。更稳妥的做法是固定高度和宽度只让批次维度动态。3.3 模型性能与精度验证转换完成后绝对不能跳过验证环节。我们需要在PC上先用TFLite解释器跑一下对比量化前后模型的精度和输出是否一致。import tensorflow as tf import numpy as np # 加载原始浮点模型和量化模型 interpreter_float tf.lite.Interpreter(model_pathyolov8n_float32.tflite) interpreter_quant tf.lite.Interpreter(model_pathyolov8n_int8_quant.tflite) interpreter_float.allocate_tensors() interpreter_quant.allocate_tensors() # 获取输入输出详情 input_details_float interpreter_float.get_input_details() output_details_float interpreter_float.get_output_details() # ... 同理获取quant的details # 准备一个测试输入随机数或一张真实图片 test_input np.random.randn(1, 640, 640, 3).astype(np.float32) # 注意如果量化模型输入是uint8则需要将图片从[0,255]范围量化到[0,255]整数 # test_input_quant (test_input * 255).astype(np.uint8) # 运行推理 interpreter_float.set_tensor(input_details_float[0][index], test_input) interpreter_float.invoke() output_float interpreter_float.get_tensor(output_details_float[0][index]) interpreter_quant.set_tensor(input_details_quant[0][index], test_input) # 或test_input_quant interpreter_quant.invoke() output_quant interpreter_quant.get_tensor(output_details_quant[0][index]) # 比较输出差异 print(浮点模型输出形状:, output_float.shape) print(量化模型输出形状:, output_quant.shape) # 计算差异由于量化是近似计算允许有一定误差 diff np.abs(output_float - output_quant.astype(np.float32) / 255.0) # 如果输出也量化了需要反量化 print(最大绝对误差:, diff.max()) print(平均绝对误差:, diff.mean())如果误差在可接受范围内例如对于目标检测边界框坐标误差几个像素类别置信度误差百分之几并且用几张真实图片测试检测结果肉眼观察无明显退化那么模型转换就是成功的。4. 移动端应用集成与推理优化模型准备好了接下来就是把它集成到手机App里。这里以安卓平台为例使用Java/Kotlin和TFLite Android Support Library进行演示。iOS的思路类似使用Core ML或TFLite Swift API。4.1 安卓开发环境配置首先在项目的build.gradle文件中添加依赖// app/build.gradle android { aaptOptions { noCompress tflite // 防止压缩.tflite模型文件 } } dependencies { implementation org.tensorflow:tensorflow-lite:2.14.0 // 使用最新稳定版 implementation org.tensorflow:tensorflow-lite-gpu:2.14.0 // 如果需要GPU加速 implementation org.tensorflow:tensorflow-lite-support:0.4.4 // 工具类库方便图像处理 }将转换好的yolov8n_int8_quant.tflite模型文件放入app/src/main/assets/目录下。4.2 构建TFLite推理管道一个健壮的推理管道包括模型加载、输入预处理、推理执行、输出后处理解码YOLO输出。// 1. 模型加载与初始化 class YOLOv8Detector(context: Context) { private var interpreter: Interpreter private val inputSize 640 // 与模型训练尺寸一致 private val numClasses 80 // COCO数据集类别数 private val outputShape: IntArray // 用于存储输出张量形状 init { // 加载模型 val modelFile loadModelFile(context, yolov8n_int8_quant.tflite) val options Interpreter.Options() // 尝试使用GPU委托可选但强烈推荐 try { val gpuDelegate GpuDelegate() options.addDelegate(gpuDelegate) } catch (e: Exception) { Log.e(YOLO, GPU delegate failed to load, using CPU., e) } // 也可以尝试NNAPI委托适用于支持它的设备 // options.setUseNNAPI(true) // 设置线程数 options.setNumThreads(4) interpreter Interpreter(modelFile, options) // 获取输出张量形状例如 [1, 84, 8400] val outputTensor interpreter.getOutputTensor(0) outputShape outputTensor.shape() Log.d(YOLO, Output shape: ${outputShape.joinToString()}) } private fun loadModelFile(context: Context, filename: String): MappedByteBuffer { val fileDescriptor context.assets.openFd(filename) val inputStream FileInputStream(fileDescriptor.fileDescriptor) val channel inputStream.channel val startOffset fileDescriptor.startOffset val declaredLength fileDescriptor.declaredLength return channel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength) } // 2. 输入预处理 fun preprocess(bitmap: Bitmap): ByteBuffer { // 调整尺寸到模型输入大小 val scaledBitmap Bitmap.createScaledBitmap(bitmap, inputSize, inputSize, true) // 将Bitmap转换为ByteBuffer并进行归一化等处理 // 对于量化模型UINT8输入通常需要将像素值从[0,255]直接放入ByteBuffer val inputBuffer ByteBuffer.allocateDirect(1 * inputSize * inputSize * 3) inputBuffer.order(ByteOrder.nativeOrder()) inputBuffer.rewind() val pixels IntArray(inputSize * inputSize) scaledBitmap.getPixels(pixels, 0, inputSize, 0, 0, inputSize, inputSize) var pixel 0 for (y in 0 until inputSize) { for (x in 0 until inputSize) { val pixelValue pixels[pixel] // 提取RGB分量注意Bitmap是ARGB_8888格式 inputBuffer.put((pixelValue shr 16 and 0xFF).toByte()) // R inputBuffer.put((pixelValue shr 8 and 0xFF).toByte()) // G inputBuffer.put((pixelValue and 0xFF).toByte()) // B } } return inputBuffer } // 3. 执行推理 fun detect(bitmap: Bitmap): ListDetectionResult { val inputBuffer preprocess(bitmap) // 准备输出容器形状需与模型输出匹配 // YOLOv8输出通常是 [1, 84, 8400]我们需要一个 (84, 8400) 的数组 val output Array(1) { Array(84) { FloatArray(8400) } } // 对于浮点模型 // 对于INT8输出模型可能需要使用ByteArray并在后处理中反量化 // val output Array(1) { Array(84) { ByteArray(8400) } } interpreter.run(inputBuffer, output) // 4. 后处理解码YOLO输出 return postprocess(output[0], bitmap.width, bitmap.height) } // 4. 后处理核心且复杂 private fun postprocess( output: ArrayFloatArray, // 形状 [84, 8400] originalWidth: Int, originalHeight: Int ): ListDetectionResult { val results mutableListOfDetectionResult() val numAnchors output[0].size // 8400 for (i in 0 until numAnchors) { // 提取第i个预测框的数据 val x output[0][i] val y output[1][i] val w output[2][i] val h output[3][i] val objectness output[4][i] // 有些版本YOLOv8没有单独的objectness分数 // 找到最大类别置信度 var maxConf 0f var classId -1 for (c in 0 until numClasses) { val conf output[5 c][i] // 类别置信度 if (conf maxConf) { maxConf conf classId c } } // 计算最终置信度如果存在objectness则相乘 val confidence objectness * maxConf // 或直接使用 maxConf // 应用置信度阈值过滤 if (confidence 0.5f) { // 阈值可调 // 将中心点坐标和宽高转换为左上角和右下角坐标 // YOLO输出通常是归一化的中心坐标和宽高 val x1 (x - w / 2) * originalWidth val y1 (y - h / 2) * originalHeight val x2 (x w / 2) * originalWidth val y2 (y h / 2) * originalHeight // 确保坐标在图像范围内 val rect RectF( maxOf(0f, x1), maxOf(0f, y1), minOf(originalWidth.toFloat(), x2), minOf(originalHeight.toFloat(), y2) ) results.add(DetectionResult(rect, classId, confidence)) } } // 应用非极大值抑制(NMS)去除重叠框 return nms(results, iouThreshold 0.45f) } private fun nms(boxes: ListDetectionResult, iouThreshold: Float): ListDetectionResult { // 按置信度降序排序 val sortedBoxes boxes.sortedByDescending { it.confidence } val selected mutableListOfDetectionResult() while (sortedBoxes.isNotEmpty()) { val current sortedBoxes.first() selected.add(current) val iterator sortedBoxes.listIterator(1) while (iterator.hasNext()) { val next iterator.next() if (calculateIOU(current.bbox, next.bbox) iouThreshold) { iterator.remove() } } sortedBoxes.remove(current) } return selected } private fun calculateIOU(box1: RectF, box2: RectF): Float { // 计算交并比 val interLeft maxOf(box1.left, box2.left) val interTop maxOf(box1.top, box2.top) val interRight minOf(box1.right, box2.right) val interBottom minOf(box1.bottom, box2.bottom) if (interRight interLeft || interBottom interTop) return 0.0f val interArea (interRight - interLeft) * (interBottom - interTop) val area1 (box1.right - box1.left) * (box1.bottom - box1.top) val area2 (box2.right - box2.left) * (box2.bottom - box2.top) return interArea / (area1 area2 - interArea) } data class DetectionResult(val bbox: RectF, val classId: Int, val confidence: Float) }关键点与优化技巧委托Delegate务必尝试GpuDelegate和NNAPI。在支持Vulkan的GPU上GpuDelegate能带来数倍的速度提升。对于有专用NPU的手机如华为麒麟芯片、高通骁龙8系NNAPI能调用NPU获得最佳能效比。输入处理Bitmap的缩放和像素提取是CPU端的一大开销。可以考虑使用TextureView或Camera2 API直接输出YUV数据并通过ImageProcessor来自TFLite Support库在后台线程进行高效的色彩空间转换和缩放避免在主线程进行昂贵的Bitmap操作。后处理优化后处理特别是NMS在CPU上执行可能成为瓶颈尤其是当预测框很多时。可以考虑将后处理移至Native层C执行速度更快。使用更高效的NMS算法。在模型转换时尝试使用TFLite内置的TFLite_Detection_PostProcess算子如果模型支持将NMS集成到模型图中可能由GPU或DSP加速。线程管理Interpreter.Options().setNumThreads()可以设置推理线程数。通常设置为设备的核心数。但要注意线程数过多可能因线程切换开销导致性能下降需要实测。4.3 性能测试与功耗考量集成完成后需要在真机上进行全面的性能测试。延迟测量从输入Bitmap到获取检测结果列表的总时间。使用System.nanoTime()在关键节点打点。目标是在中端及以上手机达到30ms以内即30 FPS的推理速度。内存占用使用Android Profiler监控应用的内存使用确保模型加载和推理过程中没有内存泄漏且峰值内存可控。功耗与发热这是移动端AI的核心挑战。长时间连续推理会导致手机发热和电量快速消耗。优化策略包括降低推理频率如果不是必须实时如视频流可以每2-3帧处理一帧。动态分辨率根据场景复杂度动态调整模型输入尺寸。简单场景用小图复杂场景用大图。模型热切换准备一大一小两个模型设备温度高或电量低时自动切换到小模型。利用协处理器确保模型在NPU或DSP上运行它们的能效比远高于CPU和GPU。5. 常见问题、排查技巧与进阶优化在实际部署中你一定会遇到各种各样的问题。下面是我踩过的一些坑和解决方案。5.1 模型转换与加载失败问题现象可能原因排查与解决转换时抛出“Op not supported”错误ONNX模型中包含TFLite不支持的算子1. 更新TensorFlow和转换器到最新版。2. 在导出ONNX时尝试更低或更高的opset版本。3. 修改模型结构用兼容算子替换如用Hardswish替换SiLU。加载TFLite模型时崩溃或返回空指针模型文件损坏或路径错误模型与解释器选项不兼容1. 检查模型文件是否成功放入assets并正确读取。2. 检查aaptOptions { noCompress tflite }是否已设置。3. 尝试不使用任何Delegate仅CPU加载以确认是否是Delegate兼容性问题。量化模型精度损失严重代表性数据集不具代表性量化参数校准失败1. 确保代表性数据集覆盖所有目标场景光照、角度、尺度。2. 尝试动态范围量化或FP16量化它们对精度更友好。3. 使用量化感知训练在训练阶段就模拟量化过程能极大缓解精度损失。5.2 推理结果异常检测框位置错乱几乎可以肯定是后处理代码逻辑错误。YOLOv8的输出格式可能与YOLOv5等前代不同。务必使用Netron仔细查看模型输出节点的具体含义并对照官方Ultralytics的Python推理代码逐行核对你的后处理逻辑坐标解码、置信度计算、NMS。置信度全部很低或为0检查输入预处理是否与训练时一致。归一化方式是关键YOLOv8默认输入是0-255的整数还是0-1的浮点数量化模型的输入是uint8还是float32必须完全匹配。对于量化模型检查输入输出数据的量化/反量化是否正确。TFLite解释器可能会自动处理但如果你手动处理了ByteBuffer就需要自己进行尺度缩放和零点偏移。只检测到部分目标或漏检严重调整置信度阈值和NMS的IOU阈值。默认的0.25和0.45可能不适合你的场景。模型输入尺寸如640可能对于图像中非常小或非常大的目标不友好。可以考虑使用多尺度测试或专门针对小目标优化的模型结构如添加注意力机制、更浅的下采样层。5.3 性能瓶颈分析与优化如果推理速度不达标需要系统性地定位瓶颈。使用Android Systrace或Perfetto这是安卓性能分析的神器。它可以清晰地展示出CPU、GPU、推理线程每一毫秒在做什么。你会发现时间到底是花在了模型推理上还是花在了Bitmap预处理或后处理上。分阶段计时将流程拆分为预处理、推理、后处理三部分分别计时。如果预处理慢优化图像缩放和色彩转换逻辑使用RenderScript或libyuv库或尝试TFLite Support库的ImageProcessor。如果推理慢尝试更强的DelegateGPU/NNAPI降低模型输入尺寸或使用更小的模型变体如YOLOv8n vs YOLOv8s。如果后处理慢将NMS算法移植到Native C实现或减少需要处理的候选框数量通过提高置信度阈值初筛。内存与发热监控使用adb shell dumpsys batterystats和温度监控App。如果发热严重强制模型在CPU上运行并限制频率虽然慢但降温明显。长期方案还是优化模型和利用高效能硬件。5.4 进阶优化方向当基本流程跑通后可以探索以下方向进一步提升体验自定义模型训练使用自己的数据集训练一个更轻量或更专用的YOLOv8模型。你可以修改网络深度和宽度如model.yaml中的depth_multiple和width_multiple或者使用神经网络架构搜索技术来寻找最适合你手机硬件的微型结构。多模型协同对于复杂场景可以采用级联检测。先用一个超轻量级的模型进行快速初筛如人脸检测只有检测到目标区域后再调用更精细的模型进行识别如表情识别。利用硬件特性深入研究不同手机芯片如高通Hexagon DSP、联发科APU、华为达芬奇NPU的SDK和编程指南。使用厂商提供的特定工具链对模型进行编译和优化往往能获得比通用NNAPI更好的性能。持续集成与测试建立自动化测试流程在多种不同型号、不同系统版本的安卓设备上测试你的模型和应用确保兼容性和性能的一致性。把YOLOv8成功部署到手机并流畅运行只是一个起点。移动端AI的挑战在于如何在资源、功耗、速度和精度的“不可能三角”中找到最佳平衡点。这个过程没有银弹需要你不断地实验、测量、分析和迭代。每一次模型剪枝、每一次量化尝试、每一行后处理代码的优化都可能带来意想不到的收益。当你看到自己优化的模型在掌中设备上实时地、准确地识别出周围世界时那种成就感或许就是驱动我们不断折腾下去的最大动力。