简介OCR技术作为图像文字信息数字化的核心手段广泛应用在文档扫描、票据识别和内容审核等场景。有效识别引擎背后依赖成熟的深度学习模型与高效的推理框架PaddleOCR提供完整的检测、方向分类和识别模型而PaddleInference作为推理后端能够直接加载Paddle模型并优化CPU与GPU性能。在实际工程中将模型封装成高可用服务需要关注并发调度、预处理、后处理以及资源管理等细节尤其在离线内网环境中依赖打包和参数调优直接影响服务稳定性与吞吐量。围绕OCRServiceV4的设计思路详细梳理了从选型对比、请求链路、并发管理到压测调优的完整路径并针对内存泄漏、显存超限等典型故障给出可复现的解决方案为构建生产级OCR服务提供参考。 OCR服务做了快两年从最早的Python脚本到现在的PaddleInference.OCRServiceV4这个包算是我在离线OCR落地上最顺手的一套产物。PaddleInference作为推理后端PaddleOCR系列模型负责文字检测和识别外面套一层自己写的并发调度和结构化输出逻辑最后打包成一个能直接分发的OCRService。这篇不是复读官方文档而是把整个服务从架构选型、依赖打包、参数调到生产排障的实操过程完整拆开讲适合要在内网或离线环境里快速搭OCR能力、又不想反复折腾源码的人。1. 为什么会有这个包从官方仓库到OCRService之间缺了什么1.1 官方示例和真实服务的差距PaddleOCR的仓库里其实已经给了完整的推理democlone下来、装依赖、下载模型跑一张测试图能立刻看到效果。但demo离“服务”这个词还差得远。我第一版就是照着官方示例改的把识别逻辑塞进Flask路由里本地测试一切正常一旦并发上来进程卡死、显存爆掉、CPU被打满各种问题全冒出来了。官方demo默认是单进程、单次调用、无状态管理它把模型加载、图片预处理、推理、结果可视化全揉在一起。真实服务至少要面对几个需求HTTP接口的请求解析、任务队列和并发限制、不同尺寸图片的预处理策略、模型实例的生命周期管理、异常情况的兜底返回、耗时和错误日志。这些不补上OCR就只能停留在“脚本能跑”的阶段谈不上交付。V4这个版本号不是随便写的。V1是把PaddleOCR的predict接口直接包了一层HTTPV2改成常驻进程里的Predictor复用V3换了新版模型的输入输出格式同时修了并发下显存分配的问题V4才是真正把依赖、模型、脚本、启动脚本全部整理成可分发的rar包。每次迭代背后都是一次线上问题或者部署环境差异带来的重构。1.2 选型为什么最终以PaddleInference作为推理后端PaddleOCR的模型不止一种部署路线常见的有paddle2onnx转成ONNX再走ONNX Runtime、直接转OpenVINO IR格式、以及用Paddle自家的PaddleInference。我最早试过ONNX路线原因是PaddleInference当时在CPU上的文档案例没有那么多转ONNX看起来更通用。实际对比下来问题也很明显转换过程中一旦涉及动态shape、特殊算子中间总会有版本匹配的坑而且PaddleOCR的预处理逻辑归一化、通道顺序、缩放方式和PaddleInference的输入张量格式天然对齐省去手动对参数的时间。下面是当时做选型对比的参考对比项PaddleInferenceONNX RuntimeOpenVINO模型转换成本无需转换直接读Paddle模型需要paddle2onnx算子兼容性看版本需要额外工具链转换CPU推理性能中上配合MKLDNN提升明显中上特定Intel CPU上最优GPU推理支持TensorRT加速支持CUDA/TensorRT基本面向CPUPaddleOCR版本适配官方同步更新最及时通常滞后滞后部署依赖复杂度依赖paddle推理库体积稍大依赖onnxruntime运行库依赖openvino运行库最后选了PaddleInference不是因为它每个维度都最强而是因为在PaddleOCR这个场景里它的“适配度”最好少一次转换就少一层不确定性。对于离线交付这种环境不可控的场景稳定性优先级最高。2. OCRServiceV4的请求链路图片进去结构化文本出来2.1 pipeline三段式设计检测、方向分类、识别整个OCRService的核心不是某一个模型而是三个模型串联起来的pipeline。PaddleOCR标准的流程是检测模型先找出图片里的文字区域方向分类模型判断这些区域的文字方向是否需要纠正最后识别模型把每个文字区域翻译成字符串。用DB系列做文本检测输入是一张完整的图片输出是若干个多边形框框出“哪里有文字”。方向分类模型在检测结果之后介入因为身份证、翻拍照片、扫描件里经常存在旋转90度或者180度的文字区域不纠正方向直接进识别模型准确率会明显下降。识别模型的输入是裁剪出来的文字区域图输出是CTC解码后的字符串序列。这三个模型在V4里不是各跑各的而是用pipeline统一编排。检测完得到的坐标要做排序一般从左到右、从上到下组织识别顺序裁剪出来的区域图要按识别模型的输入尺寸做等比缩放识别结果再按坐标信息回填到原图结构里。这样最终返回的不只是纯文本还带每个文本块的坐标、置信度和阅读顺序调用方可以直接渲染边框、做版面分析或者数据比对。2.2 前后处理与推理的协同方式很多人以为PaddleInference只是把图片塞进模型就算完其实前后的图像处理才是工程量的主要来源。以检测模型为例输入需要保持原图宽高比缩放到limit_side_len范围内同时要记录缩放比例因为检测输出的是特征图上的坐标必须乘以比例才能映射回原图坐标。识别模型则需要把裁剪后的区域图统一缩放到固定高度通常是32的倍数宽度按比例调整同时做归一化和通道转换。颜色通道顺序也是个容易踩的细节。OpenCV读图是BGRPaddleX/PaddleOCR训练时用的是RGB顺序PaddleInference的预处理接口一般会支持指定mean和scale但如果你自己写预处理一定记得把BGR转RGB或者直接用PaddleOCR官方预处理组件。V4里我统一用cv2解码图片然后显式转换通道顺序避免不同调用方传不同格式图片导致结果不稳定。后处理部分检测结果除了坐标映射还有置信度阈值过滤和框的膨胀收缩处理。识别结果需要把模型输出的batch个序列转成字符串涉及CTC贪心解码或带空格字符的过滤。这些逻辑看起来零碎但任何一个环节出错最终服务的识别率都会莫名其妙地偏低。2.3 并发与资源管理设计OCRService是常驻服务PaddleInference的Predictor是线程安全的说法在实际使用中需要打折扣不同版本的实现有差异。V4的设计是每个工作线程持有独立的Predictor实例也就是常说的“线程私有”模式。初始化时根据配置的并发数预先创建好线程池和对应数量的Predictor请求进来后从队列分发到空闲线程而不是每次请求都重新加载模型。GPU环境下显存分配要提前规划。每创建一个Predictor都会在显存里申请workspaceV4里通过配置项控制最大batch和TensorRT的显存预留比例防止多线程并发时显存瞬间被占满。实际配置里我给每个实例单独设置显存上限宁可多等一点也不能直接OOM。CPU环境下则控制线程池的大小和MKLDNN的线程数。这里有个经验值CPU推理时threads数量不是越大越好超出物理核心数反而因为上下文切换掉性能。V4默认把PaddleInference的cpu_math_library_num_threads设成物理核心数减一留一个线程给服务框架和网络IO。3. 打包交付rar包里那一堆文件到底怎么凑齐的3.1 依赖分层推理库、模型文件、运行库各归各交付物叫PaddleInference.OCRServiceV4.rar说明它不是一份源码压缩包而是一套开箱即用的部署包。这种包最怕的就是“文件全扔在一起”别人拿过去不知道怎么配。V4的目录结构做了严格分层OCRServiceV4/ ├─ inference/ │ ├─ det_model/ │ │ ├─ inference.pdmodel │ │ └─ inference.pdiparams │ ├─ cls_model/ │ │ ├─ inference.pdmodel │ │ └─ inference.pdiparams │ └─ rec_model/ │ ├─ inference.pdmodel │ ├─ inference.pdiparams │ └─ ppocr_keys_v1.txt ├─ lib/ │ ├─ paddle_inference/ # Paddle推理库 │ └─ opencv/ # 图像处理依赖 ├─ service/ │ ├─ ocr_service.py │ ├─ pipeline.py │ ├─ config.yaml │ └─ requirements.txt ├─ test/ │ └─ sample_images/ └─ start.sh模型文件放在inference目录下分为检测、分类、识别三个子目录识别模型额外带一个字典文件ppocr_keys_v1.txt中文字符集就是靠这个文件解码的。lib目录放的是PaddleInference的预编译库注意这里面的库必须和Python解释器的版本、系统的glibc版本匹配否则import阶段就报错。3.2 打包时最容易忽略的环境依赖做离线交付最烦的就是对方机器上缺这缺那。你本地跑得好好的换到一台干净服务器上就报libstdc.so.6找不到、libGL.so.1找不到、或者numpy版本冲突。V4在打包前做了一轮依赖收敛PaddleInference动态库完整拷贝而不是只拷贝一个so文件paddle现在依赖一组libpaddle_inference.so、libpaddle2onnx.so等漏一个就启动失败。OpenCV使用自编译的静态链接版本或者拷贝完整的运行库避免和系统自带的OpenCV冲突。Python侧依赖全部固定版本号写进requirements.txt尤其是numpy、pyyaml、flask这几个版本不对就会在运行时出现偶发异常。打包完成后用ldd检查关键so的依赖是否都在包内或系统库中。3.3 start.sh里的启动细节start.sh不是简单执行python ocr_service.py它做了几件很实际的事检查模型文件是否存在、检查端口是否被占用、设置环境变量LD_LIBRARY_PATH指向lib目录、用gunicorn或者自己写的多进程启动器拉起服务。V4选择在start.sh里直接用nohup结合supervisor脚本启动同时在启动前做一次简单的模型加载自检——加载全部模型成功后才对外监听端口。这个设计能避免“服务起来了、接口503、但进程没退出”这种假死状态。部署的人看到启动日志里出现“OCRService ready”才算成功否则直接看错误输出定位问题。4. 压测与调优让单机服务从每秒四五张到二十张以上4.1 先摸清瓶颈在哪再动手调有段时间我在一台8核CPU机器上跑V3单请求平均耗时180ms并发一上来就开始排队。当时第一反应是换GPU后来仔细加日志才发现耗时大头不在识别而在图片解码和检测预处理。OpenCV读大图默认不做任何压缩解码优化几张6MB的实拍图就能把CPU吃掉一大半。调优的第一步不是调参而是给每个环节打耗时点图片读取、检测预处理、检测推理、检测后处理、裁剪、分类、识别预处理、识别推理、识别后处理。用简单的time记录每个阶段跑几十张图看平均占比。只有数据说话了你才知道是推理慢、预处理慢还是IO慢。V4在service里默认开启耗时统计日志每次请求都会输出各阶段毫秒数。线上部署之后我靠这个日志发现很多客户的图片分辨率严重偏大一张图占了几MB甚至十几MB大部分时间都耗在“把大图读进来再缩下去”。后来在预处理里加了图片尺寸上限超过阈值的先做降采样整体吞吐提了接近一倍。4.2 关键参数的对照表PaddleInference和PaddleOCR的参数项很多但不是每个都值得动。我整理了一份V4里实际生效、且改动能看到效果的关键参数参数作用推荐设置det_limit_side_len检测输入图片的短边/长边限制960到1280太大影响速度太小丢小字det_db_thresh检测框置信度阈值默认0.3低阈值召回高但框多rec_batch_num识别阶段批处理图片数CPU默认6GPU可以到16cpu_threadsCPU推理线程数物理核数减一enable_mkldnn开启MKLDNN加速CPU环境开启提升明显use_tensorrt开启TensorRT加速GPU显存足够时开启precision推理精度支持fp32/fp16低显存用fp16max_queue_size请求队列长度根据并发数调整队列过长拖慢实时性CPU环境下enable_mkldnn的收益最直观。在同样的模型和图片上开MKLDNN后检测模型推理耗时下降30%到40%。GPU环境下TensorRT是主要的加速手段但第一次运行会做引擎构建耗时较长V4里会在启动阶段预构建把构建时间放在服务起来之前而不是第一个请求进来时让用户干等。4.3 一次实际压测的结果参考给一个参考数据。测试机器是一台Intel i5-10400、16GB内存、无GPU的普通服务器模型用PaddleOCR的PP-OCRv4中英文模型测试图是一批真实场景的营业厅单据照片平均尺寸在2000像素左右。调整前配置是默认参数单请求平均耗时180ms开MKLDNN、设置cpu_threads为5、限制图片尺寸后平均耗时降到90ms左右单请求吞吐从每秒5张提升到每秒11张。换到一块GTX 1080 Ti显卡上同样配置关闭TensorRT时单张识别大约45ms开启TensorRT后约25ms。配合rec_batch_num设置成8每请求处理多张文字区域整体吞吐能到每秒25张以上。压测的时候还要注意连续请求下显存占用会随时间累积建议跑一轮完整压测后观察nvidia-smi的显存曲线如果持续上涨大概率是Predictor没有正确复用或者输入输出张量没有释放。5. V4迭代过程中踩过的坑与对应解法5.1 神秘的内存泄漏Predictor复用不等于万事大吉V2版本我做了Predictor复用心想对象不销毁就不会有内存泄漏结果压测跑了两小时后内存还是稳定上涨。排查了很久才发现问题不在Predictor而在每个请求的输入输出张量释放逻辑。PaddleInference拿到的输出数据如果每次都通过copy_from_cpu创建新张量、又没在流程结束后释放引用Python侧的引用计数会被一些框架层对象卡住导致内存缓慢增长。解法是在pipeline里明确管理张量生命周期输入张量用完后立刻删除引用输出张量复制成numpy数组后立刻把张量对象置空。另外每个线程的Predictor要复用同一个推理配置不要在每次请求里重建config。V4还加了一个轻量内存水位监控超过设定阈值时打印当前实例的统计信息方便定位是哪条链路上的问题。5.2 中文识别丢字和方向分类误判有客户反馈扫描件里整段文字被识别出来但个别行首的字总是丢。排查后发现是检测框太贴近文字边缘裁剪区域时把第一个字裁掉了一半。解决方法是检测后处理里对文本框做轻微外扩默认向外扩2到4个像素再送进识别模型。V4里把这个外扩值做成可配置的det_box_expand不同场景可以自己调。方向分类误判更隐蔽。有些图片本身是横版但其中的数字区域被检测成竖排方向分类模型给了个180度旋转的预测识别结果就完全不对。V4里对方向分类的结果增加了一个置信度阈值只有置信度超过阈值才做旋转纠正否则按原始方向直接识别这样误转的情况明显减少。5.3 并发请求下的显存溢出问题GPU环境下遇到的第一个线上问题就是并发一上去就报CUDA out of memory。起初以为是显存不够后来发现是每个工作线程的Predictor都按默认配置申请了足量显存8个线程同时初始化显存直接被预分配炸掉。解决方法是给每个Predictor配置显存上限参数并设置合理的内存池增长步长。更稳妥的做法是在并发维度上做限流或者把batch_size压小让模型尽量在小batch下推理。另外有一点值得注意如果你在服务进程里用fork方式创建子进程处理请求GPU上下文会被一起复制子进程里再用PaddleInference基本必炸。V4里明确不支持fork模式统一用prefork之前先加载模型或者直接用thread模式。5.4 跨机器部署时的CUDA/驱动版本冲突同一个包在测试服务器上一切正常部署到客户机器的GPU环境立刻报CUDA driver version is insufficient。这是因为PaddleInference的GPU版本对CUDA和驱动版本有硬性要求。V4在交付时做了两套包一套CPU版、一套GPU版GPU版额外附带一个环境检测脚本启动时先比对驱动支持的CUDA版本和Paddle编译时用的CUDA版本不匹配就直接给出明确提示而不是等运行时报一堆看不懂的error。这个设计看起来笨但在离线交付场景里特别有用。客户不懂CUDA版本你只要让脚本告诉他“当前驱动版本偏低请升级驱动到535.xxx以上”就够了省掉大量来回沟通成本。6. 这个包后续还能怎么扩展V4目前解决的是“把OCR能力稳定交付出去”这件事但它留了几个扩展口子我自己的规划也基于这几个方向在推进。一是支持更多模型格式。现在直接加载Paddle格式模型后续可以保留一个ONNX转换分支满足那些不想引入Paddle依赖的客户环境。二是加一个简单的版面分析模块。很多单据识别的需求不只是“识别出一堆文字”而是要按字段名去对应值比如发票代码、发票号码、金额。纯OCR给出来的是一串文本块需要后续的规则解析。V4的返回数据结构里已经预留了文本块坐标和顺序下一步可以做字段级的对齐和抽取模板。三是量化模型的集成。PaddleOCR提供了量化模型体积更小、速度更快但精度会有一点损失。V4里预留了模型名称和精度的配置位后续切换量化模型只需要改配置文件不用动代码。打包和参数调优的这些经验如果当初有人直接告诉我至少能少踩一半的坑。现在你拿到这个包或者看到这套思路建议先在自己的测试环境里把压测跑一遍用耗时日志看看瓶颈在哪里再根据实际场景调整参数。OCR服务这个东西模型选型只决定下限工程细节才决定你最终交付给用户的那条线能画多高。本文还有配套的精品资源点击获取 PaddleInference OCRServiceV4实战：从架构选型到调优部署
简介OCR技术作为图像文字信息数字化的核心手段广泛应用在文档扫描、票据识别和内容审核等场景。有效识别引擎背后依赖成熟的深度学习模型与高效的推理框架PaddleOCR提供完整的检测、方向分类和识别模型而PaddleInference作为推理后端能够直接加载Paddle模型并优化CPU与GPU性能。在实际工程中将模型封装成高可用服务需要关注并发调度、预处理、后处理以及资源管理等细节尤其在离线内网环境中依赖打包和参数调优直接影响服务稳定性与吞吐量。围绕OCRServiceV4的设计思路详细梳理了从选型对比、请求链路、并发管理到压测调优的完整路径并针对内存泄漏、显存超限等典型故障给出可复现的解决方案为构建生产级OCR服务提供参考。 OCR服务做了快两年从最早的Python脚本到现在的PaddleInference.OCRServiceV4这个包算是我在离线OCR落地上最顺手的一套产物。PaddleInference作为推理后端PaddleOCR系列模型负责文字检测和识别外面套一层自己写的并发调度和结构化输出逻辑最后打包成一个能直接分发的OCRService。这篇不是复读官方文档而是把整个服务从架构选型、依赖打包、参数调到生产排障的实操过程完整拆开讲适合要在内网或离线环境里快速搭OCR能力、又不想反复折腾源码的人。1. 为什么会有这个包从官方仓库到OCRService之间缺了什么1.1 官方示例和真实服务的差距PaddleOCR的仓库里其实已经给了完整的推理democlone下来、装依赖、下载模型跑一张测试图能立刻看到效果。但demo离“服务”这个词还差得远。我第一版就是照着官方示例改的把识别逻辑塞进Flask路由里本地测试一切正常一旦并发上来进程卡死、显存爆掉、CPU被打满各种问题全冒出来了。官方demo默认是单进程、单次调用、无状态管理它把模型加载、图片预处理、推理、结果可视化全揉在一起。真实服务至少要面对几个需求HTTP接口的请求解析、任务队列和并发限制、不同尺寸图片的预处理策略、模型实例的生命周期管理、异常情况的兜底返回、耗时和错误日志。这些不补上OCR就只能停留在“脚本能跑”的阶段谈不上交付。V4这个版本号不是随便写的。V1是把PaddleOCR的predict接口直接包了一层HTTPV2改成常驻进程里的Predictor复用V3换了新版模型的输入输出格式同时修了并发下显存分配的问题V4才是真正把依赖、模型、脚本、启动脚本全部整理成可分发的rar包。每次迭代背后都是一次线上问题或者部署环境差异带来的重构。1.2 选型为什么最终以PaddleInference作为推理后端PaddleOCR的模型不止一种部署路线常见的有paddle2onnx转成ONNX再走ONNX Runtime、直接转OpenVINO IR格式、以及用Paddle自家的PaddleInference。我最早试过ONNX路线原因是PaddleInference当时在CPU上的文档案例没有那么多转ONNX看起来更通用。实际对比下来问题也很明显转换过程中一旦涉及动态shape、特殊算子中间总会有版本匹配的坑而且PaddleOCR的预处理逻辑归一化、通道顺序、缩放方式和PaddleInference的输入张量格式天然对齐省去手动对参数的时间。下面是当时做选型对比的参考对比项PaddleInferenceONNX RuntimeOpenVINO模型转换成本无需转换直接读Paddle模型需要paddle2onnx算子兼容性看版本需要额外工具链转换CPU推理性能中上配合MKLDNN提升明显中上特定Intel CPU上最优GPU推理支持TensorRT加速支持CUDA/TensorRT基本面向CPUPaddleOCR版本适配官方同步更新最及时通常滞后滞后部署依赖复杂度依赖paddle推理库体积稍大依赖onnxruntime运行库依赖openvino运行库最后选了PaddleInference不是因为它每个维度都最强而是因为在PaddleOCR这个场景里它的“适配度”最好少一次转换就少一层不确定性。对于离线交付这种环境不可控的场景稳定性优先级最高。2. OCRServiceV4的请求链路图片进去结构化文本出来2.1 pipeline三段式设计检测、方向分类、识别整个OCRService的核心不是某一个模型而是三个模型串联起来的pipeline。PaddleOCR标准的流程是检测模型先找出图片里的文字区域方向分类模型判断这些区域的文字方向是否需要纠正最后识别模型把每个文字区域翻译成字符串。用DB系列做文本检测输入是一张完整的图片输出是若干个多边形框框出“哪里有文字”。方向分类模型在检测结果之后介入因为身份证、翻拍照片、扫描件里经常存在旋转90度或者180度的文字区域不纠正方向直接进识别模型准确率会明显下降。识别模型的输入是裁剪出来的文字区域图输出是CTC解码后的字符串序列。这三个模型在V4里不是各跑各的而是用pipeline统一编排。检测完得到的坐标要做排序一般从左到右、从上到下组织识别顺序裁剪出来的区域图要按识别模型的输入尺寸做等比缩放识别结果再按坐标信息回填到原图结构里。这样最终返回的不只是纯文本还带每个文本块的坐标、置信度和阅读顺序调用方可以直接渲染边框、做版面分析或者数据比对。2.2 前后处理与推理的协同方式很多人以为PaddleInference只是把图片塞进模型就算完其实前后的图像处理才是工程量的主要来源。以检测模型为例输入需要保持原图宽高比缩放到limit_side_len范围内同时要记录缩放比例因为检测输出的是特征图上的坐标必须乘以比例才能映射回原图坐标。识别模型则需要把裁剪后的区域图统一缩放到固定高度通常是32的倍数宽度按比例调整同时做归一化和通道转换。颜色通道顺序也是个容易踩的细节。OpenCV读图是BGRPaddleX/PaddleOCR训练时用的是RGB顺序PaddleInference的预处理接口一般会支持指定mean和scale但如果你自己写预处理一定记得把BGR转RGB或者直接用PaddleOCR官方预处理组件。V4里我统一用cv2解码图片然后显式转换通道顺序避免不同调用方传不同格式图片导致结果不稳定。后处理部分检测结果除了坐标映射还有置信度阈值过滤和框的膨胀收缩处理。识别结果需要把模型输出的batch个序列转成字符串涉及CTC贪心解码或带空格字符的过滤。这些逻辑看起来零碎但任何一个环节出错最终服务的识别率都会莫名其妙地偏低。2.3 并发与资源管理设计OCRService是常驻服务PaddleInference的Predictor是线程安全的说法在实际使用中需要打折扣不同版本的实现有差异。V4的设计是每个工作线程持有独立的Predictor实例也就是常说的“线程私有”模式。初始化时根据配置的并发数预先创建好线程池和对应数量的Predictor请求进来后从队列分发到空闲线程而不是每次请求都重新加载模型。GPU环境下显存分配要提前规划。每创建一个Predictor都会在显存里申请workspaceV4里通过配置项控制最大batch和TensorRT的显存预留比例防止多线程并发时显存瞬间被占满。实际配置里我给每个实例单独设置显存上限宁可多等一点也不能直接OOM。CPU环境下则控制线程池的大小和MKLDNN的线程数。这里有个经验值CPU推理时threads数量不是越大越好超出物理核心数反而因为上下文切换掉性能。V4默认把PaddleInference的cpu_math_library_num_threads设成物理核心数减一留一个线程给服务框架和网络IO。3. 打包交付rar包里那一堆文件到底怎么凑齐的3.1 依赖分层推理库、模型文件、运行库各归各交付物叫PaddleInference.OCRServiceV4.rar说明它不是一份源码压缩包而是一套开箱即用的部署包。这种包最怕的就是“文件全扔在一起”别人拿过去不知道怎么配。V4的目录结构做了严格分层OCRServiceV4/ ├─ inference/ │ ├─ det_model/ │ │ ├─ inference.pdmodel │ │ └─ inference.pdiparams │ ├─ cls_model/ │ │ ├─ inference.pdmodel │ │ └─ inference.pdiparams │ └─ rec_model/ │ ├─ inference.pdmodel │ ├─ inference.pdiparams │ └─ ppocr_keys_v1.txt ├─ lib/ │ ├─ paddle_inference/ # Paddle推理库 │ └─ opencv/ # 图像处理依赖 ├─ service/ │ ├─ ocr_service.py │ ├─ pipeline.py │ ├─ config.yaml │ └─ requirements.txt ├─ test/ │ └─ sample_images/ └─ start.sh模型文件放在inference目录下分为检测、分类、识别三个子目录识别模型额外带一个字典文件ppocr_keys_v1.txt中文字符集就是靠这个文件解码的。lib目录放的是PaddleInference的预编译库注意这里面的库必须和Python解释器的版本、系统的glibc版本匹配否则import阶段就报错。3.2 打包时最容易忽略的环境依赖做离线交付最烦的就是对方机器上缺这缺那。你本地跑得好好的换到一台干净服务器上就报libstdc.so.6找不到、libGL.so.1找不到、或者numpy版本冲突。V4在打包前做了一轮依赖收敛PaddleInference动态库完整拷贝而不是只拷贝一个so文件paddle现在依赖一组libpaddle_inference.so、libpaddle2onnx.so等漏一个就启动失败。OpenCV使用自编译的静态链接版本或者拷贝完整的运行库避免和系统自带的OpenCV冲突。Python侧依赖全部固定版本号写进requirements.txt尤其是numpy、pyyaml、flask这几个版本不对就会在运行时出现偶发异常。打包完成后用ldd检查关键so的依赖是否都在包内或系统库中。3.3 start.sh里的启动细节start.sh不是简单执行python ocr_service.py它做了几件很实际的事检查模型文件是否存在、检查端口是否被占用、设置环境变量LD_LIBRARY_PATH指向lib目录、用gunicorn或者自己写的多进程启动器拉起服务。V4选择在start.sh里直接用nohup结合supervisor脚本启动同时在启动前做一次简单的模型加载自检——加载全部模型成功后才对外监听端口。这个设计能避免“服务起来了、接口503、但进程没退出”这种假死状态。部署的人看到启动日志里出现“OCRService ready”才算成功否则直接看错误输出定位问题。4. 压测与调优让单机服务从每秒四五张到二十张以上4.1 先摸清瓶颈在哪再动手调有段时间我在一台8核CPU机器上跑V3单请求平均耗时180ms并发一上来就开始排队。当时第一反应是换GPU后来仔细加日志才发现耗时大头不在识别而在图片解码和检测预处理。OpenCV读大图默认不做任何压缩解码优化几张6MB的实拍图就能把CPU吃掉一大半。调优的第一步不是调参而是给每个环节打耗时点图片读取、检测预处理、检测推理、检测后处理、裁剪、分类、识别预处理、识别推理、识别后处理。用简单的time记录每个阶段跑几十张图看平均占比。只有数据说话了你才知道是推理慢、预处理慢还是IO慢。V4在service里默认开启耗时统计日志每次请求都会输出各阶段毫秒数。线上部署之后我靠这个日志发现很多客户的图片分辨率严重偏大一张图占了几MB甚至十几MB大部分时间都耗在“把大图读进来再缩下去”。后来在预处理里加了图片尺寸上限超过阈值的先做降采样整体吞吐提了接近一倍。4.2 关键参数的对照表PaddleInference和PaddleOCR的参数项很多但不是每个都值得动。我整理了一份V4里实际生效、且改动能看到效果的关键参数参数作用推荐设置det_limit_side_len检测输入图片的短边/长边限制960到1280太大影响速度太小丢小字det_db_thresh检测框置信度阈值默认0.3低阈值召回高但框多rec_batch_num识别阶段批处理图片数CPU默认6GPU可以到16cpu_threadsCPU推理线程数物理核数减一enable_mkldnn开启MKLDNN加速CPU环境开启提升明显use_tensorrt开启TensorRT加速GPU显存足够时开启precision推理精度支持fp32/fp16低显存用fp16max_queue_size请求队列长度根据并发数调整队列过长拖慢实时性CPU环境下enable_mkldnn的收益最直观。在同样的模型和图片上开MKLDNN后检测模型推理耗时下降30%到40%。GPU环境下TensorRT是主要的加速手段但第一次运行会做引擎构建耗时较长V4里会在启动阶段预构建把构建时间放在服务起来之前而不是第一个请求进来时让用户干等。4.3 一次实际压测的结果参考给一个参考数据。测试机器是一台Intel i5-10400、16GB内存、无GPU的普通服务器模型用PaddleOCR的PP-OCRv4中英文模型测试图是一批真实场景的营业厅单据照片平均尺寸在2000像素左右。调整前配置是默认参数单请求平均耗时180ms开MKLDNN、设置cpu_threads为5、限制图片尺寸后平均耗时降到90ms左右单请求吞吐从每秒5张提升到每秒11张。换到一块GTX 1080 Ti显卡上同样配置关闭TensorRT时单张识别大约45ms开启TensorRT后约25ms。配合rec_batch_num设置成8每请求处理多张文字区域整体吞吐能到每秒25张以上。压测的时候还要注意连续请求下显存占用会随时间累积建议跑一轮完整压测后观察nvidia-smi的显存曲线如果持续上涨大概率是Predictor没有正确复用或者输入输出张量没有释放。5. V4迭代过程中踩过的坑与对应解法5.1 神秘的内存泄漏Predictor复用不等于万事大吉V2版本我做了Predictor复用心想对象不销毁就不会有内存泄漏结果压测跑了两小时后内存还是稳定上涨。排查了很久才发现问题不在Predictor而在每个请求的输入输出张量释放逻辑。PaddleInference拿到的输出数据如果每次都通过copy_from_cpu创建新张量、又没在流程结束后释放引用Python侧的引用计数会被一些框架层对象卡住导致内存缓慢增长。解法是在pipeline里明确管理张量生命周期输入张量用完后立刻删除引用输出张量复制成numpy数组后立刻把张量对象置空。另外每个线程的Predictor要复用同一个推理配置不要在每次请求里重建config。V4还加了一个轻量内存水位监控超过设定阈值时打印当前实例的统计信息方便定位是哪条链路上的问题。5.2 中文识别丢字和方向分类误判有客户反馈扫描件里整段文字被识别出来但个别行首的字总是丢。排查后发现是检测框太贴近文字边缘裁剪区域时把第一个字裁掉了一半。解决方法是检测后处理里对文本框做轻微外扩默认向外扩2到4个像素再送进识别模型。V4里把这个外扩值做成可配置的det_box_expand不同场景可以自己调。方向分类误判更隐蔽。有些图片本身是横版但其中的数字区域被检测成竖排方向分类模型给了个180度旋转的预测识别结果就完全不对。V4里对方向分类的结果增加了一个置信度阈值只有置信度超过阈值才做旋转纠正否则按原始方向直接识别这样误转的情况明显减少。5.3 并发请求下的显存溢出问题GPU环境下遇到的第一个线上问题就是并发一上去就报CUDA out of memory。起初以为是显存不够后来发现是每个工作线程的Predictor都按默认配置申请了足量显存8个线程同时初始化显存直接被预分配炸掉。解决方法是给每个Predictor配置显存上限参数并设置合理的内存池增长步长。更稳妥的做法是在并发维度上做限流或者把batch_size压小让模型尽量在小batch下推理。另外有一点值得注意如果你在服务进程里用fork方式创建子进程处理请求GPU上下文会被一起复制子进程里再用PaddleInference基本必炸。V4里明确不支持fork模式统一用prefork之前先加载模型或者直接用thread模式。5.4 跨机器部署时的CUDA/驱动版本冲突同一个包在测试服务器上一切正常部署到客户机器的GPU环境立刻报CUDA driver version is insufficient。这是因为PaddleInference的GPU版本对CUDA和驱动版本有硬性要求。V4在交付时做了两套包一套CPU版、一套GPU版GPU版额外附带一个环境检测脚本启动时先比对驱动支持的CUDA版本和Paddle编译时用的CUDA版本不匹配就直接给出明确提示而不是等运行时报一堆看不懂的error。这个设计看起来笨但在离线交付场景里特别有用。客户不懂CUDA版本你只要让脚本告诉他“当前驱动版本偏低请升级驱动到535.xxx以上”就够了省掉大量来回沟通成本。6. 这个包后续还能怎么扩展V4目前解决的是“把OCR能力稳定交付出去”这件事但它留了几个扩展口子我自己的规划也基于这几个方向在推进。一是支持更多模型格式。现在直接加载Paddle格式模型后续可以保留一个ONNX转换分支满足那些不想引入Paddle依赖的客户环境。二是加一个简单的版面分析模块。很多单据识别的需求不只是“识别出一堆文字”而是要按字段名去对应值比如发票代码、发票号码、金额。纯OCR给出来的是一串文本块需要后续的规则解析。V4的返回数据结构里已经预留了文本块坐标和顺序下一步可以做字段级的对齐和抽取模板。三是量化模型的集成。PaddleOCR提供了量化模型体积更小、速度更快但精度会有一点损失。V4里预留了模型名称和精度的配置位后续切换量化模型只需要改配置文件不用动代码。打包和参数调优的这些经验如果当初有人直接告诉我至少能少踩一半的坑。现在你拿到这个包或者看到这套思路建议先在自己的测试环境里把压测跑一遍用耗时日志看看瓶颈在哪里再根据实际场景调整参数。OCR服务这个东西模型选型只决定下限工程细节才决定你最终交付给用户的那条线能画多高。本文还有配套的精品资源点击获取