简介本资源是一套面向嵌入式视觉初学者与智能小车开发者的OpenMV视觉巡线完整实践代码聚焦低成本机器视觉在自动循迹场景中的落地应用。压缩包共5个文件含3个核心Python脚本分别实现颜色取样与镜头校准、图像二值化预处理、主控逻辑与Arduino串口通信及2个.autosave备份文件总大小仅15KB轻量易部署。已有8601人学习下载反映出其在教学实践与竞赛入门中的广泛认可。读者可直接获取分阶段调试思路从HSV颜色空间标定黑色线条、焦距优化保障成像清晰度到二值化阈值设定与噪声抑制最终通过UART协议将识别结果实时传递至Arduino控制底盘运动配套代码结构清晰、注释充分是理解视觉识别→图像处理→硬件协同闭环的优质入门范例。 玩OpenMV的同学十个有八个是从巡线开始的但能把巡线玩明白的真不多。这个项目说大不大说小不小一套稳定的视觉巡线代码涉及图像处理、色块识别、PID闭环控制每一环都得吃透。我之前用OpenMV Cam做过的巡线小车从AD赛道到普通白底黑线踩了不少坑也沉淀了一套直接用得上的代码结构。这篇就来拆解一下视觉巡线的完整实现从思路到代码从调参到避坑一次讲清楚。1. 内容整体设计与思路拆解1.1 为什么选OpenMV做巡线视觉巡线这事儿可选方案其实不少。常见的有红外对管巡线、灰度传感器巡线再往上就是摄像头视觉巡线。前两种属于“低配方案”只能感知车底那一小片区域遇到十字路口、断线、急弯基本抓瞎。摄像头方案则能“看得远”提前预判路径走向这是质变。OpenMV在这类任务里有几个硬件上的天然优势它自带OV7725摄像头部分型号是OV5640能输出RGB565图像核心是STM32F7系列MCUOpenMV4是F765OpenMV4 Plus是H743主频够跑MicroPython解释器还能做简单的图像处理最关键的是它把摄像头、处理器、LCD接口、LED补光灯集成在一块板子上体积小功耗低非常适合小车这种对重量和供电敏感的场景。但OpenMV也有明显的短板算力有限跑不了YOLO这类重量级模型图像分辨率最高也就320x240实际处理常用QQVGA 160x120MicroPython解释执行的效率比不了C/C裸机。所以OpenMV上的视觉巡线核心策略不是“上多复杂的算法”而是“用最合适、最高效的算法解决问题”这也是我写巡线代码时一直遵循的原则。1.2 巡线方案的选型对比做巡线之前先想清楚自己要什么。是跑速度赛还是稳定过各种复杂路况这两者的代码策略差别很大。方案优点缺点适用场景单点色块追踪代码简单逻辑清晰容易丢线抗干扰差固定简单赛道学习入门多段分区检测能感知左右偏离趋势鲁棒性较好需要调多个阈值代码量中等普通曲线赛道综合项目全图像二值化找最大色块能处理较复杂背景抗干扰较强计算量稍大需注意帧率有轻微反光或杂色的跑道线性回归拟合中线可输出连续偏差值转为转向量对阈值质量依赖高跑偏后难恢复高速巡线进阶玩家我用得最多、最推荐的是多段分区检测。它兼顾了稳定性和计算效率而且代码结构清晰方便在此基础上扩展其他功能比如识别路口、检测终点。1.3 代码的整体架构规划一段好的OpenMV巡线代码不应该是一坨杂糅的循环。我的习惯是把它拆成几个模块传感器初始化摄像头配置、IO口定义、串口参数设置。图像处理函数二值化、ROI区域划分、色块提取。决策函数根据检测到的色块位置计算偏差值、输出控制信号。主循环编排以上所有模块控制运行节奏。这么拆分之后每段代码的职责都单一后面调参或者加功能比如加个红绿灯识别的时候就非常方便不用动主逻辑只改对应的函数就行。2. 核心细节解析与实操要点2.1 二值化阈值的关键作用视觉巡线的第一步是从图像中把“线”和“背景”区分开。OpenMV里最常用的方法是find_blobs找色块但它找的是彩色色块如果你的线是黑色的背景是白色的那直接用find_blobs找“黑色”其实是可行的但容易受光影、浅色阴影干扰。更稳妥的做法是先用image.binary()做二值化把符合条件的像素点变成白色其余的变成黑色。这样后续找色块时只需要找白色区域极度稳定。二值化需要设置颜色阈值LAB色彩空间下的L、A、B三个通道的阈值范围。给个我实测比较稳的配置黑线白底# LAB色域阈值L代表亮度A/B代表颜色 THRESHOLD_BLACK (0, 60, -20, 20, -20, 20) # 黑色线阈值搭上二值化代码长这样img.binary([THRESHOLD_BLACK], invertFalse)这一行的意思是图像中符合THRESHOLD_BLACK范围的像素保留原色白色其余的全部变成黑色。之后图像就变成了一张黑白图。2.2 ROI区域划分的实操技巧我见过很多新手在整幅图像上找线这样做有两个问题一是远处的线太细太小容易漏检二是图像底部的近处区域会混入车身阴影、光斑等干扰。正确做法是把图像切成几个ROIRegion of Interest感兴趣区域分别处理。典型的做法是将QQVGA160x120的图像按高度分为3~5层ROI每层独立找色块然后综合判断线的位置。分层的好处是每一层的阈值可以单独微调比如离车最近的区域内阈值可以适当收紧避免阴影干扰远处区域可以适当放宽确保线在光照变化下不容易丢。分层代码示意ROIS [ (0, 90, 160, 30), # 近处区域y90到120 (0, 60, 160, 30), # 中间区域 (0, 30, 160, 30), # 远处区域 ]每个ROI就是一个四元组(x, y, w, h)实际使用中我会把这些ROI都调成合适的宽度通常是整幅图像的宽度以避免线出画幅时丢失。2.3 色块提取与最大色块判断在每一分层ROI里通过find_blobs找白色区域然后取最大色块作为这一层的“候选线”。这里有个关键点find_blobs之后一定要判空否则代码会直接卡死。blobs img.find_blobs([THRESHOLD_WHITE], pixels_threshold20, area_threshold20, mergeTrue) if blobs: max_blob max(blobs, keylambda b: b.area()) else: continuepixels_threshold和area_threshold这两个参数很微妙太小容易导致噪点被当成线太大则会把细线过滤掉。我实测对于黑线白底、线宽大概12~16像素的场景pixels_threshold20, area_threshold20是个不错的起点。max_blob.cy()返回色块中心的y坐标在ROI内max_blob.cx()返回中心x坐标。这两个值会用于后续的偏差计算。2.4 PID控制在巡线中的应用检测到线的位置后接下来就是决定怎么控制小车转向。我用的是PID控制。简单说PID就是根据偏差目标值与实际值的差来计算控制量。巡线场景里偏差 目标中线位置 - 当前检测到的线中心位置。目标中线一般取图像中心的x坐标比如160/2 80。比例项P偏差越大转向越猛积分项I消除累积误差但用多了容易震荡微分项D让转向变化更平缓抑制震荡。巡线小车最常用的是PD控制I项一般不用或者取很小的值。因为巡线是动态过程累积误差意义不大反而容易引起转向抖动。# PID参数 KP 0.6 KD 1.2 KI 0.0 # 误差计算 error 80 - max_blob.cx() derivative error - last_error output KP * error KI * integral KD * derivative last_error error然后根据output去控制舵机或差速转向。比如output为正说明线在左边小车需要左转。2.5 控制信号输出与电机配置OpenMV本身不直接驱动电机它有PWM引脚和IO口但直接驱动大电流电机很不现实通常通过串口把偏差量发给单片机STM32、Arduino等由单片机解析并控制电机驱动模块比如TB6612、L298N。串口通信帧可以自己定义比如用简单的文本协议- 发送格式E-23\r\nE表示偏差值 - 或者二进制协议一个包头、一个数据字节、一个校验字节也可以让OpenMV直接接到带I2C/串口的驱动板一些方案里OpenMV只负责视觉输出偏差简化开发。我自己的方案里OpenMV通过串口发偏差值给下面板子的PID算法也就是OpenMV不做PID控制只做视觉检测。这样整车的控制逻辑耦合度更低也更容易调整各自的参数。3. 实操过程与核心环节实现3.1 硬件准备我的标准巡线套件是这样的OpenMV CamAny 型号都行我用的是OpenMV4 Plus智能小车底盘两驱或四驱我用的是两驱万向轮TB6612双路电机驱动模块STM32F103C8T6最小系统板负责电机控制一块锂电池组7.4V 2S给底盘和驱动模块供电注意给OpenMV板供电最好用5V降压模块杜邦线若干OpenMV IDE最新版可以从官网下载接线方面OpenMV的P4TX接STM32的RXOpenMV的P5RX接STM32的TXGND一定要共地。3.2 OpenMV端代码实现直接上代码。这是我封装的巡线主程序带注释方便理解# 入口文件 main.py import sensor import image import time import math from pyb import UART # 摄像头初始化 sensor.reset() sensor.set_pixformat(sensor.RGB565) sensor.set_framesize(sensor.QQVGA) # 160x120 sensor.skip_frames(30) # 跳过预热帧 sensor.set_auto_gain(False) # 关闭自动增益稳定亮度 sensor.set_auto_whitebal(False) # 关闭白平衡稳定颜色 # 串口初始化PA9为TXPA10为RX uart UART(1, 115200, timeout_char1000) # 颜色阈值LAB THRESHOLD_WHITE (80, 100, -20, 20, -20, 20) # 白底黑线场景下二值化后白线区域 # 图像处理ROI从近到远分层 ROIS [ (0, 90, 160, 30), (0, 60, 160, 30), (0, 30, 160, 30), ] # PID参数及变量 KP 0.7 KD 1.5 last_error 0 def get_line_position(img, roi): 在指定ROI内找最大色块返回其中心x坐标未找到则返回-1 blobs img.find_blobs([THRESHOLD_WHITE], roiroi, pixels_threshold20, area_threshold20, mergeTrue) if blobs: max_blob max(blobs, keylambda b: b.area()) # 画线便于调试 img.draw_rectangle(max_blob.rect()) img.draw_cross(max_blob.cx(), max_blob.cy()) return max_blob.cx() else: return -1 while True: img sensor.snapshot() # 二值化保留白色区域 img.binary([THRESHOLD_WHITE], invertFalse) # 计算加权偏差 weighted_error 0 found_count 0 for weight, roi in enumerate(ROIS): cx get_line_position(img, roi) if cx ! -1: # 层越高权重越低底层权重最高 w 1.0 / (weight 1) weighted_error (80 - cx) * w found_count 1 if found_count 0: weighted_error / found_count # 平均偏差 derivative weighted_error - last_error output KP * weighted_error KD * derivative last_error weighted_error # 将控制量映射到 -100 ~ 100 output max(-100, min(100, output)) # 发送给下位机E代表误差数值是带符号整数 uart.write(E%03d\r\n % int(weighted_error)) # 也可以在屏幕上显示便于实时调试 print(error:, weighted_error, output:, output) else: # 丢线处理保持上次偏差发送丢线标志 uart.write(L\r\n) print(lost line)这里有两个需要说明的点weighted_error的计算为什么远近ROI的权重不一样因为近处ROI里的线像素多、可信度高远处ROI里的线像素少、容易误判所以远处给低权重。这个策略在实践中比所有ROI等权更稳。output的计算和发送我把weighted_error发送给下位机下位机自己决定如何用这个偏差去驱动电机。如果你想把PID控制直接放OpenMV上跑那可以直接发output但要注意给下位机留好协议扩展空间。3.3 STM32端电机控制代码实现下位机STM32的部分就简单了它的任务是收串口、解析协议、输出PWM。这里给出一个最简的框架// 串口接收中断 void USART1_IRQHandler(void) { uint8_t ch 0; if(USART_GetITStatus(USART1, USART_IT_RXNE) ! RESET) { ch USART_ReceiveData(USART1); // 简单协议解析E开头后跟3位带符号数字\r\n结尾 if (ch E) { rx_state 1; // 开始接收数据 } else if (ch L) { line_lost_flag 1; // 丢线标志 } else if (rx_state 1 ch 0 ch 9) { value value * 10 (ch - 0); value_count; if (value_count 3) { rx_state 0; // 根据符号位处理正负 error_value is_negative ? -value : value; value_count 0; } } else if (ch -) { is_negative 1; } else if (ch \r || ch \n) { // 一帧结束将error_value转为PWM输出 MotorControl(error_value); is_negative 0; value 0; } } }单片机端的调参逻辑很简单偏差为正时左转为负时右转偏差的绝对值映射到转向PWM。这里不做死板的前进速度限制让它根据偏差动态调整是巡线速度优化的核心。3.4 阈值标定的三步法阈值标定是OpenMV巡线里最劝退新手的环节也最耗时。分享一个我的三步法能少走很多弯路初次估算把OpenMV对着赛道运行IDE的“帧缓冲区”工具切换到LAB色彩空间手动采样几个关键像素点的L、A、B值先估一个初始阈值。动态校准在IDE的“阈值编辑器”面板里开着实时画面拖动阈值滑条直到画面里只有线是白色其他全是黑色。这个过程要慢慢拖别急。实车路测微调把OpenMV装到小车上跑一圈看哪段丢失了就用IDE的img.save()存下当前帧复盘阈值哪里不合理。我一般是白天强光和晚上灯光各标定一次分别存一套阈值防止环境变化导致大范围飘移。3.5 PID参数调试的实操记录PID参数调试是另一大坑。我的调试顺序是P - D - I如果有的话不一起调。先给P一个比较小的值比如0.3P太小车会来回晃加大P直到车子能勉强沿弯道走但会有明显摆动。然后加DD能有效抑制摆动我会从0.8左右开始加加到车子摆动明显变小、过弯流畅为止。如果车子还是有一点稳态误差比如总偏向一边再加一点I比如0.01但I值一大就容易震荡慎用。实车调参时注意一个细节一定要在最高速度下调参因为低速下参数自适应强高速下暴露出的问题形态完全不同。低速下很稳的系统跑起高速很可能甩尾或者冲线。4. 常见问题与排查技巧实录4.1 丢线问题丢线是巡线最烦人的问题没有之一。我遇到过的情况有几种阈值不对反光、阴影、光照变化让线的颜色超出阈值范围。解决办法用前面说的三步法重新标定或者把阈值范围放宽一点给环境变化留余量。弯道太急线直接冲出画面。解决办法ROI分层中近处区域的宽度要留足同时也检查ROI的高度别因为ROI太小导致线的边缘被截掉一块。另外可以适当降低车速给视觉系统留出反应时间。结构问题图像中有其他白色物体混入。解决办法在find_blobs时增加area_threshold或者用find_blobs的invert参数来只保留特定方向的区域。处理丢线的逻辑也很重要。我的策略是如果视野里完全找不到线就发送“L”标志下位机让它前轮保持上一状态直行一小段同时升高底盘传感器灵敏度去“找”线。不要原地急停也不要猛打方向这两种操作都会让车辆卡死在赛道上。4.2 图像模糊或绿屏这个一般都是摄像头排线松动或者供电不足导致的。OpenMV对供电质量很敏感外接电机驱动模块时如果共用一个电源电机启动瞬间的电压跌落会让摄像头花屏甚至死机。经验是OpenMV最好用独立的5V/1A以上的供电或者加一个大电容稳压。还有就是摄像头模块上的排线一定要插紧特别是FPC软排线稍微没对齐就接触不良。4.3 串口通信乱码串口乱码八成是波特率不匹配或者GND不共地。连串口之前先用IDE的串口助手主动发一帧测试数据确保下位机能收到。还有一个细节OpenMV的UART默认是1个停止位、8位数据、无校验下位机的配置必须一致。4.4 帧率太低转弯反应慢帧率低的原因通常是二值化处理耗时太久或者每帧的图像尺寸太大。我实测QQVGA下做完二值化和色块查找大概能跑到30~40 FPS如果低于这个数先检查是不是在每帧里做了draw_string之类的调试绘制这些绘制函数很耗时。另外find_blobs的mergeTrue会多花一些时间如果线很粗且连续可以不开merge。4.5 常见问题速查表现象可能原因解决办法线在画面上看不清阈值不合理打开阈值编辑器现场调车子总是冲出弯道车速过快或PID前馈不足降低车速、调试PD参数、增大D值车子来回摇摆P值过大减小P或增大D串口收不到数据波特率不匹配 / 接线错误检查波特率确认TX/RX交叉接线车子完全不走电压不足 / 电机驱动接线错误测电机驱动模块的电源检查IN1/IN2逻辑画面绿屏摄像头模块排线松动或供电不足重新插拔排线独立供电4.6 自己踩过的坑不要迷信“完美阈值”有段时间我为了追求一个无论什么光线都完美的阈值花了两天时间反复标定结果还是翻车。后来想通了OpenMV的RGB565图像天然对光照敏感与其追求完美阈值不如让系统具备“自适应”能力。我现在会在程序启动时先跑一段自动曝光校准sensor.set_auto_gain(True)跑几十帧后再关掉让摄像头自动适应环境亮度然后才切入固定阈值模式。实测下来这个简单的启动校准逻辑比手动调阈值管用得多。5. 进阶优化与扩展建议5.1 动态调整曝光参数巡线过程中如果赛道经过窗边或者灯光下环境亮度会突变。固定的曝光值很容易让二值化崩掉。我的习惯是开启自动增益和自动白平衡但把它们的变动范围限制在一个合理区间sensor.set_auto_gain(True, gain_db10) # 限制增益上限 sensor.set_auto_whitebal(True, rgb_gain_db6) # 限制白平衡增益这样既保留了自动适应的灵活性又不会因为突然的强光让画面整体发白。5.2 多模式策略正常巡线路口检测如果赛事有十字路口或者T字路口可以在分层ROI里单独加一个“路口检测”逻辑。当最近一层ROI的最大色块宽度接近图像宽度时基本可以判断车位于路口上方此时可以发送特殊标志给下位机执行特殊的转向策略。这一块不算复杂但必须要在主循环里加一个状态机让代码有“记忆能力”不会在路口上反复横跳。5.3 误差融合与卡尔曼滤波如果觉得偏差数据抖动比较厉害可以用简单的低通滤波滤掉高频噪声smooth_error smooth_error * 0.8 last_error * 0.2这个低通滤波会牺牲一点响应速度但对于中低速巡线车来说换来的是更丝滑的转向。想上强度的话可以试试卡尔曼滤波但OpenMV上跑卡尔曼对性能有影响性价比不高。5.4 数据可视化与上位机联调调试时强烈建议打开IDE的“帧缓冲区”功能把二值化后的图像和绘制的色块框实时显示。OpenMV还能通过IDE的“串行终端”查看print输出的偏差值。我习惯用UART把偏差值也传到PC端的串口助手画线这样能直观看到偏差的变化曲线判断PID参数是否合适。写在最后视觉巡线这个项目看起来只是“找线跟着线走”但真正落地时涉及的细节非常多。从图像处理到控制理论从硬件布局到环境适配任何一环出了问题车在地上跑的时候都会立刻暴露。这也是为什么OpenMV巡线至今还是各大赛事的经典任务——它足够简单入门也足够复杂锻炼人。如果你刚开始接触OpenMV我建议别急着抄代码先把IDE的阈值编辑器玩熟找一张纸自己写一遍二值化、找色块、算偏差、发串口的流程然后才去跑实车。只有理解了每一步在干什么后面遇到问题才知道去哪里找原因。最后分享一个小技巧在OpenMV IDE里用img.save()把调试现场存下来每次跑完车回看一帧一帧的图像培养“视觉直觉”你会发现自己调参的速度越来越快。本文还有配套的精品资源点击获取 OpenMV视觉巡线从入门到实战：图像处理、PID控制与调参避坑指南
简介本资源是一套面向嵌入式视觉初学者与智能小车开发者的OpenMV视觉巡线完整实践代码聚焦低成本机器视觉在自动循迹场景中的落地应用。压缩包共5个文件含3个核心Python脚本分别实现颜色取样与镜头校准、图像二值化预处理、主控逻辑与Arduino串口通信及2个.autosave备份文件总大小仅15KB轻量易部署。已有8601人学习下载反映出其在教学实践与竞赛入门中的广泛认可。读者可直接获取分阶段调试思路从HSV颜色空间标定黑色线条、焦距优化保障成像清晰度到二值化阈值设定与噪声抑制最终通过UART协议将识别结果实时传递至Arduino控制底盘运动配套代码结构清晰、注释充分是理解视觉识别→图像处理→硬件协同闭环的优质入门范例。 玩OpenMV的同学十个有八个是从巡线开始的但能把巡线玩明白的真不多。这个项目说大不大说小不小一套稳定的视觉巡线代码涉及图像处理、色块识别、PID闭环控制每一环都得吃透。我之前用OpenMV Cam做过的巡线小车从AD赛道到普通白底黑线踩了不少坑也沉淀了一套直接用得上的代码结构。这篇就来拆解一下视觉巡线的完整实现从思路到代码从调参到避坑一次讲清楚。1. 内容整体设计与思路拆解1.1 为什么选OpenMV做巡线视觉巡线这事儿可选方案其实不少。常见的有红外对管巡线、灰度传感器巡线再往上就是摄像头视觉巡线。前两种属于“低配方案”只能感知车底那一小片区域遇到十字路口、断线、急弯基本抓瞎。摄像头方案则能“看得远”提前预判路径走向这是质变。OpenMV在这类任务里有几个硬件上的天然优势它自带OV7725摄像头部分型号是OV5640能输出RGB565图像核心是STM32F7系列MCUOpenMV4是F765OpenMV4 Plus是H743主频够跑MicroPython解释器还能做简单的图像处理最关键的是它把摄像头、处理器、LCD接口、LED补光灯集成在一块板子上体积小功耗低非常适合小车这种对重量和供电敏感的场景。但OpenMV也有明显的短板算力有限跑不了YOLO这类重量级模型图像分辨率最高也就320x240实际处理常用QQVGA 160x120MicroPython解释执行的效率比不了C/C裸机。所以OpenMV上的视觉巡线核心策略不是“上多复杂的算法”而是“用最合适、最高效的算法解决问题”这也是我写巡线代码时一直遵循的原则。1.2 巡线方案的选型对比做巡线之前先想清楚自己要什么。是跑速度赛还是稳定过各种复杂路况这两者的代码策略差别很大。方案优点缺点适用场景单点色块追踪代码简单逻辑清晰容易丢线抗干扰差固定简单赛道学习入门多段分区检测能感知左右偏离趋势鲁棒性较好需要调多个阈值代码量中等普通曲线赛道综合项目全图像二值化找最大色块能处理较复杂背景抗干扰较强计算量稍大需注意帧率有轻微反光或杂色的跑道线性回归拟合中线可输出连续偏差值转为转向量对阈值质量依赖高跑偏后难恢复高速巡线进阶玩家我用得最多、最推荐的是多段分区检测。它兼顾了稳定性和计算效率而且代码结构清晰方便在此基础上扩展其他功能比如识别路口、检测终点。1.3 代码的整体架构规划一段好的OpenMV巡线代码不应该是一坨杂糅的循环。我的习惯是把它拆成几个模块传感器初始化摄像头配置、IO口定义、串口参数设置。图像处理函数二值化、ROI区域划分、色块提取。决策函数根据检测到的色块位置计算偏差值、输出控制信号。主循环编排以上所有模块控制运行节奏。这么拆分之后每段代码的职责都单一后面调参或者加功能比如加个红绿灯识别的时候就非常方便不用动主逻辑只改对应的函数就行。2. 核心细节解析与实操要点2.1 二值化阈值的关键作用视觉巡线的第一步是从图像中把“线”和“背景”区分开。OpenMV里最常用的方法是find_blobs找色块但它找的是彩色色块如果你的线是黑色的背景是白色的那直接用find_blobs找“黑色”其实是可行的但容易受光影、浅色阴影干扰。更稳妥的做法是先用image.binary()做二值化把符合条件的像素点变成白色其余的变成黑色。这样后续找色块时只需要找白色区域极度稳定。二值化需要设置颜色阈值LAB色彩空间下的L、A、B三个通道的阈值范围。给个我实测比较稳的配置黑线白底# LAB色域阈值L代表亮度A/B代表颜色 THRESHOLD_BLACK (0, 60, -20, 20, -20, 20) # 黑色线阈值搭上二值化代码长这样img.binary([THRESHOLD_BLACK], invertFalse)这一行的意思是图像中符合THRESHOLD_BLACK范围的像素保留原色白色其余的全部变成黑色。之后图像就变成了一张黑白图。2.2 ROI区域划分的实操技巧我见过很多新手在整幅图像上找线这样做有两个问题一是远处的线太细太小容易漏检二是图像底部的近处区域会混入车身阴影、光斑等干扰。正确做法是把图像切成几个ROIRegion of Interest感兴趣区域分别处理。典型的做法是将QQVGA160x120的图像按高度分为3~5层ROI每层独立找色块然后综合判断线的位置。分层的好处是每一层的阈值可以单独微调比如离车最近的区域内阈值可以适当收紧避免阴影干扰远处区域可以适当放宽确保线在光照变化下不容易丢。分层代码示意ROIS [ (0, 90, 160, 30), # 近处区域y90到120 (0, 60, 160, 30), # 中间区域 (0, 30, 160, 30), # 远处区域 ]每个ROI就是一个四元组(x, y, w, h)实际使用中我会把这些ROI都调成合适的宽度通常是整幅图像的宽度以避免线出画幅时丢失。2.3 色块提取与最大色块判断在每一分层ROI里通过find_blobs找白色区域然后取最大色块作为这一层的“候选线”。这里有个关键点find_blobs之后一定要判空否则代码会直接卡死。blobs img.find_blobs([THRESHOLD_WHITE], pixels_threshold20, area_threshold20, mergeTrue) if blobs: max_blob max(blobs, keylambda b: b.area()) else: continuepixels_threshold和area_threshold这两个参数很微妙太小容易导致噪点被当成线太大则会把细线过滤掉。我实测对于黑线白底、线宽大概12~16像素的场景pixels_threshold20, area_threshold20是个不错的起点。max_blob.cy()返回色块中心的y坐标在ROI内max_blob.cx()返回中心x坐标。这两个值会用于后续的偏差计算。2.4 PID控制在巡线中的应用检测到线的位置后接下来就是决定怎么控制小车转向。我用的是PID控制。简单说PID就是根据偏差目标值与实际值的差来计算控制量。巡线场景里偏差 目标中线位置 - 当前检测到的线中心位置。目标中线一般取图像中心的x坐标比如160/2 80。比例项P偏差越大转向越猛积分项I消除累积误差但用多了容易震荡微分项D让转向变化更平缓抑制震荡。巡线小车最常用的是PD控制I项一般不用或者取很小的值。因为巡线是动态过程累积误差意义不大反而容易引起转向抖动。# PID参数 KP 0.6 KD 1.2 KI 0.0 # 误差计算 error 80 - max_blob.cx() derivative error - last_error output KP * error KI * integral KD * derivative last_error error然后根据output去控制舵机或差速转向。比如output为正说明线在左边小车需要左转。2.5 控制信号输出与电机配置OpenMV本身不直接驱动电机它有PWM引脚和IO口但直接驱动大电流电机很不现实通常通过串口把偏差量发给单片机STM32、Arduino等由单片机解析并控制电机驱动模块比如TB6612、L298N。串口通信帧可以自己定义比如用简单的文本协议- 发送格式E-23\r\nE表示偏差值 - 或者二进制协议一个包头、一个数据字节、一个校验字节也可以让OpenMV直接接到带I2C/串口的驱动板一些方案里OpenMV只负责视觉输出偏差简化开发。我自己的方案里OpenMV通过串口发偏差值给下面板子的PID算法也就是OpenMV不做PID控制只做视觉检测。这样整车的控制逻辑耦合度更低也更容易调整各自的参数。3. 实操过程与核心环节实现3.1 硬件准备我的标准巡线套件是这样的OpenMV CamAny 型号都行我用的是OpenMV4 Plus智能小车底盘两驱或四驱我用的是两驱万向轮TB6612双路电机驱动模块STM32F103C8T6最小系统板负责电机控制一块锂电池组7.4V 2S给底盘和驱动模块供电注意给OpenMV板供电最好用5V降压模块杜邦线若干OpenMV IDE最新版可以从官网下载接线方面OpenMV的P4TX接STM32的RXOpenMV的P5RX接STM32的TXGND一定要共地。3.2 OpenMV端代码实现直接上代码。这是我封装的巡线主程序带注释方便理解# 入口文件 main.py import sensor import image import time import math from pyb import UART # 摄像头初始化 sensor.reset() sensor.set_pixformat(sensor.RGB565) sensor.set_framesize(sensor.QQVGA) # 160x120 sensor.skip_frames(30) # 跳过预热帧 sensor.set_auto_gain(False) # 关闭自动增益稳定亮度 sensor.set_auto_whitebal(False) # 关闭白平衡稳定颜色 # 串口初始化PA9为TXPA10为RX uart UART(1, 115200, timeout_char1000) # 颜色阈值LAB THRESHOLD_WHITE (80, 100, -20, 20, -20, 20) # 白底黑线场景下二值化后白线区域 # 图像处理ROI从近到远分层 ROIS [ (0, 90, 160, 30), (0, 60, 160, 30), (0, 30, 160, 30), ] # PID参数及变量 KP 0.7 KD 1.5 last_error 0 def get_line_position(img, roi): 在指定ROI内找最大色块返回其中心x坐标未找到则返回-1 blobs img.find_blobs([THRESHOLD_WHITE], roiroi, pixels_threshold20, area_threshold20, mergeTrue) if blobs: max_blob max(blobs, keylambda b: b.area()) # 画线便于调试 img.draw_rectangle(max_blob.rect()) img.draw_cross(max_blob.cx(), max_blob.cy()) return max_blob.cx() else: return -1 while True: img sensor.snapshot() # 二值化保留白色区域 img.binary([THRESHOLD_WHITE], invertFalse) # 计算加权偏差 weighted_error 0 found_count 0 for weight, roi in enumerate(ROIS): cx get_line_position(img, roi) if cx ! -1: # 层越高权重越低底层权重最高 w 1.0 / (weight 1) weighted_error (80 - cx) * w found_count 1 if found_count 0: weighted_error / found_count # 平均偏差 derivative weighted_error - last_error output KP * weighted_error KD * derivative last_error weighted_error # 将控制量映射到 -100 ~ 100 output max(-100, min(100, output)) # 发送给下位机E代表误差数值是带符号整数 uart.write(E%03d\r\n % int(weighted_error)) # 也可以在屏幕上显示便于实时调试 print(error:, weighted_error, output:, output) else: # 丢线处理保持上次偏差发送丢线标志 uart.write(L\r\n) print(lost line)这里有两个需要说明的点weighted_error的计算为什么远近ROI的权重不一样因为近处ROI里的线像素多、可信度高远处ROI里的线像素少、容易误判所以远处给低权重。这个策略在实践中比所有ROI等权更稳。output的计算和发送我把weighted_error发送给下位机下位机自己决定如何用这个偏差去驱动电机。如果你想把PID控制直接放OpenMV上跑那可以直接发output但要注意给下位机留好协议扩展空间。3.3 STM32端电机控制代码实现下位机STM32的部分就简单了它的任务是收串口、解析协议、输出PWM。这里给出一个最简的框架// 串口接收中断 void USART1_IRQHandler(void) { uint8_t ch 0; if(USART_GetITStatus(USART1, USART_IT_RXNE) ! RESET) { ch USART_ReceiveData(USART1); // 简单协议解析E开头后跟3位带符号数字\r\n结尾 if (ch E) { rx_state 1; // 开始接收数据 } else if (ch L) { line_lost_flag 1; // 丢线标志 } else if (rx_state 1 ch 0 ch 9) { value value * 10 (ch - 0); value_count; if (value_count 3) { rx_state 0; // 根据符号位处理正负 error_value is_negative ? -value : value; value_count 0; } } else if (ch -) { is_negative 1; } else if (ch \r || ch \n) { // 一帧结束将error_value转为PWM输出 MotorControl(error_value); is_negative 0; value 0; } } }单片机端的调参逻辑很简单偏差为正时左转为负时右转偏差的绝对值映射到转向PWM。这里不做死板的前进速度限制让它根据偏差动态调整是巡线速度优化的核心。3.4 阈值标定的三步法阈值标定是OpenMV巡线里最劝退新手的环节也最耗时。分享一个我的三步法能少走很多弯路初次估算把OpenMV对着赛道运行IDE的“帧缓冲区”工具切换到LAB色彩空间手动采样几个关键像素点的L、A、B值先估一个初始阈值。动态校准在IDE的“阈值编辑器”面板里开着实时画面拖动阈值滑条直到画面里只有线是白色其他全是黑色。这个过程要慢慢拖别急。实车路测微调把OpenMV装到小车上跑一圈看哪段丢失了就用IDE的img.save()存下当前帧复盘阈值哪里不合理。我一般是白天强光和晚上灯光各标定一次分别存一套阈值防止环境变化导致大范围飘移。3.5 PID参数调试的实操记录PID参数调试是另一大坑。我的调试顺序是P - D - I如果有的话不一起调。先给P一个比较小的值比如0.3P太小车会来回晃加大P直到车子能勉强沿弯道走但会有明显摆动。然后加DD能有效抑制摆动我会从0.8左右开始加加到车子摆动明显变小、过弯流畅为止。如果车子还是有一点稳态误差比如总偏向一边再加一点I比如0.01但I值一大就容易震荡慎用。实车调参时注意一个细节一定要在最高速度下调参因为低速下参数自适应强高速下暴露出的问题形态完全不同。低速下很稳的系统跑起高速很可能甩尾或者冲线。4. 常见问题与排查技巧实录4.1 丢线问题丢线是巡线最烦人的问题没有之一。我遇到过的情况有几种阈值不对反光、阴影、光照变化让线的颜色超出阈值范围。解决办法用前面说的三步法重新标定或者把阈值范围放宽一点给环境变化留余量。弯道太急线直接冲出画面。解决办法ROI分层中近处区域的宽度要留足同时也检查ROI的高度别因为ROI太小导致线的边缘被截掉一块。另外可以适当降低车速给视觉系统留出反应时间。结构问题图像中有其他白色物体混入。解决办法在find_blobs时增加area_threshold或者用find_blobs的invert参数来只保留特定方向的区域。处理丢线的逻辑也很重要。我的策略是如果视野里完全找不到线就发送“L”标志下位机让它前轮保持上一状态直行一小段同时升高底盘传感器灵敏度去“找”线。不要原地急停也不要猛打方向这两种操作都会让车辆卡死在赛道上。4.2 图像模糊或绿屏这个一般都是摄像头排线松动或者供电不足导致的。OpenMV对供电质量很敏感外接电机驱动模块时如果共用一个电源电机启动瞬间的电压跌落会让摄像头花屏甚至死机。经验是OpenMV最好用独立的5V/1A以上的供电或者加一个大电容稳压。还有就是摄像头模块上的排线一定要插紧特别是FPC软排线稍微没对齐就接触不良。4.3 串口通信乱码串口乱码八成是波特率不匹配或者GND不共地。连串口之前先用IDE的串口助手主动发一帧测试数据确保下位机能收到。还有一个细节OpenMV的UART默认是1个停止位、8位数据、无校验下位机的配置必须一致。4.4 帧率太低转弯反应慢帧率低的原因通常是二值化处理耗时太久或者每帧的图像尺寸太大。我实测QQVGA下做完二值化和色块查找大概能跑到30~40 FPS如果低于这个数先检查是不是在每帧里做了draw_string之类的调试绘制这些绘制函数很耗时。另外find_blobs的mergeTrue会多花一些时间如果线很粗且连续可以不开merge。4.5 常见问题速查表现象可能原因解决办法线在画面上看不清阈值不合理打开阈值编辑器现场调车子总是冲出弯道车速过快或PID前馈不足降低车速、调试PD参数、增大D值车子来回摇摆P值过大减小P或增大D串口收不到数据波特率不匹配 / 接线错误检查波特率确认TX/RX交叉接线车子完全不走电压不足 / 电机驱动接线错误测电机驱动模块的电源检查IN1/IN2逻辑画面绿屏摄像头模块排线松动或供电不足重新插拔排线独立供电4.6 自己踩过的坑不要迷信“完美阈值”有段时间我为了追求一个无论什么光线都完美的阈值花了两天时间反复标定结果还是翻车。后来想通了OpenMV的RGB565图像天然对光照敏感与其追求完美阈值不如让系统具备“自适应”能力。我现在会在程序启动时先跑一段自动曝光校准sensor.set_auto_gain(True)跑几十帧后再关掉让摄像头自动适应环境亮度然后才切入固定阈值模式。实测下来这个简单的启动校准逻辑比手动调阈值管用得多。5. 进阶优化与扩展建议5.1 动态调整曝光参数巡线过程中如果赛道经过窗边或者灯光下环境亮度会突变。固定的曝光值很容易让二值化崩掉。我的习惯是开启自动增益和自动白平衡但把它们的变动范围限制在一个合理区间sensor.set_auto_gain(True, gain_db10) # 限制增益上限 sensor.set_auto_whitebal(True, rgb_gain_db6) # 限制白平衡增益这样既保留了自动适应的灵活性又不会因为突然的强光让画面整体发白。5.2 多模式策略正常巡线路口检测如果赛事有十字路口或者T字路口可以在分层ROI里单独加一个“路口检测”逻辑。当最近一层ROI的最大色块宽度接近图像宽度时基本可以判断车位于路口上方此时可以发送特殊标志给下位机执行特殊的转向策略。这一块不算复杂但必须要在主循环里加一个状态机让代码有“记忆能力”不会在路口上反复横跳。5.3 误差融合与卡尔曼滤波如果觉得偏差数据抖动比较厉害可以用简单的低通滤波滤掉高频噪声smooth_error smooth_error * 0.8 last_error * 0.2这个低通滤波会牺牲一点响应速度但对于中低速巡线车来说换来的是更丝滑的转向。想上强度的话可以试试卡尔曼滤波但OpenMV上跑卡尔曼对性能有影响性价比不高。5.4 数据可视化与上位机联调调试时强烈建议打开IDE的“帧缓冲区”功能把二值化后的图像和绘制的色块框实时显示。OpenMV还能通过IDE的“串行终端”查看print输出的偏差值。我习惯用UART把偏差值也传到PC端的串口助手画线这样能直观看到偏差的变化曲线判断PID参数是否合适。写在最后视觉巡线这个项目看起来只是“找线跟着线走”但真正落地时涉及的细节非常多。从图像处理到控制理论从硬件布局到环境适配任何一环出了问题车在地上跑的时候都会立刻暴露。这也是为什么OpenMV巡线至今还是各大赛事的经典任务——它足够简单入门也足够复杂锻炼人。如果你刚开始接触OpenMV我建议别急着抄代码先把IDE的阈值编辑器玩熟找一张纸自己写一遍二值化、找色块、算偏差、发串口的流程然后才去跑实车。只有理解了每一步在干什么后面遇到问题才知道去哪里找原因。最后分享一个小技巧在OpenMV IDE里用img.save()把调试现场存下来每次跑完车回看一帧一帧的图像培养“视觉直觉”你会发现自己调参的速度越来越快。本文还有配套的精品资源点击获取