1. 项目概述当行空板遇上AI视觉最近在捣鼓一个挺有意思的小项目用行空板做一个能自动识别并跟随目标移动的AI摄像头。这玩意儿听起来像是智能机器人或者高级监控设备的核心功能但说实话实现它的门槛已经大大降低了。行空板作为一款面向教育和创客的国产开源硬件集成了屏幕、Wi-Fi、多种传感器和丰富的GPIO接口本身就是一个功能强大的微型计算机。而AI视觉得益于像OpenCV、MediaPipe、YOLO这些开源框架和预训练模型的普及也不再是实验室里的专属。把这两者结合起来你就能亲手打造一个能“看懂”世界并做出反应的智能终端。这个项目的核心价值在于它不是一个简单的代码跑通演示而是一个完整的、软硬件结合的嵌入式AI应用原型。它涉及图像采集、模型推理、运动控制、系统集成等多个环节。通过它你可以深入理解从传感器数据到智能决策的完整链路。无论是想做一个自动追踪演讲者的网课摄像头一个跟着宠物跑的玩具车还是一个能识别特定物品并保持对焦的拍摄云台这个项目都能提供一个扎实的起点。接下来我会拆解整个实现过程从设计思路到代码细节再到实际调试中踩过的坑希望能给同样对嵌入式AI感兴趣的朋友们一份实用的参考。2. 核心设计思路与方案选型做AI跟随摄像头听起来目标明确但具体怎么“跟”里面有不少门道。首先得把问题拆解清楚摄像头“看到”目标计算出目标的位置然后驱动云台或整个设备运动让目标始终保持在画面中央。这里面就包含了三个核心模块感知目标检测与定位、决策运动控制算法和执行电机驱动。2.1 感知层选择什么样的“眼睛”和“大脑”感知是整个系统的基础。在行空板上我们有几种选择纯软件方案USB摄像头本地推理这是最直接的方式。给行空板接上一个普通的USB摄像头使用Python的OpenCV库捕获视频流然后在行空板本地运行一个轻量级的目标检测模型比如SSD-MobileNet、Tiny-YOLO或者专门的人脸/人体检测模型。行空板基于高性能的ARM处理器运行这类精简模型是可行的。优点方案成熟开发资料多灵活性高可以检测任意训练过的目标。挑战对行空板的计算资源是考验。持续的图像推理会占用大量CPU可能导致帧率FPS较低影响跟随的流畅性。需要精心优化模型和代码。软硬结合方案专用AI摄像头模块市面上有一些集成了简单AI算力的摄像头模块比如某些型号的ESP32-CAM或者一些内置了人脸检测功能的摄像头。它们可以在硬件层面完成初步的目标识别然后通过串口等接口向行空板发送简单的坐标数据。优点极大减轻行空板的计算压力行空板只需处理坐标数据和运动控制系统更稳定。挑战功能可能受限只能识别预设的类别如人脸且需要处理额外的硬件通信协议。边缘计算方案行空板协处理器如果追求更强的性能可以考虑为行空板搭配一个AI加速棒比如英特尔的神经计算棒NCS2或谷歌的Coral USB Accelerator。这些设备专门为神经网络推理加速设计。优点能运行更复杂、更精确的模型且速度飞快体验最好。挑战成本增加配置环境相对复杂。我的选择与理由为了平衡性能、成本和学习的全面性我选择了方案一USB摄像头本地轻量级模型。行空板本身性能不俗足以支撑一个轻量级模型的实时运行。这个选择能让我完整地实践从图像采集、模型加载、推理到后处理的全部流程对理解AI视觉应用的底层逻辑最有帮助。我选用的是基于MobileNet-SSD的人脸检测模型因为它模型小、速度快且人脸是一个很通用的跟随目标非常适合入门和演示。2.2 决策与执行层如何让云台“动”起来感知模块告诉我们目标在画面中的坐标(x, y)。决策模块的任务是将这个坐标差值目标当前位置与画面中心点的偏差转换成云台两个舵机Pan-水平 Tilt-垂直应该旋转的角度。这里的关键是运动控制算法。最简单的是比例控制P控制舵机角度 Kp * 坐标偏差。例如目标在画面偏右水平偏差error_x为正我们就命令水平舵机向右转一个与error_x成比例的角度。Kp是一个比例系数需要调试。如果Kp太大云台会剧烈抖动太小则反应迟钝永远追不上快速移动的目标。更稳定一些可以用比例-微分控制PD控制在P的基础上加入微分项D考虑偏差的变化速度能有效抑制抖动让跟随过程更平滑。对于跟随摄像头这个应用PD控制通常已经足够好了。执行层就是舵机驱动。行空板有多个PWM引脚可以直接连接并控制常见的9g或MG90s舵机。我们需要将计算出的角度值转换为舵机所需的PWM脉宽信号。整体架构图文字描述USB摄像头 - OpenCV视频流 - 人脸检测模型 - 获取人脸框坐标 - 计算与画面中心的偏差 - PD控制器计算舵机角度 - 行空板PWM输出 - 舵机转动 - 摄像头重新构图这个闭环系统会持续运行形成一个负反馈最终将目标稳定在画面中心。3. 环境搭建与核心代码解析3.1 硬件准备与连接你需要准备以下硬件行空板一台。USB摄像头建议选择免驱的720P或1080P摄像头帧率越高越好。二自由度云台包含两个舵机一个控制左右一个控制上下和支架。舵机两个。注意工作电压通常5V或6V和行空板GPIO的输出能力可能需要外接电源。杜邦线若干。连接示意图USB摄像头直接插入行空板的USB-A口。云台的水平舵机信号线接到行空板的P21引脚或其他支持PWM的引脚如P22。云台的垂直舵机信号线接到行空板的P22引脚。舵机的电源正极红色和负极棕色务必接到一个外部的5V电源如电池盒或稳压模块上不要直接从行空板引脚取电以免电流过大损坏板子。信号线橙色或黄色接行空板引脚。外部电源的地GND需要和行空板的GND连接在一起共地。3.2 软件环境配置行空板默认运行的是基于Debian的定制Linux系统已经预装了Python3。我们需要安装一些额外的库。通过行空板的终端SSH或直接接显示器键盘执行以下命令# 更新软件包列表 sudo apt-get update # 安装Python开发工具和必要的系统库 sudo apt-get install -y python3-pip python3-dev libatlas-base-dev libjasper-dev libqtgui4 libqt4-test # 使用pip安装Python库建议使用国内镜像加速 pip3 install opencv-python-headless numpy -i https://pypi.tuna.tsinghua.edu.cn/simple # 注意安装完整版opencv-python在ARM板上可能比较困难headless版本不含GUI功能更适合服务器/嵌入式环境我们通过行空板自带的屏幕库来显示图像。注意行空板官方可能提供了更优化的软件源和库。建议首先查阅行空板的官方文档看是否有针对OpenCV的预编译包或推荐安装方式。上述方法是通用Linux方法在行空板上可能可行但如果遇到编译错误寻找ARM架构的预编译轮子wheel是更省事的选择。3.3 核心代码实现以下是项目的主干代码ai_follow_camera.py我加入了详细注释。#!/usr/bin/env python3 # -*- coding: utf-8 -*- import cv2 import numpy as np import time from pinpong.board import Board, Pin, Servo # 使用行空板官方的pinpong库控制舵机 # 1. 初始化行空板引脚和舵机 Board(UNIHIKER).begin() # 初始化行空板 servo_pan Servo(Pin(Pin.P21)) # 水平舵机接P21 servo_tilt Servo(Pin(Pin.P22)) # 垂直舵机接P22 # 设置舵机初始角度假设云台机械中位 current_pan_angle 90 current_tilt_angle 90 servo_pan.angle(current_pan_angle) servo_tilt.angle(current_tilt_angle) # 2. 加载预训练的人脸检测模型MobileNet-SSD # 需要先下载模型文件deploy.prototxt 和 res10_300x300_ssd_iter_140000.caffemodel prototxt_path deploy.prototxt model_path res10_300x300_ssd_iter_140000.caffemodel net cv2.dnn.readNetFromCaffe(prototxt_path, model_path) # 3. 打开摄像头 cap cv2.VideoCapture(0) # 0代表默认摄像头 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) # 设置宽度降低分辨率以提升速度 cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) # 设置高度 # 获取画面中心坐标 frame_center_x 640 // 2 frame_center_y 480 // 2 # 4. PD控制器参数需要根据实际调试 Kp 0.1 # 比例系数 Kd 0.05 # 微分系数 prev_error_x 0 prev_error_y 0 # 5. 主循环 while True: ret, frame cap.read() if not ret: print(无法获取视频帧) break # 5.1 准备图像 blob 用于神经网络输入 (h, w) frame.shape[:2] blob cv2.dnn.blobFromImage(cv2.resize(frame, (300, 300)), 1.0, (300, 300), (104.0, 177.0, 123.0)) net.setInput(blob) detections net.forward() # 5.2 处理检测结果 max_confidence 0 target_box None # 存储最大置信度的人脸框 for i in range(0, detections.shape[2]): confidence detections[0, 0, i, 2] if confidence 0.5: # 置信度阈值可调 if confidence max_confidence: max_confidence confidence # 提取人脸框的坐标并缩放到原始图像尺寸 box detections[0, 0, i, 3:7] * np.array([w, h, w, h]) (startX, startY, endX, endY) box.astype(int) target_box (startX, startY, endX, endY) # 5.3 如果检测到人脸计算偏差并控制舵机 if target_box is not None: startX, startY, endX, endY target_box # 计算人脸框的中心点 target_center_x (startX endX) // 2 target_center_y (startY endY) // 2 # 在画面上画出人脸框和中心点 cv2.rectangle(frame, (startX, startY), (endX, endY), (0, 255, 0), 2) cv2.circle(frame, (target_center_x, target_center_y), 5, (0, 0, 255), -1) # 计算与画面中心的偏差 error_x frame_center_x - target_center_x # 目标偏右error_x为负 error_y frame_center_y - target_center_y # 目标偏下error_y为负 # PD控制计算角度增量 delta_pan Kp * error_x Kd * (error_x - prev_error_x) delta_tilt Kp * error_y Kd * (error_y - prev_error_y) # 更新舵机角度并限制在安全范围例如0-180度 current_pan_angle delta_pan current_tilt_angle delta_tilt current_pan_angle max(0, min(180, current_pan_angle)) current_tilt_angle max(0, min(180, current_tilt_angle)) servo_pan.angle(int(current_pan_angle)) servo_tilt.angle(int(current_tilt_angle)) # 更新上一次的误差 prev_error_x error_x prev_error_y error_y # 在画面显示偏差信息 cv2.putText(frame, fError X:{error_x}, Y:{error_y}, (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 255, 255), 2) # 5.4 在画面上画出中心十字线 cv2.line(frame, (frame_center_x - 20, frame_center_y), (frame_center_x 20, frame_center_y), (255, 0, 0), 2) cv2.line(frame, (frame_center_x, frame_center_y - 20), (frame_center_x, frame_center_y 20), (255, 0, 0), 2) # 5.5 显示画面在行空板上可能需要使用其自带的UI库来显示这里用OpenCV窗口仅作本地测试示意 # 实际在行空板运行时建议使用行空板的图形库如unihiker库将图像数组显示到板载屏幕上效率更高。 # cv2.imshow(AI Follow Camera, frame) # 简单的退出机制 if cv2.waitKey(1) 0xFF ord(q): break # 6. 释放资源 cap.release() cv2.destroyAllWindows() # 舵机归中 servo_pan.angle(90) servo_tilt.angle(90)代码关键点解析模型加载我们使用了Caffe格式的MobileNet-SSD人脸检测模型。你需要提前下载deploy.prototxt网络结构定义和res10_300x300_ssd_iter_140000.caffemodel训练好的权重这两个文件并放在与脚本相同的目录下。目标选择代码中选择了置信度最高的人脸框作为跟踪目标。在实际场景中如果有多个人这会导致摄像头跟随最近或最清晰的那个人。你可以修改策略例如跟踪上一个目标附近的人或者跟踪特定ID的人。PD控制delta_pan Kp * error_x Kd * (error_x - prev_error_x)是PD控制器的离散形式。Kp决定了系统的响应速度Kd起到了阻尼作用防止振荡。这两个参数需要根据你的云台机械结构、舵机速度和摄像头帧率进行耐心调试。显示问题代码中使用了cv2.imshow这在连接了显示器的电脑上可行。但在行空板上更高效的方式是利用其自带的unihiker库的GUI功能来显示图像避免X11转发带来的性能开销。4. 调试优化与性能提升实战代码跑起来只是第一步让它稳定、流畅地工作才是挑战的开始。下面分享几个关键的调试和优化环节。4.1 运动控制参数整定让跟随“丝滑”的关键Kp和Kd的调试是个经验活没有标准答案。我的调试步骤是先调Kp 后调Kd首先将Kd设为0只使用P控制。逐渐增大Kp直到摄像头能对目标的移动做出明显反应但会发现它会在目标点附近来回摆动振荡。引入Kd抑制振荡慢慢增加Kd的值你会发现振荡幅度减小跟随过程变得平滑。Kd太大反而会让系统反应迟钝像“粘住”一样。实地测试让人在摄像头前以不同速度移动观察跟随效果。快速移动时是否跟丢突然停止时是否过冲根据现象微调参数。一个实用的技巧是加入死区。当偏差error_x和error_y的绝对值小于某个阈值比如10个像素时不发送新的舵机指令。这可以避免因图像噪声或微小抖动引起的舵机“嗡嗡”作响让系统在锁定目标后更安静。4.2 模型与推理速度优化在行空板上推理速度是瓶颈。以下方法可以提升帧率降低输入分辨率代码中我们将图像缩放到300x300输入模型。可以尝试更小的尺寸如200x200或150x150速度会显著提升但精度会下降。需要在速度和精度间权衡。使用更轻量的模型MobileNet-SSD已经比较轻量。还可以尝试专门为边缘设备设计的模型如YOLO-Fastest、NanoDet或者使用TensorFlow Lite格式的模型其推理效率通常更高。跳帧处理如果不需要极高的实时性可以每2帧或3帧做一次目标检测中间帧沿用上一帧的目标位置。这能直接提升有效帧率。启用OpenVINO或ARM NN加速如果行空板的CPU支持可以尝试将OpenCV的DNN后端设置为OpenVINO利用CPU的指令集进行推理加速。这需要安装额外的库和进行模型格式转换。4.3 鲁棒性增强应对跟丢与误检实际环境中目标可能突然消失被遮挡、出画或者出现误检将非人脸物体识别为人脸。目标丢失处理在代码中增加一个“目标丢失计数器”。当连续若干帧如10帧没有检测到目标时判定为丢失。此时可以采取策略舵机停止运动、缓慢回中、或开始缓慢扫描寻找目标。误检过滤尺寸过滤人脸框的宽高比通常在一定范围内过大或过小的框可以过滤掉。运动连续性过滤真实的目标在连续帧间的位置变化是连续的、有限的。如果某一帧检测到的目标位置与上一帧预测的位置相差太远则可能是误检应忽略。多框融合同一目标可能被检测出多个重叠的框使用非极大值抑制算法来合并。4.4 电源与机械结构注意事项舵机电源独立这一点再怎么强调都不为过。两个舵机同时运动时瞬间电流可能超过1A绝不能从行空板的GPIO引脚取电。必须使用独立的5V/2A以上的电源模块供电并与行空板共地。机械结构稳固云台的支架要牢固。舵机摆臂和摄像头之间的连接要紧密不能有晃动。任何机械上的松动都会被控制环路放大导致画面持续抖动。舵机保护在代码中严格限制舵机的转动角度范围如0-180度并在初始化、退出时让舵机缓慢归位到安全位置防止堵转损坏。5. 项目扩展与进阶玩法基础版本完成后这个项目还有很大的扩展空间多目标跟踪与选择升级代码使用如DeepSORT等算法跟踪画面中的多个人脸并允许通过手势或按钮切换跟踪目标。集成更丰富的AI功能不仅检测人脸还可以姿态估计识别人的举手、挥手等动作实现手势控制。表情识别根据表情做出有趣的反应。物体识别训练一个识别特定物品如水杯、手机的模型让摄像头锁定你的水杯。无线图传与远程控制利用行空板的Wi-Fi功能创建一个简单的Web服务器将摄像头画面实时传输到电脑或手机浏览器上并可以通过网页按钮远程控制云台转动。与机器人平台结合将这个AI摄像头模块安装到一个轮式机器人底盘上就可以实现一个真正的“跟随机器人”。这时决策算法要从控制云台升级到控制左右轮速差挑战更大也更有趣。使用更专业的控制算法将PID控制替换为更先进的算法如模糊控制甚至尝试用简单的强化学习来让系统自己学习如何平滑跟随。这个项目就像一把钥匙打开了嵌入式AI应用开发的大门。从硬件连接到软件编程从算法调参到系统调试每一个环节都能学到实实在在的东西。过程中遇到的每一个问题——比如舵机乱抖、帧率太低、目标跟丢——其排查和解决的过程就是经验增长最快的时候。希望这份详细的拆解能帮助你顺利启动自己的AI跟随摄像头项目并在此基础上玩出更多花样。