1. 项目概述当AI视觉遇上工业PLC在工厂车间里质检工位往往是最“费眼”也最“费人”的地方。工人需要长时间盯着流水线上的产品判断外观是否有划痕、装配是否到位、标签是否贴歪。这种重复性高、注意力要求集中的工作不仅容易导致疲劳漏检人员成本也居高不下。我最近完成的一个项目核心就是用“AI视觉”“PLC”的组合拳把质检员从这种枯燥的岗位上解放出来实现产线视觉检测的全流程自动化。简单来说这个项目就是给传统的工业自动化控制系统以PLC为核心装上“眼睛”和“大脑”。眼睛是工业相机负责采集图像大脑是部署了AI模型的工控机或边缘计算设备负责分析图像并做出判断而PLC作为整个产线的“神经中枢”和“执行指挥官”则根据大脑的指令精准地控制机械手、气缸、分拣装置等执行机构将不良品剔除或进行后续处理。这不仅仅是两个技术的简单叠加而是从图像采集、智能分析到物理执行的全链路闭环真正让生产线具备了“感知-决策-执行”的智能。这套方案适合谁如果你是工厂的自动化工程师、设备维护人员或者是对工业4.0、智能制造感兴趣的技术开发者那么这个将IT人工智能与OT运营技术深度融合的实践会给你带来很多启发。它解决的不仅是“看”的问题更是“看了之后怎么办”的问题将AI的决策能力无缝嵌入到实时的物理控制流程中这才是工业自动化的价值所在。2. 核心架构与通信协议选型要实现AI与PLC的协同首要任务是搭建一个稳定、高效的通信桥梁。这不仅仅是软件层面的接口调用更涉及到工业现场对实时性、可靠性的严苛要求。整个系统的架构可以清晰地分为三层感知层、决策层和执行层。2.1 系统三层架构解析感知层由工业相机、光源、镜头及图像采集卡或直接使用千兆网口相机构成。它的任务是在PLC触发例如光电传感器检测到产品到位后高速、清晰地捕捉产品图像。这里的关键在于“触发同步”必须确保相机拍照的瞬间产品处于预设的检测位置这通常由PLC发送一个脉冲信号Trigger给相机或视觉控制器来实现。决策层这是AI发挥作用的核心。通常是一台安装了视觉处理软件的工控机IPC或专用的边缘AI推理设备如NVIDIA Jetson系列。它接收来自感知层的图像运行预先训练好的AI模型例如基于YOLO的目标检测模型或基于ResNet的分类模型在毫秒级时间内完成缺陷识别、字符读取OCR、尺寸测量等分析并输出一个结构化的结果例如“产品AOK”或“产品BNG缺陷类型为划痕坐标(X,Y)”。执行层以PLC为核心连接着气缸、电机、变频器、机器人等所有执行单元。它接收来自决策层的“判决”结果并驱动相应的机构动作。例如如果结果是“NG”PLC会控制一个推杆气缸在流水线的特定位置将不良品推出如果结果是“OK”则放行。2.2 通信协议的关键抉择决策层与执行层AI与PLC之间的通信是整个系统的“任督二脉”。选型不当轻则延迟高重则系统不稳定。以下是几种主流方案各有优劣1. OPC UA首选推荐这是目前工业4.0背景下最受推崇的通信架构。OPC UA独立于硬件平台和操作系统提供了安全、可靠、跨厂商的数据交换能力。如何工作在工控机AI侧上运行一个OPC UA客户端将检测结果如一个布尔变量Product_Quality发布到OPC UA服务器。PLC作为OPC UA客户端订阅这个变量。一旦变量值更新从False变为True表示NGPLC立即能获取到并触发相应的控制逻辑。优势标准化程度高几乎所有主流PLC西门子、罗克韦尔、三菱、欧姆龙的新型号都支持。支持复杂数据结构、历史数据存取和强大的安全机制证书、加密。非常适合需要与MES/ERP等上层系统集成的复杂场景。实操注意配置相对复杂需要分别在服务器和客户端设置地址、端口、安全策略。对于简单的信号传递可能显得“杀鸡用牛刀”但其面向未来的扩展性是最大优点。2. 工业以太网协议西门子Profinet、罗克韦尔EtherNet/IP等如果AI工控机配备了相应的工业以太网网卡可以直接接入PLC的工业以太网网络。如何工作通过PLC的编程软件如TIA Portal为工控机分配一个设备站并配置好交换数据的区域如一个输入/输出字节区。AI程序将结果写入这个映射的内存区PLC周期性地读取这个区域就像读取一个远程I/O模块一样。优势速度极快实时性最高通信延迟可控制在毫秒甚至微秒级。数据传输完全在PLC的扫描周期内完成确定性好。劣势严重依赖特定厂商的协议和硬件通用性差。通常需要购买厂商专用的通信库或网卡成本较高且配置深度绑定PLC品牌。3. 基于TCP/IP的Socket通信最灵活也最考验功底这是最底层、最通用的方法。PLC和工控机通过标准的以太网口建立TCP或UDP连接直接收发自定义格式的数据包。如何工作在PLC侧需要编写通信程序块例如西门子的TCON、TSEND、TRCV三菱的套接字通信指令。在工控机侧用任何编程语言Python、C#编写Socket客户端/服务器程序。双方约定好数据包的格式例如前4个字节表示命令后4个字节表示结果代码。优势绝对的控制权不受任何厂商限制成本最低只需普通网卡。可以传输任何复杂的数据。劣势开发工作量最大需要处理连接管理、心跳保持、数据校验、断线重连等一系列网络编程的细节。稳定性和可靠性完全取决于开发者的水平在振动、电磁干扰复杂的工业现场容易出问题。实操心得如果选择此方案务必在数据包中加入“序列号”和“校验和”。PLC发送请求时带一个序号AI回复时带回相同的序号和校验结果。PLC端只有校验通过且序号匹配才认为数据有效。这是避免数据错乱、误动作的生死线。提示对于大多数初次尝试的团队我强烈建议从OPC UA开始。它平衡了难度、通用性和可靠性。虽然初期学习有曲线但它能让你摆脱对特定硬件的依赖系统架构更清晰后续维护和扩展也更容易。3. AI视觉模型的选择与部署实战视觉检测的核心是AI模型。但工业场景和互联网图片识别有天壤之别直接套用开源模型往往“水土不服”。我们的目标是在有限的硬件资源工控机上实现高精度、高速度、高稳定性的推理。3.1 模型选型从问题定义出发不要一上来就纠结用YOLOv8还是YOLOv9。先明确你的检测目标缺陷检测产品表面的划痕、污点、凹坑。这通常是一个“异常检测”或“语义分割”问题。对于特征明显的缺陷用目标检测如YOLO框出位置即可对于细微、不规则的缺陷可能需要用U-Net这类分割模型生成缺陷的像素级掩膜。装配验证零件是否漏装、装错、装反。这可以转化为“目标检测”或“分类”问题。例如训练一个YOLO模型识别各个零件的位置和类别或者将整个工位拍一张图输入一个分类模型如MobileNet直接输出“OK”或“NG具体哪种错误”。字符识别OCR读取产品上的序列号、生产日期。工业OCR通常环境可控字体、背景固定但可能面临反光、低对比度挑战。可以使用PaddleOCR、EasyOCR等开源框架但关键是要针对自己的字体和背景做微调训练直接使用通用模型识别率可能不达标。尺寸测量零件的长、宽、孔径是否在公差范围内。这属于“传统机器视觉”更擅长的领域通常基于边缘提取、亚像素拟合等算法精度可达微米级。AI在这里的作用可能是先定位出待测区域ROI再由传统算法进行精确测量。我的经验对于大多数外观检测项目YOLO系列的目标检测模型是一个很好的起点。它速度快、精度高且能直接输出缺陷的位置和类别非常直观。可以从YOLOv5或YOLOv8开始它们的生态成熟部署工具多。3.2 数据模型的“粮食”决定模型的上限工业AI项目80%的精力可能花在数据上。数据采集必须模拟所有可能的生产状态。不仅要有良品和各类缺陷品还要考虑光照变化白天/晚上、灯管老化、产品位置微小偏移、背景干扰等。最好能在实际产线上用相机连续拍摄数小时甚至数天的视频再从中抽取帧作为图像。数据标注使用LabelImg、CVAT等工具。标注务必精确和一致。对于划痕是用矩形框粗略框住还是用多边形精细勾勒所有标注员的标准必须统一。标注质量直接决定模型性能。数据增强工业数据往往稀缺尤其是缺陷样本。必须使用增强技术随机旋转小角度、亮度对比度调整、添加高斯噪声、模拟运动模糊等。但要小心不要增强出实际生产中不可能出现的图像例如将产品旋转180度如果产品方向是固定的。构建数据集按8:1:1的比例划分训练集、验证集和测试集。测试集必须来自独立于训练集采集时间的一批新数据用于最终评估模型的真实泛化能力。3.3 模型训练与优化向着“轻量化”和“高精度”前进使用PyTorch或UltralyticsYOLOv8官方库进行训练。训练技巧学习率采用余弦退火或带热重启的余弦退火CosineAnnealingWarmRestarts有助于跳出局部最优。使用早停法Early Stopping防止过拟合。模型轻量化工控机CPU资源有限。训练完成后可以考虑剪枝移除网络中不重要的连接或通道。量化将模型权重从浮点数FP32转换为整数INT8。这能大幅减少模型体积、提升推理速度对精度影响很小。可以使用TensorRT或OpenVINO等工具进行量化。知识蒸馏用一个大模型教师模型指导一个小模型学生模型训练让小模型获得接近大模型的性能。3.4 边缘部署让模型在工控机上跑起来训练好的PyTorch模型.pt文件不能直接在产线上用需要转化为适合部署的格式。格式转换ONNX这是一个通用的中间格式。几乎所有的训练框架PyTorch, TensorFlow都能将模型导出为ONNX。ONNX模型可以被多种推理引擎加载。TensorRTNVIDIA GPU如果你用的是带NVIDIA GPU的工控机TensorRT是性能最优的选择。它会对ONNX模型进行针对特定GPU的深度优化生成.engine文件推理速度极快。OpenVINOIntel CPU/集成显卡如果你用的是Intel平台的工控机大部分是OpenVINO是绝配。它可以将ONNX模型转换为IR格式并利用CPU的AVX指令集或集成显卡进行加速在纯CPU上也能获得不错的推理速度。编写推理服务用PythonFastAPI/Flask或C编写一个常驻进程。这个服务负责监听来自PLC的触发信号或轮询某个共享内存、OPC UA变量。接收到信号后从指定位置读取图像。调用TensorRT/OpenVINO引擎进行推理。将推理结果OK/NG、缺陷坐标通过OPC UA或Socket写回给PLC。关键点这个服务必须健壮。要有看门狗机制万一崩溃了能自动重启。要有完善的日志记录记录每一张图的处理结果和时间戳便于追溯。注意部署环境的软件版本CUDA、cuDNN、TensorRT等必须与模型转换时使用的版本严格一致否则极易出现各种诡异的错误。建议使用Docker容器将整个推理环境打包确保环境一致性。4. PLC程序的逻辑设计与安全联锁PLC是最终的执行者它的程序逻辑必须严谨、安全、高效。这里不仅仅是接收一个结果然后动作那么简单。4.1 核心控制流程设计一个典型的检测工位PLC程序流程如下待机与触发程序循环检测“产品到位”传感器光电开关。当传感器导通启动一个延时定时器例如50ms等待产品运动到相机正下方。定时器到点后PLC输出一个宽度约10ms的脉冲信号给相机硬件触发线或通过通信发送触发命令。等待与超时触发相机后PLC进入“等待检测结果”状态。同时启动一个“结果等待超时定时器”例如设定为2秒应远大于AI处理的最大可能时间。在此状态下流水线应暂停或产品应被阻挡器挡住。结果处理收到OK信号PLC控制阻挡器放开放行产品并复位所有相关标志位回到步骤1。收到NG信号PLC根据AI传回的缺陷类型或位置信息控制对应的剔除机构如推杆、摆臂、吹气嘴在精确的位置动作将不良品移出主线。完成后复位回到步骤1。超时未收到信号这是非常重要的异常处理如果超时定时器到点仍未收到AI的任何结果PLC应判定为“通信故障”或“视觉系统故障”。此时通常有两种安全策略a)报警停机点亮故障灯等待人工干预b)保守放行将当前产品按“NG”处理防止不良品流入后道并报警。具体选择哪种需与生产工艺人员商定。剔除机构复位确保剔除动作完成后机构完全复位不会干涉下一个产品。4.2 通信数据解析与校验假设通过OPC UA传输AI侧传递了一个字符串NG,Scratch,125,320表示NG缺陷为划痕中心坐标X125, Y320。 PLC程序需要解析这个字符串提取逗号分隔的字段。判断第一个字段是“OK”还是“NG”。如果是“NG”则根据第二个字段缺陷类型决定点亮哪个报警指示灯或记录到哪种缺陷计数器。将坐标值125, 320转换为剔除机构的动作位置。这需要事先做好“图像坐标”到“机械坐标”的标定。例如通过一个简单的线性映射公式机械坐标 图像坐标 * 比例系数 偏移量。这个系数需要在设备调试时通过示教方式获取。4.3 安全联锁与异常处理这是PLC程序的灵魂确保设备和人员安全。硬件互锁剔除机构的气缸动作与流水线驱动电机之间必须建立电气互锁。当气缸伸出时电机应能立即停止或禁止启动。软件保护在程序里为每个运动机构设置软件限位。即使收到了错误的坐标指令机构也不会运动到物理极限位置之外防止撞机。状态监控PLC需要持续监控关键设备的状态如相机电源、光源亮度通过光耦反馈、工控机心跳信号。任何一项异常立即触发预定义的故障处理程序。手动/自动模式必须设计完善的手动模式。在手动模式下操作员可以通过HMI按钮单独控制每一个气缸、电机方便设备调试和维护。自动模式和手动模式之间要有明确的切换逻辑和状态复位。实操心得在PLC程序中为每一个来自AI的信号OK、NG、心跳都设置一个“信号寿命”计时器。每次收到有效信号就将计时器复位。如果超过设定时间如3秒未收到任何信号则判断为通信中断触发超时报警。这是诊断网络问题的第一道防线。5. 系统集成调试与性能优化当AI模型、PLC程序、机械机构都各自准备好后真正的挑战——系统联调开始了。这个过程是“三分靠技术七分靠耐心”。5.1 分步调试法绝对不要一上来就全自动运行。通信测试首先在PLC和工控机都不连接真实设备的情况下测试通信链路。用PLC编程软件强制给触发信号变量赋值看工控机能否收到在工控机上用脚本模拟发送OK/NG结果看PLC程序能否正确接收并改变状态。使用网络抓包工具如Wireshark辅助排查。视觉单独调试将产品手动放在检测位通过工控机上的视觉软件手动触发拍照、分析观察定位是否准确识别结果是否稳定。调整光源亮度、相机曝光时间、镜头焦距确保图像质量最优。PLC与执行机构调试在手动模式下通过HMI点动控制各个气缸、电机确保动作顺畅、到位传感器信号正常。半自动联调开启自动模式但放慢流水线速度或单步触发。观察从传感器触发到相机拍照到AI处理再到PLC控制机构动作整个链条是否顺畅。重点观察时序机构动作是否来得及产品在动作时是否已经运动到了正确位置全自动压力测试以正常生产速度连续运行数小时甚至24小时。统计误检率良品被判为不良品、漏检率不良品被判为良品并记录所有出现的异常和报警。5.2 性能瓶颈分析与优化系统跑起来后要持续监控和优化。瓶颈定位使用工控机上的系统监控工具和PLC的在线诊断功能。如果检测节拍达不到要求是哪个环节慢了图像采集延迟检查相机触发模式、曝光时间是否过长。AI推理速度慢用性能分析工具如PyTorch Profiler, TensorRT分析模型各层耗时。考虑进一步量化、剪枝或升级硬件。通信延迟高检查网络负载OPC UA的订阅周期是否设置合理。PLC程序扫描周期长优化PLC程序逻辑将非实时任务放到后台循环。稳定性优化抗干扰所有通信线、信号线使用屏蔽线并与动力线分开走线。PLC和工控机使用稳定的开关电源必要时加装隔离变压器或UPS。防错机制在关键的数据交换点增加确认机制。例如PLC发送触发信号后可以等待AI回复一个“已接收”信号然后再等待最终结果。避免因单次通信丢失导致流程卡死。状态恢复程序要能应对各种意外断电后的重启。所有关键的状态变量如当前产品状态、计数器应保存在PLC的断电保持区上电后能自动恢复到合理状态。5.3 建立完善的监控与日志系统一个成熟的自动化系统必须是可观测的。PLC侧将关键数据检测总数、OK数、NG数、各缺陷类型数量、当前状态、报警代码映射到HMI画面上并支持历史数据记录和导出。AI工控机侧推理服务应记录每一张处理过的图像至少保存NG图像和可疑的OK图像、推理结果、耗时。这些日志文件要定期归档它们是后期优化模型、分析漏误检原因的黄金数据。网络侧可以部署简单的网络监控确保PLC与工控机之间的Ping延迟稳定。6. 常见问题排查与维护心得即使设计再完善现场总会遇到意想不到的问题。下面是我踩过坑后总结的一些典型问题及排查思路。问题现象可能原因排查步骤与解决方案误检率/漏检率高1. 图像质量差过曝、欠曝、模糊2. 光源不稳定或老化3. 产品位置波动大4. AI模型训练数据不充分或过拟合1.复查图像调出保存的NG/OK图片肉眼判断是否清晰。调整光源、相机参数。2.检查光源用照度计测量光照均匀性检查光源驱动器供电是否稳定。3.检查治具产品定位的机械治具是否磨损导致产品每次停放位置不一致。需加强机械定位精度。4.分析错误样本收集新的误检/漏检样本加入训练集重新训练模型。检测节拍不达标1. AI模型推理速度慢2. 图像传输或保存耗时3. PLC与AI通信等待超时4. 机械动作时间过长1.性能剖析测量从拍照到结果输出的各阶段耗时。2.模型优化尝试量化、剪枝或更换更轻量的模型主干网络。3.硬件升级考虑使用带GPU的工控机或专用的AI加速卡。4.并行处理如果有多工位可采用多相机多推理进程并行处理。通信间歇性中断1. 网络线缆或接头松动2. 网络交换机故障或负载过大3. OPC UA/ Socket连接未做心跳和重连4. IP地址冲突1.物理层检查重新插拔网线更换网线测试。2.网络诊断Ping测试看是否有丢包延迟是否增大。检查交换机状态灯。3.程序加固在通信程序中增加心跳包机制和自动重连逻辑。4.检查IP确认PLC和工控机的IP地址在同一网段且无冲突。PLC收到错误坐标导致机构撞机1. AI输出坐标值异常如负数、超界2. 通信数据解析错误3. 坐标变换系数错误1.数据校验在PLC程序解析坐标后立即进行范围判断。如果XY值超出图像最大像素范围则丢弃该结果按“通信错误”处理。2.增加标定验证定期如每班次开始用标准标定块进行一次坐标系统验证。系统运行一段时间后死机1. 工控机内存泄漏2. 软件进程崩溃3. 散热不良导致CPU过热降频或关机1.检查日志查看系统日志和应用程序日志寻找崩溃记录。2.资源监控在工控机上部署监控观察内存、CPU使用率是否随时间增长。3.物理检查清理工控机风扇和滤网的灰尘改善设备柜的通风。最后的维护心得这套系统交付后绝不是一劳永逸。要建立定期维护制度每周检查光源亮度每月备份一次AI模型和程序每季度清洁一次相机镜头和防护玻璃。最重要的是保持一份详细的《故障排查手册》把调试和运行过程中遇到的所有问题及解决方法都记录下来。这不仅是为自己积累经验更是为接手维护的同事铺平道路。自动化系统的价值最终体现在长期、稳定、可靠的运行上。