融合YOLO与DeepSeek大模型的钢铁表面缺陷智能检测系统工业视觉质检全栈项目当前钢铁制造产线表面质检普遍依赖人工肉眼巡检存在三大核心行业痛点1. 人工长期目视疲劳微小裂纹、细微划痕漏检率常年高于22%批量工件质检一致性极差2. 传统机器视觉仅输出缺陷框坐标无法自动给出缺陷成因、工艺整改建议仍需资深工程师人工研判3. 现有检测工具仅支持单张图片离线分析不兼容工业摄像头实时流、视频批量文件夹自动化处理难以对接产线流水线。本项目打通目标检测深度学习大模型工业诊断全链路基于标准NEU-DET钢材缺陷数据集训练YOLO检测模型配套前后端完整Web管理平台实现6类钢材表面缺陷实时识别、批量自动化处理、大模型智能质检分析、缺陷数据可视化统计一站式解决钢铁行业表面质量智能化升级需求适配钢厂质检车间、材料实验室、智能制造产线多场景落地。一、项目核心概述本项目命名NEU-DET钢铁裂纹智能检测系统是一套端到端工业视觉缺陷检测全栈解决方案。底层采用YOLO深度学习目标检测框架完成钢材表面6大类缺陷定位识别上层接入DeepSeek大语言模型对检测结果做专业工业诊断分析后端采用Python Flask算法推理服务Java SpringBoot业务管理双服务架构前端基于Vue3Element-Plus搭建可视化管理平台支持图片/视频/工业摄像头实时多路检测、批量文件夹自动化推理、多角色权限管控、缺陷数据图表统计、界面自定义个性化配置。整套项目交付包含完整标注数据集、预训练模型权重、全注释源码、一键部署文档可直接二次开发适配铝、铜、板材等其他金属表面检测场景。1.1 可识别6类钢材表面缺陷清单缺陷英文名称中文缺陷释义工业场景危害Crazing表面微裂纹轧制后应力开裂成品报废Inclusion内部夹杂物材质杂质降低钢材力学性能Patches表面斑块氧化、锈蚀形成局部色差缺陷Pitted Surface麻面凹点酸洗/轧制产生密集点状凹陷Rolled-in Scale轧入氧化皮高温轧制氧化皮压入板材表层Scratches表面划痕输送、辊道摩擦产生线性损伤二、技术全栈架构分层说明2.1 深度学习推理层Python检测框架YOLO系列Pytorch实现大模型接口DeepSeek API对接缺陷智能诊断Web推理服务Flask 轻量图像推理接口数据处理OpenCV、PIL、Numpy、Albumentations数据增强2.2 后端业务服务层Java核心框架SpringBoot 2.7、MyBatis-Plus数据库MySQL 8.0存储用户、检测记录、缺陷统计数据权限模块RBAC多角色权限控制、操作日志持久化2.3 前端可视化层基础框架Vue3 TypeScriptUI组件库Element-Plus可视化图表ECharts缺陷类型统计、月度质检报表网络请求Axios封装全局请求拦截器三、核心功能模块详解3.1 多模式图像缺陷检测模块四大推理模式单张图片上传检测支持本地图片拖拽上传实时返回缺陷标注图、置信度、缺陷类别坐标批量文件夹批量推理上传本地文件夹压缩包自动遍历全部图片批量检测生成汇总统计报表视频流离线分析上传工业监控视频逐帧抽取画面完成缺陷检测输出缺陷出现时间戳工业摄像头实时在线监测对接USB/工业千兆相机网页端实时渲染检测画面缺陷实时弹窗告警3.2 DeepSeek大模型智能诊断模块核心创新点传统视觉检测仅输出坐标框本系统将YOLO检测输出的缺陷类型、数量、置信度、缺陷尺寸数据封装结构化Prompt传入DeepSeek大模型自动输出当前缺陷产生工艺成因分析轧制、酸洗、热处理工序整改建议同类缺陷批量出现的产线风险预警行业标准下缺陷等级判定合格/待复检/报废3.3 数据可视化与统计模块ECharts渲染缺陷类型分布饼图、每日缺陷数量折线图、缺陷尺寸区间直方图按用户、时间、缺陷类型多维度筛选检测历史记录支持检测报表Excel导出用于车间质量台账归档3.4 用户权限管理系统管理员账号全量检测记录查看、用户新增/禁用、系统参数配置、日志全量查询普通质检账号仅查看本人上传检测任务无用户管理权限全操作行为日志记录登录、图片上传、批量推理、系统配置修改全程留痕3.5 前端个性化界面定制多套主题色自由切换页面布局拖拽调整、组件尺寸自定义检测结果展示面板可自定义显示字段置信度、缺陷面积、大模型分析文本四、核心深度学习代码片段带场景注释4.1 NEU-DET数据集标签转换脚本XML转YOLO TXT# 场景注释工业钢材缺陷数据集专用坐标转换适配NEU-DET原始XML标注解决小裂纹坐标越界问题importosimportxml.etree.ElementTreeasETdefconvert_xml_to_yolo(img_size,box): img_size: (图片宽, 图片高) box: [xmin, xmax, ymin, ymax] 原始像素坐标 return: YOLO归一化中心坐标 x,y,w,h [0~1] dw1.0/img_size[0]dh1.0/img_size[1]x_center(box[0]box[1])/2.0y_center(box[2]box[3])/2.0wbox[1]-box[0]hbox[3]-box[2]# 归一化xx_center*dw yy_center*dh ww*dw hh*dh# 边界截断防止微小裂纹标注超出画面xmax(min(x,1.0),0.0)ymax(min(y,1.0),0.0)wmax(min(w,1.0),0.0)hmax(min(h,1.0),0.0)return(x,y,w,h)# NEU-DET固定6类缺陷映射class_mapping{crazing:0,inclusion:1,patches:2,pitted_surface:3,rolled-in_scale:4,scratches:5}defbatch_convert(xml_dir,output_label_dir):ifnotos.path.exists(output_label_dir):os.makedirs(output_label_dir)forxml_fileinos.listdir(xml_dir):ifnotxml_file.endswith(.xml):continuetreeET.parse(os.path.join(xml_dir,xml_file))roottree.getroot()img_wint(root.find(size/width).text)img_hint(root.find(size/height).text)txt_namexml_file.replace(.xml,.txt)withopen(os.path.join(output_label_dir,txt_name),w,encodingutf-8)asf:forobjinroot.findall(object):cls_nameobj.find(name).textifcls_namenotinclass_mapping:continuecls_idclass_mapping[cls_name]bndboxobj.find(bndbox)xminfloat(bndbox.find(xmin).text)xmaxfloat(bndbox.find(xmax).text)yminfloat(bndbox.find(ymin).text)ymaxfloat(bndbox.find(ymax).text)yolo_boxconvert_xml_to_yolo((img_w,img_h),[xmin,xmax,ymin,ymax])f.write(f{cls_id}{yolo_box[0]}{yolo_box[1]}{yolo_box[2]}{yolo_box[3]}\n)if__name____main__:batch_convert(xml_dir./neu_det/xml,output_label_dir./neu_det/labels/train)4.2 YOLO推理Flask接口对接前端图片检测请求# 场景注释工业Web推理服务GPU加速推理返回缺陷坐标类别置信度同步调用DeepSeek生成诊断文本fromflaskimportFlask,request,jsonifyimporttorchimportbase64fromPILimportImageimportiofromultralyticsimportYOLOimportrequests appFlask(__name__)# 全局预加载模型避免重复初始化耗时工业并发场景性能优化DEVICEcudaiftorch.cuda.is_available()elsecpuMODEL_PATH./weights/neu_det_best.ptmodelYOLO(MODEL_PATH).to(DEVICE)# DeepSeek大模型接口配置DEEPSEEK_API_KEYxxxDEEPSEEK_URLhttps://api.deepseek.com/v1/chat/completionsCLASS_NAME[微裂纹,夹杂物,斑块,麻面,轧入氧化皮,划痕]defllm_analysis(detect_result_list):将YOLO检测结果传入大模型生成工业质检分析建议promptf你是资深钢铁工艺工程师根据以下钢材表面缺陷检测数据给出成因、整改方案与质检判定 检测缺陷列表{detect_result_list}输出要求1.缺陷成因 2.产线整改措施 3.质量等级判定合格/复检/报废headers{Authorization:fBearer{DEEPSEEK_API_KEY},Content-Type:application/json}payload{model:deepseek-chat,messages:[{role:user,content:prompt}],temperature:0.3}resprequests.post(DEEPSEEK_URL,jsonpayload,headersheaders)returnresp.json()[choices][0][message][content]app.route(/api/detect/image,methods[POST])defdetect_image():iffilenotinrequest.files:returnjsonify({code:400,msg:未上传检测图片}),400filerequest.files[file]img_bytesfile.read()pil_imgImage.open(io.BytesIO(img_bytes)).convert(RGB)# YOLO推理resultsmodel(pil_img,conf0.25)resresults[0]detect_data[]forboxinres.boxes:cls_idxint(box.cls.cpu().numpy()[0])conffloat(box.conf.cpu().numpy()[0])xyxybox.xyxy.cpu().numpy()[0].tolist()detect_data.append({defect_type:CLASS_NAME[cls_idx],confidence:round(conf,4),box_xyxy:xyxy})# 调用大模型生成诊断llm_reportllm_analysis(detect_data)iflen(detect_data)0else未检测到钢材表面缺陷质检合格# 编码检测标注图返回前端bufio.BytesIO()res.save(buf)buf.seek(0)img_base64base64.b64encode(buf.read()).decode(utf-8)returnjsonify({code:200,data:{detect_list:detect_data,llm_analysis:llm_report,result_img_base64:img_base64}})if__name____main__:# 工业部署关闭debughost开放局域网访问app.run(host0.0.0.0,port5000,debugFalse)4.3 摄像头实时检测核心推理循环# 场景注释工业相机实时流处理每帧推理缺陷置信度阈值告警适配钢厂产线连续采集importcv2fromultralyticsimportYOLO modelYOLO(./weights/neu_det_best.pt)# 工业相机IDUSB相机填0千兆网口相机填RTSP地址capcv2.VideoCapture(0)cap.set(cv2.CAP_PROP_FRAME_WIDTH,1280)cap.set(cv2.CAP_PROP_FRAME_HEIGHT,720)CONF_THRESHOLD0.3print(工业摄像头实时检测启动按Q退出)whilecap.isOpened():ret,framecap.read()ifnotret:break# 单帧推理predmodel(frame,confCONF_THRESHOLD)[0]plot_framepred.plot()# 存在缺陷弹窗提示iflen(pred.boxes)0:cv2.putText(plot_frame,DEFECT DETECTED,(30,60),cv2.FONT_HERSHEY_SIMPLEX,2,(0,0,255),3)cv2.imshow(Steel Surface Real-Time Detect,plot_frame)ifcv2.waitKey(1)0xFFord(q):breakcap.release()cv2.destroyAllWindows()五、项目完整交付清单标准化NEU-DET钢材缺陷数据集1800张标注图像6类缺陷完整YOLO格式标签训练完成YOLO预训练权重best.pt针对钢材微小裂纹优化训练全栈源码Pytorch推理代码、Flask算法服务、SpringBoot后端、Vue3前端完整工程全套部署文档Windows/Linux环境依赖安装、CUDA显卡加速配置、MySQL初始化脚本、前后端联调步骤多模式检测完整实现代码单图、批量、视频、摄像头实时检测全套逻辑DeepSeek大模型对接封装代码可快速替换其他LLM接口六、适配落地场景钢铁热轧/冷轧车间表面在线质检流水线金属材料实验室板材缺陷抽样检测制造业质量管控部门离线批量工件抽检高校深度学习工业视觉课题实验平台有色金属铝、铜、合金表面缺陷检测二次开发七、增值付费定制服务远程服务器环境部署、模型调试优化完整模型训练全流程线上讲解数据增强、调参、损失优化、精度提升定制化功能开发缺陷尺寸测量、产线PLC对接、缺陷自动分拣联动模型性能调优轻量化推理、TensorRT加速、小目标裂纹检测精度提升多系统集成MES生产管理系统、工厂看板大屏对接开发八、项目拓展优化方向深度思考多尺度特征融合引入CFPNet上下文特征金字塔提升微小裂纹检出率解决钢材低对比度缺陷漏检问题模型轻量化导出ONNX/TensorRT模型适配边缘工控机、嵌入式设备离线检测时序缺陷分析对视频流缺陷做时序统计识别持续性产线故障提前预警设备磨损多模态大模型升级接入图像理解大模型直接输入缺陷图片完成图文同步诊断缺陷分割拓展新增Mask分割分支精准计算缺陷面积、破损占比完善量化质检指标#深度学习 #YOLO目标检测 #工业视觉 #钢材缺陷检测 #NEU-DET #大模型DeepSeek #智能制造 #质检系统 #Pytorch #SpringBoot #Vue3 #计算机视觉 #裂纹检测 #工业AI #全栈项目