YOLO-World 零样本目标检测指南输入一句话识别任意物体10分钟跑通实时开放词汇检测【免费下载链接】YOLO-World[CVPR 2024] Real-Time Open-Vocabulary Object Detection项目地址: https://gitcode.com/gh_mirrors/yo/YOLO-World想让目标检测器认识从没见过的新东西传统做法是准备几百张标注图、再跑几天训练。而 YOLO-WorldCVPR 2024把这个过程压缩成了一句话在命令行里输入红色雨伞、戴眼镜的程序员、桌角的绿植模型立刻开始检测——零样本、免训练、保持实时。这篇指南从安装、推理到微调部署带你完整走一遍。换个思路与其一次次重训不如教会模型听话先看一个再普通不过的需求产品图里要识别带划痕的手机屏幕。按传统 YOLO 的流程你要走完——收集几百张图片、逐张标注、调参、训练、验证、上线一套下来少则一两天多则一两周。更要命的是每新增一个类这套流程就要原封不动重跑一遍。更真实的困境是很多需求根本不给你准备数据的时间。客户凌晨两点发来消息帮我把监控视频里背蓝色书包的人找出来明早就要结果。传统检测器此刻无能为力因为它的类别清单里根本没有背蓝色书包的人。这暴露了传统目标检测的硬编码本质类别被写死在模型里模型只认它见过的东西。而 YOLO-World 的诞生恰恰是要打破这堵墙。检测器的世界不该被标注框圈死而该由一句话打开。一句话价值声明把训练一个新类变成输入一个词YOLO-World 是 CVPR 2024 的明星工作它的核心价值可以浓缩成一句让 YOLO 级别的实时检测器获得开放词汇能力——你输入任意自然语言短语它就能在图像中找到对应物体全程零样本、无需重新训练。这里说的开放词汇Open-Vocabulary是指模型不再受固定类别清单限制而是通过大规模图文数据预训练学会了词汇与视觉概念之间的对应关系。听起来很玄其实就像教孩子认东西传统方法是给他看 1000 张苹果的照片而开放词汇的方法是让他先理解苹果这个词之后无论什么场景里的苹果他都能一眼认出来。项目的三个抓人亮点先睹为快⚡零样本检测模型从没见过智能手表的训练数据没关系它听得懂这个词就够了直接在图上给你框出来。提示即检测Prompt-then-Detect用逗号分隔的短语当作提示输入即可检测更妙的是提示还能被固化进模型参数让推理速度再上一个台阶。一条流水线通吃检测、分割、微调、ONNX/TFLite 导出官方工具链一次配齐从实验到落地不用换框架。维度传统 YOLOYOLO-World新增一个类别重新标注 重新训练输入一个词立即可用所需训练数据每类数百到数千张零样本直接推理冷启动时间数天到数周约 5 分钟推理速度实时同样实时S 版 60 FPS最大的升级不是更快而是让你从给数据打工变成给模型下指令。动手实操10 分钟跑通你的第一行检测命令听起来不错那我们现在就上手。先把项目拉到本地git clone https://gitcode.com/gh_mirrors/yo/YOLO-World cd YOLO-World然后安装基础依赖项目基于 PyTorch 生态的 mmdetection 构建装好就能跑pip install -r requirements/basic_requirements.txt # 如果你还想玩网页版 Gradio 界面 pip install -r requirements/demo_requirements.txt下载预训练权重比如 v2-S 版本存放在weights/目录下接着用仓库自带的示例图片做第一次检测——注意看最后那个参数它就是你要教模型的语言提示python demo/image_demo.py \ configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth \ demo/sample_images/bus.jpg \ bus,person,car,bicycle \ --output-dir results命令的魔法就在最后一行我们告诉模型在街景图里找公交车、人、汽车、自行车它不需要任何额外训练直接返回带框标注的结果图仅靠一行文本提示YOLO-World 就完成了对未见类别的零样本检测想用图形界面一条命令启动 Gradio 网页pip install gradio4.16.0 python demo/gradio_demo.py configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth浏览器打开http://localhost:7860上传任意图片、输入任意描述就能边玩边验证。想批量处理图片或视频把image_demo.py换成video_demo.py把图片路径换成视频路径即可。版本怎么选官方提供了从 S 到 XL 的完整梯队按你的硬件和精度需求对号入座模型输入分辨率精度LVIS minival AP适合场景YOLO-World-v2-S64022.7移动端、边缘设备追求速度YOLO-World-v2-M64030.0平衡型应用YOLO-World-v2-L64033.0高精度业务场景YOLO-World-v2-X640 / 128035.4 / 37.4专业级应用、小目标密集场景从克隆到出第一张检测图实际花费不到 10 分钟——这大概是训练一个类所需时间的万分之一。原理拆解它凭什么听得懂人话拆开看看既然这么好用那它到底是怎么做到的挑两个最关键也最好懂的机制来讲。机制一视觉与语言在同一张地图上对齐。传统 YOLO 只有图像一路输入类别名只是训练时的编号YOLO-World 则给模型装了一个文本翻译官文本编码器把你输入的短语变成一串向量embedding再通过一个视觉-语言融合模块Vision-Language PAN让图像特征和文本向量在同一个空间里做相似度匹配。文本描述越贴切匹配分越高物体就被认出来了。图像特征与文本嵌入在视觉-语言 PAN 中融合实现区域-文本匹配机制二重参数化——把提词器装进脑子里。常规做法里每次推理都要在线计算文本嵌入就像演员上台前还要翻一遍台词本。YOLO-World 的重参数化技术则把文本嵌入直接烙成网络参数——比如把最后的分类层变成一张简单的 1×1 卷积表推理时不再需要任何文本计算。左侧是文本嵌入作为输入右侧是重参数化后文本嵌入作为参数省去了在线计算开销带来的收益非常直接省去矩阵转置与乘法、显存占用下降推理速度提升 30% 以上还让 ONNX、TensorRT 等部署框架的优化空间大幅增加。更关键的是——重参数化之后的模型依然保留零样本能力不是变成普通检测器而是更高效的开放词汇检测器。一句话总结原理先让模型听懂词再把听懂的本事焊进参数里。场景落地从商场到工厂三个真实案例看价值场景一零售门店行为分析。想分析顾客动线把行为描述当成提示输入就行视频级的实时检测完全扛得住# 把行为短语作为开放词汇提示送入视频检测 categories [ person looking at clothes, person holding shopping bag, staff assisting customer ] # 对应命令python demo/video_demo.py config weights store.mp4 person looking at clothes,person holding shopping bag,staff assisting customer --out result.mp4场景二工业质检与缺陷发现。把划痕色差缺件当作可检测的类不需要为每一种缺陷单独训练模型def detect_defects(image_path): defect_types [ scratch on surface, crack in material, discoloration, missing component ] # 调用 image_demo 或 Python API用 defect_types 作为文本提示 # 阈值调到 0.3 左右可以捕获更多潜在缺陷 return run_yoloworld(image_path, defect_types, threshold0.3)场景三从检测进阶到分割。你以为只能出框项目还提供了开放词汇分割模型 YOLO-World-Seg能输出像素级掩码检测分割一步到位在人物密集的复杂场景中YOLO-World 同样能给出精确的检测与分割结果如果业务场景离通用领域较远也别急着放弃——官方提供了成熟的微调路线甚至1 张 GPU、80 个 epoch 就能看到明显效果对比常规预训练动辄 32 卡起步四种策略覆盖从零样本到领域定制的全谱系根据业务需求选择微调路径通用场景用常规微调特定领域用重参数化微调同一套模型今天管门店、明天管产线、后天管内容审核——这才是开放词汇四个字的真正含金量。避坑指南新手最容易踩的 4 个坑报错Failed to custom import!十有八九是PYTHONPATH没设对。运行前先执行PYTHONPATH./再跑 demo 脚本即可。导出 ONNX 报einsum not supported项目默认用了einsum算子opset 11 不支持。把--opset提到 12或在配置里把use_einsum设为False。检测结果太少先检查提示词——用红色跑车而不是车描述越具体匹配越准同时把--threshold从默认 0.1 降到 0.005 左右能召回更多低置信度目标。权重找不到下载地址都汇总在仓库 README 的 Model Zoo 表格里注意和配置文件一一对应别拿 S 版配置配 L 版权重。记住一个原则YOLO-World 的类是动态的报错往往不在模型而在提示词和环境变量。行动号召现在就动手从一张图开始你的零样本之旅你不需要等数据、等标注、等显卡现在就能开始跑通 demo克隆仓库 → 装依赖 → 用image_demo.py测你自己的图片体验输入一句话、输出检测框。玩转网页版启动 Gradio 界面把生活里的照片丢进去试试各种奇奇怪怪的描述。按需深入要定制业务模型看微调指南要上线部署看部署文档和 ONNX/TFLite 导出想榨干速度研究重参数化更多样例代码在 demo/ 和 deploy/ 目录里。最有意思的测试是随便拿一张你没标注过的照片输入一个你临时想到的词——当模型真的框出那个物体时你会真切感受到目标检测从标注时代走进了语言时代。最好的学习方式永远是动手。现在就去 clone 项目用一句话告诉模型你想找什么吧【免费下载链接】YOLO-World[CVPR 2024] Real-Time Open-Vocabulary Object Detection项目地址: https://gitcode.com/gh_mirrors/yo/YOLO-World创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 YOLO-World 零样本目标检测指南：输入一句话识别任意物体，10分钟跑通实时开放词汇检测
YOLO-World 零样本目标检测指南输入一句话识别任意物体10分钟跑通实时开放词汇检测【免费下载链接】YOLO-World[CVPR 2024] Real-Time Open-Vocabulary Object Detection项目地址: https://gitcode.com/gh_mirrors/yo/YOLO-World想让目标检测器认识从没见过的新东西传统做法是准备几百张标注图、再跑几天训练。而 YOLO-WorldCVPR 2024把这个过程压缩成了一句话在命令行里输入红色雨伞、戴眼镜的程序员、桌角的绿植模型立刻开始检测——零样本、免训练、保持实时。这篇指南从安装、推理到微调部署带你完整走一遍。换个思路与其一次次重训不如教会模型听话先看一个再普通不过的需求产品图里要识别带划痕的手机屏幕。按传统 YOLO 的流程你要走完——收集几百张图片、逐张标注、调参、训练、验证、上线一套下来少则一两天多则一两周。更要命的是每新增一个类这套流程就要原封不动重跑一遍。更真实的困境是很多需求根本不给你准备数据的时间。客户凌晨两点发来消息帮我把监控视频里背蓝色书包的人找出来明早就要结果。传统检测器此刻无能为力因为它的类别清单里根本没有背蓝色书包的人。这暴露了传统目标检测的硬编码本质类别被写死在模型里模型只认它见过的东西。而 YOLO-World 的诞生恰恰是要打破这堵墙。检测器的世界不该被标注框圈死而该由一句话打开。一句话价值声明把训练一个新类变成输入一个词YOLO-World 是 CVPR 2024 的明星工作它的核心价值可以浓缩成一句让 YOLO 级别的实时检测器获得开放词汇能力——你输入任意自然语言短语它就能在图像中找到对应物体全程零样本、无需重新训练。这里说的开放词汇Open-Vocabulary是指模型不再受固定类别清单限制而是通过大规模图文数据预训练学会了词汇与视觉概念之间的对应关系。听起来很玄其实就像教孩子认东西传统方法是给他看 1000 张苹果的照片而开放词汇的方法是让他先理解苹果这个词之后无论什么场景里的苹果他都能一眼认出来。项目的三个抓人亮点先睹为快⚡零样本检测模型从没见过智能手表的训练数据没关系它听得懂这个词就够了直接在图上给你框出来。提示即检测Prompt-then-Detect用逗号分隔的短语当作提示输入即可检测更妙的是提示还能被固化进模型参数让推理速度再上一个台阶。一条流水线通吃检测、分割、微调、ONNX/TFLite 导出官方工具链一次配齐从实验到落地不用换框架。维度传统 YOLOYOLO-World新增一个类别重新标注 重新训练输入一个词立即可用所需训练数据每类数百到数千张零样本直接推理冷启动时间数天到数周约 5 分钟推理速度实时同样实时S 版 60 FPS最大的升级不是更快而是让你从给数据打工变成给模型下指令。动手实操10 分钟跑通你的第一行检测命令听起来不错那我们现在就上手。先把项目拉到本地git clone https://gitcode.com/gh_mirrors/yo/YOLO-World cd YOLO-World然后安装基础依赖项目基于 PyTorch 生态的 mmdetection 构建装好就能跑pip install -r requirements/basic_requirements.txt # 如果你还想玩网页版 Gradio 界面 pip install -r requirements/demo_requirements.txt下载预训练权重比如 v2-S 版本存放在weights/目录下接着用仓库自带的示例图片做第一次检测——注意看最后那个参数它就是你要教模型的语言提示python demo/image_demo.py \ configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth \ demo/sample_images/bus.jpg \ bus,person,car,bicycle \ --output-dir results命令的魔法就在最后一行我们告诉模型在街景图里找公交车、人、汽车、自行车它不需要任何额外训练直接返回带框标注的结果图仅靠一行文本提示YOLO-World 就完成了对未见类别的零样本检测想用图形界面一条命令启动 Gradio 网页pip install gradio4.16.0 python demo/gradio_demo.py configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth浏览器打开http://localhost:7860上传任意图片、输入任意描述就能边玩边验证。想批量处理图片或视频把image_demo.py换成video_demo.py把图片路径换成视频路径即可。版本怎么选官方提供了从 S 到 XL 的完整梯队按你的硬件和精度需求对号入座模型输入分辨率精度LVIS minival AP适合场景YOLO-World-v2-S64022.7移动端、边缘设备追求速度YOLO-World-v2-M64030.0平衡型应用YOLO-World-v2-L64033.0高精度业务场景YOLO-World-v2-X640 / 128035.4 / 37.4专业级应用、小目标密集场景从克隆到出第一张检测图实际花费不到 10 分钟——这大概是训练一个类所需时间的万分之一。原理拆解它凭什么听得懂人话拆开看看既然这么好用那它到底是怎么做到的挑两个最关键也最好懂的机制来讲。机制一视觉与语言在同一张地图上对齐。传统 YOLO 只有图像一路输入类别名只是训练时的编号YOLO-World 则给模型装了一个文本翻译官文本编码器把你输入的短语变成一串向量embedding再通过一个视觉-语言融合模块Vision-Language PAN让图像特征和文本向量在同一个空间里做相似度匹配。文本描述越贴切匹配分越高物体就被认出来了。图像特征与文本嵌入在视觉-语言 PAN 中融合实现区域-文本匹配机制二重参数化——把提词器装进脑子里。常规做法里每次推理都要在线计算文本嵌入就像演员上台前还要翻一遍台词本。YOLO-World 的重参数化技术则把文本嵌入直接烙成网络参数——比如把最后的分类层变成一张简单的 1×1 卷积表推理时不再需要任何文本计算。左侧是文本嵌入作为输入右侧是重参数化后文本嵌入作为参数省去了在线计算开销带来的收益非常直接省去矩阵转置与乘法、显存占用下降推理速度提升 30% 以上还让 ONNX、TensorRT 等部署框架的优化空间大幅增加。更关键的是——重参数化之后的模型依然保留零样本能力不是变成普通检测器而是更高效的开放词汇检测器。一句话总结原理先让模型听懂词再把听懂的本事焊进参数里。场景落地从商场到工厂三个真实案例看价值场景一零售门店行为分析。想分析顾客动线把行为描述当成提示输入就行视频级的实时检测完全扛得住# 把行为短语作为开放词汇提示送入视频检测 categories [ person looking at clothes, person holding shopping bag, staff assisting customer ] # 对应命令python demo/video_demo.py config weights store.mp4 person looking at clothes,person holding shopping bag,staff assisting customer --out result.mp4场景二工业质检与缺陷发现。把划痕色差缺件当作可检测的类不需要为每一种缺陷单独训练模型def detect_defects(image_path): defect_types [ scratch on surface, crack in material, discoloration, missing component ] # 调用 image_demo 或 Python API用 defect_types 作为文本提示 # 阈值调到 0.3 左右可以捕获更多潜在缺陷 return run_yoloworld(image_path, defect_types, threshold0.3)场景三从检测进阶到分割。你以为只能出框项目还提供了开放词汇分割模型 YOLO-World-Seg能输出像素级掩码检测分割一步到位在人物密集的复杂场景中YOLO-World 同样能给出精确的检测与分割结果如果业务场景离通用领域较远也别急着放弃——官方提供了成熟的微调路线甚至1 张 GPU、80 个 epoch 就能看到明显效果对比常规预训练动辄 32 卡起步四种策略覆盖从零样本到领域定制的全谱系根据业务需求选择微调路径通用场景用常规微调特定领域用重参数化微调同一套模型今天管门店、明天管产线、后天管内容审核——这才是开放词汇四个字的真正含金量。避坑指南新手最容易踩的 4 个坑报错Failed to custom import!十有八九是PYTHONPATH没设对。运行前先执行PYTHONPATH./再跑 demo 脚本即可。导出 ONNX 报einsum not supported项目默认用了einsum算子opset 11 不支持。把--opset提到 12或在配置里把use_einsum设为False。检测结果太少先检查提示词——用红色跑车而不是车描述越具体匹配越准同时把--threshold从默认 0.1 降到 0.005 左右能召回更多低置信度目标。权重找不到下载地址都汇总在仓库 README 的 Model Zoo 表格里注意和配置文件一一对应别拿 S 版配置配 L 版权重。记住一个原则YOLO-World 的类是动态的报错往往不在模型而在提示词和环境变量。行动号召现在就动手从一张图开始你的零样本之旅你不需要等数据、等标注、等显卡现在就能开始跑通 demo克隆仓库 → 装依赖 → 用image_demo.py测你自己的图片体验输入一句话、输出检测框。玩转网页版启动 Gradio 界面把生活里的照片丢进去试试各种奇奇怪怪的描述。按需深入要定制业务模型看微调指南要上线部署看部署文档和 ONNX/TFLite 导出想榨干速度研究重参数化更多样例代码在 demo/ 和 deploy/ 目录里。最有意思的测试是随便拿一张你没标注过的照片输入一个你临时想到的词——当模型真的框出那个物体时你会真切感受到目标检测从标注时代走进了语言时代。最好的学习方式永远是动手。现在就去 clone 项目用一句话告诉模型你想找什么吧【免费下载链接】YOLO-World[CVPR 2024] Real-Time Open-Vocabulary Object Detection项目地址: https://gitcode.com/gh_mirrors/yo/YOLO-World创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考