如何让目标检测器听懂人话YOLO-World开放词汇实时检测4步实战攻略【免费下载链接】YOLO-World[CVPR 2024] Real-Time Open-Vocabulary Object Detection项目地址: https://gitcode.com/gh_mirrors/yo/YOLO-World你是否幻想过这样的场景对着电脑说一句帮我从三千张旅行照片里圈出所有戴红帽子的游客程序立刻把所有目标框出来来自CVPR 2024的YOLO-World正是为此而生。这是一款开放词汇目标检测框架它最大的价值在于你不需要为每个新物体准备标注数据、重新训练模型只需用一句话描述目标它就能在图像中实时完成定位。传统检测器只会背一份写死的类别清单而 YOLO-World 学会了听人话。从一场翻照片翻到手酸的整理说起设想一个再普通不过的周末你把相机里攒了一年的几百张照片导进电脑想挑出所有正在吃冰淇淋的小孩发朋友圈。你一张张翻、一张张看眼睛快花了还是怕漏掉。更气人的是照片管理软件里的人物搜索只能按脸找人搜冰淇淋这种概念根本没戏。这个痛点的根源不在照片软件而在它背后的视觉模型——绝大多数目标检测器只会识别训练时见过的那几十个固定类别。你想搜的冰淇淋红帽子正在比耶的人根本不在它的词库里。传统检测器为何认死理一张写死的类别清单先看传统方案的工作方式一个典型的检测模型在训练阶段会看到一批图片 类别标签的数据比如 COCO 数据集里标注了 person、bus、dog 等 80 个类别。模型的任务就是把这 80 个类别的名字背熟。想加一个类别请先标注几千张新图片想换一个领域请把标注、训练、调参流程再走一遍想识别正在喝咖啡的程序员这种复合描述抱歉类别清单里没有。整个过程又慢又贵普通人根本负担不起。这就是写死的词典词典里没有的词模型永远不认识。YOLO-World 的新思路先点名再找物YOLO-World 由腾讯 AI Lab 与华中科技大学联合提出并入选 CVPR 2024。它的核心范式叫prompt-then-detect先提示后检测——你先把要检测的东西点名用文字或图片提示模型再去图中找物。听起来简单实现起来却需要一次架构级的改造。看下面的架构图图像经过 YOLO 骨干网络提取多尺度视觉特征与此同时用户输入的类别词比如manwomandog会送入文本编码器变成文本嵌入随后视觉特征与文本嵌入在视觉-语言 PAN 网络RepVL-PAN中完成融合最后由检测头输出哪个区域对应哪个词的匹配结果。为了让模型认识足够多的词YOLO-World 在预训练阶段吃下了海量数据Object365大规模检测数据GoldG图文指代数据CC3M-Lite图文配对数据。经过这样的训练模型学会了把文字概念和视觉形态对应起来——哪怕某个词在训练中没见过几次它也能根据语义联想出目标长什么样。而到了部署阶段YOLO-World 会把你的词表烙进模型参数里推理时不再需要额外的文本编码过程这也是它能保持 YOLO 系列实时性的关键。第一关把运行环境搭起来约 10 分钟动手之前先把仓库克隆到本地仓库地址https://gitcode.com/gh_mirrors/yo/YOLO-Worldgit clone --recursive https://gitcode.com/gh_mirrors/yo/YOLO-World cd YOLO-World然后是依赖安装。项目把依赖按用途拆分成了三份清单你可以按需安装清单文件包含内容适用场景requirements/basic_requirements.txtmmcv、mmdet、mmyolo、transformers 等核心依赖训练、推理、微调requirements/demo_requirements.txtgradio、supervision 等网页演示与结果可视化requirements/onnx_requirements.txtonnx 相关工具链导出 ONNX 模型做部署基础环境通常这样装pip install -r requirements/basic_requirements.txt pip install -e .项目支持 Python 3.7 到 3.11核心运行库为 PyTorch mmdetection 3.0 mmyolo 0.6。如果你只想先跑通演示可以只装基础清单加演示清单不必一次性装齐全部。第二关让模型听见你的第一句话环境就绪后还差一件东西——预训练权重。权重文件并不在仓库里需要从项目 Model Zoo模型库表格中下载对应版本放入weights/目录。然后运行官方提供的图片推理脚本向模型下达第一条指令python demo/image_demo.py \ configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth \ demo/sample_images/bus.jpg \ bus,person,car,bicycle \ --output-dir results我们要求模型在示例图片中寻找公交车、人、汽车、自行车四类目标结果会连同置信度标注一起保存到results/目录这里有几个值得记住的参数text第四个位置参数类别用英文逗号分隔如果类别很多也可以改成xxx.txt文件路径每行写一个类别--topk最多保留多少条预测默认 100--threshold置信度阈值调低能召回更多目标但也会混入误检--output-dir结果输出目录图片路径既可以填单张图片也可以填一个目录脚本会批量处理其中所有 jpg/png。第三关从单张图片到网页和视频单张图片不过瘾项目还提供了三种更带感的打开方式。网页交互Gradio。装好requirements/demo_requirements.txt后运行python demo/gradio_demo.py \ configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth浏览器打开http://localhost:7860你就可以上传任意图片、输入任意文字实时看到检测结果——这是体验零样本能力最直观的方式。视频推理。想把监控视频或拍摄片段变成实时字幕解说用video_demo.pypython demo/video_demo.py \ configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py \ weights/yolo_world_v2_s_obj365v1_goldg_pretrain.pth \ your_video.mp4 person,car --out result.mp4Jupyter 交互。喜欢边写边看的朋友可以直接打开demo/inference.ipynb逐格运行。小技巧当你想检测复合概念时把描述写得越具体越好。比如戴眼镜的老人通常比人的检出更精准——因为 YOLO-World 的文本编码器会为你这句话生成更贴近目标的语义特征。第四关挑对模型不同任务不同解YOLO-World 提供了从轻到重的多个版本覆盖不同算力与精度需求下表精度为 LVIS minival 上的零样本检测 AP模型输入分辨率零样本 AP一句话点评YOLO-World-v2-S640×64022.7轻量适合边缘设备与快速验证YOLO-World-v2-M640×64030.0速度与精度的均衡点YOLO-World-v2-L640×64033.0高精度首选另有 CLIP-Large 文本编码器增强版YOLO-World-v2-X640×64035.4大模型精度天花板YOLO-World-v2-XL640×64036.0更大更强适合离线高要求任务另外注意每个规格几乎都提供1280×1280 高分辨率微调版专治小物体。比如 S 版从 640 提到 1280 后AP 从 22.7 涨到 24.1X 版 1280 更是达到 37.4。如果你的图片里小目标居多比如无人机航拍、货架盘点优先选高分辨率版本。速度方面完全不用焦虑论文在 T4 GPU 上用 TensorRT FP16 加速S/M/L 三档都能跑出每秒 2050 帧的成绩属于标准的实时级别直接拿去处理视频流没有压力。进阶一零样本不够用三条微调路线怎么选零样本很酷但如果你要做的是某个特定领域比如自己工厂的瑕疵检测、自家门店的商品识别对通用模型微调一遍效果会更稳。项目官方给出了三条路线对应不同数据量和需求路线需要多少数据适合场景代价与注意点零样本推理0通用场景、快速验证最省事直接用常规微调Normal充足几百张起通用场景、想提升精度数据太少会忘掉零样本能力提示调优Prompt Tuning很少几十张数据不足、又想保持开放词汇能力只调少量参数轻量高效重参数化微调Reparameterized按需与通用场景差异大的专属领域可独立优化 neck 与 head效率更高好消息是微调成本远比预训练低官方明确说 1 张 GPU 就够用80 个 epoch 甚至更少即可完全不需要复刻预训练时的 32 卡集群。所有微调示例配置都放在configs/finetune_coco/目录照着改数据集路径就能跑文本清单如data/texts/coco_class_texts.json里定义了你希望模型认识的类别词。想深入了解官方文档给出了详细指引docs/finetuning.md常规微调、docs/prompt_yolo_world.md提示调优、docs/reparameterize.md重参数化微调。进阶二把词表烙进模型推理再提速重参数化值得单独说一说它是 YOLO-World 效率的秘密武器。看下面的对比传统做法把文本嵌入当作输入推理时要做转置与矩阵乘法来匹配文本和图像特征而重参数化把文本嵌入直接转成分类层里的一个1×1 卷积参数图像特征路过这层卷积就完成了分类。好处是实实在在的结构更简单conv1x1比转置加矩阵乘快得多显存占用更低而且因为 neck 和 head 不再依赖文本嵌入微调时可以只优化这两个模块训练效率也上去了。官方在 COCO 上的实验显示重参数化微调能拿到 46.3 AP比常规微调46.1 AP还略高一筹。仓库里提供了现成的转换工具tools/reparameterize_yoloworld.py以及配套配置configs/finetune_coco/yolo_world_v2_s_rep_vlpan_bn_2e-4_80e_8gpus_mask-refine_finetune_coco.py照文档跑一遍就能把模型固话成你的专属版本。从检测到分割YOLO-World-Seg 与落地部署如果你的需求不止于框出来还想要像素级轮廓项目贴心地提供了YOLO-World-Seg分割扩展。它基于 YOLO-World 的开放词汇能力额外输出实例掩码——比如让模型去找穿西装的男人它不仅能框住人还能把人形的轮廓完整抠出来分割模型的配置文件在configs/segmentation/目录推理方式与检测版完全一致只是结果里多了掩码可视化。落地部署方面项目也铺好了路deploy/export_onnx.py负责导出 ONNX 模型配合deploy/easydeploy/可以转成 TensorRT 引擎进一步加速移动端则有 TFLite 导出方案还支持 INT8 量化压缩体积见 docs/tflite_deploy.md。从云端服务到手机 App都有对应的落地方案。现在轮到你了从翻照片翻到手酸到一句话搞定检测YOLO-World 把开放词汇目标检测从论文带到了普通开发者的终端。它不需要你标注数据、不需要你调参数月唯一要做的就是把你想要的东西说得更清楚一点。建议的下一步行动先跑通第二关的图片推理换你自己的照片试试——用具体描述比如red umbrellaperson wearing glasses再开一个 Gradio 演示拖几张图、打几个词感受即点即测的乐趣如果效果满意就顺着第四关的模型表格选一个更合适的规格或按进阶一的路线对自有数据做微调遇到问题先翻 docs/faq.md 和demo/README.md大多数坑官方都有答案。想深入源码的话核心实现都集中在yolo_world/models/目录detectors/yolo_world.py是模型主体necks/yolo_world_pafpn.py是视觉-语言融合网络dense_heads/yolo_world_head.py是检测头。读代码是理解先点名、再找物最直接的方式。最好的学习方法永远是动手。现在就去克隆仓库给你的检测器装上那双会读文字的眼睛吧。【免费下载链接】YOLO-World[CVPR 2024] Real-Time Open-Vocabulary Object Detection项目地址: https://gitcode.com/gh_mirrors/yo/YOLO-World创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考