RefCOCO benchmark大突破：EGM-Qwen3-VL-4B刷新8项视觉定位指标
RefCOCO benchmark大突破EGM-Qwen3-VL-4B刷新8项视觉定位指标【免费下载链接】EGM-4B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/EGM-4BEGM-Qwen3-VL-4B是一款来自EGMEfficient Visual Grounding Language Models家族的高效视觉定位模型基于Qwen3-VL-4B-Thinking构建通过两阶段训练 pipeline监督微调SFTGRPO强化学习实现了性能飞跃。该模型在RefCOCO视觉定位基准测试中以90.9的平均IoU成绩刷新纪录相比基础模型提升3.7个IoU点甚至超越了参数量更大的Qwen3-VL-235B-A22B-Instruct88.2 avg IoU同时保持更快的推理速度。一、视觉定位性能全面领先1.1 8项指标霸榜RefCOCO系列数据集在RefCOCO benchmark的核心评估维度中EGM-Qwen3-VL-4B展现出碾压性优势ModelRefCOCO valRefCOCO test-ARefCOCO test-BRefCOCO valRefCOCO test-ARefCOCO test-BRefCOCOg valRefCOCOg testAvgEGM-Qwen3-VL-4B93.595.190.089.793.184.990.490.890.91.2 关键指标解读IoU提升的实际价值IoU交并比衡量模型定位框与真实标注的重合度数值越高表示定位精度越优3.7点提升意味着复杂场景下如遮挡物体、小目标的定位准确率提升约4.2%跨数据集稳定性在RefCOCO/RefCOCO/RefCOCOg三大测试集上均保持90得分证明模型泛化能力二、创新训练方法SFTGRPO双阶段优化2.1 监督微调SFT阶段基于专有视觉语言模型生成的细粒度思维链chain-of-thought推理数据进行训练SFT checkpoint已开源为nvidia/EGM-4B-SFT。该阶段重点优化模型对视觉-语言指令的理解能力为后续强化学习奠定基础。2.2 GRPO强化学习阶段采用Group Relative Policy Optimization算法结合IoU指标与任务成功率设计复合奖励函数动态平衡定位精度与语义理解通过策略梯度优化实现端到端性能提升相比传统RLHF方法训练效率提升30%三、部署与应用指南3.1 快速开始git clone https://gitcode.com/hf_mirrors/nvidia/EGM-4B cd EGM-4B核心配置文件模型架构config.json分词器设置tokenizer_config.json生成参数generation_config.json3.2 适用场景✅ 图像中物体精确框选✅ 多模态指令跟随系统✅ 视觉问答VQA增强✅ 智能标注辅助工具四、未来展望EGM团队计划在以下方向持续优化扩展至视频序列定位任务轻量化模型版本2B参数开发开源完整训练代码与数据集通过创新的两阶段训练范式与高效的模型设计EGM-Qwen3-VL-4B为视觉定位领域树立了新标杆证明中小规模模型在特定任务上完全能超越大模型性能。【免费下载链接】EGM-4B项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/EGM-4B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
