制作自己的数据集一.为计算机视觉项目采集图像与视频数据核心要确定三件事定义多少个目标类别、数据从何处获取、如何保证数据集不存在偏差。1.定义多少个目标类别1粗分类车辆、非车辆。2细分类打车、轿车、大巴车、SUV、跑车2.数据从何处获取1公开数据集 2自行采集专属自定义数据相机、无人机拍摄图像与视频网络爬取图片或是调取企业内部已有存量数据3.如何保证数据集不存在偏差当数据集里某类目标、场景样本过少或过多时就会产生数据偏差。存在偏差的模型会在部分样本上检测效果优异在其余样本上表现很差。4.采集数据时可通过以下方法消除偏差1多渠道数据源从多种渠道采集数据覆盖不同拍摄角度与应用场景。2样本均衡分布保证所有相关类别样本数量均衡。以人体检测为例需覆盖不同年龄、性别、人种的人群样本。3持续核查更新定期检查、扩充数据集及时发现并修正新增的数据偏差问题。4偏差缓解手段采用少数类过采样、数据增强、公平性优化算法等技术方案。落实以上操作能够训练出稳定性更强、识别公平性更好的模型在真实落地场景中拥有优秀的泛化能力。二.标注自己的数据集。1.标准统一保持标注口径统一为不同类型的数据设定标准化的标注判定依据确保所有标注都遵循同一套规则。2.降低偏差秉持中立客观的标注原则尽可能弱化主观判断偏差保障标注结果的公允性。3.厘清准确度与精确度的区别以及二者对标注工作的影响至关重要。准确度标注结果与真实值的贴合程度用于衡量标签对真实场景的还原度。精确度标注结果的一致性用于验证整个数据集中对同一目标或特征是否始终遵循统一的标注标准。4.质量控制可通过多种方式开展1对已标注数据进行抽样检查借助自动化工具排查常见标注错误安排人员对标注结果进行交叉复核若项目由多人协作完成标注不同标注人员之间的标注一致性尤为重要。良好的标注者间一致性意味着标注规范清晰明确所有人员都在按同一标准执行既能保证全员认知同步也能保障全量标注结果的标准统一。2核查过程中若发现错误需及时修正并同步更新标注规范避免同类问题重复出现。同时要向标注人员反馈问题定期开展培训逐步降低错误发生率。完善的错误处理流程能够持续保障数据集的准确性与可靠性。