从零搭建自动驾驶训练数据跟着 LMDrive 走通 7 个环节【免费下载链接】LMDrive[CVPR 2024] LMDrive: Closed-Loop End-to-End Driving with Large Language Models项目地址: https://gitcode.com/gh_mirrors/lm/LMDrive想训练一辆由大语言模型驱动的自动驾驶汽车第一道坎往往不在模型本身而在自动驾驶训练数据从哪里来。LMDrive 是 CVPR 2024 的开源项目它把大语言模型装进了端到端驾驶系统同时还自带一条从采集到训练的全自动数据生产线。这篇文章不堆理论只讲实操——我带你以跑通一次完整的数据生产为目标从环境搭建一路走到模型训练把 7 个环节挨个过一遍。先看全景这条数据生产线为什么一环都不能少动手之前先花一分钟看懂上图这条流水线。LMDrive 工作时拿到两样输入一句人类能读懂的导航指令比如下一个路口左转以及车身四周的多视角 RGB 图像和 LiDAR 点云。指令被分词器翻译成序列画面被视觉编码器抽成特征两者汇合后交给大语言模型做推理最终通过适配器输出转向、油门这类控制信号。看到这里你应该明白了模型要学的东西就是指令 感知 → 控制这三者之间的对应关系。所以你要产出的训练数据也必须以同样的结构成对出现。而 CARLA 模拟器恰好能帮你批量制造这种带剧本的驾驶场景——这正是整个数据集构建流程的起点。环节一三分钟备齐工具把采集环境搭起来老规矩先把项目拿到手git clone https://gitcode.com/gh_mirrors/lm/LMDrive cd LMDrive pip install -r requirements.txt紧接着执行一行初始化命令python dataset/init_dir.py它的作用其实特别朴素就是帮你提前建好存放数据的目录骨架for i in range(4): os.mkdir(sub-%d % i) # 建 4 个批次目录sub-0 ~ sub-3 os.mkdir(sub-%d/results % i) # 每个批次里再放一个 results相当于在硬盘上挖好了 8 个收纳格后面采集的原始数据会按批次丢进去不会混在一起。 小贴士建议用虚拟环境装依赖避免和系统里的其他 Python 包打架。装完之后可以先python dataset/init_dir.py再检查一下目录是否真的建出来了确认无误再往下走。环节二圈定路线和场景让 CARLA 按剧本出车数据不是随便跑出来的得先定好去哪条路、遇见什么状况。项目用两个文件来定义采集计划路线文件.xml格式描述车辆在某个城镇里怎么走比如routes_town01_short.xml场景文件.json格式描述路上会插入什么突发情况比如行人穿行、前车急刹对应town01_all_scenarios.json。这两个文件的配对关系写在data_collection/generate_bashs.py里。表格里列出的就是项目预置的几组套餐路线怎么走场景遇什么适用城镇routes_town01_short.xmltown01_all_scenarios.json城镇 01routes_town05_tiny.xmltown05_all_scenarios.json城镇 05routes_town06_long.xmltown06_all_scenarios.json城镇 06想自定义直接改这个脚本往字典里加一组路线 → 场景的映射就行完全不用碰采集主程序。环节三一键生成批量脚本多城镇并行开跑采集计划定好后下一步是把它们批量变成可执行的 shell 脚本python data_collection/generate_batch_collect.py运行后会在batch_run目录下自动生成一堆脚本比如run_route_routes_town01_short.sh一个路线对应一个脚本。想采集哪条路线就执行哪个bash batch_run/run_route_routes_town01_short.sh采集开始后CARLA 里的虚拟车会按既定路线行驶沿途把以下数据一帧一帧地记录下来前、左、右、后四个视角的 RGB 图像LiDAR 点云数据车辆自身的位姿、速度等测量值measurements周围交通参与者的位置信息actors_data红绿灯、停车标志等环境属性affordances。 小贴士第一次跑强烈建议先只选一两条 tiny 路线试水确认整条链路通畅后再放开批量采集否则很容易攒下一堆路径错了才发现的废数据。环节四把四路相机画面缝成一张全景图采集出来的画面是四个独立视角但模型更习惯一张图看全局。tools/data_preprocessing/batch_merge_data.py就是干这个的——把四张图拼成一张 800×2400 的竖版全景图new Image.new(img_front.mode, (800, 2400)) new.paste(img_front, (0, 0)) # 前视第一块 new.paste(img_left, (0, 600)) # 左视第二块 new.paste(img_right, (0, 1200)) # 右视第三块 new.paste(img_rear, (0, 1800)) # 后视第四块看到没有其实就是新建一张大画布四张图依次贴上去。与此同时脚本还会把actors_data和停车标志信息合并进measurements生成一份内容更完整的measurements_full让每一帧的数据都一次配齐。 小贴士这个脚本会读取dataset_index.txt来定位所有路线目录。拼接前先抽查几帧原始图确认四路相机没装反、没黑屏再批量跑能省下不少返工时间。环节五让脚本自动给数据批改作业打标签原始数据只有图像 传感器读数模型还看不懂。它需要知道这一帧我在执行什么指令、该守什么规则。tools/data_parsing目录下的一组脚本就是干这件事的批改老师parse_instruction.py解析导航指令比如把下个路口左转拆成结构化指令follow_rules.py/turn_rules.py识别跟车、转弯场景下的驾驶规则parse_notice.py/parse_misleading.py处理提示信息与容易误导驾驶员的场景。最终产出的标注数据大致长这样已精简{ timestamp: 1620000000, position: {x: 100.0, y: 200.0, z: 0.0}, velocity: {x: 10.0, y: 0.0, z: 0.0}, stop_sign: true } 小贴士标注脚本是规则驱动的跑完记得抽样对比人工判断 vs 脚本结果确认它对特殊场景环岛、无信号灯路口的判断也靠谱再整批应用。环节六用统计脚本筛出垃圾数据守住质量底线数据量大不代表数据好。采集过程中难免混入被前车完全挡住视野的帧、传感器异常的数据这些垃圾如果不筛掉会直接污染训练。tools/data_preprocessing下有两兄弟专门管这事batch_stat_blocked_data.py先做体检统计哪些路线、哪些帧存在被遮挡等异常情况batch_rm_blocked_data.py根据体检结果批量移除有问题的数据。推荐顺序是先统计、后删除先跑统计脚本拿到一份问题清单人工确认无误再执行删除。删完之后还可以配合LAVIS/app/dataset_browser.py这类可视化工具像翻相册一样逐帧抽查拼接图和标注是否正常。 小贴士删除是不可逆操作动手前务必先备份一份dataset_index.txt。养成先统计、后删除、再抽查的习惯你的数据集质量会稳定很多。环节七把数据集喂进模型跑通训练与评估数据准备妥当终于到了收获时刻。训练的入口配置文件在lavis/projects/lmdrive/drivegpt.yaml你只需要在文件里把数据集路径、模型参数改成自己的实际值python train.py --cfg lavis/projects/lmdrive/drivegpt.yaml训练完成后再用评估脚本看看模型的闭环表现python evaluate.py --cfg lavis/projects/lmdrive/drivegpt.yaml 小贴士第一次训练先把 batch size 调小、只加载一小部分数据目的是验证数据加载、模型前向、loss 计算这条链路能正常跑通。确认没问题再调大配置正式训练能帮你省下排查数据格式错误的大量时间。写在最后下一步你可以做什么回到开头那句话自动驾驶训练数据这道坎LMDrive 已经帮你铺好了路。它把采集 → 拼接 → 标注 → 清洗 → 训练串成了一条可以反复跑通的流水线你要做的只是理解每个环节在干什么然后按自己的需求去调整。下一步的玩法其实很多在generate_bashs.py里扩充更多城镇和长路线让数据覆盖更多路况调整场景配置引入雨天、夜间等天气变化或者基于已清洗的数据做一次消融实验看看不同数据量对模型闭环表现的影响。每多走一步你对数据如何决定模型上限的理解就会深一层——现在先从跑通一条 tiny 路线开始吧。【免费下载链接】LMDrive[CVPR 2024] LMDrive: Closed-Loop End-to-End Driving with Large Language Models项目地址: https://gitcode.com/gh_mirrors/lm/LMDrive创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考