SEA-RAFT使用指南Spring、KITTI、Sintel三大基准本地评测与榜单提交流程全解【免费下载链接】SEA-RAFT[ECCV2024 - Oral, Best Paper Award Candidate] SEA-RAFT: Simple, Efficient, Accurate RAFT for Optical Flow项目地址: https://gitcode.com/gh_mirrors/se/SEA-RAFTSEA-RAFT 光流估计工具库ECCV 2024 Oral、最佳论文候选来了这篇完整指南带你从零搭好环境在Spring、KITTI、Sintel三大光流基准上完成本地评测并把结果提交到官方榜单——附带自定义图像推理与不确定性可视化的最快上手方法新手也能一次跑通。认识 SEA-RAFT简单、高效、更准的光流 RAFTSEA-RAFT 是在经典 RAFT 架构上做了三项关键改进的光流估计方法拉普拉斯混合损失训练更稳、误差更低直接回归初始光流迭代收敛更快推理速度提升 2.3 倍以上刚体运动预训练跨数据集泛化能力更强在 Spring 基准上取得3.69 EPE / 0.36 1px的当时最佳成绩相比已有最佳方法误差降低约 22.9% / 17.8%。一键环境搭建克隆仓库与权重下载第 1 步克隆代码仓库git clone https://gitcode.com/gh_mirrors/se/SEA-RAFT cd SEA-RAFT第 2 步创建 Python 环境官方开发环境为 PyTorch 2.2.0 CUDA 12.2 Python 3.10conda create --name SEA-RAFT python3.10.13 conda activate SEA-RAFT pip install -r requirements.txt第 3 步下载预训练模型权重模型存放在models/目录下官方提供 Google Drive 与 HuggingFace 两种渠道链接见项目 README 中的 Model Zoo 部分下载后将.pth权重放进仓库根目录的models/文件夹即可。自定义图像演示30 秒看懂光流输出不用准备基准数据集先用仓库自带的两帧示例图体验一下完整推理流程入口文件是 custom.pypython custom.py --cfg config/eval/spring-M.json --path models/Tartan-C-T-TSKH-spring540x960-M.pth运行后会在custom/目录生成两张结果图彩色光流场和不确定性热力图——暖色区域表示模型没把握的像素 也可以把--path换成--url参数直接从 HuggingFace 拉取权重无需手动下载。Spring、KITTI、Sintel 三大基准本地评测一条命令出分评测入口是 evaluate.py官方脚本 scripts/eval.sh 已写好三套命令cfg 配置 对应权重一一配对即可# 评测 Spring 基准 python evaluate.py --cfg config/eval/spring-M.json --model models/Tartan-C-T-TSKH-spring540x960-M.pth # 评测 Sintel 基准 python evaluate.py --cfg config/eval/sintel-M.json --model models/Tartan-C-T-TSKH432x960-M.pth # 评测 KITTI 基准 python evaluate.py --cfg config/eval/kitti-M.json --model models/Tartan-C-T-TSKH-kitti432x960-M.pth评测前请把数据集放到仓库根目录的datasets/下不存在就建软链接官方约定的目录结构├── datasets ├── Sintel ├── KITTI ├── Spring └── TartanAir各基准输出指标速查基准数据集划分输出指标SpringvalEPE、1px / 3px / 5px 外点率Sinteltrainingclean finalEPE、1px 外点率KITTItrainingEPE、F15% 外点率配置文件的差异在config/eval/下按基准命名如 config/eval/spring-M.json 中可看到 Spring 专用参数图像尺寸540×960、迭代次数iters4、以及启用不确定度建模的use_var: true。榜单提交流程submission.py 生成官方格式文件本地分数满意后即可向公开榜单提交。入口文件 submission.py 与评测命令完全同构只需把evaluate.py换成submission.py# 生成 Spring 榜单提交文件 python submission.py --cfg config/eval/spring-M.json --model models/Tartan-C-T-TSKH-spring540x960-M.pth # 生成 Sintel 榜单提交文件 python submission.py --cfg config/eval/sintel-M.json --model models/Tartan-C-T-TSKH432x960-M.pth # 生成 KITTI 榜单提交文件 python submission.py --cfg config/eval/kitti-M.json --model models/Tartan-C-T-TSKH-kitti432x960-M.pth生成逻辑由 submission.py 中三个函数分别负责输出目录位于项目根目录的上级../spring_submission按场景/flow_方向_相机组织每帧输出.flo5文件 可视化 PNG../sintel_submission按clean/final两个子集划分每帧输出frame%04d.flo../kitti_submission逐帧输出 KITTI 文本格式光流文件把对应目录打包后上传到各基准官网的提交页面即可在公开榜单上查看排名。进阶复现六阶段训练流程想从零复现权重官方训练脚本 scripts/train.sh官方在 8 张 NVIDIA L40 上验证分 6 个阶段递进Stage 0TartanAir 立体预训练 →config/train/Tartan480x640-M.jsonStage 1FlyingChairs 微调 →Tartan-C368x496-M.jsonStage 2FlyingThings3D →Tartan-C-T432x960-M.jsonStage 3混合集含 Sintel/KITTI/HD1K产物用于 Sintel 提交Stage 4KITTI 精调 →Tartan-C-T-TSKH-kitti432x960-M.jsonStage 5Spring 精调 →Tartan-C-T-TSKH-spring540x960-M.json⚠️ 每个新阶段开始前记得把上一阶段产出的 checkpoint 路径填入配置文件的restore_ckpt字段断点续训才能衔接上。核心文件速查清单文件用途custom.py自定义图像推理 不确定性热力图evaluate.py三大基准本地评测submission.py榜单提交文件生成train.py分阶段训练入口config/eval/评测/提交配置S/M/L 三档尺寸config/train/六阶段训练配置core/raft.pySEA-RAFT 模型主体core/datasets.py各基准数据集加载逻辑按照克隆 → 装环境 → 下权重 → custom 试跑 → 三基准评测 → submission 提交这条主线走下来你已经在光流榜单上留下自己的名字了 【免费下载链接】SEA-RAFT[ECCV2024 - Oral, Best Paper Award Candidate] SEA-RAFT: Simple, Efficient, Accurate RAFT for Optical Flow项目地址: https://gitcode.com/gh_mirrors/se/SEA-RAFT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考