【免费下载链接】MINIMA[CVPR 2025] MINIMA: Modality Invariant Image Matching项目地址https://gitcode.com/gh_mirrors/minim/MINIMA点击查看免费下载MINIMA 是 CVPR 2025 开源的跨模态图像匹配框架它能让你在红外、深度、事件相机等完全不同模态的两张图像之间找到精确的对应点。对于做多模态视觉、三维重建或图像配准的新手来说跨模态图像匹配一直是难点——不同成像设备产生的模态鸿沟会让传统匹配方法失效。MINIMA 通过数据引擎大规模生成多模态数据让 LightGlue、LoFTR、RoMa 等主流匹配器都具备了跨模态能力。下面用 5 个步骤带你从零跑通第一个跨模态图像匹配 Demo。1 分钟了解 MINIMA跨模态图像匹配能做什么先直观感受一下效果。下面这张图展示了 MINIMA 在 6 个真实跨模态场景RGB-深度、RGB-红外、RGB-事件、光学-SAR、光学-地图、Retina上的匹配精度与速度蓝色区域越大代表表现越好它的核心思路并不复杂整体框架如下图所示——用生成模型从低成本 RGB 数据扩充出红外、深度、事件等多种模态继承原数据集的精确匹配标签再直接训练现有匹配管线仓库还内置了一个Data Engine支持 infrared / depth / event / normal / sketch / paint 六种模态的图像转换细节见 data_engine/README.md。MINIMA 环境搭建5步完整步骤第1步克隆仓库git clone https://gitcode.com/gh_mirrors/minim/MINIMA.git cd MINIMA克隆完成后建议先浏览一下目录结构demo.py是演示入口load_model.py负责加载模型src/config/default.py 存放推理默认配置。第2步创建 conda 环境环境配置集中在 environment.yaml 中要求Python 3.8 PyTorch 2.0.1 CUDA 11.7conda env create -f environment.yaml conda activate minima创建过程会自动安装 requirements.txt 中的依赖OpenCV、kornia、matplotlib 等。如果你没有 NVIDIA GPU也可以手动安装 CPU 版 PyTorch但推理速度会明显下降。第3步初始化 third_party 匹配器依赖MINIMA 基于 SuperPointLightGlue、LoFTR、RoMa 等现成实现它们以 git submodule 形式放在third_party/目录下。执行以下命令拉取git submodule update --init --recursive git submodule update --recursive --remote另外有一条针对 Python 3.8 的类型注解兼容性补丁Tuple的导入务必执行sed -i 1s/^/from typing import Tuple as tuple\n/ third_party/RoMa_minima/romatch/models/model_zoo/__init__.py第4步下载模型权重MINIMA 提供了minima_lightglue、minima_loftr、minima_roma三组官方权重仓库自带一键下载脚本 weights/download.shcd weights bash download.sh脚本会下载minima_lightglue.pth、minima_loftr.ckpt、minima_roma.pth三个文件。注意脚本要求当前目录就是weights/目录否则会直接退出重复运行会自动跳过已存在的文件。说明minima_lightglue内置的 SuperPoint 组件遵循学术/非商业用途许可商用场景请先确认其 License。第5步跑通第一个跨模态图像匹配 Demo仓库自带了一对测试图RGB 图 demo/vis_test.png 和它的深度图 demo/depth_test.png运行 demo.py默认权重自动从weights/目录读取python demo.py --method sp_lg --fig1 demo/vis_test.png --fig2 demo/depth_test.png --save_dir ./demo参数速查参数说明--method匹配方法可选sp_lg/loftr/roma/xoftr--fig1/--fig2参与匹配的两张图像路径--save_dir结果保存目录--ckpt自定义权重路径默认使用weights/下官方权重运行成功后终端会打印内点数Number of inliers与耗时demo/目录下会生成三张结果图*_before_ransac_*RANSAC 筛选前的全部匹配连线*_after_ransac_*筛选后的内点匹配彩色线深浅代表置信度*_after_homography_*根据估计出的单应矩阵把图 1 变换对齐到图 2进阶在真实数据集上跑跨模态基准评测如果想在完整基准上评测先准备测试数据脚本会自动下载并整理 MegaDepth-1500-Syn 数据集bash data/test_data_preparation.sh然后按需选择评测脚本--method从sp_lg、loftr、roma、xoftr中选择# RGB-红外 python test_relative_pose_infrared.py --method sp_lg --save_figs --save_dir ./results/ir # RGB-深度 python test_relative_homo_depth.py --method sp_lg --save_figs --save_dir ./results/depth # RGB-事件 python test_relative_homo_event.py --method sp_lg --save_figs --save_dir ./results/event # 医学/遥感多模态--choose_model: 0 医学, 1 遥感 python test_relative_homo_mmim.py --method sp_lg --choose_model 0 --save_figs --save_dir ./results/mmim各数据集的下载与目录组织方式完整说明见 README.md 的 Data Preparation for Evaluation 一节。评测结果示例如下MINIMA 的绿色内点连线在六类跨模态场景中都明显多于对比方法在医学影像与遥感场景下的匹配效果同样出色可选用 Data Engine 生成你自己的多模态数据Data Engine 可以把任意 RGB 图像转成红外、深度、素描等模态。例如以圣彼得广场这张图 data_engine/figs/origin_image.jpg 为输入cd data_engine pip install -r engine_extra_requirements.txt bash download_weights.sh # 下载各模态生成模型权重 python modality_engine.py --modality infrared --input_path ./figs/origin_image.jpg --output_dir ./result提示红外生成一张 1024×1024 图像约需 12GB 显存遇到报错可尝试删除.cache_tuner目录或安装 xformers 降低显存占用。常见问题 FAQQ没有 GPU 能跑 Demo 吗A可以。代码会自动回退到 CPU见 load_model.py 中的 device 判断但速度较慢建议至少 4GB 显存的 GPU。Q--method xoftr报缺少权重AXoFTR 权重文件名是weights_xoftr_640.ckpt需要手动放到weights/目录sp_lg/loftr/roma则由download.sh自动覆盖。Q想自己训练多模态匹配器A仓库已放出完整训练代码每个方法LightGlue / LoFTR / RoMa对应一个独立脚本如 train_orders/minima_lightglue.sh训练参数在对应的*_train_config.yaml中调整详细流程见 train_orders/README.md。总结按本文 5 个步骤——克隆仓库 → 创建 conda 环境 → 初始化 third_party 依赖 → 下载权重 → 运行demo.py——你就能在 10 分钟内跑通 MINIMA 的第一个跨模态图像匹配 Demo。接下来可以尝试换用--method loftr或roma对比不同匹配器在跨模态下的表现用 Data Engine 生成自己的多模态图像对在真实基准数据集上复现论文结果跨模态图像匹配的大门已经打开快去试试吧赞分享【免费下载链接】MINIMA[CVPR 2025] MINIMA: Modality Invariant Image Matching项目地址https://gitcode.com/gh_mirrors/minim/MINIMA点击查看免费下载相关推荐WiLoR快速上手教程从conda环境到跑通第一个手部3D重建Demo的7步完整流程WiLoR快速上手教程从conda环境到跑通第一个手部3D重建Demo的7步完整流程 WiLoR 是一个端到端的 手部 3D 定位与重建 模型CVPR 20LightGlue快速入门5步搭建你的第一个图像匹配应用LightGlue快速入门5步搭建你的第一个图像匹配应用 想要快速实现图像特征匹配LightGlue是你的终极解决方案作为ICCV 2023的最新研究成果人工智能计算机视觉深度学习快速上手rCM5步搭建环境用Wan2.1 1.3B/14B跑通你的第一条4步视频快速上手rCM5步搭建环境用Wan2.1 1.3B/14B跑通你的第一条4步视频 rCMScore Regularized Continuous Time上一篇5分钟看懂InternVL2-26B-AWQ260亿参数多模态大模型4bit AWQ量化版完整概览下一篇如何快速搭建EasyWAM-MoT-IDM-Wan22评测环境Wan2.2-TI2V-5B与LIBERO模拟器配置完整清单创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考