rPPG-Toolbox 实战用摄像头测心率三步跑通远程生理监测【免费下载链接】rPPG-ToolboxrPPG-Toolbox: Deep Remote PPG Toolbox (NeurIPS 2023)项目地址: https://gitcode.com/gh_mirrors/rp/rPPG-Toolbox晚上十点你只想看一眼老人今天的身体状态又不想打电话打扰。这时一段普通的摄像头视频就能帮忙rPPG-Toolbox 用摄像头测心率把心率和呼吸从画面里算出来完成远程生理监测。三步就能跑通。rPPG-Toolbox 解决什么问题 戴手环太难受。手腕带一宿皮肤发红数据还不一定准。rPPG 不用戴任何东西一段正面视频就行。算法论文各写各的。几十种 rPPG 算法代码结构、数据格式互不兼容复现一个基线就要折腾一两周。跨数据集对比麻烦。换个数据集加载和评估脚本就得重写一遍。这个工具箱把数据加载、训练、推理、评估放进同一套代码里。各数据集的加载器统一放在 dataset/data_loader/格式、预处理一步到位。它怎么看到你的心率 ❤️血液每跳一次皮肤下的血管就充盈一次画面里脸部的红色通道会跟着极轻微地涨落。肉眼看不见把连续帧的信号提取出来节奏就现形了。两条路线无监督取面部肤色均值转到对血容量敏感的颜色空间分解出心率分量如 POS、CHROM、GREEN。监督视频片段直接喂给网络端到端学出心率曲线。三步跑起来安装、数据、首次推理 第 1 步装环境git clone https://gitcode.com/gh_mirrors/rp/rPPG-Toolbox cd rPPG-Toolbox bash setup.sh conda第 2 步放数据。按 README 的目录结构摆好数据集如 UBFC-rPPG 每人一个文件夹把路径写进 yaml 的DATA_PATH。第 3 步首次推理python main.py --config_file configs/infer_configs/PURE_UBFC-rPPG_TSCAN_BASIC.yaml预训练权重在 final_model_release/把MODEL_PATH指过去就能直接推理不用从零训练。数据集和模型怎么选两条路线各有分工监督神经网络无监督信号处理代表算法TS-CAN、PhysFormer、PhysMamba、EfficientPhysPOS、CHROM、GREEN、OMIT是否需要标签需要不需要跨数据集表现更稳易受运动、光照影响适合场景刷基准、复现论文快速基线、低算力环境支持 SCAMPS、UBFC-rPPG、PURE、BP4D、MMPD、iBVP、UBFC-PHYS 等数据集。官方建议用 UBFC-rPPG、PURE、SCAMPS、iBVP 做训练同步性和体量更合适。模型代码在 neural_methods/model/无监督算法在 unsupervised_methods/methods/所有配置集中在 configs/。效果到底如何基准成绩模型训练集测试集MAEMAPETS-CANPUREUBFC-rPPG1.29 BPM1.50%1.29 BPM 是什么概念大约 5 分钟里只数错一拍。换了数据集还能保持这个精度泛化已经相当可靠。评估指标支持 MAE、RMSE、MAPE、Pearson 相关等在 yaml 的TEST.METRICS里勾选评估代码在 evaluation/。还能怎么玩摄像头测心率的应用场景居家健康监测把家属日常视频接进来心率异常时提醒家人。预训练模型开箱即用换个DATA_PATH就能换数据。运动场景下的 rPPGMMPD 是手机拍摄的运动视频数据集SCAMPS 提供合成运动数据。用它训练模型在晃动、光照变化下更抗造。多任务学习心率、呼吸、面部动作一起测BigSmall 一次输出多项指标BP4D 上按 Fold 训练的多任务权重也已放出可以做更完整的生理状态评估。rPPG-Toolbox 入门避坑指南 ⚠️Q运行 main.py 报 Unsupported dataset!数据集名必须和 yaml 里的写法完全一致包括大小写和连字符例如UBFC-rPPG。Q第一次跑特别慢把DO_PREPROCESS设为True预处理结果会缓存之后再跑同一份数据就改回False。Q推理需要多大显存单张普通卡就够DEVICE在 yaml 里配置即可。QPython 版本有什么要求3.8 PyTorch 2.1.2cu121setup.sh会自动装好别手动混装。Q输出结果在哪看预测信号存在model_outputs/训练日志和曲线在LOG.PATH指向的目录。写在最后一句话rPPG-Toolbox 把用摄像头测心率从论文演示变成三条命令就能复现的远程生理监测工具。clone 仓库后跑bash setup.sh conda今天就能看到第一段预测心率曲线。想接自己的数据集从 BaseLoader 继承一个加载器即可。【免费下载链接】rPPG-ToolboxrPPG-Toolbox: Deep Remote PPG Toolbox (NeurIPS 2023)项目地址: https://gitcode.com/gh_mirrors/rp/rPPG-Toolbox创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考