由于我们的任务是做到实时性所以这篇博客的工作就是测试一下hybrik的延迟看看是否需要更改里面的权重文件主要是因为实验室电脑是1660Ti不改一下真跑不动。。。1.官方hybrik的目标检测模型使用的是Faster R-CNN 权重使用的是hybrik_hrnet.pth运行结果没有保留图片但是有3d渲染效率只有2FPS左右延迟500ms2.运行结果不保留3d渲染效率提升到了4-6FPS延迟降低到了170ms左右发现关闭3d渲染确实有用3.因为我现在进行的都是一个人的上半身动作模仿可以尝试在目标检测的时候跳帧处理时间主要消耗在计划3d关节点坐标上跳帧步长设置成了5帧每五帧进行一次目标检测中间四帧计算3d关节点坐标效率增长到10FPS延迟是100ms左右4.把目标检测模型从Faster R-CNN 改成轻量化的yolov8n目标检测模型更改成yolov8n之后没有跳帧效率是11FPS5.主要时间还是花在了3d关节点获取上面查看github上面hybrik的MODEL ZOO尝试更改权重,使用faster r-cnn这个目标检测模型 加上hybrik_res34.pthhyrbik项目链接 https://github.com/jeffffffli/HybrIK目前的权重是HRNet-W48:hybrik_hrnet.pthhttps://drive.google.com/file/d/1gp3549vIEKfbc8SDQ-YF3Idi1aoR3DkW/view要更改为ResNet-34:hybrik_res34_w3dpw.pthhttps://drive.usercontent.google.com/download?id19ktHbERz0Un5EzJYZBdzdzTrFyd9gLCxexportdownloadauthuser0但是ResNet-34虽然速度快了很多但是和HRNet-W48相比3d关节点检测的准确度下降了还是很慢说明yolov8n的作用也很大6.最终测试 目标检测模型yolov8n加权重hybrik_res34.pth现在效率在20FPS左右延迟是50ms基本满足实时性要求使用更好的显卡速度会更快。