199、OpenVINO 英特尔平台部署:IR 模型转换、异构推理与 CPU/GPU/VPU 多设备调度

📅 2026/7/12 15:19:13
199、OpenVINO 英特尔平台部署:IR 模型转换、异构推理与 CPU/GPU/VPU 多设备调度
199、OpenVINO 英特尔平台部署:IR 模型转换、异构推理与 CPU/GPU/VPU 多设备调度一、从一次线上事故说起去年冬天,一个客户现场反馈:YOLOv11模型在Intel NUC上跑推理,CPU占用100%,帧率只有8FPS,GPU(集成显卡)完全没被利用。更诡异的是,同样的模型在另一台带Intel Movidius VPU的机器上,推理速度反而比纯CPU还慢。排查了一整天,发现是IR模型转换时精度设置不对,加上异构调度策略写死了CPU,VPU根本没被正确调用。这种问题在英特尔平台部署YOLOv11时太常见了。OpenVINO的IR模型转换、异构推理调度,每个环节都有坑。今天这篇笔记,我把这两年踩过的坑、调过的参数、做过的消融实验,全部摊开来讲。二、IR模型转换:别让精度损失毁了你2.1 从PyTorch到OpenVINO的完整链路# 别这样写:直接torch.onnx.export完事# 这样会导致动态尺寸推理时崩溃importtorchimporttorch