IoT-For-Beginners 实战：将树莓派水果质检设备切换至 IoT Edge 图像分类器（Custom Vision SDK 到 REST API 改造指南）

IoT-For-Beginners 实战将树莓派水果质检设备切换至 IoT Edge 图像分类器Custom Vision SDK 到 REST API 改造指南【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners本指南面向正在学习 IoT-For-Beginners 课程第 17 课的开发者。你将基于上一课部署在云端的fruit-quality-detector项目把图像分类请求从通过互联网发送到 Custom Vision 云服务改为发送到运行在本地网络上的 Azure IoT Edge 设备实现模型推理完全在边缘完成。学完本课你将掌握 Custom Vision Python SDK 与通用 REST API 两种调用方式的差异、如何使用requests以二进制流方式提交图片、如何验证边缘分类器是否可用并理解边缘计算在隐私、延迟与成本方面的工程取舍。背景为什么要把分类推理搬到边缘在上一课中树莓派或虚拟 IoT 设备通过摄像头拍照后调用 Custom Vision 云服务对水果进行成熟度分类。这种方式每次推理都需要一次跨互联网的网络往返图片要先上传到云端、执行模型、再返回结果。这在延迟、费用和隐私上都存在明显短板。边缘计算Edge Computing的思路是把这类数据处理的工作负载迁移到离数据产生地最近的计算机上——即与 IoT 设备处于同一局域网中的边缘设备仅在有需要时才与云端通信。本课的架构正是如此从本课程 3-run-fruit-detector-edge 课程 README 可知边缘计算的主要收益包括速度同一局域网内的网络传输速度远高于互联网且数据无需跨洋传输远程可用性在连接受限、连接费用高昂或基础设施有限的场景如人道主义灾害区域依然可用更低成本数据采集、存储与分析都在边缘完成降低云服务用量隐私与安全敏感数据如医疗数据、安防摄像头画面不出本地网络分析后无需留存降低数据泄露风险。当然边缘计算也有劣势比如弹性扩容需要人工添加设备、冗余与灾备需要自行投入、运维维护需要自己负责。实际 IoT 系统通常采用云 边缘混合的架构按需选择。理解调用方式的关键差异REST API 而不是 Python SDK在切换到边缘分类器之前先要理解一个硬性限制也是本课改造的根因The Python library for Custom Vision only works with cloud-hosted models, not models hosted on IoT Edge. This means you will need to use the REST API to call the classifier.Custom Vision 的 Python SDKazure-cognitiveservices-vision-customvision只适配云端托管的模型端点无法调用运行在 IoT Edge 容器里的模型。因此必须改用通用 REST API 直接发送 HTTP POST 请求。回顾上一课 2-check-fruit-from-device 的树莓派实现云端调用需要from msrest.authentication import ApiKeyCredentials from azure.cognitiveservices.vision.customvision.prediction import CustomVisionPredictionClient prediction_credentials ApiKeyCredentials(in_headers{Prediction-key: prediction_key}) predictor CustomVisionPredictionClient(endpoint, prediction_credentials) image.seek(0) results predictor.classify_image(project_id, iteration_name, image)调用前要从云端 URL 中解析出project_id、iteration_name还要携带预测密钥Prediction-key整套逻辑绑定 Azure 资源。而边缘分类器的调用则极其简单边缘容器暴露了一个标准的 REST 端点http://IP address or name/image将IP address or name替换为运行 IoT Edge 的计算机的 IP 地址或主机名即可。URL形如http://192.168.1.100/image或http://localhost/image。由于分类发生在本地网络不再需要预测密钥Prediction-Key——按课程说明安全由内部网络策略负责而非依赖公开端点 API Key。改造前准备在 VS Code 中打开fruit-quality-detector项目若使用虚拟 IoT 设备请确保激活虚拟环境.venv确保已有一台部署好ImageClassifier模块的 IoT Edge 设备树莓派、Linux 主机、Windows 上的 Linux 虚拟机或按 创建运行 IoT Edge 的虚拟机指南 创建的云 VM。逐步改造 app.py从云端 SDK 切换到边缘 REST API步骤 1移除云端 SDK 的导入语句打开app.py删除来自azure.cognitiveservices.vision.customvision.prediction与msrest.authentication的所有 import 语句。改造前的云端版本见 2-check-fruit-from-device 的云端实现顶部通常是from azure.cognitiveservices.vision.customvision.prediction import CustomVisionPredictionClient from msrest.authentication import ApiKeyCredentials这两行以及下方使用predictor.classify_image(...)的整段逻辑都删掉。步骤 2添加 requests 库导入在文件顶部加入import requestsrequests是 Python 生态中最常用的 HTTP 客户端库用来替代 SDK 发起 REST POST 请求。步骤 3删除图片保存后的全部云端分类代码从image_file.write(image.read())这一行之后、直到文件末尾的所有代码都要删除。也就是说保留拍照 → 写入内存缓冲区 → 落盘保存图片的部分去掉构造凭证 → 创建 predictor → 云端分类的部分。步骤 4追加边缘分类调用代码在文件末尾追加以下代码prediction_url URL headers { Content-Type : application/octet-stream } image.seek(0) response requests.post(prediction_url, headersheaders, dataimage) results response.json() for prediction in results[predictions]: print(f{prediction[tagName]}:\t{prediction[probability] * 100:.2f}%)请将URL替换为你的分类器地址形如http://IP address or name/image。这段代码做了四件事逐行解读代码作用headers {Content-Type: application/octet-stream}声明请求体为原始二进制流JPEG 图片数据这是边缘 Custom Vision 容器支持的图片上传格式之一image.seek(0)将BytesIO缓冲区的读写指针重置回起点确保把完整图片数据发给服务器response requests.post(prediction_url, headersheaders, dataimage)以图片二进制为请求体向边缘分类器发起 POST 请求results response.json()将响应的 JSON 反序列化为 Python 字典response.json()返回的结构与云端一致核心字段是predictions列表其中每个元素包含tagName标签名与probability概率0~1 的小数。最后的for循环把概率乘以 100 并保留两位小数打印出来。步骤 5运行程序验证确保摄像头对准水果真实硬件或让水果在 Web 摄像头画面中可见虚拟 IoT 设备然后运行python app.py控制台输出示例(.venv) ➜ fruit-quality-detector python app.py ripe: 56.84% unripe: 43.16%完整参考实现仓库源码本课仓库提供了两套可直接对照的完整实现树莓派真实硬件code-classify/pi/fruit-quality-detector/app.py虚拟 IoT 设备code-classify/virtual-iot-device/fruit-quality-detector/app.py以树莓派版本为例改造后的完整app.py结构如下import io import requests import time from picamera import PiCamera camera PiCamera() camera.resolution (640, 480) camera.rotation 0 time.sleep(2) image io.BytesIO() camera.capture(image, jpeg) image.seek(0) with open(image.jpg, wb) as image_file: image_file.write(image.read()) prediction_url URL headers { Content-Type : application/octet-stream } image.seek(0) response requests.post(prediction_url, headersheaders, dataimage) results response.json() for prediction in results[predictions]: print(f{prediction[tagName]}:\t{prediction[probability] * 100:.2f}%)虚拟设备版本则使用counterfit_shims_picamera.PiCamera替代真实摄像头驱动并通过counterfit_connection.CounterFitConnection连接 CounterFit 模拟器其余分类逻辑完全一致见 虚拟设备实现。可以看到改造前后的差异被刻意控制到最小只替换了导入 分类调用这一段摄像头采集与图片落盘逻辑保持不变。边缘分类器从哪里来部署流程速览在调用边缘分类器之前需要先让ImageClassifier模块跑起来。本课 3-run-fruit-detector-edge 课程 README 的完整流程是导出模型在 Custom Vision 门户把项目域切换为Food (compact)并用训练数据重新训练然后在Performance标签页导出 DockerFileLinux 平台选Linux版树莓派选ARM (Raspberry Pi 3)版构建并推送容器用 Docker 构建带标签的镜像并推送到 Azure Container Registry课程要求将仓库名设为全局唯一、仅含字母和数字基于fruitqualitydetector命名docker build --platform platform -t Container registry name.azurecr.io/classifier:v1 . docker push Container registry name.azurecr.io/classifier:v1下发部署清单定义 deployment.json 并通过az iot edge set-modules把模块部署到边缘设备。其中部署清单是理解整个链路的关键。在$edgeAgent.properties.desired的runtime.settings.registryCredentials中填写容器注册表的用户名、密码和地址供边缘设备拉取私有镜像registryCredentials: { ClassifierRegistry: { username: Container registry name, password: Container registry password, address: Container registry name.azurecr.io } }在modules中定义ImageClassifier业务模块指定镜像classifier:v1并通过createOptions把容器内的 80 端口映射到宿主机的 80 端口从而对外暴露 REST 服务ImageClassifier: { version: 1.0, type: docker, status: running, restartPolicy: always, settings: { image: Container registry name.azurecr.io/classifier:v1, createOptions: {\ExposedPorts\: {\80/tcp\: {}},\HostConfig\: {\PortBindings\: {\80/tcp\: [{\HostPort\: \80\}]}}} } }同时$edgeHub的routes定义了upstream路由FROM /messages/* INTO $upstream用于将边缘模块消息转发至 IoT Hub。部署完成后在边缘设备上执行iotedge list应能看到三个运行中的模块NAME STATUS DESCRIPTION CONFIG ImageClassifier running Up 42 minutes fruitqualitydetectorjimb.azurecr.io/classifier:v1 edgeAgent running Up 42 minutes mcr.microsoft.com/azureiotedge-agent:1.1 edgeHub running Up 42 minutes mcr.microsoft.com/azureiotedge-hub:1.1查看分类器日志iotedge logs ImageClassifier可以看到 TensorFlow 加载模型成功、标签加载完成Loading labels...2 found. Success!以及 Flask 服务监听http://0.0.0.0:80/的输出——这证明模型已就绪可以接受图片分类请求。验证边缘分类器先用 curl 打通再改设备代码在把 IoT 设备代码切换到边缘分类器之前强烈建议先用curl直接验证端点可用。找到运行 IoT Edge 的计算机 IP同一台机器用localhostVM 用其 IP 或 DNS 名对本地图片文件发起 POST 请求curl --location \ --request POST http://IP address or name/image \ --header Content-Type: image/png \ --data-binary file_Name返回的 JSON 与设备端response.json()解析的是同一结构{ created: 2021-07-05T21:44:39.573181, id: , iteration: , predictions: [ { boundingBox: null, probability: 0.9995615482330322, tagId: , tagName: ripe }, { boundingBox: null, probability: 0.0004384400090202689, tagId: , tagName: unripe } ], project: }注意此处不需要Prediction-Key因为请求打到的是本地网络上的容器而不是 Azure 资源安全交由内部网络策略把控。curl 测试通过后再回到app.py改造就会非常有把握。改造后的注意事项模型重训练与隐私边界切换到边缘分类器后有一个看起来像缺陷、实则是特性的行为边缘分类器与 Custom Vision 项目不联网。打开 Custom Vision 门户的Predictions标签页你不会看到任何用边缘分类器推理的图片记录。这是符合预期的图片从未离开本地网络自然不会出现在云端。这正是边缘计算在隐私与离线可用性上的收益——设备断网也能持续分类但代价是模型迭代需要另想办法必须自行实现一套图片采集与人工复核机制把有价值的样本收回来用于重训练。这是选择边缘分类方案时必须提前规划的运维链路。同类改造Wio Terminal 变体与扩展练习本课的边缘分类改造不限于树莓派/虚拟设备。如果你使用 Arduino 平台Wio Terminal改造思路完全一致只是把换 Python 库换成C HTTP 客户端替换删除config.h中的CERTIFICATE与PREDICTION_KEY把PREDICTION_URL指向http://IP address or name/image见 Wio Terminal 端配置在main.cpp中把#include WiFiClientSecure.h换成#include WiFiClient.hHTTP 而非 HTTPS去掉client.setCACert(CERTIFICATE);与请求头里的Prediction-Key。完整步骤见 Wio Terminal 专用改造指南。更进一步边缘容器并不只限于图像分类凡是能打包进容器的服务例如前几课创建过的 Azure Functions 触发器都可以作为 IoT Edge 模块部署。作为练习可以尝试把某个历史课程的 Functions 应用部署到 IoT Edge 容器中评分标准参见 作业说明。最后提醒本课用到的 Azure Container Registry 并非免费服务完成练习后请参照 clean-up.md 清理资源避免产生持续费用。小结通过本课改造你完成了云端分类 → 边缘分类的关键一跳移除 Custom Vision Python SDK 依赖、改用requests直连边缘容器的 REST 端点、以application/octet-stream二进制流提交图片并解析 JSON 预测结果。改造前后对比可见IoT 设备侧的改动面极小真正的复杂度集中在模型导出、容器构建与 IoT Edge 模块部署上——而这恰恰体现了 Azure IoT Edge 生态云上训练、边缘推理的工程范式模型在云端持续迭代通过部署清单无缝下发到边缘设备设备侧只关注本地推理与业务动作。【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考