1. 先搞清楚“钢珠识别”和“视觉巡线”在电赛里到底要解决什么如果你正在准备2026年电赛并且题目里出现了“钢珠金属球识别”和“视觉巡线”那核心要解决的不是炫技而是稳定、快速、准确地把物理世界里的一个或多个小球的位置和运动轨迹转换成单片机或主控能理解的坐标数据同时让小车或机械臂沿着预设的线走。MaixCam2这类带AI算力的视觉模组就是用来替代传统OpenCV方案直接在端侧完成这个“感知-决策”闭环的。很多人一上来就找模型、调参数结果跑起来要么帧率低要么识别不稳定要么坐标传出去单片机收不到。问题往往出在没想清楚任务链条摄像头拍到图像 - AI模型或算法找出球和线 - 计算出像素坐标 - 转换成实际坐标如果需要 - 通过串口/I2C/无线发给主控 - 主控执行动作。MaixCam2的价值在于它能把前面“找”和“算”的步骤全部包揽你只需要关心怎么配置它、怎么拿到可靠的数据、怎么把数据传出去。所以备赛第一步不是盲目写代码而是拆解需求识别目标是单个钢珠还是多个钢珠和背景比如黑色轨道、白色底板的对比度如何光照变化大不大输出要求需要球的中心坐标 (x, y) 吗需要半径吗需要区分不同颜色的球吗巡线是需要输出线的偏移角度还是直接给出导航点坐标实时性与稳定性识别处理一帧要多久10ms和100ms对控制算法是天壤之别。连续运行一小时会不会出现误识别或丢帧通信接口和主控如MSPM0G3507、STM32用什么通信串口最常用要定好协议例如$X,Y,R\n。无线图传通常用于调试和监控而不是实时控制。把这些问题列清楚再去看MaixCam2怎么配置方向就对了。2. MaixCam2上手别卡在环境配置和第一行代码拿到MaixCam2第一件事不是跑复杂的识别而是确保基础环境通顺。很多新手卡在“卡Logo界面”、“无法连接”这种问题上一卡就是半天。2.1 硬件准备与上电检查硬件连接Type-C线连接电脑和MaixCam2。好的数据线很重要供电不足会导致各种奇怪问题。上电状态正常启动后屏幕会亮。如果一直卡在开机Logo大概率是TF卡里的系统文件损坏。解决方法去官网下载最新的固件镜像用烧录工具如balenaEtcher重新烧录到TF卡。这是最高效的解决方式别在旧系统上折腾。基础感知先用手在镜头前晃动观察屏幕预览是否流畅触摸屏是否正常。这能快速排除硬件显示问题。2.2 开发环境搭建与“Hello World”MaixCam2的开发主要在电脑上进行通过Wi-Fi或USB连接设备进行代码推送和调试。安装IDE官方推荐使用MaixHub Studio。它基于VSCode集成了插件和工具链比纯文本编辑器方便很多。连接设备USB连接插上线IDE通常会自动识别。在IDE的设备管理器里看到设备序列号即可。Wi-Fi连接需要让MaixCam2和电脑在同一个局域网。在MaixCam2的设置里查看IP地址在IDE中手动添加该IP地址的设备。运行第一个程序不要写识别先写一个最简单的“拍照并显示”程序。import sensor, image, lcd, time lcd.init() # 初始化屏幕 sensor.reset() # 复位摄像头 sensor.set_pixformat(sensor.RGB565) # 设置彩色格式 sensor.set_framesize(sensor.QVGA) # 设置分辨率QVGA(320x240)是常用尺寸 sensor.skip_frames(time 2000) # 跳过一些帧让摄像头稳定 clock time.clock() while True: clock.tick() img sensor.snapshot() # 捕获一帧图像 img.draw_string(10, 10, FPS:str(clock.fps()), color(255,0,0)) # 在图上画FPS lcd.display(img) # 显示图像把这段代码推送到设备运行。如果屏幕上能实时显示摄像头画面和FPS帧率恭喜你基础环境通了。这个FPS数字很重要它是你后续算法复杂度的基准。在QVGA下纯图像采集显示FPS应该在30以上。2.3 关键配置分辨率、色彩空间与曝光在sensor.set_framesize()这一步分辨率选择直接影响速度和精度。巡线通常对绝对精度要求不高但对速度要求高。可以用sensor.QQVGA (160x120)甚至更低的分辨率FPS可以轻松跑到60控制响应更快。钢珠识别如果球比较小需要更精细的像素坐标建议用sensor.QVGA (320x240)。这是一个速度和精度的平衡点。除非球特别小或特别远否则不要轻易用sensor.VGA (640x480)FPS会大幅下降。色彩空间识别彩色球或彩色线用sensor.RGB565。如果只做灰度处理例如黑白球、黑线可以设为sensor.GRAYSCALE处理速度会更快。自动曝光默认是开启的。在光照稳定的实验环境下可以尝试关闭自动曝光并手动设置固定值避免画面忽明忽暗导致识别阈值波动。sensor.set_auto_exposure(False, exposure_us5000) # 关闭自动曝光手动设置曝光值3. 核心实战用传统方法快速实现巡线与找球在导入AI模型之前强烈建议先用传统的图像处理方法OpenCV算法在MaixPy里的实现把流程跑通。这能帮你深入理解图像处理的本质并且传统方法在场景简单、光照可控时速度和稳定性可能更好。3.1 视觉巡线找重心与求偏移假设我们巡的是黑线白底。图像预处理目的是让线更突出。img sensor.snapshot() img.gaussian(1) # 轻微高斯模糊降噪 img.binary([(0, 64)]) # 二值化将黑色线灰度值0-64变为白色(255)背景变为黑色(0)关键在binary()的阈值[(0, 64)]。这个值需要根据实际环境调整。可以用MaixHub Studio的“图像工具”功能实时预览二值化效果来确定最佳阈值。提取轮廓二值化后线变成了白色块。line_blobs img.find_blobs([(250, 255)], area_threshold50, mergeTrue)find_blobs寻找白色色块。area_threshold过滤掉太小的噪点。mergeTrue允许相邻的块合并。计算控制量方法一重心法如果线比较粗、连续。if line_blobs: max_blob max(line_blobs, keylambda b: b.area()) # 找最大的那个色块即主线 img.draw_rectangle(max_blob.rect()) # 画框调试用 # 计算线区域的重心x坐标 line_center_x max_blob.cx() # 计算偏移量图像中心x坐标 - 线重心x坐标 img_center_x img.width() // 2 offset line_center_x - img_center_x img.draw_string(10, 30, Offset:str(offset), color(255,0,0))方法二边缘扫描法如果线很细或者需要更精确的线方向。可以从图像底部向上扫描找到线边缘的跳变点。将这个offset通过串口发送给小车单片机单片机根据偏移量调整舵机或电机实现巡线。3.2 钢珠识别圆形检测与滤波钢珠在图像中通常是一个高亮的圆形金属反光。图像预处理img sensor.snapshot() # 方法A直接找亮区 img.binary([(200, 255)]) # 阈值设高捕捉高亮反光点 # 方法B或者先转换到灰度再用拉普拉斯或canny找边缘 # img.to_grayscale() # img.laplacian(1)圆形检测circles img.find_circles(threshold3500, x_margin10, y_margin10, r_margin10, r_min5, r_max50)threshold累加器阈值值越高检测到的圆越“完美”但可能漏检。需要根据实际情况调整这是调参重点。x_margin,y_margin,r_margin合并圆心和半径相近的圆。r_min,r_max限制圆的半径范围排除过大过小的噪点。结果筛选与输出if circles: for c in circles: img.draw_circle(c.x(), c.y(), c.r(), color(0, 255, 0)) # 画圆 # 输出坐标和半径 print(Ball: X{}, Y{}, R{}.format(c.x(), c.y(), c.r()))打印的坐标是像素坐标。如果需要实际坐标毫米需要做相机标定这是一个单独的步骤需要已知尺寸的标定板。3.3 传统方法的优缺点与调试心得优点速度快逻辑直观不依赖模型可解释性强。缺点严重依赖光照和背景。光线一变二值化阈值可能就失效。对于形状不规则、颜色与背景相近的物体效果差。调试关键一定要实时看图像在屏幕上把预处理后的二值图、画上的识别框都显示出来。这是调试的唯一依据。参数不要写死把阈值、半径范围等参数做成变量方便随时调整。甚至可以尝试在MaixCam2上做个简单的触摸屏调参界面。过滤噪点area_threshold面积过滤和pixels_threshold像素数过滤是滤除小噪点的利器。4. 进阶部署AI模型实现鲁棒性识别当环境复杂光照不均、背景杂乱、球体反光多变时传统方法就力不从心了。这时需要上AI模型。MaixCam2支持.kmodel格式的模型你可以用MaixHub平台在线训练。4.1 模型训练与导出以钢珠识别为例数据采集这是最关键的步骤。用MaixCam2在不同光照、不同角度、不同背景、钢珠运动状态下拍摄几百张图片。图片要包含正样本有钢珠和负样本无钢珠或干扰物。在线训练访问MaixHub官网创建“目标检测”项目。上传图片用标注工具框出每一个钢珠标注框尽量紧贴球体。选择模型如YOLOv2-tiny体积小、速度快适合端侧开始训练。MaixHub会分配算力通常十几分钟到一小时就能完成。训练完成后评估模型精度看mAP值并下载.kmodel文件。模型部署将.kmodel文件放入MaixCam2的TF卡中。在代码中加载模型import KPU as kpu task kpu.load(/sd/ball_detect.kmodel) # 加载模型 anchor (1.08, 1.19, 3.42, 4.41, 6.63, 11.38, 9.42, 5.11, 16.62, 10.52) # YOLOv2的anchor通常训练时会给出 kpu.init_yolo2(task, 0.5, 0.3, 5, anchor) # 初始化YOLO2参数阈值、NMS阈值、类别数、anchor4.2 使用模型进行推理在循环中将捕获的图像送给模型推理。while True: img sensor.snapshot() code, objects kpu.run_yolo2(task, img) # 运行推理 if objects: for obj in objects: # 获取识别结果 x, y, w, h obj.x(), obj.y(), obj.w(), obj.h() label obj.classid() score obj.value() img.draw_rectangle(x, y, w, h, color(255, 0, 0)) # 画框 img.draw_string(x, y, Ball:{:.2f}.format(score), color(255,0,0)) # 计算中心点 center_x x w // 2 center_y y h // 2 img.draw_circle(center_x, center_y, 3, color(0, 255, 0)) # 输出结果例如通过串口 uart.write($DET,{},{},{}\n.format(center_x, center_y, score)) lcd.display(img)AI模型的优势鲁棒性极强。即使光线变化、背景有类似圆形干扰只要训练数据覆盖了这些情况模型都能稳定识别。劣势模型加载需要时间推理速度比传统方法慢但MaixCam2的算力足够实时且需要前期数据采集和训练工作。4.3 巡线任务的AI模型思路巡线也可以用AI。你可以把“线”当成一个需要识别的“物体”来标注和训练。但更常见的思路是语义分割让模型区分图像中每一个像素是属于“线”还是“背景”。MaixCam2也支持分割模型如UNet的轻量化版本。分割后可以得到一个掩码图再对这个掩码图计算中心线或方向会比传统二值化方法稳定得多。但这需要更复杂的标注标注每一张图片上的线和更大的模型。5. 数据通信把坐标稳定地送到主控手里识别出结果后必须可靠地发送给主控单片机如MSPM0G3507。串口UART是最可靠、最常用的方式。5.1 MaixCam2端串口配置与发送from fpioa_manager import fm from machine import UART import time # 映射引脚根据MaixCam2原理图例如P9/P10是UART1 fm.register(9, fm.fpioa.UART1_TX) fm.register(10, fm.fpioa.UART1_RX) # 初始化UART波特率常用115200 uart UART(UART.UART1, 115200, 8, 0, 1, timeout1000, read_buf_len4096) while True: # ...识别代码得到 center_x, center_y... # 构造协议帧例如简单的字符串协议 data_str $BALL,{:03d},{:03d}\n.format(center_x, center_y) # 固定长度方便解析 uart.write(data_str) time.sleep_ms(10) # 控制发送频率避免串口缓冲区溢出协议设计要点帧头如$BALL用于单片机判断一帧数据的开始。数据分隔用逗号,分隔不同数据字段。固定长度坐标用{:03d}格式化为3位数字不足补零。这样单片机解析时可以直接按字节索引无需复杂的字符串分割在资源紧张的单片机上更高效。帧尾换行符\n是很好的帧结束标志。5.2 单片机端以MSPM0为例解析单片机端代码C语言示例// 假设串口接收到字符存放在 uart_rx_buf并有一个索引 uart_rx_index void UART_ParseData(void) { if (uart_rx_buf[uart_rx_index - 1] \n) { // 检测到帧尾 if (strncmp(uart_rx_buf, $BALL, 5) 0) { // 检查帧头 int x, y; sscanf((char*)uart_rx_buf[6], %d,%d, x, y); // 解析坐标 // 使用x, y进行控制... } uart_rx_index 0; // 清空缓冲区准备接收下一帧 } }避坑点波特率一致两端必须设置相同的波特率。缓冲区管理单片机端要有足够的接收缓冲区并做好溢出处理。错误恢复协议里可以加入校验和如CRC8单片机端校验失败则丢弃该帧。心跳机制可以定时发送心跳包如$HEART监测通信链路是否正常。5.3 无线图传与调试MaixCam2的无线图传功能如内置Wi-Fi推流主要用于调试和监控而不是实时控制。因为无线传输有延迟和不确定性。用法在代码中开启RTSP或HTTP视频流然后在电脑端的VLC播放器或MaixHub Studio的“视频流”工具中输入MaixCam2的IP地址就能看到实时画面。这对于远程观察识别框是否准确、环境光照是否合适非常有用。注意开启图传会占用CPU和网络资源可能影响主循环的帧率。在最终比赛时如果对实时性要求极高可以考虑关闭图传。6. 从单次识别到稳定运行的工程化要点能让Demo跑起来和能让系统在比赛现场稳定运行一小时是两回事。以下是几个工程化关键点6.1 资源管理与帧率稳定监控帧率始终在屏幕上显示FPS。如果引入AI模型后FPS从30降到10就要评估是否可接受。如果不可接受需要降低分辨率、简化模型或优化代码。内存管理避免在循环内不断创建大对象如大的列表、字典。find_blobs、find_circles、kpu.run_yolo2返回的对象要及时处理循环结束即可释放。任务拆分如果同时要巡线和识别球且计算量大可以考虑分时处理奇数帧处理巡线偶数帧处理识球。或者降低两者的处理频率。6.2 鲁棒性增强策略数据滤波对于识别到的坐标不要直接使用单次结果。可以采用滑动平均滤波或卡尔曼滤波如果球运动有模型。history_x [] history_y [] HISTORY_SIZE 5 if objects: current_x, current_y center_x, center_y history_x.append(current_x) history_y.append(current_y) if len(history_x) HISTORY_SIZE: history_x.pop(0) history_y.pop(0) filtered_x sum(history_x) // len(history_x) filtered_y sum(history_y) // len(history_y) # 使用 filtered_x, filtered_y 发送状态判断连续多帧如5帧检测到目标才认为目标有效连续多帧丢失才认为目标消失。这能避免单帧误检或漏检带来的跳动。异常恢复如果长时间检测不到目标可以输出一个特殊值如-1,-1给单片机让单片机进入搜索模式例如原地旋转。6.3 现场调试清单去比赛现场前带着这个清单检查[ ]光照适应性在比赛场地可能的光照条件下顶光、侧光、昏暗测试过吗阈值或模型是否仍然有效[ ]电源稳定性使用电池供电时电压下降是否会导致MaixCam2重启电源纹波是否影响图像传感器[ ]通信压力测试让系统持续运行15分钟串口通信有没有出现乱码、丢帧单片机解析是否一直正常[ ]机械振动小车跑起来摄像头会不会抖动抖动是否会导致图像模糊影响识别考虑加固摄像头或使用软件防抖如滤波。[ ]备用方案如果AI模型加载失败是否有降级方案如切换回传统算法最简单的有没有一个“默认向前走”的保底逻辑最后也是最实在的建议在备赛初期就用一个固定的文件夹结构管理你的代码、模型、配置参数和测试图片。每次修改参数都记录在注释或日志里。比赛时你最可靠的伙伴不是某个炫酷的算法而是那个经过上百次测试、参数打磨到位的、看似笨拙但极其稳定的程序。MaixCam2是一个强大的工具但让它稳定发挥作用的始终是严谨的工程思维和充分的测试。