用OpenMV+MicroPython打造智能分拣小车：从硬件选型到图像算法实战

如果你曾为机器人项目中的视觉识别部分头疼不已，既想拥有灵活的图像处理能力，又不想陷入复杂的C/C++底层开发和昂贵的工业相机成本中，那么OpenMV或许就是你一直在寻找的答案。它不仅仅是一个摄像头模块，更是一个搭载了MicroPython解释器的完整嵌入式视觉系统，让开发者能用高级语言快速实现从颜色追踪到AprilTag识别的复杂功能。尤其在智能小车、流水线分拣这类需要快速原型验证的场合，OpenMV以其“开箱即用”的特性，极大地降低了机器视觉的入门门槛。

今天，我们就以打造一辆能自主识别并分拣不同颜色物块的智能小车为例，深入探讨如何从零开始构建这套系统。这不仅仅是简单的代码堆砌，更涉及到摄像头选型的权衡、颜色空间算法的调参实战、系统存储的扩展，以及如何与下位机（如STM32）进行稳定高效的通信。我们将避开那些泛泛而谈的理论，直接切入开发者最关心的实战细节和避坑指南。

1. 硬件架构设计与核心组件选型

一套可靠的智能分拣系统，其硬件是算法稳定运行的基石。OpenMV作为视觉大脑，需要与合适的执行机构、控制核心协同工作。一个典型的系统架构通常包含感知层（OpenMV摄像头）、决策与控制层（主控MCU，如STM32）、执行层（电机、舵机）以及供电与通信模块。

1.1 OpenMV摄像头选型：全局快门与卷帘快门的抉择

这是项目初期最关键的决定之一，直接影响到动态场景下的成像质量。OpenMV提供了多种型号，其核心差异往往体现在感光元件（Sensor）上。

• 卷帘快门 (Rolling Shutter)：这是大多数消费级CMOS传感器采用的方式。其原理是逐行曝光，从上到下扫描完成一帧图像。在拍摄静止物体时表现良好，成本较低。然而，其致命弱点在于拍摄高速运动物体时会产生“果冻效应”——物体在曝光期间移动，导致图像出现倾斜、扭曲。想象一下小车在行进中拍摄传送带上的物品，如果物品或摄像头本身在快速移动，卷帘快门拍出的色块可能不再是矩形，而是变成了平行四边形，这会给后续的坐标计算带来灾难性误差。

• 全局快门 (Global Shutter)：传感器上所有像素在同一时刻开始并结束曝光。这意味着它能“冻结”瞬间，完美捕捉高速运动物体的姿态，无果冻效应。这对于工业分拣、高速追踪场景至关重要。但全局快门传感器通常更昂贵，且在低光照下可能噪声稍高。

为了更直观地对比，我们可以通过下表来权衡：

特性	全局快门传感器 (如OV9281)	卷帘快门传感器 (如OV7725)
运动物体成像	优秀，无畸变	较差，可能产生果冻效应
适用场景	高速流水线、机器人快速抓取、无人机	静态或低速场景、教育套件、成本敏感型项目
成本	较高	较低
低光照性能	相对一般	通常更好
OpenMV典型型号	OpenMV Cam H7 Plus (可选配)	OpenMV Cam M7 基础款

提示：对于智能分拣小车，如果传送带速度较快或小车自身移动迅速，强烈建议选择支持全局快门的摄像头模组。多付出的成本将换来算法稳定性的巨大提升，避免后期因图像畸变而不得不大幅降低运行速度的尴尬。

1.2 主控MCU与通信接口规划

OpenMV本身基于STM32系列MCU，具备一定的GPIO控制能力，但对于需要复杂运动控制（如PID调速、多电机协同）的小车来说，其资源可能捉襟见肘。更常见的做法是让OpenMV专注于视觉识别，将识别结果（如目标坐标、颜色ID）通过通信接口发送给一个专用的运动控制MCU，如STM32F4或F7系列。

两者之间的通信链路需要稳定、实时。以下是几种常用方案：

1. UART (串口)：最常用、最简单的方案。OpenMV的pyb.UART或machine.UART模块使用方便，只需连接TX、RX和GND三根线即可。波特率通常设置为115200或更高。优点是接线简单，编程直观；缺点是速率相对较慢，且是异步通信，需要设计简单的协议来保证数据完整性。
2. I2C：适合短距离、多设备通信。OpenMV可以作为主机或从机。当STM32作为主机周期性查询OpenMV时，I2C是不错的选择。但需要注意总线拉低能力，长距离通信时需加电平转换或中继。
3. SPI：全双工高速通信，速率远超UART。适合传输大量数据（如压缩后的图像特征）。但接线较多（MOSI, MISO, SCK, CS），协议实现稍复杂。

对于大多数分拣小车项目，UART因其极高的可靠性和易用性成为首选。我们将在后续章节详细讲解如何设计通信协议。

1.3 供电与机械结构考量

稳定的电源是系统长时间运行的前提。OpenMV的工作电压通常在3.3V-5V之间。如果使用电机驱动板，务必注意电机启停时产生的电压尖峰和电流浪涌，这可能会通过电源线干扰OpenMV，导致重启或图像异常。

• 电源隔离：为OpenMV和数字逻辑部分使用独立的LDO稳压器，并与电机驱动电源进行隔离（例如使用DC-DC隔离模块）。
• 机械固定：将OpenMV牢固地安装在小车车体或云台上，避免振动导致图像模糊。同时，确保摄像头的视野与小车前进方向、机械臂抓取位置有明确的几何关系，这关系到坐标转换的准确性。

2. 图像处理核心：LAB颜色空间与阈值调参实战

识别特定颜色的物体是分拣小车的基础。OpenMV提供了强大的find_blobs()函数，但其效果高度依赖于颜色阈值的设定。很多人习惯在RGB空间调参，但这极易受光照变化影响。这里我们强烈推荐使用LAB颜色空间。

2.1 为什么是LAB空间？

LAB颜色空间是由国际照明委员会（CIE）制定的一种近似于人眼视觉感知的色彩模型。它将颜色信息（a*, b通道）与亮度信息（L通道）分离开来。

• L通道 (亮度)：表示颜色的明度，从纯黑(0)到纯白(100)。
• a通道：表示从绿色(-128)到红色(+127)的颜色范围。
• b通道：表示从蓝色(-128)到黄色(+127)的颜色范围。

这种分离带来了巨大优势：光照变化主要影响L通道，而对a和b通道的影响相对较小。这意味着，只要物体本身的颜色不变，即使环境光变亮或变暗，我们在a-b平面设定的颜色阈值仍然有效，大大增强了算法的鲁棒性。

2.2 使用OpenMV IDE工具快速获取LAB阈值

OpenMV IDE内置了强大的阈值选择器，让调参过程变得可视化。下面是一个实战步骤：

1. 连接摄像头并运行帧缓冲区：将OpenMV连接电脑，打开IDE，运行一个基本的取图脚本。

   import sensor, image, time
   sensor.reset()
   sensor.set_pixformat(sensor.RGB565) # 必须设置为RGB565才能转换到LAB
   sensor.set_framesize(sensor.QVGA)
   sensor.skip_frames(time = 2000) # 让相机自动调节增益和白平衡
   sensor.set_auto_gain(False) # 关闭自动增益，颜色追踪必须关闭
   sensor.set_auto_whitebal(False) # 关闭自动白平衡，颜色追踪必须关闭
   clock = time.clock()
   while(True):
       clock.tick()
       img = sensor.snapshot()
       print(clock.fps())
   

2. 打开阈值选择器：在IDE右侧的“工具”区域，点击“阈值选择器”。将“色彩空间”从默认的“Grayscale”切换到“LAB”。
3. 框选目标颜色区域：在图像窗口中，用鼠标左键拖拽，框住你想要识别的颜色区域（例如一个红色积木）。
4. 读取阈值：观察下方出现的L、A、B三个直方图。直方图上方的六个数值，就是当前选中区域的LAB阈值范围 (minL, maxL, minA, maxA, minB, maxB)。IDE会自动生成对应的代码片段。

2.3 编写稳健的颜色识别代码

获取阈值后，将其应用到find_blobs()函数中。以下是一个识别红色物体的完整示例，并加入了面积过滤和多个色块排序的逻辑：

import sensor, image, time

# 步骤1中获取的红色LAB阈值示例，请根据实际环境调整
red_threshold = (20, 60, 25, 70, 10, 50) # (L_min, L_max, A_min, A_max, B_min, B_max)

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QQVGA) # 分辨率越低，处理速度越快
sensor.skip_frames(time=2000)
sensor.set_auto_gain(False)
sensor.set_auto_whitebal(False)

def find_largest_blob(blobs_list):
    """从找到的色块列表中，返回面积最大的一个"""
    max_area = 0
    largest_blob = None
    for b in blobs_list:
        if b.pixels() > max_area: # b[4] 也是像素数
            max_area = b.pixels()
            largest_blob = b
    return largest_blob

while(True):
    img = sensor.snapshot()
    # 寻找所有红色色块
    blobs = img.find_blobs([red_threshold], 
                           pixels_threshold=100,   # 忽略像素数少于100的噪声
                           area_threshold=100,     # 忽略面积过小的区域
                           merge=True)             # 合并相邻的色块
    if blobs:
        # 找到最大的色块
        target_blob = find_largest_blob(blobs)
        if target_blob:
            # 在图像上绘制矩形框和中心十字
            img.draw_rectangle(target_blob.rect(), color=(255,0,0))
            img.draw_cross(target_blob.cx(), target_blob.cy(), color=(0,255,0))
            # 获取中心坐标和像素面积，用于后续控制
            center_x = target_blob.cx()
            center_y = target_blob.cy()
            blob_area = target_blob.pixels()
            print("目标坐标: ({}, {}), 面积: {}".format(center_x, center_y, blob_area))
    else:
        print("未发现目标")

注意：find_blobs 函数返回的 blob 对象是一个包含多个属性的元组，常用索引包括：blob[0:4]是外接矩形 (x, y, w, h)，blob[4]是像素数，blob[5]和blob[6]是中心点坐标 (cx, cy)。使用 blob.cx() 等方法是更可读的调用方式。

3. 系统扩展：SD卡存储与固件管理

当项目超出简单的实时识别，需要记录日志、保存样本图片或运行更复杂的机器学习模型时，内置的Flash存储可能就不够用了。OpenMV支持通过MicroSD卡进行存储扩展。

3.1 SD卡的初始化与使用

OpenMV的文件系统遵循MicroPython的规范。插入SD卡后，系统会自动将其挂载为根目录。你可以像在电脑上一样进行文件操作。

import os
import sensor, image, time

# 检查SD卡是否挂载
try:
    # 尝试列出根目录，如果插了SD卡，根目录就是SD卡
    print("文件系统内容:", os.listdir('/'))
except OSError:
    print("无法访问根目录，可能未插入SD卡")

# 创建一个目录来存放图片
log_dir = '/capture_logs'
try:
    os.mkdir(log_dir)
except OSError:
    print("目录已存在或创建失败")

# 初始化摄像头
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=2000)

frame_count = 0
while(frame_count < 10): # 保存10张图片
    img = sensor.snapshot()
    # 构造文件名
    filename = '{}/img_{:03d}.jpg'.format(log_dir, frame_count)
    # 将图像保存为JPEG格式到SD卡
    img.save(filename, quality=90) # quality参数控制压缩质量
    print("已保存:", filename)
    frame_count += 1
    time.sleep_ms(500)

print("图片采集完成")

3.2 脱机运行与固件更新

OpenMV的一个便利特性是脱机运行。当你通过USB连接电脑时，电脑会识别出一个U盘（即OpenMV的内部Flash或SD卡）。将你的主程序命名为 main.py 并复制到这个U盘的根目录，然后拔掉USB线，用外部电源（如电池）给OpenMV供电，它就会自动运行 main.py 中的代码。

• 固件更新：同样通过这个U盘模式，你可以将下载好的新版本固件文件（通常是一个 .bin 文件）拖入U盘，重启后OpenMV会自动完成更新。
• 一键下载脚本：在OpenMV IDE中，点击工具栏的“将打开的脚本保存到OpenMV Cam（作为main.py）”按钮，可以快速将当前编辑的脚本设置为脱机运行的主程序。

4. 与STM32的UART通信协议设计与实现

视觉识别结果的最终价值，在于驱动执行机构。我们需要建立OpenMV与STM32之间可靠的数据通道。UART通信简单，但需要一套双方约定好的通信协议来确保数据解析的正确性。

4.1 设计一个简单的通信协议

一个健壮的协议至少应包含帧头、数据、校验和帧尾。这里设计一个用于发送目标坐标的协议：

• 帧头：2字节，固定为 0xAA 0xBB，用于标识一帧数据的开始。
• 数据长度：1字节，表示后面数据段的字节数。
• 数据段：包含实际要发送的信息。例如，我们可以发送目标状态、X坐标、Y坐标。
  • 状态 (1字节)：0xFF表示发现目标，0x00表示未发现。
  • X坐标 (2字节)：高字节在前，低字节在后。
  • Y坐标 (2字节)：高字节在前，低字节在后。
• 校验和：1字节，可以是前面所有字节（帧头、长度、数据）的累加和取低8位，用于验证数据在传输过程中是否出错。
• 帧尾：2字节，固定为 0xCC 0xDD。

一帧完整的数据可能如下（十六进制）： AA BB 05 FF 01 40 00 F0 2A CC DD 解释：帧头AA BB，数据长度05，数据FF 01 40 00 F0（状态FF，X=0x0140(320)，Y=0x00F0(240)），校验和2A，帧尾CC DD。

4.2 OpenMV端发送代码实现

在OpenMV上，我们使用 pyb.UART 模块来发送封装好的数据帧。

import sensor, image, time, pyb
import struct # 用于处理二进制数据打包

# 初始化UART3，波特率115200
uart = pyb.UART(3, 115200, timeout_char=1000)

# ... (摄像头初始化、颜色阈值定义等代码与之前相同) ...

def send_data_via_uart(status, x, y):
    """将状态和坐标打包并通过UART发送"""
    # 帧头
    frame_header = b'\xAA\xBB'
    # 数据段: 状态(1B) + X(2B) + Y(2B)
    data = struct.pack('<BHH', status, x, y) # '<'表示小端字节序，B:无符号字符，H:无符号短整型
    data_length = len(data) # 应为5
    # 计算校验和 (帧头2字节 + 长度1字节 + 数据N字节)
    checksum = 0
    for byte in frame_header:
        checksum += byte
    checksum += data_length
    for byte in data:
        checksum += byte
    checksum = checksum & 0xFF # 取低8位
    # 帧尾
    frame_tail = b'\xCC\xDD'
    # 组装完整帧
    frame = frame_header + bytes([data_length]) + data + bytes([checksum]) + frame_tail
    uart.write(frame)
    # print("发送:", frame) # 调试用

while(True):
    img = sensor.snapshot()
    blobs = img.find_blobs([red_threshold], pixels_threshold=100, merge=True)
    if blobs:
        target_blob = find_largest_blob(blobs)
        if target_blob:
            img.draw_rectangle(target_blob.rect())
            img.draw_cross(target_blob.cx(), target_blob.cy())
            # 发送数据：状态=0xFF (发现目标)，坐标
            send_data_via_uart(0xFF, target_blob.cx(), target_blob.cy())
    else:
        # 未发现目标，发送特定状态码，坐标可设为0
        send_data_via_uart(0x00, 0, 0)
    time.sleep_ms(50) # 控制发送频率，避免串口缓冲区溢出

4.3 STM32端接收与解析代码示例（HAL库）

在STM32端，我们需要在串口中断服务程序中接收数据，并按照协议进行解析。以下是一个简化的示例框架：

// stm32fxx_it.c 或自定义通信模块
#define FRAME_HEADER_1 0xAA
#define FRAME_HEADER_2 0xBB
#define FRAME_TAIL_1   0xCC
#define FRAME_TAIL_2   0xDD

typedef enum {
  STATE_HEADER1,
  STATE_HEADER2,
  STATE_LENGTH,
  STATE_DATA,
  STATE_CHECKSUM,
  STATE_TAIL1,
  STATE_TAIL2
} UART_ParseState;

typedef struct {
  uint8_t status;
  uint16_t posX;
  uint16_t posY;
} VisionData_t;

VisionData_t g_visionData;
UART_ParseState g_parseState = STATE_HEADER1;
uint8_t g_rxBuffer[32];
uint8_t g_dataIndex = 0;
uint8_t g_expectedLength = 0;
uint8_t g_calculatedChecksum = 0;

void UART3_RxCpltCallback(void) {
  uint8_t rxByte = huart3.Instance->RDR; // 读取接收到的字节
  static uint8_t dataCount = 0;

  switch(g_parseState) {
    case STATE_HEADER1:
      if(rxByte == FRAME_HEADER_1) {
        g_calculatedChecksum = rxByte;
        g_parseState = STATE_HEADER2;
      }
      break;
    case STATE_HEADER2:
      if(rxByte == FRAME_HEADER_2) {
        g_calculatedChecksum += rxByte;
        g_parseState = STATE_LENGTH;
      } else {
        g_parseState = STATE_HEADER1; // 同步失败，重新开始
      }
      break;
    case STATE_LENGTH:
      g_expectedLength = rxByte;
      g_calculatedChecksum += rxByte;
      g_dataIndex = 0;
      if(g_expectedLength > 0 && g_expectedLength < sizeof(g_rxBuffer)) {
        g_parseState = STATE_DATA;
      } else {
        g_parseState = STATE_HEADER1; // 长度异常，丢弃
      }
      break;
    case STATE_DATA:
      g_rxBuffer[g_dataIndex++] = rxByte;
      g_calculatedChecksum += rxByte;
      if(g_dataIndex >= g_expectedLength) {
        g_parseState = STATE_CHECKSUM;
      }
      break;
    case STATE_CHECKSUM:
      if(rxByte == (g_calculatedChecksum & 0xFF)) {
        g_parseState = STATE_TAIL1;
      } else {
        g_parseState = STATE_HEADER1; // 校验失败，丢弃本帧
        // 可以在此处增加错误计数
      }
      break;
    case STATE_TAIL1:
      if(rxByte == FRAME_TAIL_1) {
        g_parseState = STATE_TAIL2;
      } else {
        g_parseState = STATE_HEADER1;
      }
      break;
    case STATE_TAIL2:
      if(rxByte == FRAME_TAIL_2) {
        // 帧接收完整且正确，解析数据
        parseVisionData(g_rxBuffer, g_expectedLength);
      }
      g_parseState = STATE_HEADER1; // 无论对错，解析完一帧后都回到初始状态
      break;
    default:
      g_parseState = STATE_HEADER1;
      break;
  }
}

void parseVisionData(uint8_t* data, uint8_t len) {
  if(len == 5) { // 对应 status(1) + X(2) + Y(2)
    g_visionData.status = data[0];
    g_visionData.posX = (data[1] << 8) | data[2]; // 合并高8位和低8位
    g_visionData.posY = (data[3] << 8) | data[4];
    
    // 根据状态和数据控制小车
    if(g_visionData.status == 0xFF) {
      // 发现目标，根据posX, posY计算电机PWM差速，使目标处于图像中心
      // controlCar(g_visionData.posX, g_visionData.posY);
    } else {
      // 未发现目标，执行搜索或停止动作
      // searchOrStop();
    }
  }
}

4.4 调试技巧与常见问题

• 使用逻辑分析仪或USB转串口工具：在开发初期，强烈建议将OpenMV的TX线同时接到STM32和另一个USB转串口模块上，用电脑上的串口助手（如Putty、SecureCRT）直接查看OpenMV发出的原始数据，验证协议格式是否正确。
• 添加调试输出：在OpenMV代码中，将准备发送的字节数组打印出来，与STM32端接收到的进行比对。
• 处理数据粘包：我们的协议设计了帧头帧尾，能有效解决粘包问题。确保STM32的解析状态机在任何一个环节校验失败时，都能正确复位到寻找帧头的状态。
• 波特率匹配：务必确认OpenMV和STM32的串口初始化波特率、数据位、停止位、校验位完全一致。
• 电源共地：确保OpenMV和STM32的GND连接在一起，这是通信稳定的基础。

5. 系统集成与性能优化

当各个模块单独调试通过后，将它们集成到小车上进行联调才是真正的挑战。这里有几个从实际项目中总结出的要点。

坐标系转换：OpenMV返回的是图像像素坐标 (cx, cy)，原点在图像左上角。而小车控制需要的是以小车为中心的世界坐标或相对坐标。你需要建立一个映射关系。例如，假设摄像头朝前正装，图像中心点 (img.width()/2, img.height()) 可能对应小车正前方地面上的某一点。目标像素的横向偏移 cx - img.width()/2 可以转换为小车的转向角或差速。

控制策略：一个简单的循迹或追踪策略是PID控制。将目标在图像中的横向偏差作为PID控制器的输入，输出用于调整左右轮的速度差。在STM32中实现一个简单的PD控制器往往就能获得不错的效果。

// 简化的PD控制器示例
int32_t calculateTurnPWM(int32_t error, int32_t last_error) {
    float Kp = 0.8f; // 比例系数
    float Kd = 0.2f; // 微分系数
    int32_t turn = (int32_t)(Kp * error + Kd * (error - last_error));
    // 限制输出范围
    turn = (turn > MAX_TURN) ? MAX_TURN : turn;
    turn = (turn < -MAX_TURN) ? -MAX_TURN : turn;
    return turn;
}

帧率与实时性的平衡：更高的图像分辨率能提供更精确的坐标，但会降低处理帧率。对于移动的小车，通常 QQVGA (160x120) 或 QVGA (320x240) 是兼顾精度和速度的折中选择。在OpenMV代码中，可以通过 sensor.set_framesize() 设置，并通过 clock.fps() 监控实际帧率。

环境光干扰处理：尽管LAB空间对光照有一定鲁棒性，但极端的光照变化（如从室内到室外）仍会干扰。可以考虑：

1. 自动曝光/增益限制：虽然颜色追踪时要关闭自动白平衡，但可以尝试使用sensor.set_auto_exposure()并设置一个合理的曝光上限，防止图像过曝。
2. 多阈值切换：针对不同的光照环境（如强光、弱光），准备多组LAB阈值，根据图像的平均亮度 img.get_statistics().l_mean() 动态切换。
3. 增加光源：对于工业场景，为系统增加一个稳定的、颜色温度已知的LED光源是最有效的方法，可以彻底消除环境光的影响。

机械与视觉的协同：最后，也是最容易忽略的一点，是机械结构的刚性。摄像头哪怕微小的晃动，在图像上都会表现为巨大的坐标跳跃。确保摄像头安装牢固，并考虑使用减震材料。如果使用云台，需要将云台舵机的控制周期与视觉处理周期同步，避免系统震荡。

将OpenMV与MicroPython应用于智能小车分拣项目，其魅力在于快速迭代和验证想法的能力。从硬件选型开始，每一个选择都关乎最终系统的稳定性；在LAB空间里反复调试阈值的过程，是对光照不变性理解的深化；设计并实现UART通信协议，则是嵌入式系统开发中模块解耦的经典实践。当小车最终能准确识别并追踪目标时，你会发现，这套低成本方案所释放的潜能，远超预期。