Matlab与Python混合编程：调用ResNet101人脸检测模型

如果你习惯了用Matlab做算法原型，画图、处理矩阵数据得心应手，但一遇到深度学习模型，特别是那些用PyTorch或TensorFlow训练好的“大家伙”，是不是就有点犯难了？想把一个现成的、效果不错的人脸检测模型集成到你的Matlab工作流里，是不是感觉中间隔着一堵墙？

别担心，这堵墙其实有门。今天，我们就来聊聊怎么在Matlab里，优雅地调用一个部署好的ResNet101人脸检测模型。你不用把模型重写成Matlab代码，也不用折腾复杂的格式转换。核心思路就是：让Matlab和Python握个手，数据你递给我，我算完还给你。

1. 为什么要在Matlab里调用Python模型？

你可能会有疑问：Matlab不是有自己的深度学习工具箱吗？为什么还要绕道Python？原因很实际。

首先，生态差异。Python的深度学习生态，特别是PyTorch和TensorFlow，在模型的前沿性、社区活跃度和预训练模型库的丰富程度上，目前有着显著优势。像我们今天要用的cv_resnet101_face-detection这类专门优化的模型，很可能首发或只提供PyTorch版本。

其次，避免重复劳动。你已经有一个在Python环境下部署好、测试通过的模型，效果和性能都符合要求。如果只是为了在Matlab里用，就去重新训练、转换或者寻找替代品，成本太高。

最后，发挥各自长处。Matlab在矩阵运算、信号处理、控制系统仿真和快速原型可视化方面非常强大。而Python在深度学习模型调用和数据预处理流水线上很灵活。混合编程让你能在Matlab舒适的原型开发环境中，直接享用Python的模型能力，实现“1+1>2”的效果。

简单来说，这就是让专业的工具做专业的事，然后通过一个轻量的桥梁把它们连接起来。

2. 混合编程的核心：Matlab的Python接口

Matlab早就为我们准备好了与Python交互的官方接口，核心是 py 对象。这个接口允许你：

• 在Matlab中直接调用Python函数。
• 访问Python模块、类和对象。
• 在Matlab和Python之间传递数据。

2.1 环境准备：确保桥梁稳固

在开始写代码之前，需要先确认你的“施工环境”合格。

第一步：检查Matlab的Python版本兼容性 打开Matlab，在命令行输入：

pyenv

这条命令会显示当前Matlab关联的Python解释器信息。你需要确保这里指向的Python环境，就是你安装好了深度学习框架（如PyTorch）和cv_resnet101_face-detection模型依赖的环境。

如果显示“未设置”或指向了错误的Python（比如系统自带的Python），你需要设置正确的路径：

pe = pyenv('Version', 'C:\Python39\python.exe'); % Windows示例
% 或者
pe = pyenv('Version', '/usr/bin/python3.9'); % Linux/macOS示例

注意：设置通常需要重启Matlab才能生效。

第二步：在Python环境中准备好模型 假设你的Python环境已经准备好了。你需要确保能在这个环境中成功运行类似下面的代码：

import torch
import cv2
# 假设模型是通过某种方式加载的，例如 torch.hub
model = torch.hub.load('pytorch/vision', 'resnet101', pretrained=True)
# 或者是你自定义的检测模型
# model = load_your_face_detection_model()

我们的目标，就是让Matlab能间接执行这样的Python代码。

3. 实战：在Matlab中调用人脸检测模型

理论说完了，我们来看具体怎么做。整个过程可以分解为三个步骤：数据过去、模型计算、结果回来。

3.1 第一步：将Matlab图像数据转换为Python可读格式

Matlab中图像通常以 uint8 类型的 H x W x C 矩阵存储（例如480x640x3的RGB图像）。而Python中常用的库（如OpenCV, PIL, PyTorch）期待的数组格式是NumPy的 ndarray。

幸运的是，Matlab数组可以直接传递给Python，并自动被转换为NumPy数组。但为了确保万无一失，特别是颜色通道顺序（Matlab是RGB，OpenCV默认BGR），我们最好做一下显式处理和检查。

% 假设你有一张Matlab读取的图片 I
I = imread('test_face.jpg');
imshow(I); title('原始图像');

% 将uint8图像矩阵直接传递给Python，Matlab会自动转换。
% 但为了后续处理方便，我们可以先确保它是正确的类型和范围。
image_data = I; % H x W x C, uint8, RGB

% 可选：如果你知道模型需要特定的预处理（如归一化、尺寸调整），
% 可以在这里用Matlab完成，或者稍后在Python脚本里做。
% 例如，调整大小：
target_size = [224, 224]; % 假设模型输入需要224x224
I_resized = imresize(I, target_size);
image_data = I_resized;

3.2 第二步：编写并调用Python推理函数

这是最关键的一步。我们不推荐在Matlab命令行里一句句地拼凑复杂的Python模型调用代码。更好的做法是：将完整的模型加载和推理过程，封装在一个独立的Python函数中，然后由Matlab去调用这个函数。

创建一个名为 face_detector.py 的Python文件，内容如下：

# face_detector.py
import sys
import numpy as np
# 注意：这里导入你的模型相关库，例如torch, torchvision等
# 假设我们有一个虚拟的检测函数，实际中替换为你的模型调用
import cv2

def detect_faces_numpy(image_np):
    """
    在Matlab中调用的核心函数。
    参数:
        image_np: 一个numpy数组，形状为(H, W, C)，RGB顺序，uint8类型。
    返回:
        results: 一个Python字典或列表，包含检测结果，如边框、置信度。
                返回的数据结构要能被Matlab良好地转换。
    """
    # 1. 将RGB转换为BGR（如果模型需要OpenCV的BGR格式）
    # image_bgr = cv2.cvtColor(image_np, cv2.COLOR_RGB2BGR)
    
    # 2. 这里应该是你实际的模型推理代码
    # 例如：
    # inputs = preprocess(image_bgr) # 预处理（缩放、归一化、转Tensor等）
    # with torch.no_grad():
    #     predictions = model(inputs)
    # boxes, scores = postprocess(predictions) # 后处理（解码边框、NMS等）
    
    # 3. 为了演示，我们这里模拟一个检测结果。
    # 假设检测到一张脸，边框为 [x_min, y_min, x_max, y_max]，置信度0.95
    h, w = image_np.shape[:2]
    # 模拟一个位于图像中央的边框
    box = [w*0.25, h*0.25, w*0.75, h*0.75]
    score = 0.95
    
    # 4. 将结果组织成Python原生类型（列表、字典、元组），便于Matlab转换
    # 避免返回复杂的自定义Python对象，除非你知道如何在Matlab中处理它们。
    results = {
        'boxes': [box], # 多个边框就是列表的列表
        'scores': [score],
        'labels': ['face']
    }
    
    return results

# 以下部分可用于本地测试这个Python脚本
if __name__ == '__main__':
    # 生成一个随机图像进行测试
    test_img = np.random.randint(0, 255, (480, 640, 3), dtype=np.uint8)
    result = detect_faces_numpy(test_img)
    print(result)

重点：这个Python函数是你的“模型服务端点”。它接收NumPy数组，返回简单数据结构（字典、列表、数字、字符串），这样Matlab才能无缝解析。

3.3 第三步：在Matlab中调用函数并处理结果

现在，回到Matlab。

% 将Python文件所在目录添加到路径（如果不在当前目录）
if count(py.sys.path, '你的python脚本路径') == 0
    insert(py.sys.path, int32(0), '你的python脚本路径');
end

% 导入我们写好的Python模块
face_module = py.importlib.import_module('face_detector');
% 重载模块（如果你修改了.py文件，需要重载）
py.importlib.reload(face_module);

% 准备图像数据（接上面的 image_data）
% 调用Python函数
py_results = face_module.detect_faces_numpy(image_data);

% 现在 py_results 是一个Python字典，需要将其转换为Matlab可方便操作的类型
results = struct(py_results); % 将Python字典转为Matlab结构体

% 提取检测框和分数
% 注意：Python的列表在Matlab中可能会变成cell数组，元组也会变cell。
% 我们返回的‘boxes’是一个列表，里面包含一个列表。
boxes_cell = cell(results.boxes); % 先转成cell
if ~isempty(boxes_cell)
    first_box_cell = boxes_cell{1}; % 取出第一个检测框的cell
    bbox = double(first_box_cell); % 将cell内的元组/列表转为double数组 [x1, y1, x2, y2]
    score = double(results.scores{1});
    
    % 在图像上绘制检测框
    figure;
    imshow(I_resized); hold on; % 显示调整大小后的图像
    rectangle('Position', [bbox(1), bbox(2), bbox(3)-bbox(1), bbox(4)-bbox(2)], ...
              'EdgeColor', 'g', 'LineWidth', 2);
    text(bbox(1), bbox(2)-5, sprintf('Face: %.2f', score), ...
         'Color', 'g', 'FontSize', 10, 'FontWeight', 'bold');
    title('Matlab中显示的人脸检测结果');
    hold off;
else
    disp('未检测到人脸。');
end

4. 处理复杂数据与提升稳健性

上面的例子是一个最简单的演示。实际应用中，你可能会遇到更多挑战。

4.1 数据类型与结构的转换

Matlab和Python的数据类型并非总能一一对应。需要特别注意：

• Python None：在Matlab中会变成 py.None 类型，判断时用 isempty() 可能不行，需要用 isa(py_var, ‘py.NoneType’)。
• NumPy标量：Python函数返回的一个 np.float32 标量，在Matlab里可能是一个 1x1 py.numpy.ndarray。使用 double(py_var) 或 int32(py_var) 来提取数值。
• 列表与元组：如上面代码所示，通常先转为 cell 数组再处理。
• 自定义对象：尽量避免直接返回复杂的模型对象（如PyTorch的Tensor）。应在Python函数内完成所有计算，只返回最终的基本数据。

4.2 错误处理与调试

混合编程的调试相对复杂。一个好习惯是先在纯Python环境下将整个推理流程跑通，确保 face_detector.py 脚本单独运行是成功的。

在Matlab中，可以用 try-catch 块捕获错误：

try
    py_results = face_module.detect_faces_numpy(image_data);
catch ME
    disp('调用Python函数时出错:');
    disp(ME.message);
    % 可以尝试打印更详细的Python错误
    py_error = py.getattr(ME.ExceptionObject, '__str__');
    disp(char(py_error()));
    return;
end

4.3 性能考量

频繁通过 py 接口调用Python函数会有一定的开销，尤其是对于需要处理大量图片或视频流的场景。

优化建议：

1. 批量处理：修改你的Python函数，使其能接受一个图像列表（例如，一个形状为 N x H x W x C 的NumPy数组）并返回批量结果，减少调用次数。
2. 持久化模型：不要在每次调用函数时都加载模型。可以利用Python的模块特性，将模型加载放在模块全局范围。在 face_detector.py 中：

   # 在模块层面加载模型（单例）
   _model = None
   
   def get_model():
       global _model
       if _model is None:
           print("Loading model...")
           # 加载你的ResNet101人脸检测模型
           # _model = torch.hub.load(...)
           pass # 替换为实际加载代码
       return _model
   
   def detect_faces_numpy(image_np):
       model = get_model() # 首次调用时加载，后续复用
       # ... 使用model进行推理 ...
   

   这样，模型只在第一次调用时加载，后续调用复用，速度会快很多。

5. 更完整的应用场景示例

假设你是一个做视频分析的研究员，你想用Matlab强大的视频读写和可视化工具，但核心检测算法想用Python的先进模型。

你可以这样组织你的Matlab脚本：

% main_face_detection_video.m
% 1. 初始化Python检测器
detector = py.importlib.import_module('face_detector_video'); % 一个更复杂的版本
py.importlib.reload(detector);

% 2. 用Matlab读取视频
video_reader = VideoReader('test_video.mp4');
video_player = vision.VideoPlayer('Name', 'Face Detection Demo');

% 3. 逐帧处理
while hasFrame(video_reader)
    frame = readFrame(video_reader); % Matlab图像矩阵
    
    % 4. 调用Python模型进行检测
    tic;
    py_results = detector.detect_faces_in_frame(frame);
    inference_time = toc;
    
    % 5. 在Matlab中解析结果并绘制
    results = struct(py_results);
    if ~isempty(cell(results.boxes))
        boxes_mat = cellfun(@double, cell(results.boxes), 'UniformOutput', false);
        for i = 1:length(boxes_mat)
            bbox = boxes_mat{i};
            % 使用Matlab的insertObjectAnnotation或rectangle绘制
            frame = insertObjectAnnotation(frame, 'rectangle', ...
                                            [bbox(1), bbox(2), bbox(3)-bbox(1), bbox(4)-bbox(2)], ...
                                            'Face', 'Color', 'green');
        end
    end
    
    % 6. 显示帧率等信息
    frame = insertText(frame, [10, 10], sprintf('FPS: %.1f', 1/inference_time), ...
                       'FontSize', 16, 'BoxColor', 'black', 'TextColor', 'white');
    
    % 7. 用Matlab的视频播放器显示
    step(video_player, frame);
end

release(video_player);

在这个流程中，Matlab负责“管家”工作（IO、显示、流程控制），Python负责“专家”工作（运行复杂的深度学习模型），各司其职，协作流畅。

6. 总结

走完这一趟，你会发现，在Matlab里调用Python的ResNet101人脸检测模型，并没有想象中那么神秘和困难。核心就是利用好 py 这个官方桥梁，做好数据格式的“翻译官”，并把复杂的模型调用逻辑封装在Python那一侧。

这种方法最大的好处是灵活。你不需要等待某个模型被移植到Matlab，可以直接利用Python社区海量的、最新的预训练模型。这对于算法原型验证、快速构建演示系统来说，效率提升是非常明显的。

当然，它也不是银弹。对于追求极致性能、需要部署到嵌入式等独立环境的最终产品，你可能还是需要考虑将模型转换为ONNX并用Matlab直接推理，或者用C/C++重写。但对于研发和原型阶段，Matlab+Python的混合编程模式，无疑是一把打开更多可能性的钥匙。

下次当你在Matlab项目中遇到一个棘手的、但Python生态里有现成解决方案的问题时，不妨想想今天这个方法。或许，它就能帮你优雅地跨过那道坎。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。