1. 项目概述

这个基于Python和OpenCV的疲劳检测系统是我在计算机视觉领域的一次实践探索。系统通过分析用户面部特征（如眼睛状态、哈欠频率）来判断疲劳程度，可应用于驾驶员监控、安全生产等场景。核心功能包括实时人脸检测、疲劳特征提取、数据分析可视化等模块。

系统采用B/S架构，前端使用HTML+CSS+JavaScript构建用户界面，后端采用Python Flask框架处理业务逻辑，OpenCV负责图像处理算法实现，MySQL作为数据存储方案。这种技术组合既保证了算法的高效执行，又提供了友好的用户交互体验。

提示：在实际开发中，我发现OpenCV的DNN模块与Haar级联分类器各有优劣，后文会详细对比两者的性能差异和使用场景。

2. 核心技术解析

2.1 OpenCV人脸检测实现

系统采用OpenCV提供的预训练模型进行人脸检测。经过对比测试，最终选择了基于ResNet的Caffe模型：

# 加载预训练模型
face_net = cv2.dnn.readNetFromCaffe(
    "deploy.prototxt", 
    "res10_300x300_ssd_iter_140000.caffemodel"
)

def detect_faces(image):
    blob = cv2.dnn.blobFromImage(cv2.resize(image, (300, 300)), 1.0, 
                               (300, 300), (104.0, 177.0, 123.0))
    face_net.setInput(blob)
    detections = face_net.forward()
    return detections

相比传统的Haar特征分类器，DNN方法具有以下优势：

1. 检测精度提高约15-20%
2. 对侧脸和部分遮挡情况更鲁棒
3. 支持GPU加速，处理速度提升3-5倍

2.2 疲劳特征提取算法

系统通过三个维度的特征综合判断疲劳状态：

1. 眼睛闭合检测 ：

def eye_aspect_ratio(eye):
    # 计算眼睛纵横比(EAR)
    A = dist.euclidean(eye[1], eye[5])
    B = dist.euclidean(eye[2], eye[4])
    C = dist.euclidean(eye[0], eye[3])
    return (A + B) / (2.0 * C)

2. 哈欠检测 ：

• 通过嘴部纵横比(MAR)计算
• 结合嘴唇轮廓变化频率分析

3. 头部姿态估计 ：

• 使用solvePnP算法估计头部偏转角度
• 持续低头超过阈值视为疲劳信号

注意：实际测试中发现，EAR阈值设为0.25时误报率最低。不同人种的眼部特征差异可能需要调整该参数。

3. 系统架构设计

3.1 数据库设计

系统采用MySQL 8.0存储以下核心数据表：

表名	字段	说明
users	id, username, password, phone	用户基本信息
detection_records	id, user_id, image_path, is_tired	检测记录
eye_stats	record_id, left_ear, right_ear, timestamp	眼部数据
mouth_stats	record_id, mar, is_yawn	嘴部数据

ER关系图显示各实体间的关联关系，用户与检测记录为一对多关系，检测记录与详细数据为一对一关系。

3.2 前后端交互流程

1. 前端通过Webcam API获取视频流
2. 按帧发送到后端处理（默认2FPS）
3. 后端返回包含以下数据的JSON响应：

{
    "face_detected": true,
    "eye_status": "open",
    "yawn_count": 2,
    "fatigue_level": "medium"
}

4. 前端根据响应数据更新可视化图表

4. 关键功能实现

4.1 实时视频处理优化

为提高性能，采用多线程处理模式：

from threading import Thread
from queue import Queue

class VideoStream:
    def __init__(self, src=0):
        self.stream = cv2.VideoCapture(src)
        self.stopped = False
        self.Q = Queue(maxsize=128)
        
    def start(self):
        Thread(target=self.update, args=()).start()
        return self
        
    def update(self):
        while True:
            if self.stopped:
                return
            if not self.Q.full():
                ret, frame = self.stream.read()
                self.Q.put(frame)

这种设计使得视频采集和算法处理可以并行执行，实测帧率提升40%以上。

4.2 疲劳判定算法

综合评分公式：

疲劳分数 = 0.6×EAR得分 + 0.3×MAR得分 + 0.1×头部姿态得分

评分规则：

• 0-0.3：清醒状态
• 0.3-0.6：轻度疲劳
• 0.6-1.0：严重疲劳

5. 系统部署与测试

5.1 环境配置要求

硬件建议配置：

• CPU：Intel i5及以上
• 内存：8GB+
• 摄像头：支持720p@30fps

软件依赖：

pip install opencv-python==4.5.5.64
pip install flask==2.0.3
pip install mysql-connector-python==8.0.28

5.2 性能测试数据

在标准测试环境下（i5-10300H，8GB内存）：

功能模块	平均耗时(ms)	峰值内存(MB)
人脸检测	120±15	350
眼部分析	80±10	150
嘴部分析	60±8	120
完整流程	260±30	620

6. 常见问题与解决方案

6.1 检测精度问题

问题现象 ：在弱光环境下误报率升高

解决方案 ：

1. 添加直方图均衡化预处理

gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
gray = cv2.equalizeHist(gray)

2. 使用自适应阈值替代固定阈值
3. 增加红外摄像头支持

6.2 系统延迟问题

优化措施 ：

1. 采用帧采样策略（每3帧处理1帧）
2. 启用OpenCV的IPPICV优化
3. 对于连续检测场景，使用运动区域检测缩小处理范围

7. 扩展功能建议

1. 移动端适配 ：

• 开发React Native跨平台应用
• 利用MNN框架加速模型推理

2. 云端部署方案 ：

# 使用Flask-RESTful构建API
from flask_restful import Resource, Api

api = Api(app)
class FatigueDetection(Resource):
    def post(self):
        # 处理上传的图像
        return {'result': analysis_data}

api.add_resource(FatigueDetection, '/api/detect')

3. 数据统计分析 ：

• 集成Matplotlib自动生成周/月报告
• 添加疲劳时间分布热力图

在实际部署中发现，系统在标准办公照明条件下（>300lux）表现最佳。对于特殊场景（如驾驶员监控），建议增加以下改进：

1. 针对不同人种建立特征参数库
2. 添加环境光传感器自动调节参数
3. 开发硬件加速版本（如Jetson Nano部署）