AI Agent Harness实时视频流交互管控：技术架构、核心算法与行业落地全解析

引言

痛点引入

你是否在以下场景中遇到过棘手的问题？

1. 安防监控盲区响应慢、误报漏报多：传统NVR（网络视频录像机）系统依赖规则引擎或简单的YOLO目标检测，误触风吹草动、光线变化触发的“幽灵警报”占比高达80%以上；园区、银行金库、仓库等关键区域虽部署了多个摄像头，但需要专人24小时盯着屏幕轮询，真正出现可疑人员入侵、设备故障、火灾苗头时，往往错过了黄金30秒处置窗口。
2. 工业质检效率低、人力成本高：汽车零部件、半导体晶圆、光伏电池片等精密制造领域，目前仍有超过60%的表面缺陷检测依赖人工肉眼+显微镜，不仅单条产线需要配备10-20名质检员，而且长时间工作会导致视觉疲劳，漏检率最高可达3%，单条汽车冲压件产线每年因漏检造成的返工、报废、客户索赔损失超千万。
3. 无人值守场景交互混乱、管控能力弱：无人便利店、无人快递柜、无人停车场虽然普及，但遇到设备卡壳、物品遗落、恶意破坏等问题时，用户投诉率居高不下——无人便利店门打不开但扣费成功，无人快递柜取件码无效却显示已取件，无人停车场车牌识别错误导致堵门半小时……现有的客服电话、APP申诉流程繁琐，无法实现“实时感知-实时分析-实时交互-实时处置”的闭环。
4. 多模态AI Agent协作效率低、接入视频流成本高：近年来虽然大语言模型（LLM）、多模态大语言模型（VLM）、强化学习（RL）等AI技术快速发展，但要将这些离散的AI模块接入到实时视频流场景，还需要做大量的“胶水代码”：比如需要对接不同品牌的摄像头协议（RTSP/RTMP/GB28181/WebRTC）、处理视频流的编解码与帧率适配、设计跨Agent的任务调度机制、处理视频帧与自然语言/语音指令的对齐……这些工作不仅技术门槛高，而且开发周期长（通常需要3-6个月），维护成本更是无法估量。

解决方案概述

AI Agent Harness实时视频流交互管控平台（以下简称“Harness平台”）正是为了解决上述痛点而生的。它是一个低代码、高可扩展、端边云协同的平台，核心思想是将离散的AI能力（VLM目标检测/跟踪/分割、LLM自然语言理解/推理、RL任务规划/执行、TTS/ASR语音交互、SLAM定位导航等）封装成标准化的“AI Agent单元”，同时提供统一的视频流接入、编解码、预处理、存储、分发模块，以及智能的任务调度、跨Agent协作、可视化交互机制。

Harness平台的核心优势包括：

1. 视频流接入零代码：内置了100+主流摄像头/编码器协议（RTSP、RTMP、GB28181-2022、WebRTC、ONVIF、海康威视ISAPI、大华DSS等），支持通过拖拽式配置接入不同品牌、不同分辨率、不同帧率的视频流，无需编写一行代码。
2. AI Agent单元可插拔：内置了50+标准化的AI Agent单元（比如YOLOv8-TargetDetect、SAM-Segment、GPT-4o-VLM、Claude-3-Opus-RAG、DeepSeek-RL-Planner、百度飞桨ASR-TTS、ORB-SLAM3等），支持通过API接口或Python SDK自定义Agent单元，Agent单元之间可以通过消息总线进行实时协作。
3. 端边云协同高效灵活：可以根据不同场景的需求，将AI推理任务部署在云端（算力充足但延迟较高）、边缘端（算力有限但延迟极低，比如NVIDIA Jetson Xavier NX、华为Atlas 200 DK、瑞芯微RK3588等）或本地端（PC端/移动端，算力适中延迟可控），平台会自动进行任务调度和负载均衡。
4. 闭环交互管控能力强：支持“实时视频流感知→AI Agent分析决策→多模态交互反馈（语音、短信、APP推送、视频弹窗、物理设备控制）→处置结果验证→知识库更新”的完整闭环，误报漏报率可以降低到1%以下，黄金处置窗口从30秒缩短到1秒以内。
5. 可视化开发与监控友好：提供了基于Web的拖拽式流程编排界面，用户可以像搭积木一样快速搭建视频流交互管控场景；同时提供了实时的视频流监控、Agent状态监控、任务执行日志、统计报表等功能，方便用户进行运维和优化。

最终效果展示

为了让读者更直观地了解Harness平台的功能，我们先展示几个实际落地的场景效果：

场景1：智慧园区安防监控

智慧园区部署了200+海康威视和大华的摄像头，接入Harness平台后，通过拖拽式配置搭建了“可疑人员入侵检测→跟踪→身份识别（人脸识别+车牌识别+工作服识别）→LLM推理（是否在白名单内、是否携带违禁物品、是否需要进一步确认）→语音交互（如果是白名单访客，自动播放欢迎词并指引路线；如果是可疑人员，自动播放警告语并通知安保人员）→物理设备控制（自动关闭园区大门、开启入侵区域的探照灯和警报器）→处置结果验证（通过摄像头跟踪可疑人员是否离开园区，验证探照灯和警报器是否正常工作）→知识库更新（将可疑人员的特征、入侵路径、处置结果存入知识库，优化后续的检测和推理）”的完整闭环。

效果数据：误触率从82%降低到0.8%，漏检率从5%降低到0.2%，安保人员的工作量减少了90%，黄金处置窗口从45秒缩短到0.8秒。

场景2：汽车冲压件表面缺陷检测

汽车冲压件产线部署了10+高分辨率工业相机，接入Harness平台后，通过拖拽式配置搭建了“实时视频流采集→边缘端预处理（去噪、对比度增强、帧率适配）→YOLOv8-Segment缺陷分割→SAM细化分割→GPT-4o-VLM缺陷分类（分为划伤、凹陷、裂纹、变形、污渍5大类，每大类又分为10-20小类）→RL-Planner缺陷评估（根据缺陷的位置、大小、类型评估是否需要返工、报废或放行）→TTS语音通知质检员（如果需要进一步确认，自动播放缺陷的位置、大小、类型，并指引质检员到对应的工位）→工业机器人控制（如果需要返工，自动控制工业机器人将冲压件送到返工工位；如果需要报废，自动控制工业机器人将冲压件送到报废箱）→处置结果验证（通过工业相机验证冲压件是否被送到对应的工位，验证返工后的冲压件是否符合要求）→知识库更新（将缺陷的图像、分类结果、评估结果、处置结果存入知识库，优化后续的分割、分类和评估算法）”的完整闭环。

效果数据：单条产线的质检员从18名减少到2名（仅负责复杂缺陷的确认），检测速度从每秒1件提升到每秒10件，漏检率从2.8%降低到0.15%，单条产线每年因漏检造成的损失从1200万元降低到80万元。

场景3：无人便利店智能交互

无人便利店部署了5+普通摄像头和1+高分辨率全景摄像头，接入Harness平台后，通过拖拽式配置搭建了“实时视频流采集→本地端SLAM定位导航→边缘端YOLOv8-TargetDetect跟踪顾客和商品→DeepSeek-RL-Planner任务规划（顾客进门时规划欢迎路线，顾客购物时规划商品推荐路线，顾客结账时规划结账路线）→GPT-4o-VLM商品识别和计价（识别顾客手中的商品，计算总价）→ASR语音交互（顾客可以用自然语言询问商品的位置、价格、保质期等，平台会自动回答；顾客也可以用自然语言要求开门、退款等，平台会自动推理并执行）→TTS语音反馈→支付系统对接（支持支付宝、微信、银联等多种支付方式）→物理设备控制（自动控制门禁、灯光、空调、冰箱等）→处置结果验证（通过摄像头验证顾客是否成功进门、购物、结账、离开，验证支付是否成功，验证物理设备是否正常工作）→知识库更新（将顾客的购物记录、语音指令、问题反馈存入知识库，优化后续的推荐、推理和交互算法）”的完整闭环。

效果数据：无人便利店的用户投诉率从12%降低到0.5%，顾客的平均购物时间从15分钟缩短到8分钟，无人便利店的运营成本减少了70%。

准备工作

环境/工具

要使用Harness平台进行开发和部署，需要准备以下环境和工具：

云端环境

如果选择将AI推理任务部署在云端，推荐使用以下云服务：

1. 云服务器（ECS）：推荐使用阿里云g8i系列（搭载NVIDIA A10/A100 GPU）或腾讯云GN10X系列（搭载NVIDIA L4/A100 GPU），配置为8核32G内存、1块NVIDIA A10 GPU（24G显存）起步。
2. 对象存储（OSS）：用于存储视频流的原始数据、预处理后的视频帧、AI推理的结果、知识库数据等，推荐使用阿里云OSS或腾讯云COS，配置为标准存储起步，根据实际需求扩容。
3. 消息队列（MQ）：用于处理视频流的分发、Agent单元之间的消息传递、任务调度等，推荐使用阿里云RocketMQ或腾讯云CMQ，配置为集群模式起步，根据实际需求扩容。
4. 数据库（DB）：用于存储摄像头的配置信息、Agent单元的配置信息、任务的执行日志、统计报表等，推荐使用MySQL 8.0（用于结构化数据）+ Redis 7.0（用于缓存和实时数据）+ MongoDB 6.0（用于非结构化数据）的组合。

边缘端环境

如果选择将AI推理任务部署在边缘端，推荐使用以下边缘计算设备：

1. NVIDIA Jetson Xavier NX：适合中等算力需求的场景（比如YOLOv8-Segment缺陷分割、SAM细化分割、SLAM定位导航等），配置为6核CPU、384核GPU（21TOPS算力）、8G显存起步。
2. 华为Atlas 200 DK：适合中低算力需求的场景（比如YOLOv8-TargetDetect目标检测、跟踪、人脸识别等），配置为8核CPU、22TOPS NPU算力、8G内存起步。
3. 瑞芯微RK3588：适合低算力需求的场景（比如简单的规则引擎、TTS/ASR语音交互、物理设备控制等），配置为8核CPU、6TOPS NPU算力、8G内存起步。

本地端环境

如果选择在本地端进行开发和测试，推荐使用以下配置：

1. 操作系统：Ubuntu 22.04 LTS（推荐）或Windows 11（需要安装WSL2 Ubuntu 22.04 LTS）。
2. CPU：Intel Core i7-13700K或AMD Ryzen 7 7800X3D起步。
3. GPU：NVIDIA GeForce RTX 3090 Ti（24G显存）或RTX 4090（24G显存）起步。
4. 内存：32G DDR5起步。
5. 存储：1TB NVMe SSD起步。

开发工具

1. 代码编辑器/IDE：Visual Studio Code（推荐，安装Python、Docker、GitLens、Mermaid等插件）或PyCharm Professional。
2. 版本控制工具：Git + GitHub/GitLab/Gitee。
3. 容器化工具：Docker + Docker Compose。
4. 视频流测试工具：FFmpeg、VLC Media Player、海康威视IVMS-4200。
5. API测试工具：Postman或Apifox。

基础知识

要理解和使用Harness平台，需要具备以下前置知识：

1. Python编程基础：熟悉Python 3.10+的语法、数据结构、函数、类、模块、异常处理等，推荐学习《Python编程：从入门到实践》。
2. 计算机视觉基础：熟悉图像的基本概念（分辨率、帧率、颜色空间RGB/HSV/YUV等）、图像的预处理（去噪、对比度增强、缩放、裁剪等）、目标检测（YOLO系列、Faster R-CNN系列等）、目标跟踪（DeepSORT、ByteTrack等）、图像分割（SAM、YOLOv8-Segment等），推荐学习《计算机视觉：算法与应用》。
3. 大语言模型基础：熟悉LLM的基本概念（Transformer、自注意力机制、预训练、微调等）、VLM的基本概念（CLIP、ViT、GPT-4o、Claude-3-Opus等）、RAG的基本概念（检索、生成、对齐等）、RL的基本概念（状态、动作、奖励、策略、Q学习、PPO等），推荐学习《大语言模型实战指南》和《强化学习（Sutton版）》。
4. 实时视频流技术基础：熟悉主流的摄像头协议（RTSP、RTMP、GB28181-2022、WebRTC、ONVIF等）、视频流的编解码（H.264、H.265、AV1等）、视频流的分发（FFmpeg、Nginx-RTMP、SRS等），推荐学习《流媒体技术实战》。
5. 容器化技术基础：熟悉Docker的基本概念（镜像、容器、仓库等）、Dockerfile的编写、Docker Compose的使用，推荐学习《Docker实战》。
6. 分布式系统基础：熟悉消息队列（RocketMQ、Kafka等）、数据库（MySQL、Redis、MongoDB等）、负载均衡的基本概念，推荐学习《分布式系统原理与范型》。

Harness平台的系统架构设计

核心概念

在深入讲解Harness平台的系统架构之前，我们先明确几个核心概念：

1. AI Agent单元

AI Agent单元是Harness平台的核心组成部分，它是一个标准化的、可插拔的、独立运行的AI模块，具有以下特点：

• 标准化的接口：每个Agent单元都必须实现Harness平台定义的标准接口（init()、process(input_data)、destroy()），其中init()用于初始化Agent单元（加载模型、连接数据库等），process(input_data)用于处理输入数据并返回输出数据，destroy()用于销毁Agent单元（释放内存、断开数据库连接等）。
• 可插拔的设计：Agent单元可以通过Web界面或Python SDK动态添加、删除、更新到Harness平台，无需重启整个平台。
• 独立运行的环境：每个Agent单元都运行在独立的Docker容器中，具有自己的资源（CPU、GPU、内存、存储等），不会相互干扰。
• 消息总线通信：Agent单元之间通过Harness平台内置的消息总线（基于RocketMQ）进行实时通信，支持点对点通信、发布/订阅通信、广播通信等多种模式。

2. 视频流接入单元

视频流接入单元是Harness平台的入口，它负责对接不同品牌的摄像头/编码器协议、采集实时视频流、进行编解码与帧率适配、预处理视频帧、将预处理后的视频帧分发到消息总线，具有以下特点：

• 多协议支持：内置了100+主流摄像头/编码器协议（RTSP、RTMP、GB28181-2022、WebRTC、ONVIF、海康威视ISAPI、大华DSS等），支持通过拖拽式配置接入视频流，无需编写一行代码。
• 高性能编解码：使用NVIDIA NVDEC/NVENC（GPU加速）或FFmpeg（CPU加速）进行视频流的编解码，支持H.264、H.265、AV1等多种编解码格式，支持1080P/4K/8K等多种分辨率，支持30fps/60fps/120fps等多种帧率。
• 灵活的预处理：支持对视频帧进行多种预处理操作（去噪、对比度增强、缩放、裁剪、直方图均衡化、颜色空间转换等），预处理操作可以通过Web界面或Python SDK动态配置。
• 实时视频流分发：将预处理后的视频帧分发到消息总线的不同Topic中，Agent单元可以订阅自己感兴趣的Topic获取视频帧数据。

3. 任务调度单元

任务调度单元是Harness平台的大脑，它负责接收用户的任务请求、解析任务流程、调度Agent单元执行任务、监控任务的执行状态、处理任务的异常、生成任务的执行日志和统计报表，具有以下特点：

• 拖拽式流程编排：提供了基于Web的拖拽式流程编排界面，用户可以像搭积木一样快速搭建视频流交互管控场景，流程编排界面支持条件分支、循环、并行、串行等多种控制结构。
• 智能任务调度：根据Agent单元的资源占用情况（CPU、GPU、内存、存储等）、延迟要求、优先级等因素，自动选择最优的Agent单元执行任务，支持端边云协同的任务调度。
• 实时任务监控：提供了实时的任务执行状态监控界面，用户可以查看每个任务的执行进度、每个Agent单元的运行状态、每个视频流的接入状态等。
• 异常处理机制：当Agent单元出现异常（比如模型加载失败、内存溢出、网络中断等）时，任务调度单元会自动重启Agent单元或切换到备用的Agent单元执行任务，保证任务的正常运行。

4. 多模态交互单元

多模态交互单元是Harness平台的输出，它负责接收Agent单元的输出数据、进行多模态交互反馈（语音、短信、APP推送、视频弹窗、物理设备控制等）、验证处置结果、更新知识库，具有以下特点：

• 多模态交互支持：支持语音交互（ASR语音识别、TTS语音合成）、文本交互（短信、APP推送、邮件）、视频交互（视频弹窗、实时视频流回放）、物理设备控制（门禁、灯光、空调、冰箱、工业机器人、探照灯、警报器等）等多种交互模式。
• 灵活的配置：交互模式可以通过Web界面或Python SDK动态配置，用户可以根据不同的场景选择合适的交互模式。
• 处置结果验证：通过摄像头或传感器验证处置结果是否符合要求，如果不符合要求，会自动触发二次处置流程。
• 知识库更新：将处置结果、用户反馈、AI推理结果等存入知识库，优化后续的AI算法和任务调度。

5. 可视化监控与运维单元

可视化监控与运维单元是Harness平台的窗口，它负责提供实时的视频流监控、Agent状态监控、任务执行日志、统计报表、性能分析等功能，方便用户进行运维和优化，具有以下特点：

• 实时视频流监控：支持同时监控多个摄像头的实时视频流，支持视频流的缩放、裁剪、回放、截图等操作。
• Agent状态监控：支持查看每个Agent单元的运行状态（正常、异常、空闲、忙碌等）、资源占用情况（CPU、GPU、内存、存储等）、处理速度等。
• 任务执行日志：支持查看每个任务的执行日志，包括任务的开始时间、结束时间、执行进度、异常信息、处置结果等。
• 统计报表：支持生成多种统计报表，包括误报漏报率、检测速度、Agent单元的利用率、任务的执行成功率等，统计报表可以导出为PDF、Excel、CSV等格式。
• 性能分析：支持对Harness平台的性能进行分析，包括视频流的接入延迟、AI推理的延迟、任务调度的延迟等，性能分析结果可以帮助用户优化平台的配置。

系统整体架构

Harness平台采用端边云协同的微服务架构，整体架构分为五层：接入层、边缘层、传输层、云端层、应用层，如图1所示：

图1：Harness平台的系统整体架构

接下来，我们对每一层进行详细讲解：

1. 接入层

接入层是Harness平台的“眼睛”和“手脚”，负责采集视频流和传感器数据，以及控制物理设备。接入层包括以下设备：

• 摄像头：包括普通摄像头、高分辨率工业相机、全景摄像头等，支持RTSP、RTMP、GB28181-2022、WebRTC、ONVIF等多种协议。
• 传感器：包括温湿度传感器、烟雾传感器、红外传感器、门禁传感器、光照传感器等，支持Modbus、RS485、MQTT等多种协议。
• 物理设备：包括门禁、灯光、空调、冰箱、工业机器人、探照灯、警报器等，支持Modbus、RS485、MQTT、HTTP等多种协议。

2. 边缘层

边缘层是Harness平台的“核心算力单元”，负责处理对延迟要求较高的任务（比如目标检测、跟踪、缺陷分割、物理设备控制等）。边缘层由多个边缘节点组成，每个边缘节点内部包括以下模块：

• 本地视频流接入单元：负责对接边缘节点附近的摄像头和传感器，采集实时视频流和传感器数据，进行编解码与帧率适配，预处理视频帧，将预处理后的视频帧和传感器数据分发到本地消息总线。
• 本地AI Agent单元池：负责运行对延迟要求较高的AI Agent单元（比如YOLOv8-TargetDetect、ByteTrack、YOLOv8-Segment、SAM、ORB-SLAM3等），AI Agent单元可以从本地消息总线订阅视频帧和传感器数据，处理后将输出数据发布到本地消息总线或云端消息总线。
• 本地任务调度单元：负责调度边缘节点内部的AI Agent单元执行任务，监控任务的执行状态，处理任务的异常，生成任务的执行日志。
• 本地物理设备控制单元：负责控制边缘节点附近的物理设备，从本地消息总线订阅物理设备控制指令，执行后将执行结果发布到本地消息总线或云端消息总线。
• 本地消息总线：基于Redis Streams实现，负责边缘节点内部的模块之间的实时通信，支持点对点通信、发布/订阅通信、广播通信等多种模式，延迟极低（通常在1ms以内）。

3. 传输层

传输层是Harness平台的“桥梁”，负责连接边缘层和云端层，以及连接应用层和云端层。传输层包括以下模块：

• 消息总线RocketMQ：负责云端层和边缘层之间的实时通信，支持大规模的消息并发（每秒可以处理百万级别的消息），支持消息的持久化和回溯，保证消息的可靠传输。
• 视频流分发SRS/Nginx-RTMP：负责云端层和边缘层之间的视频流分发，支持RTMP、WebRTC、HLS、HTTP-FLV等多种协议，支持视频流的转码和录制。
• 数据传输HTTPS/WSS：负责应用层和云端层之间的安全数据传输，HTTPS用于传输结构化数据和非结构化数据，WSS用于传输实时视频流和实时消息。

4. 云端层

云端层是Harness平台的“大脑和心脏”，负责处理对算力要求较高但对延迟要求较低的任务（比如VLM推理、LLM推理、RAG检索、统计报表生成、视频流存储等）。云端层包括以下模块：

• 任务调度中心：负责接收用户的任务请求，解析任务流程，调度边缘层和云端层的AI Agent单元执行任务，监控任务的执行状态，处理任务的异常，生成任务的执行日志。
• AI Agent管理中心：负责管理所有的AI Agent单元，包括Agent单元的添加、删除、更新、部署、监控等，支持通过Web界面或Python SDK自定义Agent单元。
• 知识库管理中心：负责管理所有的知识库数据，包括视频流的原始数据、预处理后的视频帧、AI推理的结果、处置结果、用户反馈等，支持RAG检索，优化后续的AI算法和任务调度。
• 统计报表中心：负责生成多种统计报表，包括误报漏报率、检测速度、Agent单元的利用率、任务的执行成功率等，统计报表可以导出为PDF、Excel、CSV等格式。
• 视频流存储中心：负责存储视频流的原始数据和录制数据，支持标准存储、低频访问存储、归档存储等多种存储类型，根据实际需求选择合适的存储类型，降低存储成本。

5. 应用层

应用层是Harness平台的“窗口”，负责与用户进行交互，提供可视化监控与运维功能。应用层包括以下模块：

• Web可视化监控界面：基于React和Vue实现，提供拖拽式流程编排、实时视频流监控、Agent状态监控、任务执行日志、统计报表、性能分析等功能，支持PC端和移动端访问。
• 移动APP：基于Flutter实现，支持iOS和Android平台，提供实时视频流监控、任务执行日志、语音交互、物理设备控制等功能，方便用户随时随地进行监控和运维。
• 第三方系统API接口：基于RESTful API和WebSocket实现，支持与第三方系统（比如安防监控系统、工业MES系统、CRM系统、ERP系统等）进行集成，扩展Harness平台的功能。

概念之间的关系

为了更清晰地理解Harness平台的核心概念之间的关系，我们从以下两个维度进行分析：

1. 概念核心属性维度对比

我们将Harness平台的5个核心概念（AI Agent单元、视频流接入单元、任务调度单元、多模态交互单元、可视化监控与运维单元）的核心属性进行对比，如表1所示：

表1：Harness平台核心概念核心属性维度对比

2. 概念联系的ER实体关系图

我们使用ER实体关系图来表示Harness平台的核心概念之间的联系，如图2所示：

图2：Harness平台核心概念ER实体关系图

Harness平台的核心算法设计

Harness平台的核心算法包括视频流预处理算法、目标检测与跟踪算法、VLM与LLM对齐算法、RAG检索优化算法、端边云协同任务调度算法等，接下来我们对这些核心算法进行详细讲解：

视频流预处理算法

视频流预处理是Harness平台的第一步，它的质量直接影响后续AI推理的准确性和速度。Harness平台的视频流预处理算法包括去噪算法、对比度增强算法、缩放算法、裁剪算法、颜色空间转换算法等，接下来我们重点讲解自适应中值滤波去噪算法和自适应直方图均衡化对比度增强算法：

1. 自适应中值滤波去噪算法

传统的中值滤波算法虽然可以有效去除椒盐噪声，但它会模糊图像的边缘和细节，特别是在噪声密度较高的情况下。自适应中值滤波算法可以根据噪声密度自动调整滤波窗口的大小，在去除噪声的同时尽可能保留图像的边缘和细节。

数学模型

假设输入图像为 $I(x,y)$，滤波窗口为 $S_{xy}$，窗口大小为 $w\times w$（$w$ 为奇数，初始值为 $3$），窗口的最大允许大小为 $w_{\text{max}}\times w_{\text{max}}$（$w_{\text{max}}$ 为奇数，通常为 $7$ 或 $9$）。

我们定义以下三个变量：

• Zmin=min⁡{I(s,t)∣(s,t)∈Sxy}Z_{\text{min}} = \min\{I(s,t) | (s,t) \in S_{xy}\}Zmin​=min{I(s,t)∣(s,t)∈Sxy​}：窗口内的最小灰度值
• Zmax=max⁡{I(s,t)∣(s,t)∈Sxy}Z_{\text{max}} = \max\{I(s,t) | (s,t) \in S_{xy}\}Zmax​=max{I(s,t)∣(s,t)∈Sxy​}：窗口内的最大灰度值
• Zmed=median{I(s,t)∣(s,t)∈Sxy}Z_{\text{med}} = \text{median}\{I(s,t) | (s,t) \in S_{xy}\}Zmed​=median{I(s,t)∣(s,t)∈Sxy​}：窗口内的中值灰度值
• $Z_{xy}=I(x,y)$：当前像素点的灰度值

自适应中值滤波算法的步骤如下：

1. 阶段A：判断当前窗口是否需要扩大

   • 计算 $A_1=Z_{\text{med}}-Z_{\text{min}}$ 和 $A_2=Z_{\text{max}}-Z_{\text{med}}$
   • 如果 $A_1>0$ 且 $A_2>0$，说明当前窗口内的中值不是噪声，进入阶段B
   • 否则，说明当前窗口内的中值可能是噪声，需要扩大窗口：$w=w+2$
   • 如果 $w\le w_{\text{max}}$，重复阶段A
   • 否则，输出 $Z_{\text{med}}$（或 $Z_{xy}$，取决于具体需求）

2. 阶段B：判断当前像素点是否是噪声

   • 计算 $B_1=Z_{xy}-Z_{\text{min}}$ 和 $B_2=Z_{\text{max}}-Z_{xy}$
   • 如果 $B_1>0$ 且 $B_2>0$，说明当前像素点不是噪声，输出 $Z_{xy}$
   • 否则，说明当前像素点是噪声，输出 $Z_{\text{med}}$

算法流程图

自适应中值滤波去噪算法的流程图如图3所示：

图3：自适应中值滤波去噪算法流程图

Python源代码

自适应中值滤波去噪算法的Python源代码如下：

import cv2