🛡️ 基于 PyTorch CNN-BiLSTM 的可视化网络入侵检测系统

1. 项目摘要

本项目设计并实现了一款端到端的网络入侵检测系统（IDS）。系统基于 PyTorch 深度学习框架，采用 CNN-BiLSTM 混合神经网络模型，结合 CICIDS2017 数据集进行训练。通过 PyQt5 构建图形用户界面，实现了从原始流量数据清洗、模型训练、性能评估到离线流量检测的全流程自动化。系统特别引入了多线程机制与内存优化策略，解决了传统深度学习工具在处理大规模网络流量数据时易卡顿、内存占用高的问题。

2. 系统架构与技术栈

核心框架：PyTorch (深度学习), PyQt5 (GUI), Scapy (流量解析)

数据处理：Pandas (分块读取), NumPy, Scikit-learn (预处理)

可视化：Matplotlib (训练曲线与混淆矩阵绘制)

工程特性：多线程 (QThread)、内存管理 (gc.collect)、异常捕获

3. 核心模块详细设计

本系统由四个紧密耦合的核心模块组成，对应代码中的四个主要逻辑单元：

3.1 数据预处理模块 (preprocessing.py)

该模块是系统的基石，负责将原始杂乱的 CSV 数据转化为模型可理解的标准张量。

智能文件读取：

分块加载：采用 chunksize 机制分块读取 CSV，避免一次性加载大文件导致内存溢出。

编码自适应：内置多种编码格式（UTF-8, GBK, Latin1等）尝试机制，自动识别并读取文件表头。

自动化清洗流水线：

数据清洗：自动移除空列、重复样本，并将无穷大值（Inf）替换为 NaN。

特征筛选：优先使用预设的 CICIDS2017 特征列，若缺失则自动筛选数值型字段。

标签对齐：自动识别标签列（Label），并将字符串标签（如 DoS Hulk）映射为数字索引。

标准化与划分：

使用 SimpleImputer 填补缺失值，StandardScaler 进行特征归一化。

自动划分训练集与测试集（支持分层抽样），并保存 imputer, scaler, label_encoder 等关键组件，确保检测阶段数据处理的一致性。

核心实现代码：

3.2 模型训练模块 (training.py & cnn_bilstm_model.py)

该模块实现了深度学习模型的构建、训练与保存。

模型架构：CNN-BiLSTM

CNN 层：包含两个一维卷积层（Conv1d）与批归一化（BatchNorm），用于提取流量数据的局部空间特征。

池化层：使用最大池化（MaxPool1d）降低特征维度。

BiLSTM 层：双向 LSTM 网络，捕捉流量数据在时间序列上的前后向依赖关系。

全连接层：输出层通过 Softmax 进行多分类预测。

训练策略：

类别权重平衡：自动计算 class_weight，解决网络攻击数据中常见的类别不平衡问题。

早停机制：监控验证集 Loss，若连续 patience 轮无下降则自动停止训练，防止过拟合。

学习率调度：使用 ReduceLROnPlateau 动态调整学习率。

混合精度训练：在支持 CUDA 的设备上自动启用 AMP（自动混合精度），加速训练并节省显存。

可视化反馈：实时记录 Loss 和 Accuracy，并自动生成训练曲线图（PNG格式）。

核心实现代码：

3.3 模型评估模块 (evaluation.py)

该模块用于量化模型的检测性能。

多维度指标计算：

全局指标：准确率、平衡准确率、加权/宏平均的精确率、召回率、F1-Score。

ROC-AUC：支持二分类与多分类（OVR策略）的 AUC 值计算。

详细报告生成：

生成包含每一类攻击（如 Bot, Web Attack, Infiltration）的详细分类报告。

混淆矩阵：绘制热力图并保存为图片，直观展示各类别的误报与漏报情况。

结果导出：所有评估指标自动保存为 JSON 和 TXT 格式，便于后续分析。

核心实现代码：

混淆矩阵：

3.4 离线检测模块 (detection.py)

该模块是系统的最终应用环节，支持对未知流量进行推理。

双模输入支持：

CSV 检测：直接加载预处理后的特征文件进行预测。

PCAP 检测：集成 PcapFeatureExtractor，自动解析原始 PCAP 包，基于五元组重组流并提取统计特征（如流持续时间、包长均值等），实现“原始流量 -> 预测结果”的端到端检测。

推理流程：

加载训练好的模型权重与预处理元数据。

执行与训练阶段完全一致的特征对齐、缺失值填补与标准化操作。

输出预测标签及置信度（Confidence Score）。

结果展示：支持单条模式与批量模式，检测结果自动保存为 CSV 文件。

核心实现代码：

4. 关键技术亮点

工程级内存管理：

在数据预处理和训练过程中，显式调用 gc.collect() 并删除中间变量（del），确保在处理百万级样本时系统依然流畅。

鲁棒的异常处理：

文件读取支持编码自动回退。

训练集划分时，若检测到稀有类别（样本数<2），自动从分层抽样切换为随机抽样，防止程序崩溃。

多线程非阻塞设计：

所有耗时操作（预处理、训练、评估、检测）均封装在 Worker 线程中，通过信号槽机制更新 UI，彻底解决了界面“假死”问题。

支持任务取消（request_cancel），用户可随时中断正在进行的训练或检测任务。

GPU 硬件加速：

代码自动检测 CUDA 环境，若可用则优先使用 GPU 进行矩阵运算，大幅提升训练与推理速度。

5. 总结

本项目不仅实现了一个高精度的入侵检测算法，更构建了一个完整的、工程化的桌面应用程序。它打通了从原始数据清洗到模型部署再到真实流量检测的全链路，展现了良好的软件工程实践与深度学习应用能力，具有较高的实用价值与学术参考价值。

6、🧠 核心算法与实现原理

本系统的核心在于利用深度学习模型自动提取网络流量特征并进行分类。整体实现原理主要分为三个层面：数据预处理原理、CNN-BiLSTM 混合模型原理以及系统软件工程原理。

1. 数据预处理与特征工程原理

网络入侵检测的基础是将原始网络流量转化为计算机可理解的数学向量。

流量特征化

系统基于 CICIDS2017 数据集，该数据集将网络流（Flow）抽象为 80 维的特征向量

基本流特征：如流持续时间、总前向/后向包数。

统计特征：如包长度的均值、标准差、最大值，以及包到达时间间隔（IAT）的统计量。

标志位特征：如 FIN、SYN、RST 等 TCP 标志位的计数。

数据清洗与标准化

由于原始数据中存在噪声和量纲差异，必须进行预处理：

清洗：检测并移除数据中的无穷大值（Inf）和空值（NaN），防止模型训练发散。

标签编码：将字符串类型的攻击标签（如 DoS Hulk, PortScan）映射为整数索引（0,1,2,...0,1,2,... ），以便于计算交叉熵损失。

Z-Score 标准化：

由于不同特征的量纲差异巨大（例如“流持续时间”可能是秒级，而“包长度”是字节级），系统采用标准化公式将数据缩放到同一尺度，加速模型收敛：

z=x−μσz=σx−μ

1其中， $ x $ 是原始特征值， $ \mu $ 是该特征的均值， $ \sigma $ 是标准差。

2. CNN-BiLSTM 混合模型原理

这是本系统的核心创新点。单一的 CNN 擅长提取空间特征，单一的 LSTM 擅长提取时间特征，而网络攻击往往既包含特定字段的模式（空间），又包含时间序列上的依赖（时间）。

模型的数据流向如下：

输入层 (Input) → 卷积层 (CNN) → 双向长短期记忆层 (BiLSTM) → 全连接层 (FC) → 输出层 (Softmax)

卷积神经网络 (CNN) —— 空间特征提取器

CNN 层位于模型的最前端，用于捕捉流量数据中的局部相关性。

原理：通过卷积核（Kernel）在输入特征矩阵上滑动，提取局部的关键模式。例如，某些攻击在特定的包头字段组合上具有固定模式。

实现：系统使用一维卷积（Conv1d），配合 ReLU 激活函数引入非线性，并使用最大池化（MaxPool）降低数据维度，保留最显著的特征。

双向长短期记忆网络 (BiLSTM) —— 时序特征提取器

网络流量本质上是一个时间序列。BiLSTM 用于捕捉数据在时间维度上的长距离依赖关系。

原理：LSTM 通过“门控机制”（输入门、遗忘门、输出门）解决了传统 RNN 的梯度消失问题。

双向结构：系统采用双向结构，意味着网络同时从过去到未来（前向）和未来到过去（后向）两个方向学习序列信息。这对于检测跨包的复杂攻击（如慢速拒绝服务攻击 Slowloris）至关重要，因为它能结合上下文语境进行判断。

分类输出

经过 BiLSTM 处理后的特征向量被展平，输入到全连接层，最后通过 Softmax 函数输出属于各类攻击（如 Benign, DoS, Botnet 等）的概率分布。

3. 软件工程与系统实现原理

为了将算法落地为可用的桌面软件，系统采用了以下工程化原理：

多线程异步处理机制

问题：深度学习训练和 PCAP 文件解析属于“CPU 密集型”和“I/O 密集型”任务，若在主线程运行会导致界面假死。

实现：系统基于 PyQt5.QtCore.QThread 构建了 BaseWorker 抽象类，并派生出 TrainWorker, DetectWorker 等子类。

信号槽通信：工作线程通过 pyqtSignal 发送进度（progress）和日志（log）信号，主线程（UI）通过槽函数接收并更新进度条和文本框，实现了计算逻辑与界面显示的完全解耦。

PCAP 流重构原理 (离线检测)

在进行 PCAP 检测时，系统并非直接分析原始包，而是模拟了网络流重组过程：

五元组哈希：读取 PCAP 包，提取 (源IP, 源端口, 目的IP, 目的端口, 协议) 作为流的唯一标识。

流聚合：将属于同一流的数据包聚合在一起。

特征计算：实时计算该流的统计特征（如包长均值、IAT 方差等），使其维度与训练时的 CSV 数据保持一致。

推理：将提取的特征向量输入训练好的 .pt 模型进行预测。

内存管理优化

针对 CICIDS2017 数据集动辄数 GB 的大小，系统在代码中显式调用了 Python 的垃圾回收机制（import gc; gc.collect()），并在数据加载时使用生成器（Generator）而非列表，确保在有限内存环境下也能处理大规模数据。

最终实现效果：

专业网安项目开发，需要更多项目资料可以私信博主，伸手党勿扰