基于 YOLOv8 的行人车辆检测系统

一、项目概述

本项目面向道路交通场景中的行人与车辆目标检测任务，完成 YOLOv8 与 Faster R-CNN 两类检测模型的训练、评估、可视化对比，并集成 PyQt5 桌面端检测系统。系统支持图片检测、视频检测、摄像头实时检测、检测数量统计、历史记录保存以及 CSV / JSON 数据导出。

项目以行人和车辆两类目标为检测对象，围绕模型训练、效果评估、模型对比和桌面端应用四个部分展开：

使用 YOLOv8s 完成单阶段目标检测训练，默认作为桌面端系统的推理模型。
使用 Faster R-CNN ResNet50 FPN 完成两阶段检测模型训练，用于和 YOLOv8 进行性能对比。
保存训练日志、指标 CSV、训练曲线、混淆矩阵、PR 曲线、F1 曲线等结果文件。
基于 PyQt5 构建图形界面，提供图片、视频、摄像头三种检测入口。
检测结果包含目标框、类别、置信度、行人数、车辆数和总目标数。

默认桌面端入口为 detection_ui.py，默认加载权重为：

runs/detect/person_car_detect/weights/best.pt

二、数据集说明

本项目使用 YOLO 标注格式的数据集，检测类别为 person 和 car。当前交付目录主要包含训练产物、模型权重和系统代码，若需要重新训练，需要准备或补齐 data 数据集目录。

数据集结构

Faster R-CNN 训练脚本默认读取如下目录结构，YOLOv8 训练也可按相同数据划分准备 data.yaml：

data/
├── images/
│   ├── train/          # 训练集图片
│   └── val/            # 验证集图片
└── labels/
    ├── train/          # 训练集标注
    └── val/            # 验证集标注

标注格式

标注文件为 YOLO 格式，每张图片对应一个同名 .txt 文件，每行表示一个目标：

class_id x_center y_center width height

字段说明：

字段	说明
`class_id`	类别编号，`0` 表示行人，`1` 表示车辆
`x_center`	目标框中心点横坐标，按图片宽度归一化
`y_center`	目标框中心点纵坐标，按图片高度归一化
`width`	目标框宽度，按图片宽度归一化
`height`	目标框高度，按图片高度归一化

数据统计

根据当前项目中的 YOLOv8 训练日志，验证阶段数据统计如下：

统计项	数值
检测类别	2 类，`person`、`car`
验证集图片数	4,959 张
验证集目标实例数	60,875 个
行人实例数	6,999 个
车辆实例数	53,876 个
标注格式	YOLO 归一化框格式
输入尺寸	640 x 640

说明：当前 README 只记录训练日志和项目文件中能够确认的数据。若后续替换数据集，请以实际 data/ 目录和 data.yaml 为准同步更新本节。

三、模型方案

YOLOv8 检测模型

YOLOv8 是本项目桌面端默认使用的检测模型，适合实时检测场景。其整体流程如下：

输入图像
    │
    ▼
YOLOv8 Backbone 特征提取
    │
    ▼
Neck 多尺度特征融合
    │
    ▼
Detect Head 输出目标框、类别和置信度
    │
    ▼
NMS 后处理
    │
    ▼
行人 / 车辆检测结果

本项目中 YOLOv8 的主要作用：

训练 person、car 两类目标检测权重。
提供桌面端图片、视频和摄像头实时检测能力。
输出检测框、类别标签、置信度和数量统计。
生成混淆矩阵、PR 曲线、F1 曲线、训练结果曲线等可视化文件。

Faster R-CNN 检测模型

Faster R-CNN 用于模型对比实验和批量图片检测。项目采用 TorchVision 中的 Faster R-CNN ResNet50 FPN，并将分类头替换为 3 类输出：

输入图像
    │
    ▼
ResNet50 + FPN 特征提取
    │
    ▼
RPN 候选框生成
    │
    ▼
RoI Align 特征对齐
    │
    ▼
分类分支 + 边界框回归分支
    │
    ▼
置信度过滤与结果输出

Faster R-CNN 训练时会将 YOLO 标注转换为 x_min, y_min, x_max, y_max 格式，并将类别编号转换为 TorchVision 检测模型所需的标签编号，其中 0 作为背景类，1 表示行人，2 表示车辆。

四、训练过程

YOLOv8 训练流程

读取数据集配置文件 data.yaml。
加载 yolov8s.pt 预训练权重。
按 640 x 640 输入尺寸进行训练。
使用 YOLOv8 默认检测损失，包括边界框损失、分类损失和 DFL 损失。
训练过程中保存 best.pt 和 last.pt。
训练结束后在验证集上评估 Precision、Recall、mAP50、mAP50-95。

当前训练配置记录在：

runs/detect/person_car_detect/args.yaml

Faster R-CNN 训练流程

读取 data/images/train、data/labels/train 作为训练集。
读取 data/images/val、data/labels/val 作为验证集。
加载 COCO 预训练权重：

fasterrcnn/fasterrcnn_resnet50_fpn_coco-258fb6c6.pth

替换检测头，使模型输出背景、行人、车辆 3 类。
使用 SGD 优化器和 StepLR 学习率衰减策略训练 100 轮。
每轮训练后计算 Precision、Recall、F1。
按 F1 分数保存最优模型 best.pth，同时保存最后一轮模型 last.pth。
输出训练日志、CSV 指标、JSON 历史记录和可视化曲线。

五、训练参数

YOLOv8 参数

参数	值	说明
模型	`yolov8s.pt`	YOLOv8s 检测模型
训练轮数	100	总训练 Epoch
输入尺寸	640	训练和验证输入尺寸
批大小	16	每批图片数量
优化器	`auto`	Ultralytics 自动选择
初始学习率	0.01	`lr0`
最终学习率比例	0.01	`lrf`
动量	0.937	SGD 动量参数
权重衰减	0.0005	正则化参数
预热轮数	3	`warmup_epochs`
AMP	开启	混合精度训练
训练设备	CUDA:0	训练日志记录为 RTX 3060 Laptop GPU
输出目录	`runs/detect/person_car_detect`	YOLOv8 训练结果目录

Faster R-CNN 参数

参数	值	说明
模型	Faster R-CNN ResNet50 FPN	TorchVision 检测模型
类别数	3	背景、行人、车辆
训练轮数	100	总训练 Epoch
批大小	4	每批图片数量
优化器	SGD	随机梯度下降
初始学习率	0.005	主学习率
动量	0.9	SGD 动量
权重衰减	0.0005	正则化参数
学习率调度	StepLR	每 10 轮衰减
衰减系数	0.1	`gamma`
置信度阈值	0.5	评估和推理过滤阈值
IoU 阈值	0.5	匹配阈值
输出目录	`runs/fasterrcnn/person_car_detect`	Faster R-CNN 训练结果目录

六、训练结果

YOLOv8 验证结果

YOLOv8 最优权重为：

runs/detect/person_car_detect/weights/best.pt

整体结果：

指标	数值
Precision	0.82942
Recall	0.65837
mAP50	0.74918
mAP50-95	0.45874
推理速度	约 1.9 ms / image
训练耗时	约 5.172 小时

分类别结果：

类别	Images	Instances	Precision	Recall	mAP50	mAP50-95
`person`	1,712	6,999	0.792	0.553	0.651	0.346
`car`	4,954	53,876	0.849	0.748	0.824	0.550

Faster R-CNN 训练结果

Faster R-CNN 最优权重为：

runs/fasterrcnn/person_car_detect/weights/best.pth

最佳性能出现在第 78 轮：

指标	数值
Best Epoch	78
F1 Score	0.7074
Precision	0.7112
Recall	0.7036

最终第 100 轮结果：

指标	数值
F1 Score	0.7046
Precision	0.7089
Recall	0.7004
Total Loss	0.2504
Classifier Loss	0.0663
Box Regression Loss	0.1427
Objectness Loss	0.0042
RPN Box Loss	0.0371

模型对比

对比项	YOLOv8	Faster R-CNN	结论
整体指标	mAP50 = 0.7492	F1 = 0.7074	YOLOv8 整体得分更高
Precision	0.8294	0.7112	YOLOv8 误检更少
Recall	0.6584	0.7036	Faster R-CNN 漏检更少
应用倾向	实时检测、桌面端推理	离线评估、召回优先场景	按场景选择

综合当前训练结果，YOLOv8 更适合作为桌面端实时检测模型；Faster R-CNN 在召回率上更高，适合对漏检更敏感的离线检测或对比实验。

七、可视化结果说明

YOLOv8 可视化文件

runs/detect/person_car_detect/

文件	说明
`results.png`	训练损失、验证损失、Precision、Recall、mAP 等指标曲线
`results.csv`	每个 Epoch 的完整训练指标
`confusion_matrix.png`	混淆矩阵
`confusion_matrix_normalized.png`	归一化混淆矩阵
`PR_curve.png`	Precision-Recall 曲线
`P_curve.png`	Precision 随置信度变化曲线
`R_curve.png`	Recall 随置信度变化曲线
`F1_curve.png`	F1 分数随置信度变化曲线
`labels.jpg`	标注分布可视化
`labels_correlogram.jpg`	标注框相关性可视化
`train_batch*.jpg`	训练批次与数据增强可视化
`val_batch*_labels.jpg`	验证集真实标签可视化
`val_batch*_pred.jpg`	验证集预测结果可视化

Faster R-CNN 可视化文件

runs/fasterrcnn/person_car_detect/

文件	说明
`training_results.png`	总损失、分类损失、回归损失、目标性损失、RPN 损失、Precision、Recall、F1 和学习率曲线
`f1_curve.png`	F1 分数变化曲线，并标注最佳轮次
`results.csv`	每轮训练指标
`training_history.json`	完整训练历史
`training_log.txt`	训练日志
`summary_report.txt`	训练结果摘要

模型对比文件

runs/comparison/

文件	说明
`model_comparison.png`	YOLOv8 与 Faster R-CNN 指标对比图
`comparison_report.txt`	模型对比文字报告
`comparison_data.json`	模型对比结构化数据

八、桌面端系统功能

桌面端系统入口：

detection_ui.py

图片检测

支持选择本地单张图片进行目标检测。
显示带检测框的结果图。
统计行人数量、车辆数量和总目标数量。
展示每个检测目标的类别和置信度。
图片检测结果会写入 detection_history.json。

视频检测

支持选择本地视频文件。
对视频帧逐帧执行 YOLOv8 检测。
实时刷新检测画面和数量统计。
可在界面中停止当前检测任务。

摄像头检测

支持选择摄像头编号 0、1、2。
调用本机摄像头进行实时行人车辆检测。
实时显示检测框、类别、置信度和数量统计。

历史记录

历史记录保存在 detection_history.json。
支持在界面中查看检测时间、输入来源、行人数、车辆数和总数。
支持导出为 CSV。
支持导出为 JSON。

九、技术栈

类别	技术
编程语言	Python 3.9
深度学习框架	PyTorch、TorchVision
YOLO 框架	Ultralytics YOLOv8
桌面端框架	PyQt5
图像处理	OpenCV、Pillow
数据处理	NumPy、Pandas、CSV、JSON
可视化	Matplotlib
模型类型	YOLOv8s、Faster R-CNN ResNet50 FPN

十、项目结构

c88/
├── detection_ui.py                         # PyQt5 桌面端主程序，默认加载 YOLOv8 best.pt
├── detection_history.json                  # 图片检测历史记录
├── train_fasterrcnn.py                     # Faster R-CNN 训练脚本
├── detect_fasterrcnn.py                    # Faster R-CNN 批量检测脚本
├── fasterrcnn_config.py                    # Faster R-CNN 训练配置
├── visualize_fasterrcnn_results.py         # Faster R-CNN 训练曲线和摘要生成脚本
├── compare_models.py                       # YOLOv8 与 Faster R-CNN 指标对比脚本
├── redraw_epoch_plots.py                   # 根据 CSV 重新绘制训练图表
├── requirements_fasterrcnn.txt             # Faster R-CNN 训练相关依赖
├── 训练日志.txt                            # YOLOv8 训练日志
├── yolov8s.pt                              # YOLOv8s 预训练权重
├── yolov8s-cls.pt                          # YOLOv8 分类权重文件
├── yolo11n.pt                              # YOLO 系列权重文件
├── yolo11m.pt                              # YOLO 系列权重文件
├── fasterrcnn/
│   └── fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
│                                             # Faster R-CNN COCO 预训练权重
├── runs/
│   ├── detect/person_car_detect/
│   │   ├── weights/
│   │   │   ├── best.pt                     # YOLOv8 最优权重，桌面端默认加载
│   │   │   └── last.pt                     # YOLOv8 最后一轮权重
│   │   ├── results.csv                     # YOLOv8 每轮训练指标
│   │   └── *.png / *.jpg                   # YOLOv8 训练与验证可视化结果
│   ├── fasterrcnn/person_car_detect/
│   │   ├── weights/
│   │   │   └── best.pth                    # Faster R-CNN 最优权重
│   │   ├── results.csv                     # Faster R-CNN 每轮训练指标
│   │   ├── training_history.json           # Faster R-CNN 训练历史
│   │   ├── training_results.png            # Faster R-CNN 训练曲线
│   │   └── summary_report.txt              # Faster R-CNN 训练摘要
│   └── comparison/
│       ├── model_comparison.png            # 两类模型对比图
│       ├── comparison_report.txt           # 两类模型对比报告
│       └── comparison_data.json            # 两类模型对比数据
├── vis_output/                             # 检测可视化输出图片
└── data/                                   # 重新训练时需要准备的数据集目录

十一、环境准备与启动

1. 创建 Python 环境

建议使用 Python 3.9，并优先使用独立虚拟环境。

cd <项目根目录>

2. 安装依赖

先安装 Faster R-CNN 训练依赖：

python -m pip install -r requirements_fasterrcnn.txt

再安装桌面端和 YOLOv8 推理所需依赖：

python -m pip install ultralytics PyQt5 opencv-python

如需使用 GPU，请确保本机 PyTorch、CUDA 和显卡驱动版本匹配。

3. 启动桌面端系统

python .\detection_ui.py

启动后可在界面中选择：

图片检测
视频检测
摄像头检测
历史记录查看与导出

4. 重新训练 YOLOv8

如果需要重新训练 YOLOv8，请先准备数据集和 data.yaml，再执行：

yolo detect train model=yolov8s.pt data=<数据集目录>\data.yaml epochs=100 batch=16 imgsz=640 project=runs/detect name=person_car_detect

训练完成后，桌面端默认读取：

runs/detect/person_car_detect/weights/best.pt

5. 训练 Faster R-CNN

请先按 [数据集结构](#数据集结构) 准备 data/ 目录，然后执行：

python .\train_fasterrcnn.py

训练输出目录：

runs/fasterrcnn/person_car_detect/

6. Faster R-CNN 批量检测

python .\detect_fasterrcnn.py --weights runs/fasterrcnn/person_car_detect/weights/best.pth --source data/images/val --output runs/fasterrcnn/detect --conf 0.5

参数说明：

参数	说明
`--weights`	Faster R-CNN 权重路径
`--source`	待检测图片文件或图片目录
`--output`	检测结果输出目录
`--conf`	置信度阈值

7. 生成可视化和对比结果

生成 Faster R-CNN 训练图表和摘要：

python .\visualize_fasterrcnn_results.py

生成 YOLOv8 与 Faster R-CNN 对比图表：

python .\compare_models.py

根据现有 CSV 重新绘制训练图：

python .\redraw_epoch_plots.py

本项目为个人原创，结构清晰，功能完整，适合课程设计、毕业设计和个人学习使用。如需购买项目成品或定制化需求可以联系作者。