引言:自动驾驶目标检测的挑战与机遇
自动驾驶技术的核心在于感知系统,而目标检测是感知系统中至关重要的一环。通过YOLOv5(You Only Look Once)算法,我们可以实现实时、高效的多类目标检测。本教程将从零开始,详细讲解如何使用PyTorch框架训练YOLOv5模型,特别聚焦于自动驾驶场景下的数据标注和模型优化两大难题。
为什么选择YOLOv5?
速度快
:YOLOv5在保持高精度的同时,推理速度极快,适合实时应用。
易于部署
:基于PyTorch,模型导出和部署非常方便。
社区活跃
:拥有庞大的用户群体和丰富的预训练模型。
本教程目标
掌握YOLOv5的环境搭建。
理解并解决数据标注难题。
完成从数据准备到模型训练的全过程。
学习模型优化技巧,提升检测精度。
第一部分:环境搭建与YOLOv5基础
1.1 环境要求
操作系统
:Linux (推荐Ubuntu 18.04/20.04) 或 Windows
10
⁄
11
Python
:3.7+
PyTorch
:1.7+ (建议使用1.9+以获得最佳性能)
CUDA
:11.0+ (如果有NVIDIA GPU)
1.2 安装步骤
1.2.1 创建虚拟环境
# 创建名为 yolov5 的虚拟环境
conda create -n yolov5 python=3.8 -y
# 激活环境
conda activate yolov5
1.2.2 安装PyTorch
访问
PyTorch官网
获取适合你系统的安装命令。例如,对于CUDA 11.3:
pip install torch torchvision torchaudio –extra-index-url https://download.pytorch.org/whl/cu113
1.2.3 克隆YOLOv5官方仓库
git clone https://github.com/ultralytics/yolov5.git
cd yolov5
pip install -r requirements.txt # 安装依赖
1.3 YOLOv5模型结构简介
YOLOv5有多个版本:
yolov5s
,
yolov5m
,
yolov5l
,
yolov5x
,分别对应不同大小和复杂度的模型。我们将使用
yolov5s.pt
作为基础模型进行微调。
第二部分:数据集准备与标注——解决数据难题
自动驾驶目标检测通常需要检测车辆、行人、交通标志、红绿灯等。数据是模型性能的基石,
数据标注
是第一个需要解决的难题。
2.1 数据收集
公开数据集
:KITTI, Waymo Open Dataset, BDD100K。
自定义数据
:使用车载摄像头或模拟器(如CARLA)收集数据。
2.2 数据标注工具推荐
2.2.1 LabelImg (本地工具)
简单易用的矩形框标注工具。
# 安装
pip install labelImg
# 启动
labelImg
使用步骤
:
打开LabelImg。
设置保存路径(建议创建一个
dataset
文件夹)。
选择
YOLO
格式(保存为
.txt
文件)。
开始标注,按
w
键绘制矩形框,输入类别名称(如
car
,
pedestrian
)。
2.2.2 CVAT (在线协作工具)
适合团队协作,功能更强大。访问
CVAT官网
使用。
2.3 数据集目录结构
为了与YOLOv5训练脚本兼容,请按以下结构组织数据集:
dataset/
├── images/
│ ├── train/
│ │ ├── 0001.jpg
│ │ └── …
│ └── val/
│ ├── 0002.jpg
│ └── …
└── labels/
├── train/
│ ├── 0001.txt
│ └── …
└── val/
├── 0002.txt
└── …
2.4 YOLO格式标注文件详解
每个图像对应一个
.txt
文件,每行代表一个目标,格式为:
class_id
:类别索引(从0开始)。
x_center, y_center
:目标框中心点坐标(相对于图像宽高的归一化值,0-1之间)。
width, height
:目标框的宽高(相对于图像宽高的归一化值,0-1之间)。
示例
:一张1000×600的图片上,有一个车(类别0)的框为(200, 150, 400, 300)。
x_center = (200 +
400
⁄
2
) / 1000 = 0.4
y_center = (150 +
300
⁄
2
) / 600 = 0.5
width = 400 / 1000 = 0.4
height = 300 / 600 = 0.5
标注文件内容:
0 0.4 0.5 0.4 0.5
2.5 创建数据集配置文件
在
dataset
目录下创建
data.yaml
文件:
# 数据集路径 (建议使用绝对路径)
path: /path/to/your/dataset
train: images/train
val: images/val
# 类别数量
nc: 3
# 类别名称 (顺序必须与标注时一致)
names: [‘car’, ‘pedestrian’, ‘traffic_light’]
第三部分:模型训练——从零开始实战
3.1 下载预训练权重
从YOLOv5官方Releases下载
yolov5s.pt
:
wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.pt
3.2 启动训练
在
yolov5
目录下运行:
python train.py \
–img 640 \
–batch 16 \
–epochs 100 \
–data dataset/data.yaml \
–cfg models/yolov5s.yaml \
–weights yolov5s.pt \
–name car_detection_results
参数解释
:
–img 640
:输入图像尺寸为640×640。
–batch 16
:每批训练16张图片(根据显存调整)。
–epochs 100
:训练100轮。
–data
:指定数据集配置文件。
–cfg
:模型配置文件(与weights匹配)。
–weights yolov5s.pt
:使用预训练权重进行迁移学习。
–name
:实验结果保存的文件夹名称。
3.3 监控训练过程
YOLOv5会自动在
runs/train/car_detection_results
下生成训练结果,包括:
weights/best.pt
:最佳权重。
weights/last.pt
:最后一次权重。
results.png
:训练指标曲线图(精度、召回率等)。
val_batchX_labels.jpg
:验证集预测可视化。
你也可以使用TensorBoard监控:
tensorboard –logdir runs/train
第四部分:模型优化——解决精度与速度难题
训练出基础模型后,如何进一步提升性能?以下是针对自动驾驶场景的优化策略。
4.1 数据增强优化
YOLOv5默认开启Mosaic、Mixup等增强。对于自动驾驶,可以增加:
调整亮度/对比度
:模拟不同光照(白天、黄昏、夜晚)。
随机裁剪
:增加小目标检测能力。
添加运动模糊
:模拟高速行驶场景。
在
data.yaml
中添加增强参数:
# 数据增强参数 (可选)
hsv_h: 0.015 # 色调增强范围
hsv_s: 0.7 # 饱和度增强范围
hsv_v: 0.4 # 亮度增强范围
degrees: 15 # 旋转角度范围 (-15 to 15)
translate: 0.1 # 平移范围
scale: 0.5 # 缩放范围
shear: 2.0 # 剪切范围
perspective: 0.0 # 透视变换范围
flipud: 0.0 # 上下翻转概率
fliplr: 0.5 # 左右翻转概率
mosaic: 1.0 # Mosaic增强概率
mixup: 0.0 # Mixup增强概率
4.2 超参数调优
使用YOLOv5的超参数进化功能自动寻找最佳超参数:
python train.py –img 640 –batch 16 –epochs 100 –data dataset/data.yaml –weights yolov5s.pt –evolve
这会生成
evolve.png
和
evolve.txt
,记录最优超参数组合(如学习率、IoU阈值等)。
4.3 模型架构微调
如果默认的
yolov5s.yaml
不够用,可以修改模型结构。例如,增加检测头(针对更多类别)或调整深度/宽度因子。
# models/yolov5s-custom.yaml (示例)
# 修改 nc 为你的类别数
nc: 3
# 可以调整 depth_multiple 和 width_multiple 来改变模型大小
depth_multiple: 0.33
width_multiple: 0.50
…
4.4 解决类别不平衡
自动驾驶数据中,车辆样本远多于行人或交通灯。使用
Focal Loss
或
重采样
策略。
在YOLOv5中,可以通过修改
train.py
中的损失函数,或在
data.yaml
中设置
autoanchor: True
来优化锚框。
4.5 混合精度训练 (AMP)
加速训练并减少显存占用,YOLOv5默认开启。如果遇到精度问题,可以关闭:
python train.py –noamp
4.6 模型蒸馏与剪枝 (进阶)
蒸馏
:使用大模型(如yolov5x)指导小模型(yolov5s)训练。
剪枝
:移除冗余通道,压缩模型体积。
这需要修改YOLOv5源码,这里不展开,但官方提供了相关讨论。
第五部分:模型评估与推理
5.1 评估模型
使用验证集评估最佳权重:
python val.py \
–weights runs/train/car_detection_results/weights/best.pt \
–data dataset/data.yaml \
–img 640 \
–verbose
输出包括mAP@0.5, mAP@0.5:0.95, Precision, Recall等指标。
5.2 推理演示
对单张图片或视频进行检测:
# 图片推理
python detect.py \
–weights runs/train/car_detection_results/weights/best.pt \
–source data/images/test.jpg \
–img 640
# 视频推理 (摄像头输入)
python detect.py \
–weights runs/train/car_detection_results/weights/best.pt \
–source 0
5.3 导出模型为ONNX/TensorRT
为了部署到边缘设备(如NVIDIA Jetson),需要导出模型:
# 导出ONNX
python export.py –weights runs/train/car_detection_results/weights/best.pt –include onnx
# 导出TensorRT (需要在Jetson或GPU上)
python export.py –weights runs/train/car_detection_results/weights/best.pt –include engine –device 0
第六部分:常见问题与解决方案 (FAQ)
Q1: 显存不足 (CUDA out of memory)
解决方案
:
减小
–batch
大小(如从16减到8或4)。
减小
–img
尺寸(如从640减到416)。
使用
–cache
缓存数据到内存/磁盘加速训练。
Q2: 小目标检测效果差
解决方案
:
增加输入图像分辨率(如
–img 1280
)。
调整anchor框大小(使用
–autoanchor
)。
在数据增强中减少裁剪比例。
Q3: 模型在夜晚数据上表现差
解决方案
:
收集更多夜晚数据。
使用数据增强模拟低光照(降低
hsv_v
)。
使用预训练权重(如
yolov5s.pt
)进行微调,而不是从头训练。
结语
通过本教程,你已经掌握了使用PyTorch和YOLOv5进行自动驾驶目标检测的完整流程。从数据标注的规范性,到模型训练的细节,再到针对性的优化策略,每一步都是提升模型性能的关键。记住,
数据质量决定上限,模型优化决定下限
。持续迭代数据和模型,你将训练出强大的自动驾驶感知模型。