一种基于YOLOv5的鱼类摄食行为识别方法与流程

技术特征：
1.一种基于yolov5的鱼类摄食行为识别方法，其特征在于，包括如下步骤：s1、通过摄像头采集某单一鱼群喂食前后的视频，提取视频的关键帧图片，将图片中鱼群中的鱼按照其摄食状态标注为摄食鱼和非摄食鱼两个类别，建立某一鱼类摄食行为数据集，将数据集分为训练集、验证集和测试集；s2、将训练集和验证集中的图片输入yolov5网络模型进行模型训练，得到yolov5网络模型的最佳权重数据；s3、将最佳权重数据加载到yolov5网络模型中，输入测试集图片，输出目标检测结果；所述yolov5网络模型包括依次连接的输入端、backbone骨干网络、neck网络和head输出端，所述s2步骤中将训练集和验证集中的图片输入yolov5网络模型进行模型训练的方法为：s2
‑
1、图片预处理：图片进入输入端，输入端对图片进行预处理，预处理包括mosaic数据增强、自适应锚框计算和自适应图片缩放；s2
‑
2、特征提取：预处理后的图片进入backbone骨干网络，进行特征提取后得到三个不同大小的特征图；s2
‑
3、特征融合：将s2
‑
2步骤得到的三个不同大小的特征图输入neck网络进行特征融合，得到三个尺度的特征图；s2
‑
4、预测输出：将s2
‑
3步骤得到的三个尺度的特征图输入head输出端，得到三个特征张量，由此得到预测框的位置、类别和置信度；在训练阶段，将预测框与真实框进行匹配得出正负样本，然后通过计算损失函数来调节权重参数，验证阶段采用加权非极大值抑制的方式筛选预测框，通过计算准确率、平均精度来不断优化模型参数。2.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述s1步骤中提取视频的关键帧图片是使用opencv程序来进行，对图片中鱼群中的的鱼进行标注是使用labelimg来进行标注，标注后的文件以xml作为后缀，文件名和图片名称一致；使用nvidia 2080ti的显卡进行运算。3.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述s1步骤中的摄像头为海康威视网络摄像头，型号为ds
‑
2cd5026efwd，帧率25fps/s，视频分辨率为1920*1680。4.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述s2
‑
1步骤图片预处理后的尺寸为640
×
640
×
3，yolov5网络模型的初始锚框设定为[116，90，156，198，373，326]、[30，61，62，45，59，119]、[10，13，16，30，33，23]，网络模型在初始锚框的基础上训练得到预测框，并和真实框进行比较，根据差值反向更新，迭代调整网络模型参数。5.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述yolov5网络模型为yolov5x模型，设置训练的数据集最大迭代次数为300次，每次模型训练的输入图片数量为12，模型初始学习率为0.01；前50次迭代次数采取预热更新学习率，之后采用余弦退火算法更新学习率。6.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述backbone骨干网络包含focus结构和csp结构，focus结构中含有切片操作，将预处理后尺寸为640
×
640
×
3的图片接入focus结构中，通过切片操作与concat操作，得到160
×
160
×
12
的特征图，然后进行一次32个卷积核操作，得到160
×
160
×
32的特征图。7.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述s2
‑
2中三个不同大小的特征图分别为m1、m2、m3，特征图m1的大小为80
×
80，特征图m2的大小为40
×
40，特征图m3的大小为20
×
20；所述neck网络采用fpn pan的结构，特征金字塔fpn利用上采样的方式对信息进行传递融合，路径聚合网络pan采用自底向上的特征金字塔；s2
‑
3步骤中三个尺度的特征图分别为f2、p1、p2；所述neck网络将特征图m3进行上采样，然后和特征图m2特征融合，得到40
×
40的特征图f1；特征图f1再经过上采样和特征图m1特征融合，得到80
×
80的特征图f2；特征图f2经过步长为2的conv结构，和特征图f1特征融合，得到40
×
40的特征图p1；特征图p1经过步长为2的conv结构，和特征图m3特征融合，得到20
×
20的特征图p2。8.根据权利要求7所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述head输出端包括detect结构，特征图f2、p1、p2输入到detect结构后得到80
×
80
×
(b
×
(5 c))、40
×
40
×
(b
×
(5 c))、40
×
40
×
(b
×
(5 c))这三个特征张量，其中c为数据集分类数，b为每个特征张量的锚框数量，b＝3，c＝2；每个特征张量为(t
x
，t
y
，t
w
，t
h
，p
o
，p
c1
，p
c2
)
×
3，其中t
x
、t
y
是预测框目标中心点相对于该点所在网格左上角的偏移量，t
w
、t
h
分别是预测框相对于锚框在宽度和高度上的缩放尺度，p
o
为置信度信息，(p
c1
，p
c2
)为类别信息；以图片每个网格的中心作为锚框的中心基点，通过(t
x
，t
y
，t
w
，t
h
)和锚框的宽高，可以得出预测框的位置；假设某一网格距离图片左上角的边距为(c
x
，c
y
)，该网格对应的锚框的宽和高分别为(p
w
，p
h
)，则预测框的位置信息就可以表示为：b
x
＝2σ(t
x
)
‑
0.5 c
x
b
y
＝2σ(t
y
)
‑
0.5 c
y
b
w
＝p
w
(2σ(t
w
))2b
h
＝p
h
(2σ(t
h
))2其中，b
x
、b
y
分别为预测框的中心点坐标，b
w
、b
h
分别为预测框的宽度和高度，σ是sigmoid函数，预测框的置信度为σ(p
o
)，预测框的类别为(σ(p
c1
)，σ(p
c2
))。9.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述s2
‑
4中在训练阶段，将预测框与真实框进行匹配得出正负样本，包括：采用跨网格匹配，即从真实框所在网格的上下左右的四个网格中找到离真实框中心点最近的两个网格，再加上真实框所在网格共三个网格进行匹配，计算真实框和这三个网格的所有锚框的宽高比，当真实框的宽与锚框的宽的比值、真实框的高与锚框的高的比值均大于1/4且小于4，则认为匹配，即同时满足下列公式：大于1/4且小于4，则认为匹配，即同时满足下列公式：hyp＝4其中，gt_w是真实框的宽，gt_h是真实框的高，anchor_w是锚框的宽，anchor_h是锚框
的高；否则认为不匹配；匹配的锚框通过预测框的回归公式得出匹配的预测框的位置信息，预测框的回归公式如下：b
x
＝2σ(t
x
)
‑
0.5 c
x
b
y
＝2σ(t
y
)
‑
0.5 c
y
b
w
＝p
w
(2σ(t
w
))2b
h
＝p
h
(2σ(t
h
))2其中，b
x
、b
y
分别为预测框的中心点坐标，b
w
、b
h
分别为预测框的宽度和高度，σ是sigmoid函数，预测框的置信度为σ(p
o
)，预测框的类别为(σ(p
c1
)，σ(p
c2
))；匹配的预测框作为正样本，计算与真实框的定位损失、置信度损失和分类损失，正样本匹配的真实框的置信度为真实框和正样本的交并比；不匹配的预测框则作为负样本，只计算与真实框的置信度损失，而负样本匹配的真实框的置信度为0。10.根据权利要求1所述的一种基于yolov5的鱼类摄食行为识别方法，其特征在于，所述损失函数包括分类损失函数loss(class)、定位损失函数loss(box)和置信度损失函数loss(obj)，损失函数loss的定义如下：loss＝loss(box) loss(obj) loss(class)oss＝loss(box) loss(obj) loss(class)oss＝loss(box) loss(obj) loss(class)loss(giou)＝1
‑
giougiougiou式中的参数有以下定义：网格为s
×
s，每个网格产生b个锚框，a为真实框矩形面积，b为预测框矩形面积，c为真实框与预测框形成的最小外接矩形面积，即同时包含了预测框和真实框的最小框的面积；iou指交并比，预测框和真实框的交集和并集的比值；表示第i个网格的第j个预测框匹配上了这个目标，如果匹配，否则为0；表示第i个网格的第j个预测框不匹配该目标；是第i个网格边界框的真实置信度，c是第i个网格边界框
预测的置信度；是真实的条件类别概率，p
i
(c)是网络预测的条件类别概率；loss(bce)是指二元交叉熵损失；λ
box
是指定位损失的权重系数，λ
class
是指分类损失的权重系数；而置信度损失由两部分组成，正样本置信度损失和负样本置信度损失，λ
obj
是指正样本置信度损失的权重系数，λ
noobj
是指负样本置信度损失的权重系数。

技术总结
一种基于YOLOv5的鱼类摄食行为识别方法，包括如下步骤：通过摄像头采集某一单一鱼群喂食前后的视频，提取关键帧图片并标注，建立数据集；图片输入YOLOv5网络模型，经预处理后依次进入Backbone网络和Neck网络进行特征融合，再输入Head输出端，得到预测框的位置、类别和置信度，采用加权非极大值抑制筛选预测框，通过计算损失函数调节权重参数，通过验证集不断优化模型参数，得到最佳权重数据；将测试集图片输入训练好的YOLOv5网络模型中，得到目标检测结果。本发明目标检测的准确性，采用YOLOv5网络模型，能够快速识别、实时跟踪和预测，并及时采取行动，达到提高养殖效益的目的。达到提高养殖效益的目的。达到提高养殖效益的目的。


技术研发人员：邹娟 苏立恒 师泽晨 陈宁夏 杨灵
受保护的技术使用者：仲恺农业工程学院
技术研发日：2021.07.23
技术公布日：2021/10/23