一种基于平衡性联合网络的鱼类多目标跟踪方法与流程

1.本发明属于水产养殖技术领域，特别涉及一种基于平衡性联合网络的鱼类多目标跟踪方法。


背景技术：

2.(1)传统集约化养殖池水产养殖的缺陷与问题
3.对于集约化养殖池水产养殖模式，水中溶解氧的高低对鱼类的摄食、饵料的消化、鱼类的生长都会产生重要影响。溶解氧含量过低时，将导致鱼类出现食欲降低、消化吸收率低、生长迟缓等不良症状，含氧量过低时会导致鱼类的缺氧死亡，严重影响水产养殖产量。从鱼类的生理、行为角度分析，溶解氧低会导致鱼类出现集群浮头、跳水行为、甚至在水面急速游动与不规律游动、体色灰暗变淡、鱼眼产生白膜等现象。因此可通过鱼类的多目标跟踪方法来判断鱼群是否存在异常行为，为智能养殖提供依据。
4.目前，在我国水产养殖业中存在一些不合理现象，在生态不同的养殖环境，水产养殖种类中十分常见。如果特定区域适合某种类型的生物水产养殖，则水生生物量将严重超过环境负荷，长期密集的养殖在当地地区具有单一结构，很容易造成生态系统的能量和物质枯竭，导致生态失衡，赤潮和病原生物的发生。并且，由于食物链短和能量转化率高，使生态系统稳定性差，很容易引起疾病和流行病爆发。因此在水产养殖中，及时发现饲养鱼是否感染病虫害，从而降低不必要的养殖损失是一个重要的研究方向。
5.目前养殖规模的迅速扩张与养殖密度的激增，对于水环境与土壤环境的消耗越来越大，对于投喂饵料的过度浪费与养殖药物的滥用，使得养殖水环境逐渐恶化。目前的智能化、自动化、信息化程度较低，如何利用物联网等信息技术进行资源的合理利用，实现高效、绿色的养殖是目前养殖业的主要发展目标。
6.(2)基于计算机视觉的鱼群目标跟踪方法
7.利用计算机视觉的相关方法进行鱼类目标跟踪是实现智慧水产养殖的重要技术之一。相比基于声学或基于传感器的鱼类检测与追踪方法，基于计算机视觉的鱼类检测与追踪方法有实时性、非接触式、设备需求简单、不影响鱼类正常行为活动等优点。相比而言，计算机图像与视频信息还具有丰富的可解释性，可以通过对数据的分析获取肉眼不可见的深度语义信息，所以基于计算机视觉技术的鱼群跟踪具有广阔的应用前景。
8.在鱼群跟踪领域，传统的跟踪方法仍占据主流。在检测阶段，多使用传统的差分方法进行像素级的计算，对鱼类目标进行定位识别；在跟踪阶段通过运动学的方法进行轨迹预测与绘制，如滤波相关方法。随着深度学习技术的发展，基于cnn的检测器相比传统方法在精度上得到的显著的提升，进而使得模型的预测轨迹精确度更高。但目前在鱼类目标的应用上，仍未出现较大突破。大多数的跟踪方法仍然以传统的背景差分法、帧间差分法等作为检测器，以滤波、sort等相关方法作为跟踪器进行行为轨迹预测。由于鱼群高速游动，鱼体之间的相互遮挡、黏连问题，水下图像的光照问题等给跟踪技术带来了很大的挑战。
9.基于计算机视觉的鱼群目标跟踪方法主要存在以下问题：
10.(1)水下图像数据问题：鱼类多目标跟踪数据集主要存在数据采集和数据帧质量两方面的问题。
11.首先，鱼类数据集由于规模小且密度高，获取难度较高而导致目前开源的鱼类数据集较少，且开源鱼类数据集的质量仍然不能满足基于深度学习的方法的要求。特别是在分辨率和图像帧方面，仍然缺乏高质量的开源鱼类多目标跟踪数据集。因此目前在数据训练上以实验现场采集的数据为主，导致训练的模型在其他环境的应用下精度降低较明显。
12.其次，水下的图像数据的亮度与对比度较低、噪声多、颜色失真问题严重，给检测算法带来了更大的挑战。水下图像增强方法需要在预处理步骤中实现，以达到精确的检测，通过较小的偏移量输入位置，使跟踪结果更加可靠，但一般的图像增强技术在水下数据中的适用性较差，在水下图像复原中难度较大。因此，在鱼类的数据集开发与基于深度学习的图像与视频数据增强上仍有很大发展空间。
13.(2)传统跟踪方法问题。
14.在鱼类的跟踪预测方法上目前仍以传统的跟踪技术为主，传统的跟踪模型通常基于运动学方法进行算法设计。基于运动学的目标跟踪方法，如粒子滤波、卡尔曼滤波、核相关滤波算法等，在鱼类跟踪中有着广泛的应用。虽然上述模型在鱼类跟踪中总体性能有所提高，但在最终性能中，跟踪和检测的任何子模型的精度都会降低，不仅网络无法实现共享，计算速度难以突破，而且无法处理鱼群中鱼类互相遮挡等复杂环境下的问题。
15.运用传统跟踪方法，主要包括检测器阶段和跟踪器阶段。在检测器阶段，由于水下杂物影响较少，鱼体目标显著，差分类方法广泛应用于鱼体识别：包括背景差分法、帧间差分法、综合差分法等。已有研究人员采用的高斯混合模型进行背景差分，使用高斯概率密度函数进行目标区分，该方法对慢速移动的鱼类目标有较好的处理效果，但计算成本较高。在跟踪器阶段，鱼类目标以滤波系列方法应用为主。常见的滤波类方法如粒子滤波、卡尔曼滤波等。已有研究人员提出了一项基于粒子滤波的鱼类跟踪方法，采用自适应分区通过全局最近邻的方法进行数据关联，但该方法鲁棒性较差，在复杂环境下的错检明显。
16.由于场景和目标变化的复杂性，基于深度学习的目标跟踪问题一直是计算机视觉领域最具挑战性的研究方向之一。自2013年以来，虽然基于深度学习的目标跟踪法已经取得了一系列的重大进展，但由于实际场景往往比评测数据复杂，且在基于深度学习的目标检测算法迁移到鱼类目标上时，受到水下环境影响，对图像的增强需求高，因此当前的跟踪算法还不能同时满足鲁棒性、实时性和精准度的需要。
17.(3)鱼群遮挡问题。
18.遮挡问题在鱼群的检测与追踪上始终是处理的难点。由于鱼群个体间的相互遮挡，或是帧间鱼类的瞬时加速度导致的位置变化难以进行目标的重识别与轨迹预测。
19.首先，鱼群的密集分布导致鱼类之间产生严重的互相遮挡问题，与人群的重识别相比，鱼类的个体特征更难提取，检索原始目标更加困难，因此鱼类id的频繁切换，人群的经典识别方法不适用于鱼群跟踪。对于短时相互遮挡，需要建立鱼类个体运动学模型来匹配缺失目标；对于固定点遮挡问题，使用主从相机或带镜相机关联多相机多目标跟踪信息，并计算3d坐标。
20.其次，在喂食鱼群或鱼群受到惊吓时，鱼群经常会出现突然加速的情况，而爆炸性的加速会导致目标丢失。通过记录高帧速率的视频数据，可以有效地解决加速度引起的目
标丢失问题，但是这种方法会显著增加硬件设备的负担。在模型训练中，图像帧的增加也会导致训练效率的降低。因此，如何利用较少的数据进行精确的目标重识别与轨迹预测是一个难点。


技术实现要素：

21.本发明的目的是提出一种基于平衡性联合网络的鱼类多目标跟踪方法，其特征在于，包括以下步骤：
22.步骤1数据集建立与优化：
23.基于中国农业人工智能创新创业大赛数据集，在原数据集基础上进行了优化整理补充，生成了新的optmft数据集；通过对数据集做了合并训练，来进一步加强对于复杂环境下的模型的鲁棒性；同时，对一些图像质量较差的负样本图像帧进行了剔除，强化了鱼类目标明显、游动轨迹清晰的数据的训练权重，来进一步提升模型对于鱼类识别的精度；除此之外，对数据集做了全帧训练来增强模型对于鱼群高速游动情况下的鲁棒性。
24.所述多鱼类多目标跟踪模型在优化的多鱼目标跟踪数据集optmft上进行试验，主要为养殖桶内的鱼类游动行为数据，摄像头采用海康威视摄像机进行拍摄，视频帧率为25帧/秒；为使该数据集进一步适合本模型的训练，对数据集进行了重新优化整理；
25.步骤2鱼类多目标跟踪算法的设计与优化：
26.设计了一种平衡性的多鱼目标跟踪网络来实现多目标跟踪；即多鱼类多目标跟踪模型利用嵌入可变形卷积的resnet-101作为网络的骨干网；利用四个不同的检测跟踪头部进行低维度特征的提取，对高分辨率特征图信息进行双分支使用；将检测器与跟踪器融合到同一个网络中实现，利用检测、跟踪两个分支分别实现鱼类目标的识别与跟踪匹配；在两个分支前设计四个不同的检测、跟踪头部来提取分支所需的特征信息，对骨干网提取的高分辨率特征图进行特征信息的有效提取，在检测中使用anchor-free方法进行鱼类目标的精确定位，跟踪中借鉴deepsort思想进行目标匹配与重识别，在复杂的养殖池环境下实现了鱼类目标的高精度跟踪与个体信息保持。
27.步骤3模型训练评价：
28.在模型训练中使用旷世天元的鱼类多目标跟踪数据集，该数据集中存在着鱼饵残留、光斑影响、水面波纹扰动、鱼群的密集分布产生的互相遮挡、鱼群突然加速导致目标丢失、对比度多变的问题；要求训练模型具有较高的鲁棒性；在训练中使用了ubuntu 18.04.2lts系统，采用1张nvidia tesla v100显卡进行模型训练与消融实验；并在该数据集上进行了测试验证；对optmft数据集做了全帧训练来增强模型对于高速游动情况下的鲁棒性，
29.在多鱼类多目标跟踪中利用验证模型进行验证：将平衡性联合鱼类多目标跟踪网路与经典算法在optmft_light数据集上进行了比较：首先，以faster rcnn-50-fpn和faster rcnn-101-fpn作为检测器的骨干网络训练；经过sort、deepsort、tracktor实验测试验证；以评估检测和重新识别的性能。
30.所述步骤2中在复杂的养殖池环境下实现了鱼类目标的高精度跟踪与个体信息保持。具体采用计算机视觉与深度学习技术的鱼类多目标跟踪方法，包括如下步骤：
31.(1)利用上述改进的optmft数据集作为模型的训练集，统一图像尺寸至1088*
1088，输入到目标网络中进行模型预训练；
32.(2)以resnet-101作为骨干网络，并将网络中第五阶段的3*3卷积层替换成可形变卷积，并使用可形变的roipooling替换最终的池化层来实现对非刚性特点的鱼类目标的有效跟踪；
33.(3)设计检测、跟踪双分支分别用于鱼类目标检测特征、个体信息重识别特征的提取；通过设计3个检测头部与1个重拾别头部来进行高分辨率特征图的特征提取；
34.(4)应用估计热力图头部，中心偏移头部和边界框大小头部于检测分支，提取目标检测所需特征信息；应用重拾别头部于跟踪分支，提取目标跟踪所需特征信息；
35.所述估计热力图头部用于估计鱼体目标的中心点，对热力图中心点(x，y)的响应值m
xy
可以记为：
[0036][0037]
所述边界框大小头部用于估计鱼体目标尺寸，所述中心偏移头部用于计算鱼体位置的中心偏移；
[0038]
(5)利用提出的权重平衡性损失进行双分支训练的学习平衡，在同一网络的训练中同时获取用于检测、重识别的更优目标特征；
[0039]
相关损失函数定义如下：
[0040]
l
det-δh*l
hm
δo*l
os
δb*l
bs
ꢀꢀꢀ
(2)
[0041][0042][0043]
δh，δo，δb的代表优化的估计热力图头部，中心偏移头部和边界框大小头部的权重系数，ω1，ω2为用于平衡检测与跟踪任务的可学习参数；
[0044]
(6)经过实验验证，训练模型的特征维度在64时对鱼类重识别上有更好的跟踪性能，将模型训练特征维度设定为64来找回更多的丢失兴趣目标。
[0045]
所述步骤3在多鱼类多目标跟踪中利用验证模型进行验证：将平衡性联合鱼类多目标跟踪网路与经典算法在optmft_light数据集上进行了比较：首先，以faster rcnn-50-fpn和faster rcnn-101-fpn作为检测器的骨干网络训练；经过sort、deepsort、tracktor实验表明，当以faster rcnn-50-fpn为检测器主干时，模型在mota值和召回率方面表现更好，原因是检测器在鱼群目标上获得了很高的准确率，极高的id转换数说明目标丢失问题还没有得到本质的解决；当主干网络为faster rcnn-101-fpn时，模型在mota和召回率上的表现极差。错检率fn值越大表示漏检越明显，精度越高说明检测器对鱼的识别效果越好；其次，测试了几个典型的jde范式多目标跟踪模型来验证我们的有效性；
[0046]
本发明的有益效果是将性能与应用中的实时模型进行比较，本发明使用optmft数据集对平衡性联合鱼类多目标跟踪网路和deepsort跟踪器进行了对比实验。结果表明deepsort的推理速度得到了更好的表现，达到了32.16fps。而其较低的idf1(21.6％)和mota(56.1％)意味着重识别能力较差。与此相反，平衡性联合鱼类多目标跟踪网路在精度和速度方面获得了更好的平衡性能。
[0047]
本发明的特点如下：
[0048]
(1)由于鱼群小目标的特点，且游动速度快，容易出现遮挡、尺度变化，跟踪困难，目前在鱼群上基于深度学习的跟踪模型非常稀少，本发明提出了一个专门用于鱼类的多目标跟踪的模型；将检测与跟踪所需的特征信息合并在同一个网络中进行训练与提取，极大地提高了模型训练效率。
[0049]
(2)对网络的骨干网进行对比与优化，利用嵌入可变形卷积的resnet-101作为网络的骨干网；利用四个不同的检测跟踪头部进行低维度特征的提取，对高分辨率特征图信息进行双分支使用；
[0050]
(3)设计了权重平衡性损失函数来优化两个分支的训练，使得网络对于位置特征信息、id信息等有更好的训练效率，有效提高了跟踪精度；支持不同特征维度的训练跟踪，在128、64特征维度上实现较好的跟踪效果。
[0051]
(4)为了验证模型的有效性，本发明与sort、deepsort、tracktor、centertrack、fairmot等多个目标跟踪算法进行了对比实验。实验证明，本发明模型达到了更好的精度与速度的平衡，有效降低了目标的切换次数，能够实现对复杂环境的鱼群多目标跟踪，相对其他模型更好的解决了鱼群的遮挡、高速、多尺度问题，达到了更高的idf1与mota结果。
[0052]
(5)本发明应用范围广泛，在多个养殖环境下都能起到很好的效果，实用性强。
附图说明
[0053]
图1为鱼类多目标跟踪方法流程图。
[0054]
图2为optmft数据集样例，其中，(a)正常，(b)扰动，(c)环状游动，(d)休息，(e)鱼饵，(f)饲喂，(g)波纹，(h)光斑；
[0055]
图3为跟踪结果样例展示图，其中a、b、c、d表示在optmft数据集中进行模型的可视化跟踪结果采样显示；
[0056]
图4为连续帧跟踪结果样例展示图,其中a、b、c、d为连续帧跟踪图样；
[0057]
图5为检测与跟踪分支示例，其中a:对于检测分支，三个输入头用于分别估计热力图，中心偏移和边界框大小。热力图确定位置，中心偏心目的是位置矫正；b:在跟踪阶段，嵌入式的重拾别分支用于特征提取并识别各种鱼体的低级特征以重新识别。
具体实施方式
[0058]
本发明提出一种基于平衡性联合网络的鱼类多目标跟踪方法，下面结合附图和实施例对本发明予以进一步说明。
[0059]
目前由于深度学习技术所需的训练数据量大，而开源的鱼类目标跟踪数据集较少；并且由于水下相机布署成本较高，并且光照条件较差，导致水下数据集采集困难。同时由于跟踪数据集标注相对复杂，对于高帧率、高分辨率的数据集的多鱼类多目标跟踪模型仍使用养殖实验的数据集进行模型的训练。本发明用养殖桶内的鱼类游动行为数据在优化的多鱼目标跟踪数据集optmft上进行试验，包括以下步骤：
[0060]
步骤1数据集建立与优化：
[0061]
所述多鱼类多目标跟踪模型是中国农业人工智能创新创业大赛数据集，在原数据集基础上进行了优化整理补充，生成了新的optmft数据集；原数据为中国农业人工智能创新创业大赛数据集，主要为养殖桶内的鱼类游动行为数据，摄像头采用海康威视摄像机进
行拍摄，视频帧率为25帧/秒；为使该数据集进一步适合本模型的训练，对数据集进行了重新优化整理，首先，通过合并训练，进一步加强对于复杂环境下的模型的鲁棒性；其次，对一些影像较差的负样本图像帧进行了剔除，强化了鱼类目标明显、游动轨迹清晰的数据的训练权重，来进一步提升模型对于鱼类识别的精度；除此之外，对数据集做了全帧训练来增强模型对于鱼群高速游动情况下的鲁棒性。优化后的数据集如图2所示。其中，(a)正常，(b)扰动，(c)环状游动，(d)休息，(e)鱼饵，(f)饲喂，(g)波纹，(h)光斑；
[0062]
步骤2鱼类多目标跟踪算法的设计与优化：
[0063]
设计了一种平衡性的多鱼目标跟踪网络来实现多目标跟踪；即多鱼类多目标跟踪模型利用嵌入可变形卷积的resnet-101作为网络的骨干网；利用四个不同的检测跟踪头部进行低维度特征的提取，对高分辨率特征图信息进行双分支使用；将检测器与跟踪器融合到同一个网络中实现，利用检测、跟踪两个分支分别实现鱼类目标的识别与跟踪匹配；在两个分支前设计四个不同的检测、跟踪头部来提取分支所需的特征信息，对骨干网提取的高分辨率特征图进行特征信息的有效提取，在检测中使用anchor-free方法进行鱼类目标的精确定位，跟踪中借鉴deepsort思想进行目标匹配与重识别，在复杂的养殖池环境下实现了鱼类目标的高精度跟踪与个体信息保持。具体采用计算机视觉与深度学习技术的鱼类多目标跟踪方法，设计了一种联合检测与跟踪范式的平衡性多鱼类多目标跟踪网络；网络的设计与实现流程如图1所示：包括步骤：
[0064]
(1)利用上述改进的optmft数据集作为模型的训练集，统一图像尺寸至1088*1088，输入到目标网络中进行模型预训练。
[0065]
(2)以resnet-101作为骨干网络，并将网络中第五阶段的3*3卷积层替换成可形变卷积，并使用可形变的roipooling替换最终的池化层来实现对非刚性特点的鱼类目标的有效跟踪。
[0066]
(3)设计检测、跟踪双分支分别用于鱼类目标检测特征，如图5所示的个体信息重识别特征的提取，其中a：对于检测分支，三个输入头用于分别估计热力图，中心偏移和边界框大小。热力图确定位置，中心偏心目的是位置矫正；b：在跟踪阶段，嵌入式的重拾别头部分支用于特征提取并识别各种鱼体的低级特征以重新识别。
[0067]
通过设计3个检测头部与1个重拾别头部来进行高分辨率特征图的特征提取。
[0068]
(4)应用估计热力图头部，中心偏移头部和边界框大小头部于检测分支，提取目标检测所需特征信息；应用重拾别头部于跟踪分支，提取目标跟踪所需特征信息。
[0069]
估计热力图头部用于估计鱼体目标的中心点，对热力图中心点(x，y)的响应值m
xy
可以记为：
[0070][0071]
边界框大小头部用于估计鱼体目标尺寸，中心偏移头部用于计算鱼体位置的中心偏移。
[0072]
(5)利用提出的权重平衡性损失进行双分支训练的学习平衡，在同一网络的训练中同时获取用于检测、重识别的更优目标特征。
[0073]
相关损失函数定义如下：
[0074]
l
det
＝δh**l
hm
|δo*l
os
|δb*l
bs
ꢀꢀꢀ
(2)
[0075][0076][0077]
δh，δo，δb的代表优化的估计热力图头部，中心偏移头部和边界框大小头部的权重系数，ω1，ω2为用于平衡检测与跟踪任务的可学习参数。
[0078]
(6)经过实验验证，训练模型的特征维度在64时对鱼类重识别上有更好的跟踪性能，将模型训练特征维度设定为64来找回更多的丢失兴趣目标。
[0079]
步骤3模型训练评价：
[0080]
在模型训练中使用旷世天元的鱼类多目标跟踪数据集，该数据集中存在着鱼饵残留、光斑影响、水面波纹扰动、鱼群的密集分布产生的互相遮挡、鱼群突然加速导致目标丢失、对比度多变的问题；要求训练模型具有较高的鲁棒性；在训练中使用了ubuntu 18.04.2lts系统，采用1张nvidia tesla v100显卡进行模型训练与消融实验；并对optmft数据集做了全帧训练来增强模型对于高速游动情况下的鲁棒性，在该数据集上进行了测试验证；
[0081]
利用optmft数据集对模型进行跟踪效果测试，测试效果如图3所示，其中a、b、c、d表示在optmft数据集中进行模型的可视化跟踪结果采样显示；
[0082]
在不同对比度与残饵的复杂水体环境中，可见本发明的模型对于鱼目标都有良好的检测性能。通过进行连续帧测试，可见本发明的模型在出现遮挡、加速游动、转弯等条件下，具有一定的目标追回性能，但在困难条件下仍有目标丢失的现象，连续帧图片跟踪效果如图4所示，其中a、b、c、d为连续帧跟踪图样。
[0083]
所述步骤3的验证模型在多鱼类多目标跟踪中的验证结果：将平衡性联合鱼类多目标跟踪网路与经典算法在optmft_light数据集上进行了比较：首先，以faster rcnn-50-fpn和faster rcnn-101-fpn作为检测器的骨干网络训练；经过sort、deepsort、tracktor实验表明，当以faster rcnn-50-fpn为检测器主干时，模型在mota值和召回率方面表现更好，原因是检测器在鱼群目标上获得了很高的准确率，极高的id转换数说明目标丢失问题还没有得到本质的解决；当主干网络为faster rcnn-101-fpn时，模型在mota和召回率上的表现极差。错检率fn值越大表示漏检越明显，精度越高说明检测器对鱼的识别效果越好；其次，测试了几个典型的jde范式多目标跟踪模型来验证我们的有效性；实验表明，centertrack在错检率fn上相对较差，这意味着更多的缺失检测；较高的idf1(37.0％)表明fairmot显着改善了fn现象，有效提升了重识别性能；平衡性联合鱼类多目标跟踪网路实现了最高的38.6％idf1，这意味着它在结合id信息的跟踪方面表现最好。此外，平衡性联合鱼类多目标跟踪网路也达到了jde范式的最高mota(71.4％)和recall(73.6％)，超越了fairmot(mota 71.4％，recall73.2％)。
[0084]
本发明提出了一项专门用于鱼群的多目标跟踪模型：通过进行检测与跟踪任务的特征共享，高效的实现跟踪，并且平衡了两分支所需的特征(如图5所示)、特征维度的不平衡性，通过anchor-free的方法来一定程度上解决了鱼群相互遮挡问题。在优化的optmft数据集上达到了mota的指标。