一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置与流程

1.本发明涉及舰船舰载无人机回收领域，具体涉及一种在yolov5深度学习模型基础上融合tensorrt加速优化后的高集成度远距离舰载无人机回航运动轨迹实时检测跟踪技术。


背景技术：

2.随着人工智能的兴起，计算机视觉领域涌现出大量基于深度学习的运动目标检测跟踪算法，在无人驾驶，交通运输，设备回收等诸多领域大放异彩。
3.当前，舰载无人机工作环境复杂，末端回航速度快距离远，航迹变化难以预测，传统的基于光学的定位方法，基于预测性质的跟踪方法在这一层面的应用不具备鲁棒性，因为光流受环境、速度等影响较大，预测式的跟踪在长距离，尺度变换明显的目标跟踪任务中表现不佳。所以传统方法难以准确提取到舰载无人机高速回航的多变运动信息。综上所述，无人机末端回收任务迫切需要一种复杂环境下的高精度，高速度检测跟踪算法来应对上述特点。


技术实现要素：

4.本发明的目的是为了克服现有传统检测跟踪算法嵌入式迁移效果差，实时性低，不适用于舰载无人机高速回航回收等尖端任务的不足，本发明提供一种高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法及装置，不仅能够简易部署在大型舰船上，并且能够实现远距离舰载无人机高速回航时的实时定位，为回收控制系统提供准确运动信息。
5.本发明的技术方案是：搭建具有yolov5深度学习模型的嵌入式实时检测跟踪组合框架，包含以下步骤：
6.s1、通过高精度拍摄设备获取各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集；
7.s2、对步骤s1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件；
8.s3、以s1和s2构建的特有各类无人机数据集采用特定训练方法进行yolov5检测模型的训练；
9.s4、将权重模型转化为.wts文件，再生成为.engine序列模型文件，将模型与yolov5检测算法整体部署于嵌入式图像处理板；
10.s5、在图像处理板的linux环境下将yolov5检测算法扩展为基于先验检测的非预测式检测
‑
跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；
11.s6、将tensorrt模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型后的检测
‑
跟踪算法进行加速推理；
12.s7、利用整体集成于pytorch框架下加速的检测
‑
跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。
13.所述步骤s1和s2构建及标注的数据是本发明特别提出的，所有素材均来自于各类舰载无人机。
14.所述步骤s3输入数据尺寸为544
×
544，设置训练参数时采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，保证训练出的模型具备较快基准检测速度；针对裁剪过的模型采用新的anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块backbone以及head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测；整个训练过程采用交叉熵损失函数，函数具体如下：
[0015][0016]
该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，对训练过程调整学习参数，记录交叉熵损失函数及精度变化。
[0017]
所述步骤s4将权重模型转化为.wts模型文件，后通过自编脚本直接一步生成为float 16精度的.engine文件，然后将模型与算法整体部署于嵌入式图像处理板进行加速。
[0018]
本发明在所述步骤s5对图像处理板linux环境下的yolov5检测算法本身进行了改进，扩展为非预测式的检测
‑
跟踪算法。在检测第一帧对检测过程进行算法约束，对yolov5检测算法中的检测信息矩阵进行优化，施加概率判断模型和滞空模型；
[0019]
然后，以特定目标为先验知识，在后续视频流中固定算法中的矩阵信息，实现对特定目标的跟踪。
[0020]
所述步骤s6将原始的tensorrt库迁移到虚拟环境中python的文件库集和中去，激活tensorrt的python接口，实现将tensorrt模型解析推理加速技术搭建为pytorch框架；进一步建立动态链接库，调用tensorrt对载入engine模型的检测
‑
跟踪算法进行加速推理。
[0021]
所述步骤s7将集成于pytorch框架下加速优化后的检测
‑
跟踪算法加载到双摄影位置定位系统程序中，作为目标检测跟踪程序模块运行；
[0022]
此后，通过双摄影相机设备实时采集无人机回航视频数据流，作为输入传入目标检测跟踪程序模块，经运算实现无人机回航运动轨迹的实时检测跟踪。
[0023]
本发明中采用的用于实现上述步骤s1
‑
s7的装置包括核心处理器、存储器以及核心板载显卡，存储器可存储运行在该装置上的完整pytorch框架算法，所述核心板载显卡支持基于cuda库的gpu加速。
[0024]
本发明中采用的yolov5是一种经典的端到端卷积神经网络，不同于fasterrcnn为代表的其他目标检测算法，yolov5将候选框提取与分类的两步问题统一转化为一步回归问题；并且在同系列模型中，yolov5的模型比前几代体积更小，参数更少。这两个最大的优势
为yolov5带来了更快的检测速度以及更高效的判别精度，契合于技术难题中的远距离高速小目标捕捉。
[0025]
本发明的技术效果和优点：综上所述，本发明的有益效果可总结为向各类远距离复杂环境下的舰载无人机回收任务提供可部署于移动端的无人机回航运动轨迹检测跟踪算法，该算法首先对传统深度学习模型进行了改进，融合了优化加速技术，并且与同类方法比较该算法的同构集成度极高，能够稳定确保检测跟踪任务的精确度与实时性。
附图说明
[0026]
为能够更为清楚地表达整个技术方案的实施过程以及实施细节，下面将对整个技术描述中需要使用到的附图作简单的介绍，下面描述中的附图为本发明整体实施流程。
[0027]
图1本发明实施细节流程框图。
具体实施方式
[0028]
为更好地阐述本发明的发明目的，技术细节及其优越性，下面结合本发明实施细节流程框图进行更细致地描述。
[0029]
如图1所示一种对yolov5深度学习模型实施加速优化后的舰载无人机回航运动轨迹实时检测跟踪技术具体实施过程包含以下步骤：
[0030]
s1、采集特定目标对象数据；即采集各类无人机回航时的图像数据，利用这些无人机数据构建一个专用于舰载无人机回收航迹检测跟踪模型训练的特有数据集。
[0031]
具体过程为，通过照相设备对需要检测跟踪的特定目标无人机种类群进行拍摄，拍摄应满足多方位、多角度、多环境、多距离的要求，采集足够丰富的目标数据，按照7比2比1的比例制作相应的用于训练、测试、验证的三大数据集。
[0032]
s2、对步骤s1采集的数据集进行人工标注，标注数据集中无人机目标对象的像素位置框图，记录下像素框坐标作为训练真值，保存为.txt文件。
[0033]
在数据集的基础之上制作相应的准确的标签，即待检测目标对象的最小外接矩形框标签。
[0034]
s3、以步骤s1和步骤s2构建的特有各类无人机数据集采用特定训练方法进行yolov5检测模型的训练。
[0035]
具体过程为，训练过程即精确学习捕捉舰载无人机位置的过程，首先在网络输入端对舰载无人机数据集进行自适应锚框计算以及自适应图片缩放，然后通过yolov5卷积神经网络在不同图像细粒度上聚合并形成图像特征，在此基础之上，yolov5又将输入的训练数据特征图拆分成m
×
m个方格，每个方格根据舰载无人机中心位置的像素坐标来判定是否具备检测目标对象的任务，如果是则输出包含舰载无人机目标的矩形区域信息以及该对象隶属于舰载无人机的概率信息。上述矩形区域信息囊括了左上及右下两个角点的像素坐标值以及该区域是否准确的置信度，该置信度采用iou的值来衡量，iou用于计算预测位置与目标真实位置的交集面积(其中confidence为置信度值，object为检测跟踪的回航无人机对象，true代表检测到目标，false代表未检测到目标，iou为交并比，overlap为“预测边框”和“真实边框”的交集，union为“预测边框”和“真实边框”的并集，p代表概率值，s代表面积值)：
[0036]
confidence＝p(object)
×
iou
[0037][0038][0039]
通过深度学习的训练方式，设置交叉熵损失函数，通过小批量梯度下降法求解损失函数最优解的过程来指导训练，采用的损失函数具体形式如下：
[0040][0041]
该损失函数中λ
coord
用于表示该损失的权重值。该损失函数上半段包含对于boundingbox负责对象的具体网格判断以及坐标预测，其中x，y代表检测跟踪的回航无人机目标框左上角点在图像中的像素坐标，w，h代表目标框的宽度与高度，在yolo算法中，对图像进行网格化，对网格区域进行逐一的预测获取目标对象检测框局域信息，再整合计算确定整个图像中待检测回航无人机的检测框信息，故c
ijobj
代表网格单元i的第j个边界框预测器负责执行该局域预测，s2和b分别是网格单元与边界框预测器的数量，而下半段含目标对象的boundingbox置信度预测和不含目标对象的boundingbox置信度预测，并最终进行类别预测，故c
iobj
代表目标出现在网格单元i中，c
inoobj
代表目标未出现在网格单元i中，c为置信度值，c为类别，p(c)为类别概率值。对训练过程调整学习参数，记录交叉熵损失函数及精度变化，小批量训练的方式避免训练过程陷入局部最优解。
[0042]
步骤s3输入的数据尺寸为544
×
544，对yolov5固有网络模型采用模型裁剪技术，将神经网络每层神经元个数裁剪至原来的四分之一，将神经网络层数裁剪为原来三分之一，去掉部分在权重更新过程中不起决定性作用的神经元，通过这种模型缩减的方法既能保证模型精度，同时也能保证训练出的模型具备较快基准检测速度。本发明针对裁剪过的模型采用新的训练anchors参数，参数取九个数值，共三行九列，每一行对应一层特征图，从大到小排列，输入经过特征提取模块backbone以及head，最后由三层卷积层以及sigmoid激活函数组成预测层对输入数据的目标位置框进行预测。
[0043]
采用adam的优化方法，设置较小的学习率以及较大的迭代次数，本发明不采用预训练模型，以新构建的数据集做过拟合训练。最终训练获得置信度最高，精确度最好的舰载无人机特定目标检测模型，该模型可传输舰载无人机在拍摄图像中的位置像素坐标信息及隶属度概率两项指标。
[0044]
s4、对模型进行解构转化并部署到移动端；将权重模型(即步骤s3中的yolov5检测模型)转化为.wts文件，再生成为.engine序列模型文件，再将模型与算法(即.engine序列模型文件和原始的yolov5检测算法)整体部署于嵌入式图像处理板
[0045]
具体过程为，配置图像处理板的模型应用环境，为了后续利用tensorrt加速技术对模型进行加速推理，对训练模型进行解构转化，该重构过程可分为两步。
[0046]
s4.1、首先将正常训练获取的pt权重模型转化为中间型wts结构；
[0047]
s4.2、在该发明的设计中，为了整体性更完整，可迁移性更强，所以进一步将wts模型重构为engine文件。具体来说，通过自编脚本直接一步生成为float 16精度的.engine文件进行加速，float 16略微降低了原始精度，但带来了推理速度的提升。该步无需将模型转化为onnx，再转化为engine，只需定义必要脚本参数即可，操作方便，避免了模型转化过程中参数不对应所带来的诸多问题。
[0048]
与同类方法相比，从pt权重模型到engine序列化模型的过程无需先将模型解构为onnx格式，只需定义必要脚本参数即可，操作方便，避免了模型转化过程中参数不对应所带来的诸多问题。然后将经过上述步骤处理后的模型与算法整体转入图像处理板。
[0049]
s5、在图像处理板的linux环境下将yolov5检测算法扩展为基于先验检测的非预测式检测
‑
跟踪算法，该改进后的算法仅检测特定目标，可作用于视频流每一帧对特定目标进行跟踪；
[0050]
具体过程为，以逐帧处理的方式向检测算法中传入视频流，为了避免第一帧的误检测现象，于检测第一帧施加算法约束，对yolov5检测算法中的检测信息矩阵进行优化，施加滞空模型和概率判断模型，保证无目标检测情况及同种类多目标检测情况下不出现误检测和多检测现象，以达到始终只检测特定目标的目的。
[0051]
然后，以特定目标为先验知识，在后续视频流中固定算法中的矩阵信息，实现对特定目标的跟踪。
[0052]
具体来说：基于步骤s3和s4获得的成熟检测模型以及舰载无人机的位置信息，对每一帧视频流都利用深度学习检测网络yolov5 特定模型的方式检测舰载无人机的位置，由于输入数据为实时视频流，故首先通过滞空模型判断是否定位到检测目标，如果未检测到目标则滞空回环，不进行跟踪，也不中断视频流传输，若检测到目标，则固定算法中的矩阵信息，接入概率判断模型，锁定回航无人机目标，实现对隶属度概率最高的舰载无人机目标对象的跟踪，并记录画出其最小外接矩形，采用构建掩膜的方式保留矩形框的彩色部分，图像其余部分置黑，该操作可将检测范围进一步精确化，为复杂环境下的多层次检测(如色彩检测，光源检测等)提供基础。对视频流的逐帧快速检测实现尺度自适应的目标跟踪任务。最后再整体输出关于舰载无人机的各帧位置数据集合，该集合包括：当前帧数n，处理速度fps，隶属度概率α，最小外接矩形左上点，右下点，中心点像素坐标以及长宽值。
[0053]
s6、在pytorch框架下构建tensorrt加速算法，对载入序列化模型的检测
‑
跟踪算法展开优化推理；即将tensorrt模型解析推理加速技术搭建为pytorch框架，建立动态链接库，对载入模型的算法进行加速推理。
[0054]
具体过程为，
[0055]
s6.1、首先将tensorrt动态迁移至虚拟环境的python的文件库集和中，激活tensorrt的python接口，实现将tensorrt模型解析推理加速技术搭建为pytorch框架，促使本发明种所有算法整体(包括原始yolov5检测算法，扩展改进后的检测
‑
跟踪算法及加速推理的优化算法)的同构集成；
[0056]
s6.2、建立动态链接库，在检测
‑
跟踪算法中载入训练好转化好的序列模型，调用tensorrt对载入engine序列模型的算法进行加速推理。在这个过程中利用tensorrt加速框架消除掉网络模型中未使用过的输出层，将卷积操作，偏置操作以及激活函数操作进行融合，该融合有效降低了计算量；进一步把足够相似的参数和比较接近的源张量进行聚合操
作，避免网络模型中的参数冗余，参数量大大减少；最后将各层的输出进行精准定位，通过与正确的最终目标相对应的方式来合并连接层。这种优化使得该算法从训练到加速到检测实现一体化，不必分裂。经过试验，加速效果明显，在移动端具备实时处理的能力，速度最高可达40fps(25fps以上即可算作实时)。
[0057]
s7、利用整体集成于pytorch框架下加速优化的检测
‑
跟踪算法对舰载无人机的回航运动轨迹实时检测跟踪。
[0058]
具体过程为，将整体集成于pytorch框架下加速优化后的检测
‑
跟踪算法加载到双摄影位置定位系统程序中，作为系统中的目标检测跟踪程序模块运行，该模块通过双摄影相机设备实时采集无人机回航视频数据流作为输入，实时视频流传入图像处理板中的该程序模块后，经过本发明设计的检测
‑
跟踪算法运算，将以40fps的处理速度实现对无人机回航运动轨迹的实时检测与跟踪，并实时输出无人机目标对象在整个回航过程的位置图像坐标以供后续的真实空间位置解算任务使用。
[0059]
本发明首次将整个算法从训练到检测到跟踪再到最后的推理加速过程完全集成为pytorch框架，统一了所有计算机语言，高集成度避免跨计算机语言可能出现的低效及各类问题。
[0060]
本发明中还提出了用于实现高集成度远距离舰载无人机回航运动轨迹实时检测跟踪方法的装置，该装置包括核心处理器、存储器以及核心板载显卡，存储器可存储运行在该装置上的完整pytorch框架算法，所述核心板载显卡支持基于cuda库的gpu加速，核心处理器执行计算机算法时可实现权利要求1
‑
6任一方法步骤。