视频小运动目标检测方法及相关设备与流程
本发明涉及目标检测,尤其涉及一种视频小运动目标检测方法及相关设备。
背景技术:
1、目标检测技术广泛应用于安防监控、无人机防撞及自动驾驶等领域。现有技术中,yolo系列算法采用单帧rgb图像作为输入,通过主干网络、特征融合网络及检测头完成目标检测,具有检测速度快、部署便捷的优势,是当前主流的实时目标检测算法。
2、然而,对于视频中像素面积小、在连续帧间存在位移的小运动目标,单帧yolo仅依赖单帧静态空间特征进行检测,无法利用视频帧间的时序运动信息,导致小运动目标的特征表达不足,漏检率与误检率较高。
技术实现思路
1、本发明提供一种视频小运动目标检测方法及相关设备,以解决现有单帧yolo目标检测方法无法利用视频帧间时序运动信息、导致小运动目标漏检率与误检率较高的技术问题。
2、第一方面,本申请实施例提供了一种视频小运动目标检测方法,包括:
3、对历史视频流中的连续k帧图像沿通道维度进行堆叠拼接,得到多帧堆叠输入张量;
4、根据所述多帧堆叠输入张量的通道数,对预训练yolo网络的第一层卷积的输入通道数进行扩展,并保持所述预训练yolo网络的其余网络层结构不变,得到通道扩展后的网络模型;对所述预训练yolo网络的第一层卷积的原始预训练权重在通道维度进行k次复制,得到扩展权重;对所述扩展权重进行均值化处理,并将均值化处理后的扩展权重加载至所述通道扩展后的网络模型的第一层卷积,得到初始化目标检测网络;
5、以所述多帧堆叠输入张量中末帧的目标标注信息作为监督信号,对所述初始化目标检测网络进行训练,得到训练好的目标检测网络;
6、对待检测视频流中的连续k帧图像沿通道维度进行堆叠拼接,得到待检测多帧堆叠输入张量;
7、将所述待检测多帧堆叠输入张量输入所述训练好的目标检测网络,对所述待检测多帧堆叠输入张量中的末帧进行运动目标检测,得到末帧的目标检测结果。
8、第二方面,本申请实施例提供了一种视频小运动目标检测装置,包括:
9、数据堆叠模块,用于对历史视频流中的连续k帧图像沿通道维度进行堆叠拼接,得到多帧堆叠输入张量;
10、网络初始化模块,用于根据所述多帧堆叠输入张量的通道数,对预训练yolo网络的第一层卷积的输入通道数进行扩展,并保持所述预训练yolo网络的其余网络层结构不变,得到通道扩展后的网络模型;对所述预训练yolo网络的第一层卷积的原始预训练权重在通道维度进行k次复制,得到扩展权重;对所述扩展权重进行均值化处理,并将均值化处理后的扩展权重加载至所述通道扩展后的网络模型的第一层卷积,得到初始化目标检测网络;
11、弱监督训练模块,用于以所述多帧堆叠输入张量中末帧的目标标注信息作为监督信号,对所述初始化目标检测网络进行训练,得到训练好的目标检测网络;
12、推理输入模块,用于对待检测视频流中的连续k帧图像沿通道维度进行堆叠拼接,得到待检测多帧堆叠输入张量;
13、目标检测模块,用于将所述待检测多帧堆叠输入张量输入所述训练好的目标检测网络,对所述待检测多帧堆叠输入张量中的末帧进行运动目标检测,得到末帧的目标检测结果。
14、第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述视频小运动目标检测方法的步骤。
15、第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述视频小运动目标检测方法的步骤。
16、第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序在被处理器执行时使实现上述视频小运动目标检测方法的步骤。
17、上述视频小运动目标检测方法、装置、设备、介质及程序产品所提供的一个方案中,通过将连续k帧图像沿通道维度堆叠作为yolo网络输入,使第一层卷积在感知单帧空间特征的同时,能够捕捉相邻帧之间的像素级运动差异,从而在不引入额外时序模块的前提下,将视频帧间的时序运动信息融入特征提取过程,有效弥补了单帧输入对小运动目标特征表达不足的缺陷,降低了漏检率与误检率。此外,本发明仅对预训练yolo网络的第一层卷积进行通道扩展,网络其余结构保持不变,计算量增加极小,推理速度基本不受影响,满足视频实时检测的需求,且兼容各主流yolo变体,具有较强的通用性。
1.一种视频小运动目标检测方法,其特征在于,所述视频小运动目标检测方法包括:
2.根据权利要求1所述的视频小运动目标检测方法,其特征在于,所述对历史视频流中的连续k帧图像沿通道维度进行堆叠拼接,得到多帧堆叠输入张量包括:
3.根据权利要求1所述的视频小运动目标检测方法,其特征在于,所述对所述预训练yolo网络的第一层卷积的原始预训练权重在通道维度进行k次复制,得到扩展权重包括:
4.根据权利要求3所述的视频小运动目标检测方法,其特征在于,所述对所述扩展权重进行均值化处理,并将均值化处理后的扩展权重加载至所述通道扩展后的网络模型的第一层卷积,得到初始化目标检测网络包括:
5.根据权利要求1所述的视频小运动目标检测方法,其特征在于,所述以所述多帧堆叠输入张量中末帧的目标标注信息作为监督信号,对所述初始化目标检测网络进行训练,得到训练好的目标检测网络包括:
6.根据权利要求5所述的视频小运动目标检测方法,其特征在于,所述将所述多帧堆叠输入张量输入所述初始化目标检测网络的第一层卷积,由所述第一层卷积对所述多帧堆叠输入张量中末帧与前k-1帧之间的像素差异进行时空联合滤波,得到融合了帧间运动信息的特征图包括:
7.根据权利要求6所述的视频小运动目标检测方法,其特征在于,所述根据所述预测检测结果与所述末帧的目标标注信息,对两者之间的差异进行损失计算,得到损失值,包括:
8.根据权利要求6所述的视频小运动目标检测方法,其特征在于,所述根据所述损失值对所述初始化目标检测网络的网络参数进行反向传播更新,并将所述多帧堆叠输入张量与对应末帧的目标标注信息重新输入网络参数更新后的初始化目标检测网络进行迭代训练,直至所述网络参数收敛,得到训练好的目标检测网络,包括:
9.一种视频小运动目标检测装置,其特征在于,包括:
10.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述视频小运动目标检测方法的步骤。
11.一种可读存储介质,所述可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述视频小运动目标检测方法的步骤。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时使处理器实现如权利要求1至8任一项所述视频小运动目标检测方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com