一种基于深度学习的检测小目标的方法及系统与流程

1.本发明涉及深度学习技术领域，特别是涉及一种基于深度学习的检测小目标的方法及系统。


背景技术：

2.近年来，随着深度学习的快速兴起和发展，人工智能的广泛应用逐渐进入我们的生活，目标检测作为计算机视觉的一个十分重要的任务更是在交通、医疗、智慧城市等领域发挥了巨大作用。由于目标检测是几乎所有事件检测的第一个环节，检测的精度和召回率对事件触发起到至关重要的作用，而在目标检测任务中小目标的检测一直是业界的一大难点。
3.基于深度学习的目标检测算法大致可以分为两类：单阶段检测(以yolo系列为代表)和两阶段检测(以r-cnn系列为代表)。单阶段检测算法直接通过卷积对目标进行位置回归和类别的预测；两阶段检测算法在第一阶段生成包含前景目标的候选区域和其大致位置，在第二阶段根据候选区域对目标进行进一步的精确定位和分类。整体而言单阶段检测的算法在精度上不如两阶段检测算法的高，但是因为其具有检测速度快、计算资源消耗少等优点在工程上更加受到青睐。现阶段这两种算法在检测小目标任务中表现并不理想，主要是小目标具有目标特征少、数量占比小和目标位置定位精度要求高等问题。
4.目标检测是计算机视觉领域中一个新兴的应用方向，任务是从图像中定位并识别特定类别的目标，检测的目标取决于当前任务需要检测的物体有哪些。传统的目标检测主要是通过候选区域选择、手工提取特征和分类器等方法的组合进行检测，存在检测精度低、耗时较长等缺点。近年来随着人工智能相关技术的飞速发展，基于深度学习的目标检测得到广泛应用，主流算法分为单阶段检测和两阶段检测两种方法，大致流程是使用卷积神经网络对图像进行特征提取，然后在特征图上通过锚框生成目标的候选区域，最后通过一系列的后处理得到最终可靠的目标检测结果，相比传统方法具有检测精度高、耗时少等优点。尽管在深度学习的基础上目标检测精度得到了极大的提高，但是在小目标的检测任务中表现仍然不够理想，主要存在以下几个问题：(1)小目标在图像中像素点占比较小，目标特征不明显，相对于复杂背景比较难区分；(2)将图像输入模型经过多层卷积、下采样操作后会导致特征图上的小目标特征丢失；(3)小目标数量相比于大目标数量较少，在训练过程中会因为数量不均衡导致训练出的模型精度较差。
5.此外，现有技术还存在以下缺点：1、数据预处理工作量较大：需要对数据集中存在小目标的图像进行复制粘贴等一系列的操作，再使用骨干网络提取图像的特征图，处理过程繁琐并且大大增加了工作量。2、资源消耗较大：在预处理阶段需要使用resnet50模型对每张图像进行前向预测，取其中的四个不同尺度的特征图，然后再通过特征融合将其转变为一个特征图，一系列的操作需要消耗额外的计算资源。


技术实现要素：

6.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于深度学习的检测小目标的方法及系统，用于解决现有技术中存在的问题。
7.为实现上述目的及其他相关目的，本发明提供一种基于深度学习的检测小目标的方法，包括以下步骤：
8.训练生成基于深度学习的目标检测模型；
9.获取待检测图像，并从所述待检测图像中选取感兴趣区域；所述感兴趣区域包括需要进行小目标检测的矩形区域；
10.利用所述目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果。
11.可选地，所述方法还包括：对所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果进行非最大值抑制操作，得到最终的目标检测结果。
12.可选地，获取待检测图像的过程包括：
13.获取采集到的视频流；
14.对采集的视频流进行解码，得到所述待检测图像。
15.可选地，所述方法还包括：
16.对感兴趣区域图像上的目标检测结果进行筛选，并剔除预先区域的目标，以及将剩余目标的坐标映射至所述待检测图像。
17.本发明还提供一种基于深度学习的检测小目标的系统，包括有：
18.视频图像采集模块，用于获取采集到的视频流，并对采集的视频流进行解码，得到所述待检测图像；
19.选取感兴趣区域模块，用于从所述待检测图像中选取感兴趣区域；所述感兴趣区域包括需要进行小目标检测的矩形区域；
20.深度学习检测模块，用于利用预先训练的目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果；
21.结果输出模块，用于对检测到的所有目标进行筛选，得到最终的目标检测结果。
22.可选地，所述系统还包括有：模型训练模块，用于基于深度学习训练生成目标检测模型。
23.可选地，所述系统还包括：对感兴趣区域图像上的目标检测结果进行筛选，并剔除预先区域的目标，以及将剩余目标的坐标映射至所述待检测图像。
24.如上所述，本发明提供一种基于深度学习的检测小目标的方法及系统，具有以下有益效果：
25.本发明通过训练生成基于深度学习的目标检测模型；获取待检测图像，并从所述待检测图像中选取感兴趣区域；利用所述目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果。本发明通过利用基于深度学习的目标检测算法进行初步的检测，通过选取roi的方式进行二次检测可显著提高小目标的检测精度。本发明提出了一种可动态调整的选取roi区域的方法，通过对roi区域进行二次检测并对所有检测结果进行整合筛选从而得到最终
的检测结果，显著提高了小目标的检测精度。
附图说明
26.图1为一实施例提供的基于深度学习的检测小目标的方法流程示意图；
27.图2为一实施例提供的基于深度学习的检测小目标的系统硬件结构示意图。
具体实施方式
28.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
29.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
30.本发明提供一种基于深度学习的检测小目标的方法，包括以下步骤：
31.s100，训练生成基于深度学习的目标检测模型；
32.s200，获取待检测图像，并从所述待检测图像中选取感兴趣区域；其中，所述感兴趣区域包括需要进行小目标检测的矩形区域；
33.s300，利用所述目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果。
34.s400，对所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果进行非最大值抑制操作，得到最终的目标检测结果。
35.根据上述记载可知，本方法获取待检测图像的过程包括：获取采集到的视频流；对采集的视频流进行解码，得到所述待检测图像。
36.根据上述记载可知，在一示例性实施例中，所述方法还包括：对感兴趣区域图像上的目标检测结果进行筛选，并剔除预先区域的目标，以及将剩余目标的坐标映射至所述待检测图像。
37.具体地，请参阅图1所示，本发明提供一种基于深度学习的检测小目标的方法，具体步骤为：
38.首先将得到的视频流进行解码，读取到每一帧图像。
39.在原始图像上选取roi，即选取感兴趣区域的矩形框，其中，感兴趣区域包括需要进行小目标检测的矩形区域；
40.使用基于深度学习的目标检测模型对原始图像和选取的roi图像进行预测，得到初步的目标检测结果。
41.对roi图像上的目标结果进行筛选，剔除靠近图像边缘的目标，再剔除面积较大的目标，最后将剩余目标的坐标映射到原始图像坐标。其中，本实施例中靠近图像边缘的目标一般取距离roi图像边缘的像素值小于50的目标；面积较大的目标是指目标面积占roi图像
面积超过一半的目标。
42.将原始图像和roi图像上所有目标检测结果进行整合，对所有目标进行非最大值抑制nms终的检测结果。
43.在另一示例性实施例中，本发明还提供一种基于深度学习的检测小目标的方法，具体步骤为：
44.步骤1：训练基于深度学习的目标检测模型；
45.步骤2：在图像中选取roi，即选取感兴趣区域的矩形框；
46.步骤3：对原始图像和选取的roi进行模型预测，分别得到在原始图像尺寸下和roi图像尺寸下目标检测结果；
47.步骤4：对步骤3中的所有目标结果进行nms操作得到最终的目标检测结果。
48.综上所述，本方法通过训练生成基于深度学习的目标检测模型；获取待检测图像，并从所述待检测图像中选取感兴趣区域；利用所述目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果。本方法通过利用基于深度学习的目标检测算法进行初步的检测，通过选取roi的方式进行二次检测可显著提高小目标的检测精度。本方法提出了一种可动态调整的选取roi区域的方法，通过对roi区域进行二次检测并对所有检测结果进行整合筛选从而得到最终的检测结果，显著提高了小目标的检测精度。
49.本发明还提供一种基于深度学习的检测小目标的系统，包括有：
50.视频图像采集模块，用于获取采集到的视频流，并对采集的视频流进行解码，得到所述待检测图像；
51.选取感兴趣区域模块，用于从所述待检测图像中选取感兴趣区域；其中，所述感兴趣区域包括需要进行小目标检测的矩形区域；
52.深度学习检测模块，用于利用预先训练的目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下的目标检测结果；
53.结果输出模块，用于对检测到的所有目标进行筛选，得到最终的目标检测结果。
54.在一示例性实施例中，所述系统还包括有：模型训练模块，用于基于深度学习训练生成目标检测模型。
55.在一示例性实施例中，所述系统还包括：对感兴趣区域图像上的目标检测结果进行筛选，并剔除预先区域的目标，以及将剩余目标的坐标映射至所述待检测图像。
56.具体地，如图2所示，本实施例还提供一种基于深度学习的检测小目标的系统，包括：视频图像采集模块101、选取roi模块102、深度学习检测模块103、结果输出模块104。
57.视频图像采集模块101，从摄像头采集系统获得每一帧图像。
58.选取roi模块102，在原始图像上选取roi，即选择感兴趣区域的矩形框。
59.深度学习检测模块103，对原始图像和选取的roi进行目标检测。
60.结果输出模块104，对检测到的所有目标进行筛选得到最终的目标检测结果。
61.综上所述，本系统通过训练生成基于深度学习的目标检测模型；获取待检测图像，并从所述待检测图像中选取感兴趣区域；利用所述目标检测模型对所述待检测图像以及所述感兴趣区域图像进行模型预测，获取在所述待检测图像尺寸下和感兴趣区域图像尺寸下
的目标检测结果。本系统通过利用基于深度学习的目标检测算法进行初步的检测，通过选取roi的方式进行二次检测可显著提高小目标的检测精度。本系统提出了一种可动态调整的选取roi区域的方法，通过对roi区域进行二次检测并对所有检测结果进行整合筛选从而得到最终的检测结果，显著提高了小目标的检测精度。
62.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。