一种基于yolov5图像可拆分条件下冗余信息快速过滤的方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于yolov5图像可拆分条件下冗余信息快速过滤的方法。


背景技术：

2.自2016年轰动世界的围绕围棋的人机大战最终机器战胜人之后，人工智能技术及深度学习技术开始进入更多人的视野中，在此之后的5年内，人工智能技术取得了突破性成果如海浪一样，一浪高过一浪。
3.随着深度学习技术的迅猛发展，运动对象的检测技术也取得了长足的进步，不断刷新其在公开数据集(coco数据集)上的检测精度(map)。即使这样，目前的ai在工业界还是很难落地，泛化能力太弱，尤其是小运动对象的检测，学术界也提出了众多解决小运动对象的方法，如一种基于注意力机制检测方法(cn114202n72a)，以及一种基于yolov3小运动对象的图像识别方法、设备和系统(cn111539390a)等从网络结构上去解决小运动对象的识别难题，这些方法要想提升小运动对象的识别精度，比较困难，即使提升了，提升的幅度也不大，治标不治本。
4.从应用的角度来看待识别，摄像机源源不断地获取视频流，给算法进行分析，其中，送给网络进行分析的有效数据其实特别少，这其实就是一种资源的浪费，间接消耗硬件的算了，同时可能还会带来网络带宽负载率高等问题。


技术实现要素：

5.本发明所要解决的技术问题是图像信息大量冗余问题及小运动对象的检测精度不高问题，针对现有技术的不足，提供一种基于yolov5图像可拆分条件下冗余信息快速过滤的方法。
6.为解决上述技术问题，本发明所采用的技术方案是：
7.一种基于yolov5图像可拆分条件下冗余信息快速过滤的方法，进行以下步骤的处理流程，
8.a.获取一定时间间隔t的连续3帧图像：图像fn 0t、图像fn 1t、图像fn 2t，
9.b.计算所述图像fn 0t与所述图像fn 1t间的差异性得到差分差分图像diff1，计算所述图像fn 1t与所述图像fn 2t间的差异性得到差分差分图像diff2，
10.c.将所述差分图像diff1和所述差分图像diff2进行融合，得到运动对象的运动区域，
11.d.将所述图像fn 2t进行图像拆分，判断所述运动区域所在的子图区间，
12.e.将所述子图区间进行像素填充，送到yolov5网络进行推理，得到推理结果，
13.f.将所述推理结果还原到基于所述图像fn 2t的检测结果。
14.所述步骤a中，所述图像fn 0t、所述图像fn 1t、所述图像fn 2t是根据场景及检测对象运动的快慢程度特点，选取适当的所述时间间隔t，目的是对比运动对象运动的差异
性。
15.所述步骤b中，将待计算的所述图像fn 0t和所述图像fn 1t进行灰度处理，然后直接进行图像的像素级相减，得到所述差分图像diff1，
16.将待计算的所述图像fn 1t和所述图像fn 2t进行灰度处理，然后直接进行图像的像素级相减，得到所述差分图像diff2；
17.对所述差分图像diff1、所述差分图像diff2进行连通域分析及处理，
18.根据所述差分差分图像diff1、所述差分图像diff2的运动对象的大小特点对经所述连通域处理后的区域进行过滤，去除不符合运动对象的特征的区域。
19.所述步骤c中，将过滤后的所述差分差分图像diff1、所述差分图像diff2进行求集处理，得到一个或多个所述运动区域。
20.其中，若所述差分图像diff1和所述差分差分图像diff2无交集，则直接将所述差分差分图像diff1和所述差分差分图像diff2添加进所述运动区域，否则求所述差分差分图像diff1和所述差分差分图像diff2的并集，将其添加进所述运动区域。
21.所述步骤d中，将所述图像fn 2t均匀分成n张所述子图，左右相邻及上下相邻的所述子图将有一定重合度ε％；
22.根据所述运动区域的位置确定其在n张所述子图中的哪一个子图，并记录编号。
23.其中ε％是指左右相邻的所述子图间重合部分的宽在所述子图宽中的占比，或者上下相邻的所述子图间重合部分的高在所述子图高中的占比。
24.所述步骤e中，将检测对象位于所述子图的图片进行像素填充，送到yolov5网络进行推理，得到最终结果，计算出包括所述子图的上边沿、下边沿、左边沿和右边沿需要填充的像素个数，
25.将所述子图边沿按指定像素点进行填充，将所述子图送入yolov5网络检测平台中进行计算推理得到所述推理结果。
26.所述步骤f中，基于所述子图生成的所述推理结果，根据所述子图与所述差分图像diff2的关系，将基于所述子图生成的所述推理结果还原到基于所述差分图像diff2的所述检测结果。
27.进一步的，在现行的视频流间流频分析软件中，大多采用动态模型法进行相关的分析。如以ps为代表的图像处理软件，其技术核心以实现对识别对象在图片中像素边缘区域的索套为前提，在像素域集定位、像素图层、色位点编辑方面侧重于对单张图片的分析。字节基于特征像素指数开发的点域化捕捉模式，在像素特征指数的识别、运动轨迹的追踪捕捉、像素域集间区的色位点峰波覆盖上具备明显的技术优势。
28.进一步的，在对于视频进行数据处理，需要得到预定数字结果的前提下。对视频总帧数进行全覆盖式记录，构建特征像素域集的色位点坐标变动数据，带入对应的数学轨迹运动方程式中，其运算量繁琐，同时执行大量近似数据的推理计算，虽然可以提高数据运动轨迹方程的精度。但是对于图像筛选、处理技术领域，并不会对输出结果带来明显的优势。
29.进一步的，yolo系列算法是运动对象的检测one-stage类的代表算法，yolo是“you only look once”的首字母缩写，是一种将图像划分为网格系统的对象检测算法。网格中的每个单元格负责检测自身内部的对象。由于其速度和准确性，yolo是最著名的物体检测算法之一。
30.进一步的，yolov5是在yolov4发布后不久后继续发布，glenn jocher使用pytorch框架引入了yolov5。开源代码可在github上获得作者：glenn jocher发布时间：2020年5月18日。
31.进一步的，由于该算法的出现时间较短，对于yolov5的使用，还仅限于单一图像的机械识别学习中。同时，在视频中的特定图像定位与追踪捕捉方面的发展也较为迅速。
32.进一步的，本发明将基于yolov5对特定图像区域快速识别的优势，将视频分析、图像处理的技术手段进行整合。在预设样本量为时间间隔t的基础上，采集特征样本数据，在执行对样本数据进行灰度化、像素相减、连通域分析及处理、并集处理、子图分割、像素填充、检测、还原的一系列手段，实现在图像可拆分条件下对冗余信息的快速过滤。
33.进一步的，本发明提供了一种基于yolov5图像可拆分条件下冗余信息快速过滤的方法。包括从视频流中获取一定时间间隔t的连续3帧图像：图像fn 0t、图像fn 1t、图像fn 2t；计算fn 0t与fn 1t间的差异性得到差分差分图像diff1，fn 1t与fn 2t间的差异性得到差分差分图像diff2；计算fn 0t与fn 1t间的差异性得到差分差分图像diff1，fn 1t与fn 2t间的差异性得到差分差分图像diff2；将diff1和diff2进行融合，得到运动对象的运动区域；将图像fn 2t进行图像拆分，判断运动区域所在的图像；将所在图像进行像素填充，送到yolov5网络进行推理，得到推理结果；将推理结果还原到基于原始图片的检测结果。
34.进一步的，基于(yolov5的检测网络)的相关文献资料作为技术核心框架，参考《基于改进yolov2网络的密集人群场景行人检测》完成对运动对象识别，参考《基于改进yolov2的快速安全帽佩戴情况检测》完成对连通域分析及处理等相关文献资料，实现对本发明具体技术应用的理论框架支撑。
35.与现有技术相比，本发明的有益效果如下：
36.进一步的，采用拆分法，实现从视频到图片的转变，大大地降低了作业对象中需要进行数据处理的样本量。与灰度化、样本筛选和子图分割的手段相结合，进一步提高对运动对象的识别精度。在保证精确追踪的前提下，最大程度上的优化了，需要进行数据处理的流程及运算量。
37.进一步的，通过按照一定间隔时间t获取连续三帧图像，计算其差分图，寻找潜在待检测的运动对象的区域，在一定成都上减低了背景的误检，同时不同帧间的非运动区域其实是无效区域或者是其信息存在冗余，该方法有效地降低了图像的冗余信息。
38.进一步的，将原始图片进行拆分，根据计算所获得的运动区域，确定其所在分割图的哪一个子图中，并将其子图进行边沿的补充像素操作，最终将其送到yolov5网络检测平台进行检测，该方法实际上是变相将小运动对象的进行放大再进行检测，极大地提升了小运动对象的检测精度。
39.进一步的，进行灰度化的处理，降低图像间的像素差值。将传统三基色的识别与检索，转化为色位点上黑白色深浅百分比的快速检索，有效地降低待处理数据的特征参数。采用灰度化的处理模式，避免运动对象，由于光照强度不一致时，所造成部分像素域集的整体性趋势变化，给图像中运动对象的精准化识别带来一定的困难。
40.进一步的，采用像素级相减的原理，可以直接得到基于不同特征图像间的数据位移参数，即差分图像。
41.进一步的，进行连通域分析及处理，去除差分图像中的无效数据，简化待处理数据
中的冗余信息。
42.进一步的，采用求集处理的方式得出运动对象的运动区域。
43.进一步的，采用拆分子图的方式，对图像中运动对象的位置进行所在子图的精细化定位。
44.进一步的，设置重合度ε％，避免进行子图分割时，运动对象正好处于子图间的交接位置，形成运动对象的像素域集分离，导致其无法被识别或在不同子图上均出现识别响应。
45.进一步的，进行像素填充优化子图分割时的像素域集不完整现象，将所有子图送入yolov5网络检测平台中进行计算推理得到所述推理结果。
46.进一步的，将得到的推理结果进行还原，从灰度图像数据还原到图像fn 2t的初始像素数据并生成检测结果。
附图说明
47.下面结合附图对本发明做进一步的详细说明。
48.图1是本发明的图像处理和识别的总流程图；
49.图2是本发明的图像差分示意图；
50.图3是本发明的图像拆分示意图。
具体实施方式
51.为了更好地理解本发明，下面结合实施例和附图进一步清楚阐述本发明的内容，但本发明的保护内容不仅仅局限于下面的实施例。在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。
52.实施例1
53.如图1－3所示，本实施例提供一种基于yolov5图像可拆分条件下冗余信息快速过滤的方法，进行以下步骤的处理流程，
54.a.获取一定时间间隔t的连续3帧图像：图像fn 0t、图像fn 1t、图像fn 2t，
55.b.计算所述图像fn 0t与所述图像fn 1t间的差异性得到差分差分图像diff1，计算所述图像fn 1t与所述图像fn 2t间的差异性得到差分差分图像diff2，
56.c.将所述差分图像diff1和所述差分图像diff2进行融合，得到运动对象的运动区域，
57.d.将所述图像fn 2t进行图像拆分，判断所述运动区域所在的子图区间，
58.e.将所述子图区间进行像素填充，送到yolov5网络进行推理，得到推理结果，
59.f.将所述推理结果还原到基于所述图像fn 2t的检测结果。
60.所述步骤a中，所述图像fn 0t、所述图像fn 1t、所述图像fn 2t是根据场景及检测对象运动的快慢程度特点，选取适当的所述时间间隔t，目的是对比运动对象运动的差异性。
61.所述步骤b中，将待计算的所述图像fn 0t和所述图像fn 1t进行灰度处理，然后直接进行图像的像素级相减，得到所述差分图像diff1，
62.将待计算的所述图像fn 1t和所述图像fn 2t进行灰度处理，然后直接进行图像的像素级相减，得到所述差分图像diff2；
63.对所述差分图像diff1、所述差分图像diff2进行连通域分析及处理，
64.根据所述差分差分图像diff1、所述差分图像diff2的运动对象的大小特点对经所述连通域处理后的区域进行过滤，去除不符合运动对象的特征的区域。
65.所述步骤c中，将过滤后的所述差分差分图像diff1、所述差分图像diff2进行求集处理，得到一个或多个所述运动区域。
66.其中，若所述差分图像diff1和所述差分差分图像diff2无交集，则直接将所述差分差分图像diff1和所述差分差分图像diff2添加进所述运动区域，否则求所述差分差分图像diff1和所述差分差分图像diff2的并集，将其添加进所述运动区域。
67.所述步骤d中，将所述图像fn 2t均匀分成n张所述子图，左右相邻及上下相邻的所述子图将有一定重合度ε％；
68.根据所述运动区域的位置确定其在n张所述子图中的哪一个子图，并记录编号。
69.其中ε％是指左右相邻的所述子图间重合部分的宽在所述子图宽中的占比，或者上下相邻的所述子图间重合部分的高在所述子图高中的占比。
70.所述步骤e中，将检测对象位于所述子图的图片进行像素填充，送到yolov5网络进行推理，得到最终结果，计算出包括所述子图的上边沿、下边沿、左边沿和右边沿需要填充的像素个数，
71.将所述子图边沿按指定像素点进行填充，将所述子图送入yolov5网络检测平台中进行计算推理得到所述推理结果。
72.所述步骤f中，基于所述子图生成的所述推理结果，根据所述子图与所述差分图像diff2的关系，将基于所述子图生成的所述推理结果还原到基于所述差分图像diff2的所述检测结果。
73.主要运用在监控场景，识别运动对象的面积与图像的面积占比介于万分之五和百分之五之间，且待检测运动对象的具有运动特性，不运动运动对象的不在本发明所考虑的范围内。
74.首先介绍一下物理设备连接情况，一台摄像机，一台拥有rtx2080的计算加速卡，一台主机(装有ubuntu18.04操作系统)，摄像机实时取流给主机分析程序进行分析，得到分析结果。
75.101，通过rtsp从摄像机每隔3s钟取一帧图像，分别得到图像fn 0t，图像fn 1t，图像fn 2t。
76.102，将图像fn 0t，图像fn 1t，图像fn 2t进行灰度处理，得到相对应的灰度图像，gray，gray
3
，然后按照如下公式进行差分：
[0077][0078]
其中r为原始图像的高，c为原始图像的宽。然后将diff1和diff2进行连通域处理得到diff1和diff2，具体流程图参照图2所示。
[0079]
103，将以上得到的差分图进行融合，若diff1和diff2中的运动区域没有交集，则将
两张图片中的运动区域添加到运动区域列表中，否则取其并集，将其添加进运动区域利列表中。
[0080]
104，将fn 3按照一定的规则拆分为n张子图，此处以n为6举例，相邻子图间有一定的重合区域，设图像的宽为w，高为h，由图3可知：
[0081]
w1 w2 w3 2*d＝w
[0082]
w1＝w3[0083]
w1 d＝w2 2*d
[0084]
d＝w*ε％
[0085]
所以：
[0086][0087]
同理：
[0088][0089]
根据以上计算结果分别得到6个区域的坐标信息(分别记录区域的左上顶点和右下顶点坐标)，分别为：[0，0，w1 d，h1 d1]，[w1,0,w1 w2 2*d,h1 d1]，[w1 w2 d,0,w,h1 d1]，[0,h1,w1 d,h]，[w,h1,w1 w2 2*d,h]，[w1 w2 d,h1,w,h]，根据运动区域坐标信息就可以知道每个运动区域所对应的子图。
[0090]
105，将运动区域所确定的子图按指定像素点(114，114，114)进行填充，假设运动区域的宽和高分别为w和h，如果w＞h：
[0091]
则对图像的上下两边进行像素填充，填充个数为：否则：
[0092]
则对图像的左右两边进行像素填充，填充个数为：
[0093]
然后将填充后的图像送给运动对象的检测网络进行推理，得到推理结果，结合子图个数及上面每个子图的坐标信息，将识别结果的坐标加上运动区域所在子图的左上角坐标，即可得到对应原图中的运动对象的检测结果信息，最后对基于原图的检测结果信息做一次nms过滤处理，得到最终的检测结果。
[0094]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。