一种镜头遮挡物检测方法及装置与流程

1.本发明属于图像处理技术领域，具体涉及一种镜头遮挡物检测方法及装置。


背景技术：

2.目前，由于相机镜头装配误差，导致镜头被某些物体部分遮挡，或者由于污渍等原因造成的遮挡，图像上会有一些异物的影响，这对图像的后续处理带来的不变，需要检测出这些异物的位置。
3.现有技术关于镜头遮挡检测，存在基于视频流的背景建模方法、基于运动区域大小的方法和基于遮挡物体特征的检测方法。其中，基于视频流的背景建模方法，不能保证能够获取到准确的背景图像，计算量比较大，其结果往往存在较大的误差，误报率高。基于运动区域大小的方法只能检测到镜头拍摄范围很大的遮挡，并不能准确的检测到每一遮挡。基于遮挡物体特征的检测方法复杂度高，内存占比大，耗时较高，不适宜在低功耗项目中运用。


技术实现要素：

4.为此，本发明提供一种镜头遮挡物检测方法及装置，以全部或部分解决背景技术中的问题。
5.为了实现上述目的，本发明提供如下技术方案：一种镜头遮挡物检测方法，包括：
6.获取进行遮挡物检测的镜头采集的系列图像，对所述系列图像进行灰度化处理；
7.对灰度化处理后的所述系列图像，按照预设间隔抽取预设数量的检测图像；
8.将抽取的检测图像两两计算图像相似度，删除图像相似度在预设范围内的重复图像；
9.对删除重复图像后的剩余检测图像进行边缘检测，将边缘检测后的剩余检测图像逐张进行按像素“与”操作，得到单张按像素“与”的图像r；
10.对图像r进行边缘检测得到图像rc，对图像rc进行二值化处理得到二值化后的图像q；
11.统计图像q每一列中像素值等于预设值的像素个数，比较得到像素个数最大值所在列，若最大值所在列的像素个数超过预设阈值，判定最大值所在列为遮挡位置。
12.作为镜头遮挡物检测方法的优选方案，灰度化处理过程，将bgr模式的系列图像对应像素的三通道平均值作为灰度图像的像素值。
13.作为镜头遮挡物检测方法的优选方案，若删除图像相似度在预设范围内的重复图像后检测图像的数量为1，重复进行所述系列图像的采集、灰度化、抽取和图像相似度检测，直至删除图像相似度在预设范围内的重复图像后检测图像的数量大于1。
14.作为镜头遮挡物检测方法的优选方案，边缘检测的方式包括纵向的梯度边缘检测，横向的梯度边缘检测，或者联合横向和纵向的综合梯度边缘检测。
15.作为镜头遮挡物检测方法的优选方案，按像素“与”操作过程中，比较两组相同大
小的检测图像的像素值，若像素值均不为0，取像素值较大值，否则取0。
16.本发明还提供一种镜头遮挡物检测装置，包括：
17.图像采集模块，用于获取进行遮挡物检测的镜头采集的系列图像；
18.灰度处理模块，用于对所述系列图像进行灰度化处理；
19.图像抽取模块，用于对灰度化处理后的所述系列图像，按照预设间隔抽取预设数量的检测图像；
20.重复处理模块，用于将抽取的检测图像两两计算图像相似度，删除图像相似度在预设范围内的重复图像；
21.第一边缘检测模块，用于对删除重复图像后的剩余检测图像进行边缘检测；
22.图像融合模块，用于将边缘检测后的剩余检测图像逐张进行按像素“与”操作，得到单张按像素“与”的图像r；
23.第二边缘检测模块，用于对图像r进行边缘检测得到图像rc；
24.二值化处理模块，用于对图像rc进行二值化处理得到二值化后的图像q；
25.遮挡检测模块，用于统计图像q每一列中像素值等于预设值的像素个数，比较得到像素个数最大值所在列，若最大值所在列的像素个数超过预设阈值，判定最大值所在列为遮挡位置。
26.作为镜头遮挡物检测装置的优选方案，所述灰度处理模块中，将bgr模式的系列图像对应像素的三通道平均值作为灰度图像的像素值。
27.作为镜头遮挡物检测装置的优选方案，所述重复处理模块中，若删除图像相似度在预设范围内的重复图像后检测图像的数量为1，重复进行所述系列图像的采集、灰度化、抽取和图像相似度检测，直至删除图像相似度在预设范围内的重复图像后检测图像的数量大于1。
28.作为镜头遮挡物检测装置的优选方案，所述第一边缘检测模块和所述第二边缘检测模块中，边缘检测的方式包括纵向的梯度边缘检测，横向的梯度边缘检测，或者联合横向和纵向的综合梯度边缘检测。
29.作为镜头遮挡物检测装置的优选方案，所述图像融合模块中，按像素“与”操作时，比较两组相同大小的检测图像的像素值，若像素值均不为0，取像素值较大值，否则取0。
30.本发明具有如下优点：通过获取进行遮挡物检测的镜头采集的系列图像，对所述系列图像进行灰度化处理；对灰度化处理后的所述系列图像，按照预设间隔抽取预设数量的检测图像；将抽取的检测图像两两计算图像相似度，删除图像相似度在预设范围内的重复图像；对删除重复图像后的剩余检测图像进行边缘检测，将边缘检测后的剩余检测图像逐张进行按像素“与”操作，得到单张按像素“与”的图像r；对图像r进行边缘检测得到图像rc，对图像rc进行二值化处理得到二值化后的图像q；统计图像q每一列中像素值等于预设值的像素个数，比较得到像素个数最大值所在列，若最大值所在列的像素个数超过预设阈值，判定最大值所在列为遮挡位置。本发明利用图像处理方法不需要大量的标记数据，不存在复杂的提取特征和模型训练的步骤，在保证精度的同时减少了计算量，大大降低了对算力的要求，实时性高；本发明不涉及背景建模，没有参考图像的要求，对图像序列均匀的取图像，方法简便易操作，可及性更高；本发明通过提取边缘信息，可以去除图像噪声的干扰，可靠性更高，二次边缘检测，突出不同帧中的遮挡物体的特征，使结果更加准确可靠。
附图说明
31.为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
32.图1为本发明实施例1中提供的镜头遮挡物检测方法流程示意图；
33.图2为本发明实施例1中提供的镜头遮挡物检测方法实践效果图；
34.图3为本发明实施例2中提供的镜头遮挡物检测装置架构示意图。
具体实施方式
35.以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.相关技术中，基于视频流的背景建模方法大致过程是：首先进行背景建模，比较背景图像与当前帧图像的差异来确定是否镜头被遮挡，具体可以比较背景图像与当前帧图像的信息熵来判断镜头是否被遮挡；或者比较背景图像与当前帧的图像的灰度直方图来判断镜头是否被遮挡。但在一些实际场景中，背景图像不容易获取，若使用背景建模方法，不能保证能够获取到准确的背景图像，计算量也比较大，其结果往往存在较大的误差，误报率高。
37.相关技术中，基于运动区域大小，或者像素比例来判断是否遮挡。原理如下：首先确定一个参考帧，通过计算其他帧与参考帧的差异，判断图像中的运动区域，多次找一个参考图并计算运动区域，当运动区域小于某个阈值则判断出现遮挡。该方法通过比较不同图像之间的差异来判断图像中运动变化区域，比较多个这样的运动区域，当运动区域小于某个阈值则判定镜头被遮挡，这种方法只能检测到应该镜头拍摄范围很大的遮挡，并不能准确的检测到每一遮挡。
38.相关技术中，基于遮挡物体特征的检测方法，需要利用大量的遮挡图片，训练一个遮挡检测模型，当一幅图像输入后，直接给出是否遮挡的结果。这种方法往往需要大量的遮挡数据，去训练一个准确的模型，其方法复杂度高，内存占比大，耗时较高，不适宜在低功耗项目中运用。
39.有鉴于此，本发明提供如下具体技术方案，不涉及背景建模，可以避免背景建模方法的缺陷；解决基于运动区域大小方法检测准确性差的问题；同时不涉及深度学习模型，不存在基于遮挡物体特征的检测方法的缺陷。
40.实施例1
41.参见图1，本发明实施例提供一种镜头遮挡物检测方法，包括以下步骤：
42.s1、获取进行遮挡物检测的镜头采集的系列图像，对所述系列图像进行灰度化处理；
43.s2、对灰度化处理后的所述系列图像，按照预设间隔抽取预设数量的检测图像；
44.s3、将抽取的检测图像两两计算图像相似度，删除图像相似度在预设范围内的重
复图像；
45.s4、对删除重复图像后的剩余检测图像进行边缘检测，将边缘检测后的剩余检测图像逐张进行按像素“与”操作，得到单张按像素“与”的图像r；
46.s5、对图像r进行边缘检测得到图像rc，对图像rc进行二值化处理得到二值化后的图像q；
47.s6、统计图像q每一列中像素值等于预设值的像素个数，比较得到像素个数最大值所在列，若最大值所在列的像素个数超过预设阈值，判定最大值所在列为遮挡位置。
48.本实施例中，灰度化处理过程，将bgr模式的系列图像对应像素的三通道平均值作为灰度图像的像素值。灰度化处理是视觉图片处理中常见技术，一般是将三通道的bgr图像转换成单通道的图像，主要过程是将对应像素的三个通道的平均值作为灰度图像的像素值，即此外，也可以采用其它相关方法，如gamma校正灰度化、最大值灰度化和gamma校正灰度化。
49.本实施例中，若删除图像相似度在预设范围内的重复图像后检测图像的数量为1，重复进行所述系列图像的采集、灰度化、抽取和图像相似度检测，直至删除图像相似度在预设范围内的重复图像后检测图像的数量大于1。
50.具体的，设采集的系列图像总数为n，每间隔n个图像取一张检测图像，共取m张图像；然后对m张灰度图像，分别两两计算其相似度，若图像相似度在预设范围内，则可以判断拍摄内容重复，删除拍摄内容重复的图像，剩下p张图像，若p等于1，则重复步骤s1、步骤s2和步骤s3。其中，图像相似度计算存在相关技术，如欧式距离、余弦距离、汉明距离等。
51.本实施例中，边缘检测的方式包括纵向的梯度边缘检测，横向的梯度边缘检测，或者联合横向和纵向的综合梯度边缘检测。
52.具体的，根据应用的场景对剩下p张图像可以进行纵向的梯度边缘检测，或者横向的梯度边缘检测，或者联合横向和纵向的综合梯度边缘检测。通过对图像做梯度处理，提取边缘信息，可以去除图像噪声的干扰，可靠性更高。其中，梯度边缘检测本身存在相关技术，图像中不连续的灰度值会产生边缘，图像的边缘检测是基于边界的图像分割方法，如分水岭算法，通常是分割原图的梯度图像，梯度实际上也是反应的图像边缘信息。图像边缘一般常用图像一阶导数和二阶导数来检测。
53.本实施例中，按像素“与”操作过程中，比较两组相同大小的检测图像的像素值，若像素值均不为0，取像素值较大值，否则取0。
54.具体的，对p张边缘检测后的图像，逐张图像进行按像素“与”操作，按像素“与”操作具体步骤如下：对两张一样大小的检测图片，比较对应位置的像素值，如果两个像素值都不为0，则取两者中值大的，否则取0，最后得到一张按位“与”的图像r。
55.对图像r再进行步骤s4所述的边缘检测得到图像rc，以增强边缘特征；对图像rc进行二值化处理，设置一个阈值th1，大于阈值th1的赋值为255，小于th1的赋值为0，得到二值化后的图像q。对于图像q，设置一个阈值th2，统计每一列中像素值等于255的像素个数，找到最大值所在的列，并且当像素个数大于阈值，那么所在的列便是遮挡边缘的位置，由此便能检测出遮挡，并能准确确定遮挡物体的位置。
56.参见图2，图2中a为采集的原图，可以看出在图的左侧有遮挡板的影响导致图像模
糊，影响后续图像的处理，需要将遮挡板位置检测出来，然后去除图像中的遮挡板。图b是经过本技术方案处理后得到的图像q，在图像q中最大的竖向白条就是遮挡板的大致位置，但还可以看出图中还有其他列也具有白色的竖条，为了找到遮挡板的准确位置，统计每一列不为0的像素个数，取最大个数所在的列，并且当这一列的不为0像素个数大于预设的阈值后，便认为遮挡板在这一列。
57.综上所述，本发明通过获取进行遮挡物检测的镜头采集的系列图像，对所述系列图像进行灰度化处理；对灰度化处理后的所述系列图像，按照预设间隔抽取预设数量的检测图像；将抽取的检测图像两两计算图像相似度，删除图像相似度在预设范围内的重复图像；对删除重复图像后的剩余检测图像进行边缘检测，将边缘检测后的剩余检测图像逐张进行按像素“与”操作，得到单张按像素“与”的图像r；对图像r进行边缘检测得到图像rc，对图像rc进行二值化处理得到二值化后的图像q；统计图像q每一列中像素值等于预设值的像素个数，比较得到像素个数最大值所在列，若最大值所在列的像素个数超过预设阈值，判定最大值所在列为遮挡位置。本发明利用图像处理方法不需要大量的标记数据，不存在复杂的提取特征和模型训练的步骤，在保证精度的同时减少了计算量，大大降低了对算力的要求，实时性高；本发明不涉及背景建模，没有参考图像的要求，对图像序列均匀的取图像，方法简便易操作，可及性更高；本发明通过提取边缘信息，可以去除图像噪声的干扰，可靠性更高，二次边缘检测，突出不同帧中的遮挡物体的特征，使结果更加准确可靠。
58.需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
59.需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
60.实施例2
61.参见图3，本发明实施例2还提供一种镜头遮挡物检测装置，包括：
62.图像采集模块1，用于获取进行遮挡物检测的镜头采集的系列图像；
63.灰度处理模块2，用于对所述系列图像进行灰度化处理；
64.图像抽取模块3，用于对灰度化处理后的所述系列图像，按照预设间隔抽取预设数量的检测图像；
65.重复处理模块4，用于将抽取的检测图像两两计算图像相似度，删除图像相似度在预设范围内的重复图像；
66.第一边缘检测模块5，用于对删除重复图像后的剩余检测图像进行边缘检测；
67.图像融合模块6，用于将边缘检测后的剩余检测图像逐张进行按像素“与”操作，得到单张按像素“与”的图像r；
68.第二边缘检测模块7，用于对图像r进行边缘检测得到图像rc；
69.二值化处理模块8，用于对图像rc进行二值化处理得到二值化后的图像q；
70.遮挡检测模块9，用于统计图像q每一列中像素值等于预设值的像素个数，比较得到像素个数最大值所在列，若最大值所在列的像素个数超过预设阈值，判定最大值所在列为遮挡位置。
71.本实施例中，所述灰度处理模块1中，将bgr模式的系列图像对应像素的三通道平均值作为灰度图像的像素值。
72.本实施例中，所述重复处理模块4中，若删除图像相似度在预设范围内的重复图像后检测图像的数量为1，重复进行所述系列图像的采集、灰度化、抽取和图像相似度检测，直至删除图像相似度在预设范围内的重复图像后检测图像的数量大于1。
73.本实施例中，所述第一边缘检测模块5和所述第二边缘检测模块7中，边缘检测的方式包括纵向的梯度边缘检测，横向的梯度边缘检测，或者联合横向和纵向的综合梯度边缘检测。
74.本实施例中，所述图像融合模块6中，按像素“与”操作时，比较两组相同大小的检测图像的像素值，若像素值均不为0，取像素值较大值，否则取0。
75.需要说明的是，上述装置各模块之间的信息交互、执行过程等内容，由于与本技术实施例1中的方法实施例基于同一构思，其带来的技术效果与本技术方法实施例相同，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
76.实施例3
77.本发明实施例3提供一种非暂态计算机可读存储介质，所述计算机可读存储介质中存储有镜头遮挡物检测方法的程序代码，所述程序代码包括用于执行实施例1或其任意可能实现方式的镜头遮挡物检测方法的指令。
78.计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk、ssd))等。
79.实施例4
80.本发明实施例4提供一种电子设备，包括：存储器和处理器；
81.所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行实施例1或其任意可能实现方式的镜头遮挡物检测方法。
82.具体的，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于所述处理器之外，独立存在。
83.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
84.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
85.虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。