基于图像处理的摄像机工作异常检测方法与流程

1.本发明涉及摄像机检测领域，尤其涉及一种基于图像处理的摄像机工作异常检测方法。


背景技术：

2.随着图像识别检测方法的提出，图像识别检测技术得到了广泛应用，但是仍然存在着很多不足。在摄像机镜头检测中，由于环境恶劣，光线条件较差等外界因素直接影响摄像机角度移动检测和摄像机遮挡检测的准确率，导致复杂环境下不同应用场景检测方法的准确率低，致使检测方法的输出结果无法接入系统参与系统控制。为了使煤矿井下不同应用场景检测方法输出结果能够参与系统控制，降低系统控制装置的误动作几率，保证采集数据的有效性和可靠性，因此亟需研发一种基于图像处理的摄像机工作异常检测方法。


技术实现要素：

3.本发明要解决的技术问题是：为了解决在现有技术中由于环境恶劣，光线条件较差等外界因素直接影响相机角度移动检测和相机遮挡检测的准确率，本发明提供一种基于图像处理的摄像机工作异常检测方法，可以不随环境恶劣，光线条件较差等外界因素直接影响，且检测准确，检测率高。
4.本发明解决其技术问题所采用的技术方案是：一种基于图像处理的摄像机工作异常检测方法，所述检测方法包括：
5.步骤s1：图像采集模块采集摄像机实时目标视频，将所述目标视频发送至图像处理模块，
6.步骤s2：所述图像处理模块获取所述目标视频，对所述目标视频按帧取图得到多帧连续的目标图像，所述图像处理模块对所述目标图像检测分析，检测所述摄像机是否发生移动，或者检测所述摄像机是否发生遮挡；
7.步骤s3：获取所述图像处理模块的检测结果，当检测结果为摄像机发生移动，或摄像机发生遮挡时，保存所述视频为证据视频，并发出预警信号。
8.进一步，具体的，执行所述步骤s1前，给所述摄像机上电后，所述图像采集模块根据所述摄像机当前的基准位置采集基准视频。
9.进一步，具体的，在所述步骤s2中，检测所述摄像机是否发生移动包括以下步骤：
10.步骤s211：建立文件夹；
11.步骤s212：获取所述目标图像的系统时间h1，所述目标图像为当前帧目标图像，以系统小时h1建立所述当前帧目标图像的图像名称，所述当前帧目标图像的图像名称为h1.jpg，初始化所述当前帧的目标图像，将所述当前帧的目标图像传输至所述文件夹中，所述当前帧目标图像为检测所述摄像机是否发生移动的初始特征匹配图像；
12.步骤s213：获取下一帧目标图像，所述下一帧目标图像的图像名称为frame.jpg，所述下一帧目标图像的系统时间为h2，将所述下一帧目标图像传输至所述文件夹；
13.步骤s214：判断所述当前帧的目标图像的系统时间h1与所述下一帧目标图像的系统时间h2是否相等；
14.若h1不等于h2，则复制所述下一帧目标图像frame.jpg备份到所述文件夹中，以系统小时h2修改复制的所述下一帧目标图像的图像名称，将复制的所述下一帧目标图像的图像名称修改为h2.jpg，将h2赋值给h1，对所述文件夹中除去所述h2.jpg图像中的所有初始特征匹配图像和所述下一帧目标图像frame.jpg进行预处理；
15.若h1等于h2，则对所述文件夹中的所有初始特征匹配图像和所述下一帧目标图像frame.jpg进行预处理；
16.步骤s215：计算所述文件夹中经预处理的所述初始特征匹配图像的数量，经预处理的所述初始特征匹配图像数量为n，将所述初始特征匹配图像与所述下一帧目标图像frame.jpg进行sift特征点匹配，获取特征点匹配结果，所述特征点匹配结果包括所述初始特征匹配图像和所述下一帧目标图像frame.jpg匹配的所有特征点总数ap_count；
17.步骤s216：设置一计数值i，当i《n时，根据所述特征点匹配结果计算所述下一帧目标图像frame.jpg上所有特征点是同一特征点的总数sp_count，计算所述同一特征点的总数和所有特征点总数占比rate_i＝sp_count/ap_count，直至当i≥n，结束计算；
18.步骤s217：获取所述文件夹中所有初始特征匹配图像中和所述下一帧目标图像frame.jpg匹配最大的rate_i，所述最大的rate_i保存为max_rate，根据预设阈值threshold1与max_rate比较；
19.若满足max_rate《threshold1，则判定摄像机发生移动；反之，若不满足，则判定摄像机未发生移动。
20.具体的，在执行所述步骤s216计算所述下一帧目标图像frame.jpg上所有特征点是同一特征点时包括以下步骤：所述初始特征匹配图像的特征点为(xi,yi)，所述下一帧目标图像的特征点(xi，yi)，判定所述初始特征匹配图像的特征点为(xi,yi)和所述下一帧目标图像的特征点(xi，yi)是否为同一特征点；
21.若其中，threshold1为人为设定的数值，则所述初始特征匹配图像的特征点为(xi,yi)和所述下一帧目标图像的特征点(xi，yi)是同一特征点，所述同一特征点的总数sp_count加1；反之，则所述初始特征匹配图像的特征点为(xi,yi)和所述下一帧目标图像的特征点(xi，yi)不是同一特征点，所述同一特征点的总数sp_count不变。
22.进一步，具体的，在所述步骤s2中，检测所述摄像机是否发生遮挡包括以下步骤：
23.步骤s221：对所述目标图像灰度化处理后转换为灰度图像；
24.步骤s222：对所述灰度图像二值化处理后转换为二值图像；
25.步骤s223：将所述二值图像反转处理后转换为背景色为黑色的图像；
26.步骤s224：将所述背景色为黑色的图像进行形态学操作后获取最终输入图像；
27.步骤s225：计算所述输入图像的连通区域，根据计算结果，判定所述连通区域是否满足约束条件；若所述连通区域满足约束条件，则所述摄像机发生遮挡；若所述连通区域不满足约束条件，则所述摄像机没有发生遮挡。
28.进一步，具体的，在执行所述步骤225包括以下步骤：
29.步骤s2251：新建第一黑色图像，所述第一黑色图像尺寸与所述目标图像尺寸相
同，利用连通区域算法获取符合要求的所述输入图像的连通区域数量，符合要求的所述输入图像的连通区域数量为num_labels个，在所述第一黑色图像上，将num_labels个连通区域绘制成绿色；
30.步骤s2252：循环遍历num_labels个连通区域，获取每一个连通区域的面积a，计算ri：
[0031][0032]
其中，s0，s1，s2，s3，s4分别为在所述目标图像中左上角、左下角、右上角、右下角、正中间各选取200
×
200的区域面积，ai为第i个连通区域的面积，ri为ai连通区域的面积与sj区域面积的共同面积和sj区域面积的占比值；
[0033]
步骤s2253：判断ri是否满足约束条件ri》0.8，若满足，则所述摄像机发生遮挡，反之，则所述摄像机没有发生遮挡。
[0034]
进一步，具体的，在步骤215中，若所述步骤s214中不h1等于h2，则经预处理的所述初始特征匹配图像数量n为所述文件夹中所有初始特征匹配图像的数量减去1，反之，若所述步骤s214中h1等于h2，经预处理的所述初始特征匹配图像数量为所述文件夹中所有初始特征匹配图像的数量。
[0035]
进一步，具体的，所述文件夹中经预处理的所述初始特征匹配图像的数量n≤24。
[0036]
进一步，具体的，当检测结果为所述摄像机发生移动，或所述摄像机发生遮挡时，所述检测方法停止运行，所述证据视频与所述基准视频比较。
[0037]
本发明的有益效果是，本发明的一种基于图像处理的摄像机工作异常检测方法，可以不随环境恶劣，光线条件较差等外界因素直接影响，且检测准确，检测率高；另外，由于本发明的计算量很小，计算速度很快，因而实时性很好。而且，应用本发明方法能区分摄像机是被移动还是被遮挡，因此，能够有针对性地提示安全隐患原因，便于煤矿场景的实际应用。
附图说明
[0038]
下面结合附图和实施例对本发明进一步说明。
[0039]
图1是本发明最优实施例的方法流程图。
[0040]
图2是本发明最优实施例摄像机移动检测流程图。
[0041]
图3是本发明最优实施例摄像机遮挡检测流程图。
[0042]
图4是本发明一实施例摄像机未移动图像。
[0043]
图5是本发明一实施例摄像机未移动特征匹配图。
[0044]
图6是本发明一实施例摄像机移动特征匹配图。
[0045]
图7是本发明一实施例摄像机遮挡图像。
[0046]
图8是本发明摄像机遮挡图像二值化处理后的图像。
具体实施方式
[0047]
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0048]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0049]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0050]
如图1所示，是本发明最优实施例，一种基于图像处理的摄像机工作异常检测方法，检测方法包括以下步骤：
[0051]
步骤s1：图像采集模块采集摄像机实时目标视频，将目标视频发送至图像处理模块。
[0052]
步骤s2：图像处理模块获取目标视频，对目标视频按帧取图得到多帧连续的目标图像，图像处理模块对目标图像检测分析，检测摄像机是否发生移动，或者检测摄像机是否发生遮挡，具体的，摄像机移动为判断摄像机角度是否发生偏移，摄像机遮挡为判断摄像机的镜头前面是否有遮挡物。
[0053]
步骤s3：获取图像处理模块的检测结果，当检测结果为摄像机发生移动，或摄像机发生遮挡时，保存视频为证据视频，并发出预警信号。
[0054]
在本发明实施例中，执行步骤s1前，先给摄像机上电，图像采集模块根据摄像机当前的基准位置采集基准视频，当检测结果为摄像机发生移动，或摄像机发生遮挡时，将证据视频与基准视频比较，判断检测方法是否发生误检现象，进一步提高检测方法的准确性。
[0055]
如图2、图4-6所示，在本发明实施例中，在步骤s2中，检测摄像机是否发生移动包括以下步骤：
[0056]
步骤s211：建立文件夹。
[0057]
步骤s212：获取目标图像的系统时间h1，目标图像为当前帧目标图像，以系统小时h1建立当前帧目标图像的图像名称，当前帧目标图像的图像名称为h1.jpg，初始化当前帧的目标图像，将当前帧的目标图像传输至文件夹中，当前帧目标图像为检测摄像机是否发生移动的初始特征匹配图像。
[0058]
步骤s213：获取下一帧目标图像，下一帧目标图像的图像名称为frame.jpg，下一帧目标图像的系统时间为h2，将下一帧目标图像传输至文件夹中，具体的，下一帧目标图像为步骤s211中当前帧的目标图像间隔δh时间后的图像。
[0059]
步骤s214：判断当前帧的目标图像的系统时间h1与下一帧目标图像的系统时间h2是否相等；若h1不等于h2，则复制下一帧目标图像frame.jpg备份到文件夹中，以系统小时h2修改下一帧目标图像的图像名称，将下一帧目标图像的图像名称修改为h2.jpg，将h2赋值给h1，对文件夹中除去h2.jpg图像中的所有初始特征匹配图像和下一帧目标图像
frame.jpg进行预处理；若h1等于h2，则对文件夹中的所有初始特征匹配图像和下一帧目标图像frame.jpg进行预处理。,在本发明实施中，h1不等于h2时，若不除出去h2.jpg进行预处理，由于h2.jpg和下一帧目标图像frame.jpg为同一张图像，h2.jpg和下一帧目标图像frame.jpg匹配效果好，影响检测方法的准确度，除去h2.jpg图像中的所有初始特征匹配图像和下一帧目标图像frame.jpg进行预处理，进一步提高检测方法的检测准确度以及检测效率。
[0060]
具体的，若获取的当前帧目标图像获取时间为14:30时，则当前帧目标图像系统时间h1＝14，当前帧目标图像名称为14.jpg，将14.jpg保存至文件夹，14.jpg为初始特征匹配图像，间隔δh时间后，获取下一帧目标图像frame.jpg。
[0061]
下一帧目标图像获取时间若为14:40时，则下一帧目标图像系统时间h2＝14，则对文件夹中的初始特征匹配图像和下一帧目标图像frame.jpg进行预处理，初始特征匹配图像至少包括14.jpg，所有初始特征匹配图像可以有13.jpg、14.jpg、15.jpg、16.jpg，不仅限于此。
[0062]
下一帧目标图像获取时间若为15:20，则下一帧目标图像系统时间h2＝15，15不等于14，复制frame.jpg并备份至文件夹中，将复制的frame.jpg名称修改为15.jpg，并将14的值修改为15，对文件夹中除去15.jpg图像中的所有初始特征匹配图像和下一帧目标图像frame.jpg进行预处理，初始特征匹配图像至少包括14.jpg，所有目标图像中可以有14.jpg、13.jpg、16.jpg，不仅限于此。将h2的值赋值给h1，即将14的值修改为15，便于自动覆盖，能够减少文件夹存储空间的内存消耗，在系统小时14这个时间段内只会保存一张14.jpg的图像。当h2赋值给h1时，此时下一帧目标图像为当前帧的目标图像，下下一帧目标图像为下一帧目标图像，以此计算类推。
[0063]
步骤s215：计算文件夹中经预处理初始特征匹配图像的数量，经预处理的初始特征匹配图像数量为n，若步骤s214中h1不等于h2，文件夹中的初始特征匹配图像数量呈增长的趋势，文件夹中的初始特征匹配图像包括h2.jpg，经预处理的初始特征匹配图像数量n为文件夹中所有初始特征匹配图像的数量减去1，换而言之就是除去h2.jpg为经预处理的初始特征匹配图像数量n；反之，h1等于h2时，经预处理的初始特征匹配图像数量n为文件夹中所有初始特征匹配图像的数量，在本发明实施例中，预处理的初始特征匹配图像的数量n最多不超过24张，初始特征匹配图像的图像名称以系统小时建立。
[0064]
将每一张初始特征匹配图像与下一帧目标图像frame.jpg进行sift特征点匹配，获取特征点匹配结果，特征点匹配结果包括每一张初始特征匹配图像和下一帧目标图像frame.jpg匹配的所有特征点总数ap_count，初始特征匹配图像与下一帧目标图像frame.jpg特征点的计算具体包括以下步骤:
[0065]
首先，建立尺度空间，即建立高斯差分(dog)金字塔，高斯金字塔(gaussian pyramid)是采用高斯函数对图像进行模糊以及降采样处理得到。
[0066]
金字塔中每张图像由l(x，y，σ)表示，其计算公式为：
[0067][0068]
其中，i(x，y)表示图像，g(x，y，σ)为高斯函数，表示卷积运算；
[0069]
为图像尺度参数，及模糊系数。
[0070]
其次，空间极值点(即关键点)的检测；
[0071]
关键点是由dog空间的局部极值点组成的，关键点的初步探查是通过同一组内各dog相邻两层图像之间比较完成的。为了寻找dog函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，dog(difference of gaussian)函数表达式：
[0072][0073]
然后，特征点方向赋值，完成此步骤后，每个特征点有三个信息：位置、尺度、方向，为了使描述符具有旋转不变性，需要利用图像的局部特征给每一个关键点分配一个基准方向。使用图像梯度的方法求取局部结构的稳定方向。
[0074]
对于在dog金字塔中检测出的关键点，采集其所在高斯金字塔图像3σ领域窗口内像素的梯度和方向分布特征。梯度的模值和方向如下：
[0075][0076]
θ(x，y)＝tan-1
((l(x，y 1)-l(x，y-1))/(l(x 1，y)-l(x-1，y)))；
[0077]
其中，l为关键点所在的尺度空间值。
[0078]
最后，计算特征描述子，通过以上步骤，对于每一个关键点，拥有三个信息：位置、所处尺度、方向。接下来为每个关键点建立一个描述符，使其不随各种变化而改变，比如光照变化、视角变化等等。并且描述符应该有较高的独特性，以便于提高初始特征匹配图像与下一帧目标图像frame.jpg特征点正确匹配的概率。
[0079]
步骤s216：设置一计数值i，当i《n时，根据特征点匹配结果计算下一帧目标图像frame.jpg上所有特征点是同一特征点的总数sp_count，计算同一特征点的总数和所有特征点总数占比rate_i＝sp_count/ap_count，直至当i≥n，结束计算。在步骤216中，依次循环计算每一张初始特征匹配图像和下一帧目标图像frame.jpg匹配的rate_i，直至结束。
[0080]
在本发明实施例中，在执行步骤s216时下一帧目标图像frame.jpg上所有特征点是同一特征点计算包括以下步骤：在执行步骤s216计算下一帧目标图像frame.jpg上所有特征点是同一特征点时包括以下步骤：初始特征匹配图像的特征点为(xi,yi)，下一帧目标图像的特征点(xi，yi)，判定初始特征匹配图像的特征点为(xi,yi)和下一帧目标图像的特征点(xi，yi)是否为同一特征点；若其中，threshold2为人为设定的数值，则初始特征匹配图像的特征点为(xi,yi)和下一帧目标图像的特征点(xi，yi)是同一特征点，同一特征点的总数sp_count加1；反之，则初始特征匹配图像的特征点为(xi,yi)和下一帧目标图像的特征点(xi，yi)不是同一特征点，同一特征点的总数sp_count不变。其中，threshold2数值范围为50～150，优选threshold2数值为100，再判定初始特征匹配图像的特征点为(xi,yi)和下一帧目标图像的特征点(xi，yi)是否为同一特征点时，判定准确度更好，提高了检测方法的准确度。
[0081]
步骤s217：获取文件夹中所有初始特征匹配图像中和下一帧目标图像frame.jpg匹配最大的rate_i，最大的rate_i保存为max_rate，根据预设阈值threshold1与max_rate比较，若满足max_rate《threshold1,则判定摄像机发生移动，反之，若不满足，则判定摄像机未发生移动。预设阈值threshold1范围为0.6～0.8，优选预设阈值threshold1为0.7，在检测摄像机是否发生移动时，检测率更高。
[0082]
如图3、图7-8所示，在本发明实施例中，在步骤s2中，检测摄像机是否发生遮挡包括以下步骤：
[0083]
步骤s221：对目标图像灰度化处理后转换为灰度图像，转换公式为：
[0084]
gray＝0.1140*b 0.5870*g 0.2989*r
[0085]
其中，gray表示灰度图像，b、g、r表示彩色图中的三个通道。
[0086]
步骤s222：对灰度图像二值化处理后转换为二值图像，采用otsu算法进行二值化运算，不受图像亮度和对比度的影响，能够确定图像二值化的分割阈值，使图像中前景与背景图像的类间方差最大；
[0087]
步骤s223：将二值图像反转处理后转换为背景色为黑色的图像，通过将二值图像中的所有像素值按位反向获取背景色为黑色的图像；
[0088]
步骤s224：将背景色为黑色的图像进行形态学操作后获取最终输入图像，具体先对背景色为黑色的图像进行开运算操作，然后再进行闭运算操作，其中开运算操作为先腐蚀后膨胀，闭运算操作为先膨胀后腐蚀，
[0089]
具体的，膨胀公式为：
[0090]
dst(x，y)＝max
(x
′
，y
′
)：element(x
′
，y
′
)≠0
src(x x
′
，y y
′
)；
[0091]
腐蚀公式为：
[0092]
dst(x，y)＝min
(x
′
，y
′
)：element(x
′
，y
′
)≠0
src(x x
′
，y y
′
)；
[0093]
开运算公式为：
[0094]
dst＝open(src，element)＝dilate(erode(src，element))；
[0095]
闭运算公式为：
[0096]
dst＝close(src，element)＝erode(dilate(src，element))；
[0097]
其中，src为原图像，dst为操作后图像，element:腐蚀操作或膨胀操作的内核。
[0098]
步骤s225：计算输入图像的连通区域，根据计算结果，判定连通区域是否满足约束条件；若连通区域满足约束条件，则摄像机发生遮挡；若连通区域不满足约束条件，则摄像机没有发生遮挡。
[0099]
在本发明实施例中，执行步骤s225具体包括以下步骤：
[0100]
步骤s2251：新建第一黑色图像，第一黑色图像为背景色为黑色的图像，第一黑色图像尺寸与目标图像尺寸相同，利用连通区域算法获取符合要求的输入图像的连通区域个数num_labels，在第一黑色图像上，将num_labels个连通区域绘制成绿色；
[0101]
步骤s2252：循环遍历num_labels个连通区域，获取每一个连通区域的面积a，计算ri(占比值)：
[0102][0103]
其中，s0，s1，s2，s3，s4分别为在目标图像中左上角、左下角、右上角、右下角、正中间
各选取200
×
200的区域面积，ai为第i个连通区域的面积，ri为ai连通区域的面积与sj区域面积的共同面积和sj区域面积的占比值；
[0104]
步骤s2253：判断ri是否满足约束条件ri》0.8，若满足，则摄像机发生遮挡，反之，则摄像机没有发生遮挡。
[0105]
综上，本发明的一种基于图像处理的摄像机工作异常检测方法，可以不随环境恶劣，光线条件较差等外界因素直接影响，且检测准确，检测率高；再有，由于本发明的计算量很小，计算速度很快，因而实时性很好。另外，应用本发明方法能区分摄像机是被移动还是被遮挡，因此，能够有针对性地提示安全隐患原因，便于煤矿场景的实际应用。
[0106]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。