检测车载终端摄像头遮挡的方法和装置、车载终端、车辆与流程

1.本技术涉及商用车领域，具体而言，涉及一种检测车载终端摄像头遮挡的方法和装置、车载终端、车辆。


背景技术：

2.随着车载终端领域技术的快速发展，车载终端的类型各式各样，性能也有了较大提升。比如，以前的车载终端无视频监控或摄像头通道数少，而目前的车载终端可搭载8路视频通道，能够对车辆的各个方向进行监控。
3.在车辆行驶过程中，由于泥土、树叶或者人为主观因素等因素造成车辆摄像头被遮挡，导致车载终端传递的录像不完整。尤其是在某些视频通道还给人脸识别和主动安全驾驶提供视频数据情况下，如果摄像头被异物遮挡，并没有给驾驶员或平台报警，将导致算法失效和录制无效的监控视频数据。现有的视频遮挡检测算法对运行平台的性能要求较高，目前尚没有适合在资源有限的嵌入式平台实现的解决方案。


技术实现要素：

4.本技术提供了一种检测车载终端摄像头遮挡的方法和装置、车载终端、车辆，能够检测判断车辆摄像头是否被遮挡的问题且能应用于资源有限的嵌入式平台。
5.根据本技术的一方面，提出一种检测车载终端摄像头遮挡的方法，包括获取车载终端摄像头的视频图像；灰度化预处理所述视频图像以得到灰度图像；计算所述灰度图像的遮挡区域占有率；判断所述遮挡区域占有率是否达到遮挡区域报警阈值。
6.根据一些实施例，灰度化预处理所述视频图像以得到灰度图像，包括灰度化所述视频图像；调整灰度化后的所述视频图像的图像尺寸，得到调整后的视频图像；滤波处理所述调整后的视频图像，得到灰度图像。
7.根据一些实施例，计算所述视频图像的遮挡区域占有率，包括增强所述灰度图像的特征信息；阈值分割增强后的所述灰度图像以得到二值化黑白图像；连通域标识所述二值化黑白图像并计算遮挡区域占有率。
8.根据一些实施例，阈值分割所述灰度图像以得到二值化黑白图像，还包括配置二值化阈值，所述二值化阈值包括50。
9.根据一些实施例，连通域标识所述二值化黑白图像并计算遮挡区域占有率，包括连通域标识所述二值化黑白图像；计算遮挡区域面积；计算所述二值化黑白图像的图像面积；计算所述遮挡区域面积和所述图像面积的比值，得到遮挡区域占有率。
10.根据一些实施例，计算所述二值化黑白图像的图像面积，包括计算所述二值化黑白图像的分辨率乘积，得到图像面积。
11.根据一些实施例，所述遮挡区域报警阈值包括30％或50％。
12.根据一些实施例，前述方法还包括多次周期性执行上下文所述的方法，若每次所述遮挡区域占有率达到所述遮挡区域报警阈值，则上报报警终端，所述报警终端包括显示
屏、语音播放器或控制平台。
13.根据本技术的一方面，提出一种检测车载终端摄像头遮挡的装置，包括获取视频图像模块，用于获取车载终端摄像头的视频图像；图像预处理模块，用于灰度化预处理所述视频图像以得到灰度图像；计算遮挡区域占有率模块，用于计算所述视频图像的遮挡区域占有率；遮挡区域判断模块，用于判断所述遮挡区域占有率是否达到遮挡区域报警阈值。
14.根据本技术的一方面，提出一种车载终端，包括一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如前所述的方法。
15.根据本技术的一方面，提出一种车辆，包括所述车辆包含有如前所述的车载终端。
16.根据本技术的一些实施例，通过对各通道的视频图像进行周期性检测，并对检测结果进行累计，并设置报警阈值，只要超过该报警阈值，则认为摄像头被遮挡。使用本技术所描述的技术方案，在降低运算量的同时，能够快速地检测出被遮挡的摄像头通道，避免了长期录制无效的视频数据以及安全事故的产生。且对运行平台的性能要求较低，适于应用于资源有限的嵌入式平台。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
18.图1示出根据本技术示例实施例的一种检测车载终端摄像头遮挡的方法流程图。
19.图2示出根据本技术示例实施例的一种灰度化预处理视频的方法流程图。
20.图3示出根据本技术示例实施例的一种计算视频图像的遮挡区域占有率的方法流程图。
21.图4示出根据本技术示例实施例的灰度线性变换示意图。
22.图5示出根据本技术示例实施例的八连通域领域内像素点示意图。
23.图6示出根据本技术示例实施例的一种检测车载终端摄像头遮挡的装置框图。
24.图7a示出带遮挡的视频图像。
25.图7b示出带遮挡的视频图像的二值化图像。
26.图8示出根据本技术示例实施例的网络拓扑图。
27.图9示出根据本技术示例实施例的车载终端的框图。
具体实施方式
28.现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本技术将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
29.所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置或操作等。在这些情况下，将不详细示出或描述公
知结构、方法、装置、实现、材料或者操作。
30.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
31.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
32.随着车载终端技术的快速发展，车载终端的性能有了较大的提升。以前的车载终端无视频监控，或者摄像头通道数少。目前，性能和功能强大的车载终端可搭载8路视频通道，一般包括北斗位置监控、视频监控、驾驶员行为监控和车辆调度等功能，可对车辆的各个方向进行监控。因此，多被应用于渣土车、货运运输车等被监管车辆中。
33.监管车辆在行驶过程中，可能由于泥土、树叶或其他人为主观因素导致摄像头画面被遮挡，导致录像画面不完整。如果摄像头被异物遮挡，并没有给驾驶员或平台报警，将导致算法失效和录制无效的监控视频数据。
34.通过对车载终端摄像头应用场景分析，摄像头遮挡一般情况下均是被异物遮挡，或者摄像头在抖动过程中整个镜头对着挡板，导致有效视频图像失效，局部画面或整个画面呈现黑色。
35.为此，本技术提出一种检测车载终端摄像头遮挡的方法，在降低运算量的同时，能够快速地检测出被遮挡的摄像头通道，避免了长期录制无效的视频数据以及安全事故的产生，且对运行平台的性能要求较低，适于应用于资源有限的嵌入式平台。下面将参照附图，对根据本技术的具体实施例进行详细说明。
36.图1示出根据本技术示例实施例的一种检测车载终端摄像头遮挡的方法流程图。下面参照图1，对根据本技术示例实施例的一种检测车载终端摄像头遮挡的方法进行详细说明。图7a示出带遮挡的视频图像。图7b示出带遮挡的视频图像的二值化图像。
37.参见图1，在s101，获取车载终端摄像头的视频图像。
38.目前，功能和性能强大的车载终端可搭载8路视频通道，可实现对车辆的各个方向进行监控。根据本技术的一些示例实施例，车载终端的视频遮挡检测系统首先获取通道视频图像，如图7a所示的为一带遮挡的视频图像。
39.在s103，灰度化预处理视频图像以得到灰度图像。
40.根据本技术的一些示例实施例，本技术的视频遮挡检测系统采集到的视频图像是rgb三通道彩色图像。在进行检测前需要对视频图像进行灰度化处理，以减少后期的运算量。关于灰度化处理的具体操作方法参见图2的描述。图7b为经过图像处理后得到的二值化图像。
41.在s105，计算灰度图像的遮挡区域占有率。
42.根据本技术的一些示例实施例，遮挡区域面积与图片面积的比值即为遮挡区域占有率。根据本技术的一些实施例，遮挡区域面积可以通过将步骤s103得到的灰度图像转化为二值化图像后，利用八连通域标识算法计算最大连通域面积得到。根据本技术的一些实
施例，图片面积采用整副图像的分辨率乘积。关于遮挡区域的具体计算方法参见图3的描述。
43.在s107，判断遮挡区域占有率是否达到遮挡区域报警阈值。
44.根据本技术的一些示例实施例，报警阈值可以预先设定，包括检测灵敏和检测一般两种方式。当设置为检测灵敏时，报警阈值为30％。当设置为检测一般时，报警阈值50％。只要超过报警阈值，则认定车载终端摄像头有遮挡。
45.根据本技术的一些示例实施例，对获取车载终端摄像头的视频图像周期性执行步骤s101～s107，连续检测多次，例如，50次，如果每次计算的遮挡区域占有率均超过报警阈值，则认定车载终端摄像头有遮挡，需要通过语音、显示屏水印或上传遮挡信息给平台进行报警，通知相关人员进行处理。
46.以上参照图1描述的技术方案，通过对各通道的视频图像进行周期性检测，并对检测结果进行累计，并设置报警阈值，只要超过该报警阈值，则认为摄像头被遮挡。一旦检测到摄像头被遮挡，即通过语音、显示屏水印或上传遮挡信息给平台进行报警，通知相关人员进行处理。使用图1所描述的技术方案，能够快速地检测出被遮挡的摄像头通道，避免了长期录制无效的视频数据以及安全事故的产生。另外，根据本技术提供的计算遮挡率的轻量级视频遮挡算法，对运行平台的性能要求较低，适于应用于资源有限的嵌入式平台。
47.图2示出根据本技术示例实施例的一种灰度化预处理视频的方法流程图。
48.参见图2，在s201，灰度化视频图像。
49.在图像处理中，用rgb三个分量即红、绿、蓝三原色来表示真彩色，r分量，g分量，b分量的取值范围均为0～255。像素点是图像的最小单元。一张图片由许多像素点构成。一个像素点的颜色是由rgb三个值来表现的，所以一个像素点矩阵对应三个颜色向量矩阵，分别是r矩阵，g矩阵，b矩阵。所谓图像的灰度化，即是让像素点矩阵中的每一个像素点都满足下面的关系：r＝g＝b。
50.由于系统采集到的图像为rgb三通道彩色图像，如果直接使用彩色图像进行处理，将会针对三个通道进行计算，导致运算量很大，增加了嵌入式系统内存的消耗和图像处理算法的运行时间，导致系统性能较低。根据本技术的一些示例实施例，图像灰度化处理是根据人眼视觉规律采用加权平均值灰度化算法，对图像三个通道的亮度值采取不同的加权值处理，如公式(1)所示，其中，f(i，j)是坐标在(i，j)处的灰度值，α，β，γ分别代表r，g，b的权重。
51.f(i，j)＝αr(i，j) βg(i，j) γb(i，j)
ꢀꢀꢀ
(1)
52.根据一些实施例，α，β，γ采用opencv视觉算法库中根据人眼对r、g、b三原色敏感度的差异性提出的权值0.3，0.59和0.11。
53.在s203，调整灰度化后的视频图像的图像尺寸，得到调整后的视频图像。
54.由于摄像头采集到的图像分辨率格式各式各样，但是图像处理算法要求固定的分辨率，而采集到的图像分辨率普遍高于算法所要求的分辨率。根据本技术的一些实施例，通过对灰度图像进行尺寸调整，可得到固定分辨率的图像。
55.根据一些实施例，可采用双线性内插算法进行图片调整。所谓双线性内插算法，即是在图像像素点的x轴方向和y轴方向上分别进行一次线性插值。目标图像的像素点坐标通过缩放因子对应到原图像坐标中。通常得到的像素坐标值为浮点数，然而在图像坐标系中
是使用整数对像素坐标点进行描述，浮点型坐标将不能在离散数据上使用，双线性插值算法是通过在原图中距离该浮点型坐标最近的四个像素点来计算该点的像素值，得到目标图像对应坐标位置的像素值。在s205，滤波处理调整后的视频图像，得到灰度图像。
56.由于车载终端的使用环境复杂，受天气和地理环境等因素的干扰，采集到的仪表图像中会存在噪声信号，此噪声信号对后期算法处理会造成很严重的干扰，导致识别结果不准确。环境所产生的噪声普遍符合高斯噪声模式，根据本技术的一些示例实施例，利用高斯降噪算法对视频图像进行降噪处理。高斯函数如公式(2)所示：
[0057][0058]
以上参照图2描述的技术方案，经过灰度化预处理后的视频图像的图像特征与原始图像相差不大，但却减少了后期大量的运算。
[0059]
图3示出根据本技术示例实施例的一种计算视频图像的遮挡区域占有率的方法流程图。图4示出根据本技术示例实施例的灰度线性变换示意图。图5示出根据本技术示例实施例的八连通域领域内像素点示意图。
[0060]
参见图3，在s301，增强灰度图像的特征信息。
[0061]
根据本技术的一些示例实施例，利用灰度线性变换算法增强灰度图像的特征信息。使用灰度线性变换算法后，灰度图像的特征点信息增强。突出的特征信息更方便后期的算法检测，增强了系统的鲁棒性。
[0062]
灰度线性变换算法首先是将图像灰度范围分为几个线性段，然后根据实际情况按照不同的变换系数进行线性变换，通过改变线性变换灰度级范围可以调节线性变换系数，并对重要的灰度级范围进行线性扩张，同时也可对不感兴趣的灰度级范围进行抑制。被遮挡的图像经过灰度线性变换算法处理后，被遮挡部分的图像区域将被加强，方便后期的二值化处理。灰度线性变换算法可参照图4。
[0063]
灰度线性变换算法参数可以根据使用环境进行配置，在外部环境恶劣时，例如环境灰暗、光照不好或夜间行车时，可修改其线性变换参数，提升算法识别精度，正常情况下可使用算法内部默认的参数。参见图4，根据一些实施例，灰度线性变换算法参数[a，b]值默认为[60，100]，[c，d]值默认为[30，200]。m
f
为原图像灰度空间范围，默认值为255，m
g
为目标图像灰度空间范围，默认值为255。
[0064]
根据本技术的一些实施例，包含有本技术示例实施例的车载终端包含有无线通信模块，通过提供线性变换参数的配置范围，方便用户手机端手动调整。
[0065]
在s303，阈值分割增强后的灰度图像以得到二值化黑白图像。
[0066]
所谓二值化即是让图像的像素点矩阵中的每个像素点的灰度值为0(黑色)或者255(白色)，让整个图像呈现只有黑和白的效果。在灰度化的图像中灰度值的范围为0～255，在二值化后的图像中的灰度值范围是0或者255。
[0067]
根据摄像头的使用环境，摄像头遮挡一般呈现区域性遮挡，遮挡部分呈现黑色区域，此部分像素灰度值接近于0。根据本技术的一些示例实施例，使用全局的阈值算法对灰度图像进行图像二值化处理。根据一些实施例，二值化阈值设置为50，低于此值即判定为黑色区域。经过二值化处理之后的图像像素值只有0和255两种情况，即黑白图像，黑色部分即为被遮挡区域。
[0068]
在s305，计算二值化黑白图像遮挡区域占有率。
[0069]
根据本技术的一些示例实施例，利用八连通域算法对二值化黑白图像进行标识，选取连通域最大的面积作为遮挡区域面积。根据本技术的一些实施例，采用整幅图像的分辨率乘积作为图像面积。遮挡区域面积与图像面积的比值即为遮挡区域占有率。
[0070]
本技术示例实施例中的8连通域标识算法是指一个像素值为0的像素点(黑色像素点)在8个相邻的方向都有黑色像素点，即此像素点为领域内像素点，如图5中的点p。通过计算像素点的个数作为连通域的面积。
[0071]
图6示出根据本技术示例实施例的一种检测车载终端摄像头遮挡的装置框图。
[0072]
参见图6，一种检测车载终端摄像头遮挡的装置包括获取视频图像模块601，用于获取车载终端摄像头的视频图像。图像预处理模块603，用于灰度化预处理所述视频图像以得到灰度图像。计算遮挡区域占有率模块605，用于计算所述视频图像的遮挡区域占有率。遮挡区域判断模块607，用于判断所述遮挡区域占有率是否达到遮挡区域报警阈值。
[0073]
根据本技术示例实施例，一种车辆装载有图6所示的车载终端，能够实现如图1所示的算法，实现摄像头是否遮挡的检测并报警。
[0074]
图8示出根据本技术示例实施例的网络拓扑图。
[0075]
如图8所示，根据本技术的示例实施例，车载终端通过摄像头获取视频图像，对视频图像进行预处理后利用八连通域标识算法计算最大连通域的面积作为遮挡区域面积。如果遮挡区域面积与整副图像的面积比值超过预设的报警阈值，则上报给报警服务器进行报警。同时，报警信息也可以在车载终端中进行语音播报或液晶显示等方式提醒用户摄像头被遮挡。
[0076]
图9示出根据本技术示例性实施例的一种车载终端的框图。
[0077]
下面参照图9来描述根据本技术的这种实施方式的车载终端200。图9显示的车载终端200仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0078]
如图9所示，车载终端200以通用计算设备的形式表现。车载终端200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
[0079]
其中，存储单元存储有程序代码，程序代码可以被处理单元210执行，使得处理单元210执行本说明书描述的根据本技术各种示例性实施方式的方法。例如，处理单元210可以执行如图1中所示的方法。
[0080]
存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(rom)2203。
[0081]
存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0082]
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0083]
车载终端200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该车载终端200交互的设备通信，和/或与使得
该车载终端200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口250进行。并且，车载终端200还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与车载终端200的其它模块通信。应当明白，尽管图中未示出，可以结合车载终端200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0084]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本技术实施方式的上述方法。
[0085]
软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0086]
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0087]
可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言
‑
诸如java、c 等，还包括常规的过程式程序设计语言
‑
诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0088]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现前述功能。
[0089]
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0090]
根据本技术的一些实施例，通过对各通道的视频图像进行周期性检测，并对检测结果进行累计，并设置报警阈值，只要超过该报警阈值，则认为摄像头被遮挡。一旦检测到
摄像头被遮挡，即通过语音、显示屏水印或上传遮挡信息给平台进行报警，通知相关人员进行处理。使用图1所描述的技术方案，在降低运算量的同时，能够快速地检测出被遮挡的摄像头通道，避免了长期录制无效的视频数据和安全事故的产生。
[0091]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本技术的方法及其核心思想。同时，本领域技术人员依据本技术的思想，基于本技术的具体实施方式及应用范围上做出的改变或变形之处，都属于本技术保护的范围。综上所述，本说明书内容不应理解为对本技术的限制。