图像处理方法、装置、设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.ai算法与视频监控组合作为一种广泛应用于监控森林防火、秸秆焚烧等多个领域的重要手段，在发现火情、警示火情等方面发挥着重要的作用。目前，现有技术将大量灯光、烟火等识别为火情从而造成误报，给相关工作人员带来了处理上的难题，对真实告警造成重大干扰。


技术实现要素：

3.本技术实施例提供一种图像处理方法、装置、设备及存储介质，以解决现有的方法因将大量灯光、烟火等识别为火情，导致火情误报率和漏报率较高的问题。
4.为解决上述问题，本技术是这样实现的：
5.第一方面，本技术实施例提供了一种图像处理方法，所述方法包括：
6.获取摄像机的图像画面；
7.根据所述摄像机的图像画面，标绘屏蔽区域并获取所述屏蔽区域在第一坐标系下的第一坐标值；
8.在识别到所述摄像机的图像画面中包括目标事件对应图像的情况下，基于所述目标事件对应图像确定告警区域，并获取所述告警区域在所述第一坐标系下的第二坐标值；
9.获取所述第一坐标值转换到ptz坐标系下的第一ptz坐标值，以及所述第二坐标值转换到所述ptz坐标系下的第二ptz坐标值；
10.基于所述第一ptz坐标值和所述第二ptz坐标值，获取所述告警区域和所述屏蔽区域的重叠部分占所述告警区域的百分比；
11.获取所述百分比与预设告警阈值的比对结果，并基于所述比对结果执行告警处理或者告警压制处理。
12.第二方面，本技术实施例还提供一种图像处理装置，包括：
13.第一获取模块，用于获取摄像机的图像画面；
14.第二获取模块，用于根据所述摄像机的图像画面，标绘屏蔽区域并获取所述屏蔽区域在第一坐标系下的第一坐标值；
15.第三获取模块，用于在识别到所述摄像机的图像画面中包括目标事件对应图像的情况下，基于所述目标事件对应图像确定告警区域，并获取所述告警区域在所述第一坐标系下的第二坐标值；
16.第四获取模块，用于获取所述第一坐标值转换到ptz坐标系下的第一ptz坐标值，以及所述第二坐标值转换到所述ptz坐标系下的第二ptz坐标值；
17.第五获取模块，用于基于所述第一ptz坐标值和所述第二ptz坐标值，获取所述告
警区域和所述屏蔽区域的重叠部分占所述告警区域的百分比；
18.执行模块，用于获取所述百分比与预设告警阈值的比对结果，并基于所述比对结果执行告警处理或者告警压制处理。
19.第三方面，本技术实施例还提供一种电子设备，包括:处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现本技术实施例中图像处理方法的步骤。
20.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现本技术实施例中图像处理方法的步骤。
21.本技术实施例中，获取摄像机的图像画面，所述图像画面中含有需要屏蔽的区域，在所述图像画面中标绘出屏蔽区域并获取所述屏蔽区域在第一坐标下的第一坐标值；在所述图像画面中识别需要进行告警处理的告警区域，并获取所述告警区域在第一坐标下的第二坐标值；将所述第一坐标值和所述第二坐标值转换为ptz坐标系下的第一ptz坐标值和第二ptz坐标值；根据所述第一ptz坐标值和所述第二ptz坐标值获取所述屏蔽区域的面积和所述告警区域的面积，并得到所述屏蔽区域与所述告警区域重叠部分的面积；获取所述屏蔽区域与所述告警区域重叠部分的面积占所述告警区域面积的百分比；预设告警阈值，当发生告警时，比较所述百分比和所述告警阈值大小，进行告警处理或者告警压制处理。这样，通过在图像画面中标绘屏蔽区域以及识别出告警区域，通过比对屏蔽区域与告警区域重叠部分的面积占告警区域面积的百分比，来确定是否需要进行告警，进而可以减少误报率和漏报率。
附图说明
22.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
23.图1是本技术实施例提供的一种图像处理方法的流程示意图；
24.图2是本技术实施例提供的一种图像处理装置的结构示意图；
25.图3是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
27.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
28.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的图像处理方法进行详细地说明。
29.请参见图1，图1为本技术实施例提供的图像处理方法的流程图，如图1所示，该方法包括以下步骤：
30.步骤101，获取摄像机的图像画面。
31.需要说明的是，上述图像画面可以是用户通过摄像机设备拍摄的视频中的某一帧画面，也可以是拍照设备拍摄的照片，也可以是终端设备显示的图像画面。上述获取的图像画面可以是读取用户当前摄制的图像画面，也可以是接收摄影设备上传的图像画面，还可以是接收来自其他设备发送的需要处理的图像画面。
32.步骤102，根据所述摄像机的图像画面，标绘屏蔽区域并获取所述屏蔽区域在第一坐标系下的第一坐标值。
33.在该步骤中，上述屏蔽区域所标绘出的可以是所述图像画面中的各种容易造成告警误报的灯光、篝火、秸秆焚烧等现象对应的图像区域。通过算法的识别检测可以从所述图像画面中得到应当进行屏蔽的图像，在应当进行屏蔽的图像上标绘多个标绘点，将多个标绘点连接可以得到一个封闭的标绘区域，即所述屏蔽区域。
34.本步骤不限定屏蔽区域的形状，可以为矩形、圆形、三角形等等，一般以能够覆盖住对象为准。一般情况下，所述屏蔽区域优选为对称图形，比如屏蔽区域为矩形时，所述标绘屏蔽区域范围包括矩形的左上角和右下角的两个像素点的坐标，当屏蔽区域为圆形时，所述标定屏蔽区域范围包括隐私区域的直径以及圆心像素点坐标，具体标定的屏蔽区域范围与屏蔽区域的形状有关，只要可以唯一确定即可。
35.上述第一坐标系可以是以图像左上角为原点，以水平向右方向为μ轴，以垂直向下方向为ν轴形成的坐标系，例如当下场景图像画面中心点在该第一坐标系下的为该第一坐标系为二维坐标系。上述第一坐标值是根据第一坐标系得到的。需要说明的是，上述屏蔽区域的所在第一坐标系的第一坐标值可以包括屏蔽区域各个顶点的第一坐标得到的坐标值。
36.步骤103，在识别到所述摄像机的图像画面中包括目标事件对应图像的情况下，基于所述目标事件对应图像确定告警区域，并获取所述告警区域在所述第一坐标系下的第二坐标值。
37.上述图像画面中的目标事件是区别于上述屏蔽区域的图像的，上述目标事件可以是森林火灾、房屋起火、工厂事故着火等等。当检测到所述图像画面中含有所述目标事件，在所述图像画面中划定出所述目标事件的范围，将该范围划定为告警区域，在没有本技术实施例的作用下，发生目标事件会引起告警，但所述告警区域中可能存在着需要进行屏蔽的事件，如灯光、烟雾等。
38.需要说明的是，获取所述告警区域的在所述第一坐标系下的第二坐标值，即可以是获取所述告警区域各顶点在第一坐标系下的坐标值。
39.步骤104，获取所述第一坐标值转换到ptz坐标系下的第一ptz坐标值，以及所述第二坐标值转换到所述ptz坐标系下的第二ptz坐标值。
40.在该步骤中，ptz坐标为摄像机监控的场景范围内的三维坐标，将所述屏蔽区域的所述第一坐标值转换为ptz坐标系下的第一ptz坐标值，将所述告警区域的所述第二坐标值转换为ptz坐标系下的第二ptz坐标值，将二维坐标转换为三维坐标，当摄像机处于不同的姿态和焦距缩放时，ptz坐标系上点的数据能够保持稳定，所获取的图像画面上的屏蔽区域上的点和告警区域上的点在坐标转换的过程中准确性较高、误差较小。
41.需要说明的是，ptz坐标系为摄像机的方位值，ptz值(即pan、tilt、zoom)，p表示水平方位值，t代表俯仰方位值，z代表摄像机镜头焦距变倍值。
42.可选地，所述步骤104包括：
43.获取所述摄像机的水平视场角和垂直视场角；
44.基于所述水平视场角和所述垂直视场角，将所述屏蔽区域的第一坐标值转换到ptz坐标系下的第一ptz坐标值；
45.基于所述水平视场角和所述垂直视场角，将所述告警区域的第二坐标值转换到ptz坐标系下的第二ptz坐标值。
46.在该步骤中，通过获取当前时刻摄像机的水平视场角和垂直视场角，将第一坐标系下的第一坐标转换为ptz坐标系下的第一ptz坐标，通过在当前场景下摄像机的水平视场角和垂直视场角，通过几何关系确定当前场景下屏蔽区域和告警区域的三维ptz坐标。本步骤由于摄像机的水平视场角和垂直视场角可以准确获得，因此可以准确计算出在当前场景下屏蔽区域和告警区域的三维ptz坐标。
47.将屏蔽区域第一坐标值转换为ptz坐标系下的第一ptz坐标值的公式为：
[0048][0049]
其中，(μ
′c，ν
′c)为告警区域的第一坐标；
[0050]
α为当前时刻摄像机的水平视场角；
[0051]
β为当前时刻摄像机垂直视场角；
[0052]
(po,to,zo)为图像画面的中心点在ptz坐标系的坐标；
[0053]
(pc,tc,zc)为屏蔽区域的第一坐标系下的第一坐标转化的ptz坐标系下的ptz坐标。
[0054]
将告警区域第二坐标值转换为ptz坐标系下的第二ptz坐标值的公式为：
[0055][0056]
其中，(μ
′r，ν
′r)为告警区域的第一坐标；
[0057]
α为当前时刻摄像机的水平视场角；
[0058]
β为当前时刻摄像机垂直视场角；
[0059]
(po,to,zo)为图像画面的中心点在ptz坐标系的坐标；
[0060]
(pr,tr,zr)为告警区域的第一坐标系下的第二坐标转化的ptz坐标系下的ptz坐标。
[0061]
在本技术实施例中，假设告警区域为矩形，获取该告警区域四个顶点的坐标，以告警区域左上角的顶点为第一点，以逆时针为方向，设四个顶点分别为r1、r2、r3、r4。假设图像中心点为o点、标绘点为c点和告警区域为r，告警区域和屏蔽区域在图像百分比坐标系和ptz坐标系下的值定义如下表：
[0062][0063]
可选地，获取摄像机的水平视场角和垂直视场角，还包括：
[0064]
获取所述摄像机的最小焦距；
[0065]
获取所述摄像机的图像传感器高度和图像传感器宽度；
[0066]
获取所述摄像机的图像画面中心点的第三ptz坐标值；
[0067]
根据所述最小焦距、所述图像传感器高度、所述图像传感器宽度和所述第三ptz坐标值获取摄像机的所述水平视场角和所述垂直视场角。
[0068]
对应一个ptz摄像机，获取在当前场景下摄像机的最小焦距，并读取器内部图像传感器的型号，然后根据图像传感器的型号，可以确定其高度和宽度。根据几何关系可得：
[0069][0070]
其中，f是在当前时刻所获得的摄像机当前图像画面的焦距值，单位为mm；
[0071]
f0为在当前时刻摄像机的最小焦距；
[0072]
c为摄像机图像传感器的高度；
[0073]
d为摄像机图像传感器的宽度。
[0074]
步骤105，基于所述第一ptz坐标值和所述第二ptz坐标值，获取所述告警区域和所
述屏蔽区域的重叠部分占所述告警区域的百分比。
[0075]
在上述步骤中，告警区域和屏蔽区域的重叠部分与告警区域的百分比通过告警区域和屏蔽区域的重叠面积与告警区域面积之比得到。
[0076]
可选地，所述步骤105，包括：
[0077]
基于所述第一ptz坐标值，获取所述屏蔽区域的面积；
[0078]
基于所述第二ptz坐标值，获取所述告警区域的面积；
[0079]
基于所述屏蔽区域的面积和所述告警区域的面积获取所述告警区域和屏蔽区域的重叠部分面积；
[0080]
根据所述告警区域和屏蔽区域的重叠部分面积及所述告警区域面积获取所述百分比。
[0081]
在该步骤中，基于所获取的第一ptz坐标值和第二ptz坐标值，分别计算屏蔽区域和告警区域的面积，屏蔽区域和告警区域的形状优选是对称图形。假设屏蔽区域或者告警区域为矩形，则获取屏蔽区域或者告警区域四个顶点的坐标值即可，通过顶点坐标值求得该矩形的长度和宽度，得以计算得出屏蔽区域或者告警区域的面积；假设屏蔽区域或者告警区域为圆形，则获取屏蔽区域或者告警区域中心点的坐标值以及圆的一个直径与圆相交点的坐标值即可，通过圆的面积公式计算得出屏蔽区域或者告警区域的面积。需要说明的是，所述屏蔽区域是针对摄像机上下、左右移动的范围的屏蔽。
[0082]
在上述步骤中，还需要获取所述告警区域和所述屏蔽区域重叠部分的面积，获取屏蔽区域和告警区域相交图形的各个顶点的坐标，通过该相交部分的图形形状取得该部分的面积。
[0083][0084]
其中，ao为告警区域和屏蔽区域的重叠部分面积；
[0085]ar
为告警框图的面积；
[0086]
σ％为告警框图和屏蔽区域的重叠部分占告警框图的百分比
[0087]
步骤106，获取所述百分比与预设告警阈值的比对结果，并基于所述比对结果执行告警处理或者告警压制处理。
[0088]
在该步骤中，预设一个告警压制阈值，当图像画面中识别到目标事件，将屏蔽区域与告警区域的重叠部分占告警区域的百分比与所设的告警压制阈值进行比对，如果比对不满足预设条件，会引发告警，当满足预设条件，则发生告警压制。上述告警处理包括但不限于文字、图片、声音、光电等形式的告警信息等，告警压制处理包括但不限于阻止发送字、图片、声音、光电等形式的告警信息等。
[0089]
可选地，所述步骤106包括：
[0090]
在所述百分比小于等于所述告警阈值的情况下，则执行告警压制处理；
[0091]
在所述百分比大于所述告警阈值的情况下，则执行告警处理。
[0092]
在上述步骤中，比对百分比与预设告警阈值的大小，当百分比大于告警阈值，发生告警，可以是向终端设备发送告警信息，即σ％＞ω％时，发生告警。当百分比小于等于告警阈值，本应向终端设别发送的信息被阻止，终端设备未产生显示，即假设告警阈值为ω％，当告警框图和屏蔽区域的重叠部分占告警框图的百分比σ％≤ω％时，则对该告警进行压
制处理。
[0093]
本技术实施例可以通过软件方式在平台侧设置摄像机的屏蔽区域，兼容了摄像机前端告警和平台侧算法识别告警的区域屏蔽，功能实现完整全覆盖。在具体工程实现中，具有更强的可操作性。当摄像机处于不同姿态和焦距缩放时，都能实现屏蔽区域跟随。当告警区域符合屏蔽区域的规则时，将告警进行压制处理，减少算法误报。
[0094]
参见图2，图2为本技术实施例提供的图像处理装置的结构图。如图2所示，该图像处理装置200包括：
[0095]
第一获取模块201，用于获取摄像机的图像画面；
[0096]
第二获取模块202，用于根据所述摄像机的图像画面，标绘屏蔽区域并获取所述屏蔽区域在第一坐标系下的第一坐标值；
[0097]
第三获取模块203，用于在识别到所述摄像机的图像画面中包括目标事件对应图像的情况下，基于所述目标事件对应图像确定告警区域，并获取所述告警区域在所述第一坐标系下的第二坐标值；
[0098]
第四获取模块204，用于获取所述第一坐标值转换到ptz坐标系下的第一ptz坐标值，以及所述第二坐标值转换到所述ptz坐标系下的第二ptz坐标值；
[0099]
第五获取模块205，用于基于所述第一ptz坐标值和所述第二ptz坐标值，获取所述告警区域和所述屏蔽区域的重叠部分占所述告警区域的百分比；
[0100]
执行模块206，用于获取所述百分比与预设告警阈值的比对结果，并基于所述比对结果执行告警处理或者告警压制处理。
[0101]
进一步地，第四获取模块204还包括：
[0102]
第一获取单元，获取所述摄像机的水平视场角和垂直视场角；
[0103]
基于所述水平视场角和所述垂直视场角，将所述屏蔽区域的第一坐标值转换到ptz坐标系下的第一ptz坐标值；
[0104]
基于所述水平视场角和所述垂直视场角，将所述告警区域的第二坐标值转换到ptz坐标系下的第二ptz坐标值。
[0105]
进一步地，第一获取单元还用于：
[0106]
获取所述摄像机的最小焦距；
[0107]
获取所述摄像机的图像传感器高度和图像传感器宽度；
[0108]
获取所述摄像机的图像画面中心点的第三ptz坐标值；
[0109]
根据所述最小焦距、所述图像传感器高度、所述图像传感器宽度和所述第三ptz坐标值获取摄像机的所述水平视场角和所述垂直视场角。
[0110]
进一步地，第五获取模块205还用于：
[0111]
基于所述第一ptz坐标值，获取所述屏蔽区域的面积；
[0112]
基于所述第二ptz坐标值，获取所述告警区域的面积；
[0113]
基于所述屏蔽区域的面积和所述告警区域的面积获取所述告警区域和屏蔽区域的重叠部分面积；
[0114]
根据所述告警区域和屏蔽区域的重叠部分面积及所述告警区域面积获取所述百分比。
[0115]
进一步地，执行模块206还用于：
[0116]
在所述百分比小于等于所述告警阈值的情况下，则执行告警压制处理；
[0117]
在所述百分比大于所述告警阈值的情况下，则执行告警处理。
[0118]
本技术实施例中，可以通过开发一种图像处理装置，使得摄像机前端告警和平台侧算法识别告警区域和屏蔽区域的功能同时发挥作用。在实践中，具有更强的可操作性。当摄像机处于不同姿态和焦距缩放时，都能实现屏蔽区域跟随。当告警区域符合屏蔽区域的规则时，将告警进行压制处理，减少算法误报。
[0119]
需要说明地，本公开实施例提供的图像处理装置200能够实现上述图1所述方法实施例中全部的技术过程，并能达到相同的技术效果，为避免重复，此处不再赘述。
[0120]
参见图3，本技术实施例还提供一种电子设备300，包括处理器301，存储器302，存储在存储器302上并可在所述处理器上运行的计算机程序，该计算机程序被处理器301执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0121]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0122]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0123]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0124]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。