一种目标对象检测方法、系统及计算机存储介质与流程

1.本技术实施例涉及图像识别技术领域，特别涉及一种目标对象检测方法、系统及计算机存储介质。


背景技术：

2.常规的火焰识别通常需借助传感器，以检测火焰燃烧导致的颗粒物浓度、温度等理化参数变化。尽管传统检测方法及相应的商业化传感器已广泛应用，但在方法的智能化、覆盖面和成本等方面仍有待创新。
3.基于深度学习的烟火检测具有智能程度高、覆盖面广、成本低和抗干扰性强等优点。在实际应用中，利用普通相机即可实现火焰形态的高精度识别与检测，在野外等特殊工况中具有重要应用价值。
4.但目前常用的深度学习火焰检测方法，只利用图片的静态特征，没有利用到火焰的运动特征，导致难以区分很多类似火焰的物体，如报警灯、反光衣、或者行人衣服上印刷的火焰花纹等。


技术实现要素：

5.鉴于上述问题，本技术提供一种目标对象检测方法、系统及计算机存储介质，可至少解决现有技术中的部分问题。
6.本技术第一方面提供一种目标对象检测方法，包括：获取待检测视频中的多个目标图像帧；确定各目标图像帧中的当前图像帧，并检测当前图像帧中的目标对象的疑似对象，确定所述疑似对象的对象检测框；基于所述对象检测框检测各所述目标图像帧，获得所述疑似对象的动态特征；若所述疑似对象的动态特征满足预设条件，获得所述当前图像帧中存在所述目标对象的检测结果。
7.本技术第二方面提供一种目标对象检测系统，包括：获取模块，用于获取待检测视频中的多个目标图像帧；疑似对象检测模块，用于检测任意一个目标图像帧中的目标对象的疑似对象，确定所述疑似对象的对象检测框；目标对象分析模块，用于基于所述对象检测框检测各所述目标图像帧，获得所述疑似对象的动态特征，若所述疑似对象的动态特征满足预设条件，获得所述待检测视频中存在所述目标对象的检测结果。
8.本技术第三方面提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述第一方面所述的方法中各步骤的各指令。
9.综上所述，本技术各方面提供的目标对象检测方案，通过确定目标对象的疑似对象的对象检测框，并分析疑似对象的动态特征，以确定疑似对象是否为目标对象的检测结果。借由本技术结合图像静态特征与动态特征的检测方案，可以有效提高目标对象检测结果的准确性。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
11.图1为本技术示例性实施例的目标对象检测方法的处理流程图。
12.图2为本技术另一示例性实施例的目标对象检测方法的处理流程图。
13.图3为本技术示例性实施例的当前图像帧的疑似区域检测结果示意图。
14.图4为本技术示例性实施例的当前图像帧的形态学处理结果示意图。
15.图5为本技术另一示例性实施例的目标对象检测方法的处理流程图。
16.图6为本技术示例性实施例的当前图像帧的矩形拟合结果示意图。
17.图7为本技术另一示例性实施例的目标对象检测方法的处理流程图。
18.图8为本技术示例性实施例的目标对象检测系统的结构框图。
具体实施方式
19.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
20.目前常用的深度学习火焰检测方法，仅利用图片的静态特征，导致难以区分火焰的相似对象，例如，报警灯、反光衣、或者行人衣服上印刷的火焰花纹等对象，导致火焰误检率较高的问题。有鉴于此，本技术各实施例提供一种目标对象检测方案，可有效改善火焰误检率高的问题。
21.以下将结合各附图详细描述本技术的各实施例。
22.图1为本技术示例性实施例的目标对象检测方法的处理流程图。如图所示，本实施例主要包括以下步骤：
23.步骤s102,获取待检测视频中的多个目标图像帧。
24.可选地，可基于预设帧间隔，依次提取待检测视频中的各原始图像帧，并针对每一个原始图像帧中的每一个像素点的像素值执行归一化处理，获得每一个原始图像帧的目标图像帧。
25.具体地，可针对每一个原始图像帧中的每一个像素点的像素值执行归一化处理，使得每一个像素点的像素值介于0至1之间。
26.可选地，在依次提取待检测视频中的各原始图像帧的步骤之后，还可基于预设图像尺寸调整每一个原始图像帧的图像尺寸，再针对尺寸调整后的各原始图像帧执行归一化处理。
27.可选地，预设图像尺寸可设置为640*384，但并不以此为限，亦可根据实际检测需求，设置为其他尺寸大小，本技术对此不作限制。
28.步骤s104，确定各目标图像帧中的当前图像帧，并检测当前图像帧中的目标对象的疑似对象，确定疑似对象的对象检测框。
29.可选地，目标对象可包括火焰。
30.可选地，可基于较低的置信度值，从当前图像帧中检测出目标对象的疑似对象，初步确定当前图像帧中目标对象的疑似对象的疑似区域。
31.具体地，可利用卷积神经网络提取当前图像帧中的静态特征，并基于提取的静态特征，利用颜色、形状、或其他学习到数据特征在较低阈值的情况下，初步找到当前图像帧中的疑似火焰区域。
32.可选地，可利用训练好的火焰语义分割模型，分割出当前图像帧中的疑似火焰区域。
33.步骤s106，基于对象检测框检测各目标图像帧，获得疑似对象的动态特征。
34.可选地，可利用运动信息检测算法，检测当前图像帧以及接续当前图像帧的多个后续图像帧，获得疑似对象的动态特征。
35.可选地，运动信息检测算法可包括但不限于帧差法，背景消除法、高斯混合模型等。
36.具体地，由于火焰的运动特征较为明显，因此可基于初步确定的疑似火焰区域，利用前后帧统计疑似火焰区域的运动特征，筛选出与火焰运动特征相吻合的正确的疑似区域，并过滤掉错误的疑似区域，以降低火焰的误检率。
37.步骤s108，若疑似对象的动态特征满足预设条件，获得当前图像帧中存在目标对象的检测结果。
38.可选地，在疑似对象的动态特征满足预设条件的情况下，可将步骤s104所确定的疑似对象的对象检测框作为目标对象的对象检测框，并将其作为目标对象的检测结果予以输出。
39.可选地，若疑似对象的动态特征不满足预设条件，获得当前图像帧中不存在目标对象的检测结果。
40.可选地，可基于每一个像素点的运动估计值执行均值计算，若均值计算结果满足预设均值阈值，获得待检测视频中存在目标对象的检测结果。
41.例如，若当前图像帧中每一个像素点的运动估计值的均值计算结果超过预设均值阈值时，获得当前视频帧中存在火焰的检测结果。
42.可选地，可根据疑似对象的对象检测框中每一个像素点的运动估计值执行加和运算，并基于预设加和阈值，获得当前图像帧中是否存在目标对象的检测结果。
43.例如，若当前图像帧中每一个像素点的运动估计值的加和计算结果超过预设加和阈值时，获得当前视频帧中存在火焰的检测结果。
44.需说明的是，预设加和阈值可根据当前图像帧的图像尺寸大小进行相应调整，本技术对此不作限制。
45.可选地，当获得当前图像帧中存在有目标对象的检测结果时，可进一步输出目标对象的对象检测框。
46.综上所述，本技术各实施例提供的目标对象检测方法，首先基于较低阈值确定当前图像帧中目标对象的疑似对象，再根据疑似对象在各目标图像帧中的静态特征，统计出疑似对象的动态特征，利用此结合图像静态特征和动态特征的检测方式，能够有效的、高精度的、低误检率的检测出待检测视频中的火焰。
47.图2为本技术另一示例性实施例的目标对象检测方法的处理流程图。本实施例示出了上述步骤s104的具体实施方案，如图所示，本实施例主要包括以下步骤：
48.步骤s202，将一个目标图像帧确定为当前图像帧。
49.步骤s204，检测当前图像帧中的目标对象的疑似对象，确定疑似对象的疑似区域。
50.可选地，可基于预设置信度阈值，利用预设火焰分割算法检测当前图像帧中的疑似对象，获得火焰的疑似对象的疑似区域。
51.可选地，预设置信度阈值介于0.2至0.3之间。
52.可选地，预设火焰分割算法至少包括deeplabv3算法、unet算法中的一个。
53.例如，可利用预设火焰分割算法(或称为火焰语义分割模型)针对当前图像帧执行疑似对象的检测，确定当前图像帧中包含疑似对象的疑似区域检测结果图(参考图3)。
54.步骤s206，识别疑似区域中的连通域，并基于连通域执行矩形拟合，确定疑似对象的对象检测框。
55.可选地，在执行本步骤的连通域识别处理之前，可利用预设形态学处理算法针对疑似区域执行形态学处理，以提高连通域识别结果的准确性。
56.可选地，可预设形态学处理算法至少包括开运算、闭运算中的一个。
57.具体地，可利用预设形态学处理算法，针对当前图像帧中的疑似区域执行去除孔洞、毛刺等形态学处理，获得当前图像帧的形态学处理结果图(参考图4)，借以提高后续检测结果的准确性。
58.综上所述，本技术实施例基于较低阈值，检测当前图像帧中的疑似对象的疑似区域，借以将当前图像帧中大部分的火焰区域筛选出来，能够降低火焰检测的漏检率。
59.图5为本技术另一示例性实施例的目标对象检测方法的处理流程图。本实施例示出了上述步骤s206的具体实施方案，如图所示，本实施例主要包括步骤：
60.步骤s502，判断当前图像帧的疑似区域中是否存在连通域，若存在，执行步骤s504，若不存在执行步骤s508
61.步骤s504，基于预设边缘检测算法针对连通域执行边缘检测，确定连通域的边缘轮廓。
62.可选地，预设边缘检测算法至少包括canny算法、sobel算法中的一个。
63.例如，可针对识别出的连通域进行边缘检测，遍历连通域外边界，获得火焰的轮廓曲线，参考图6所示的当前图像帧的连通域识别结果图。
64.步骤s506，基于连通域的边缘轮廓执行矩形拟合，确定疑似对象的对象检测框。
65.具体地，可基于火焰的轮廓曲线进行矩形拟合，得到火焰区域的最小外接矩形框，参考图6所示的当前图像帧的矩形拟合结果图。
66.步骤s508，获得不存在目标对象的检测结果。
67.具体地，若在当前图像帧的疑似区域中未能识别到连通域，则获得当前图像帧不存在火焰的检测结果。
68.借此，本技术实施例通过识别疑似区域中的连通域，以判断当前图像帧中是否存在火焰，并在识别出连通域的情况下，通过针对连通域执行边缘检测和矩形拟合处理，以准确识别出当前图像帧中的火焰区域，从而利于后续执行目标对象的动态特征检测任务。
69.图7为本技术另一示例性实施例的目标对象检测方法的处理流程图。如图所示，本
实施例为上述步骤s106的具体实施方案，如图所示，本实施例主要包括以下处理步骤：
70.步骤s702，基于当前图像帧，从各目标图像帧中提取当前图像帧的多个后续图像帧。
71.于本实施例中，各后续图像帧为时间戳大于当前图像帧的时间戳的各目标图像帧，且构成当前时间帧与各后续图像帧的各目标图像帧为依次连续。
72.可选地，所提取的后续图像帧的数量介于4至19之间。
73.较佳地，可提取10帧的后续图像帧。
74.步骤s704，基于对象检测框，检测当前图像帧与每一个后续图像帧，获得对象检测框中每一个像素点的运动估计值。
75.可选地，每一个像素点的运动估计值可为灰度瞬时变化率值或灰度差值。
76.可选地，可基于对象检测框，利用流光法检测当前图像帧与每一个后续图像帧，获得对象检测框中每一个像素点的灰度瞬时变化率值。
77.可选地，可基于对象检测框，利用帧差法检测当前图像帧与每一个后续图像帧，获得对象检测框中每一个像素点的灰度差值。
78.借此，本实施例通过分析对象检测框中每一个像素点的运动估计值，确定疑似对象的动态特征，以供后续准确执行当前图像帧中是否存在目标对象的检测操作。
79.图8为本技术示例性实施例的目标对象检测系统的结构框图。如图所示，本实施例的目标对象检测系统800主要包括：获取模块802、疑似对象检测模块804、目标对象分析模块806。
80.获取模块802，用于获取待检测视频中的多个目标图像帧。
81.疑似对象检测模块804，用于检测任意一个目标图像帧中的目标对象的疑似对象，确定所述疑似对象的对象检测框。
82.可选地，所述目标对象包括火焰。
83.目标对象分析模块806，用于基于所述对象检测框检测各所述目标图像帧，获得所述疑似对象的动态特征；若所述疑似对象的动态特征满足预设条件，获得所述待检测视频中存在所述目标对象的检测结果。
84.可选地，获取模块802还用于：基于预设帧间隔，依次提取所述待检测视频中的各原始图像帧；针对每一个原始图像帧中的每一个像素点的像素值执行归一化处理，获得每一个原始图像帧的目标图像帧。
85.可选地，获取模块802还用于：在所述依次提取所述待检测视频中的各原始图像帧的步骤之后，基于预设图像尺寸调整各所述原始图像帧的图像尺寸。
86.可选地，疑似对象检测模块804还用于：将一个目标图像帧确定为当前图像帧；检测所述当前图像帧中的所述目标对象的疑似对象，确定所述疑似对象的疑似区域；识别所述疑似区域中的连通域，并基于所述连通域执行矩形拟合，确定所述疑似对象的对象检测框。
87.可选地，疑似对象检测模块804还用于：基于预设置信度阈值，利用预设火焰分割算法检测所述当前图像帧中的疑似对象，获得所述火焰的疑似对象的疑似区域；其中，所述预设置信度阈值介于0.2至0.3之间；所述预设火焰分割算法至少包括deeplabv3算法、unet算法中的一个。
88.可选地，疑似对象检测模块804还用于：识别所述疑似区域中的连通域；基于预设边缘检测算法针对所述连通域执行边缘检测，确定所述连通域的边缘轮廓；基于所述连通域的边缘轮廓执行矩形拟合，确定所述疑似对象的对象检测框；其中，所述预设边缘检测算法至少包括canny算法、sobel算法中的一个。
89.可选地，疑似对象检测模块804还用于：在所述识别所述疑似区域中的连通域的步骤之前，利用预设形态学处理算法针对所述疑似区域执行形态学处理；其中，所述预设形态学处理算法至少包括开运算、闭运算中的一个。
90.可选地，目标对象分析模块806还用于：基于所述当前图像帧，从各目标图像帧中提取所述当前图像帧的多个后续图像帧；基于所述对象检测框，检测所述当前图像帧与每一个后续图像帧，获得所述对象检测框中每一个像素点的运动估计值；其中，各后续图像帧为时间戳大于所述当前图像帧的时间戳的各目标图像帧，且构成所述当前时间帧与各后续图像帧的各目标图像帧依次连续；且其中，所提取的后续图像帧的数量介于4至19之间。
91.可选地，所述运动估计值包括灰度瞬时变化率值或灰度差值。
92.可选地，目标对象分析模块806还用于：基于所述对象检测框，利用流光法检测所述当前图像帧与每一个后续图像帧，获得所述对象检测框中每一个像素点的灰度瞬时变化率值；或者基于所述对象检测框，利用帧差法检测所述当前图像帧与每一个后续图像帧，获得所述对象检测框中每一个像素点的灰度差值。
93.可选地，目标对象分析模块806还用于：基于每一个像素点的运动估计值执行均值计算，若均值计算结果满足预设均值阈值，获得所述当前视频帧中存在所述目标对象的检测结果；或者基于每一个像素点的运动估计值执行加和计算，若加和计算结果满足预设加和阈值，获得所述当前图像帧中存在所述目标对象的检测结果。
94.本技术另一实施例还提供一种计算机存储介质，所述计算机存储介质中存储有用于执行上述各方法实施例中各步骤的各指令。
95.综上所述，本技术各实施例提供的目标对象检测方法、系统及计算机存储介质，通过检测当前图像帧中的静态特征，初步确定疑似对象的对象检测框，能有效降低火焰漏检的问题。再基于初步确定的对象检测框，分析疑似对象的动态特征，并据以获得当前图像帧中是否存在目标对象(例如火焰)的检测结果，从而可有效去除掉上一阶段中筛选出的与火焰相似的对象，能够有效降低火焰的误检率。
96.最后应说明的是：以上实施例仅用以说明本技术实施例的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。