抽烟行为识别方法、装置、电子设备和存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种抽烟行为识别方法、装置、电子设备和存储介质。


背景技术：

2.抽烟不仅危害自身健康，还极易引起火灾，尤其在建筑工地、煤矿、厂房、加油站、化工厂以及公园等存在大量易燃易爆物体的地方，一个烟头就可能引起火灾，造成生命和财产损失。因此，在某些禁烟场景下需要对抽烟行为进行识别。
3.目前，多采用视频监控方式和图像检测方式识别抽烟行为，其中视频监控方式主要是采集禁烟场所的视频图像，并对视频图像中的抽烟行为进行监控，但通过人距离摄像头较远，从而无法从视频图像中清晰监控到体积更小的烟头，容易出现错检或漏检的问题。图像检测方式主要是将采集得到的图像输入分类网络进行识别，但由于烟头在图像上的占比极小，进而导致也无法准确识别抽烟行为。


技术实现要素：

4.本发明提供一种抽烟行为识别方法、装置、电子设备和存储介质，用以解决现有技术中抽烟行为识别精度较低的缺陷。
5.本发明提供一种抽烟行为识别方法，包括：
6.确定待识别的目标图像帧；
7.对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框以及人脸关键点位置；
8.基于所述人脸关键点位置，从所述人脸检测框中裁剪得到抽烟区域图像；
9.基于所述抽烟区域图像，确定抽烟行为识别结果。
10.根据本发明提供的一种抽烟行为识别方法，所述基于所述人脸关键点位置，从所述人脸检测框中裁剪得到抽烟区域图像，包括：
11.基于所述人脸关键点位置，确定抽烟区域边长；
12.基于所述抽烟区域的边长，从所述人脸检测框中裁剪得到所述抽烟区域图像。
13.根据本发明提供的一种抽烟行为识别方法，所述人脸关键点位置包括左眼中心位置、右眼中心位置、鼻尖位置、左嘴角位置以及右嘴角位置；
14.所述基于所述人脸关键点位置，确定抽烟区域边长，包括：
15.基于所述左眼中心位置，以及所述右眼中心位置，确定鼻根位置；
16.基于所述左嘴角位置，以及所述右嘴角位置，确定嘴中心位置；
17.基于所述鼻根位置、所述嘴中心位置以及所述鼻尖位置，确定所述抽烟区域边长。
18.根据本发明提供的一种抽烟行为识别方法，所述基于所述鼻根位置、所述嘴中心位置以及所述鼻尖位置，确定所述抽烟区域的边长，包括：
19.基于所述鼻根位置，以及所述鼻尖位置，确定鼻尖与鼻根之间的距离；
20.基于所述鼻尖位置，以及所述嘴中心位置，确定鼻尖与嘴中心之间的距离；
21.基于所述鼻尖与鼻根之间的距离，以及所述鼻尖与嘴中心之间的距离，确定所述抽烟区域的边长。
22.根据本发明提供的一种抽烟行为识别方法，所述对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框以及人脸关键点位置，包括：
23.对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框；
24.对所述人脸检测框进行关键点检测，得到所述人脸关键点位置。
25.根据本发明提供的一种抽烟行为识别方法，所述基于所述抽烟区域图像，确定抽烟行为识别结果，包括：
26.将所述抽烟区域图像输入至分类模型，得到所述分类模型输出的所述抽烟行为识别结果；
27.其中，所述分类模型基于样本抽烟区域图像以及样本抽烟区域图像的样本抽烟行为识别结果训练得到。
28.根据本发明提供的一种抽烟行为识别方法，所述确定抽烟行为识别结果，之后还包括：
29.在所述抽烟行为识别结果为存在抽烟行为的情况下，进行预警提示。
30.本发明还提供一种抽烟行为识别装置，包括：
31.确定单元，用于确定待识别的目标图像帧；
32.检测单元，用于对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框和人脸关键点位置；
33.裁剪单元，用于基于所述人脸关键点位置，从所述人脸检测框中裁剪得到抽烟区域图像；
34.识别单元，用于基于所述抽烟区域图像，确定抽烟行为识别结果。
35.本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述抽烟行为识别方法的步骤。
36.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述抽烟行为识别方法的步骤。
37.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述抽烟行为识别方法的步骤。
38.本发明提供的抽烟行为识别方法、装置、电子设备和存储介质，通过基于人脸关键点位置，从人脸检测框中裁剪得到抽烟区域图像，由于抽烟区域图像能够表征抽烟行为的局部细节信息，从而能够基于抽烟区域图像精确得到抽烟行为识别结果。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明提供的抽烟行为识别方法的流程示意图之一；
41.图2是本发明提供的抽烟行为识别方法的流程示意图之二；
42.图3是本发明提供的抽烟行为识别装置的结构示意图；
43.图4是本发明提供的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.目前，多采用视频监控方式和图像检测方式识别抽烟行为，其中视频监控方式主要是采集禁烟场所的视频图像，并对视频图像中的抽烟行为进行监控，但通过人距离摄像头较远，从而无法从视频图像中清晰监控到体积更小的烟头，容易出现错检或漏检的问题。图像检测方式主要是将采集得到的图像输入分类网络进行识别，但由于烟头在图像上的占比极小，进而导致也无法准确识别抽烟行为。
46.对此，本发明提供一种抽烟行为识别方法。图1是本发明提供的抽烟行为识别方法的流程示意图之一，如图1所示，该方法包括如下步骤：
47.步骤110、确定待识别的目标图像帧。
48.此处，目标图像帧即需要识别是否存在抽烟行为的图像帧，目标图像帧可以是通过摄像设备采集得到的图像，也可以是用户直接输入的图像，本发明实施例对此不作具体限定。
49.可以理解的是，在确定待识别的目标图像帧之后，可以对目标图像帧进行降噪处理，从而可以滤除目标图像帧中的噪声对后续抽烟行为识别的影响。
50.步骤120、对目标图像帧进行人脸检测，得到目标图像帧中的人脸检测框以及人脸关键点位置。
51.具体地，对目标图像帧进行人脸检测的目的是为了从目标图像帧中检测出人脸，得到人脸检测框，并对人脸检测框进行关键点检测，得到人脸关键点位置。其中，人脸关键点位置可以包括眼睛的位置、鼻子的位置、嘴巴的位置、脸的轮廓点位置等。
52.可选地，在对目标图像帧进行人脸检测时，可以将目标图像帧输入至预先训练完成的人脸检测网络，由人脸检测网络对目标图像帧进行人脸检测，得到目标图像帧中的人脸检测框以及人脸关键点位置。
53.可以理解的是，在得到目标图像帧中的人脸关键点位置后，可以基于人脸关键点位置进行人脸对齐，从而使得人脸对齐后的图像为正脸，进而后续便于从目标图像帧中裁剪得到正脸的抽烟区域图像，进一步提高抽烟识别结果的精度。
54.步骤130、基于人脸关键点位置，从人脸检测框中裁剪得到抽烟区域图像。
55.具体地，在对目标图像帧进行抽烟行为识别时，通常需要判断目标图像帧中的人脸检测框中是否存在烟头，而人在抽烟时烟头的出现区域通常为人脸鼻尖到下巴之间的区域。
56.对此，本发明实施例在确定人脸关键点位置后，可以根据人脸关键点位置从人脸
检测框中确定人脸鼻尖到下巴之间的区域，也就是抽烟区域，然后从人脸检测框中裁剪得到抽烟区域图像。
57.步骤140、基于抽烟区域图像，确定抽烟行为识别结果。
58.具体地，由于抽烟区域图像是目标图像帧中的局部图像，也就是抽烟区域图像的尺寸小于目标图像帧的尺寸，从而在基于抽烟区域图像进行抽烟行为识别时所需的计算量小于基于目标图像帧进行抽烟行为识别所需的计算量。
59.此外，抽烟区域图像是从人脸检测框中裁剪得到的烟头可能存在的区域，从而抽烟区域图像可以表征抽烟行为的局部细节信息，进而能够基于抽烟区域图像准确确定抽烟行为识别结果，避免传统方法中烟头体积较小导致无法准确进行抽烟行为识别的问题。
60.其中，抽烟行为识别结果用于表征抽烟区域中是否存在烟头，若是，则表明存在抽烟行为的概率较大；若否，则表明存在抽烟行为的概率较小。
61.可选地，在确定抽烟区域图像后，可以将抽烟区域图像输入至预先训练完成的分类模型，由分类模型识别抽烟区域图像中是否存在烟头，进而得到抽烟行为识别结果。
62.由此可见，本发明实施例提供的抽烟行为识别方法，基于人脸关键点位置，从人脸检测框中裁剪得到抽烟区域图像，由于抽烟区域图像能够表征抽烟行为的局部细节信息，从而能够基于抽烟区域图像精确得到抽烟行为识别结果。
63.基于上述实施例，基于人脸关键点位置，从人脸检测框中裁剪得到抽烟区域图像，包括：
64.基于人脸关键点位置，确定抽烟区域边长；
65.基于抽烟区域的边长，从人脸检测框中裁剪得到抽烟区域图像。
66.具体地，抽烟区域图像为鼻尖到下巴的正方形区域。在确定人脸关键点位置后，可以确定鼻尖到嘴中心之间的距离，以及鼻尖到鼻根之间的距离，然后根据鼻尖到嘴中心之间的距离，以及鼻尖到鼻根之间的距离，可以确定抽烟区域的边长，该边长即为正方形抽烟区域的边长。
67.在确定抽烟区域边长后，可以从人脸检测框中裁剪得到抽烟区域图像，从而可以基于抽烟区域图像中的局部细节信息准确识别抽烟区域中是否存在烟头，也即准确得到抽烟行为识别结果。
68.基于上述任一实施例，人脸关键点位置包括左眼中心位置、右眼中心位置、鼻尖位置、左嘴角位置以及右嘴角位置；
69.基于人脸关键点位置，确定抽烟区域边长，包括：
70.基于左眼中心位置，以及右眼中心位置，确定鼻根位置；
71.基于左嘴角位置，以及右嘴角位置，确定嘴中心位置；
72.基于鼻根位置、嘴中心位置以及鼻尖位置，确定抽烟区域边长。
73.具体地，人脸关键点位置包括左眼中心位置、右眼中心位置、鼻尖位置、左嘴角位置以及右嘴角位置。根据左眼中心位置(x
el
,y
el
)，以及右眼中心位置(x
er
,y
er
)，可以确定鼻根位置(xb,yb)，即根据左嘴角位置(x
zl
,y
zl
)，以及右嘴角位置(x
zr
,y
zr
)，可以确定嘴中心位置(xz,yz)，即
74.在确定鼻根位置、嘴中心位置和鼻尖位置后，可以确定鼻尖到鼻根之间的距离，以及鼻尖到嘴中心之间的距离。然后，根据鼻尖到嘴中心之间的距离，以及鼻尖到鼻根之间的距离，可以确定抽烟区域的边长，该边长即为正方形抽烟区域的边长。
75.基于上述任一实施例，基于鼻根位置、嘴中心位置以及鼻尖位置，确定抽烟区域的边长，包括：
76.基于鼻根位置，以及鼻尖位置，确定鼻尖与鼻根之间的距离；
77.基于鼻尖位置，以及嘴中心位置，确定鼻尖与嘴中心之间的距离；
78.基于鼻尖与鼻根之间的距离，以及鼻尖与嘴中心之间的距离，确定抽烟区域的边长。
79.具体地，如上所述，鼻根位置为(xb,yb)，鼻尖位置为(x
bt
,y
bt
)，则鼻尖与鼻根之间的距离鼻尖位置为(x
bt
,y
bt
)，嘴中心位置为(xz,yz)，则鼻尖与嘴中心之间的距离
80.在确定鼻尖与鼻根之间的距离d1，以及鼻尖与嘴中心之间的距离d2后，可以得到抽烟区域的边长进而根据抽烟区域的边长可以从人脸检测框中裁剪得到抽烟区域图像。
81.基于上述任一实施例，对目标图像帧进行人脸检测，得到目标图像帧中的人脸检测框以及人脸关键点位置，包括：
82.对目标图像帧进行人脸检测，得到目标图像帧中的人脸检测框；
83.对人脸检测框进行关键点检测，得到人脸关键点位置。
84.具体地，在对目标图像帧进行人脸检测时，可以从目标图像帧中检测出人脸，进而得到人脸检测框。然后对人脸检测框进行关键点检测，从而可以得到人脸关键点位置，如眼睛的位置、鼻子的位置、嘴巴的位置、脸的轮廓点位置等。
85.由此可见，本发明实施例通过对目标图像帧进行人脸检测，得到人脸检测框以及人脸关键点位置，从而可以基于人脸关键点位置从人脸检测框中裁剪得到抽烟区域图像，进而获取抽烟区域图像的局部细节信息，从而能够准确得到抽烟行为识别结果。
86.基于上述任一实施例，基于抽烟区域图像，确定抽烟行为识别结果，包括：
87.将抽烟区域图像输入至分类模型，得到分类模型输出的抽烟行为识别结果；
88.其中，分类模型基于样本抽烟区域图像以及样本抽烟区域图像的样本抽烟行为识别结果训练得到。
89.具体地，由于抽烟区域图像是目标图像帧中的局部图像，也就是抽烟区域图像的尺寸小于目标图像帧的尺寸，从而在基于抽烟区域图像进行抽烟行为识别时所需的计算量小于基于目标图像帧进行抽烟行为识别所需的计算量。
90.此外，抽烟区域图像是从人脸检测框中裁剪得到的烟头可能存在的区域，从而抽烟区域图像可以表征抽烟行为的局部细节信息，进而能够基于抽烟区域图像准确确定抽烟行为识别结果，避免传统方法中烟头体积较小导致无法准确进行抽烟行为识别的问题。
91.因此，本发明实施例在确定抽烟区域图像后，将抽烟区域图像输入至分类模型，由分类模型识别抽烟区域图像中是否存在烟头，进而得到抽烟行为识别结果。
92.在将抽烟区域图像输入至分类模型之前，还可以预先训练得到分类模型，具体可以通过执行如下步骤实现：首先，收集大量样本抽烟区域图像，通过人工标注确定样本抽烟区域图像的样本抽烟行为识别结果。随即，基于样本抽烟区域图像以及样本抽烟区域图像的样本抽烟行为识别结果对初始模型进行训练，从而得到分类模型。
93.基于上述任一实施例，确定抽烟行为识别结果，之后还包括：
94.在抽烟行为识别结果为存在抽烟行为的情况下，进行预警提示。
95.具体地，在抽烟行为识别结果为存在抽烟行为的情况下，表明存在抽烟行为的概率较大，为了避免抽烟引起的事故，可以进行预警提示。可以理解的是，本发明实施例可以采用短信的方式进行预警提示，也可以通过声音的方式进行预警提示，本发明实施例对此不作具体限定。
96.基于上述任一实施例，本发明还提供一种抽烟行为识别方法，如图2所示，该方法包括：
97.首先，获取待识别的目标图像帧，并对目标图像帧进行人脸检测，得到人脸检测框以及人脸关键点位置。其中，人脸关键点位置包括左眼中心位置、右眼中心位置、鼻尖位置、左嘴角位置以及右嘴角位置。
98.然后，基于左眼中心位置，以及右眼中心位置，确定鼻根位置；基于左嘴角位置，以及右嘴角位置，确定嘴中心位置；基于鼻根位置，以及鼻尖位置，确定鼻尖与鼻根之间的距离；基于鼻尖位置，以及嘴中心位置，确定鼻尖与嘴中心之间的距离；基于鼻尖与鼻根之间的距离，以及鼻尖与嘴中心之间的距离，确定抽烟区域的边长。接着，根据抽烟区域的边长，从人脸检测框中裁剪得到抽烟区域图像。
99.最后，对抽烟区域图像进行抽烟行为识别，得到抽烟行为识别结果。本发明实施例提供的抽烟行为识别方法，通过基于人脸关键点位置，从人脸检测框中裁剪得到抽烟区域图像，由于抽烟区域图像能够表征抽烟行为的局部细节信息，从而能够基于抽烟区域图像精确得到抽烟行为识别结果。
100.下面对本发明提供的抽烟行为识别装置进行描述，下文描述的抽烟行为识别装置与上文描述的抽烟行为识别方法可相互对应参照。
101.基于上述任一实施例，本发明还提供一种抽烟行为识别装置，如图3所示，该装置包括：
102.确定单元310，用于确定待识别的目标图像帧；
103.检测单元320，用于对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框和人脸关键点位置；
104.裁剪单元330，用于基于所述人脸关键点位置，从所述人脸检测框中裁剪得到抽烟区域图像；
105.识别单元340，用于基于所述抽烟区域图像，确定抽烟行为识别结果。
106.本发明实施例提供的抽烟行为识别装置，通过基于人脸关键点位置，从人脸检测框中裁剪得到抽烟区域图像，由于抽烟区域图像能够表征抽烟行为的局部细节信息，从而能够基于抽烟区域图像精确得到抽烟行为识别结果。
107.基于上述任一实施例，所述裁剪单元330，包括：
108.边长确定单元，用于基于所述人脸关键点位置，确定抽烟区域边长；
109.图像裁剪单元，用于基于所述抽烟区域的边长，从所述人脸检测框中裁剪得到所述抽烟区域图像。
110.基于上述任一实施例，所述人脸关键点位置包括左眼中心位置、右眼中心位置、鼻尖位置、左嘴角位置以及右嘴角位置；
111.所述边长确定单元，包括：
112.第一确定单元，用于基于所述左眼中心位置，以及所述右眼中心位置，确定鼻根位置；
113.第二确定单元，用于基于所述左嘴角位置，以及所述右嘴角位置，确定嘴中心位置；
114.第三确定单元，用于基于所述鼻根位置、所述嘴中心位置以及所述鼻尖位置，确定所述抽烟区域边长。
115.基于上述任一实施例，所述第三确定单元，包括：
116.第一距离确定单元，用于基于所述鼻根位置，以及所述鼻尖位置，确定鼻尖与鼻根之间的距离；
117.第二距离确定单元，用于基于所述鼻尖位置，以及所述嘴中心位置，确定鼻尖与嘴中心之间的距离；
118.边长确定子单元，用于基于所述鼻尖与鼻根之间的距离，以及所述鼻尖与嘴中心之间的距离，确定所述抽烟区域的边长。
119.基于上述任一实施例，所述检测单元320，包括：
120.人脸检测单元，用于对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框；
121.关键点检测单元，用于对所述人脸检测框进行关键点检测，得到所述人脸关键点位置。
122.基于上述任一实施例，所述识别单元340，用于：
123.将所述抽烟区域图像输入至分类模型，得到所述分类模型输出的所述抽烟行为识别结果；
124.其中，所述分类模型基于样本抽烟区域图像以及样本抽烟区域图像的样本抽烟行为识别结果训练得到。
125.基于上述任一实施例，所述装置还包括：
126.预警单元，用于在确定抽烟行为识别结果之后，在所述抽烟行为识别结果为存在抽烟行为的情况下，进行预警提示。
127.图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行抽烟行为识别方法，该方法包括：确定待识别的目标图像帧；对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框以及人脸关键点位置；基于所述人脸关键点位置，从所述人脸检测框中裁剪得到
抽烟区域图像；基于所述抽烟区域图像，确定抽烟行为识别结果。
128.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
129.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的抽烟行为识别方法，该方法包括：确定待识别的目标图像帧；对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框以及人脸关键点位置；基于所述人脸关键点位置，从所述人脸检测框中裁剪得到抽烟区域图像；基于所述抽烟区域图像，确定抽烟行为识别结果。
130.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的抽烟行为识别方法，该方法包括：确定待识别的目标图像帧；对所述目标图像帧进行人脸检测，得到所述目标图像帧中的人脸检测框以及人脸关键点位置；基于所述人脸关键点位置，从所述人脸检测框中裁剪得到抽烟区域图像；基于所述抽烟区域图像，确定抽烟行为识别结果。
131.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
132.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
133.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。