一种神经网络与红外图像匹配的厨房吸烟检测方法及系统

1.本发明属于计算机视觉技术领域，尤其涉及一种神经网络与红外图像匹配的厨房吸烟检测方法及系统。


背景技术：

2.随着人工智能的发展，计算机视觉在吸烟行为检测上得到了广泛的应用。常见的检测方法包括根据香烟燃烧的烟雾特性的检测方法，以及基于姿势识别的检测方法。由于厨房环境复杂，厨房中有较多高温区域且人员流动性大，影响检测的因素较多，目前这些检测方法在厨房使用时具有一定的局限性，误检率高。
3.公开号为cn 113326754 a的中国专利申请《基于卷积神经网络的吸烟行为检测方法、系统及相关设备》，其所公开的吸烟行为检测方法为：获取吸烟行为检测数据，吸烟行为检测数据包括多帧待识别人脸或人头图像；对吸烟行为检测数据中的多帧待识别人脸或人头图像进行数据预处理，得到固定尺寸图像；将固定尺寸图像输入到预设的卷积神经网络模型中，得到吸烟行为检测数据中待识别人脸或人头信息的检测结果；将检测结果输入到预设的分类器中，得到吸烟行为判断结果。该吸烟行为检测方法即基于姿势识别的检测方法，并不适用环境复杂的厨房场景。
4.当厨房排气排烟情况良好时，厨房除燃气灶区域以及烟气产生区域有1000℃以上的高温外，其他区域温度均为20℃~40℃。在做饭时的呼吸区域的温度为23℃左右，而香烟燃烧时其中央部位（即烟点）温度高达800℃~900℃，其卷纸的燃烧边沿温度达200℃~300℃，与外界区域温差较大。考虑到香烟区域与外界区域存在较大温差，于是有人利用该特点来检测吸烟行为，技术思路为：获取红外图像，以及对红外图像检测烟点，当检测到烟点，则判定存在吸烟行为。但由于红外图像往往存在分辨率差、对比度低、信噪比低、视觉效果模糊等不足，仅基于红外图像的吸烟行为检测方法难以获得有效、稳定且准确的检测结果。
5.于是在公开号为cn 114202646 a的中国专利申请《一种基于深度学习的红外图像吸烟检测方法与系统》中提出，将红外图像与可见光图像结合，来进行吸烟检测。检测方法为：先获取红外图像和可见光图像，将红外图像和可见光图像融合，得到双光融合图像；再采用网络模型从双光融合图像中提取烟点特征，对存在烟点的图像则判定为有人吸烟。在该检测方法中，其利用可见光图像中的吸烟行为特征对红外图像进行补充，以提高检测的准确性。但由于厨房场景环境复杂，导致从可见光图像提取吸烟行为特征的准确性低，因此，该红外图像吸烟检测方法同样不适用厨房场景。


技术实现要素：

6.本发明的目的提供一种神经网络与红外图像匹配的厨房吸烟检测方法及系统，该方法及系统适用厨房场景，在厨房场景下可显著降低误检率。
7.本发明提供的一种神经网络与红外图像匹配的厨房吸烟检测方法，包括：s100：获取检测数据，包括目标区域的红外图像和可见光图像；
s200：在可见光图像中标注固定高温区域；s300：将红外图像和可见光图像进行位置配准；s400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；s500：采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；s600：根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
8.在一些具体实施方式中，采集检测数据前，使采集红外图像的摄像头和采集可见光图像的摄像头处于同一平面上且光轴平行。
9.在一些具体实施方式中，步骤s200中，采用显著性目标检测法或人工标注对固定高温区域进行标注。
10.在一些具体实施方式中，步骤s300中，利用双线性插值法对红外图像和可见光图像进行位置配准。
11.在一些具体实施方式中，步骤s400具体包括：对红外图像进行二值化分割；将固定高温区域的位置信息输入到二值化分割后的红外图像中，将红外图像中固定高温区域位置的灰色像素值置为0，获得不含固定高温区域的二值化红外图像；对不含固定高温区域的二值化红外图像进行膨胀，膨胀后的二值化红外图像中具灰度值的区域即高温候选区域。
12.在一些具体实施方式中，步骤s500进一步包括：s510：对可见光图像分别进行多次等比缩放，输出等比缩放后的图像并构建图像金字塔；s520：利用pronet网络模型对图像金字塔先依次进行3
×
3卷积核的卷积、2
×
2池化处理，对2
×
2池化后的输出再进行两个3
×
3卷积核的卷积，初步检测可见光图像中存在的所有头部区域窗口并输出；s530：利用refinenet网络模型对pronet网络模型输出的头部区域窗口先依次进行3
×
3卷积核的卷积、3
×
3池化处理，再依次进行一次3
×
3卷积核的卷积、3
×
3池化处理，对第二次3
×
3池化处理的输出再次进行2
×
2池化处理，经全连接层后输出优化后的头部区域窗口；s540：利用output network网络模型对优化后的头部区域窗口先依次进行3
×
3卷积核的卷积、3
×
3池化处理，再依次进行一次3
×
3卷积核的卷积、3
×
3池化处理，对第二次3
×
3池化处理的输出再依次进行3
×
3卷积核的卷积、2
×
2池化处理，再依次经2
×
2卷积核的卷积、全连接层后输出头部区域；s550：将头部区域的高度缩短为原始高度的1/2，仅保留头部区域的下半部分，之后将该头部区域分别向左右各拉长原始宽度的1/10，所得区域作为香烟位置信息候选区域。
13.在一些具体实施方式中，步骤s600进一步包括：s610：获取香烟位置信息候选区域四顶点的位置信息，分别标记为。
14.s620：获取高温候选区域内像素点位置信息获得位置信息数据集；s630：判断位置信息数据集中是否存在同时满足和的点；若存在，则判断存在重叠，存在吸烟行为；否则判断不存在重叠，不存在吸烟行为。
15.本发明提供的一种神经网络与红外图像匹配的厨房吸烟检测系统，包括：第一模块，用来获取检测数据，包括目标区域的红外图像和可见光图像；第二模块，用来在可见光图像中标注固定高温区域；第三模块，用来将红外图像和可见光图像进行位置配准；第四模块，用来从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域；第五模块，用来采用多任务卷积神经网络从可见光图像中检测头部区域，对头部区域变形得到香烟位置信息候选区域；第六模块，用来根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
16.本发明的特点和有益效果如下：由于厨房场景的特殊性，厨房中的高温区域较多且人员流动大，传统吸烟检测方法在厨房场景中应用的检测准确性不高，因此提出了本发明，本发明更适用厨房场景的应用，可显著厨房场景中吸烟检测的检测速度和检测准确度。
附图说明
17.图1是本发明方法流程图；图2是一种具体实施方式中多任务卷积神经网络检测头部区域的流程图。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的实施例仅仅用以解释本发明，并不用于限定本发明。
19.下面将提供结合图1提供本发明的具体实施方式，步骤如下：s100：获取检测数据，包括目标区域的红外图像和可见光图像。
20.红外图像利用热成像监控摄像头拍摄获得，可见光图像通过可见光监控摄像头获得。在采集检测数据前，先对热成像监控摄像头和可见光监控摄像头进行微调，使热成像监控摄像头和可见光监控摄像头处于同一平面上且光轴平行，之后再采集厨房目标区域的红外图像和可见光图像，并上传到计算机。
21.s200：在可见光图像中标注固定高温区域。
22.由于厨房为固定场景，高温区域固定且热成像监控摄像头和可见光监控摄像头的位置也固定。故出于提高检测效率及检测准确性的目的，对可见光图像进行预处理，即在可见光图像中标注出灶台、烤箱等固定高温区域。具体可采用显著性目标检测法进行智能标注或采用人工标注。
23.s300：将红外图像和可见光图像进行位置配准。
24.由于红外图像和可见光图像的成像机制、成像分辨率不同且光学系统光轴不一致，需对红外图像与可见光图像的像素点进行配准。本具体实施方式中利用双线性插值法进行配准，得到与可见光图像长宽相同的红外图像，从而达到红外图像与可见光图像位置配准的目的。
25.本步骤的具体实施过程如下：s310：计算红外图像中插值点与已知邻域像素点的映射关系。
26.本具体实施方式中所使用的初始红外图像与可见光图像长宽比相同，计算红外图像中插值点与四个邻域像素点坐标映射关系，即权值，权值的计算见式（1）所示：（1）式（1）中，分别表示四个邻域像素点的权值，分别表示可见光图像的长和宽，分别表示红外图像的长和宽，int()表示取整运算。
27.s320：采用权值进行插值，求出插值点的像素值。
28.利用式（1）所求权值对红外图像进行插值，插值公式见式（2）：（2）式（2）中，表示插值点坐标，分别表示四个邻域像素点的像素值，表示插值点的插值像素值。
29.s330：重复子步骤s320，计算所有插值点的像素值，从而将红外图像变换到与可见光图像尺寸相同，即实现了红外图像和可见光图像的位置配准。
30.通过式（1）得到红外图像插值点与四个邻域像素点的映射关系，即权值；再利用式（2）对横坐标与纵坐标两个方向分别进行四次插值，计算出插值点的像素值，之后重复上述步骤，使得红外图像与可见光图像长宽值相同，即实现了红外图像与可见光图像中像素点的配准。
31.s400：从红外图像中提取未与固定高温区域重合的高温区域作为高温候选区域，高温候选区域内可能包括烟点。
32.本步骤的具体实施过程如下：s410：增强红外图像的对比度，具体可通过直方图均衡化来增强对比度，所采用公式如下：
（3）式（3）中：表示对比度增强后的灰度值级别，表示红外图像中最高的灰度值级别，表示红外图像中像素总数，s表示灰度值级别，表示对比度增强前的灰度值级别，表示第s级灰度值的灰度像素总数。
33.s420：绘制二维灰度直方图曲线。
34.以对比度增强后灰度值级别s为横坐标，第s级的灰度像素总数为纵坐标，绘制增强对比度后红外图像的二维灰度直方图曲线。
35.s430：求取二维灰度直方图曲线梯度。
36.根据二维灰度直方图曲线、灰度值级别s以及第s级的灰度像素总数，计算二维灰度直方图曲线梯度，其计算公式见式（4）：（4）式（4）中：表示对s的偏导数，表示对的偏导数。
37.s440：求取灰度梯度均值。
38.通过二维灰度直方图曲线梯度，计算二维灰度直方图曲线梯度均值：（5）式（5）中z为灰度梯度值的顺序，p为存在灰度值级别的总数。
39.s450：生成二值化阈值面。
40.在二维灰度直方图曲线梯度中，将小于二维灰度直方图曲线梯度均值的二维灰度直方图曲线梯度删除，并对删除后二维灰度直方图曲线梯度重新排序，生成二值化阈值面。
41.s460：对二值化阈值面进行二值化分割。
42.将二值化阈值面的像素点组合生成全局阈值面，实现红外图像的二值化分割，即生成二值化分割后的红外图像。
43.s470：生成不含固定高温区域的二值化红外图像。
44.将固定高温区域位置信息输入到二值化分割后的红外图像中，将固定高温区域位置中的灰度像素值置为0，形成不含固定高温区域的二值化红外图像。
45.s480：二值化红外图像膨胀处理，生成高温候选区域。
46.由于合成后的二值化图像中高温区域都为小区域，因此需要对小区域中的像素点
进行膨胀扩张，来生成高温候选区域。膨胀的计算公式见式（6）所示，之后将膨胀后二值化红外图中具有灰度值的区域作为高温候选区域输出。
47.（6）式（6）中，为输入的二值化图像；r为结构元素，本具体实施方式中使用结构元素由9个像素点以3
×
3的正方形排列形成；为输入图像内子区域，为结构元素内子区域。
48.s500：利用多任务卷积神经网络从可见光图像中检测并提取头部区域，头部区域可能包括烟点，将头部区域作为香烟位置信息候选区域。多任务卷积神经网络提前训练。
49.本步骤利用多任务卷积神经网络从可见光图像中检测并提取头部位置信息。本具体实施方式中通过三个卷积神经网络的级联进行基于深度学习的头部位置信息检测。
50.下面将结合图2的实际案列提供本步骤的具体实施过程：s510：对可见光图像分别进行多次等比缩放直至短边长度小于12，将所有等比缩放后的图像输出构建图像金字塔。
51.s520：pronet检测处理。
52.对图像金字塔进行三个3
×
3卷积核的卷积以及一次2
×
2池化处理，获得头部区域窗口与其回归向量，通过回归向量对头部区域窗口进行回归校准，初步判断可见光图像中存在的所有头部区域窗口，并且给出头部区域窗口的回归，因初步求得的头部区域窗口范围较大且容易产生误判的情况，因此还需后续网络的进行进一步的回归处理来减小判断失误的概率。
53.s530：refinenet检测处理。
54.对s520求得的头部区域窗口进行两个3
×
3卷积核、一个2
×
2卷积核的卷积以及两次3
×
3池化处理、一次2
×
2池化处理，继续对输入的头部区域窗口进行回归处理，获得优化后的头部区域窗口。
55.s540：outputnetwork输出最终的网络模型。
56.对优化后的头部区域窗口进行三个3
×
3卷积核、一个2
×
2卷积核的卷积以及两个3
×
3的池化、一个2
×
2的池化处理，通过更多的卷积与池化操作实现对头部的更精细识别，生成最终检测到的更准确的头部区域。
57.s550：对头部区域进行变形，获得准确的香烟位置信息候选区域。
58.人脸平均宽度约为15cm，香烟的平均宽度为8cm。由于吸烟时烟头通常出现在人的嘴部及其附近区域，为提高香烟烟点的检测精度，本发明需要对步骤s540检测的头部区域进行变形，即：将头部区域的高度缩短为高度原始的1/2，仅保留头部区域的下半部分，之后将该头部区域向左右分别拉长原始宽度的1/10，作为香烟位置信息候选区域输出，香烟位置信息候选区域见图2中头部区域变形后图像中长方形框内区域。
59.s600：根据红外图像和可见光图像的位置配准关系，检测红外图像中的高温候选区域与可见光图像中的香烟位置信息候选区域是否存在重叠，若存在重叠，则判断存在吸烟行为；否则判断不存在吸烟行为。
60.由于香烟位置信息候选区域为矩形，而高温候选区域为不规则形状，为提高检测的准确性，本发明提供了一种检测存在重叠部分的更准确方法，具体实施过程如下：s610：获取香烟位置信息候选区域四个顶点的位置信息，四个顶点的位置信息分
别标记为。
61.s620：获取高温候选区域内像素点位置信息获得位置信息数据集；s630：判断位置信息数据集中是否有点满足与，若是，则判定存在重叠，则存在吸烟行为；否则，则判断不存在重叠，不存在吸烟行为。
62.上述实施例所述是用以具体说明本发明，文中虽通过特定的术语进行说明，但不能以此限定本发明的保护范围，熟悉此技术领域的人士可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于权利要求范围所界定范畴内。