用于探测烟雾的方法和设备与流程

networks)和递归神经网络(英：recurrent neural networks)的组合不能够实现可比的可靠性和准确性。因为由这两种不同类型的神经网络组成的机器学习系统不能够同时从图像中提取和处理决定性的时间信息和全局信息。然而，由于第一方面的机器学习系统能够共同处理时间信息和全局信息，因此在进行烟雾探测时，该机器学习系统提供特别可靠和准确的结果。
10.convlstm理解为一种专用的lstm，其在作者xingjian等人的文献中示出。在(conv
‑
)lstm中，根据三个输入参量求取两个输出参量。这些输入参量中的第一输入参量可以是(conv
‑
)lstm的紧接着的先前层的输出参量，而其他两个输入参量可以是(conv
‑
)lstm的先前的计算的、尤其是紧接着的先前计算的所求取的输出参量。输出参量中的第一输出参量可以是(conv
‑
)lstm的输出参量，将其转发至机器学习系统的后续层、尤其是紧接着的后续层。第二输出参量是表征(conv
‑
)lstm的内部状态的参量。在convlstm的情况下，执行convlstm的先前计算的第一输入参量和第一输出参量的滤波。这意味着，convlstm与“普通”lstm的不同之处在于，其输入参量的卷积现在分别借助至少一个滤波器来实施，而不是标量乘法。应当注意的是，然后对convlstm的两个输入参量的滤波的结果进行相加(aufsummieren)，并且能够借助激活函数来处理所述结果。可以想到，使用多个不同的滤波器。还可以想到，在然后分别借助一个或多个激活函数处理这些相加的结果之前，对所述滤波中的多个滤波的结果进行相加。根据激活函数的结果求取convlstm的输出参量。对于convlstm的数学定义，参见作者xingjian等人的文献的等式(3)。
11.应当注意的是，在通过机器学习系统处理图像时，这些图像分别通过卷积递归神经网络处理。还应注意的是，烟雾的探测是根据卷积递归神经网络的所求取的输出参量而输出的。
12.检测的图像中的多个检测的图像的所考虑的时间窗口优选地在一秒到三秒之间。以前的方案在这种短的时间窗口的情况下不能探测到稀薄的烟雾。
13.参数化理解为，机器学习系统设置用于探测烟雾。参数化还可以理解为，机器学习系统的参数具有值，使得机器学习系统在图像内探测烟雾或者说探测图像是否包含烟雾。优选地，参数的值在训练(anlernen)机器学习系统时已匹配，使得机器学习系统探测烟雾。
14.烟雾可以理解为由固相在气相中组成的混合物。烟雾还可以理解为通过燃烧产生的、呈极细分布的形式的气溶胶，其由颗粒(例如灰尘颗粒或灰烬颗粒)和/或液滴(水、油蒸汽、酸蒸汽、液体燃烧残留物)组成，尤其是包含在废气中。
15.提出，机器学习系统还如此被参数化，使得其输出一输出参量，该输出参量表征在借助机器学习系统处理的相应图像内是否映射(abgebildet)烟雾。表征可以理解为对图像进行分类。优选地，参量附加地表征图像内探测到烟雾的位置。例如，参量附加地表征框住(umrandet)所探测到的烟雾的“边界框”。
16.还提出，机器学习系统如此被参数化，使得该机器学习系统输出矩阵作为输出参量。矩阵的项借助机器学习系统分别配属于经处理的图像内的多个片段中的一个片段。矩阵的项表征在所配属的片段内是否有烟雾成像。在此的优点是，实现在图像内烟雾的定位。
17.还提出，输出参量或矩阵的项分别表征概率。也可以想到，机器学习系统被参数化、尤其是被设置用于在图像内分割烟雾。
18.还提出，机器学习系统包括多个前后依次(hintereinander)连接的convlstm。相应的convlstm包括的滤波器的数量随着机器学习系统的深度的增加而增加，并且尤其经处理的图像的分辨率随着机器学习系统的深度的增加而降低。在convlstm之间分别连接池化层(verwerfungsschicht)(英：pooling
‑
layer)。最后的convlst与全网状神经网络(英：fully connected neural network)连接，其输出机器学习系统的输出参量。神经网络接收最后的convlstm的所求取的输出参量作为输入参量。
19.池化层可以理解为，该层从其输入参量中去除信息，尤其是分别在该输入参量的多个片段中的一个片段内。池化层可以实施所谓的平均池化或最大池化。
20.应当注意的是，全网状神经网络可以充当所谓的分类器和定位器(英：classifiyer and localizer)。优选地，在该神经网络中使用sigmoid函数作为激活函数，并且在conv
‑
rnn/
‑
lstm中使用tanh和hard
‑
sigmoid激活函数。
21.还提出，使用所谓的快速卷积递归神经网络(英：fast r
‑
cnn)、尤其是“区域建议”(regionen
‑
vorschlagendes)神经网络(英：region joroposal network，rpn，区域候选网络)，而不是全网状神经网络。在此的优点是，可以在图像内定位灵活的烟雾。
22.机器学习系统的深度可以理解为机器学习系统的convlstm相对于接收机器学习系统的输入参量的那个convlstm的在序列内的位置。
23.还提出，将机器学习系统与光学、视觉和/或声学警报器连接，例如烟雾报警器/火灾报警器。也可以想到，机器学习系统是火灾报警设备的一部分，其优选地与建筑物管理系统连接。还可以想到，机器学习系统与安全控制中心连接，例如通过互联网或内联网。附加地或替代地，多个摄像机可以分别与机器学习系统连接，并且机器学习系统通过网络与火灾报警设备和/或安全控制中心连接。替代地或附加地，求取警报或警报判定，其根据探测到的烟雾来求取。可以想到，将警报或警报判定通过网络传输至火灾报警设备和/或安全控制中心。
24.也可以想到，将警报或警报判定转发至中央监控点并由人进行交叉检查。附加地或替代地，可以将具有借助机器学习系统探测到的烟雾和/或具有所求取的警报(区域)的图像之一传输到监控点。
25.机器学习系统可以集成在摄像机中，也可以在局部或全局网络中的服务器上运行，建筑物的摄像机与该网络连接。
26.在此有利的是，警报判定是根据传播通过机器学习系统的、所有先前图像来做出的。如此，例如，在已经在第三图像之后的警报判定中，已经有三个图像进入到警报判定中，并且在第42图像之后的警报判定中，总共有42个图像进入到警报判定中。
27.还提出，机器学习系统的一个输入端与摄像机连接。在此，连接可以理解为，将通过摄像机所检测到的图像分别作为输入参量提供给机器学习系统。其中，摄像机检测图像中的多个图像，并且相继提供图像分别作为输入参量。摄像机可以是图像摄像机/视频摄像机/红外线摄像机和/或基于事件的摄像机。
28.在本发明的第二方面中，提出一种方法、尤其是一种计算机实现的方法，其用于借助机器学习系统在图像内探测烟雾。机器学习系统是根据本发明的第一方面的机器学习系统。机器学习系统包括多个层，所述多个层根据预给定的顺序(reihenfolge)连接，并且这些层中的至少一层包括conv
‑
rnn或convlstm。该方法包括以下步骤：接收多个相继检测的
图像、尤其是多个紧接着相继检测的图像。然后进行：使检测的图像中的多个检测的图像相继地传播通过机器学习系统。在传播时，逐步通过机器学习系统的层处理图像，并且这些层的顺序的最后一层输出机器学习系统的输出参量。应当注意的是，最后一层是经参数化的，以输出机器学习系统的输出参量。输出参量表征在图像内是否有烟雾成像。还应注意的是，根据机器学习系统的输出参量探测烟雾。应当注意的是，图像中的多个图像可以逐步或同时传播通过机器学习系统。
29.附加地，根据机器学习系统的输出参量可以输出：在图像内是否有烟雾成像。也可以想到，根据输出参量求取并在必要时输出烟雾的强度或量和/或密度。
30.应当注意的是，本发明的第一方面的机器学习系统及其所有不同实施方式都可以用于本发明的第二方面。
31.应当注意的是，第一和第二方面的图像例如可以是借助照相机或视频摄像机检测的rgb图像、灰度值图像、流图像或图像差异(bilddifferenzen)。还提出，以附加的信息或光流、(替代地)图像差异来丰富图像。这具有以下优点：因此可以更加可靠和准确地探测烟雾。
32.还提出，根据多个训练数据(trainingsdaten)来训练机器学习系统，所述训练数据包括训练图像和分别配属的输出参量。在进行训练时，训练图像传播通过机器学习系统。根据机器学习系统的所求取的输出参量和训练图像的分别配属的输出参量，如此匹配机器学习系统的参数化，使得所求取的输出参量与训练输出参量之间的偏差最小化。
33.优选地，偏差的最小化、尤其是优化借助梯度下降方法、例如反向传播时间来执行。偏差可能是差异。借助数学间距尺寸(abstandsmaβ)来求取偏差。
34.还提出，训练图像包括以下图像：这些图像仅包含具有和没有烟雾的图像。附加地，训练图像也可以包含以下图像：这些图像不仅示出烟雾，而且除了烟雾之外还示出火焰或火发生地(feuerstelle)。这允许以下：还训练机器学习系统探测火或火灾。
35.还提出，在训练后压缩机器学习系统，例如通过所谓的修剪(pruning)。优点是，这允许在移动终端设备中使用。
36.还提出，根据机器学习系统的所求取的参量来操控烟雾报警器。
37.附加地或替代地，根据机器学习系统的输出参量，可以根据第一方面操控警报器。当根据机器学习系统的输出参量探测到烟雾时，诸如烟雾报警器之类的警报器可以输出警告信号。附加地或替代地，可以根据本发明的第一方面来操控上述其他系统，或可以向这些系统提供警报或警报判定。
38.在另一方面中，提出一种计算机程序。该计算机程序设置用于实施前述方法之一。计算机程序包括指令，当计算机程序在计算机上运行时，所述指令促使计算机实施这些所提及的方法之一及其所有步骤。此外，提出一种机器可读的存储模块，在该机器可读的存储模块上存储有计算机程序。此外，提出一种设备，该设备设置用于实施所述方法之一。
附图说明
39.下面参考附图更详细地阐述本发明的实施方式。在此示出：
40.图1示出一种用于探测烟雾的设备的示意性结构；
41.图2示出被参数化以便探测烟雾机器学习系统的示意图；
42.图3示出一种借助机器学习系统探测烟雾的方法的流程图的示意图；
43.图4示出可以用于训练机器学习系统的设备的示意图。
具体实施方式
44.图1示出一种用于探测烟雾的装置(12)的示例性实施方式。在该实施方式中，该设备包括与机器学习系统(10)连接的摄像机(11)。摄像机(11)检测摄像机(11)的周围环境的多个图像。例如，如果由于对象(13)燃烧或过热而在摄像机(11)的周围环境中产生烟，则摄像机的图像将包含烟雾(12)。摄像机的图像中的多个图像通过机器学习系统(10)相继处理。机器学习系统(10)如此被参数化，使得该机器学习系统根据相继处理的图像而分别输出一输出参量，该输出参量表征在相应的图像内是否有烟雾成像(12)。根据机器学习系统的一个或多个输出参量，可以探测烟雾。
45.在该设备的另一实施方式中，机器学习系统(10)例如与烟雾报警器连接。烟雾报警器根据机器学习系统的输出参量来确定该烟雾报警器是否应该触发警报。
46.图2示意性示出机器学习系统(10)的结构。在图2中，机器学习系统(10)示例性地通过神经网络给出。在图2中所描绘的实施方式中，机器学习系统(10)包括多个层，所述多个层根据可预给定的顺序彼此连接。这些层要么是convlstm(20)要么是池化层，其例如执行平均/最大池化。该顺序在图2中如此，使得在每一个convlstm(20)之后跟随一个池化层。附加地，机器学习系统(10)的最后一层可以与全网状神经网络(21)连接。优选地，全网状神经网络(21)是分类器，该分类器输出分类：在由机器学习系统(10)所处理的图像中是否包含有烟雾。替代地，全网状神经网络可以输出矩阵，该矩阵的项分别配属于经处理的图像的多个片段中的一个片段，并且这些项分别表征在相应的片段内是否有烟雾成像。然后，这对应于图像内烟雾的定位。
47.此外，在图2中，示例性地在其相应层的上方记载这些层的输入参量具有怎样的分辨率。机器学习系统(10)的输入参量(图2：“输入帧”)、即通过机器学习系统(10)所处理的图像在该实施方式中具有256x256x3的分辨率。同样示例性示出相应的层是如何配置的。例如，第一convlstm层通过4个滤波器配置，这4个滤波器分别具有3x3的分辨率。
48.此外，图2示意性示出convlstm(20)的结构。
49.convlstm(20)接收三个不同的输入参量(x，h，c)。根据这三个输入参量(x，h，c)，convlstm(20)求取两个输出参量(c'，h')。第一输入参量(x)是相应convlstm层的输入参量或图像。第二输入参量(h)是在一个处理/时间步骤(zeit
‑
schritt)、尤其是在紧接着的先前处理/时间步骤convlstm(20)的先前求取的输出参量。这意味着，所求取的输出参量包含该convlstm的先前处理的输入参量的信息。第三输入参量(c)是convlstm(20)的内部状态，该内部状态是根据第一和第二输入参量(x，h)来进行更新的，尤其是在每个处理/时间步骤。
50.为了求取两个输出参量(h'，c')，分别将第一和第二输入参量借助不同的滤波器(fh，fx，ch，cx，ih，ix，oh，ox)进行滤波并相应于在图2中所示出的连接进行相加。然后，将激活函数应用于相应的求和结果。激活函数在图2中示例性地通过sigmoid/tanh函数给出。
51.然后，在所谓的输入门、遗忘门和输出门中，根据在图2中所示出的连接，处理激活函数的结果以形成输出参量(c'，h')。
52.图3示意性示出一种用于探测烟雾的方法的流程图(30)。
53.该方法以步骤300开始。在该步骤中，机器学习系统(10)接收摄像机(11)的相继检测的图像中的多个相继检测的图像。
54.在随后的步骤310中，各个图像相继传播通过机器学习系统(10)。
55.在步骤320中，在这些图像中的每个图像都已传播通过机器学习系统之后，机器学习系统(10)分别输出一个输出参量。
56.在随后的步骤330中，然后可以根据由机器学习系统(10)输出的输出参量来判定：摄像机的周围环境中是否存在烟雾。例如，这可以通过将机器学习系统的输出参量与阈值进行比较来执行。如果输出参量大于阈值，则可以判定存在烟雾。
57.可选地，在步骤330结束之后，可以实施步骤340。在此，根据步骤330的结果操控烟雾报警器。例如，如果机器学习系统的输出参量已高于阈值，则烟雾报警器可以输出警告信号，例如警告音。
58.在用于探测烟雾的方法的另一实施方式中，可以在实施步骤300之前训练机器学习系统(10)。
59.在训练机器学习系统(10)时，借助优化方法、优选梯度下降方法，例如反向传播时间(英：backpropagation
‑
through
‑
time)，在成本函数(英：loss function，损失函数)方面优化机器学习系统的参数化。成本函数表征：取决于参数化的、所求取的输出参量与广泛的(breitgestellten)训练输出参量之间的差异。为了优化所述参数化，可以借助梯度下降方法来求取梯度，其中，然后根据所求取的梯度匹配所述参数化。
60.为了进行训练，提供包含训练图像的训练数据，机器学习系统根据这些训练数据求取输出参量。此外，训练输出参量分别配属于训练图像。
61.训练的步骤可以多次地前后依次实施，直到满足可预给定的终止标准为止，例如直到差异或该差异的变化小于可预给定的值为止。
62.图4示出一种用于训练机器学习系统(10)的设备(40)的示意图。设备(40)包括包含训练数据的数据库(41)。训练数据包括标记的图像(x)，其标记(ys)表征在图像中是否有烟雾成像。图像(x)通过机器学习系统(10)处理并作为输出参量(y)提供给差异模块(42)。差异模块(42)还接收标签(ys)，并根据标签(ys)以及根据输出参量(y)求取差异，随后将该差异传递至匹配模块(43)。匹配模块然后根据差异求取机器学习系统(10)的参数化(θ)的变化(θ')。随后，根据存储器(p)中的变化(θ')匹配参数化(θ)。
63.此外，设备(40)可以包括计算单元(44)和存储元件(45)。