一种直梯内煤气罐检测方法及检测系统与流程

1.本发明涉及一种电梯监测领域，尤其涉及一种直梯内煤气罐检测方法及检测系统。


背景技术：

2.当今时代，电梯已成为城市高层建筑中的标配设备，广泛应用在商场、办公区、居民区等场景。直梯作为最常规的电梯类型，具有空间小，封闭化等特点。液化石油气是住宅内常用的可燃气体之一，一旦漏气，若遇上明火或电火花，在直梯这种密闭空间，会导致爆炸或火灾等事故，严重影响公共安全，因此，及时检测电梯内的煤气罐，并对该危险行为进行劝阻是非常有必要的。


技术实现要素：

3.本发明的目的在于提供一种直梯内煤气罐检测方法及检测系统。
4.为实现上述发明目的，本发明提供一种直梯内煤气罐检测方法，包括：
5.s1.采集直梯轿厢内的视频图像；
6.s2.基于所述视频图像进行运动目标检测，判断是否有运动目标进入所述直梯轿厢；
7.s3.若存在运动目标进入所述直梯轿厢，则基于所述视频图像进行目标检测，判断所述视频图像中是否存在煤气罐，若存在煤气罐，则判断所述直梯轿厢是否处于运行状态，若否，则发出告警并控制所述直梯轿厢静止，若是则仅发出告警。
8.根据本发明的一个方面，步骤s3中，判断所述视频图像中是否存在煤气罐的步骤中，包括：
9.截取所述视频图像中的图像帧；
10.基于所述图像帧分别判断是否具有所述煤气罐，并将每个所述图像帧的检测结果存入检测队列；
11.基于所述检测队列统计具有所述煤气罐的图像帧的数量，若超过阈值则判断为存在所述煤气罐。
12.根据本发明的一个方面，步骤s3中，判断所述视频图像中是否存在煤气罐的步骤中，若不存在所述煤气罐，则对所述检测队列进行初始化，删除所述检测队列中存储的检测结果。
13.根据本发明的一个方面，步骤s2中，基于所述视频图像进行运动目标检测，判断是否有运动目标进入所述直梯轿厢的步骤中，包括：
14.初始化检测标记，并将所述检测标记置为0；其中，所述检测标记包括运动标志和持续检测帧数；
15.基于所述视频图像确定出参考帧图像和当前帧图像；
16.基于所述当前帧图像的y通道数据与所述参考帧图像的y通道数据相减获取y通道
的帧差图；
17.针对帧差图，统计像素值达到阈值的个数在整个图像的具体占比，若占比满足阈值，则运动标志设置为1，并且对于持续检测帧数进行自增操作；如果占比不满足阈值，说明此帧不存在运动，运动标志置为0，并且将持续检测到运动的帧数清零。
18.统计当前持续检测到运动的帧数是否到达阈值，如果达到阈值，则可判定轿厢内发生了连续运动的情况，输出运动目标检测成功的信号，表明可进行下一步的煤气罐检测，并且将持续检测帧数清零；如果没有达到阈值，返回处理下一帧。
19.根据本发明的一个方面，步骤s3中，基于所述视频图像进行目标检测的步骤中，采用深度学习模型进行目标检测；
20.所述深度学习模型为faster rcnn、ssd、yolo、yolov5中的一种。
21.根据本发明的一个方面，步骤s3中，基于所述视频图像进行目标检测，判断所述视频图像中是否存在煤气罐的步骤中，包括：
22.对输入的视频图像进行预处理；
23.将预处理后的所述视频图像输入至所述深度学习模型进行检测；
24.解析所述深度学习模型输出的结果，其中，所述结果包括所有检出的煤气罐，所述煤气罐在所述视频图像中的位置、所述煤气罐的大小及置信度；
25.若检出的所述煤气罐的个数大于0，且存在置信度大于阈值的目标，则判定所述视频图像中存在煤气罐。
26.根据本发明的一个方面，对输入的视频图像进行预处理的步骤中，将输入的所述视频图像按照恒定的长宽比进行缩放至所述深度学习模型的输入分辨率。
27.为实现上述发明目的，本发明提供一种用于前述的直梯内煤气罐检测方法的检测系统，其特征在于，包括：
28.视频采集单元，用于获取直梯轿厢内的视频图像；
29.图像分析单元，基于所述视频图像进行运动目标检测，基于所述视频图像判断是否存在所述煤气罐；
30.速度传感器，采集所述直梯轿厢的速度信息并发送至所述图像分析单元；
31.告警控制单元，接收所述图像分析单元生成的告警信号并基于所述告警信号在所述直梯轿厢内发出告警和/或对所述直梯轿厢的运行状态进行控制；
32.所述图像分析单元基于对所述视频图像进行运动目标检测并生成运动目标检测；
33.所述图像分析单元基于所述视频图像判断是否存在所述煤气罐并生成判断结果；
34.所述图像分析单元基于所述运动目标检测、所述判断结果和所述速度信息生成所述告警信号。
35.根据本发明的一个方面，所述告警控制单元包括：多媒体设备和控制设备；
36.所述控制设备分别与所述多媒体设备和所述直梯轿厢的控制电路相连接。
37.根据本发明的一种方案，在本方案中可以根据直梯中拍摄到的视频图像，判定当前图像中是否有煤气罐，如果有煤气罐，系统会发出语音告警及时劝阻，同时可选择的接入电梯的控制电路，控制当前直梯的运行，以此达到不让煤气罐乘梯的目的，有效提高了电梯及乘客的运行安全。
38.根据本发明的一种方案，通过对获取的图像数据进行预先的运动目标检测，可以
准确的获知是否在当前的直梯轿厢具有运动目标进入，若存在，才开始后续的煤气罐检测及告警分析，否则不需要及逆行煤气罐检测，这样有效降低了整个过程对计算资源的消耗，提高了作业效率和检测实时性。
39.根据本发明的一种方案，根据电梯的运行方式输出不同的告警信号，对灵活实现告警输出，以及保证乘客安全有益，实现了在保证乘客安全的前提下的告警提示。
附图说明
40.图1示意性表示根据本发明的一种实施方式的直梯内煤气罐检测方法的步骤框图；
41.图2示意性表示根据本发明的一种实施方式的直梯内煤气罐检测方法的流程图；
42.图3示意性表示根据本发明的一种实施方式的视频采集单元获取的直梯轿厢图；
43.图4示意性表示根据本发明的一种实施方式的运行目标检测流程图；
44.图5示意性表示根据本发明的一种实施方式的深度学习模型流程图；
45.图6示意性表示根据本发明的一种实施方式的直梯内煤气罐检测系统结构图；
46.图7示意性表示根据本发明的一种实施方式的告警控制单元的工作流程图。
具体实施方式
47.下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
48.结合图1和图2所示，根据本发明的一种实施方式，本发明的一种直梯内煤气罐检测方法，包括：
49.s1.采集直梯轿厢内的视频图像；
50.s2.基于视频图像进行运动目标检测，判断是否有运动目标进入直梯轿厢；
51.s3.若存在运动目标进入直梯轿厢，则基于视频图像进行目标检测，判断视频图像中是否存在煤气罐，若存在煤气罐，则判断直梯轿厢是否处于运行状态，若否，则发出告警并控制直梯轿厢静止，若是则仅发出告警。
52.根据本发明的一种实施方式，步骤s1中，通过设置在直梯轿厢上的视频采集单元对直梯轿厢内的环境进行成像。在本实施方式中，视频采集单元设置在直梯轿厢的顶部。在本实施方式中，视频采集单元视场角能够覆盖直梯轿厢的所有视域范围，图像的分辨率要求为高清的1080*1920类型，实际场景如图3所示。在本实施方式中，视频采集单元可采用监控摄相机，双目相机，深度相机等获取图像数据的设备中的至少一种。
53.如图4所示，根据本发明的一种实施方式，步骤s2中，基于视频图像进行运动目标检测，判断是否有运动目标进入直梯轿厢的步骤中，包括：
54.初始化检测标记，并将检测标记置为0；其中，检测标记包括运动标志和持续检测帧数；
55.基于视频图像确定出参考帧图像和当前帧图像；
56.基于当前帧图像的y通道数据与参考帧图像的y通道数据获取y通道的帧差图；
57.针对帧差图，统计像素值达到阈值的个数在整个图像的具体占比，若占比满足阈值，则运动标志设置为1，并且对于持续检测帧数进行自增操作；如果占比不满足阈值，说明
此帧不存在运动，运动标志置为0，并且将持续检测到运动的帧数清零。
58.统计当前持续检测到运动的帧数是否到达阈值，如果达到阈值，则可判定轿厢内发生了连续运动的情况，输出运动目标检测成功的信号，表明可进行下一步的煤气罐检测，并且将持续检测帧数清零；如果没有达到阈值，返回处理下一帧。
59.通过上述设置，持续检测多帧出现运动标志，是为了保证检测到运动状态准确，即连续多帧都能通过帧差图效果判定存在运动，得到一个持续运动状态。如果中间有一帧不满足要求，则重新开始持续的多帧检测统计。
60.根据本发明，通过对获取的图像数据进行预先的运动目标检测，可以准确的获知是否在当前的直梯轿厢具有运动目标进入，若存在，才开始后续的煤气罐检测及告警分析，否则不需要及逆行煤气罐检测，这样有效降低了整个过程对计算资源的消耗，提高了作业效率和检测实时性。
61.根据本发明，通过采用帧差图的方式判断是否具有运动目标的方式，实现了检测结果准确有效，有效保证了本方案的响应速度。
62.根据本发明，通过采用帧差图的方式判断是否具有运动目标的方式，只有在判断为运动时，才会持续检测煤气罐一段时间，否则不会检测，进而非常有效的降低了cpu消耗。
63.根据本发明的一种实施方式，步骤s3中，判断视频图像中是否存在煤气罐的步骤中，包括：
64.截取视频图像中的图像帧；
65.基于图像帧分别判断是否具有煤气罐，并将每个图像帧的检测结果存入检测队列；在本实施方式中，检测到煤气罐的帧标记为1，否则为0；
66.基于检测队列统计具有煤气罐的图像帧的数量，若超过阈值则判断为存在煤气罐。在本实施方式中，通过统计检测队列中标记为1的帧的数量，若没有达到阈值，则不发出告警(即煤气罐告警信号置为0)。若达到阈值，并且获取直梯轿厢当前的运行状态是静止的，则发出的煤气罐告警信号置为1，控制直梯轿厢处于静止状态，并告警。若达到阈值，并且获取直梯轿厢当前的运行状态是运行的，则发出的煤气罐告警信号置为2，则仅发出告警。
67.根据本发明的一种实施方式，步骤s3中，判断视频图像中是否存在煤气罐的步骤中，若不存在煤气罐，则对检测队列进行初始化，删除检测队列中存储的检测结果，防止前一次运动过程中的检测结果对下一次运动过程中的告警分析有影响。
68.根据本发明的一种实施方式，步骤s3中，基于视频图像进行目标检测的步骤中，采用深度学习模型进行目标检测；在本实施方式中，深度学习模型为yo lo
‑
v5(参见图5所示)。当然，深度学习模型还可以为fas ter rcnn、ssd或yolo。
69.在本实施方式中，深度学习模型采用yolov5，由于yo lov5根据网络的宽度和深度有不同的版本，为了降低在相机端的检测耗时，采用网络宽度和深度最小的版本yolov5s。通过采用yolov5s在保证实时检测的同时，能够保证检测的准确率，在本实施方式中，该深度学习模型的主干网络采用了csp(跨阶段局部)结构，该结构在保证轻量化的同时保证模型的准确性，同时yo lov5s中在使用fpn(特征金字塔自顶向下结构)的基础上使用了pan(路径聚合自底向上结构)融合不同分辨率的特征图，进一步提高模型的准确性。
70.在本实施方式中，步骤s3中，基于视频图像进行目标检测，判断视频图像中是否存
在煤气罐的步骤中，包括：
71.离线收集直梯内存在煤气罐的图像，分为训练集、验证集和测试集，训练出检测煤气罐的深度学习模型。在本实施方式中，由于直梯内煤气罐较少，可以采用仿真软件或绘图软件制作一些电梯场景中有煤气罐的图像，以此生成的图像初步训练该模型。在完成对该深度学习模型的训练后，使其进行线上训练，通过线上抓取图像以进一步对其进行训练，不断重复该过程，当抓取到足够图像时，训练出一个最终的模型。
72.将训练好的深度学习模型发布至线上进行煤气罐识别，其进一步包括：
73.对输入的视频图像进行预处理；在本实施方式中，对输入的视频图像进行预处理的步骤中，将输入的视频图像按照恒定的长宽比进行缩放，并将其大小填充至深度学习模型的输入分辨率。
74.将预处理后的视频图像输入至深度学习模型进行检测；
75.解析深度学习模型输出的结果，其中，结果包括所有检出的煤气罐，煤气罐在视频图像中的位置、煤气罐的大小及置信度；
76.若检出的煤气罐的个数大于0，且存在置信度大于阈值的目标，则判定视频图像中存在煤气罐。
77.根据本发明，其整个运动检测过程结合了空域变化条件和时域条件所实现，其中，空域变化条件为前后两帧像素相减，得到的一个帧差图，图上每个点的像素值即为每个点在运动中变化幅度。若很多点变化都超过阈值，则证明运动幅度大。而时域条件则要求持续多帧的帧差图，都满足上面的空域条件。
78.如图6所示，根据本发明的一种实施方式，本发明的一种直梯内煤气罐检测系统，包括：视频采集单元1、图像分析单元2、速度传感器3和告警控制单元4。在本实施方式中，视频采集单元1与图像分析单元2相连接，速度传感器3与图像分析单元2相连接，图像分析单元2与告警控制单元4相连接。在本实施方式中，视频采集单元1用于获取直梯轿厢内的视频图像；图像分析单元2基于视频图像进行运动目标检测，基于视频图像判断是否存在煤气罐；速度传感器3采集直梯轿厢的速度信息并发送至图像分析单元；告警控制单元4接收图像分析单元生成的告警信号并基于告警信号在直梯轿厢内发出告警和/或对直梯轿厢的运行状态进行控制。在本实施方式中，图像分析单元2基于对视频图像进行运动目标检测并生成运动目标检测；图像分析单元2基于视频图像判断是否存在煤气罐并生成判断结果；图像分析单元2基于运动目标检测、判断结果和速度信息生成告警信号。
79.根据本发明的一种实施方式，告警控制单元包括：多媒体设备和控制设备。在本实施方式中，控制设备分别与多媒体设备和直梯轿厢的控制电路相连接。在本实施方式中，告警控制单元4接收到图像分析单元2发出的告警信号，若告警信号为1，则同时控制多媒体设备(如喇叭)和直梯内部电路，分别进行劝阻和启动停梯设置。因为此时电梯中存在煤气罐，同时电梯处于静止状态，启动停梯设置可以有效阻止煤气罐入梯。若告警信号为2，则只控制多媒体设备(如喇叭)，播放煤气罐告警相关内容。
80.在本实施方式中，视频采集单元可采用监控摄相机，双目相机，深度相机等获取图像数据的设备中的至少一种。
81.上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
82.以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。