一种基于深度学习的电梯开关门状态识别方法及装置与流程

1.本发明涉及图像识别技术领域，特别涉及一种基于深度学习的电梯开关门状态识别方法、装置、电子设备及计算机存储介质。


背景技术：

2.随着计算机工业水平的不断提高，计算机视觉系统和人工智能也逐渐走向实用化，得益于互联网兴起带来的海量数据，以及机器学习方法的广泛应用，计算机视觉发展迅速，并且正广泛应用于计算机相关的多个领域，越来越贴近生活，与我们息息相关。计算机视觉以图像为输入，实现对环境的正确表达，研究图像的特征组织，进行目标检测或场景的识别，进而对事件给予科学的解释。深度学习技术是当今技术的发展方向，大量的数据集加上复杂的卷积神经网络能够实现强大的表达能力，使模型具有较高的准确率和鲁棒性。然而，传统的计算机视觉算法过程分离，遇到复杂的背景准确率不高，而深度学习算法能够解决这一问题，并且能够实现端到端的映射，目前，计算机视觉与深度学习结合已经取得了显著进展。
3.基于计算机视觉进行电梯开关门状态监测有利于成本的节约，目前电梯开关门状态识别方法主要使用传统的光流算法、基于深度学习目标检测等算法，存在运动模糊导致的不准确、以及耗时长的问题。


技术实现要素：

4.本发明的主要目的是提出一种基于深度学习的电梯开关门状态识别方法、装置、电子设备及计算机存储介质，旨在解决上述背景技术中提到的部分或全部技术问题。
5.为实现上述目的，本发明的第一方面提供了一种基于深度学习的电梯开关门状态识别方法，所述方法包括：
6.获取电梯内第一视频数据，当所述第一视频数据中电梯门区域的像素变化情况大于第一阈值时，将所述第一视频数据传输至深度学习识别模型，所述深度学习识别模型输出第一电梯门状态。
7.优选地，计算所述第一视频数据中电梯门区域的像素变化情况，包括：
8.计算电梯门区域的相邻帧的所有像素变化情况，统计发生变化的像素的数量，基于所述像素的数量计算得出所述像素变化情况，包括：
9.将统计得出的发生变化的像素的数量作为所述像素变化情况；或，
10.将统计得出的发生变化的像素的数量进行转换处理后的数值作为所述像素变化情况。
11.优选地，对所述第一视频数据进行乘员识别计数，基于计数结果确定所述第一阈值的取值，其中，所述第一阈值的取值与所述计数结果成正相关关系。
12.优选地，所述第一电梯门状态包括全开门、半开门、关门。
13.优选地，在将所述第一视频数据传输至深度学习识别模型之前，还包括训练步骤，
包括：
14.采集电梯内的第二视频数据，提取其中包含电梯开关门状态的若干视频帧，对所述视频帧进行人工标注，将所述视频帧和对应的标注送入所述深度学习识别模型，以得到经过训练的所述深度学习识别模型。
15.优选地，所述深度学习识别模型包括：
16.卷积层模块，用于对输入的视频数据进行多次的卷积、池化处理，提取具有判别性的深度特征；
17.三分支卷积层模块，用于通过不同的分支来分别学习所述卷积层模块末尾层输出的特征，其中，该三分支卷积层模块的卷积层权重在训练过程中随机初始；
18.分类器层模块，用于对三分支卷积层模块输出的特征进行分类
19.优选地，在所述深度学习识别模型输出第一电梯门状态为半开门或关门之后，还包括：
20.基于所述第一视频数据对电梯门区域子图像进行连通域分析，若存在面积大于第二阈值的连通域，则调取第三视频数据，将所述第三视频数据输入所述深度学习识别模型，所述深度学习识别模型输出第二电梯门状态，若所述第二电梯门状态与所述第一电梯门状态相同，则将所述第一电梯门状态作为最终的电梯门状态进行输出；否则，进一步基于所述第三视频数据对电梯门区域子图像进行连通域分析，若不存在面积大于第二阈值的连通域，则将所述第二电梯门状态作为最终的电梯门状态进行输出。
21.本发明的第二方面提供了一种基于深度学习的电梯开关门状态识别装置，所述装置包括获取模块、传输模块、深度学习识别模块、输出模块；其中，
22.所述获取模块，用于获取电梯内第一视频数据；
23.所述传输模块，用于当所述第一视频数据中电梯门区域的像素变化情况大于第一阈值时，将所述第一视频数据传输至深度学习识别模块，
24.所述深度学习识别模型，用于对所述第一视频数据进行识别，输出第一电梯门状态。
25.本发明的第三方面提供了一种电子设备，所述设备包括：
26.存储有可执行程序代码的存储器；
27.与所述存储器耦合的处理器；
28.所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前所述的方法。
29.本发明的第四方面提供了一种计算机存储介质，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如前所述的方法。
30.本发明技术方案的有益效果为：
31.1)基于计算机视觉技术来监测电梯开关门状态，可以减少传感器的部署，有效节约成本；
32.2)利用经过训练得到的深度学习识别模型来对电梯门状态进行快速识别，只要训练数据包括足够多的场景，深度学习识别模型就具有更强的泛化性，识别准确性也很高。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
34.图1为本发明实施例一提供的一种基于深度学习的电梯开关门状态识别方法的流程示意图；
35.图2为本发明实施例二提供的一种基于深度学习的电梯开关门状态识别装置的结构示意图；
36.图3是本发明实施例三公开一种电子设备的结构示意图。
37.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
38.为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
39.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
40.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
41.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，能够是固定连接，也能够是能够拆卸连接，或一体地连接；能够是机械连接，也能够是电连接；能够是直接相连，也能够通过中间媒介间接相连，能够是两个元件内部的连通。对于本领域技术人员而言，能够根据具体情况理解上述术语在本发明中的具体含义。
42.实施例一：
43.请参阅图1，图1是本技术实施例公开的一种基于深度学习的电梯开关门状态识别方法的流程示意图。如图1所示，本技术实施例的一种基于深度学习的电梯开关门状态识别方法，所述方法包括：
44.获取电梯内第一视频数据，当所述第一视频数据中电梯门区域的像素变化情况大于第一阈值时，将所述第一视频数据传输至深度学习识别模型，所述深度学习识别模型输出第一电梯门状态。
45.在本发明实施例中，将电梯内的第一视频数据送入深度学习识别模型进行分类识别，可以快速获得电梯门状态。其中，当电梯门区域的像素变化较大时说明电梯门存在开/关状态的转换，或者即将存在开/关状态的转换(例如，当电梯要开门时，乘员会换位至电梯门附近，像素变化较大)，设置此时对电梯门状态进行识别可以有效降低无效的检测识别。当然，此时其中传输至深度学习识别模型的第一视频数据可以包括检测“像素变化情况大于第一阈值”前和/或后的视频数据，以实现对前述的正在发生门状态的转换或即将发生转
换的情况。
46.优选地，计算所述第一视频数据中电梯门区域的像素变化情况，包括：
47.计算电梯门区域的相邻帧的所有像素变化情况，统计发生变化的像素的数量，基于所述像素的数量计算得出所述像素变化情况，包括：
48.将统计得出的发生变化的像素的数量作为所述像素变化情况；或，
49.将统计得出的发生变化的像素的数量进行转换处理后的数值作为所述像素变化情况。
50.在本发明实施例中，可以直接将发生变化的像素的数量作为所述像素变化情况表征值，也可以对所述数量进行转换处理，例如求取变化量占总像素数的比值，等等，本发明对此不作具体限定。
51.优选地，对所述第一视频数据进行乘员识别计数，基于计数结果确定所述第一阈值的取值，其中，所述第一阈值的取值与所述计数结果成正相关关系。
52.在本发明实施例中，当电梯内乘员越多时，发生像素变化的可能性、频繁度就越高，此时，为了避免乘员的正常运动导致的误识别，基于乘员数来正相关的调节所述第一阈值的大小，即乘员越多第一阈值就越大。
53.优选地，所述第一电梯门状态包括全开门、半开门、关门。
54.优选地，在将所述第一视频数据传输至深度学习识别模型之前，还包括训练步骤，包括：
55.采集电梯内的第二视频数据，提取其中包含电梯开关门状态的若干视频帧，对所述视频帧进行人工标注，将所述视频帧和对应的标注送入所述深度学习识别模型，以得到经过训练的所述深度学习识别模型。
56.在本发明实施例中，首先采集电梯内的视频信息，对于包含电梯开关门状态的视频分帧处理，将视频转成图片，挑选样本，手动标注样本，将原始图片和标注的标签结果放入深度学习识别模型进行训练，使其学习样本特征，从而得到识别准确性达标的目标模型。
57.优选地，所述深度学习识别模型包括：
58.卷积层模块，用于对输入的视频数据进行多次的卷积、池化处理，提取具有判别性的深度特征；
59.三分支卷积层模块，用于通过不同的分支来分别学习所述卷积层模块末尾层输出的特征，其中，该三分支卷积层模块的卷积层权重在训练过程中随机初始；
60.分类器层模块，用于对三分支卷积层模块输出的特征进行分类
61.在本发明实施例中，本发明的多分支卷积层模块中设置有三个分支，可以通过不同的分支来分别学习卷积层模块末尾层的特征，这样能够获取到更多的通道中的信息，而且通过随机初始卷积层的权重，还起到了微调神经网络中最高层权重的效果。另外，为了避免模型的过拟合问题，还可以设置分类器层模块选择l2正则化项。
62.优选地，在所述深度学习识别模型输出第一电梯门状态为半开门或关门之后，还包括：
63.基于所述第一视频数据对电梯门区域子图像进行连通域分析，若存在面积大于第二阈值的连通域，则调取第三视频数据，将所述第三视频数据输入所述深度学习识别模型，所述深度学习识别模型输出第二电梯门状态，若所述第二电梯门状态与所述第一电梯门状
态相同，则将所述第一电梯门状态作为最终的电梯门状态进行输出；否则，进一步基于所述第三视频数据对电梯门区域子图像进行连通域分析，若不存在面积大于第二阈值的连通域，则将所述第二电梯门状态作为最终的电梯门状态进行输出。
64.在本发明实施例中，由于电梯内乘员情况复杂，所以单纯依赖电梯内的视频图像是无法保证电梯门状态识别的准确性的。比如，电梯内经常会有乘员携带大型物品(比如具有一定高度的家具、装修用的板材等)进入，这些物品可能会遮挡电梯门，此时，基于第一视频数据就很有可能得出错误的门状态的识别结果。针对该问题，本发明先对第一视频数据进行连通域分析，当发现存在面积大于第二阈值的连通域(比如具有一定高度的家具、装修用的板材等)时，说明第一电梯门状态的准确性难以保证，进一步调取位于电梯外部的第三视频数据(比如对应楼层的电梯外可以拍摄到电梯门对外侧的摄像头的视频数据)进行识别，如果内外识别结果相同，说明第一电梯门状态是准确的，直接输出；如果内外识别结果不同，则进一步判断电梯门外部是否也有乘员携带大型物品(比如具有一定高度的家具、装修用的板材等)准确进入电梯，此时同样进行连通域分析，如果外部不存在面积大于第二阈值的连通域，则说明第二电梯门状态更为可信，将其作为最终的电梯门状态进行输出。另外，当外部也存在面积大于第二阈值的连通域，则说明基于内外数据都无法有效进行门状态的识别，此时，可暂定电梯的启动并发出警示音，等待乘员对携带的物品进行一定挪移，以可以明确判断电梯门状态为止(比如至电梯门中间区域完全露出时)。当然，当存在连通域的面积大于第三阈值时，说明该物品过大，不宜使用该电梯搬运，此时也可以暂停电梯的启动，并对乘员进行警示提醒。
65.实施例二
66.请参阅图2，图2是本技术实施例公开的一种基于深度学习的电梯开关门状态识别装置的结构示意图。如图2所示，本技术实施例的一种基于深度学习的电梯开关门状态识别装置，所述装置包括获取模块、传输模块、深度学习识别模块、输出模块；其中，
67.所述获取模块，用于获取电梯内第一视频数据；
68.所述传输模块，用于当所述第一视频数据中电梯门区域的像素变化情况大于第一阈值时，将所述第一视频数据传输至深度学习识别模块，
69.所述深度学习识别模型，用于对所述第一视频数据进行识别，输出第一电梯门状态。
70.该实施例中的一种基于深度学习的电梯开关门状态识别装置的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
71.实施例三
72.请参阅图3，图3是本技术实施例公开的一种电子设备，所述设备包括：
73.存储有可执行程序代码的存储器；
74.与所述存储器耦合的处理器；
75.所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的基于深度学习的电梯开关门状态识别方法。
76.实施例四
77.本技术实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，
该计算机程序被处理器运行时执行如实施例一所述的基于深度学习的电梯开关门状态识别方法。
78.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
79.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
80.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
81.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。