倒爬滑梯行为的检测方法及装置与流程

1.本公开涉及行为检测技术领域，尤其涉及一种倒爬滑梯行为的检测方法及装置。


背景技术：

2.在游乐园、幼儿园和小区等场所，儿童滑梯非常常见。儿童从滑梯的上端滑到下端，是谓正爬滑梯，儿童从滑梯的下端爬到上端，是谓倒爬滑梯。儿童玩滑梯应该是正爬滑梯，倒爬滑梯存在风险，应该被禁止。目前关于儿童玩滑梯，只能靠家长或者工作人员告诫，在滑梯旁边监看，以规范儿童玩滑梯的行为，避免安全隐患。但是这需要人力，目前没有在儿童倒爬滑梯时，发出告警的方法。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：在儿童倒爬滑梯时，无法自动发出告警的问题。


技术实现要素：

4.有鉴于此，本公开实施例提供了一种倒爬滑梯行为的检测方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，在儿童倒爬滑梯时，无法自动发出告警的问题。
5.本公开实施例的第一方面，提供了一种倒爬滑梯行为的检测方法，包括：采集目标滑梯上的目标对象的图像；对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第一点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；在目标对象存在倒爬滑梯的行为的情况下，发出告警。
6.本公开实施例的第二方面，提供了一种倒爬滑梯行为的检测装置，包括：采集模块，被配置为采集目标滑梯上的目标对象的图像；确定模块，被配置为对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；识别模块，被配置为通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第一点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；警告模块，被配置为在目标对象存在倒爬滑梯的行为的情况下，发出告警。
7.本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
8.本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
9.本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例采集目标滑梯上的目标对象的图像；对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；通过神经网络模型识别第一点云数据，判断目标对象是否存在
communication，nfc)、红外(infrared)等，本公开实施例对此不作限制。
22.用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接，以接收或发送信息等。需要说明的是，终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
23.图2是本公开实施例提供的一种倒爬滑梯行为的检测方法的流程示意图。图2的倒爬滑梯行为的检测方法可以由图1的终端设备或服务器执行。如图2所示，该倒爬滑梯行为的检测方法包括：
24.s201，采集目标滑梯上的目标对象的图像；
25.s202，对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；
26.s203，通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第一点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；
27.s204，在目标对象存在倒爬滑梯的行为的情况下，发出告警。
28.通过视觉采集装置采集目标滑梯上的目标对象的图像，其中，视觉采集装置可以是一种视觉传感装置；通过通信传输装置对图像进行编译，得到第一封包信息，通信传输装置还用于将封包信息传输给云计算平台，因为对图像进行编译，得到封包后的信息是图像处理领域中的常用方法，在此不再赘述；通过云计算平台根据第一封包信息，确定图像对应的第一点云数据，其中，封包信息可以理解为一种流媒体信息；通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，在目标对象存在倒爬滑梯的行为的情况下，发出告警。
29.根据本公开实施例提供的技术方案，因为本公开实施例采集目标滑梯上的目标对象的图像；对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为；在目标对象存在倒爬滑梯的行为的情况下，发出告警，因此，采用上述技术手段，可以解决现有技术中，在儿童倒爬滑梯时，无法自动发出告警的问题，进而避免儿童玩滑梯时的安全隐患。
30.在步骤s202中，根据第一封包信息，确定图像对应的第一点云数据，包括：统计第一封包信息，得到统计信息；根据统计信息，对第一封包信息进行分析，得到分析信息；根据分析信息，对第一封包信息进行删选操作；根据经过删选操作后的第一封包信息，确定图像对应的第一点云数据。
31.图像对应的封包信息中可能存在无用信息，为了提高神经网络模型识别的效率，本公开提供一种对封包信息进行删选的方法。统计信息是对封包信息的汇总，比如封包信息中的一些信息是图像背景对应的信息，一些信息是图像中的目标对象对应的信息。对第一封包信息进行分析，就是分析出封包信息中哪些信息是需要的，哪些信息是不需要的。神经网络模型检测目标对象是否存在倒爬滑梯的行为，目标对象的信息是最重要的，因此可以将图像背景对应的信息从封包信息中的删除，只保留目标对象的信息。
32.在步骤s203中，通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，包括：第一点云数据，包括：第一关节点云数据、第一头部点云数据和第一足
部点云数据；将以下至少一种数据输入神经网络模型：第一关节点云数据、第一头部点云数据和第一足部点云数据，输出判断结果，其中，判断结果用于表明目标对象是否存在倒爬滑梯的行为。
33.倒爬滑梯和正爬滑梯的儿童的关节、头部、和足部都是不一样的，因此可以通过检测关节点云数据、头部点云数据和足部点云数据，来判断是否存在倒爬滑梯的行为。目标对象包括但不限于儿童。比如倒爬滑梯的儿童的头部是脸朝下，脑壳在上，而正爬滑梯的儿童的脸不会朝下，通过儿童的头部的信息，就可以判断是否存在倒爬滑梯的行为。其中，儿童的头部应该理解为儿童肩膀及肩膀以上的部位。比如倒爬滑梯的儿童的足部是脚趾在下，脚跟在上，而正爬滑梯的儿童的足部是脚趾在上，脚跟在下，通过儿童的足部的信息，就可以判断是否存在倒爬滑梯的行为。
34.在一个可选实施例中，包括：通过不同角度采集目标对象的多张图像；对多张图像进行编译，得到第二封包信息，并根据第二封包信息，确定多张图像对应的第二点云数据；通过神经网络模型识别第二点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第二点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；在目标对象存在倒爬滑梯的行为的情况下，发出告警。
35.因为采集角度相对于目标对象会产生一定的遮蔽，比如滑梯侧面拍摄的图片，有些信息是拍不到的。为了解决这种问题，本公开实施例通过不同角度采集目标对象的多张图像，通过对不同角度下的多张图像的处理，减少遮蔽部分，增加有用的信息，提高检测的准确率。需要说明的是，第二点云数据，也包括：关节点云数据、头部点云数据和足部点云数据。
36.在一个可选实施例中，包括：采集目标对象的多张图像；对多张图像进行编译，得到第三封包信息，并根据第三封包信息，确定多张图像对应的第一位移点云数据；通过神经网络模型识别第一位移点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第一位移点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；在目标对象存在倒爬滑梯的行为的情况下，发出告警。
37.通过目标对象的位移，也可以判断目标对象是否存在倒爬滑梯的行为。比如，倒爬滑梯的目标对象的位移的方向是朝上的，正爬滑梯的目标对象的位移的方向是朝下的(此处的朝上和朝下都是倾斜的，比如朝上可以是水平向上三十度)。第一位移点云数据包括位移的方向。
38.在一个可选实施例中，包括：获取训练数据集，其中，训练数据集，包含：多张人倒爬滑梯的图像和多张人正爬滑梯的图像；对训练数据集进行编译，得到第四封包信息，并根据第四封包信息，确定训练数据集对应的第三点云数据；利用第三点云数据训练神经网络模型。
39.利用第三点云数据训练神经网络模型之前，应该对第三点云数据进行标注处理。利用第三点云数据训练神经网络模型，使得神经网络模型通过训练，学习并保存有点云数据和人是否存在倒爬滑梯的行为之间的对应关系。
40.利用第三点云数据训练神经网络模型，包括：第三点云数据，包括：第二关节点云数据、第二头部点云数据、第二足部点云数据、第二位移点云数据和多角度点云数据；利用以下至少一种数据训练神经网络模型：第二关节点云数据、第二头部点云数据、第二足部点
云数据、第二位移点云数据和多角度点云数据。
41.第二关节点云数据、第二头部点云数据、第二足部点云数据和第二位移点云数据分别类似于第一关节点云数据、第一头部点云数据和第一足部点云数据、第一位移点云数据，第一和第二只是表明点云数据对应的图像不一样。多角度点云数据类似于第二点云数据，多角度点云数据是通过不同角度采集的训练图像对应的点云数据。
42.上述所有可选技术方案，可以采用任意结合形成本技术的可选实施例，在此不再一一赘述。
43.下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
44.图3是本公开实施例提供的一种倒爬滑梯行为的检测装置的示意图。如图3所示，该倒爬滑梯行为的检测装置包括：
45.采集模块301，被配置为采集目标滑梯上的目标对象的图像；
46.确定模块302，被配置为对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；
47.识别模块303，被配置为通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第一点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；
48.警告模块304，被配置为在目标对象存在倒爬滑梯的行为的情况下，发出告警。
49.通过视觉采集装置采集目标滑梯上的目标对象的图像，其中，视觉采集装置可以是一种视觉传感装置；通过通信传输装置对图像进行编译，得到第一封包信息，通信传输装置还用于将封包信息传输给云计算平台，因为对图像进行编译，得到封包后的信息是图像处理领域中的常用方法，在此不再赘述；通过云计算平台根据第一封包信息，确定图像对应的第一点云数据，其中，封包信息可以理解为一种流媒体信息；通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为，在目标对象存在倒爬滑梯的行为的情况下，发出告警。
50.根据本公开实施例提供的技术方案，因为本公开实施例采集目标滑梯上的目标对象的图像；对图像进行编译，得到第一封包信息，并根据第一封包信息，确定图像对应的第一点云数据；通过神经网络模型识别第一点云数据，判断目标对象是否存在倒爬滑梯的行为；在目标对象存在倒爬滑梯的行为的情况下，发出告警，因此，采用上述技术手段，可以解决现有技术中，在儿童倒爬滑梯时，无法自动发出告警的问题，进而避免儿童玩滑梯时的安全隐患。
51.可选地，确定模块302还被配置为统计第一封包信息，得到统计信息；根据统计信息，对第一封包信息进行分析，得到分析信息；根据分析信息，对第一封包信息进行删选操作；根据经过删选操作后的第一封包信息，确定图像对应的第一点云数据。
52.图像对应的封包信息中可能存在无用信息，为了提高神经网络模型识别的效率，本公开提供一种对封包信息进行删选的方法。统计信息是对封包信息的汇总，比如封包信息中的一些信息是图像背景对应的信息，一些信息是图像中的目标对象对应的信息。对第一封包信息进行分析，就是分析出封包信息中哪些信息是需要的，哪些信息是不需要的。神经网络模型检测目标对象是否存在倒爬滑梯的行为，目标对象的信息是最重要的，因此可
以将图像背景对应的信息从封包信息中的删除，只保留目标对象的信息。
53.第一点云数据，包括：第一关节点云数据、第一头部点云数据和第一足部点云数据。
54.可选地，识别模块303还被配置为将以下至少一种数据输入神经网络模型：第一关节点云数据、第一头部点云数据和第一足部点云数据，输出判断结果，其中，判断结果用于表明目标对象是否存在倒爬滑梯的行为。
55.倒爬滑梯和正爬滑梯的儿童的关节、头部、和足部都是不一样的，因此可以通过检测关节点云数据、头部点云数据和足部点云数据，来判断是否存在倒爬滑梯的行为。目标对象包括但不限于儿童。比如倒爬滑梯的儿童的头部是脸朝下，脑壳在上，而正爬滑梯的儿童的脸不会朝下，通过儿童的头部的信息，就可以判断是否存在倒爬滑梯的行为。其中，儿童的头部应该理解为儿童肩膀及肩膀以上的部位。比如倒爬滑梯的儿童的足部是脚趾在下，脚跟在上，而正爬滑梯的儿童的足部是脚趾在上，脚跟在下，通过儿童的足部的信息，就可以判断是否存在倒爬滑梯的行为。
56.可选地，识别模块303还被配置为通过不同角度采集目标对象的多张图像；对多张图像进行编译，得到第二封包信息，并根据第二封包信息，确定多张图像对应的第二点云数据；通过神经网络模型识别第二点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第二点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；在目标对象存在倒爬滑梯的行为的情况下，发出告警。
57.因为采集角度相对于目标对象会产生一定的遮蔽，比如滑梯侧面拍摄的图片，有些信息是拍不到的。为了解决这种问题，本公开实施例通过不同角度采集目标对象的多张图像，通过对不同角度下的多张图像的处理，减少遮蔽部分，增加有用的信息，提高检测的准确率。需要说明的是，第二点云数据，也包括：关节点云数据、头部点云数据和足部点云数据。
58.可选地，识别模块303还被配置为采集目标对象的多张图像；对多张图像进行编译，得到第三封包信息，并根据第三封包信息，确定多张图像对应的第一位移点云数据；通过神经网络模型识别第一位移点云数据，判断目标对象是否存在倒爬滑梯的行为，其中，神经网络模型已通过训练，学习并保存有第一位移点云数据和目标对象是否存在倒爬滑梯的行为之间的对应关系；在目标对象存在倒爬滑梯的行为的情况下，发出告警。
59.通过目标对象的位移，也可以判断目标对象是否存在倒爬滑梯的行为。比如，倒爬滑梯的目标对象的位移的方向是朝上的，正爬滑梯的目标对象的位移的方向是朝下的(此处的朝上和朝下都是倾斜的，比如朝上可以是水平向上三十度)。第一位移点云数据包括位移的方向。
60.可选地，识别模块303还被配置为获取训练数据集，其中，训练数据集，包含：多张人倒爬滑梯的图像和多张人正爬滑梯的图像；对训练数据集进行编译，得到第四封包信息，并根据第四封包信息，确定训练数据集对应的第三点云数据；利用第三点云数据训练神经网络模型。
61.利用第三点云数据训练神经网络模型之前，应该对第三点云数据进行标注处理。利用第三点云数据训练神经网络模型，使得神经网络模型通过训练，学习并保存有点云数据和人是否存在倒爬滑梯的行为之间的对应关系。
62.第三点云数据，包括：第二关节点云数据、第二头部点云数据、第二足部点云数据、第二位移点云数据和多角度点云数据。
63.可选地，识别模块303还被配置为利用以下至少一种数据训练神经网络模型：第二关节点云数据、第二头部点云数据、第二足部点云数据、第二位移点云数据和多角度点云数据。
64.第二关节点云数据、第二头部点云数据、第二足部点云数据和第二位移点云数据分别类似于第一关节点云数据、第一头部点云数据和第一足部点云数据、第一位移点云数据，第一和第二只是表明点云数据对应的图像不一样。多角度点云数据类似于第二点云数据，多角度点云数据是通过不同角度采集的训练图像对应的点云数据。
65.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
66.图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
67.示例性地，计算机程序403可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器402中，并由处理器401执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序403在电子设备4中的执行过程。
68.电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
69.处理器401可以是中央处理单元(central processing unit，cpu)，也可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
70.存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。存储器402还可以用于暂时地存储已经输出或者将要输出的数据。
71.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的
功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
72.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
73.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
74.在本公开所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
75.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
76.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
77.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
78.以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者
替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。