堆积物检测方法、装置及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种堆积物检测方法、装置及计算机可读存储介质。


背景技术：

2.在学校、商场、车站等人群密度较大的场所，出入口通畅是保证人员安全的第一要素。但是在日常生活中，人们往往忽视了通道顺畅的重要性，人们经常在楼道、楼梯口、电梯口等位置堆放杂物，包括电动车、纸板、废旧椅子等。一般情况下，只要通道没有被完全堵死，少量人群有规律的走动是不会受到任何影响的，但是一旦发生危险，势必会造成大量的人群涌动，那么被杂物堆积的通道会严重影响到人员的撤离速度，从而容易引起危险。除了通道区域，对于广场、马路、操场等空旷区域，堆放杂物更容易被人们忽视，但是占用这类公共区域引起的问题多且危险，同样值得我们关注。


技术实现要素：

3.本技术提供一种积物检测方法、装置及计算机可读存储介质，能够准确地检测堆积物，且适用于任何场景，复用性高。
4.本技术实施例第一方面提供一种堆积物检测方法，所述访问方法包括：获取待检测场景的三维点云数据；将所述三维点云数据映射到水平面上，得到二维点云数据；根据所述三维点云数据中的高度信息，对所述二维点云数据进行聚类处理，得到所述待检测场景中不同堆积物的子点云数据；根据不同所述堆积物各自的子点云数据，确定不同所述堆积物各自的尺寸信息；根据不同所述堆积物各自的尺寸信息，确定是否进行报警提示。
5.本技术实施例第二方面提供一种堆积物检测装置，所述堆积物检测装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
6.本技术实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。
7.有益效果是：本技术堆积物检测方法中，先获取待检测场景的三维点云数据，然后将三维点云数据映射到水平面上，得到二维点云数据；再根据三维点云数据中对应的高度信息，对二维点云数据进行聚类处理，得到待检测场景中不同堆积物的子点云数据；以及根据不同堆积物各自的子点云数据，确定不同堆积物各自的尺寸信息；最后根据不同堆积物各自的尺寸信息，确定是否进行报警提示。整个方法可以准确地对堆积物进行检测，及时通知相关人员对可能会造成堵塞的堆积物进行清理，保证公共区域的流通性，以防安全事故的发生，且不需要关注堆积物的类别和形状，可以适用于多个场景，复用性高。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术堆积物检测方法一实施方式的流程示意图；
10.图2是图1中步骤s110的流程示意图；
11.图3是图1中步骤s140的流程示意图；
12.图4是本技术堆积物检测装置一实施方式的结构示意图；
13.图5是本技术堆积物检测装置另一实施方式的结构示意图；
14.图6是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
15.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
16.参阅图1，图1是本技术堆积物检测方法一实施方式的流程示意图，该检测方法包括：
17.s110：获取待检测场景的三维点云数据。
18.其中，待检测场景可以是任何一个需要进行堆积物检测的场景，例如电梯入口处、楼梯口处、公共区域等。
19.其中，三维点云数据包括多个三维形式的坐标，每个坐标对应一个点。
20.在本实施方式中，结合图2，步骤s110获取三维点云数据的步骤，包括：
21.s111：采用双目相机对待检测场景进行拍摄，得到第一图像、第二图像。
22.其中，双目相机包括两个图像采集器，该两个图像采集器之间形成有预定角度，以从不同角度对待检测场景进行图像采集，从而得到第一图像以及第二图像。
23.其中，为了尽可能最大面积地进行监测，双目相机的安装方式可以采用顶装或者斜装的方式。
24.s112：根据第一图像以及第二图像，确定待检测场景的深度图像。
25.具体地，由于第一图像和第二图像是对同一场景从不同拍摄角度进行拍摄而得到的，因此对比第一图像和第二图像，可以得到视差图，进而可得到深度图。
26.其中，可以先对第一图像、第二图像均进行畸变校正、立体校正，分别得到第一校正图像、第二校正图像，然后利用立体匹配算法(例如sgbm算法)对第一校正图像、第二校正图像进行处理，从而得到视差图，最后再根据平行双目视觉的几何关系，将视差图转换为深度图。
27.s113：根据深度图像，确定三维点云数据。
28.其中，深度图像是物体的三维表示形式，然后结合双目相机的内标定参数，可以将深度图像转换为三维点云数据。
29.需要说明的是，在其他实施方式中，也可以通过其他方式获取待检测场景的三维点云数据，例如，通过三维激光扫描仪扫描得到三维点云数据。
30.s120：将三维点云数据映射到水平面上，得到二维点云数据。
31.具体地，将三维点云数据从三维映射到二维，得到二维点云数据。其中，在从三维映射到二维时，将三维点云数据映射到水平面上。
32.其中步骤s120可以理解为，三维点云数据中每个点的坐标均包括高度分量，然后将每个点的高度分量均设置为0，得到对应的二维点云数据，即将三维点云数据投影到水平面上，得到二维点云数据。
33.在本实施方式中，考虑到本技术是对堆积物进行检测，为了减少后续的计算量，步骤s120在将点云数据从三维映射到二维之前，还会去除三维点云数据中对应预设目标的点云数据，然后再将剩余的三维点云数据映射到水平面上，得到二维点云数据。
34.其中，预设目标可以是人、车、动物等，在此不做限制。其中，可以先对与待检测场景对应的待检测图像进行目标识别，得到预设目标，然后对应预设目标在待检测场景中的位置，从三维点云数据中去除对应预设目标的点云数据。其中，与待检测场景对应的待检测图像可以是双目相机拍摄得到的第一图像或者第二图像，也可以是单目相机拍摄的图像。
35.其中，在对待检测图像进行目标识别时，可以采用yolo、ssd、faster_rcnn等目标检测框架进行检测。
36.同时在本实施方式中，考虑到步骤s110在获取待检测场景的三维点云数据时有可能存在误差，导致三维点云数据中会存在无效数据，例如存在某些点的坐标中的高度分量为负值，因此为了减少后续的计算量以及保证后续方法的精度，在去除三维点云数据中对应预设目标的点云数据时，还会去除无效数据。
37.其中，无效数据是符合预设条件的数据，例如是高度分量为负值的数据，或者是高度分量不符合实际场景的数据(例如高度分量过大，明显不符合实际场景)。
38.需要说明的是，在其他实施方式中，在映射之前，也可以只去除对应预设目标的点云数据、无效数据中的一个，在此不做限制。
39.s130：根据三维点云数据中对应的高度信息，对二维点云数据进行聚类处理，得到待检测场景中不同堆积物的子点云数据。
40.从上述分析过程可知，二维点云数据中每个点的坐标中高度分量均为0，但是对应的三维点云数据的高度分量不全为0。
41.其中，根据三维点云数据中的高度信息，对二维点云数据进行聚类处理指的是，将二维点云数据按照对应的三维点云数据中的高度信息(也就是坐标中的高度分量)进行聚类处理。
42.为了更好地理解，下面结合实例进行说明：
43.假设三维点云数据中包括1000个点，将该1000个点从1开始依序标号，分别为点a1、点a2……
点a
1000
，然后将该1000个点映射到水平面上，分别得到点b1、点b2……
点b
1000
，其中，点b1对应的高度信息为点a1的坐标中的高度分量，记为h1，点b2对应的高度信息为点a2的坐标中的高度分量，记为h2，以此类推，点b
1000
对应的高度信息为点a
1000
的坐标中的高度分量，记为h
1000
。
44.然后按照h1、h2……h1000
的大小对二维点云数据进行聚类处理。
45.其中，可以采用k-means聚类算法、em聚类算法或者dbscan聚类算法等对二维点云数据进行聚类处理，在此不做赘述。
46.在经过聚类处理后，将二维点云数据划分为多个类别(子点云数据)，其中每个类别对应一个堆积物，不同类别对应不同的堆积物。
47.s140：根据不同堆积物各自的子点云数据，确定不同堆积物各自的尺寸信息。
48.其中，由于步骤s120是将三维点云数据映射到水平面上，因此在经过步骤s130聚类处理后，堆积物对应的子点云数据的分布情况能够表征该堆积物在水平面上的投影。
49.参阅图3，在本实施方式中，步骤s140具体包括：
50.s141：生成不同堆积物各自的子点云数据的外接矩形框。
51.具体地，在得到各个堆积物对应的子点云数据后，利用不同的矩形框分别框住不同的子点云数据，即进行矩形框拟合，从而每个堆积物都会存在与之对应的外接矩形框。
52.s142：根据不同堆积物各自对应的外接矩形框，确定不同堆积物各自在预设方向上的宽度。
53.具体地，堆积物对应的外接矩形框表征着堆积物在水平面上投影的大小，而本实施方式考虑到同一个堆积物在不同的摆放姿态下对通道的影响不同，只需要根据堆积物的外接矩形框，确定堆积物在预设方向上的宽度。
54.为了更好地理解，结合一个楼梯口处摆放了一辆自行车的场景进行说明：
55.假设自行车有两种摆放姿态，第一种是贴着墙摆放，此时自行车不会堵着楼梯口，这种摆放姿态在某些情况下是允许的，第二种是自行车正对着楼梯口摆放，此时自行车会堵着楼梯口，这种摆放姿态在任何情况下都是不被允许的。但是对于这两种摆放姿态而言，自行车在地面上的投影的尺寸均相同，因此为了忽略第一种摆放姿态，后续只针对第二种摆放姿态进行报警，此时只需要关注自行车投影在预定方向上的宽度。
56.需要说明的是，在其他实施方式中，步骤s142也可以确定堆积物在各个方向上的宽度，后续结合堆积物在各个方向上的宽度是否满足报警条件而确定是否进行报警。
57.s143：根据不同堆积物各自的子点云数据对应的高度信息，确定堆积物各自的高度。
58.在一应用场景中，步骤s143具体包括：根据不同堆积物各自的子点云数据中预设点对应的高度信息，确定不同堆积物各自的高度。
59.具体地，预设点可以是堆积物对应的子点云数据中的中心点，将该中心点对应的高度分量，确定为堆积物的高度。结合前述内容，可以理解的是，中心点对应的高度分量为三维点云数据中与中心点对应的数据中的高度分量。
60.其中，预设点还可以是堆积物对应的子点云数据中的其他点，例如，是堆积物对应的子点云数据中的任意一点，或者对应高度分量最大的点等。
61.在另一应用场景中，步骤s143具体包括：计算堆积物对应的子点云数据对应的高度的平均值，将该平均值作为堆积物的高度。
62.具体地，计算堆积物对应的子点云数据中所有点对应的高度的平均值，将该平均值作为堆积物的高度。
63.在其他应用场景中，步骤s143还可以具体包括：计算堆积物对应的子点云数据所对应的最大高度和最小高度的平均值，得到堆积物的高度。总而言之，本技术对步骤s143的
具体过程不做限制。
64.s150：根据不同堆积物各自的尺寸信息，确定是否进行报警提示。
65.在得到堆积物的尺寸信息后，判断是否满足报警条件，在满足报警条件时，进行报警提示，以通知相关人员及时对堆积物进行清理。
66.在本实施方式中，步骤s150具体包括：响应于至少一个堆积物在预设方向上的宽度超过第一阈值以及高度超过第二阈值，确定进行报警。
67.具体地，只要待检测场景中存在一个堆积物，其在预设方向上的宽度超过第一阈值、高度超过第二阈值，就进行报警。也就是说，如果一个堆积物其在预设方向上的宽度超过第一阈值、高度超过第二阈值，则说明该堆积物可能造成了通道的堵塞，进而报警提示。
68.其中本技术对报警的方式不做限制，可以是声音报警，也可以是信号灯报警。
69.需要说明的是，在其他实施方式中，步骤s150还可以具体包括：响应于在预设方向上的宽度超过第一阈值以及高度超过第二阈值的堆积物的数量达到数量阈值，确定报警。
70.此时与上述不同的是，只有满足条件的堆积物的数量达到阈值，才进行报警。
71.其中考虑到在某些场景下，堆积物堵塞通道是短暂性的，例如用户在摆放自行车的过程中，可能出现了上述第二种姿态，但是其最终是以上述第一种姿态进行摆放，此时如果报警，则会出现误报的现象，因此为了避免该现象，在本实施方式中，步骤s150进一步具体包括：响应于至少一个堆积物在预设方向上的宽度超过第一阈值以及高度超过第二阈值的持续时间达到时间阈值，确定进行报警。
72.具体地，此时对待检测场景进行连续监控，也就是说，多次执行上述步骤s110至步骤s140，当发现持续有堆积物在预设方向上的宽度超过第一阈值以及高度超过第二阈值，则确定进行报警。
73.其中，本实施方式的第一阈值、第二阈值可以是人为设定的固定值，也可以是自动生成的值，例如在一应用场景中，将与待检测场景对应的待检测图像输入预先训练好的场景识别模型，得到第一阈值以及第二阈值。
74.其中，预先对场景识别模型进行训练，其在接收到图像后，能够自动对应图像中的场景输出第一阈值以及第二阈值。
75.场景识别模型可以对应不同的场景生成不同的第一阈值、第二阈值，从而无需对应不同的场景进行第一阈值、第二阈值的修改，可以使整个检测方法更加灵活。
76.其中为了便于说明，将在预设方向上的宽度超过第一阈值以及高度超过第二阈值的堆积物定义为危险堆积物。本实施方式为了报警信息的丰富性，检测方法还包括：根据危险堆积物的外接矩形框的位置，确定危险堆积物在待检测场景中的位置；根据危险堆积物在待检测场景中的位置，在与待检测场景对应的待检测图像中识别危险堆积物的类别。
77.具体地，根据危险堆积物的外接矩形框在图像中的位置，可以确定危险堆积物在待检测场景中的位置，然后对待检测图像中相应区域的子图像进行目标识别，能够得到危险堆积物的类别，例如，危险堆积物是自行车或者纸箱等。
78.其中，在进行类别识别时，为了提高识别的准确率以及效率，可以利用预先训练好的分类模型进行识别。
79.通过上述方法，在进行报警时，可以输出危险堆积物的类别、危险堆积物在待检测场景中的位置、危险堆积物的高度以及在预设方向上的宽度等信息，以便相关人员进行清
理，保证公共区域的流通性，以防安全事故的发生。
80.从上述内容可以看出，整个检测方法一方面可以准确地对堆积物进行检测，及时通知相关人员对可能会造成堵塞的堆积物进行清理，保证公共区域的流通性，以防安全事故的发生，另一方面堆积物的类别和形状对整个检测方法没有任何的影响，不需要关注堆积物的类别和形状，整个检测方法可以适用于多个场景，复用性高。
81.参阅图4，图4是本技术堆积物检测装置一实施方式的结构示意图。该堆积物检测装置200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。
82.其中，堆积物检测装置200可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
83.参阅图5，图5是本技术堆积物检测装置另一实施方式的结构示意图。该堆积物检测装置300包括点云获取模块310、点云映射模块320、点云聚类模块330、尺寸确定模块340以及报警提示模块350。
84.点云获取模块310用于获取待检测场景的三维点云数据。
85.点云映射模块320与点云获取模块310连接，用于将三维点云数据映射到水平面上，得到二维点云数据。
86.点云聚类模块330与点云映射模块320、连接，用于根据三维点云数据中对应的高度信息，对二维点云数据进行聚类处理，得到待检测场景中不同堆积物的子点云数据。
87.尺寸确定模块340与点云聚类模块330连接，用于根据不同堆积物各自的子点云数据，确定不同堆积物各自的尺寸信息。
88.报警提示模块350与尺寸确定模块340连接，用于根据不同堆积物各自的尺寸信息，确定是否进行报警提示。
89.在一实施方式中，尺寸确定模块340具体用于生成不同堆积物各自的子点云数据的外接矩形框；根据不同堆积物各自对应的外接矩形框，确定不同堆积物各自在预设方向上的宽度；根据不同堆积物各自的子点云数据对应的高度信息，确定堆积物各自的高度。
90.在一实施方式中，尺寸确定模块340具体用于根据不同堆积物各自的子点云数据中预设点对应的高度信息，确定不同堆积物各自的高度。
91.在一实施方式中，报警提示模块350具体用于响应于至少一个堆积物在预设方向上的宽度超过第一阈值以及高度超过第二阈值，确定进行报警。
92.在一实施方式中，报警提示模块350具体用于响应于至少一个堆积物在预设方向上的宽度超过第一阈值以及高度超过第二阈值的持续时间达到时间阈值，确定进行报警。
93.在一实施方式中，堆积物检测装置300还包括阈值确定模块，用于将与待检测场景对应的待检测图像输入预先训练好的场景识别模型，得到第一阈值以及第二阈值。
94.在一实施方式中，将在预设方向上的宽度超过第一阈值以及高度超过第二阈值的堆积物定义为危险堆积物，堆积物检测装置300还包括类别识别模块，用于根据危险堆积物的外接矩形框的位置，确定危险堆积物在待检测场景中的位置，而后根据危险堆积物在待检测场景中的位置，在与待检测场景对应的待检测图像中识别危险堆积物的类别。
95.在一实施方式中，点云映射模块320具体用于去除三维点云数据中的无效数据，和/或，对应预设目标的点云数据；将剩余的三维点云数据映射到水平面上，得到二维点云数据。
96.在一实施方式中，点云获取模块310具体用于采用双目相机对待检测场景进行拍摄，得到第一图像、第二图像；根据第一图像以及第二图像，确定待检测场景的深度图像；根据深度图像，确定三维点云数据。
97.其中，堆积物检测装置300可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
98.参阅图6，图6是本技术计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410，计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。
99.其中，计算机可读存储介质400具体可以为u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等可以存储计算机程序410的装置，或者也可以为存储有该计算机程序410的服务器，该服务器可将存储的计算机程序410发送给其他设备运行，或者也可以自运行该存储的计算机程序410。
100.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。