地空协同地图构建方法、装置、设备及存储介质与流程

1.本技术涉及图像视觉技术领域，特别涉及一种用于事故现场取证的地空协同地图构建方法、装置、设备及存储介质。


背景技术：

2.通过机器或无人机巡检作业是一个重要用途之一。由于人工作业局限性，机器设备能够突破时间和空间视野的局限性。特别适用于道路检测、事故现场取证和地图测绘等领域。
3.在相关技术中，单一采用无人机巡检绘制地图或者采用地面小车测绘地图的方式存在画面比例失真、场景构建遗漏和不全面的问题。特别针对事故现场，构建的地图精度问题会影响到事故取证和分析的效率和结果。


技术实现要素：

4.本技术提供了一种地空协同地图构建方法、装置、计算机设备及存储介质，解决了相关技术中对事故现场地图构建不精确以及取证困难的问题。
5.一方面，提供了一种地空协同地图构建方法，所述方法包括：
6.通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；其中，所述风险区域为事故场景包含的所有区域，所述目标检测区域位于风险区域中；
7.分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定；其中，无人机生成的第一点云地图和机器人生成的第二点云地图具有不同的相机姿态；
8.将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体。
9.另一方面，提供了一种地空协同地图构建装置，所述装置包括：
10.第一确定模块，用于通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；其中，所述风险区域为事故场景包含的所有区域，所述目标检测区域位于风险区域中；
11.点云地图生成模块，用于分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定；其中，无人机生成的第一点云地图和机器人生成的第二点云地图具有不同的相机姿态；
12.地图构建模块，用于将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体。
13.另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存
储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方面所述的地空协同地图构建方法。
14.另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方面所述的地空协同地图构建方法。
15.另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一方面所述的地空协同地图构建方法。
16.本技术提供的技术方案带来的有益效果至少包括：通过无人机根据现场画面确定风险区域和目标检测区域，同时和地面机器人搭载的双目摄像头对风险区域进行扫描探测，生成各自相机姿态下的三维点云地图，同时在各自的点云地图中对目标检测区域中的目标物体进行识别和标定，便于现场取证；进而再将两个点云地图的点云数据进行拼接融合，生成融合点云地图，融合点云地图弥补了单个无人机和机器人扫描探测生成的点云地图存在数据遗漏和覆盖不全的情况，因而构建的三维地图更为精准，且在目标检测区域中显示出文字和/或高亮标定的目标物体，便于场外人员通过地图画面取证，提高作业效率。
附图说明
17.图1示出了本技术实施例提供的地空协同地图构建方法的场景示意图；
18.图2是本技术一个实施例提供的地空协同地图构建方法的流程图；
19.图3是本技术另一实施例提供的地空协同地图构建方法的流程图；
20.图4是本技术实施例提供的通过画面内容识别确定的风险区域；
21.图5是本技术实施例提供的将第一点云地图和第二点云地图中的点云数据进行拼接融合的示意图；
22.图6是本技术实施例提供的地空协同地图构建方法的结构示意图；
23.图7是本技术实施例提供的地空协同地图构建装置的结构框图。
具体实施方式
24.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
25.在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
26.图1示出了本技术实施例提供的地空协同地图构建方法的场景示意图。受限于事故现场的危险性，例如火灾现场或危险化学品泄漏的场景，并不适用于人工处理，但为了及时处理和现场取证等目的，需要通过仪器设备进入现场扫描，并通过场外接收数据生成三维地图，方便熟悉地形和取证。本方案中采用地面机器人小车和无人机设备共同实施。如图中所示，地面机器人110和无人机120分别搭载由双目摄像头模组，双目摄像头模组可以进
行彩色和深度图像扫描成像。事故现场中划分有多个目标检测区域130，目标检测区域130中存在目标物体140，包括但不限于建筑楼体、道路、车辆、设施、散落物以及人体等物体。其中的两个双目摄像头模组扫描探测的角度互余，也即摄像头和关键点扫描路径呈直线最短，并且以目标检测区域130环绕式扫描成像，尽可能形成立体感知视野。无人机120和地面机器人110通过场外的控制台150发送指令进行控制。
27.图2是本技术一个实施例提供的地空协同地图构建方法的流程图。包括如下步骤：
28.步骤201，通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域。
29.场外控制台控制无人机飞往事故现场上方拍摄现场画面，场外人员可以通过传回的数据在控制台上观察现场画面，并通过对画面进行分析，截取画面中的风险区域和目标检测区域，风险区域是事故现场画面所包含的所有区域，例如整个厂区区域。而目标检测区域则是针对场景画面的重点关注区域，例如核心事故区或建筑物密集区，其发生危险的可能性更高，地面机器人和无人机设备应侧重于对该区域进行识别成像。
30.在一种可能的实施方式中，可以通过直接对画面内容进行识别，根据建筑物和道路识别并标定出风险区域的边界线和目标检测区域。或者是通过场外人员在画面上手动标定边界线以及内部的目标检测区域，进而根据边界线发送扫描探测指令控制地面机器人小车和无人机进入风险区域进行扫描成像。
31.步骤202，分别通过无人机和地面机器人搭载的双目摄像头对风险区域进行视野探测，生成各自的三维点云地图，并对目标检测区域内的目标物体进行标定。
32.由于无人机和机器人分别搭载有双目摄像头，因而可以分别对风险区域进行视野探测，分别生成各自的三维点云地图。但由于相机姿态及内参不同，无人机生成的第一点云地图和地面机器人生成的第二点云地图是具有不同相机姿态的，且呈现视角各不相同，二者之间呈现的地图中难免会存在各自扫描不到或遗漏的物体，因而需要对两个点云地图中的点云数据进行识别和标定，标定的目的是为了在地图中突出显示，并生成便签保存，便于场外人员观测三维地图时对关键物体取证。
33.步骤203，将第一点云地图和第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于融合点云地图构建的三维地图中显示文字和/或高亮标定的目标物体。
34.前述说到第一点云地图和第二点云地图的视角各不相同，因而可能会存在物体扫描不全和遗漏的情况，并且标定的目标物体同样可能会遗漏，影响取证结果。所以本方案还需要对两个三维点云地图的点云数据进行数据融合，做到两个点云数据的互补，将遗漏的点云数据重新加入融合点云地图中。最终基于生成的融合点云地图构建出事故现场的三维地图，并在地图中显示文字和/或高亮标定的目标物体。
35.综上所述，本方案通过无人机根据现场画面确定风险区域和目标检测区域，同时和地面机器人搭载的双目摄像头对风险区域进行扫描探测，生成各自相机姿态下的三维点云地图，同时在各自的点云地图中对目标检测区域中的目标物体进行识别和标定，便于现场取证；进而再将两个点云地图的点云数据进行拼接融合，生成融合点云地图，融合点云地图弥补了单个无人机和机器人扫描探测生成的点云地图存在数据遗漏和覆盖不全的情况，因而构建的三维地图更为精准，且在目标检测区域中显示出文字和/或高亮标定的目标物体，便于场外人员通过地图画面取证，提高作业效率。
36.图3是本技术另一实施例提供的地空协同地图构建方法的流程图。包括如下步骤：
37.步骤301，获取现场画面并进行内容识别，根据事故场景范围标定出风险区域的边界线和事故等级。
38.在一种可能的实施方式中，无人机传回现场事故画面后，通过控制台进行画面内容分析和识别，判断事故区域所涉及到的面积区域。以火灾为例，通过对画面识别判断着火点覆盖区域以及街道建筑物的距离划定风险区域的边界线，进而根据覆盖区域大小划定事故等级。再如危险气体泄露的场景下，可以根据楼体及设施密度及数量划定面积区域、边界线和事故等级等。或者通过场外人员根据画面内容人工划定事故区域的边界线，并确定事故等级。
39.风险区域以及边界线的判断可以通过帧场学习的多边形建筑提取技术进行识别，具体可以识别画面中建筑物的形状、位置和密度，根据识别的建筑物形状和位置划定风险区域的大小，进而即可确定出对应的边界线。
40.步骤302，根据边界线的最长边和最短边，以及根据事故等级确定出目标检测区域的检测数量和检测半径。
41.图4是通过画面内容识别确定的风险区域。在确定风险区域后，计算出风险区域的面积大小以及各个边界线的长度，找出最短边la和最长边lb。确定最长边和最短边的目的是为了后续确定目标检测区域的检测半径，而面积大小和楼体密度用于确定出事故等级。在一种可能的实施方式中，将事故等级划定为三个级别，不同级别需要确定出不同检测数量的目标检测区域和检测半径。
42.当事故等级level＝3时，检测数量n》8，检测半径la《r《lb；
43.当事故等级level＝2时，检测数量n》12，检测半径la《r《1.2lb；
44.当事故等级level＝1时，检测数量n》18，检测半径la《r《1.5lb；
45.其中，la表示边界线的最短边，lb表示最长边；且不同的目标检测区域对应不同的检测半径。
46.level等级越高，表示事故面积越大，应该划定出更多需重点关注的目标检测区域，对其中的目标物体进行检测。
47.本方案中根据事故场景中楼体的坐标位置和密度选取圆心坐标及检测半径，例如在楼体或设备密集区域位置设置圆形位置的坐标，并根据楼体或设备的面积范围设定检测半径，但检测半径需满足上述等级要求。
48.步骤303，控制无人机按照目标检测区域的圆心位置坐标，以第一相机姿态进行环绕扫描探测，并对风险区域内的其他区域进行全域扫描探测，基于扫描图像生成第一点云地图。
49.在设定目标检测区域后，通过控制台向无人机发送控制指令，控制无人机按照目标检测区域的圆心位置坐标，以第一相机姿态进行环绕扫描探测。其中，无人机需要设定双目摄像头的扫描角度为倾斜向下呈现一定角度，且该角度需要和机器人仰视角度对应，也即能够形成直线观测视野。无人机按照默认或设定的路径进行扫描。而对于目标检测区域，则需要以圆形坐标为中心观测点，检测半径环绕式扫描拍摄，以生成立体的观测物体。
50.为了生成点云地图，本方案中采用双目摄像头，并采用orb-slam3算法进行扫描合成，在运动中进行的实时姿态估计，能够实现在地图中定位效果。
51.具体包括如下步骤：
52.步骤303a，获取相同时刻内第一双目摄像头扫描到的两张图像，并根据图像的像素间位置偏差计算得到扫描区域内物体的深度图信息。
53.在同一时间周期内，双目摄像头的普通摄像头和深度摄像头分别扫描获取到两张图像，为彩色图和深度图。由于相机的两个镜头存和扫描视角在位置偏差，可以根据两张图像的像素间位置偏差计算得到扫描区域内物体的深度图信息。深度图信息用于后续建立三维点云地图。
54.步骤303b，基于深度图信息、彩色图信息、第一相机姿态以及相机内参数据，对扫描区域内物体进行立体重构，获得三维的第一点云地图。
55.获取到深度图信息后，进一步根据深度图信息、彩色图信息、第一相机姿态以及相机内参数据，对扫描区域内物体进行立体重构，获得三维的第一点云地图。该方法采用orb-slam3方法实现在运动中定位和建图的功能。
56.步骤304，控制机器人按照目标检测区域的圆心位置坐标，以第二相机姿态进行环绕扫描探测，并对风险区域内的其他区域进行全域扫描探测，基于扫描图像生成第二点云地图。
57.与步骤303类似的，机器人设备同样需要在地面进行全域扫描探测，对于目标检测区域，需要以圆形坐标进行环绕式扫描，确保能够尽可能的扫描到现场的目标物体和环境。且机器人的摄像头视角为斜向上拍摄，与无人机摄像头角度相互余。例如无人机垂直地面俯角为40度，机器人平行地面仰角为60度，且和扫描物体构成直线最短距离，也能最大程度还原物体的三维结构。基于扫描到的区域和物体构建出第二点云地图。
58.需要说明的是，机器人和无人机按照各自的路径规划行进扫描，并非同步扫描同一区域或物体。
59.步骤305，分别对生成的第一点云地图和第二点云地图内目标检测区域内的物体进行识别，并对识别的目标物体的点云数据进行标定，关联生成第一目标标签。
60.对点云地图中的目标物体进行识别的目的是为了方便场外观测时的取证，例如本方案中将场景中的着火点、道路、建筑、设施、标志、标线、车辆及痕迹附着物、路面痕迹、散落物和人体等元素作为目标检测物体，对其进行重点关注和识别。在一种可能的实施方案中，采用yolov5智能识别算法进行识别，并基于识别结果对目标物体的点云数据进行标定，并根据地理位置信息关联生成第一目标标签。此外，还可以基于第一目标标签生成标签列表，场外人员在浏览第一点云地图或第二点云地图时通过点击标签列表中的第一目标标签快速定位到地图中的目标物体，节省手动翻阅寻找的时间。
61.步骤306，基于第一点云地图和第二点云地图中点云数据的位置信息和相机姿态信息进行点云匹配关联。
62.由于第一点云地图和第二点云地图分别是在不同相机姿态数据下获得的，点云地图的观测视角不同，且可能会存在个别物体被遮挡或扫描不全面的情况，因而点云数据不全，此时需要将两个点云数据进行匹配融合。本方案点云配准采用icp算法将两个点云数据进行匹配关联，目的是为了构建一个全新的坐标系将两个点云数据放置到一起，主要包括对原始点云数据进行采样、确定初始对应点集、去除错误对应点对和坐标变换求解，获得目标坐标系，进而将两个点云数据进行关联匹配。
63.步骤307，确定两个点云地图中的重叠区域，并将重叠区域的点云数据进行加权融合；对非重叠区域的点云数据进行特征匹配，并根据匹配特征差值筛选待融合点云数据集。
64.关联匹配完成后即可对两个点云数据进行融合，融合过程涉及到点云的分割筛选。首先通过欧式距离判断重叠区域，找出两个点云地图中的重叠区域。正常情况下的点云动图中应该存在大面积的重合区域，仅对于特殊区域的物体出现非重叠点云数据。对于分隔的重叠区域，将重叠区域的点云数据进行加权融合，加权融合的权重系数基于不同的场景和参数决定，例如设定无人机和机器人的权重系数为0.4和0.6，因为俯视角度获取的画面相较于机器人在环境内部扫描的数据准确性较差。该过程的流程图如图5所示。
65.针对非重叠区域，需要将两个点云数据进行特征匹配，通常利用其特征属性进行聚类，对每个点云数据或者局部空间点云数据进行特征的提取或者转换，得到多种属性。可以采用法向量，密度，距离，高程，强度等方法，将不同属性的点云分割出来，然后根据匹配特征差值筛选待融合点云数据集。待融合点云数据集中包含有符合条件的点云数据和坐标信息。例如扫描到地面树木的点云数据的噪点较大，将其剔除，道路上的汽车和伤员等符合匹配要求，加入到待融合点云数据集。
66.步骤308，基于加权融合后的点云数据、待融合点云数据集以及对应的位置信息生成融合点云地图。
67.基于计算的新坐标系、加权融合后的点云数据、待融合点云数据集，按照对应的位置信息将各个点云数据放置当坐标系的特定区域，生成融合点云地图。融合点云地图中聚合了两个点云地图中的点云数据。
68.步骤309，重新确定并识别融合点云地图中目标物体的点云数据，并基于点云数据关联生成第二目标标签。
69.在生成融合点云地图后，因坐标变化需要重新对点云数据进行标定，确定目标物体的点云数据，并根据位置信息关联构建出第二目标标签，相应的还可以生成标签列表，便于场外人员编辑和巡检。
70.步骤310，基于融合点云地图构建三维地图，并基于第二目标标签在地图中显示文字和/或高亮标定的目标物体。
71.本技术实施例中，通过对无人机拍摄的画面进行内容识别，标定出事故场景的风险区域的边界线和风险等级，然后通过计算的边界线最长边、最短边以及风险等级确定出目标检测区域的数量、检测半径和圆心坐标等，无需人为分析和操作，更为智能化；控制台通过发送指令控制无人机和机器人地空协同扫描，二者通过设定的相机姿态数据，对全域和目标检测区域进行环绕式扫描探测，生成各自的三维点云地图。场外通过控制台可以观察和获取到两个点云地图分别分析，且点云地图中还根据目标提的位置信息和点云数据标定了目标检测区域内的目标标签，方便人员取证和巡检；
72.对于不同视角的点云地图，通过对其点云数据进行匹配关联，将重叠区域内的点云数据进行加权融合，非重叠区域内的点云数据进行特征匹配，聚类筛选出符合要求的待融合点云数据集，进而将融合后的点云数据、待融合点云数据集和匹配后的坐标后检出融合点云地图，将不同点云地图中点云数据互补，避免数据缺失，提高构建三维地图的准确性；此外在最终融合后的三维地图中显示文字和/或高亮标定的目标物体，便于场外人员巡检和取证，提高了事故现场处理的效率。
73.图6是本技术实施例提供的地空协同地图构建方法的结构示意图。控制台通过向无人机和机器人设备发送控制指令进行总控。无人机设备通过现场画面进行风险评估并划定多个roi区域(目标检测区域)。地面机器人和无人机分别根据路径规划进行全域扫描探测和roi区域的目标检测。无人机和机器人扫描过程中采用orb-slam3方法实现在运动中定位和建图的功能，并对roi区域内的目标物体进行识别和数据分析，目的为建立目标标签。生成的第一点云地图和第二点云地图通过点云拼接融合后获得融合点云地图，最终在控制台显示构建出的三维地图和标定的目标物体。
74.图7是本技术实施例提供的地空协同地图构建装置的结构框图。该装置包括：
75.第一确定模块701，用于通过无人机拍摄现场画面，并根据现场画面确定风险区域和目标检测区域；其中，所述风险区域为事故场景包含的所有区域，所述目标检测区域位于风险区域中；
76.点云地图生成模块702，用于分别通过无人机和地面机器人搭载的双目摄像头对所述风险区域进行视野探测，生成各自的三维点云地图，并对所述目标检测区域内的目标物体进行标定；其中，无人机生成的第一点云地图和机器人生成的第二点云地图具有不同的相机姿态；
77.地图构建模块703，用于将所述第一点云地图和所述第二点云地图中的点云数据进行拼接融合，生成融合点云地图，并在基于所述融合点云地图构建的三维地图中显示文字和/或高亮标定的所述目标物体。
78.本技术实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现上述各个方法实施例提供的地空协同地图构建方法。
79.本技术实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述任一方面所述的地空协同地图构建方法。
80.以上对本发明的较佳实施例进行了描述；需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容；因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。