一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

障碍物的检测方法及装置、介质及电子设备与流程

2022-02-20 00:32:27 来源:中国专利 TAG:


1.本公开涉及智能导航技术领域,尤其涉及一种障碍物的检测方法及装置、计算机可读存储介质及电子设备。


背景技术:

2.物体运动过程中所经路径中可能存在较多的障碍物,然而,运动物体可能存在视觉死角无法准确判断相关障碍物。例如,飞机在机场中运动时,复杂的集成地面环境对在地面运动的飞机存在干扰。同时,由于飞机体型和飞机座仓的位置等因素,导致飞行员对地面环境存在较大的盲区。
3.相关技术中,一般是相关工作人员根据所获取到的运动目标的障碍物信息,并依据此对运动目标进行调度。例如,飞行员在地面移动飞机时,依赖机场管理调度人员的调度信息。
4.但是,相关技术存在对障碍物的检测准确度差,调度效率低的问题。
5.需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素:

6.本公开的目的在于提供一种障碍物的检测方法、障碍物的检测装置、计算机可读存储介质及电子设备,能够在一定程度上提升对障碍物的检测准确度和对运动目标的调度效率。
7.本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
8.根据本公开的一个方面,提供一种障碍物的检测方法,该方法包括:确定运动目标,以及确定第t时间点运动目标对应的检测区域r
t
,t为正整数;通过多个传感器获取上述检测区域r
t
对应的实际点云数据c
lirt
,并对上述实际点云数据c
lirt
进行融合,得到重建点云s
rt
;将上述重建点云s
rt
与上述运动目标的标准点云sc进行匹配,得到上述运动目标在第t时间点准确的运动朝向信息。根据上述运动目标在第t时间点的朝向信息,确定上述运动目标在第t时间点的朝向信息对应的运动轨迹内的障碍物信息。
9.根据本公开的另一个方面,提供一种障碍物的检测装置,该装置包括:检测区域确定模块、点云融合模块、点云匹配模块,以及障碍物确定模块。
10.其中,上述检测区域确定模块,用于确定运动目标,以及确定第t时间点上述运动目标对应的检测区域rt,t为正整数;上述点云融合模块,用于通过多个传感器获取上述检测区域r
t
对应的实际点云数据c
lirt
,并对上述实际点云数据c
lirt
进行融合,得到重建点云s
rt
;上述点云匹配模块,用于将上述重建点云s
rt
与上述运动目标的标准点云sc进行匹配,得到上述运动目标在上述第t时间点准确的运动朝向信息;以及,上述障碍物确定模块,用于根据上述运动目标在第t时间点的朝向信息,确定上述运动目标在第t时间点的朝向信息对
应的运动轨迹内的障碍物信息。
11.根据本公开的再一个方面,提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述实施例中的障碍物的检测方法。
12.根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中的障碍物的检测方法。
13.本公开的实施例所提供的障碍物的检测方法、障碍物的检测装置、计算机可读存储介质及电子设备,具备以下技术效果:本技术方案设置多个检测时间点,并确定待检测的运动目标在每个时间检测点对应的检测区域r
t
(对应于第t时间点),其中,检测区域r
t
也就是运动目标在当前时间点可能遇到障碍物的区域。进一步地,获取上述检测区域r
t
对应的重建点云s
rt
,用以反映第t时间点检测区域内的事物(可能包括运动目标和障碍物)。进一步地,将重建点云s
rt
与运动目标的标准点云sc进行匹配,可以确定运动目标在第t时间点的准确运动朝向信息。进而可以确定第t时间点运动目标的运动轨迹,进一步地,根据重建点云可以确定第t时间点运动目标的运动轨迹的障碍物信息,从而可以确定运动目标在其运行过程中可能遇到障碍物。
14.本技术方案无需通过人工进行障碍物的识别,同时,针对运动过程中的多个时间点的每个时间点,确定运动目标的运动朝向以及相应的运动轨迹,进而对该运动轨迹内进行障碍物的识别检测,能够有效提升对障碍物的检测准确度,进而有利于提升对运动目标的调度效率,减少对运动目标的调度延时。
15.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
16.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1示出本公开一示例性实施例中障碍物的检测方案的场景示意图。
18.图2示出本公开一示例性实施例中障碍物的检测方法的流程示意图。
19.图3示出本公开另一示例性实施例中障碍物的检测方法的流程示意图。
20.图4示出本公开一示例性实施例中第t时间点对应的检测区域r
t
的示意图。
21.图5示出本公开另一示例性实施例中第t时间点对应的检测区域r
t
的示意图。
22.图6示出本公开一示例性实施例中重建点云与标准点云的匹配方法的流程示意图。
23.图7示出本公开一示例性实施例中确定障碍物信息的方法的流程示意图。
24.图8示出本公开一实施例中障碍物的检测装置的结构示意图。
25.图9示出本公开另一实施例中障碍物的检测装置的结构示意图。
26.图10示出本公开一实施例中电子设备的结构示意图。
具体实施方式
27.为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施例方式作进一步地详细描述。
28.下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
29.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
30.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
31.以下结合图1至图7对本公开提供的障碍物的检测方法实施例的进行详细阐述:其中,图1示出本公开一实施例中障碍物的检测方案的场景示意图。参考图1,对于运动目标110(如,在机场滑行的飞机),其中,运动目标110自身可以设置测量设备(如,定位天线、测速设备等)。在运动目标110运行在机场120中,可以通过设置在机场的测量设备130(如,激光雷达等)获取运动目标110及其所处区域的点云数据。进一步地,相关数据通过网络传递至计算设备150,计算设备150:根据扫描点云数据确定重建点云,并将重建点云与运动目标的标准点云(来自后台数据库160)进行匹配,最终根据匹配结果确定运动目标在当前的准确的运动朝向信息,进而确定运动目标当前运动轨迹,最终确定当前运动轨迹内的障碍物信息。
32.示例性的,对于所检测出的障碍物以及运动目标,可以通过显示设备进行显示,以便于用户观察。
33.在示例性的实施例中,图2示出本公开一示例性实施例中障碍物的检测方法的流程示意图。参考图2该方法包括:s210,确定运动目标,以及确定第t时间点运动目标对应的检测区域r
t
,t为正整数;s220,通过多个传感器获取检测区域r
t
对应的实际点云数据c
lirt
,并对实际点云数据c
lirt
进行融合,得到重建点云s
rt
;s230,将重建点云s
rt
与运动目标的标准点云sc进行匹配,得到运动目标在第t时间点准确的运动朝向信息;
s240,根据运动目标在第t时间点的运动朝向信息,确定运动目标在第t时间点的朝向信息对应的运动轨迹内的障碍物信息。
34.在图2所示实施例提供的技术方案中,在运动目标运动的过程中每间隔一段时长进行一次障碍物检测,所间隔时长可以根据实际需求确定。上述第t时间点反映运动目标进入检测区域的时长。例如,飞机a在2020年10月31日13:08到达机场,则可以将2020年10月31日13:08确定为第一个时间点,且每间隔1-3秒确定下一个时间点,在每个时间点进行图2所示实施例的障碍物检测过程(本说明书实施例中以第t时间点对应的障碍物检测过程为例进行说明)。可见,本实施例提供的障碍物检测方案无需通过人工进行障碍物的识别,同时,针对运动过程中的多个时间点的每个时间点,确定运动目标的运动朝向以及相应的运动轨迹,进而对该运动轨迹内进行障碍物的识别检测,能够有效提升对障碍物的检测准确度,进而有利于提升对运动目标的调度效率,减少对运动目标的调度延时。
35.在示例性的实施例中,图3示出本公开另一示例性实施例中障碍物的检测方法的流程示意图,以下结合图3对图2所示实施例各个步骤的具体实施方式进行详细介绍:在s211中,确定运动目标(s210的具体实施方式)。
36.示例性的,使用场景可以是机场中运行的飞机,还可以是运行在停车场/道路中的车辆,等。本实施例中,以机场中运行的飞机为运动目标为例进行介绍。具体地:对于机场中的可能降落的机型的飞机,可以通过激光雷达获取扫描点云或者通过软件建模等方式获取预设分辨率的飞机扫描点云,得到相关机型飞机的标准点云。进一步地,将标准点云保存到后台数据库(如图1中的后台数据库160)中,示例性的标准点云记为sc:sc = {s
ct | t(type) 表示飞机的机型}示例性的,在s210中,确定第t时间点运动目标对应的检测区域r
t
。例如,在2020年10月31日13:10,根据飞机a的中心或机头的通用分组无线业务(general packet radio service,gprs)信息确定该飞机处于机场局部坐标系中的坐标信息为(m,n)。然而,为了避免飞机与障碍物之间发生碰撞,则需要确定雷达等传感器该时间点所需扫描的区域(即,第t时间点运动目标对应的检测区域r
t
),以进一步地基于该扫描区域的点云数据来识别运动目标的障碍物。
37.在示例性的实施例中,参考图3,其中,s212和s212’分别给出了检测区域r
t
的确定方式。
38.在s212中,根据运动目标的最大尺寸和预设误差,确定检测区域r
t

39.其中,上述检测区域为激光雷达等传感器的扫描区域。
40.在示例性的实施例中,由于在初始阶段,还没有进行扫描点云与标准点云之间的匹配过程(如s230),还不能够根据点云之间的匹配进行运动估计。因此,在t的取值小于第一预设值的情况下,根据该运动目标的最大尺寸和预设误差确定出较大的检测区域r
t
。通过确定出较大的检测区域r
t
以尽量提升障碍物的检测精度。
41.示例性的,当基于激光雷达定位的时长《 t0时,以运动目标的最大外廓尺寸和n倍的定位误差之和,作为检测区域r
t
内接圆的半径。示例性的,图4示出本公开一示例性实施例中第t时间点对应的检测区域r
t
的示意图。参考图4,区域a的内接圆半径为:飞机110的最大外廓尺寸,区域b的内接圆半径为:飞机110的最大外廓尺寸与2倍的定位误差之和。
42.继续参考图3,在s212’中,根据运动目标在第t时间点的矢量速度,确定检测区域r
t

43.在示例性的实施例中,由于进行扫描点云与标准点云之间的匹配过程(如s240)之后,可以根据点云之间的匹配进行运动估计。因此,在t的取值大于第一预设值的情况下,根据该运动目标在上述第t时间点的矢量速度确定检测区域r
t
。在s212确定的检测区域r
t
的基础上,缩小区域范围,以在保障障碍物的检测精度的基础上减少计算量。
44.示例性的,当基于激光雷达定位的时长》 t0时,根据运动目标的速率以及运动方向确定检测区域r
t
。示例性的,图5示出本公开另一示例性实施例中第t时间点对应的检测区域r
t
的示意图。参考图5,区域c的椭圆长半轴根据运动速率和第一倍数确定,区域c的椭圆短半轴根据运动速率和小于第一倍数的第二倍数确定,区域c的长轴与飞机的中轴线重合。示例性的,根据运动方向将区域c的中心与飞机机头位置重合。
45.示例性的,上述第一预设值或t0可以通过判断定位是否收敛等方式确定。
46.在示例性的实施例中,通过上述实施例确定检测区域r
t
后,进一步地通过s220确定用以反映第t时间点检测区域内的事物的重建点云s
rt

47.在示例性的实施例中,作为s220的具体实施方式,参考图3,通过s221和s222确定在第t时间点对应的扫描点云数据c
t
;然后,通过s223-s225在上述扫描点云数据c
t
中,通过多个传感器获取检测区域r
t
对应的实际点云数据c
lirt
;进一步地,在s226中对实际点云数据c
lirt
进行融合,得到对应于上述第t时间点的重建点云s
rt
。具体地:在s221中,获取运动目标物体的通用分组无线业务gprs信息,并确定与上述gprs信息相对应的传感器,以及在s222中,根据上述gprs信息调动与gprs信息相对应的传感器进行同步扫描,得到在第t时间点对应的扫描点云数据c
t

48.示例性的,获取运动目标所运行场所(如上述使用场景中的机场)的模型数据。对机场进行3d建模(记作m),进一步地,为了减少无关区域中的物体的干扰,在3d模型中,对每个飞机的运动区域进行标注,可以确定出该飞机的可行驶的区域(可以作为运动目标可能运行的路径)。
49.示例性的,为了实现飞机在机场中的准确定位,要求在机场(尤其是运动目标对应的路径)部署数量充足的传感器(以激光雷达为例)(如图1所示的测量设备130)。而为了尽量减少不必要的激光雷达参与扫描操作(如,距离运动目标较远的激光雷达),则本实施例需要获取运动目标在第t时间点的定位信号,从而获取该定位信号相关的激光雷达。具体地,本实施例中获取运动目标物体在第t时间点发出的通用分组无线业务gprs信息以实现准确定位。基于所定位的位置确定与上述gprs信息相对应的传感器。通过与gprs信息相对应的传感器进行扫描。基于定位的传感器触发扫描,可以降低传感器的能耗,同时提高传感器扫描的有效性。
50.同时,为了保证所扫描数据的准确度进而提升障碍物检测精度,需激光雷达设备的同步执行扫描操作以准确获取点云数据,从而,通过上述gprs信息调动与该gprs信息相对应的传感器进行同步扫描,得到在第t时间点对应的扫描点云数据c
t

51.示例性的,考虑到尽管上述n个激光雷达进行同步扫描,但仍可能存在运动目标在激光雷达扫描的不同角度而影响点云扫描准确度问题。针对该问题,本实施例中根据实际使用场景进行运动补偿,例如,可以基于匀速直线运动的方式实现,也可以采用更高阶的运
动模型进行补偿。
52.同前所述,对在机场中运动的飞机进行同步扫描,假设第t时间点该飞机的定位信息对应的激光雷达为n个,n个雷达在该时间点的扫描点表示为c
t :c
t
= {c
t1
, c
t2

ꢀ…
,c
tn
}其中,c
ti
(i = 1,

,n)表示第i个激光雷达在第t时间点的扫描点云。
53.继续参考图3,在s223中,在描点云数据为n个传感器在第t时间点扫描得到的情况下,确定第i个传感器对应的第i转换矩阵,i取值为至n的每个整数。
54.示例性的,在对机场进行3d建模时,可以通过标定的方式,获取激光雷达使用的局部坐标系和3d模型对应的地图位置之间的变换关系,从而实现激光雷达扫描得到的点云数据的坐标位置和3d模型对应的地图中的局部坐标系位置的变换关系。
55.对于上述n个激光雷达,通过标定的方式,可以获取将激光雷达扫描点云的坐标系变换到机场3d地图的局部坐标系中。即对于每个激光雷达li(i= 1,

,n)都存在变换t
li
实现雷达扫描点变换至地图的局部坐标系。
56.在s224中,根据第i转换矩阵(t
li
),将第i个传感器对应的第i点云数据c
ti
转换至目标坐标系中的第i坐标信息(c
li
),得到n个传感器分别对应的坐标信息。
57.示例性的,将第i个传感器对应的第i点云数据c
ti
转换至目标坐标系中的第i坐标信息(c
li
):c
li = t
li * c
ti
在s225中,将n个传感器分别在目标坐标系统中对应的坐标信息,与检测区域r
t
进行比对,得到检测区域r
t
对应的实际点云数据c
lirt

58.示例性的,在检测区域r
t
确定的情况下,获取n个激光雷达再第t时间点的扫描点在地图坐标系下的坐标信息(c
l1
,c
l2

……
,c
ln
)中是否落入检测区域r
t
范围内的坐标信息,得到检测区域r
t
对应的实际点云数据c
lrt
:c
lrt
= {p | p 落在r
t
中},可见,实际点云数据c
lrt
为激光雷达第t时间点对应的扫描点云数据c
t
的子集。
59.继续参考图3,在确定检测区域r
t
对应的实际点云数据c
lirt
之后,执行s226:对实际点云数据c
lirt
进行融合,获取上述检测区域对应的重建点云s
rt
,用以反映第t时间点检测区域内的事物(可能包括运动目标和障碍物)。
60.示例性的,由于实际点云数据c
lirt
为在同一坐标系下的坐标信息,所以,可以实际点云数据c
lirt
进行累加实现点云融合:s
rt = c
l1rt c
l2rt
ꢀ…ꢀ
c
lnrt
由于上述反映第t时间点检测区域内的事物的重建点云s
rt
,可能包含运动目标的点云和障碍物的点云,也可能只包含运动目标的点云。为了实现对检测区域r
t
中障碍物的检测,执行s230将重建点云s
rt
与运动目标的标准点云sc进行匹配。参考图3,作为s230的具体实施方式,执行s231/s231’、s232和s233。
61.在示例性的实施例中,为了减少点云匹配时的计算量,在进行上述匹配过程之前,可以对于重建点云s
rt
进行噪声过滤。示例性的,由于已知飞机(运动目标)的尺寸信息和地图3d模型的地面信息,则可以将重建点云s
rt
中距离地面较低的数据点删除还可以将高于飞机的数据点删除。由于被删除的数据点既不可能属于障碍物也不参与点云匹配过程,因此
既可以保证障碍物检测准确度又能够减少点云匹配时的计算量。
62.在示例性的实施例中,为了提升点云匹配准确度,在进行上述匹配过程之前,可以获取当前时间点飞机的姿态信息,进而可以对飞机的运动信息(motion = {velx,vely,velz,accx,accy,accz,angx,angy,angz})基于点云匹配的变换矩阵:t
t = {tx
t
,ty
t
,tz
t
,roll
t
,pitch
t
,yaw
t
}进行计算,其中,t
t
表示第t时间点的点云点云融合变换矩阵,上述姿态信息具体可以由设置在飞机中设备获取。
63.示例性的,图6示出本公开一示例性实施例中重建点云与标准点云的匹配方法的流程示意图。参考图6,在将每个时间点对应的重建点云(如重建点云s
rt
)与运动目标的标准点云sc进行匹配时,首先需预估初始匹配点(对应于s231/s231’)。如,将飞机标准点云的中心和重建点云中的目标点作为初始匹配点(即,将飞机标准点云的中心和重建点云中的目标点重合放置)。然后再进行关于重建点云与标准点云中其他点的匹配过程,以进一步地根据匹配结果确定运动目标当前准确的运动朝向信息。
64.其中,s231/s231’用于确定初始匹配点(第t时间点对应的初始匹配点记为“p
t”)。
65.在s231中,根据运动目标在第t时间点的gprs信息和运动方向,在重建点云s
rt
中确定第二端点,并将第二端点与标准点云sc中的第一端点确定为第一组初始匹配点p
t
;将重建点云s
rt
的最高点与标准点云sc的最高点确定为第二组初始匹配点p
t

66.在示例性的实施例中,由于在初始阶段,还没有进行扫描点云与标准点云之间的匹配过程(如s230),还不能够根据点云之间的匹配进行运动估计。因此,在t的取值小于第二预设值的情况下,根据s231的方式将具有较强标志性的点确定为初始匹配点。
67.示例性的,当基于激光雷达定位的时长《 t1时,根据飞机在第t时间点的gprs信息定位初始位置,然后根据飞机自带的定位天线与机头的相对尺寸以及运动方向在重建点云s
rt
中确定出第一端点。其中,该第一端点对应于机头位置,则将标准点云sc中的机头(上述第二端点)确定为第一组初始匹配点。示例性的,还可以将重建点云s
rt
的最高点与标准点云sc的最高点确定为第二组初始匹配点p
t

68.需要说明的是,由于在在t的取值小于第二预设值的情况下,只有飞机的终端信息上报信息(gprs信息和运动方向)可用于初始匹配点的确定。其中,由于采集终端的时间和点云扫描时间可能存在误差,因此可以按照匀速直线运动进行运动补偿,以提升数据准确度。
69.可以理解的是,当t小于第二预设值的情况下,作为另外一种运动目标运动轨迹估算的可选方式,可以根据运动目标的gprs信息获取运动目标的重心信息,根据运动目标的重心信息确定运动目标的点云数据,根据运动目标的点云数据确定数据的最大方差方向,根据最大方差方向确定运动目标的运动方向,从而得到运动目标的运动轨迹信息。
70.继续参考图3,在s231’中,根据重建点云s
rt-1
与标准点云sc的匹配信息以及运动目标的矢量速度,确定重建点云s
rt
与标准点云sc的初始匹配点p
t

71.在示例性的实施例中,由于进行扫描点云与标准点云之间的匹配过程(如s230)之后,可以根据点云之间的匹配进行运动估计。参考图6,在t的取值大于第二预设值的情况下,上一个时间点点云匹配情况反馈至下一时间点的预估初始匹配点的过程中,例如,将重建点云s
rt-1
与标准点云sc的匹配情况反馈至预估重建点云s
rt
与标准点云sc的初始匹配点p
t
。从而,基于上一个时间点的匹配信息估计当前时间点的初始匹配点,进一步地,当前时
间点的匹配信息也用于估计下一时间点的初始匹配点,从而可以降低点云匹配时的匹配搜索空间,能够在保障障碍物的检测精度的基础上减少计算量,节省计算资源以及计算耗时。
72.示例性的,当基于激光雷达定位的时长》 t1时,重建点云s
rt-1
中s点与标准点云sc的x点匹配,则根据第t时间点对应的矢量速度,确定在重建点云s
rt
中确定出对应于s点的s’点,并将重建点云sr中的s’点与标准点云sc的x点确定为一组初始匹配点。
73.进一步地,基于上述所确定的初始匹配点,将重建点云与标准点云进行比对,从而可以获取到运动目标(飞机在机场中)的实际位置和空间信息。示例性的,可以将获取到运动目标(飞机在机场中)的实际位置和空间信息在显示屏中进行显示,以供用户(驾驶员、调度员)实时查看。
74.继续参考图3,在s232中,基于初始匹配点p
t
,进行重建点云s
rt
与标准点云sc之间的匹配计算,得到关于重建点云s
rt
与标准点云sc满足收敛条件的相对位置关系;以及,在s233中,根据相对位置关系确定运动目标在第t时间点的运动朝向信息。
75.本实施例中,还在第t时间点实时确定运动目标的准确朝向信息,以提升障碍物确定的准确度。
76.示例性的,在上述重建点云s
rt
中以及标准点云sc中均获取对应于该运动目标预设部位的点云,分别得到部分重建点云s
rt0
以及部分标准点云s
c0
。其中,上述运动目标预设部位的旋转可以反映该运动目标整体的转向信息,如,运动目标为飞机的情况下,上述预设部位可以指的是机头。
77.示例性的,基于初始匹配点p
t
,将上述部分重建点云s
rt0
与上述部分标准点云s
c0
进行匹配计算,得到关于上述预设部位的旋转平移矩阵。
78.进一步地,根据关于上述预设部位的旋转平移矩阵,可以确定运动目标在第t时间点该运动目标在第t时间点的运动朝向信息。
79.在用于确定运动目标在第t时间点的运动朝向信息的另一个示例性实施例中,根据运动目标的关键点对上述实际点云数据c
lirt
进行特征提取,得到特征点云s’rt
。其中,上述关键点对应的部位也的旋转可以反映该运动目标整体的转向信息,如,运动目标为飞机的情况下,上述关键点可以是用于获取机头部位的关键点,关键点的个数不做限定。
80.进一步地,将上述特征点云s’rt
与标准点云sc中对应部分点云进行匹配,得到匹配度q
t
。示例性的,在匹配度q
t
大于第三预设值的情况下,将上述特征点云s’rt
替换为上述标准点云sc中对应部分点云;以及,根据替换后的标准点云sc的相对位置信息,可以确定运动目标在上述第t时间点的运动朝向信息。
81.继续参考图3,作为s240的具体实施方式,执行s241和s242。在s241中,根据运动目标在第t时间点的朝向信息,确定第t时间点对应的运动轨迹d
t
;以及,s242,根据运动轨迹d
t
对应的重建点云与标准点云sc,确定运动目标在第t时间点的朝向信息对应的运动轨迹内的障碍物信息。
82.在示例性的实施例中,图7示出本公开一示例性实施例中确定障碍物信息的方法的流程示意图,可以作为s242的一种具体实施方式。参考图7,该图所示实施例包括s2421
‑ꢀ
s2425。
83.在s2421中,基于初始匹配点p
t
,将运动轨迹d
t
对应的重建点云与标准点云sc进行匹配,确定重建点云中不属于运动目标的目标部分点云s
rt1

84.示例性的,在重建点云s
rt
与标准点云sc的匹配度大于预设值,则可以说明检测区域r
t
不存在障碍物;否则说明检测区域r
t
不可能存在障碍物。进一步地,在上述匹配度大于预设值的情况下,由于本实施例中飞机属于刚体,即可对重建点云s
rt
进行分割:(a) 属于运动目标飞机的点云部分s
rt2
;(b) 其他物体点云,即上述目标部分点云s
rt1

85.示例性的,飞机可能存在非固定部分,例如部分飞机的螺旋桨等。因此,为了提升点云分割准确度以及障碍物检测准确度,在采集标准点云的时候,对非固定部分进行特殊的标记。例如标记一个可容忍的螺旋桨运动空间,从而保证在这一部分的点在进行点云匹配时能够被正确判断。
86.示例性的,将重建点云s
rt
中与标准点云sc不对应的数据点确定为目标部分点云s
rt1
,并对目标部分点云s
rt1
进一步研究,以提升障碍物的检测准确度。具体地:在s2422中,将目标部分点云s
rt1
在目标平面内进行栅格化,得到每个栅格对应的高度信息h
t
(i,j),其中,(i,j)表示栅格编号。在s2423中,根据高度信息h(i,j)判断栅格(i,j)是否属于障碍物。
87.示例性的,将目标部分点云s
rt1
相对于地面平面上进行栅格化,记录每个栅格点中包含的点云的最大高度h
t
(i,j)。然后,根据最大高度h
t
(i,j)判断栅格点(i,j)是否属于障碍物:其中,t2为预设高度值,具体可以根据需要检测的障碍物高度和激光雷达的精度共同确定。例如,需要检测最低高度为20cm的障碍物,则可以将t2设置为20cm。
88.在经过上述公式得到值为1的情况下执行s2424;在经过上述公式得到值为0的情况下执行s2425:即舍弃该栅格以及对应的点云数据。
89.在s2424中,获取属于障碍物的目标栅格,以及,根据目标栅格的栅格编号对目标栅格进行聚类,得到障碍物对运动目标在第t时间点的朝向信息对应的运动轨迹的空间占用信息。
90.示例性的,由于重建点云s
rt
为检测区域r
t
内的点云,因此,获取取值为1的栅格,得到属于检测区域r
t
内的障碍物的目标栅格。如标号为(5,6)、(5,7)、(5,8)、(6,6)、(8,9)的栅格属于上述目标栅格。进一步地,根据上述目标栅格的栅格编号将目标栅格进行聚类,示例性的,上述标号为(5,6)、(5,7)、(5,8)、(6,6)的栅格由于具备相邻关系,从而可以聚类在一起。可以理解的是,能够聚类的多个栅格可能属于同一障碍物。从而得到障碍物对运动目标在第t时间点的朝向信息对应的运动轨迹空间占用信息。进一步地,基于该障碍物占用信息,机场管理和飞行员可以准确进行飞机操作。
91.本说明书实施例提出的基于机场建地图和激光雷达扫描及融合的方式实现障碍物检测,能够获取到更加准确地飞机姿态信息以及运动信息,同时,在不同的时间点可以自动检测出相关检测区域内的非飞机物体(障碍物),能够有效提高机场的管理效率和飞机运行安全性。
92.需要注意的是,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时
间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
93.下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
94.其中,图8示出本公开一实施例中障碍物的检测装置的结构示意图。请参见图8,该图所示的障碍物的检测装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分,还可以作为独立的模块集成于电子设备中或服务器上。
95.本公开实施例中的障碍物的检测装置800包括:检测区域确定模块810、点云融合模块820、点云匹配模块830,以及障碍物确定模块840。
96.其中,上述检测区域确定模块810,用于确定运动目标,以及确定第t时间点上述运动目标对应的检测区域r
t
,t为正整数;上述点云融合模块820,用于获取上述检测区域对应的实际点云数据c
lirt
,并对上述实际点云数据c
lirt
进行融合,得到重建点云s
rt
;上述点云匹配模块830,用于将上述重建点云s
rt
与上述运动目标的标准点云sc进行匹配,得到上述运动目标在上述第t时间点准确的运动朝向信息;以及,上述障碍物确定模块840,用于根据上述运动目标在上述第t时间点的朝向信息,确定上述运动目标在上述第t时间点的朝向信息对应的运动轨迹内的障碍物信息。
97.在示例性的实施例中,图9示出本公开另一实施例中障碍物的检测装置的结构示意图。请参见图9:在示例性的实施例中,基于前述方案,上述第t时间点反映上述运动目标进入上述检测区域r
t
的时长;上述检测区域确定模块810,具体用于:在t的取值小于第一预设值的情况下,根据上述运动目标的最大尺寸和预设误差,确定上述检测区域r
t
;在上述t的取值大于上述第一预设值的情况下,根据上述运动目标在上述第t时间点的矢量速度,确定上述检测区域r
t

98.在示例性的实施例中,基于前述方案,上述点云匹配模块820,包括:扫描单元8201和获取单元8202。
99.其中,上述扫描单元8201,用于:通过传感器扫描所述检测区域r
t
,得到在上述第t时间点对应的扫描点云数据c
t
;上述获取单元7202,用于:在上述扫描点云数据c
t
中,确定出上述检测区域r
t
对应的实际点云数据c
lirt

100.上述扫描单元8201,具体用于:获取上述运动目标物体的通用分组无线业务gprs信息,并确定与所述gprs信息相对应的传感器;以及,根据上述gprs信息调动与上述gprs信息相对应的传感器进行同步扫描,得到在上述第t时间点对应的扫描点云数据c
t

101.在示例性的实施例中,基于前述方案,上述扫描点云数据为n个传感器在上述第t时间点扫描得到的,n为大于1的整数;上述获取单元8202,具体用于:确定第i个传感器对应的第i转换矩阵,i取值为至n的每个整数;根据上述第i转换矩阵,将上述第i个传感器对应的第i点云数据c
ti
转换至目标坐标系中的第i坐标信息,得到上述n个传感器分别对应的坐标信息;将上述n个传感器分别对应的坐标信息,与上述检测区域r
t
进行比对,得到上述实际点云数据c
lirt

102.在示例性的实施例中,基于前述方案,上述点云匹配模块830,包括:初始点确定单元8301和朝向确定单元8302。
103.其中,上述初始点确定单元8301,用于:确定上述重建点云s
rt
与上述运动目标的标
准点云sc之间的初始匹配点p
t
;上述朝向确定单元8302,用于:基于上述初始匹配点p
t
,进行上述重建点云s
rt
与上述标准点云sc之间的匹配计算,得到关于上述重建点云s
rt
与上述标准点云sc满足收敛条件的相对位置关系;以及,根据上述相对位置关系确定上述运动目标在上述第t时间点的运动朝向信息。
104.在示例性的实施例中,基于前述方案,上述初始点确定单元8301,具体用于:在上述t的取值大于第二预设值的情况下,根据重建点云s
rt-1
与上述标准点云sc的匹配信息以及上述运动目标的矢量速度,确定上述重建点云s
rt
与上述标准点云sc的初始匹配点p
t

105.上述初始点确定单元8301,还具体用于:在上述t的取值小于上述第二预设值的情况下,根据上述运动目标在第t时间点的gprs信息和运动方向,在上述重建点云s
rt
中确定第二端点,并将上述第二端点与上述标准点云sc中的第一端点确定为第一组初始匹配点p
t
;以及,将上述重建点云s
rt
的最高点与上述标准点云sc的最高点确定为第二组初始匹配点p
t

106.在示例性的实施例中,基于前述方案,上述朝向确定单元8302具体用于:在上述重建点云s
rt
中获取对应于上述运动目标预设部位的点云,得到部分重建点云s
rt0
;在上述标准点云sc中获取对应于上述运动目标预设部位的点云,得到部分标准点云s
c0
;基于上述初始匹配点p
t
,将上述部分重建点云s
rt0
与上述部分标准点云s
c0
进行匹配计算,得到关于上述预设部位的旋转平移矩阵;以及,根据关于上述预设部位的旋转平移矩阵,确定上述运动目标在上述第t时间点的运动朝向信息。
107.在示例性的实施例中,基于前述方案,上述装置还包括朝向确定模块。
108.其中,上述朝向确定模块用于:在点云融合模块820获取上述检测区域对应的实际点云数据c
lirt
之后,根据上述运动目标的关键点对上述实际点云数据c
lirt
进行特征提取,得到特征点云s’rt
;将上述特征点云s’rt
与上述标准点云sc中对应部分点云进行匹配,得到匹配度q
t
;在上述匹配度q
t
大于第三预设值的情况下,将上述特征点云s’rt
替换为上述标准点云sc;以及,根据替换后的标准点云sc的相对位置信息,确定上述运动目标在上述第t时间点的运动朝向信息。
109.在示例性的实施例中,基于前述方案,上述障碍物确定模块840,具体用于:根据上述运动目标在上述第t时间点的朝向信息,确定上述第t时间点对应的运动轨迹d
t
;根据上述运动轨迹d
t
对应的重建点云与上述标准点云sc,确定上述重建点云中不属于上述运动目标的目标部分点云s
rt1
;获取属于障碍物的目标栅格;以及,根据上述目标栅格的栅格编号对目标栅格进行聚类,得到障碍物对运动目标在第t时间点的朝向信息对应的运动轨迹的空间占用信息。
110.需要说明的是,上述实施例提供的障碍物的检测装置在执行障碍物的检测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的障碍物的检测装置与障碍物的检测方法实施例属于同一构思,因此对于本公开装置实施例中未披露的细节,请参照本公开上述的障碍物的检测方法的实施例,这里不再赘述。
111.上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
112.本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例方法的步骤。其中,计算机可读存储介质可以包括
但不限于任何类型的盘,包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic),或适合于存储指令和/或数据的任何类型的媒介或设备。
113.本公开实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例方法的步骤。
114.图10示出本公开一实施例中电子设备的结构示意图。请参见图10所示,电子设备1000包括有:处理器1001和存储器1002。
115.本公开实施例中,处理器1001为计算机系统的控制中心,可以是实体机的处理器,也可以是虚拟机的处理器。处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
116.在本公开实施例中,上述处理器1001具体用于:确定运动目标,以及确定第t时间点上述运动目标对应的检测区域r
t
,t为正整数;通过多个传感器获取上述检测区域r
t
对应的实际点云数据c
lirt
,并对上述实际点云数据c
lirt
进行融合,得到重建点云s
rt
;将上述重建点云s
rt
与上述运动目标的标准点云sc进行匹配,得到上述运动目标在上述第t时间点准确的运动朝向信息;以及,根据上述运动目标在上述第t时间点的运动朝向信息,确定上述运动目标在上述第t时间点的朝向信息对应的运动轨迹内的障碍物信息。
117.进一步地,上述第t时间点反映上述运动目标进入上述检测区域r
t
的时长;上述确定第t时间点上述运动目标对应的检测区域r
t
,包括:在t的取值小于第一预设值的情况下,根据上述运动目标的最大尺寸和预设误差,确定上述检测区域r
t
;以及,在上述t的取值大于上述第一预设值的情况下,根据上述运动目标在上述第t时间点的矢量速度,确定上述检测区域r
t

118.进一步地,上述通过传感器扫描上述运动目标,获取上述检测区域对应的实际点云数据c
lirt
,包括:通过传感器扫描所述检测区域r
t
,得到在上述第t时间点对应的扫描点云数据c
t
;在上述扫描点云数据c
t
中,确定出上述检测区域r
t
对应的实际点云数据c
lirt
;上述通过传感器扫描所述检测区域r
t
,得到在上述第t时间点对应的扫描点云数据c
t
,包括:获取上述运动目标物体的通用分组无线业务gprs信息,并确定与所述gprs信息相对应的传感器;根据上述gprs信息调动与上述gprs信息相对应的传感器进行同步扫描,得到在上述第t时间点对应的扫描点云数据c
t

119.进一步地,上述扫描点云数据为n个传感器在上述第t时间点扫描得到的,n为大于1的整数;上述在上述扫描点云数据c
t
中,确定出上述检测区域r
t
对应的实际点云数据c
lirt
,包括:确定第i个传感器对应的第i转换矩阵,i取值为1至n的每个整数;根据上述第i转换矩阵,将上述第i个传感器对应的第i点云数据c
ti
转换至目标坐标系中的第i坐标信息,得到上
述n个传感器分别对应的坐标信息;将上述n个传感器分别对应的坐标信息,与上述检测区域r
t
进行比对,得到上述实际点云数据c
lirt

120.进一步地,上述将上述重建点云s
rt
与上述运动目标的标准点云sc进行匹配,得到上述运动目标在上述第t时间点准确的运动朝向信息,包括:确定上述重建点云s
rt
与上述运动目标的标准点云sc之间的初始匹配点p
t
;基于上述初始匹配点p
t
,进行上述重建点云s
rt
与上述标准点云sc之间的匹配计算,得到关于上述重建点云s
rt
与上述标准点云sc满足收敛条件的相对位置关系;根据上述相对位置关系确定上述运动目标在上述第t时间点的运动朝向信息。
121.进一步地,上述确定上述重建点云s
rt
与上述运动目标的标准点云sc之间的初始匹配点p
t
,包括:在上述t的取值大于第二预设值的情况下,根据重建点云s
rt-1
与上述标准点云sc的匹配信息以及上述运动目标的矢量速度,确定上述重建点云s
rt
与上述标准点云sc的初始匹配点p
t
;在上述t的取值小于上述第二预设值的情况下,根据上述运动目标在第t时间点的gprs信息和运动方向,在上述重建点云s
rt
中确定第二端点,并将上述第二端点与上述标准点云sc中的第一端点确定为第一组初始匹配点p
t
;将上述重建点云s
rt
的最高点与上述标准点云sc的最高点确定为第二组初始匹配点p
t

122.进一步地,上述基于上述初始匹配点p
t
,进行上述重建点云s
rt
与上述标准点云sc之间的匹配计算,得到关于上述重建点云s
rt
与上述标准点云sc满足收敛条件的相对位置关系,包括:在上述重建点云s
rt
中获取对应于上述运动目标预设部位的点云,得到部分重建点云s
rt0
;在上述标准点云sc中获取对应于上述运动目标预设部位的点云,得到部分标准点云s
c0
;基于上述初始匹配点p
t
,将上述部分重建点云s
rt0
与上述部分标准点云s
c0
进行匹配计算,得到关于上述预设部位的旋转平移矩阵;上述根据上述相对位置关系确定上述运动目标在上述第t时间点的运动朝向信息,包括:根据关于上述预设部位的旋转平移矩阵,确定上述运动目标在上述第t时间点的运动朝向信息。
123.进一步地,上述处理器1001还具体用于:在上述获取上述检测区域对应的实际点云数据c
lirt
之后,根据上述运动目标的关键点对上述实际点云数据c
lirt
进行特征提取,得到特征点云s’rt
;将上述特征点云s’rt
与上述标准点云sc中对应部分点云进行匹配,得到匹配度q
t
;在上述匹配度q
t
大于第三预设值的情况下,将上述特征点云s’rt
替换为上述标准点云sc;根据替换后的标准点云sc的相对位置信息,确定上述运动目标在上述第t时间点的运动朝向信息。
124.进一步地,根据上述运动目标在上述第t时间点的朝向信息,确定上述运动目标在上述第t时间点的朝向信息对应的运动轨迹内的障碍物信息,包括:根据上述运动目标在上述第t时间点的朝向信息,确定上述第t时间点对应的运动轨迹d
t
;根据上述运动轨迹d
t
对应的重建点云与上述标准点云sc,确定上述重建点云中不属于上述运动目标的目标部分点云s
rt1
;将上述目标部分点云s
rt1
在目标平面内进行栅格化,得到每个栅格对应的高度信息h
t
(i,j),其中,(i,j)表示栅格编号;据上述高度信息h(i,j)确定栅格(i,j)是否属于障碍物;获取属于障碍物的目标栅格;根据上述目标栅格的栅格编号对目标栅格进行聚类,得到障碍物对上述运动目标在上述第t时间点的朝向信息对应的运动轨迹的空间占用信息。
125.存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可
以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在本公开的一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本公开实施例中的方法。
126.一些实施例中,电子设备1000还包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:显示屏1004、摄像头1005和音频电路1006中的至少一种。
127.外围设备接口1003可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在本公开的一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在本公开的一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现。本公开实施例对此不作具体限定。
128.显示屏1004用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1004是触摸显示屏时,显示屏1004还具有采集在显示屏1004的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1004还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在本公开的一些实施例中,显示屏1004可以为一个,设置电子设备1000的前面板;在本公开的另一些实施例中,显示屏1004可以为至少两个,分别设置在电子设备1000的不同表面或呈折叠设计;在本公开的再一些实施例中,显示屏1004可以是柔性显示屏,设置在电子设备1000的弯曲表面上或折叠面上。甚至,显示屏1004还可以设置成非矩形的不规则图形,也即异形屏。显示屏1004可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
129.摄像头1005用于采集图像或视频。可选地,摄像头1005包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在本公开的一些实施例中,摄像头1005还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
130.音频电路1006可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
131.电源1007用于为电子设备1000中的各个组件进行供电。电源1007可以是交流电、直流电、一次性电池或可充电电池。当电源1007包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
132.本公开实施例中示出的电子设备结构框图并不构成对电子设备1000的限定,电子设备1000可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
133.在本公开的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本公开中的具体含义。此外,在本公开的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
134.以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,依本公开权利要求所作的等同变化,仍属本公开所涵盖的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献