点云处理方法、点云处理装置、可移动平台和计算机存储介质与流程

1.本发明总地涉及测距装置技术领域，更具体地涉及一种点云处理方法、点云处理装置、可移动平台和计算机存储介质。


背景技术：

2.在激光雷达扫描系统中，由于激光雷达扫描机制，激光点云的分布在空间上总是不均匀的。由于激光雷达光学扫描机制的限制，在生成的三维点云数据中，由于受到自身线扫描特点，必然存在同一平面上点云分布不均匀现象。由于这些客观因素的存在，在同样的场景中，相同物体在同一平面内，或是相同物体在不同距离上经过扫描得到的三维点云的点的数量及密度不同，这种差异性会导致后续的检测、分割、跟踪等算法受到极大的影响。


技术实现要素：

3.为了解决上述问题中的至少一个而提出了本发明。具体地，本发明一方面提供一种点云处理方法，包括：获取测距装置所采集的点云数据以及所述测距装置的点云密度分布数据，所述点云密度分布数据与所述测距装置的扫描方式相关，其中，所述点云密度分布数据包括多个显著性系数，所述多个显著性系数用于表征点云数据在参考面上的映射点的分布特性；根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，其中，所述预定处理方式包括第一处理方式和第二处理方式中的至少一种，所述第一处理方式用于增大点云数据中的至少部分区域内的点云密度，所述第二处理方式用于降低点云数据中的至少部分区域内的点云密度；根据所述预定处理方式，对所述点云数据进行处理。
4.本发明另一方面提供一种点云处理装置，点云处理装置包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的所述指令，使得所述处理器执行以下步骤：获取测距装置所采集的点云数据以及所述测距装置的点云密度分布数据，所述点云密度分布数据与所述测距装置的扫描方式相关，其中，所述点云密度分布数据包括多个显著性系数，所述多个显著性系数用于表征点云数据在参考面上的映射点的分布特性；根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，其中，所述预定处理方式包括第一处理方式和第二处理方式中的至少一种，所述第一处理方式用于增大点云数据中的至少部分区域内的点云密度，所述第二处理方式用于降低点云数据中的至少部分区域内的点云密度；根据所述预定处理方式，对所述点云数据进行处理。
5.本发明又一方面提供一种可移动平台，所述可移动平台包括：可移动平台本体、至少一个测距装置和前述的点云处理装置；至少一个测距装置设置于所述可移动平台本体，用于采集目标场景的点云数据。
6.本发明另一方面提供计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的点云处理方法。
7.根据本发明实施例的点云处理方法，可以在保证硬件成本不变的前提下，通过获取测距装置的包括多个显著性系数的点云密度分布数据，根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，可以有效的结合测距装置扫描系统的扫描特性以及点云的空间分布，对空间分布的点云数据进行适合方式的处理，从而有效的改善测距装置所采集的点云数据的分布均匀性，可以有效的降低由于扫描系统生成的点云分布对点云密度造成的影响，通过本技术的方法处理后的点云数据可以作为后续算法的基础，使得后续算法能够更加精准，减少由于点云分布不均匀带来的处理错误，且本技术的方法不会增加硬件成本。
附图说明
8.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
9.图1示出了本发明一实施例中的测距装置的架构示意图；
10.图2示出了本发明一个实施例中的测距装置的示意图；
11.图3示出了本发明一个实施例中的测距装置的扫描图案的示意图；
12.图4示出了本发明另一个实施例中的测距装置的扫描图案的示意图；
13.图5示出了本发明一个实施例中的点云处理方法的示意性流程图；
14.图6示出了本发明一个实施例中的具有第一扫描方式的测距装置的点云分布显著性图的示意图；
15.图7示出了本发明一个实施例中的具有第二扫描方式的测距装置的点云分布显著性图的示意图；
16.图8示出了本发明一个实施例中的点云处理装置的示意性框图；
17.图9示出了本发明一实施例中的可移动平台的示意性框图。
具体实施方式
18.为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
19.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
20.应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
21.在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
22.为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
23.下面结合附图，对本技术的点云处理方法、点云处理装置、可移动平台和计算机存储介质进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
24.首先参考图1和图2对本发明实施例中的一种测距装置的结构做详细的示例性地描述，测距装置包括激光雷达，该测距装置仅作为示例，对于其他适合的测距装置也可以应用于本技术。
25.本发明各个实施例提供的方案可以应用于测距装置，该测距装置可以是激光雷达、激光测距设备等电子设备。在一种实施方式中，测距装置用于感测外部环境信息，例如，环境目标的距离信息、方位信息、反射强度信息、速度信息等。一种实现方式中，测距装置可以通过测量测距装置和探测物之间光传播的时间，即光飞行时间(time-of-flight，tof)，来探测探测物到测距装置的距离。或者，测距装置也可以通过其他技术来探测探测物到测距装置的距离，例如基于相位移动(phase shift)测量的测距方法，或者基于频率移动(frequency shift)测量的测距方法，在此不做限制。
26.为了便于理解，以下将结合图1所示的测距装置100对测距的工作流程进行举例描述。
27.作为示例，测距装置100包括发射模块、扫描模块和探测模块，发射模块用于发射光脉冲序列，以探测目标场景；扫描模块用于将所述发射模块发射的光脉冲序列的传播路径依次改变至不同方向出射，形成一个扫描视场；探测模块用于接收经物体反射回的光脉冲序列，以及根据所述反射回的光脉冲序列确定所述物体相对所述测距装置的距离和/或方位，以生成所述点云点。在本文中，扫描模块也称扫描系统。
28.具体地，如图1所示，发射模块包括发射电路110；探测模块包括接收电路120、采样电路130和运算电路140。
29.发射电路110可以出射光脉冲序列(例如激光脉冲序列)。接收电路120可以接收经过被探测物反射的光脉冲序列，也即通过其获得回波信号的脉冲波形，并对该光脉冲序列进行光电转换，以得到电信号，再对电信号进行处理之后可以输出给采样电路130。采样电路130可以对电信号进行采样，以获取采样结果。运算电路140可以基于采样电路130的采样结果，以确定测距装置100与被探测物之间的距离，也即深度。
30.可选地，该测距装置100还可以包括控制电路150，该控制电路150可以实现对其他电路的控制，例如，可以控制各个电路的工作时间和/或对各个电路进行参数设置等。
31.应理解，虽然图1示出的测距装置中包括一个发射电路、一个接收电路、一个采样
电路和一个运算电路，用于出射一路光束进行探测，但是本技术实施例并不限于此，发射电路、接收电路、采样电路、运算电路中的任一种电路的数量也可以是至少两个，用于沿相同方向或分别沿不同方向出射至少两路光束；其中，该至少两束光路可以是同时出射，也可以是分别在不同时刻出射。一个示例中，该至少两个发射电路中的发光芯片封装在同一个模块中。例如，每个发射电路包括一个激光发射芯片，该至少两个发射电路中的激光发射芯片中的die封装到一起，容置在同一个封装空间中。
32.一些实现方式中，除了图1所示的电路，测距装置100还可以包括扫描模块，用于将发射电路出射的至少一路光脉冲序列(例如激光脉冲序列)改变传播方向出射，以对视场进行扫描。示例性地，所述扫描模块在测距装置的视场内的扫描区域随着时间的累积而增加。
33.其中，可以将包括发射电路110、接收电路120、采样电路130和运算电路140的模块，或者，包括发射电路110、接收电路120、采样电路130、运算电路140和控制电路150的模块称为测距模块，该测距模块可以独立于其他模块，例如，扫描模块。
34.测距装置中可以采用同轴光路，也即测距装置出射的光束和经反射回来的光束在测距装置内共用至少部分光路。例如，发射电路出射的至少一路激光脉冲序列经扫描模块改变传播方向出射后，经探测物反射回来的激光脉冲序列经过扫描模块后入射至接收电路。或者，测距装置也可以采用异轴光路，也即测距装置出射的光束和经反射回来的光束在测距装置内分别沿不同的光路传输。图2示出了本发明的测距装置采用同轴光路的一种实施例的示意图。
35.测距装置200包括测距模块210，测距模块210包括发射器203(可以包括上述的发射电路)、准直元件204、探测器205(可以包括上述的接收电路、采样电路和运算电路)和光路改变元件206。测距模块210用于发射光束，且接收回光，将回光转换为电信号。其中，发射器203可以用于发射光脉冲序列。在一个实施例中，发射器203可以发射激光脉冲序列。可选的，发射器203发射出的激光束为波长在可见光范围之外的窄带宽光束。准直元件204设置于发射器的出射光路上，用于准直从发射器203发出的光束，将发射器203发出的光束准直为平行光出射至扫描模块。准直元件还用于会聚经探测物反射的回光的至少一部分。该准直元件204可以是准直透镜或者是其他能够准直光束的元件。
36.在图2所示实施例中，通过光路改变元件206来将测距装置内的发射光路和接收光路在准直元件204之前合并，使得发射光路和接收光路可以共用同一个准直元件，使得光路更加紧凑。在其他的一些实现方式中，也可以是发射器203和探测器205分别使用各自的准直元件，将光路改变元件206设置在准直元件之后的光路上。
37.在图2所示实施例中，由于发射器203出射的光束的光束孔径较小，测距装置所接收到的回光的光束孔径较大，所以光路改变元件可以采用小面积的反射镜来将发射光路和接收光路合并。在其他的一些实现方式中，光路改变元件也可以采用带通孔的反射镜，其中该通孔用于透射发射器203的出射光，反射镜用于将回光反射至探测器205。这样可以减小采用小反射镜的情况中小反射镜的支架会对回光的遮挡。
38.在图2所示实施例中，光路改变元件偏离了准直元件204的光轴。在其他的一些实现方式中，光路改变元件也可以位于准直元件204的光轴上。
39.测距装置200还包括扫描模块202。扫描模块202放置于测距模块210的出射光路上，扫描模块202用于改变经准直元件204出射的准直光束219的传输方向并投射至外界环
境，并将回光投射至准直元件204。回光经准直元件204汇聚到探测器205上。
40.在一个实施例中，扫描模块202可以包括至少一个光学元件，用于改变光束的传播路径，其中，该光学元件可以通过对光束进行反射、折射、衍射等等方式来改变光束传播路径，例如所述光学元件包括至少一个具有非平行的出射面和入射面的光折射元件。例如，扫描模块202包括透镜、反射镜、棱镜、振镜、光栅、液晶、光学相控阵(optical phased array)或上述光学元件的任意组合。一个示例中，至少部分光学元件是运动的，例如通过驱动模块来驱动该至少部分光学元件进行运动，该运动的光学元件可以在不同时刻将光束反射、折射或衍射至不同的方向。在一些实施例中，扫描模块202的多个光学元件可以绕共同的轴209旋转或振动，每个旋转或振动的光学元件用于不断改变入射光束的传播方向。在一个实施例中，扫描模块202的多个光学元件可以以不同的转速旋转，或以不同的速度振动。在另一个实施例中，扫描模块202的至少部分光学元件可以以基本相同的转速旋转。在一些实施例中，扫描模块的多个光学元件也可以是绕不同的轴旋转。在一些实施例中，扫描模块的多个光学元件也可以是以相同的方向旋转，或以不同的方向旋转；或者沿相同的方向振动，或者沿不同的方向振动，在此不作限制。
41.在一个实施例中，扫描模块202包括第一光学元件214和与第一光学元件214连接的驱动器216，驱动器216用于驱动第一光学元件214绕转动轴209转动，使第一光学元件214改变准直光束219的方向。第一光学元件214将准直光束219投射至不同的方向。在一个实施例中，准直光束219经第一光学元件改变后的方向与转动轴209的夹角随着第一光学元件214的转动而变化。在一个实施例中，第一光学元件214包括相对的非平行的一对表面，准直光束219穿过该对表面。在一个实施例中，第一光学元件214包括厚度沿至少一个径向变化的棱镜。在一个实施例中，第一光学元件214包括楔角棱镜，对准直光束219进行折射。
42.在一个实施例中，扫描模块202还包括第二光学元件215，第二光学元件215绕转动轴209转动，第二光学元件215的转动速度与第一光学元件214的转动速度不同。第二光学元件215用于改变第一光学元件214投射的光束的方向。在一个实施例中，第二光学元件215与另一驱动器217连接，驱动器217驱动第二光学元件215转动。第一光学元件214和第二光学元件215可以由相同或不同的驱动器驱动，使第一光学元件214和第二光学元件215的转速和/或转向不同，从而将准直光束219投射至外界空间不同的方向，可以扫描较大的空间范围。在一个实施例中，控制器218控制驱动器216和217，分别驱动第一光学元件214和第二光学元件215。第一光学元件214和第二光学元件215的转速可以根据实际应用中预期扫描的区域和样式确定。驱动器216和217可以包括电机或其他驱动器。
43.在一个实施例中，第二光学元件215包括相对的非平行的一对表面，光束穿过该对表面。在一个实施例中，第二光学元件215包括厚度沿至少一个径向变化的棱镜。在一个实施例中，第二光学元件215包括楔角棱镜。
44.一个实施例中，扫描模块202还包括第三光学元件(图未示)和用于驱动第三光学元件运动的驱动器。可选地，该第三光学元件包括相对的非平行的一对表面，光束穿过该对表面。在一个实施例中，第三光学元件包括厚度沿至少一个径向变化的棱镜。在一个实施例中，第三光学元件包括楔角棱镜。第一、第二和第三光学元件中的至少两个光学元件以不同的转速和/或转向转动。
45.在一个实施例中，所述扫描模块包括在所述光脉冲序列的出射光路上依次排布的
2个或3个所述光折射元件。可选地，所述扫描模块中的至少2个所述光折射元件在扫描过程中旋转，以改变所述光脉冲序列的方向。
46.所述扫描模块在至少部分不同时刻的扫描路径不同，扫描模块202中的各光学元件旋转可以将光投射至不同的方向，例如投射的光211的方向和方向213，如此对测距装置200周围的空间进行扫描。当扫描模块202投射出的光211打到探测物201时，一部分光被探测物201沿与投射的光211相反的方向反射至测距装置200。探测物201反射的回光212经过扫描模块202后入射至准直元件204。
47.探测器205与发射器203放置于准直元件204的同一侧，探测器205用于将穿过准直元件204的至少部分回光转换为电信号。
48.一个实施例中，各光学元件上镀有增透膜。可选的，增透膜的厚度与发射器203发射出的光束的波长相等或接近，能够增加透射光束的强度。
49.一个实施例中，测距装置中位于光束传播路径上的一个元件表面上镀有滤光层，或者在光束传播路径上设置有滤光器，用于至少透射发射器所出射的光束所在波段，反射其他波段，以减少环境光给接收器带来的噪音。
50.在一些实施例中，发射器203可以包括激光二极管，通过激光二极管发射纳秒级别的激光脉冲。进一步地，可以确定激光脉冲接收时间，例如，通过探测电信号脉冲的上升沿时间和/或下降沿时间确定激光脉冲接收时间。如此，测距装置200可以利用脉冲接收时间信息和脉冲发出时间信息计算tof，从而确定探测物201到测距装置200的距离。测距装置200探测到的距离和方位可以用于遥感、避障、测绘、建模、导航等。
51.点云扫描图案是由测距装置例如激光雷达的扫描系统(本文也称扫描模块)设计所生成的，影响因素包括扫描系统的扫描频率、帧率、电机转速、转速比等。不同的扫描系统由于电机转速设置等会呈现出不同的采样图案，比如一种扫描系统得到特定的类似花瓣形的扫描图案，如图3所示，而另一种扫描系统得到的是眼睛类型的中间密两边稀疏的扫描图案，如图4所示。本文中扫描图案可以指的是一段时长内光束在扫描视场内的扫描轨迹累积所形成的图案。在扫描模块的扫描下，光束在一个扫描周期内形成一个完整的扫描图案之后，又在下一个扫描周期内沿着开始形成下一个完整的、相同或不同的扫描图案。由于受到自身线扫描特点(如图3和图4所示)，必然存在同一平面上点云分布不均匀现象。由于这些客观因素的存在，在同样的场景中，相同物体在同一平面内，或是相同物体在不同距离上经过扫描得到的三维点云的点的数量及密度不同，这种差异性会导致后续的检测、分割、跟踪等算法受到极大的影响。
52.激光雷达扫描系统在设计之初就会考虑到硬件成本以及扫描方式之间的平衡关系，因此如果从硬件层面对扫描系统进行修改，则会带来硬件成本以及研发时间的提升，会显著提升产品的研发成本。而在实际应用中，通过软件层面可以对三维空间中的点云进行插值操作，但插值的准确性及适应性较差，容易带来误差。
53.鉴于上述问题的存在，本技术提供一种点云处理方法，该点云处理方法包括：获取测距装置所采集的点云数据以及所述测距装置的点云密度分布数据，所述点云密度分布数据与所述测距装置的扫描方式相关，其中，所述点云密度分布数据包括多个显著性系数，所述多个显著性系数用于表征点云数据在参考面上的映射点的分布特性；根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，
其中，所述预定处理方式包括第一处理方式和第二处理方式中的至少一种，所述第一处理方式用于增大点云数据中的至少部分区域内的点云密度，所述第二处理方式用于降低点云数据中的至少部分区域内的点云密度；根据所述预定处理方式，对所述点云数据进行处理。
54.根据本发明实施例的点云处理方法，可以在保证硬件成本不变的前提下，通过获取测距装置的包括多个显著性系数的点云密度分布数据，根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，可以有效的结合测距装置扫描系统的扫描特性以及点云的空间分布，对空间分布的点云数据进行适合方式的处理，从而使得处理后的点云数据分布更加均匀、合理，可以有效的降低由于扫描系统生成的点云分布对点云密度造成的影响，更好地刻画扫描场景中的物体信息，通过本技术的方法处理后的点云数据可以作为后续算法的基础，使得后续算法能够更加精准，减少由于点云分布不均匀带来的处理错误，且本技术的方法不会增加硬件成本。
55.下面，参考附图5对本技术的点云处理方法进行描述，其中，图5示出了本技术一个实施例中的点云处理方法的示意性流程图。
56.作为示例，本技术实施例的点云处理方法包括以下步骤s501至步骤s503：
57.首先，在步骤s501中，获取测距装置所采集的点云数据以及所述测距装置的点云密度分布数据。
58.所述点云密度分布数据与所述测距装置的扫描方式相关，其中，所述点云密度分布数据包括多个显著性系数，所述多个显著性系数用于表征点云数据在参考面上的映射点的分布特性。该参考面可以是任意适合的面，例如，该参考面为与所述测距装置所发射的光脉冲序列的中心轴相垂直的面。
59.不同的扫描图案会在三维空间中生成相应的三维点云分布，分布特征主要体现在点云的密度分布以及点云的形状分布。对于非重复式扫描的测距装置例如激光雷达，点云在空间上的分布是动态的、密度是不均匀的。
60.在一个示例中，获取测距装置所采集的点云数据以及所述测距装置的点云密度分布数据，包括：获取与所述测距装置的扫描方式所对应的至少一帧扫描图案，根据所述扫描图案上的映射点在不同的统计区域内的数量，确定各个统计区域内的映射点所对应点云的显著性系数，例如可以选取一帧的点云数据，其中，所述扫描图案可以用于表征测距装置的三维点云数据在参考面上的映射点，可选地，扫描图案可以由所述测距装置的点云数据在参考面上的映射点所组成，通常统计区域内映射点的数量越多表示该统计区域内的点密度越大，而通过例如具有第一扫描方式的测距装置，其对应的扫描图案如图3所示，具有第二扫描方式的测距装置其对应的扫描图案如图4所示。根据扫描图案可以获取三维点云在参考面上的分布特性。
61.所述扫描图案由所述测距装置所输出的点云数据(例如三维点云)映射到所述参考面上而获得，例如由测距装置在三维空间中扫描目标场景所输出的三维点云分布映射到参考面上而获得，或者，所述扫描图案由根据所述测距装置的扫描方式通过拟合函数而拟合获得。可选地，扫描图案选取上可以选用例如10hz的点云数据，或者其他适合的帧率的点云数据。
62.基于点云的扫描图案可以提取图案特征，例如提取密度特征，例如激光雷达的扫描系统的非重复性以及扫描特性，点云在三维空间中的分布是不均匀的，有着明显的密度
分布特征，比如如图3所示的扫描图案的点云分布大体为圆形，其密度中间密、边缘稀疏，而vt如图3所示的扫描图案的点云分布近似为矩形：其密度分布中部区域密集、两边稀疏。因此可以用密度在空间中的分布特征可以很好的描述扫描图案特征。
63.在一个示例中，根据所述扫描图案上的映射点在不同的统计区域内的数量，确定各个统计区域对应的显著性系数，包括：将多个所述统计区域内的映射点数量进行归一化处理，以获得各个统计区域内的映射点所对应点云的显著性系数，例如将统计区域内的数量统一映射到[0，1]区间内，其中，可以采用本领域技术人员熟知的任何的归一化方法，对多个所述统计区域内的映射点数量进行归一化处理，通过归一化处理，可以便于不同量级的数量进行比较。
[0064]
统计区域的尺寸不同，可以获得不同的点云密度分布数据。可以基于任意适合的规则确定统计区域的尺寸，例如可以基于测距装置的应用场景以及应用场景中的探测目标物的尺寸来确定一个或多个统计区域的尺寸，并基于不同的统计区域的尺寸，获得不同的点云密度分布数据。
[0065]
在一个示例中，所述统计区域的尺寸基于所述测距装置预定探测的目标物的尺寸而定，其中，所述目标物包括第一目标物和第二目标物，所述第一目标物的尺寸大于所述第二目标物的尺寸，则与所述第一目标物对应的点云密度分布数据的统计区域具有第一尺寸，与所述第二目标物对应的点云密度分布数据的统计区域具有第二尺寸，所述第一尺寸大于所述第二尺寸。通过根据用户的实际场景自由的设定统计区域的适合的尺寸进行显著性计算，因此能够更加准确的反映三维场景中的真实物体的特性，更加有利于后续检测、分割等算法的应用。
[0066]
例如，测距装置例如激光雷达的应用场景位于室内或者园区等，在这些场景内主要是人或者一些体积不大的物体，因此，可以结合室内场景中可能存在的目标物的尺寸，来确定统计区域的尺寸，其中，可以使得不同统计区域的尺寸分别对应一种目标物的尺寸。
[0067]
再例如，当应用场景为车辆自动驾驶的场景时，在该场景中，测距装置通常用于车辆识别、障碍物识别等，则可以确定多种统计区域的尺寸，以分别用于计算显著性系数而获得点云密度分布数据，以用于对多种物体的识别。
[0068]
在一个示例中，所述点云密度分布数据以热力图的形式呈现，其中，所述热力图中的不同像素值用于表征不同的显著性系数。例如，像素值越大，表征的显著性系数越大，则对应位置点的密度越大，在一个具体示例中，所述热力图包括第一像素点和第二像素点，所述第一像素点的像素值大于所述第二像素点的像素值，则与所述第一像素点对应的显著性系数大于与所述第二像素点对应的显著性系数；或者，像素值越大，表征的显著性系数越小，则对应位置点的密度越小，例如，所述热力图包括第一像素点和第二像素点，所述第一像素点的像素值大于所述第二像素点的像素值，则与所述第一像素点对应的显著性系数小于与所述第二像素点对应的显著性系数。可选地，所述像素值包括灰度值、颜色值或亮度值或者其他的图像相关的数值。
[0069]
在一个示例中，所述参考面可以具有多个统计区域，所述点云密度分布数据包括至少两种类型的点云密度分布数据，其中，不同类型的点云密度分布数据具有不同的统计区域尺寸。
[0070]
例如，如图6所示的多种统计区域尺寸对应的点云密度分布数据，点云密度分布数
据为显著性图(也即热力图)，9张图从第一行至第三行表示分别选取10、20、30、40、50、60、70、80、90、100、200、300个单位大小(例如可以平方毫米、平方厘米或平方米为单位，具体可以根据实际需要合理设定)作为统计区域点云分布密度得到的显著性图，其中，亮度越大表示该点位置的点云密度越大。其中还可以对灰度的显著性图进行着色，获得着色后的显著性图。
[0071]
再例如，如图7所示的多种统计区域尺寸对应的点云密度分布数据，点云密度分布数据为显著性图(也即热力图)，6张图从第一行至第三行表示分别选取10、40、80、100、200、300个单位大小(例如可以平方毫米、平方厘米或平方米为单位，具体可以根据实际需要合理设定)作为统计区域点云分布密度得到的显著性图，其中，亮度越大表示该点位置的点云密度越大。其中还可以对灰度的显著性图进行着色，获得着色后的显著性图。
[0072]
从图6和图7可以看出，不同的扫描方式会产生不同的显著性图，且选取的统计区域的尺寸不同可以得到不同的显著性图，因此，本技术根据用户的实际场景自由选择合适的统计区域尺寸进行显著性系数计算，从而能够更加准确的反映三维场景中的真实物体的特性，更加有利于后续检测、分割等算法的应用。
[0073]
所述参考面具有多个统计区域，所述点云密度分布数据包括至少两种类型的点云密度分布数据，其中，不同类型的点云密度分布数据具有不同的统计区域尺寸，也即每种类型的点云密度分布数据可以具有多种不同的统计区域尺寸的显著性图。
[0074]
当测距装置用于对预定场景进行扫描时，根据所述测距装置的扫描方式，获取与测距装置所采集的点云数据相对应的点云密度分布数据，还包括：根据所述扫描方式以及预定从所述点云数据中识别出的目标物的尺寸和统计区域的尺寸之间的关系，确定将要用于对点云数据进行预处理的点云密度分布数据例如热力图，例如，将要用于对点云数据进行预处理的点云密度分布数据为统计区域的尺寸小于或等于所述目标物的尺寸的点云密度分布数据，其中，较佳地，将要用于对点云数据进行预处理的点云密度分布数据为统计区域的尺寸基本上等于所述目标物的尺寸的点云密度分布数据。通过这样的设置，当测距装置用于感知较小的物体时，则选用划分的统计区域尺寸较小的热力图，而感知较大的物体时，则选用划分的统计区域尺寸较大的热力图。因此当通过点云数据感知不同的目标物时，可以对应使用统计区域尺寸不同的点云密度分布数据例如热力图。
[0075]
继续参考图5，在步骤s503中，根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，其中，所述预定处理方式包括第一处理方式和第二处理方式中的至少一种，所述第一处理方式用于增大点云数据中的至少部分区域内的点云密度，所述第二处理方式用于降低点云数据中的至少部分区域内的点云密度。
[0076]
在前文中已经根据要感知的目标物选定将要使用的点云密度分布数据例如热力图，根据该热力图可以获得点云数据中点云对应的显著性系数，也即点云数据的点云在热力图中对应的点(也即对应的在所述参考面上的映射点)的显著性系数，示例性地，根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，包括：根据所述点云数据中点云所表征的深度信息和对应的所述显著性系数，确定点云数据中点云的空间分布属性；根据所述空间分布属性，确定所述点云数据的预定处理方式。通过将显著性系数跟三维点云在空间中的实际位置信息例如深度信息相结合，可
以有效的表达点云在三维空间中的属性。可选地，深度信息例如包括三维点云数据中的点云距扫描系统位置的水平距离。
[0077]
在计算得到不同扫描系统的显著性图后，还需要根据实际的场景对三维点云里的离散点进行进一步的显著性属性计算，例如，当测距装置扫描的场景中在一些近处物体和远处物体在交界处，不同物体之间实际是有距离差的，通过将显著性系数和深度信息相结合，可以把不属于同一个物体的点的显著性系数进行区别。具体地，假设三维空间中的第i个点的空间坐标为(xi，yi，zi)，那么可以通过以下公式进行该点的显著性属性(也即空间分布属性)计算：
[0078]
pi＝s(yi，zi)*xiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0079]
其中s(yi，zi)表示三维点云在二维投影yoz平面(也即参考面)上(yi，zi)处的显著性系数，xi表示三维点距扫描系统位置的水平距离。
[0080]
通过公式(1)可以有效的将前文中计算得到的显著性图跟三维点云在空间中的实际位置相结合，可以有效的表达点云在三维空间中的属性。上述公式还可以根据需要进行合理调整，例如，还可以是将显著性系数和三维点距扫描系统位置的水平距离相除，从而获得空间分布属性。
[0081]
在三维点云的目标检测、分割等应用时，通常用到点云的空间坐标以及反射率信息，这些信息对于检测或分割算法来说信息量较少，容易造成误检且需要巨量的数据。通过前述方法可以计算得出三维点云的空间分布属性，对于后续的分割、检测算法而言，相当于增加了一维的特征输出，能够更加准确的表示出原始数据的深层特性。
[0082]
此外，本发明计算得到的显著性属性不仅可以作为算法的一维特征输入，还可以作为检测、分割等算法的参考，例如显著性系数越大的空间三维点表示该点的密度分布越大，越小的地方表明该点的分布越稀疏，那么后续算法就可以通过这个特点对空间中的三维点云进行有选择的上、下采样操作，使得点云在空间中的分布更加的有规律。例如，当点云数据中的第一部分点云对应的显著性系数在第一阈值范围内时，可以确定所述第一部分点云的预定处理方式为所述第一处理方式，所述第一处理方式包括以下处理方式中的一种：插值、上采样、时间累积，通过第一处理方式可以增大点云密度，当点云数据中的第二部分点云对应的显著性系数在第一阈值范围内时，可以确定所述第一部分点云的预定处理方式为所述第二处理方式，所述第二处理方式包括下采样，或者不做处理，通过第二处理方式可以降低点云密度或者不改变点云密度。其中，第一阈值范围和第二阈值范围可以根据实际需要合理设定，在此不对其进行具体限定。
[0083]
在其他示例中，根据所述空间分布属性，确定所述点云数据的预定处理方式，包括：当所述点云数据中的第一部分点云对应的所述空间分布属性在第一阈值范围内时，确定所述第一部分点云的预定处理方式为所述第一处理方式，所述第一处理方式包括以下处理方式中的一种：插值、上采样、时间累积，通过第一处理方式可以增大点云密度；当所述点云数据中的第二部分点云对应的所述空间分布属性在第二阈值范围内时，确定所述第二部分点云的预定处理方式为所述第二处理方式，所述第二处理方式包括下采样，或者不做处理，通过第二处理方式可以降低点云密度或者不改变点云密度。其中，第一阈值范围和第二阈值范围可以根据实际需要合理设定，在此不对其进行具体限定。
[0084]
综上所述，根据本发明实施例的点云处理方法，可以在保证硬件成本不变的前提
下，通过获取测距装置的包括多个显著性系数的点云密度分布数据，根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，可以有效的结合测距装置扫描系统的扫描特性以及点云的空间分布，对空间分布的点云数据进行适合方式的处理，从而使得处理后的点云数据分布更加均匀、合理，可以有效的降低由于扫描系统生成的点云分布对点云密度造成的影响，更好地刻画扫描场景中的物体信息，通过本技术的方法处理后的点云数据可以作为后续算法的基础，使得后续算法能够更加精准，减少由于点云分布不均匀带来的处理错误，且本技术的方法不会增加硬件成本。
[0085]
另外，本技术的方法还将显著性系数与三维场景中的实际空间位置相结合，能够更加合理有效的表示三维点云的空间属性，能够更加准确的反映三维场景中的真实物体的特性，更加有利于后续检测、分割等算法的应用。
[0086]
此外，本技术中的方法在计算显著性属性时，可以根据实际的需要选择不同的统计区域尺寸，以适应不同的场景。
[0087]
下面，参考图8对本技术一个实施例的点云处理装置800做描述，其中，图8示出了本发明一个实施例中的点云处理装置的示意性框图。
[0088]
在一些实施例中，如图8所示，所述点云处理装置800还包括一个或多个处理器802，一个或多个存储器801，一个或多个处理器802共同地或单独地工作。可选地，点云处理装置还可以包括输入装置(未示出)、输出装置(未示出)以及图像传感器(未示出)中的至少一个，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。
[0089]
存储器801用于存储处理器可执行的程序指令，例如用于存储用于实现根据本技术实施例的点云处理方法的相应步骤和程序指令。可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
[0090]
所述输入装置可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
[0091]
所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个，用于将处理后的点云输出为图像或视频，还可以用于将获得显著性图输出为图像。
[0092]
通信接口(未示出)用于点云处理装置和其他设备之间进行通信，包括有线或者无线方式的通信。点云处理装置可以接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g或它们的组合。在一个示例性实施例中，通信接口经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信接口还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0093]
处理器802可以是中央处理单元(cpu)、图像处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制点云处理装置中的其它组件以执行期望的功能。所述处理器802能够执行所述存储器801中存储的指令，以执行本文描述的本技术实施例的点云处理方法。例如，处理器能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件
有限状态机(fsm)、数字信号处理器(dsp)或它们的组合。在本实施例中，所述处理器包括现场可编程门阵列(fpga)，其中，点云处理装置的运算电路可以是现场可编程门阵列(fpga)的一部分。
[0094]
所述点云处理装置包括一个或多个处理器，共同地或单独地工作，存储器用于存储程序指令；所述处理器用于执行所述存储器存储的程序指令，当所述程序指令被执行时，所述处理器用于实现根据本技术实施例的点云处理方法，包括：获取测距装置所采集的点云数据以及所述测距装置的点云密度分布数据，所述点云密度分布数据与所述测距装置的扫描方式相关，其中，所述点云密度分布数据包括多个显著性系数，所述多个显著性系数用于表征点云数据在参考面上的映射点的分布特性；根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，其中，所述预定处理方式包括第一处理方式和第二处理方式中的至少一种，所述第一处理方式用于增大点云数据中的至少部分区域内的点云密度，所述第二处理方式用于降低点云数据中的至少部分区域内的点云密度；根据所述预定处理方式，对所述点云数据进行处理。可选地，所述参考面为与所述测距装置所发射的光脉冲序列的中心轴相垂直的面。
[0095]
在一个示例中，所述点云密度分布数据以热力图(本文也称显著性图)的形式呈现，其中，所述热力图中的不同像素值用于表征不同的显著性系数。例如，所述热力图包括第一像素点和第二像素点，所述第一像素点的像素值大于所述第二像素点的像素值，则与所述第一像素点对应的显著性系数大于与所述第二像素点对应的显著性系数；或者，又例如，所述热力图包括第一像素点和第二像素点，所述第一像素点的像素值大于所述第二像素点的像素值，则与所述第一像素点对应的显著性系数小于与所述第二像素点对应的显著性系数。可选地，所述像素值包括灰度值、颜色值或亮度值，或者其他的可以表征显著性系数大小的数值。
[0096]
在一个示例中，根据所述测距装置的扫描方式，获取与测距装置所采集的点云数据相对应的点云密度分布数据，包括：获取与所述测距装置的扫描方式所对应的至少一帧扫描图案，其中，所述扫描图案由所述测距装置的点云数据在参考面上的映射点所组成；根据所述扫描图案上的映射点在不同的统计区域内的数量，确定各个统计区域内的映射点所对应点云的显著性系数。可选地，所述扫描图案由所述测距装置所输出的点云数据映射到所述参考面上而获得，或者，所述扫描图案由根据所述测距装置的扫描方式通过拟合函数而拟合获得。
[0097]
在一个示例中，根据所述扫描图案上的映射点在不同的统计区域内的数量，确定各个统计区域对应的显著性系数，包括：将多个所述统计区域内的映射点数量进行归一化处理，以获得各个统计区域内的映射点所对应点云的显著性系数。
[0098]
在一个示例中，所述统计区域的尺寸基于所述测距装置预定探测的目标物的尺寸而定，其中，所述目标物包括第一目标物和第二目标物，所述第一目标物的尺寸大于所述第二目标物的尺寸，则与所述第一目标物对应的点云密度分布数据的统计区域具有第一尺寸，与所述第二目标物对应的点云密度分布数据的统计区域具有第二尺寸，所述第一尺寸大于所述第二尺寸。
[0099]
在一个示例中，所述参考面具有多个统计区域，所述点云密度分布数据包括至少两种类型的点云密度分布数据，其中，不同类型的点云密度分布数据具有不同的统计区域
尺寸。
[0100]
在一个示例中，根据所述测距装置的扫描方式，获取与测距装置所采集的点云数据相对应的点云密度分布数据，还包括：根据所述扫描方式以及预定从所述点云数据中识别出的目标物的尺寸和统计区域的尺寸之间的关系，确定所述点云密度分布数据。例如，所述点云密度分布数据为统计区域的尺寸小于或等于所述目标物的尺寸的点云密度分布数据。
[0101]
在一个示例中，所述根据所述点云数据在所述参考面上的映射点所对应的所述显著性系数，确定所述点云数据的预定处理方式，包括：根据所述点云数据中点云所表征的深度信息和对应的所述显著性系数，确定点云数据中点云的空间分布属性；根据所述空间分布属性，确定所述点云数据的预定处理方式。
[0102]
示例性地，根据所述空间分布属性，确定所述点云数据的预定处理方式，包括：当所述点云数据中的第一部分点云对应的所述空间分布属性在第一阈值范围内时，确定所述第一部分点云的预定处理方式为所述第一处理方式；当所述点云数据中的第二部分点云对应的所述空间分布属性在第二阈值范围内时，确定所述第二部分点云的预定处理方式为所述第二处理方式。所述第一处理方式包括以下处理方式中的一种：插值、上采样、时间累积；所述第二处理方式包括下采样。
[0103]
在一种实施方式中，如图9所示，本技术实施例中还提供一种可移动平台900，可移动平台900可以包括可移动平台本体901和至少一个测距装置902，至少一个测距装置902设置于所述可移动平台本体901，用于采集目标场景的点云数据。该测距装置902可以参考前文中的测距装置100和测距装置200，在此不做重复描述。
[0104]
测距装置902可安装在可移动平台900的可移动平台本体901。具有测距装置的可移动平台900可对外部环境进行测量，例如，测量可移动平台900与障碍物的距离用于避障等用途，和对外部环境进行二维或三维的测绘。在某些实施方式中，可移动平台900包括无人飞行器、车辆、遥控车、机器人、船中的至少一种。当测距装置应用于无人飞行器时，可移动平台本体901为无人飞行器的机身。当测距装置应用于汽车时，可移动平台本体901为汽车的车身。该汽车可以是自动驾驶汽车或者半自动驾驶汽车，在此不做限制。当测距装置应用于遥控车时，可移动平台本体901为遥控车的车身。当测距装置应用于机器人时，可移动平台本体901为机器人。
[0105]
进一步，可移动平台900还包括前文所述的点云处理装置800，该点云处理转置800的描述可以参考前文。
[0106]
本技术实施例中的点云处理装置800由于用于执行前述的方法，而可移动平台包括该点云处理装置800，因此点云处理装置800和可移动平台900均具有和前述点云处理方法相同的优点。
[0107]
另外，本技术实施例还提供了一种计算机存储介质，其上存储有计算机程序。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行存储器存储的所述程序指令，以实现本文所述的本技术实施例中(由处理器实现)的功能以及/或者其它期望的功能，例如以执行根据本技术实施例的点云处理方法的相应步骤，在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
[0108]
例如，所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。例如一个计算机可读存储介质包含用于将点云数据转换为二维图像的计算机可读的程序代码，和/或将点云数据进行三维重建的计算机可读的程序代码等。
[0109]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(programmable gate array；以下简称：pga)，现场可编程门阵列(field programmable gate array；简称：fpga)等。
[0110]
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本技术的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本技术的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本技术的范围之内。
[0111]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0112]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
[0113]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0114]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本技术的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0115]
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要
求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
[0116]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0117]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的一些模块的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0118]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。