用于处理代表环境的三维点云的方法和装置与流程

1.本发明涉及一种用于处理代表环境的三维点云的方法和装置。


背景技术：

2.由现有技术已知与车辆相关联地使用的传感器，例如激光雷达传感器或雷达传感器，以便执行环境的自动感测。例如，这种环境感测被通过这类车辆的自主或部分自主的行驶运行的系统来使用。通过这些传感器产生的环境信息通常以三维点云的形式存在，这些三维点云接下来可以通过环境识别系统进行分析评价。在这方面重要的处理步骤的目的在于，对三维点云内的能配属给地面的点和能配属给环境中的对象的点进行区分。
3.de 102011100927 b4说明了一种用于探测和跟踪车辆附近的对象的方法和系统，其中，该方法包括：由激光测距仪提供多个样本点，其中，样本点和车辆动态数据被用于确定地平面的地点。算法首先以基于底盘动力学传感器数据的先前地平面地点和应用于点云数据的特征向量计算为基础来估计地平面的地点。
4.de 102015010514 b4说明了一种用于求取导航周围环境的地图数据集的地图信息的方法，其中，导航周围环境的至少一部分通过利用三维测量装置接收三维测量数据集，尤其是三维点云来测量。还提出，三维点云的点投影到地平面的二维网格上。接下来，分析评价：有多少点落入到网格的每个单元，即每个网格元素中，使得产生直方图数据集，在该直方图数据集的基础上可以识别和分类垂直结构。


技术实现要素：

5.根据本发明的第一方面，提出了一种用于处理代表环境的三维点云的方法。
6.在根据本发明的方法的第一步骤中，接收三维点云，该三维点云基于传感器，尤其是车辆的环境传感器来求取。该传感器优选是主动式传感器，例如激光雷达传感器、雷达传感器、超声波传感器或与它们不同的传感器。可能的是，三维点云的点存在于三维点云内的确定的网格位置和/或任意位置。
7.在本发明方法的第二步骤中，求取三维点云内的起始地面点，其中，三维点云的这样的点被分类为起始地面点：这些点相对于传感器处于第一预定义距离内并且相对于参考平面符合至少一个预定义地面点标准，其中，参考平面是关于传感器预定义的平面并且尤其是代表地面的平面。在与车辆环境感测相关联地使用本发明方法的情况下，参考平面优选代表紧挨着传感器的道路表面。第一预定义距离例如是对应的点与传感器之间(即，对应点与例如位于传感器的入口/出口区域中的传感器参考位置之间)的最短距离或经过对应点的参考平面的法向量与经过传感器参考位置的参考平面的法向量之间的最短距离。第一预定义距离例如相当于10米至30米的范围中的值或与该范围有偏差的值。第一预定义距离优选这样选择，使得确保：在该距离内，地面或者说道路表面的潜在曲率到参考平面仅具有小偏差，使得三维点云内可能存在的地面点能以高可靠性被辨识。与此相应地可能有意义的是，分别根据当前环境(例如丘陵的或平坦的)从多个预定义第一距离中选择预定义第一
距离。借助预定义地面点标准确保：符合该标准的点以大概率是三维点云的代表传感器环境中的地面点的点。
8.在本发明方法的第三步骤中，参考平面的至少一个部分区域被划分为多个单元。优选，参考平面的至少这样的区域被划分为多个单元：三维点云的点在三维点云向参考平面中的垂直投影中存在于该区域中。此外，在该步骤中求取：三维点云的与这些单元中的每个单元相对应的点，其中，与各个单元相对应的点是以向参考平面的垂直投影被对应的单元包围的那些点。
9.在本发明方法的第四步骤中，具有第一预定义最小数量的相对应的起始地面点，尤其是至少三个起始地面点的那些单元被确定为起始单元。
10.在本发明方法的第五步骤中，为每个起始单元求取单元平面，其中，这样求取单元平面，使得该单元平面根据预定义计算规则接近对应的起始单元的起始地面点的位置。例如，使用补偿计算方法作为计算规则，其中，也能使用与此不同的能引起“平面尽可能地接近各个起始地面点的位置”的方法。
11.在本发明方法的第六步骤中，求取参考平面内的候选单元，其中，候选单元是为其尚未求取单元平面的单元，其中，候选单元与至少一个另外的单元(即，起始单元或候选单元)邻接，为该至少一个另外的单元已求取到单元平面并且该至少一个另外的单元具有三维点云的第二预定义最小数量的相对应的点。最小数量的相对应的点优选相当于值1或更大的值。但此外也可能的是，最小数量相当于值零。
12.在本发明方法的第七步骤中，根据紧邻接各个候选单元(即，起始单元或候选单元)的单元中存在的所有单元平面(例如，平均平面)，为每个候选单元计算估计单元平面。
13.在本发明方法的第八步骤中，为每个候选单元求取单元平面候选点，其中，优选至少考虑三维点云的先前还未被分类的那些点，并且其中，如果三维点云的一个点与当前所考察的候选单元相对应并且该点到候选单元的估计单元平面和/或到参考平面的最小距离不超过第二预定义距离，则该点被求取为单元平面候选点。
14.在本发明方法的第九步骤中，为每个候选单元求取单元平面，其中，这样求取单元平面，该单元平面根据预定义计算规则(参见上文)接近对应的候选单元的单元平面候选点的位置。
15.总之，所求取的起始单元一般可被视为胚单元(keimzelle)，接下来从该胚单元出发通过在待考察的参考平面区域上求取和处理候选单元来进行单元生长。
16.应注意，与各个候选单元有关的所有步骤优选一直重复，直到参考平面的所有待考察单元都被处理。以这种方式实现，由三维点云代表的传感器环境，从起始单元开始迭代地关于现有地面点进行处理。为参考平面的所有待考察单元由此求取的单元平面接下来以其整体反映传感器环境中的地面型廓。此外，该方法特别适用于以高精度和高可靠性来反映不同的地面型廓，尤其是位于前方的斜坡和坡度。
17.本发明方法的另一优点在于，该方法由于对计算能力相对较低的要求也可以通过能力资源受限制的计算机来执行并因此例如也可以通过嵌入式系统来执行。
18.为了适配于对应现有的计算能力和/或可用的存储容量，本发明方法能起初针对所有待考察单元执行个别步骤，然后再开始后续步骤。替代地也可能的是，起初仅针对一个单元并且针对可能与该单元邻接的单元执行个别步骤。
19.还应注意，所有通过本发明方法未被分类为地面点的点都可以被视为对象点。此外也可能的是，既不符合用于分类为地面点的前提要求也不符合用于分类为对象点的前提要求的点被视为未分类点(该点例如由于测量噪声等产生)并且这些点在后续处理中优选不被考虑。通过有针对性地划分为地面点和对象点，相应地能够对三维点云进行后续处理，例如用于以更高可靠性来识别传感器环境中的对象，因为地面点不会被错误地解释为对象点，或者反之。
20.优选实施方式示出本发明的优选扩展方案。
21.在本发明的一个有利实施方式中，对参考平面进行划分的单元无空隙地彼此邻接，和/或对参考平面进行划分的单元构造为多边形、尤其是三角形或四角形的单元。替代地或附加地，根据传感器的最大分辨率和/或现有边界条件来适配各个单元的形状和/或延伸尺度。例如在有降水的情况下可能会导致三维点云内的噪声部分更高的天气影响被考虑为这种边界条件。在这种情况下可能有利的是，以局部分辨率为代价来提高对应单元的延伸尺度，以便使该噪声部分对求取单元平面和/或求取地面点的影响最小化。此外也能想到，在同一三维点云中的各个单元延伸尺度和/或分别使用的单元形状是可变的，以便例如能够与环境有关地以不同的精度或效率来处理三维点云的特定区域。
22.在另一有利构型中，至少一个预定义地面点标准被满足，如果：三维点云的对应点与参考平面之间的最短距离不超过第三预定义距离(该第三预定义距离例如相当于第二预定义距离或相当于与其不同的值)，和/或由三维点云的各个待考察点和与该点紧邻的至少两个点之间的向量的可能组合产生的所有向量积相对于参考平面的法线具有最大允许第一角度偏差，和/或根据针对每个所考察点的向量积所求取的平均向量相对于参考平面的法线具有最大允许第二角度偏差。应指出，一个或多个上述地面点标准也可用于对各个候选单元中的最终求取的地面点进行可信性检验。
23.进一步有利地，三维点云的这样的点被分类为对象点：这些点相对于传感器处于第一预定义距离内，这些点到参考平面或到估计单元平面或到单元平面的最小距离超过预定义的对象最小距离，并且这些点与紧邻点的向量积关于对应使用的参考平面超过第三预定义角度偏差。以这种方式能够以高可靠性辨识明显对象点并且将这些明显对象点例如从在用于将三维点云的点分类为地面点和对象点的后续处理中排除出，使得所需的计算能力是可减小的。
24.优选，三维点云的子集或所有点与已分类为地面点无关地被分类为对象点，如果这些点的最紧邻点被分类为对象点，到该最紧邻点的最短距离不超过第四预定义距离，并且这两个点之间相对于参考平面的距离不超过第五预定义距离。由此，尤其能避免假阳性辨识出的地面点，由此，提高了本发明方法的可靠性。
25.特别有利地，该计算规则引起：单元平面与相对应的起始地面点和/或单元平面候选点之间的平方偏差的总和最小化。
26.在另一有利构型中，仅当起始地面点或单元平面候选点在对应单元内的分布的值达到预定义最小分布值时，才能为对应的单元求取单元平面或在后续处理步骤中使用单元平面，其中，一个单元的到该单元的中心点分别具有最大距离的点离该中心点越远，并且这些点在该单元内分布地越均匀，则该分布的值越大。提出以下计算规则，作为用于计算起始地面点或单元平面候选点在一个单元内的分布的对应值的有效可能性：
27.v＝(max(x-y)-min(x-y))*(max(x y)-min(x y))
28.其中，v代表分布值，x和y分别代表所考察单元内的距中心点分别具有最大距离的点的局部坐标或相对坐标。替代地或者附加地，仅当单元平面相对于参考平面不超过最大允许倾斜角度时，才为对应单元求取单元平面或在后续处理步骤中使用单元平面。在这里基于这样的假设，地面总是仅具有一定的最大坡度。在不满足一个或多个上述条件的情况下能想到，在后续处理中在不分配单元平面的情况下继续使用一个单元或其内容。替代地也可能的是，在之后的迭代步骤中求取这种程度相关的单元的单元平面，如果在此期间相邻单元中例如有附加的单元平面可供使用，这些附加的单元平面对有关单元中的单元平面的求取结果有积极影响。此外替代地，由相邻单元的一个或多个单元平面形成的估计单元平面能在没有进一步处理的情况下被用作有关单元的单元平面。
29.有利地，在计算估计单元平面时，首先对相邻单元的单元平面(例如借助置信度)进行单独加权，其中，起始地面点和/或单元平面候选点在对应的相邻单元中的分布的值越高和/或对应相邻单元中的单元平面与相对应的起始地点和/或单元平面候选点的平方偏差的总和越小，则单独加权越高。
30.优选地，三维点云的在具有所求取的单元平面的单元内的尚未被分类为地面点或对象点的所有点被分类为地面点，如果这些点到该单元的单元平面的最小距离不超过第二预定义距离。
31.在本发明的另一有利构型中，基于所求取的单元平面(在起始单元和/或候选单元中)和/或基于所求取的地面点(在起始单元和/或候选单元中)和/或基于所求取的对象点(在起始单元和/或候选单元中)在环境识别系统中执行环境识别。
32.在本发明的另一有利构型中，传感器是激光雷达传感器(例如，点扫描器、线扫描器或闪光激光雷达)并且尤其是运输工具的激光雷达传感器，其中，该运动器件优选是公路车辆，例如乘用车、载重车、公交车、两轮车或与此不同的公路车辆。
33.根据本发明的第二方面，提出一种用于处理代表环境的三维点云的装置(例如车辆的控制器)，该装置具有分析评价单元，该分析评价单元设置为用于实施根据上述描述的方法。分析评价单元构型为例如asic、fpga、处理器、数字信号处理器、微控制器或类似物，并且优选在信息技术方面与内部和/或外部连接的存储单元相连接，例如，在该内部和/或外部连接的存储单元中例如保存在实施本发明方法期间所接收和/或计算的数据。这些特征、特征组合以及由此产生的优点相应于与本发明第一方面相关联地描述的内容，使得为了避免重复可参考上述实施方式。
附图说明
34.下面，参照附图详细地说明本发明的实施例。附图示出：
35.图1示出基于本发明方法所处理的三维点云的一个示例；
36.图2示出三维点云的候选单元和与该候选单元相互对应的点；和
37.图3示出根据本发明的沿着地面的迭代单元增长的示例。
具体实施方式
38.图1示出基于本发明方法处理的三维点云20的一个示例，该三位点云借助公路车
辆的激光雷达传感器10感测到。三维点云20的点被投影到参考平面40上，该参考平面的定向基本上相当于紧挨着激光雷达传感器10的周围环境中的车道表面的定向。图1中的图示相当于参考平面40的俯视图。激光雷达传感器10与公路车辆的控制器90的分析评价单元92在信息技术方面连接，该分析评价单元在这里是微控制器。分析评价单元92设置为用于，接收通过激光雷达传感器10感测到的三维点云并且根据本发明方法对该三维点云进行处理。通过分析评价单元92进行的处理的结果例如被传送给环境识别系统，该环境识别系统同样可以是控制器90的组成部分。
39.一般情况下应注意，出于简化表示的原因，图1中仅个别元素借助附图标记标识出。与此相应地，这些附图标记暗含地也适用于图1中的相同地示出的另外的元件。
40.借助分析评价单元92，三维点云20首先被划分为大量无缝隙地彼此邻接的方形的单元50。接下来，考察三维点云20的距激光雷达传感器10处于第一预定义距离30内的那些点，该第一预定义距离的大小为15米。对于在第一距离30内的所有点分别检验：这些点到参考平面40的最短距离是否不超过大小为0.3米的第三预定义距离。如果对应的点没有超过第三距离，则该对应的点被确定为起始地面点22。所有被确定为起始地面点22的地面点24在这里通过包围这些起始地面点22的单个环来标记出。
41.此外，借助分析评价单元92，三维点云20的这样的点被辨识为明显对象点26(即，由环境中的对象明显地引起的点)：这些点位于第一距离30内并且这些点到参考平面40的最小距离高于大小为0.3米的预定义对象最小距离，并且这些点与紧邻点的向量积72相对于参考平面40的法线45分别超过大小为45
°
的第三预定义角度偏差。这些明显对象点26分别由包围这些明显对象点26的两个同心环来标记出。
42.接下来，在第一距离30内的具有所需最小数量的对应起始地面点22的那些单元50被确定为起始单元52，其中，最小数量在这里相当于值5。
43.接下来，为每个起始单元52求取单元平面54，其中，单元平面54这样接近对应单元50中的起始地面点22的位置，使得该单元的起始地面点22到单元平面54的最短距离的平方偏差的总和最小化。
44.然后，求取与起始单元52邻接的候选单元60，这些候选单元在这里必须分别具有最小数量的两个点，以便被视为候选单元60。对于每个候选单元60，现在根据相邻的起始单元52的先前求取的单元平面54求取估计单元平面62，其方式是，根据所有紧邻的相邻单元平面54求取平均平面。
45.现在，在每个候选单元60中求取单元平面候选点64，这些单元平面候选点到估计单元平面62的最小距离不超过大小为0.3m的第二预定义距离。
46.紧接着，为每个候选单元60求取单元平面54，其中，单元平面54这样接近各候选单元60中的单元平面候选点64的位置，使得候选单元60的单元平面候选点64到单元平面54的最短距离的平方偏差的总和最小化。
47.从先前处理过的候选单元60出发，根据上述说明来辨识与这些候选单元60邻接且还未被处理的候选单元60并且应用上述方法步骤，以便也为这些候选单元60求取单元平面54和与这些单元平面相对应的地面点24。这一直进行直至参考平面40的所有单元50都被处理为止。
48.如果用于为各单元50(起始单元52和候选单元60)求取单元平面54和地面点24的
边界条件没有被满足，则为这些单元50使用估计单元平面62，该估计平面根据相邻单元50(起始单元52和候选单元60)中的所有现有单元平面54来求取。
49.接下来，三维点云20的这样的点被分类为对象点26：这些点相对于传感器10处于第一预定义距离30内，这些点到单元平面54的最小距离超过预定义的对象最小距离并且这些点与紧邻点的向量积72相对于单元平面54的法线超过大小为45
°
的第三预定义角度偏差。
50.图2示出三维点云20的候选单元60和与该候选单元60相对应的点的示例。示出三维点云20的四个点，这四个点在向(未示出的)参考平面40上的投影中位于参考平面40的相当于候选单元60的那些单元50中，该参考平面代表地面并且被划分为大量彼此邻接的单元50。基于在与候选单元60邻接的单元50中存在的单元平面54来求取候选单元60的估计单元平面62。现在，三维点云的这样的点被辨识为单元平面候选点64：这些点到估计单元平面62的距离不超过大小为0.2米的第二预定义距离。这适用于位于估计单元平面62以上的点和以下的点。这些点中的三个点在这里符合该距离标准，而这些点中的一个点不符合该距离标准并且与此相应地被分级为未分类点28。紧接着，基于被辨识为单元平面候选点64的点，为该候选单元60来求取最终的、即非估计的单元平面54。
51.图3示出根据本发明的沿着地面的迭代单元增长的示例。在此，图3可以被视为图1的局部，其中，在这里与图1相比，参考平面40的另外的单元50已被处理。为了避免重复，因此下面仅说明与图1的区别。示出起始单元50和四个候选单元60，针对这些单元分别求取了单元平面54。为这些单元50、60中的每个单元分别求取局部法向量74，该局部法向量是基于一个单元50、60内的地面点之间的所有向量积72所求取的平均向量。接下来，使用局部法向量74，以便求取各局部法向量74与参考平面40的法向量45之间的角度偏差。如果所求取的角度偏差大于预定义的大小为15
°
的第二角度偏差，则在后续处理中不考虑对应的单元平面50、60，因为该单元平面不被视为可靠的地面单元。此外，图3中示出当前正要处理的候选单元60的估计单元平面62。