一种基于特征识别的点云标注方法、装置及电子设备与流程

1.本发明涉及自动驾驶技术领域，具体来说，涉及一种基于特征识别的点云标注方法、装置及电子设备。


背景技术：

2.自动驾驶中需要对目标进行检测以获取周围的环境状态，目前对目标进行检测多使用以深度学习为基础的3d目标检测。以深度学习为基础的3d目标检测依赖于大量已标注的3d激光雷达点云数据以训练基于深度学习的3d目标检测算法。
3.3d激光雷达点云数据的标注一般是人工手动标注完成的。相对于2d图片数据的标注，3d激光雷达点云数据标注对标注员的空间想象能力要求较高，而且标注步骤繁琐、速度慢，标注成本高。
4.本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。


技术实现要素：

5.针对相关技术中的上述技术问题，本发明提出一种基于特征识别的点云标注方法，其包括如下步骤：s1，获取待标注的点云数据；s2，将所述待标注的点云数据投影到xy平面得到投影数据；s3，根据预设的最近点距离
△
max对所述投影数据进行块分割获得分割后的块域；s4，对步骤s3得到的块域进行最优外接矩形求解获取每一个块域的最优外接矩形；s5，根据所述最优外接矩形及所述块域的最高点zmax，得到3d标注框；s6，根据所述3d标注框的尺寸，比对特征库中的标签3d尺寸，获取与所述3d标注框匹配的标签。
6.具体的，所述方法还包括：s7，根据所述匹配的标签对所述待标注的点云数据进行预标注，并将预标注的标注框颜色设置为黄色；具体的，所述方法还包括：s8，接收标注员对所述预标注的修改，以获得第一标注的点云数据。
7.具体的，所述方法还包括：s9，接收标标注员对所述第一标注的点云数据的新增的标注，以获得最终标注的点云数据。
8.具体的，所述方法还包括：s10，获取所述最终标注的点云数据进行点云特征提取，并将所述提取的点云特征
以特征树的形式进行保存。
9.第二方面，本发明的另一个实施例提供了一种基于特征识别的点云标注装置，其包括如下单元：待标注的点云数据获取单元，用于获取待标注的点云数据；投影单元，用于将所述待标注的点云数据投影到xy平面得到投影数据；块域分割单元，用于根据预设的最近点距离
△
max对所述投影数据进行块分割获得分割后的块域；最优外接矩形计算单元，用于对块域分割单元得到的块域进行最优外接矩形求解获取每一个块域的最优外接矩形；3d标注框获取单元，用于根据所述最优外接矩形及所述块域的最高点zmax，得到3d标注框；标签匹配单元，用于根据所述3d标注框的尺寸，比对特征库中的标签3d尺寸，获取与所述3d标注框匹配的标签。
10.具体的，所述装置还包括如下单元：预标注单元，用于根据所述匹配的标签对所述待标注的点云数据进行预标注，并将预标注的标注框颜色设置为黄色；具体的，所述的装置还包括如下单元：预标注确认单元，用于接收标注员对所述预标注的修改，以获得第一标注的点云数据。
11.预标注新增单元，用于接收标标注员对所述第一标注的点云数据的新增的标注，以获得最终标注的点云数据。
12.具体的，所述的装置还包括如下单元：特征树保存单元，用于获取所述最终标注的点云数据进行点云特征提取，并将所述提取的点云特征以特征树的形式进行保存。
13.第三方面，本发明的另一个实施例提供了一种电子设备，所述电子设备包括处理器，存储器，所述存储上存储有指令，所述指令被处理器执行时，用于实现上述的一种基于特征识别的点云标注方法。
14.本实施例通过对待标注的点云数据进行预分割，通过最近点距离
△
max对所述投影数据进行块分割获得分割后的块域，并根据快域的最优外接矩形的尺寸进行匹配以在特征库中获取已经标注的3d目标的标签，从而可以预先对待标注数据进行初步的标注，从而可以自动标注出一部分3d点云目标，从而在后续提供给标注员进行标注时，可以节省标注员的标注时间。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明实施例提供的一种基于特征识别的点云标注方法流程图；
图2是本发明实施例提供的块域划分示意图；图3是本发明实施例提供的最优外接矩形示意图；图4是本发明实施例提供的3d标准框参数示意图；图5是本发明实施例提供的特征树结构示意图；图6是本发明实施例提供的一种基于特征识别的点云标注装置示意图；图7是本发明实施例提供的一种基于特征识别的点云标注设备示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
18.实施例一参考图1，本实施例公开了一种基于特征识别的点云标注方法，其包括如下步骤：s1，获取待标注的点云数据；标注员可以打开一个标注单，而标注单对应了待标注的点云数据，本实施例的待标注的点云数据是3d点云数据，例如3d激光雷达获取的3d激光点云数据。
19.s2，将所述待标注的点云数据(x,y,z,nx,ny,nz)，投影到xy平面得到投影数据；本步骤先将3d点云数据进行降维处理，具体的降维处理方式为将点云数据(x,y,z,nx,ny,nz)，投影到xy平面。
20.s3，根据预设的最近点距离
△
max对所述投影数据进行块分割获得分割后的块域。
21.划分块域：按系统设定的最近点距离
△
max，对投影数据进行块分割。如图2所示，即从任一点p1开始，以p1为圆心，
△
max为半径进行块域扩展，继续选择p1为中心的圆内各点如p2点
△
max为半径画圆，以此循环直到无法扩展到新的点形成块域s1。然后重新任选一点p3，重复上述步骤形成块域s2。最终将投影划分为多个块域。
22.s4，对步骤s3得到的块域进行最优外接矩形求解获取每一个块域的最优外接矩形；参考图3，在投影域内，对每个块域求解最优外接矩形。即在xy平面，对域边界点先构造出一个外接矩形，然后让矩形循环对边界点进行旋转遍历，直到获取到最小面积的外接矩形。
23.s5，根据所述最优外接矩形及所述块域的最高点zmax，得到3d标注框；生成3d框：根据最小外接矩形及块域最高点zmax，画出3d标注框，3d标注框参数包括标签、8个顶点坐标、底面、侧面、背面3个垂直平面的4个点组成，标注框参数格式如图4所述。
24.s6，根据所述3d标注框的尺寸，比对特征库中的标签3d尺寸，获取与所述3d标注框匹配的标签；匹配标注标签：根据3d标注框尺寸，比对特征库中的标签3d尺寸，获取相近尺寸标签。对3d标注框内的域块分别向xy平面、外接矩形与z轴垂直面投影，投影落点比对特征库标签的边界，如果投影内除外部边界外，还有内部边界，则再进行子特征比对，取落点最多
的特征标签为匹配的标签。
25.本实施例通过对待标注的点云数据进行预分割，通过最近点距离
△
max对所述投影数据进行块分割获得分割后的块域，并根据快域的最优外接矩形的尺寸进行匹配以在特征库中获取已经标注的3d目标的标签，从而可以预先对待标注数据进行初步的标注，从而可以自动标注出一部分3d点云目标，从而在后续提供给标注员进行标注时，可以节省标注员的标注时间。
26.本实施建立特征库的方法：1.初始化特征数据库特征数据库包含目录集、主特征集、子特征集；将原始数据库中的特征元素按照特征树结构，将一级主特征按预设规则存入目录集，主特征按预设规则加入主特征集，子特征按预设规则加入子特征集，2.添加特征元素到特征库从保存的特征树中获取待添加的特征元素，首先判断主特征集是否为空，若为空，则按初始化规则分别添加到目录集、主特征集、子特征集；若不为空，检查目录集中是否包含待添加特征元素(同一标签、相近的3d尺寸视为同一特征元素)，若不存在则添加。
27.进一步的，在得到预标注数据后，本实施例还可以接收标注员对所述预标注数据的确认与修改，以补充和完善本实施例中预标注的错误。因此，本实施例还包括如下步骤：s7，根据所述匹配的标签对所述待标注的点云数据进行预标注，并将预标注的标注框颜色设置为黄色；s8，接收标注员对所述预标注的修改，以获得第一标注的点云数据；具体的此步骤中，标注员对系统预标注的黄色标注进行标注确认。对预标注正确的标注框，直接改成绿色；对预标注错误的标注框，进行勘误标注为红色。
28.s9，接收标标注员对所述第一标注的点云数据的新增的标注，以获得最终标注的点云数据；标注员标注系统未识别点云数据。此步骤中，标注员对系统未预标注的点云数据进行正常标注，标注颜色为蓝色。对于投影内有内部边界的，还需要进行子特征分割标注，以供特征提取。
29.本实施例通过预先对待标注的点云数据进行预标注，可以提高工单的标注效率及准确率，节省人力资源，降低标注成本。
30.进一步的，本实施还可以通过特征树的形式，对所述标注的数据进行保存。
31.s10，获取所述最终标注的点云数据进行点云特征提取，并将所述提取的点云特征以特征树的形式进行保存；具体的所述特征的形式为：主特征、子特征的形式进行组织，其中主特征用于描述特征的尺寸以及投影边界，所述子特征包括主特征以及对应的子特征。
32.标注员提交标注工单。此步骤中，系统根据标注员分割特征标注的点云数据，提取点云特征。提取方法为：1）主特征提取：对标注员已分割标注的3d点云数据提取外框尺寸，外框尺寸分别记录为长、宽、高。提取投影边界，按3d标注框，分别提取底面、侧面、背面的三个垂直面的投影边界。
33.2）子特征提取：对投影边界内有封闭边界的，分别提取外框尺寸和投影边界。
34.3）保存特征树：将标签、主特征、子特征成组进行保存。成组特征树如图5的特征树结构图所示。
35.实施例二参考图6，本实施例公开了了一种基于特征识别的点云标注装置，其包括如下单元，待标注的点云数据获取单元，用于获取待标注的点云数据；投影单元，用于将所述待标注的点云数据投影到xy平面得到投影数据；块域分割单元，用于根据预设的最近点距离
△
max对所述投影数据进行块分割获得分割后的块域；按设定的最近点距离
△
max，对投影数据进行块分割。如图2所示，即从任一点p1开始，以p1为圆心，
△
max为半径进行块域扩展，继续选择p1为中心的圆内各点如p2点
△
max为半径画圆，以此循环直到无法扩展到新的点形成块域s1。然后重新任选一点p3，重复上述步骤形成块域s2。最终将投影划分为多个块域。
36.最优外接矩形计算单元，用于对块域分割单元得到的块域进行最优外接矩形求解获取每一个块域的最优外接矩形；参考图3，在投影域内，对每个块域求解最优外接矩形。即在xy平面，对域边界点先构造出一个外接矩形，然后让矩形循环对边界点进行旋转遍历，直到获取到最小面积的外接矩形。
37.3d标注框获取单元，用于根据所述最优外接矩形及所述块域的最高点zmax，得到3d标注框；生成3d框：根据最小外接矩形及块域最高点zmax，画出3d标注框，3d标注框参数包括标签、8个顶点坐标、底面、侧面、背面3个垂直平面的4个点组成，标注框参数格式如图4所述。
38.标签匹配单元，用于根据所述3d标注框的尺寸，比对特征库中的标签3d尺寸，获取与所述3d标注框匹配的标签。
39.匹配标注标签：根据3d标注框尺寸，比对特征库中的标签3d尺寸，获取相近尺寸标签。对3d标注框内的域块分别向xy平面、外接矩形与z轴垂直面投影，投影落点比对特征库标签的边界，如果投影内除外部边界外，还有内部边界，则再进行子特征比对，取落点最多的特征标签为匹配的标签。
40.本实施建立特征库的方法：1.初始化特征数据库特征数据库包含目录集、主特征集、子特征集；将原始数据库中的特征元素按照特征树结构，将一级主特征按预设规则存入目录集，主特征按预设规则加入主特征集，子特征按预设规则加入子特征集，2.添加特征元素到特征库从保存的特征树中获取待添加的特征元素，首先判断主特征集是否为空，若为空，则按初始化规则分别添加到目录集、主特征集、子特征集；若不为空，检查目录集中是否包含待添加特征元素(同一标签、相近的3d尺寸视为同一特征元素)，若不存在则添加。
41.本实施例通过对待标注的点云数据进行预分割，通过最近点距离
△
max对所述投影数据进行块分割获得分割后的块域，并根据快域的最优外接矩形的尺寸进行匹配以在特征库中获取已经标注的3d目标的标签，从而可以预先对待标注数据进行初步的标注，从而可以自动标注出一部分3d点云目标，从而在后续提供给标注员进行标注时，可以节省标注员的标注时间。
42.进一步的，在得到预标注数据后，本实施例还可以接收标注员对所述预标注数据的确认与修改，以补充和完善本实施例中预标注的错误。因此，本实施例还包括如下单元：预标注单元，用于根据所述匹配的标签对所述待标注的点云数据进行预标注，并将预标注的标注框颜色设置为黄色；预标注确认单元，用于接收标注员对所述预标注的修改，以获得第一标注的点云数据。
43.预标注新增单元，用于接收标标注员对所述第一标注的点云数据的新增的标注，以获得最终标注的点云数据。
44.进一步的，本实施还可以通过特征树的形式，对所述标注的数据进行保存。
45.特征树保存单元，用于获取所述最终标注的点云数据进行点云特征提取，并将所述提取的点云特征以特征树的形式进行保存。
46.特征树保存单元根据标注员分割特征标注的点云数据，提取点云特征。其还包括如下单元：主特征提取单元：对标注员已分割标注的3d点云数据提取外框尺寸，外框尺寸分别记录为长、宽、高。提取投影边界，按3d标注框，分别提取底面、侧面、背面的三个垂直面的投影边界。
47.子特征提取单元：对投影边界内有封闭边界的，分别提取外框尺寸和投影边界。
48.保存特征树单元：将标签、主特征、子特征成组进行保存，成组特征树如图5的特征树结构图所示。
49.实施例三参考图7，图7是本实施例的一种基于特征识别的点云标注设备的结构示意图。该实施例的基于特征识别的点云标注设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
50.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于特征识别的点云标注设备20中的执行过程。例如，所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程，在此不再赘述。
51.所述基于特征识别的点云标注设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是基于特征识别的点云标注设备20的示例，并不构成对基于特征识别的点云标注设备20的限定，可以包括比图示更多或更少的部件，或
者组合某些部件，或者不同的部件，例如所述基于特征识别的点云标注设备20还可以包括输入输出设备、网络接入设备、总线等。
52.所述处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述基于特征识别的点云标注设备20的控制中心，利用各种接口和线路连接整个基于特征识别的点云标注设备20的各个部分。
53.所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述基于特征识别的点云标注设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
54.其中，所述基于特征识别的点云标注设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
55.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
56.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。