一种数据处理方法、装置和存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种数据处理方法、装置和存储介质。


背景技术：

2.在相关技术中，标注人员在对三维点云进行标注时，如果在点云中存在远距离的待标注目标或者本身较小的待标注目标，由于激光雷达采集的点云数据往往比较稀疏，且距离越远点云越稀疏，因此标注人员很容易忽略这类目标，而造成漏标。
3.当前的解决方案中，即使存在借助图像来辅助点云标注，但操作起来仍然比较复杂或者精确度不够，处理效率依然有待提升。


技术实现要素：

4.本发明的实施例提供一种数据处理方案，以解决现有技术中无法高效识别点云中远处目标的问题。
5.为达到上述目的，本发明采用如下技术方案：
6.根据本公开的一个方面，一种数据处理方法包括：
7.获取至少一帧图像的标注数据，所述标注数据包括目标点的位置数据；
8.根据所述至少一帧图像的标注数据，生成所述目标点在点云帧中的辅助标注信息，所述至少一帧图像与所述点云帧具有对应关系；
9.根据所述辅助标注数据，得到所述点云帧的标注数据。
10.根据本公开的另一方面，一种数据处理装置包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行如上所述的方法。
11.根据本公开的再一方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行后实现如上所述的方法。
12.本发明实施例提供的数据处理方案，通过确定在图像中指示目标物体方位的目标点的位置，反投影至对应的点云中，辅助点云中目标物体的识别，方便进一步获得点云帧中的标注数据。
附图说明
13.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
14.图1是示出根据示例性实施例的数据处理装置的结构框图；
15.图2是示出根据示例性实施例的数据处理装置的架构示意图；
16.图3是示出根据示例性实施例的数据处理方法的流程图；
17.图4a～4b是示出根据示例性实施例的参考示意图；
18.图5a～5b是示出根据示例性实施例的实际应用场景的示意图；
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.在本公开中，术语“多个”是指两个或两个以上，除非另有说明。在本公开中，术语“和/或”，描述关联对象的关联关系，涵盖所列出的对象中的任何一个以及全部可能的组合方式。字符“/”一般表示前后关联对象是一种“或”的关系。
21.在本公开中，除非另有说明，否则使用术语“第一”、“第二”等是用于区别类似的对象，而不意图限定其位置关系、时序关系或重要性关系。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的方式实施。
22.此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、系统、产品或设备固有的其它步骤或单元。
23.在相关技术中，由于激光雷达采集的点云数据比较稀疏，且距离越远点云越稀疏，较小的目标、远处的目标在点云中展现往往不明显，在对点云中的物体进行标注时难以准确识别，容易漏标。
24.本技术实施例提供了一种数据处理的方案，可以有效利用图像数据分辨率高、颜色、纹理信息丰富的优点，可以将利用点云难以直接识别标注的远、小、难的目标物体在图像中简单标记出，进一步利用图像和点云之间的关系，将图像中标记的目标点通过相机反向投影至点云中，用以指示目标物在点云中的位置，实现辅助点云标注。相较于现有技术中的方案，更加简单易用。
25.本技术的一些实施例提供了一种数据处理的方案。图1示出了本技术实施例提供的数据处理装置的结构，该装置1包括处理器11和存储器12。
26.在一些实施例中，存储器12可以是多种形态的存储装置，例如暂态或非暂态的存储介质。在存储器12中可以存储至少一条机器可执行指令，至少一条机器可执行指令被处理器11执行后实现本技术实施例提供的数据处理方法。
27.在一些实施例中，数据处理装置1可以位于服务器端。在另一些实施例中，数据处理装置1也可以位于云端服务器中。在另一些实施例中，数据处理装置1还可以位于客户端中。
28.如图2所示，本技术实施例提供的数据处理可以包括前端处理13和后端处理14。通过前端处理13显示相关的三维点云帧和/或图像，并接收标注员输入的相关数据或信息，例如，前端处理13可以是通过web页面实现的处理，或者是通过单独的应用界面实现的处理。后端处理14根据前端处理13接收到的相关数据和信息，进行相应的数据处理。在数据处理
完成后，数据处理装置1可以进一步将标注结果提供给客户端、服务器、云端服务器上的其它处理或应用。
29.其中，在显示三维点云数据时，可以根据指定的显示方向来显示三维点云数据。指定的显示方向可以是预设的显示方向，也可以是标注员输入的显示方向。例如，在一些实施例中，在数据处理装置读取了一帧三维点云数据后，可以根据预设的显示方向来显示该帧三维点云数据。又例如，在一些实施例中，在标注员需要仔细观察该三维点云数据表达的场景或物体时，可以选择并输入所需的显示方向，数据处理装置根据接收到的显示方向来显示三维点云数据，以便于标注员进行观察和识别。
30.下面对数据处理装置1执行至少一条机器可执行指令实现的数据处理方法进行说明。
31.图3中示出了本技术实施例提供的数据处理方法，也即数据处理装置进行数据处理的流程，包括：
32.s301获取至少一帧图像的标注数据，所述标注数据包括目标点的位置数据；
33.具体地，可以通过数据处理装置显示包含有目标点的一帧或多帧图像，标注员可通过多种方式通过数据处理装置提供的人机交互界面输入图像中目标点的标注数据，例如，在人机交互界面中的数据输入框中直接输入具体的参数数值，点击人机界面上预设的按钮、按键，按钮或者按键具有对应的预设的指令或者数据，或者在人机界面提供的下拉菜单中选择相应的选项，下拉菜单中可以包括一级或多级子菜单、每个子菜单可以包括一个或多个选项，数据处理装置通过人机界面接收标注员输入的标注数据。
34.或者，可以利用目标检测算法，计算得到目标点在图像中的位置坐标，在一些应用场景中还可以由标注员针对目标检测算法所识别的结果进行人工核验校准，将核验校准后的数据作为目标点在图像中的标注数据。
35.s303根据所述至少一帧图像的标注数据，生成所述目标点在点云帧中的辅助标注信息，所述至少一帧图像与所述点云帧具有对应关系；
36.具体地，图像数据可以是通过摄像头采集的，点云数据可以是通过激光雷达采集的。点云是表征目标表面特征的点集合，通过激光雷达采集得到的点云数据可以包含三维坐标信息和激光反射强度信息，在经过三维场景构建和三维坐标转换后通过前端显示13以点云帧的形式进行展示，一般而言，在点云帧中属于相同物体反馈的激光点相对集中且能够显示目标物体的大致轮廓。图像数据和点云数据具有对应关系可以理解为，对于一帧点云，在同一时刻对同一场景进行拍摄所形成的图像与其具有对应关系。
37.s305根据所述辅助标注数据，得到所述点云帧的标注数据。
38.具体地，辅助标注数据可以辅助识别目标物体在点云帧中的方位，从而进一步通过人工输入或者预设规则自动生成目标物体在点云帧中的标注数据。
39.根据图3所示的方法，数据处理装置通过接收目标点在图像中的标注数据，生成目标点在对应点云帧中的辅助标注信息，用以辅助识别点云中较难直接识别标注的目标物体，从而可以快速便捷地获得目标物体在点云帧中的标注数据。
40.在一些实施例中，s303可以按照如下方式实现：将目标点在至少一帧图像中的位置数据分别经过对应的相机反投影至所述点云帧中，得到至少一条射线。其中，反投影是指将二维图像平面上的点对应到三维空间中一条射线的过程，具体地，图像平面点m的反投影
是指在相机p的作用下具有像点m的所有空间点的集合。
41.在一些实施例中，可以由标注员基于生成的辅助标注信息，来人工确定目标物体在点云帧中的区域，并进行标注数据输入。
42.例如：s305可以按照如下方式实现：显示点云帧和至少一条射线，射线指示目标目标物体在点云帧中的方位；接收目标物体在所述点云帧中的标注数据。
43.具体地，数据处理装置可以显示含有目标物体的待标注点云帧和根据目标点在图像中的位置数据反投影生成的射线，每条射线均指示目标物体在点云帧中的方位。当一帧图像中的目标点反投影至点云帧中时，生成一条射线，由于该射线指向目标物体在点云帧中的方位，同时由于目标物体所在区域的点云密度通常大于周围环境点云密度，因此标注员可以沿着射线方向快速确定目标物体所在区域。
44.如图4a所示，首先在图像中确定目标车辆所在像素范围内的一点作为目标点一，再将目标点一通过该图像所对应的相机反投影至对应时刻的点云帧中，生成的从对应的相机发出的射线将穿过目标车辆在点云帧中的区域，从而标注员可以沿着射线在点云帧中寻找目标车辆所在方位，再根据点云密度的差异，识别出目标车辆所在区域。
45.当至少两帧图像中的目标点分别反投影至点云帧时，生成的对应于各目标点的两条或多条射线将在点云帧中产生至少一个交点。标注员可以借助交点所在位置，同时结合点云密度，来确定目标物体在点云帧中的区域。这样，借助于射线生成的交点，标注员可以快速锁定目标物体在点云帧中的方位，提升识别点云中较远物体或较难识别物体的标注效率。
46.如图4b所示，首先在两帧由两个不同相机采集的图像中分别确定目标车辆所在像素范围内的一点作为目标点一和目标点二，再将目标点一和目标点二分别通过两帧图像对应的相机反投影至对应时刻的点云帧中，生成的从两个相机发出的射线将穿过目标车辆在点云帧中的区域。同时，该两条射线将在点云中交于一点，该交点可能落在目标车辆在点云帧中的区域内，也可能落在目标车辆在点云帧中的区域附近。标注员可以通过交点快速锁定目标车辆所在方位，再进一步根据点云密度的差异，识别出目标车辆所在区域。
47.其中，图像中的目标点可以由标注员人工标记确认，以表征目标物体在图像中的位置，也可以将目标车辆特定位置作为检测目标，如左/右车尾灯、左/右后视镜等，借助目标检测算法识别出检测目标以作为目标点。目标点的作用是为了指示出目标车辆在图像中的位置，以便反投影生成的射线可以指示目标车辆在点云中的方位，辅助标注员进行下一步操作，在此不对其确定方式进行限定。同时，本技术实施例中采用目标车辆作为示例进行论述只是为了便于公众理解本发明方案，任何可以被点云和相机同时采集的目标物体均可以应用本方案进行辅助标注。
48.在一些实施例中，标注员在确定目标物体在点云帧中的区域后，可以进一步通过多种方式输入目标物体在点云帧中的标注数据，例如，在人机交互界面中通过点选目标物体轮廓上的点来确定标注框的坐标数据，以及在人机界面提供的下拉菜单中选择相应物体属性选项。根据标注员输入的轮廓点坐标数据，数据处理装置可以进一步生成并显示目标物体在点云帧中的三维标注框，例如：可以先沿着轮廓点生成二维包围框，然后生成将所述二维包围框包含在内的最小矩形，将该最小矩形的长、宽作为三维标注框的长和宽，再按照预设的高，生成三维标注框。进一步地，数据处理装置还可以按照选定的方向显示生成的三
维标注框，以便于标注员进一步检查调整。应当理解的是，三维标注框的生成方式在此不构成对本技术保护范围的限制。
49.在一些实施例中，标注员在显示的点云帧中识别出目标物体后，在显示该目标物体的三维坐标系空间中，点击选择目标物体所在区域内的一个位置，数据处理装置识别出该位置的三维坐标值，作为基点坐标(x，y，z)；或者标注员能够识别出待选位置的三维坐标值的情况下，还可以直接在人机界面的数值输入框中输入位置数据，作为基点坐标(x，y，z)。进一步地，数据处理装置可以在坐标值(x，y，z)所指的位置上生成一个三维标注框，生成时可以以该三维坐标值所指的位置为立方体的中心点生成一个长方体三维标注框，或者以该三维坐标值所指位置为一个预定的角点生成一个立方体三维标注框，还可以以三维坐标值所指位置为一个面的中心点生成一个立方体三维标注框。进一步地，数据处理装置还可以按照选定的方向显示生成的三维标注框，以便于标注员进一步检查调整。应当理解的是，三维标注框的生成方式在此不构成对本技术保护范围的限制。
50.在一些实施例中，还可以通过预设的规则，在得到射线后自动确定目标物体的标注数据。
51.具体地，若通过反投影在点云帧中生成一条射线，则按照预设规则搜索射线上的点，确定指示所述目标物体在所述点云帧中位置的基点坐标。其中一种方式是，先设定一个点云密度阈值，分别计算所述射线上所有点所对应的点云密度值，将大于阈值的点放在初筛点集中，然后从初筛点集中选择一点，例如：选择点云密度值最大的点，将该点的坐标作为基点坐标(x，y，z)。
52.若通过反投影在点云帧中生成两条或以上的射线，这些射线至少会存在一个交点，数据处理装置可以按照预设规则选取其中一个交点，将其坐标记为基点坐标(x，y，z)。其中，交点的选取可以采用但不限于如下方式：通过计算各交点对应的点云密度值，选取对应点云密度最高的交点；或者选取和所有相机平均距离最近的交点；或者任意选取一个交点。在计算射线上点的点云密度值或者交点的密度值时，可以先将点云投影至二维平面，然后以各点在二维平面内的对应位置作为圆心，分别计算预设半径区域内的点云密度，作为各点的点云密度值。应当理解的是，本领域技术人员可以根据实际需求选取合适的点云密度计算方式，不同的计算方式并不影响本技术所要求保护的范围。
53.进一步地，在确定基点坐标(x，y，z)后，数据处理装置可以在基点坐标(x，y，z)所指的位置上按照预设规则生成一个三维标注框，生成时可以以基点坐标所指的位置为立方体的中心点生成一个立方体三维标注框，或者以基点坐标所指位置为一个预定的角点，如立方体的某一顶点，生成一个立方体三维标注框，还可以以基点坐标所指位置为一个面的中心点生成一个立方体三维标注框。进一步地，数据处理装置还可以按照选定的方向显示生成的三维标注框，以便于标注员检查调整。应当理解的是，三维标注框的生成方式在此不构成对本技术保护范围的限制。
54.进一步地，生成的三维标注框还可以具有预定的尺寸。例如，在一些场景中，要求标注的目标物体比较单一，这些物体具有类似或者相同的尺寸，在这种情况下，可以预设三维标注框的尺寸，数据处理装置根据基点坐标来生成具有预定尺寸的三维标注框。或者，根据标注员输入的物体属性以及预置的物体属性与尺寸的关系，来生成对应于不同属性物体的不同尺寸三维标注框。应当理解的是，如何生成三维标注框的规则可以根据实际需求灵
活设置，本技术不作限定。
55.图5a、5b展示了本方案在实际应用中的典型场景，其中图5a展示了通过在一张图像中进行目标点的选取，以在点云帧中生成一条辅助射线，图5b展示了通过在两张图像中分别进行目标点的选取，以在点云帧中生成两条辅助射线。下面将结合图5a、5b对本技术方案进行阐述。但需要注意的是，有关实施例的阐述仅便于公众理解本方案，并不会对本技术的保护范围造成限缩。
56.如图5a、5b所示，在接收到来自激光雷达的点云数据后，可以通过webgl技术构建三维场景以及对应的三维坐标系，将接收到的激光点云放入所述三维场景中进行展示。在标注员执行标注任务时，可以在操作界面同时展示当前点云帧以及对应时刻不同相机所采集的图像帧，其中激光雷达以及相机均安装在本车上，且由于各相机安装位置存在差异，目标车辆在不同相机采集的图像中所处的相对位置也会不同。
57.在图5a中，可以看到在同一时刻两个相机拍摄的图像以及该时刻对应的点云帧，相机一对应图像一，相机二对应图像二，相机一和相机二安装在本车上不同位置。通过在图像一中选取目标车辆像素区域内的一点作为图像一上的目标点一，然后通过反投影，在点云帧中生成一条从相机一发出的射线一，则射线一将穿过该目标车辆在点云中的区域，从而给标注人员提供指引，以寻找目标车辆在点云中的方位。进一步地，由于点云的特性，在目标物体区域内的点云密度往往大于周边环境点云密度，因此，标注员在沿着射线一方向寻找目标车辆时，可以通过点云密度较快地确定目标车辆所在位置及区域，并完成相应的标注操作。
58.在图5b中，可以看到在同一时刻两个相机拍摄的图像以及该时刻对应的点云帧，相机一对应图像一，相机二对应图像二，相机一和相机二安装在本车上不同位置。通过在图像一中选取目标车辆像素区域内的一点作为图像一上的目标点一，在图像二中选取目标车辆像素区域内的一点作为图像二上的目标点二，然后通过反投影，在点云帧中分别生成对应于目标点一和目标点二的射线，其中射线一从相机一发出，射线二从相机二发出，且射线一和射线二均穿过目标车辆在点云中的区域。进一步地，射线一和射线二会在点云中交于一点，该交点可能位于目标车辆在点云中的区域，也可能位于目标车辆在点云中的区域附近。从而，标注员可以通过射线的交点位置快速确定目标车辆在点云中的大致位置，再进一步根据目标车辆所在区域和周边环境的点云密度差异来确定目标车辆在点云中的区域，并完成相应的标注操作。
59.通过上述方案，标注员在进行点云标注时，不必仅依靠肉眼搜寻点云中的目标物，且在目标物较难识别时，仍能借助于对应时刻的图像数据，利用图像数据分辨率高、颜色、纹理信息丰富的优点，通过简单点选目标物在图像上的区域内的像素点，反投影在点云帧中生成对应一条或多条射线，射线将穿过目标物在点云中的区域，或产生交点，以指示目标物在点云中的方位或者所在区域，从而辅助标注员进行快速识别和标注，避免漏标。
60.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
61.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
62.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
63.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
64.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。