一种立体框交互方法及系统与流程

1.本发明涉及数据标注技术领域，具体而言，涉及一种立体框交互方法及系统。


背景技术：

2.点云标注是三维计算机视觉中的一个基础且重要的课题。它被广泛应用于三维重建、即时定位与建图和自动驾驶等。但是，在实际应用中存在诸多阻碍。学者们已经针对点云稀疏变化、遮挡和部分重叠等障碍做了大量的工作。
3.随着计算机网络的不断发展，人工智能相关技术在日常生活中越发普遍。例如，在很多生活场景中，都涉及到人工智能中的机器学习，该机器学习可以理解为是对模型进行训练，而对模型进行训练就需要先获取到对模型进行训练的样本数据。
4.其中，可以采用二维-三维关联标注的样本数据，对位置检测模型进行训练，训练完成的位置检测模型可以用于识别无人驾驶汽车行驶道路中障碍物体的空间位置。其中，二维-三维关联标注的样本数据，即为标注有检测对象在二维图像中所在的位置框、且同时标注有该检测对象在三维图像中所在的位置框的样本数据。
5.现有技术中，在获取多个二维-三维关联标注的样本数据时，通过识别检测对象在对每个样本数据中的位置，进而可以根据检测出的检测对象在每个样本数据中的对象位置，对每个样本数据中的检测对象进行二维-三维关联标注。此种标注方式下，当对某个样本数据中的检测对象的位置识别失败，导致对该样本数据中的检测对象的二维-三维关联标注失败时，则该个样本数据中检测对象的二维-三维关联标注信息就会缺失。
6.现有技术中3d框也可以应用在2d图像的标注中，可以做到3d到2d的映射，从而确定物体的边缘。2d/3d融合标注同时对所采集到的2d图像数据进行标注，并建立关联，该方法能够标注出物体在平面和立体中的位置和大小。
7.可以通过绘制一个框，将感兴趣的对象包围起来，并将顶点放置在对象的每个边缘。如果对象的一个边缘不可见、或被2d图像中的另一个对象所遮挡，那么标注器就会根据该对象的大小、高度、以及图像的角度，来估算其边缘的位置。


技术实现要素：

8.本发明的目的在于提供一种立体框交互方法，其能够构建立体框和调整立体框的位置、大小和方向。
9.本发明的另一目的在于提供一种立体框交互系统，其能够运行一种立体框交互方法。
10.本发明的实施例是这样实现的：
11.第一方面，本技术实施例提供一种立体框交互方法，其包括鼠标左键按下并进行拖拽、抬起的动作，按下的点即为起始第一顶点，抬起点为起始顶点的结束第三顶点；鼠标移动寻找第七顶点，当确定第七顶点的位置后再次点击即为第七顶点；立体框的剩余顶点自动计算补齐，生成一个长方体的立体框。
12.在本发明的一些实施例中，上述立体框的剩余顶点自动计算补齐，生成一个长方体的立体框包括：根据第三顶点的x坐标及第一顶点的y坐标，生成第二顶点的坐标；根据第一顶点的x坐标及第三顶点的y坐标，生成第四顶点的坐标。
13.在本发明的一些实施例中，上述还包括：计算第七顶点相对于第三顶点，分别在x轴差值dltx和y轴差值dlty。
14.在本发明的一些实施例中，上述还包括：根据第一顶点的x坐标加dltx及第一顶点的y坐标加dlty，生成第五顶点的坐标；根据第二顶点的x坐标加dltx及第二顶点的y坐标加dlty，生成第四顶点的坐标；根据第四顶点的x坐标加dltx及第四顶点的y坐标加dlty，生成第八顶点的坐标。
15.在本发明的一些实施例中，上述还包括：通过鼠标左键拖拽立体框任意面上除顶点和中间点的点，进行调整立体框的位置。
16.在本发明的一些实施例中，上述还包括：通过鼠标左键拖拽后面矩形平面的顶点中任意一个顶点，进行调整立体框的方向。
17.在本发明的一些实施例中，上述还包括：通过鼠标左键拖拽前面顶点中任意一个顶点，同时进行调整前面的矩形平面和后面的矩形平面大小；通过鼠标左键拖拽前面中间点中任意一个中间点，进行调整前面的矩形平面大小；通过鼠标左键拖拽后面中间点中任意一个中间点，进行调整后面的矩形平面大小。
18.第二方面，本技术实施例提供一种立体框交互系统，其包括确定基准面模块，用于鼠标左键按下并进行拖拽、抬起的动作，按下的点即为起始第一顶点，抬起点为起始顶点的结束第三顶点；
19.确定延伸面模块，用于鼠标移动寻找第七顶点，当确定第七顶点的位置后再次点击即为第七顶点；
20.生成立体框模块，用于立体框的剩余顶点自动计算补齐，生成一个长方体的立体框。
21.在本发明的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，上述至少一个处理器使上述系统执行：确定基准面模块、确定延伸面模块及生成立体框模块。
22.第三方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如一种立体框交互方法中任一项的方法。
23.相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
24.可以在数据标注领域经常需要用到立体框(也叫3d框)来标注图片、视频或点云数据中的各类目标，还可以构建出立体框和调整立体框的位置、大小和方向。还可以通过获取点云数据以得到目标点云数据，并基于目标点云数据在三维坐标系中的第一坐标轴和第二坐标轴所在平面上的投影，以及目标点云数据在三维坐标系的第三坐标轴上的坐标集合，生成标注对象的立体框图。如此，在进行点云标注时，能够根据该立体框图十分方便对标注对象进行点云标注，从而提升标注效率。
附图说明
25.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
26.图1为本发明实施例提供的一种立体框构建步骤示意图；
27.图2为本发明实施例提供的调整立体框的方法步骤示意图；
28.图3为本发明实施例提供的一种立体框交互系统模块示意图；
29.图4为本发明实施例提供的一种电子设备；
30.图5为本发明实施例提供的一种立体框示意图。
31.图标：10-确定基准面模块；20-确定延伸面模块；30-生成立体框模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
32.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
33.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
35.需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
36.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
37.实施例1
38.请参阅图1及图5，图1为本发明实施例提供的一种立体框构建步骤示意图，其如下所示：
39.步骤s100，鼠标左键按下并进行拖拽、抬起的动作，按下的点即为起始第一顶点，抬起点为起始顶点的结束第三顶点；
40.步骤s110，鼠标移动寻找第七顶点，当确定第七顶点的位置后再次点击即为第七顶点；
41.步骤s120，立体框的剩余顶点自动计算补齐，生成一个长方体的立体框。
42.在一些实施方式中，鼠标左键按下，拖拽，抬起。
43.鼠标左键按下的点即为起始第一顶点，抬起点即为前面的结束第三顶点。
44.鼠标移动，寻找第七顶点，鼠标再次点击即为第七顶点。
45.其余5个顶点(第二顶点、第四顶点、第五顶点、第六顶点、第八顶点)自动计算补齐，这样就画出一个长方体的立体框。顶点计算规则：
46.第二顶点：取第三顶点的x坐标，取第一顶点的y坐标。
47.第四顶点：取第一顶点的x坐标，取第三顶点的y坐标。
48.计算第七顶点相对于第三顶点，分别在x轴差值dltx和y轴差值dlty。
49.第五顶点：取第一顶点的x坐标加dltx，取第一顶点的y坐标加dlty。
50.第四顶点：取第二顶点的x坐标加dltx，取第二顶点的y坐标加dlty。
51.第八顶点：取第四顶点的x坐标加dltx，取第四顶点的y坐标加dlty。
52.定义：
53.前面：由第一顶点、第二顶点、第三顶点和第四顶点组成的矩形平面。
54.后面：由第五顶点、第六顶点、第七顶点和第八顶点组成的矩形平面。
55.侧面：立体框的其余4个平面。
56.前面顶点：第一顶点、第二顶点、第三顶点和第四顶点。
57.后面顶点：第五顶点、第六顶点、第七顶点和第八顶点。
58.前面中间点：第九顶点、第十顶点、第十一顶点和第一第二顶点。
59.后面中间点：第一第三顶点、第一第四顶点、第一第五顶点和第一第六顶点。
60.实施例2
61.请参阅图2，图2为本发明实施例提供的调整立体框的方法步骤示意图，其如下所示：
62.步骤s200，通过鼠标左键拖拽立体框任意面上除顶点和中间点的点，进行调整立体框的位置。
63.步骤s210，通过鼠标左键拖拽后面矩形平面的顶点中任意一个顶点，进行调整立体框的方向。
64.步骤s220，通过鼠标左键拖拽前面顶点中任意一个顶点，同时进行调整前面的矩形平面和后面的矩形平面大小；
65.步骤s230，通过鼠标左键拖拽前面中间点中任意一个中间点，进行调整前面的矩形平面大小；
66.步骤s240，通过鼠标左键拖拽后面中间点中任意一个中间点，进行调整后面的矩形平面大小。
67.在一些实施方式中，调整立体框的位置：
68.鼠标左键拖拽立体框任意面上除顶点和中间点的点。
69.调整立体框的方向：
70.鼠标左键拖拽后面顶点中任意一个顶点。
71.调整立体框的大小：
72.立体框前面和后面的大小可以不同。
73.同时调整前面和后面的大小：
74.鼠标左键拖拽前面顶点中任意一个顶点。
75.调整前面的大小：
76.鼠标左键拖拽前面中间点中任意一个中间点。
77.调整后面的大小：
78.鼠标左键拖拽后面中间点中任意一个中间点。
79.保持立体框前面和后面的大小相同。
80.同时调整前面和后面的大小：
81.鼠标左键拖拽前面顶点、前面中间点或后面中间点中任意一个顶点或中间点。
82.实施例3
83.请参阅图3，图3为本发明实施例提供的一种立体框交互系统模块示意图，其如下所示：
84.确定基准面模块10，用于鼠标左键按下并进行拖拽、抬起的动作，按下的点即为起始第一顶点，抬起点为起始顶点的结束第三顶点；
85.确定延伸面模块20，用于鼠标移动寻找第七顶点，当确定第七顶点的位置后再次点击即为第七顶点；
86.生成立体框模块30，用于立体框的剩余顶点自动计算补齐，生成一个长方体的立体框。
87.在一些实施方式中，点云数据：通过三维激光雷达采集到的数据，特别是在无人驾驶领域，点云数据可以是某一坐标下的点的数据集，点云数据中的每个数据包括在三维坐标系中的坐标，还可以包括颜色、分类值、强度值、时间等信息。
88.点云标注：对点云数据所对应的三维物体进行3dbox拉框，并为该物体添加类别等数据，比如车辆、行人、障碍物等，用于为深度学习算法提供训练数据。
89.本技术实施例提供的标注对象立体框图生成方法可应用于用户端，所述用户端可以是，但不限于个人电脑、智能手机、平板电脑、膝上型便携计算机、车载电脑、个人数字助理等。
90.获取被选取区域内的初始点云数据。本技术实施例中，对被选取区域的选取，可以是在将三维激光雷达采集到的点云数据在三维坐标系中进行点云渲染后，由标注人员手动选取。标注对象位于该被选取区域内，该标注对象是指需要进行点云标注的点云数据，如行人、车辆或障碍物的点云数据。
91.具体的，可以由标注人员对渲染区域进行粗粒度的2dbox框选，此时在三维坐标系中，只要在框选平面上的坐标位于该框选区域内的区域，均为被选取区域，该被选取区域内的点的坐标集合即为初始点云数据。其中，2dbox框选所在平面可以是三维空间坐标中的xy平面、yz平面或xz平面，本技术实施例中不做具体限定。
92.为便于说明，本技术实施例中以在xy平面进行2dbox框选为例进行举例说明。框选的矩形区域包括有矩形框坐标的最大点(xmax，ymax)和最小点(xmin，ymin)，在框选后，可根据该矩形框坐标的最大点(xmax，ymax)和最小点(xmin，ymin)，遍历点云数据中所有的点(x，y，z)，找出其中满足xmin《x《xmax且ymin《y《ymax的点，找到的点的坐标集合为该被选取区域内的初始点云数据。
93.本技术实施例中，框选时所框选的区域为矩形区域。可以理解的，在其他的一些实
read-only memory，prom)，可擦除只读存储器101(erasable programmable read-only memory，eprom)，电可擦除只读存储器101(electric erasable programmable read-only memory，eeprom)等。
103.处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102(central processing unit，cpu)、网络处理器102(network processor，np)等；还可以是数字信号处理器102(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
104.在本技术所提供的实施例中，应该理解到，所揭露的方法及系统和方法，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
105.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
106.另一方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器101(rom，read-only memory)、随机存取存储器101(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
107.综上所述，本技术实施例提供的一种立体框交互方法及系统，可以在数据标注领域经常需要用到立体框(也叫3d框)来标注图片、视频或点云数据中的各类目标，还可以构建出立体框和调整立体框的位置、大小和方向。还可以通过获取点云数据以得到目标点云数据，并基于目标点云数据在三维坐标系中的第一坐标轴和第二坐标轴所在平面上的投影，以及目标点云数据在三维坐标系的第三坐标轴上的坐标集合，生成标注对象的立体框图。如此，在进行点云标注时，能够根据该立体框图十分方便对标注对象进行点云标注，从而提升标注效率。
108.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、
等同替换、改进等，均应包含在本发明的保护范围之内。
109.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。