基于增强现实的特征点云立体对象框选方法及装置与流程

1.本发明涉及虚拟现实技术领域，具体涉及一种基于增强现实的特征点云立体对象框选方法及装置。


背景技术：

2.目前，随着互联网发展带来的便利以及移动端设备的普及，用户能够容易获取到真实世界的视频流信息。slam(simultaneous localization andmapping),也称为cml(concurrent mapping and localization),即时定位与地图构建，或并发建图与定位，主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题。使用slam算法处理视频流信息以对真实环境建模，是ar增强现实技术中的一种基本方式。然而，slam算法的精度仅仅能够对真实世界进行大致的建模，对于一些需要精细处理的操作，例如定位物体精确位置、计算物体体积等都难以实现。


技术实现要素：

3.针对所述缺陷，本发明实施例公开了一种基于增强现实的特征点云立体对象框选方法、装置、电子设备及存储介质，其可以解决现有技术不能对物体进行精确定位、计算体积的缺陷，实现对物体进行高精度框选。
4.本发明实施例第一方面公开了基于增强现实的特征点云立体对象框选方法，包括：
5.采集目标物体的视频数据，生成所述视频数据的特征点云数据；
6.基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值；
7.定义所述目标物体的每一条边界对应的特征点云为目标特征点云，基于目标特征点云在坐标系中的坐标值，从全部特征点云数据中剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云。
8.作为一种可选的实施方式，在本发明实施例第一方面中，所述采集目标物体的视频数据，包括：
9.通过手持摄像头分别从不同角度采集目标物体的视频数据。
10.作为一种可选的实施方式，在本发明实施例第一方面中，所述通过手持摄像头分别从不同角度采集目标物体的视频数据，包括：
11.配置视频采集校准数据，并当接收到用户输入的视频采集指令时，显示所述校准数据；
12.检测当前手持摄像头所采集的视频画面是否与所述校准数据一致；
13.当视频画面与所述校准数据一致时，通过手持摄像头采集目标物体的视频数据。
14.作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值，包括：
15.选取视频画面的中心点作为坐标系原点，并基于所述特征点云数据建立目标物体的坐标系；
16.获得所述目标物体的特征点云在坐标系中坐标值。
17.作为一种可选的实施方式，在本发明实施例第一方面中，所述定义所述目标物体的每一条边界对应的特征点云为目标特征点云，包括：
18.以所述视频画面的中心点为原点，生成以原点为端点的虚拟射线；所述虚拟射线与视频画面中的目标物体的每一条边界相交，以获得若干个虚拟射线与所述视频图像的交点，形成交点集。
19.作为一种可选的实施方式，在本发明实施例第一方面中，还包括：
20.遍历剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云，并定义该特征点云为目标数据集；
21.从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集。
22.作为一种可选的实施方式，在本发明实施例第一方面中，所述从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集，包括：
23.选取任意一个目标特征点，从目标数据集中筛选出距离该目标特征点在第二阈值内的特征点云为新特征点云；
24.构建新的点云数据集，判断所述新特征点云的数量是否大于预设值，并当新特征点云的疏漏大于预设值时，将该新特征点云加入新的点云数据集中；
25.重复上述步骤，直至全部目标特征点被选取完。
26.本发明实施例第二方面公开一种基于增强现实的特征点云立体对象框选装置，包括：
27.数据采集模块：用于采集目标物体的视频数据，生成所述视频数据的特征点云数据；
28.坐标系建立模块：用于基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值；
29.点云框选模块：用于定义所述目标物体的每一条边界对应的特征点云为目标特征点云，基于目标特征点云在坐标系中的坐标值，从全部特征点云数据中剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云。
30.作为一种可选的实施方式，在本发明实施例第二方面中，数据采集模块中，所述采集目标物体的视频数据，包括：
31.通过手持摄像头分别从不同角度采集目标物体的视频数据。
32.作为一种可选的实施方式，在本发明实施例第二方面中，所述通过手持摄像头分别从不同角度采集目标物体的视频数据，包括：
33.配置视频采集校准数据，并当接收到用户输入的视频采集指令时，显示所述校准数据；
34.检测当前手持摄像头所采集的视频画面是否与所述校准数据一致；
35.当视频画面与所述校准数据一致时，通过手持摄像头采集目标物体的视频数据。
36.作为一种可选的实施方式，在本发明实施例第二方面中，坐标系建立模块中，所述
基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值，包括：
37.选取视频画面的中心点作为坐标系原点，并基于所述特征点云数据建立目标物体的坐标系；
38.获得所述目标物体的特征点云在坐标系中坐标值。
39.作为一种可选的实施方式，在本发明实施例第二方面中，点云框选模块中，所述定义所述目标物体的每一条边界对应的特征点云为目标特征点云，包括：
40.以所述视频画面的中心点为原点，生成以原点为端点的虚拟射线；所述虚拟射线与视频画面中的目标物体的每一条边界相交，以获得若干个虚拟射线与所述视频图像的交点，形成交点集。
41.作为一种可选的实施方式，在本发明实施例第二方面中，还包括点云剔除模块：用于遍历剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云，并定义该特征点云为目标数据集；从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集。
42.作为一种可选的实施方式，在本发明实施例第二方面中，所述从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集，包括：
43.选取任意一个目标特征点，从目标数据集中筛选出距离该目标特征点在第二阈值内的特征点云为新特征点云；
44.构建新的点云数据集，判断所述新特征点云的数量是否大于预设值，并当新特征点云的疏漏大于预设值时，将该新特征点云加入新的点云数据集中；
45.重复上述步骤，直至全部目标特征点被选取完。
46.本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的基于增强现实的特征点云立体对象框选方法。
47.本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的基于增强现实的特征点云立体对象框选方法。
48.与现有技术相比，本发明实施例具有以下有益效果：
49.本发明实施例中对目标物体进行视频数据的采集，基于该视频数据生成特征点云数据，从而建立相应的坐标系，找寻目标特征点云并获得目标特征点云的坐标值，基于目标特征点云的坐标值距离目标物体过远的特征点云，由于经过了对特征点云数据的筛选，可以聚焦在被测量的目标物体的特征点云集群，同时剔除掉过远的特征点云后也可以帮助用户确定当前是否选择到了用户实际想要测量的对象，从而帮助对目标物体进行精准的框选，进而可以实现目标物体精确的体积计算。
附图说明
50.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。
51.图1是本发明实施例提供的一种基于增强现实的特征点云立体对象框选方法的流程示意图；
52.图2是本发明实施例提供的一种于增强现实的特征点云立体对象框选装置的结构示意图；
53.图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
56.本发明实施例公开了基于增强现实的特征点云立体对象框选方法、装置、电子设备及存储介质，实施例中对目标物体进行视频数据的采集，基于该视频数据生成特征点云数据，从而建立相应的坐标系，找寻目标特征点云并获得目标特征点云的坐标值，基于目标特征点云的坐标值距离目标物体过远的特征点云，由于经过了对特征点云数据的筛选，可以聚焦在被测量的目标物体的特征点云集群，同时剔除掉过远的特征点云后也可以帮助用户确定当前是否选择到了用户实际想要测量的对象，从而帮助对目标物体进行精准的框选，进而可以实现目标物体精确的体积计算。
57.实施例一
58.请参阅图1，图1是本发明实施例公开的基于增强现实的特征点云立体对象框选方法的流程示意图。其中，本发明实施例所描述的方法的执行主体为由软件或/和硬件组成的执行主体，该执行主体可以通过有线或/和无线方式接收相关信息，并可以发送一定的指令。当然，其还可以具有一定的处理功能和存储功能。该执行主体可以控制多个设备，例如远程的物理服务器或云服务器以及相关软件，也可以是对某处安置的设备进行相关操作的本地主机或服务器以及相关软件等。在一些场景中，还可以控制多个存储设备，存储设备可以与设备放置于同一地方或不同地方。如图1所示，该基于基于增强现实的特征点云立体对象框选方法包括以下步骤：
59.s101：采集目标物体的视频数据，生成所述视频数据的特征点云数据。
60.实施例中，目标物体也即是当前需要进行视频数据采集的对象，例如可以是行李箱。当用户需要对任意一个物体对象进行轮廓框选时，该物体对象作为目标物体，用户首先采集该目标物体的视频数据。视频数据的像素在实施例中并不作具体限定，满足实际需求即可。
61.具体的，通过手持摄像头对目标物体进行视频数据的采集。该手持摄像头可以是
专用的摄像机设备，也可以是智能设备上自带的智能摄像头，例如移动手机，智能平板、笔记本电脑等，上述示例的智能设备通常是除了智能化功能，通常还具有摄影功能，在其机身上设置有摄像头，通过该摄像头可以进行视频通话、图像采集和视频采集。由于该智能设备均可以在用户手持下移动，因此也称为移动摄像头。
62.实施例中为了采集到足够丰富的、完整的目标物体的视频数据，可以由用户通过手持摄像头分别从不同角度采集目标物体的的视频数据。实际应用中，可以设定一个应用程序，用户需要对目标物体进行框选时，则触发该应用程序，并在应用程序中调用摄像头进行视频数据的采集，此时由应用程序提示用户按照相应的拍照角度进行视频数据的采集。具体的，配置视频采集校准数据，并当接收到用户输入的视频采集指令时，显示所述校准数据；检测当前手持摄像头所采集的视频画面是否与所述校准数据一致；当视频画面与所述校准数据一致时，通过手持摄像头采集目标物体的视频数据。
63.上述中，配置视频采集校准数据，也即是提前在应用程序中配置好拍照角度比对基准，该比对基准可以生成图像的形式显示在屏幕界面，当用户确定开始视频采集时，显示该校准数据，也即是用户可以直观的通过图像的显示来比对当前采集的目标物品是否落在合适的位置。
64.s102：基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值。
65.实施例采集了视频数据并基于slam算法得到了特征点云数据后，再运用slam算法建立目标物体在视频数据中的坐标系。由于坐标系中可以对坐标系下的每一个像素点进行坐标值的获取，因而可以便利的在后续操作中对特征点进行筛选。
66.具体的，首先选取坐标系原点，然后根据该坐标系原点建立坐标系。作为一种示例，实施例可以选取视频画面的中心点作为坐标系原点，并基于所述特征点云数据建立目标物体的坐标系。基于该坐标系，获得所述目标物体的特征点云在坐标系中坐标值。实施例中，可以通过以不同的角度获取视频数据，也即是对视频流的变换，不断使用slam算法对虚拟坐标系进行精华，等待虚拟坐标系稳定。可以提醒用户从不同角度对行李箱进行扫描，可以从不同角度获取真实世界信息协助slam算法获得一个稳定的虚拟坐标系，并通过slam算法取得与真实世界对应的虚拟特征点云和目标物品放置的虚拟平面信息。
67.s103：定义所述目标物体的每一条边界对应的特征点云为目标特征点云，基于目标特征点云在坐标系中的坐标值，从全部特征点云数据中剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云。
68.引导用户开始进行计算时摄像头对准行李箱，计算时，以用户手机屏幕中心点在虚拟坐标系中的位置为出发点。实施例中，以所述视频画面的中心点为原点，生成以原点为端点的虚拟射线；所述虚拟射线与视频画面中的目标物体的每一条边界相交，以获得若干个虚拟射线与所述视频图像的交点，形成交点集。
69.作为优选的，实施例还可以进一步包括遍历剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云，并定义该特征点云为目标数据集；从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集。实施例在形成目标物体的框架的基础上，进一步剔除掉距离目标物体过远的特征点，则留下来的特征点都是更接近于目标物体，也即是形成的目标物体的框架更精准。第一阈值例如为0.05个单位，具体
由操作设备和编译器以及其他实际情况进行设定。
70.上述中，从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集，包括：选取任意一个目标特征点，从目标数据集中筛选出距离该目标特征点在第二阈值内的特征点云为新特征点云；构建新的点云数据集，判断所述新特征点云的数量是否大于预设值，并当新特征点云的疏漏大于预设值时，将该新特征点云加入新的点云数据集中；重复上述步骤，直至全部目标特征点被选取完。第二阈值例如为0.03个单位，预设值例如为3。实施例中，例如有五个目标特征点，依次对每一个目标特征点分别执行上述步骤，选取其中一个目标特征点作为中心目标特征点，找到包括该中心目标特征点在内的距离小于或等于0.03的其他特征点，并且当其他特征点加上中心目标特征点的数量大于3时，形成该中心目标特征点的新特征点云，加入至新的点云数据集。基于本流程，可以去除掉不聚集的特征点，可以更精确的框选，进而可以得到精确的目标物体的体积数据。
71.实施例二
72.请参阅图2，图2是本发明实施例公开的基于增强现实的特征点云立体对象框选装置的结构示意图。如图2所示，该基于增强现实的特征点云立体对象框选装置可以包括：数据采集模块201、坐标系建立模块202和点云框选模块203，其中，数据采集模块201用于采集目标物体的视频数据，生成所述视频数据的特征点云数据；坐标系建立模块202用于基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值；点云框选模块203用于定义所述目标物体的每一条边界对应的特征点云为目标特征点云，基于目标特征点云在坐标系中的坐标值，从全部特征点云数据中剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云。
73.上述数据采集模块201中，所述采集目标物体的视频数据，包括：通过手持摄像头分别从不同角度采集目标物体的视频数据。进一步的，所述通过手持摄像头分别从不同角度采集目标物体的视频数据，包括：配置视频采集校准数据，并当接收到用户输入的视频采集指令时，显示所述校准数据；检测当前手持摄像头所采集的视频画面是否与所述校准数据一致；当视频画面与所述校准数据一致时，通过手持摄像头采集目标物体的视频数据。
74.上述坐标系建立模块202中，所述基于所述特征点云数据建立目标物体的坐标系，并获得所述目标物体的特征点云在坐标系中坐标值，包括：选取视频画面的中心点作为坐标系原点，并基于所述特征点云数据建立目标物体的坐标系；获得所述目标物体的特征点云在坐标系中坐标值。
75.更进一步的，点云框选模块203中，所述定义所述目标物体的每一条边界对应的特征点云为目标特征点云，包括：以所述视频画面的中心点为原点，生成以原点为端点的虚拟射线；所述虚拟射线与视频画面中的目标物体的每一条边界相交，以获得若干个虚拟射线与所述视频图像的交点，形成交点集。
76.其他示例中，还可以进一步包括点云剔除模块：用于遍历剔除目标物体以外且距离所述目标特征点云大于第一阈值的特征点云，并定义该特征点云为目标数据集；从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集。其中，从目标数据集中筛选出距离目标特征点云在第二阈值内的特征点云构建新的点云数据集，包括：选取任意一个目标特征点，从目标数据集中筛选出距离该目标特征点在第二阈值内的特征点云为新特征点云；构建新的点云数据集，判断所述新特征点云的数量是否大于预
设值，并当新特征点云的疏漏大于预设值时，将该新特征点云加入新的点云数据集中；重复上述步骤，直至全部目标特征点被选取完。
77.实施例三
78.请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。电子设备可以是计算机以及服务器等，当然，在一定情况下，还可以是手机、平板电脑以及监控终端等智能设备，以及具有处理功能的图像采集装置。如图..所示，该电子设备可以包括：
79.存储有可执行程序代码的存储器301；
80.与存储器301耦合的处理器302；
81.其中，处理器302调用存储器301中存储的可执行程序代码，执行实施例一中的基于增强现实的特征点云立体对象框选方法中的部分或全部步骤。
82.本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的基于增强现实的特征点云立体对象框选方法中的部分或全部步骤。
83.本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于增强现实的特征点云立体对象框选方法中的部分或全部步骤。
84.本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的基于增强现实的特征点云立体对象框选方法中的部分或全部步骤。
85.在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
86.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
87.另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
88.所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。
89.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
90.本领域普通技术人员可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储
介质包括只读存储器(read-only memory，rom)、随机存储器(randomaccess memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
91.以上对本发明实施例公开的基于增强现实的特征点云立体对象框选方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。