增强现实同步方法、装置、终端设备及存储介质与流程

1.本技术涉及增强现实技术领域，具体涉及一种增强现实同步方法、装置、终端设备及存储介质。


背景技术：

2.增强现实(ar，augmented reality)同步技术是指在多个终端设备之间分享同一ar模型的技术。现有的增强现实同步技术是通过在云端进行特征点解析，然后将解析结果发送到多个终端来实现同步的，该增强现实同步方式缺乏终端设备交互的便捷性。因此，亟待一种便捷且快速的增强现实同步方法。


技术实现要素：

3.基于此，有必要针对上述问题，提出一种对便捷且快速的增强现实同步方法、装置、终端设备及存储介质。
4.为实现上述目的，本技术第一方面提供一种增强现实同步方法，包括：
5.第二设备接收第一设备发送的第一特征点云，所述第一特征点云是所述第一设备对场景中的多个点进行识别得到的特征点坐标的集合；
6.所述第二设备对至少包含所述多个点的场景进行识别得到第二特征点云，将所述第一特征点云和所述第二特征点云进行配准，确定配准对应的坐标变换参数，并向所述第一设备反馈配准成功消息，所述配准成功消息用于指示所述第二设备可接收增强现实模型文件；
7.所述第二设备接收所述第一设备发送的增强现实模型文件，所述增强现实模型文件是所述第一设备建立第一ar模型对应的文件；
8.所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二ar模型。
9.为实现上述目的，本技术第二方面提供一种增强现实同步方法，所述方法还包括：
10.第一设备对所述场景中的多个点进行识别得到第一特征点云，所述第一特征点云是指识别得到的特征点坐标的集合；
11.所述第一设备将所述第一特征点云发送到所述第二设备，以使第二设备根据识别得到的第二特征点云和所述第一特征点云进行配准，确定配准对应的坐标变换参数，所述第二特征点云是第二设备对至少包含所述多个点的场景进行识别得到的；
12.所述第一设备接收所述第二设备反馈的配准成功消息；
13.所述第一设备建立第一ar模型，将所述第一ar模型对应的增强现实模型文件发送到所述第二设备，以使所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二ar模型。
14.为实现上述目的，本技术第三方面提供增强现实同步系统，包括：第一设备和第二设备；
15.第一设备对所述场景中的多个点进行识别得到第一特征点云，所述第一特征点云
是指识别得到的特征点坐标的集合；
16.所述第一设备将所述第一特征点云发送到所述第二设备，以使第二设备根据识别得到的第二特征点云和所述第一特征点云进行配准，确定配准对应的坐标变换参数，所述第二特征点云是第二设备对至少包含所述多个点的场景进行识别得到的；
17.所述第一设备接收所述第二设备反馈的配准成功消息；
18.所述第一设备建立第一ar模型，将所述第一ar模型对应的增强现实模型文件发送到所述第二设备，以使所述第二设备基于所述增强现实模型文件和所述坐标变换参数建立第二ar模型。
19.为实现上述目的，本技术第四方面提供一种终端设备，包括存储器和处理器，所述存储器有存储计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如第一方面所述的方法中的步骤。
20.为实现上述目的，本技术第五方面提供一种计算机可读存储介质，有存储计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如第一方面所述的方法中的步骤。
21.上述增强现实同步方法、系统、终端设备及存储介质，第二设备接收所述第一设备发送的第一特征点云，并将所述第一特征点云和所述第二特征点云进行配准，确定配准对应的坐标变换参数；之后，第二设备接收第一设备发送的增强现实模型文件，增强现实文件是第一设备建立第一ar模型生成的文件；最后，第二设备基于增强现实模型文件和坐标变换参数建立第二ar模型。该增强现实同步方式基于终端设备之间的本地通信实现，不仅降低了对网络的要求，并且便捷、快速，实现了两端或多端之间的实时协作反馈。
附图说明
22.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.其中：
24.图1是一个实施例中增强现实同步方法的流程图；
25.图2是另一个实施例中增强现实同步方法的流程图；
26.图3是一个实施例中增强现实同步方法的流程图；
27.图4是一个实施例中增强现实同步装置的结构框图；
28.图5是一个实施例中增强现实同步系统中的交互时序图；
29.图6是一个实施例中终端设备的内部结构图。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.如图1所示，提出了一种增强现实同步方法，该增强现实同步方法应用于终端设备，具体包括以下步骤：
32.步骤102，第二设备接收第一设备发送的第一特征点云，第一特征点云是第一设备对场景中的多个点进行识别得到的特征点坐标的集合。
33.其中，第一设备和第二设备可以是带有拍摄功能及通信能力的智能设备，例如，智能手机、平板、膝上型笔记本电脑等。特征点云的识别，首先由第一设备的摄像头对一个场景进行拍摄，该场景为进行增强现实的基础场景，即识别到该场景后，在该场景的基础上生成三维虚拟坐标。其中，多个点为对场景进行识别得到的特征点，后续基于该特征点进行三维虚拟模型的建立。例如，对桌面的场景进行拍摄，桌面上放置着水杯等物品，此时将水杯等物体作为标识物，识别到水杯等物体后生成三维虚拟坐标，多个特征点坐标为水杯等物体上的特征点。
34.其中，第一设备和第二设备通过本地通信建立连接，本地通信包括：蓝牙通信、局域网通信中的一种。基于建立的本地通信，第二设备接收第一设备发送的第一特征点云。
35.步骤104，第二设备对至少包含多个点的场景进行识别得到第二特征点云，将第一特征点云和第二特征点云进行配准，确定配准对应的坐标变换参数，并向第一设备反馈配准成功消息，配准成功消息用于指示第二设备可接收增强现实模型文件。
36.其中，为了实现在第二设备上同步ar模型，需要确定第一设备和第二设备的视角及空间的关系。第二设备也要对上述基本相同的场景进行识别。第一设备和第二设备与该场景的位置关系，例如距离、视角等，可以相同或不相同。由于场景中都包含相同的多个特征点，第一设备对多个特征点识别得到该多个特征点的坐标集合，作为第一特征点云；第二设备对该多个特征点进行识别得到该特征点的坐标集合，作为第二特征点云。第一设备和第二设备由于拍摄角度、距离等的不同，以设备自身为参考点，针对同一个点得到的坐标是不同的，所以需要将第一特征点云和第二特征点云进行配准，配准的目的是将两者转换到同一坐标系下。配准的方式可以采用最近邻迭代算法，计算第一特征点云通过例如旋转、平移和缩放等变换能够使得变换后的第一特征点云和第二特征点云重合，从而将两个设备或多个设备的坐标系进行统一，这个过程可以称作配准。确定配准对应的坐标变换参数，即坐标变换矩阵，根据坐标变换矩阵可以将在第一设备的视角的点云转换为第二设备的视角的点云或反之。
37.配准成功后，第二设备将配置成功消息发送给第一设备，告知第一设备可以开始发送ar模型了，即第二设备可以接收增强现实模型文件了。
38.步骤106，第二设备接收第一设备发送的增强现实模型文件，增强现实模型文件是第一设备建立第一ar模型对应的文件。
39.其中，增强现实模型文件中包含有用于建立第一ar模型的数据。第一设备将增强现实模型文件发送给第二设备，第二设备根据该增强现实模型文件建立与第一设备中一样的ar模型。在一个实施例中，第一设备中的增强现实模型文件是以模型指令的形式发送给第二设备的。
40.步骤108，第二设备基于增强现实模型文件和坐标变换参数建立第二ar模型。
41.其中，第二设备建立第二ar模型，需要将增强现实模型文件中模型的坐标经过坐标变换参数转换到第二设备视角下的坐标，从而在第二设备上建立同样的ar模型。为了区
分，将第二设备建立的ar模型称为“第二ar模型”。
42.上述增强现实同步方法，第二设备接收第一设备发送的第一特征点云，并将第一特征点云和第二特征点云进行配准，确定配准对应的坐标变换参数；之后，第二设备接收第一设备发送的增强现实模型文件，增强现实文件是第一设备建立第一ar模型生成的文件；最后，第二设备基于增强现实模型文件和坐标变换参数建立第二ar模型。该增强现实同步方式基于终端设备之间的本地通信实现，不仅降低了对网络的要求，并且便捷、快速，实现了两端或多端之间的实时协作反馈。。
43.传统的增强现实同步为采用锚点的同步更新，锚点包括位置、角度等姿态信息，导致传输的数据量大，且采用锚点进行同步需要不断进行坐标参考系旋转平移变化来同步，并且锚点的更新不能清晰表达运动动作。为了能够较少冗余信息的传输，且能够清晰表达运动动作，本技术创新地提出了以下同步方法。
44.如图2所示，在一个实施例中，在不同的终端设备之间建立了相同的ar模型之后，为了实现对于该ar模型的协同操作，该方法还包括以下步骤：
45.步骤110，第二设备接收第一设备发送的第一操作指令信息，第一操作指令信息包括：指令类型和对应的第一变量数据，其中，第一操作指令信息根据第一设备对第一ar模型的操作生成。
46.其中，第一操作指令信息根据第一设备对第一ar模型的操作生成，包括：指令类型和对应的第一变量数据。第一变量数据是指对第一ar模型操作对应的变量数据，比如，对第一ar模型进行移动操作，那么就会产生相应的移动数据，比如，移动向量数据。为了使得第二设备中的第二ar模型能够与第一ar模型同步，第一设备将产生的第一变量数据发送给第二设备。传统的ar模型传输的是锚点数据，需要传输的数据量大，且不能明确运动动作(比如，旋转、平移等动作)，而本方案中采用以操作指令的方式在设备之间进行传输，不仅减少了无效冗杂信息的传输，且明确了运动动作。
47.其中，指令类型是指操作的类型，指令类型可分为旋转类型、平移类型、缩放类型等。当然指令类型也可以是多个动作混合类型，比如，可以是旋转 平移的类型，即既包含旋转也包含平移的类型。
48.此外，还可以包含其他类型的操作指令，例如变换ar模型的颜色，或者更换显示状态，例如更改模型的动画(例如，旋转、律动等动画效果)，本技术对此不做限制。
49.步骤112，第二设备根据指令类型和对应的第一变量数据对第二ar模型进行相应调整。
50.其中，为了使得第二设备上的第二ar模型与第一设备上的第一ar模型保持同步，第二设备接收到指令类型和第一变量数据后进行与第一设备同样的操作调整，不同的操作对应的变量数据类型不同，如表1中所示，为常见的几种指令类型(即操作类型)以及相应的变量数据类型。
51.表1
52.指令类型作用对应的变量数据类型model(模型)表示是一个模型数据模型文件，filemove(移动类型)表示是一个移动操作平移向量(方向和距离)rotate(旋转类型)表示是一个旋转操作四元数(旋转角度)
scale(缩放类型)表示是一个缩放操作在各个方向上的缩放比例
53.通过以指令信息传输的方式进行模型同步，相对于原有的锚点数据传输，该方式大大减少了冗余信息的传输，且能够明确需要传输的运动动作，且通过该方式，不仅可以传输动作数据，而且可以传输其他类型的数据，比如，模型颜色的变化数据。
54.上述增强现实同步方法，当第一设备操作第一ar模型时，生成第一操作指令信息，并将第一操作指令信息发送给第二设备，这样第二设备就可以根据接收到的第一操作指令信息中包含的指令类型和对应的第一变量数据对第二ar模型进行调整，从而使得第一ar模型和第二ar模型进行同步。第一设备通过将指令类型和对应的第一变量数据发送给第二设备从而第二设备根据指令类型和对应的第一变量数据快速实现第二ar模型和第一ar模型同步。
55.在一个实施例中，上述增强现实同步方法还包括：第二设备生成第二操作指令信息，第二操作指令信息包括：指令类型和对应的第二变量数据，其中，第二操作指令信息是根据第二设备对第二ar模型的操作生成；将第二操作指令信息发送给第一设备，以使第一设备根据指令类型和对应的第二变量数据对第一ar模型进行相应调整。
56.其中，增强现实同步不仅可以将第一设备的操作同步到第二设备，同时，第二设备的操作也可以同步到第一设备，所以当操作第二设备上的第二ar模型时会自动生成第二操作指令信息，将生成的第二操作指令信息发送到第一设备，以使第一设备根据第二变量数据对第一ar模型进行调整。第二设备通过将指令类型和对应的第二变量数据发送给第一设备有利于第一设备根据指令类型和对应的第二变量数据快速实现第一ar模型和第二ar模型同步。
57.在一个实施例中，第二设备对第二ar模型进行操作，并将操作对应生成的第二变量数据发送给第一设备，以使第一设备根据第二变量数据进行调整之前，还包括：第二设备接收第一设备发送的授权指令，授权指令用于授权第二设备对第二ar模型进行操作，且使得在授权第二设备进行操作期间，第一设备不生成第一操作指令信息。
58.其中，为了避免第一设备和第二设备出现操作冲突，即出现两者同时操作的情况，第二设备在接收到第一设备的授权指令后才有权限对第二ar模型进行操作并将操作产生的第二操作指令信息发送给第一设备，在这个过程中，第一设备不进行操作，或者说第一设备此时操作无效。
59.在另一个实施例中，与第一设备连接的第二设备可以有多个，当有多个时，为了避免操作之间的冲突，采用第一设备对第二设备授权的形式来操作，第二设备只有接收到第一设备的授权指令时，才有权限对第二设备上的第二ar模型进行操作。比如，当有3个第二设备时，分别为a、b和c，当a设备接收到授权，才允许a进行操作，此时其他的第二设备b和c以及第一设备都不能操作。
60.在一个实施例中，上述增强现实同步方法还包括：当第二设备对第二ar模型进行操作生成第二操作指令信息的过程中接收到第一操作指令信息时，将第一操作指令信息作为第一优先级，将生成的第二操作指令信息作为第二优先级；第二设备按照优先级顺序依次执行第一操作指令信息和第二操作指令信息。
61.其中，第一设备的操作的优先级大于第二设备的优先级，所以第二设备接收到第一设备发送的第一操作指令信息时，优先执行第一操作指令信息。
62.在一个实施例中，第一操作指令信息和第二操作指令信息各自还包括：时间戳；方法还包括：第二设备将接收到的第一操作指令信息根据时间戳加入到队列，第二设备将生成的第二操作指令信息根据时间戳加入到队列，第二设备根据指令队列中的每个操作指令信息中的时间戳有序根据对应的变量数据对第二ar模型进行调整对第二ar模型，其中，如果两个或多个操作指令信息的时间戳相同，则根据优先级，仅执行高优先等级的指令操作信息，而丢弃低优先级的指令操作信息。
63.在一个实施例中，第一操作指令信息和第二操作指令信息各自还包括：时间戳；同样的，方法还包括：第一设备将接收到的第二操作指令信息根据时间戳加入到队列，第一设备将生成的第一操作指令信息根据时间戳加入到队列，第一设备根据指令队列中的每个操作指令信息中的时间戳有序根据对应的变量数据对第一ar模型进行调整，其中，如果两个或多个操作指令信息的时间戳相同，则根据优先级，仅执行高优先等级的指令操作信息，而丢弃低优先级的指令操作信息。
64.上述实施例中的增强现实同步方式是站在第二设备的角度进行描述的，下面以第一设备的角度来描述增强现实同步方法。如图3所示，以第一设备为执行主体，提出了一种增强现实同步方法，该方法包括：
65.步骤302，第一设备对场景中的多个点进行识别得到第一特征点云，第一特征点云是指识别得到的特征点坐标的集合；
66.步骤304，第一设备将第一特征点云发送到第二设备，以使第二设备根据识别得到的第二特征点云和第一特征点云进行配准，确定配准对应的坐标变换参数，第二特征点云是第二设备对至少包含多个点的场景进行识别得到的；
67.步骤306，第一设备接收第二设备反馈的配准成功消息；
68.步骤308，第一设备建立第一ar模型，将第一ar模型对应的增强现实模型文件发送到第二设备，以使第二设备基于增强现实模型文件和坐标变换参数建立第二ar模型。
69.如图4所示，一种增强现实同步系统，该系统包括：第一设备402和第二设备404；
70.第一设备402用于对场景中的多个点进行识别得到第一特征点云，将第一特征点云发送到第二设备；
71.第二设备404用于对至少包含多个点的场景进行识别得到第二特征点云，将第一特征点云和第二特征点云进行配准，确定配准对应的坐标变换参数；
72.第一设备402还用于建立第一ar模型，并将第一ar模型对应的增强现实模型文件发送到第二设备；
73.第二设备404还用于基于增强现实模型文件和坐标变换参数建立第二ar模型。
74.在一个实施例中，第一设备402还用于根据对第一ar模型的操作生成第一操作指令信息，第一操作指令信息包括：指令类型和对应的第一变量数据，将第一操作指令信息发送给第二设备；
75.第二设备404还用于根据指令类型和对应的第一变量数据对第二ar模型进行相应调整。
76.在一个实施例中，第二设备404还用于根据对第二ar模型的操作生成生成第二操作指令信息，第二操作指令信息包括：指令类型和对应的第二变量数据，其中，第二操作指令信息根据第二设备对第二ar模型的操作生成；将第二操作指令信息发送给第一设备，以
使第一设备根据指令类型和对应的第二变量数据对第一ar模型进行相应调整。
77.在一个实施例中，第二设备还用于接收第一设备发送的授权指令，授权指令用于授权第二设备对第二ar模型进行操作，且使得在授权第二设备进行操作期间，第一设备不生成第一操作指令信息。
78.在一个实施例中，第二设备还用于当对第二ar模型进行操作生成第二操作指令信息的过程中接收到第一操作指令信息时，将第一操作指令信息作为第一优先级，将生成的第二操作指令信息作为第二优先级；第二设备按照优先级顺序依次执行第一操作指令信息和第二操作指令信息。
79.在一个实施例中，第二设备还用于当指令类型为移动类型时，第一变量数据为移动向量，根据移动向量调整第二ar模型；当指令类型为旋转类型时，第一变量数据为旋转信息，根据旋转信息调整第二ar模型；当指令类型为缩放类型时，第一变量数据为确定缩放比例，根据缩放比例调整第二ar模型。
80.如图5所示，为一个实施例中，增强现实同步系统中第一设备和第二设备的交互时序图。其中，第一设备为主设备，第二设备为从设备，首先，第一设备和第二设备建立本地通信。然后第一设备对场景中的多个点进行识别得到第一特征点云，然后将第一特征点云发送到第二设备，第二设备接收到第一特征点云后，将第一特征点云和其识别得到的第二特征点云进行配准，确定配准对应的坐标变换参数，并返回配准成功消息到第一设备。第一设备建立第一ar模型，将第一ar模型对应的增强现实模型文件发送到第二设备，第二设备接收到增强现实模型文件后，基于坐标变换参数和增强现实模型文件建立第二ar模型。
81.当第一设备对第一ar模型进行操作时，生成第一操作指令信息(包括指令类型和对应的第一变量数据)，然后将第一操作指令信息发送给第二设备，第二设备根据接收到的第一操作指令信息对第二ar模型进行相应调整。
82.当第二设备对第二ar模型进行操作时，生成第二操作指令信息，然后将第二操作指令信息发送到第一设备，第一设备根据第二操作指令信息对第一ar模型进行相应的调整。
83.也就是说，第一设备和第二设备都可以主动对自身建立的ar模型进行操作，然后将该操作同步到对方ar模型，从而使得两者的ar模型可以保持同步。
84.在另一实施例中，当有多个第二设备时，每个第二设备接收到第一设备发送的ar模型文件，从而在本地建立相应第二ar模型，第一设备和第二设备都可以主动对自身建立的ar模型进行操作，然后将该操作的操作指令信息同步到所有其他设备的ar模型，从而使得多端之间的ar模型保持同步。
85.图6示出了一个实施例中终端设备的内部结构图。该终端设备具体可以是手机、平板电脑、笔记本电脑等。如图6所示，该终端设备包括通过系统总线连接的处理器、存储器和网络接口。该终端设备还可有存储计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述的增强现实同步方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述的增强现实同步方法。本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的终端设备的限定，具体的终端设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
86.在一个实施例中，提出了一种计算机可读存储介质，有存储计算机程序，计算机程序被处理器执行时，使得处理器执行上述增强现实同步方法的步骤。
87.以上，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，根据本技术的技术方案及其发明构思加以等同替换或改变，都应涵盖在本技术的保护范围之内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本技术构成任何限制。