基于AR的设备组装方法、系统、电子设备及存储介质与流程

基于ar的设备组装方法、系统、电子设备及存储介质
技术领域
1.本发明涉及增强现实(augmented reality，简称ar)技术领域，尤其涉及一种基于ar的设备组装方法、系统、电子设备及存储介质。


背景技术：

2.一般来说，在用户购买了设备、家具等较大型的结构装置时，在大部分情况下，厂家/商家以零件形式将这类结构装置送到用户指定地点，用户在现场进行组装。通常情况下，生产厂家会提供纸质说明书，在说明书中以图形、文字的方式给出组装指导。一些服务较好的生产厂家会为复杂的结构装置提供安装演示视频，用户在组装时，可按照纸质说明书或观看安装演示视频进行组装。
3.首先，对于结构较为复杂的结构装置，无论是参照纸质说明书还是安装演示视频，在组装过程中用户想要从数量众多、品类不同的零件中找到当前要使用的零件费时费力。其次，用户需要根据纸质说明书或安装演示视频自行确定当前的安装部件及流程，很容易搞错安装部件或搞错安装流程，通常一个部件的安装错误会导致多个部件的拆卸或者重新安装，费时费力，效率低。


技术实现要素：

4.有鉴于此，本发明实施例提供一种基于ar的设备组装方法、系统、电子设备及存储介质，用于解决用户组装设备时费时费力的技术问题。
5.第一方面，本发明实施例提供一种基于ar的设备组装方法，其中包括：
6.获取待组装设备的数字资源，所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像；
7.采集组装地点环境图像数据以构建数字ar空间；
8.识别所述待组装设备零件，根据识别到的待组装设备零件信息建立组装地点的待组装设备零件与数字资源中对应的虚拟零件的绑定关系；
9.按照待组装设备零件与数字资源中对应的虚拟零件的绑定关系，从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件；
10.为数字ar空间中当前工序所需零件标记安装顺序编号，并突出显示当前待操作的零件和/或其安装顺序编号；以及
11.在用户选定当前待操作的零件时显示安装所述零件的动态演示图像。
12.在第二方面，本发明提供了一种基于ar的设备组装方法，其应用于用户ar终端设备中的客户端，其中包括：
13.基于输入的待组装设备标识，从服务端获取待组装设备的数字资源，所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像；
14.基于用户的环境图像数据采集操作，采集组装地点环境图像数据，并构建数字ar
空间；
15.基于用户输入/采集的待组装设备零件图像获得待组装设备零件与数字资源中对应的虚拟零件的绑定关系；
16.基于待组装设备零件与数字资源中对应的虚拟零件的绑定关系和当前安装工序，从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件；
17.为数字ar空间中当前安装工序所需零件标记安装顺序编号，突出显示当前待操作的零件和/或其安装顺序编号；以及
18.监视用户操作，在用户选定当前待操作的零件时显示安装所述零件的动态演示图像。
19.在第三方面，本发明提供了一种基于ar的设备组装方法，其应用于电子设备中的服务端，其中至少包括：
20.接收来自客户端对待组装设备数字资源的请求，为所述客户端提供所述待组装设备的数字资源，其中所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像。
21.在第四方面，本发明提供了一种基于ar的设备组装系统，其应用于用户ar终端设备，所述ar终端设备至少包括图像采集装置和显示屏幕，其中包括：
22.客户端通信模块，经配置以与服务端通信；
23.资源获取模块，其与所述客户端通信模块相连接，经配置以经所述客户端通信模块从服务端获取待组装设备的数字资源；所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及其动态演示图像；
24.ar场景模块，经配置以基于用户采集的组装地点环境图像数据生成数字ar空间；
25.关系绑定模块，经配置以基于用户输入/采集的待组装设备零件图像获得待组装设备零件与数字资源中对应的虚拟零件的绑定关系；
26.增强显示处理模块，其与所述资源获取模块、ar场景模块和关系绑定模块相连接，经配置以按照待组装设备零件与数字资源中对应的虚拟零件的绑定关系和当前安装工序，从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件，并为其标记安装顺序编号，突出显示当前待操作的零件和/或其安装顺序编号；以及
27.组装引导模块，经配置以在用户选定当前待操作的零件时，在ar终端显示安装所述零件的动态演示图像。
28.在第五方面，本发明提供了一种ar终端设备，其包括图像采集装置、显示屏幕以及前述的基于ar的设备组装装置。
29.在第六方面，本发明提供了一种基于ar的设备组装系统，其应用于服务器，包括：
30.服务端通信模块，经配置以与客户端通信；以及
31.资源提供模块，其与所述服务端通信模块相连接，经配置以接收来自客户端对待组装设备数字资源的请求，为所述客户端提供所述待组装设备的数字资源，其中所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像。
32.在第七方面，本发明提供了一种电子设备，其包括：处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如前所述应用于客户端的基于
ar的设备组装方法，或者如前所述的应用于服务端的基于ar的设备组装方法。
33.在第八方面，本发明提供了一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现前述的应用于客户端的基于ar的设备组装方法，或者实现前述的应用于服务端的基于ar的设备组装方法。
34.在第九方面，本发明提供了一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现前述的应用于客户端的基于ar的设备组装方法，或者实现前述的应用于服务端的基于ar的设备组装方法。
35.本发明实施例提供的方案在用户组装结构复杂的设备、家具的过程中，为用户指定安装工序，并且根据安装工序为当前所需要的零件进行标记、增强显示，因而用户只需要按照指定的工序进行组装，并且在组装时可以根据标记轻松地找到要使用的零件，组装过程省时省力，避免了因安装步骤错误而返工的情况，因而安装效率高。
附图说明
36.为了更清楚地说明本发明实施例的技术方案，以下对本发明实施例中的附图作简单介绍。
37.图1是根据本发明一个实施例的基于ar的设备组装方法的流程图；
38.图2是根据本发明另一实施例的基于ar的设备组装方法的流程图；
39.图3是根据本发明另一实施例的基于ar的设备组装方法的流程图；
40.图4是根据本发明一个实施例的待操作零件的确定方法流程图；
41.图5是根据本发明一个实施例中的基于ar的设备组装系统的原理框图；
42.图6是根据本发明一个实施例中的ar终端设备原理框图；
43.图7a和7b分别是根据本发明两个不同实施例的关系绑定模块的原理框图；
44.图8是根据本发明另一实施例的作为客户端的基于ar的设备组装系统的原理框图；
45.图8a和图8b分别是根据本发明两个不同实施例的待操作零件确定模块的原理框图；以及
46.图9是根据本发明一个实施例的服务端处理模块的原理框图。
具体实施方式
47.以下将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，提供这些实施方式的目的是为了使本发明的原理和精神更加清楚和透彻，使本领域技术人员能够更好地理解进而实现本发明的原理和精神。本文中提供的示例性实施方式仅是本发明的一部分实施方式，而不是全部的实施方式。基于本文中的实施方式，本领域普通技术人员在不付出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
48.图1是根据本发明一个实施例的基于ar的设备组装方法的流程图。
49.在本实施例中，所述方法包括以下步骤：
50.步骤s1，获取待组装设备的数字资源。例如，在用户接收到厂家或商家发送来的设备零件时，在包装上贴有获取数字资源的二维码，用户通过ar终端描扫所述二维码可以从厂家或商家的数字资源库下载所述数字资源到ar终端中。其中，所述数字资源至少包括待
组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像。
51.步骤s2，采集组装地点环境数据以构建数字ar空间。例如，用户通过ar终端的图像采集装置扫描组装地点环境从而采集环境图像数据，基于vslam技术构建与实景无缝重合的数字ar空间，并通过ar终端屏幕呈现所述数字ar空间。
52.步骤s3，识别所述待组装设备零件，根据识别到的待组装设备零件信息建立组装地点的待组装设备零件与数字资源中对应的虚拟零件的绑定关系。在一些实施例中，用户通过ar终端的图像采集装置逐个或分批采集待组装设备零件的图像以得到每个设备零件的图像数据。在另一些实施例中，用户将待组装设备零件摆放到组装地，在构建数字ar空间时得到设备零件的图像数据。在得到设备零件的图像数据后，经图像特征提取，与已知零件图像的对比，从而识别出每一个待组装设备零件。在识别出实景地的设备零件后，与数字资源中的虚拟零件建立绑定关系。
53.步骤s4，按照待组装设备零件与数字资源中对应的虚拟零件的绑定关系，从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件。为了帮助用户自助组装设备，生产厂商根据设备的结构设置有安装工序，根据设备复杂程度的不同，每个安装工序可以包括一个或多个零件。当用户开始安装时，将最初工序作为当前的安装工序，在安装过程中，根据用户安装进度确定具体的安装工序。每个工序对应一个或多个零件，在确定了工序后，则确定了对应的零件。此时根据待组装设备零件与数字资源中对应的虚拟零件的绑定关系从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件。
54.步骤s5，为数字ar空间中当前工序所需零件标记安装顺序编号，并突出显示当前待操作的零件。当识别出当前工序所需零件后，根据零件在当前安装工序的安装顺序，在数字ar空间中的零件上标记出安装顺序编号，并通过放大、闪烁、改变显示符号、改变显示颜色等方式突出显示当前待操作的零件或其安装顺序编号。在一个实施例中，将当前安装顺序编号最小的零件确定为当前待操作的零件。
55.步骤s6，在用户选定当前待操作的零件时显示安装所述零件的动态演示图像。根据ar终端的不同，用户对当前待操作的零件的选定操作各有不同，例如，对于智能手机、平板电脑等ar终端，用户可以通过点击终端屏幕上的待操作的零件编号实施选定操作，对于ar眼镜，用户通过手势交互操作选定数字ar空间中待操作的零件编号，从而可以实施选定操作。当用户选定当前待操作的零件时，在屏幕上显示安装所述当前待操作的动态演示图像，如一段视频、一段动画等。
56.以上图1所述方法通常由安装到ar终端的客户端和厂商服务器中的服务端配合用户实施的具体组装操作来完成。参见图2，图2是本发明另一实施例的基于ar的设备组装方法的流程图。在本实施例中，客户端安装在用户的ar终端中，如智能手机、平板电脑或ar眼镜，服务端安装在生产厂商的服务器中。当用户接收到购买的设备零件，准备组装时，通常要做一些组装前的准备工作，例如，将设备零件运到一个适合组装的地点，如室内的一块平整的地面，然后打开包装，检查零件，再将零件摆放在地面上以方便组装时拿取。本实施例的设备组装方法基于前述的准备工作具体包括以下步骤：
57.步骤s1a，用户向ar终端设备中的客户端输入待组装设备标识。所述标识例如二维码、网址等。输入方式例如为文字输入或者采用摄像头扫描的方式输入。
58.步骤s1b，客户端接收到所述待组装设备标识后生成资源请求，并发送给服务端。
59.步骤s1c，服务端接收到客户端发送来的资源请求后，根据资源请求中的待组装设备标识查询资源库，从中获得对应的数字资源。在一些实施例中，所述数字资源例如待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像。在另一些实施例中，所述数字资源还包括已安装好的整机三维模型。当然，服务端对资源请求还包括权限验证、用户识别等处理。
60.步骤s2c，服务端将数字资源发送给所述客户端。
61.步骤s2b，客户端接收并存储数字资源。
62.步骤s2a，用户向利用ar终端的图像采集装置采集组装地点的环境图像数据。
63.步骤s3b，客户端接收组装地点环境图像数据，并基于环境数据采用vslam技术构建数字ar空间。由于所述数字ar空间与实景无缝重合，因而用户通过ar终端的显示屏幕看到的组装地点环境、设备零件等与实地场景完全重合。
64.如果此时用户已经将设备零件摆放在组装地点，并已呈现在数字ar空间中，则在客户端执行步骤s4b，识别设备零件，建立待组装设备零件与数字资源中对应的虚拟零件的绑定关系，同时得到当前零件地图数据。如果此时用户没有将设备零件摆放在组装地点，可则在步骤3a，输入或者采集待组装设备零件图像，客户端再执行步骤s4b，而后在用户将设备零件摆放在组装地点时，客户端采集零件摆放图像并获得当前零件地图数据。
65.步骤s5b，从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件。
66.步骤s6b，为数字ar空间中当前安装工序所需的零件标记出安装顺序编号并增强显示。在具体的实施例中，当设备结构复杂、零件数量众多时，只在数字ar空间中标记并增强显示当前安装工序所需零件的安装顺序编号。当设备结构较为简单，零件数量不多时，每个零件的安装作为一个工序，则在数字ar空间中标记并增强显示所有零件的安装顺序编号。此时，用户可以看到在数字ar空间中零件通过指引线连接对应的数字。
67.步骤s7b，突出显示当前待操作的零件。本发明在数字ar空间中采用放大、闪烁等标记待操作的零件或其安装顺序编号，从而可以使用户能够轻松地在众多的零件中找到要操作的零件，在找零件时省时省力。
68.步骤s4a，用户选定当前待操作的零件，例如，点击ar终端屏幕，或者通过手势交互，当用户的手指及当前待操作的零件都处于数字ar空间中时，用户用手指向待操作的零件，ar终端捕捉到手指的指向及对应所述指向的零件，从而选定所述零件。
69.步骤s8b，在ar终端显示安装所述零件的动态演示图像。
70.用户依据动态演示图像，从当前已经摆放到的零件中组装当前待操作的零件。其中，待操作的零件依据安装情况可以为两个或一个。例如，在安装初始，当前待操作的零件为两个，用户按照动态演示图像将这两个零件安装在一起构成半装配结构。当按照安装工序需要将零件逐个安装到所述半装配结构上时，每次显示一个待操作的零件，用户将该待操作的零件安装到半装配结构中。又或者，按照安装工序先组装成多个半装配结构，再将两个或多个半装配结构组装在一起。因而，本发明中的当前待操作零件可以是单个的零件，也可以是几个零件组装在一起构成的半装配结构。
71.当用户完成当前待操作零件的安装后，执行步骤s5a，输入或者采集待组装设备零
件摆放位置图像并输入给客户端。例如点击当前屏幕或者通过特定交互手势输入采集待组装设备零件摆放位置图像的指令。
72.步骤s9b，客户端基于待组装设备零件摆放位置图像得到当前零件地图数据。
73.步骤s10b，客户端基于当前的零件地图数据与之前的零件地图数据进行比较确定安装进度，根据安装进度及安装工序确定待操作零件。返回步骤s7b，而后重复步骤s7b-s10b，直到全部零件组装完成。
74.在本实施例中，在用户需要进行组装时，通过用户与ar终端的交互，ar终端引导用户完成设备的组装，例如用户每完成一个零件的安装，向ar终端客户端输入指令，ar终端根据该指令获取当前零件地图数据，通过对比之前的零件地图数据确定当前安装进度，进而确定下一步要安装的零件。在安装过程中，依据安装工序通过增强显示的方式在ar终端中的数字ar空间中标记要安装的零件，用户既不会搞错安装工序，而且也能从众多的零件中轻松地拿到该零件，节省了零件的查找步骤，省时省力。在确定了要安装的零件后，本发明通过动态演示的方式向用户展示该零件的安装方法、过程、部位等，组装过程的演示直观，减少用户安装错误、返工的情况，提高了零件安装的准确率和合格率，进而提高了组装效率。
75.图3是本发明另一实施例的基于ar的设备组装方法的流程图。在本实施例中，将一些计算量较大的工作由服务端完成，例如，由服务端建立待组装设备零件与数字资源中对应的虚拟零件的绑定关系，由服务端确定地图数据及待操作的零件。客户端生成数字ar空间，进行增强显示并显示动态演示图像。
76.在以上图2和图3的两个实施例中，通过用户与ar终端的交互，客户端进行各种处理，例如，用户输入零件图像时，客户端获得待组装设备零件与数字资源中对应的虚拟零件的绑定关系，用户输入采集零件摆放位置图像的指令时，客户端获得零件地图数据，并得到待操作零件。因而秩序感强，组装过程条理清晰，并与用户组装节奏相适应。
77.在另一个实施例中，客户端从服务端获得的数字资源还包括待组装设备的三维数字模型及组成所述三维数字模型的虚拟零件在各自安装工序中的安装顺序编号。当构建了数字ar空间后，将所述待组装设备的三维数字模型放置在所述数字ar空间中。当确定了待操作零件时，除了在数字ar空间中的摆放的零件堆里突出显示该零件或其标记外，还在所述待组装设备的三维数字模型上突出显示对应所述待操作零件的虚拟零件，从而在用户组装该零件之前了解到该零件的安装位置，易于操作。
78.在另一个实施例中，在用户组装过程中，客户端监视组装过程，并基于组装过程确定当前的工序及对应的待操作零件。如图4所示，其为组装过程中待操作零件的确定方法流程图。具体包括：
79.步骤s501，采集用户在组装地点摆放的好待组装设备零件的摆放位置图像。例如，在图2、图3中，当用户通过ar终端的图像采集装置采集待组装设备的零件图像时，在用户已经摆放好待组装设备零件时，在采集零件图像的同时也采集到了摆放位置图像。
80.步骤s502，基于用户零件摆放位置图像识别置其中的零件，从而得到零件地图数据。
81.步骤s503，基于零件地图数据、安装工序数据确定安装工序。
82.步骤s504，基于安装工序涉及的零件及安装顺序编号确定待操作零件。
83.步骤s505，监视用户对待操作零件的安装情况。例如跟踪已确定的当前待操作零件的位置、用户组装过程等。
84.步骤s506，判断选定待操作零件是否安装完成，例如判断待操作零件已是否已与其他零件或半装配结构连接在一起时，如果是，则确定完成选定待操作零件的安装，并记录当前已安装的零件，再执行步骤s507。如果不是，则确定还没有安装完成，则返回步骤s505继续监视用户对待操作零件的安装情况。
85.步骤s507，判断是否组装完成，例如，查看记录的已安装的零件是否为待组装设置的全部零件，如果是，则确定组装完成，则结束组装流程。如果还有零件没有安装，则返回步骤s501，即重新采集零件的摆放位置图像。
86.在以上实施例中，在检测到用户安装完成一个零件后，再确定下一步要安装的零件，即待操作零件。
87.在另一个实施例，客户端定时采集零件的摆放位置图像，并与上一次零件的摆放位置图像进行比较；在当前采集的零件摆放位置图像与上一次零件的摆放位置图像有差异时，以当前采集的零件摆放位置更新当前零件地图数据。在零件地图数据更新后，客户端根据当前零件地图数据及安装工序数据确定出待操作零件。在本实施例中，当用户根据提示从组装地的零件摆放位置中拿走待操作零件进行组装时，客户端检测到当前零件摆放位置发生了变化，会确定出下一步要操作的零件，并在ar空间中增强显示。因而，在本实施例中，用户取走当前待操作零件后，用户会立刻得到下一步待操作零件，既不需要用户等待，也不需要用户发出指令，用户操作少、体验好。
88.在另一方面，本发明还提供了一种基于ar的设备组装系统，既包括应用于ar终端设备、作为客户端的组装系统，也包括用于服务器、作为服务端的组装系统。图5是本发明一个实施例的基于ar的设备组装装置的原理框图。在本实施例中，分别将应用于ar终端设备的组装系统称为客户端，将应用于服务器的组装系统称为服务端以简化名称。在一个实施例中，如图6所示，所述ar终端设备30至少包括处理器31、存储器32、显示屏幕36和摄像头34，更好地，所述用户ar终端设备30还包括网络模块33、传感器35和扬声器37等元器件或功能模块。其中，存储器32可以为内置存储器或外置存储器，用于存储各种数据、程序指令集。所述网络模块33用于连接互联网，使所述ar终端设备30可以访问互联网并从中获得期望的数据、信息等。所述摄像头34可以采集图像、视频。所述传感器35例如光线传感器、距离传感器、陀螺仪、加速度传感器等等中的一个或多个。所述的ar终端设备30可以实施为智能手机、平板电脑、ar眼镜等设备。如图5所示，客户端10安装于ar终端设备30内，包括客户端通信模块11、资源获取模块12、ar场景模块13、关系绑定模块14、增强显示处理模块15和组装引导模块16。其中，所述客户端通信模块11与服务端20通信，在客户端与服务端之间进行数据传输。所述资源获取模块12与所述客户端通信模块11相连接，经所述客户端通信模块11从服务端20获取待组装设备的数字资源；所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及其动态演示图像。所述ar场景模块13基于用户采集的组装地点环境图像数据生成数字ar空间，并使当前待组装设备零件显示在数字ar空间中。所述关系绑定模块14接收用户输入/采集的待组装设备零件图像，或者经过处理获得待组装设备零件与数字资源中对应的虚拟零件的绑定关系，或者经客户端通信模块11从服务端获得待组装设备零件与数字资源中对应的虚拟零件的绑定关系。所述增强显示处理模块
15与所述资源获取模块12、ar场景模块13和关系绑定模块14相连接，经配置以按照待组装设备零件与数字资源中对应的虚拟零件的绑定关系和当前安装工序，从当前数字ar空间中显示的待组装设备零件中识别出当前安装工序所需的零件，在数字ar空间中标记并增强显示当前工序所需零件的安装顺序编号，突出显示当前待操作的零件或其安装顺序编号。组装引导模块16与所述资源获取模块12相连接，在用户选定当前待操作的零件时，在ar终端设备30的显示屏幕36显示安装所述零件的动态演示图像，通过所述动态演示图像引导用户进行组装。
89.其中，在另一个实施例中，所述数字资源还包括待组装设备的三维数字模型，所述增强显示处理模块15进一步在数字ar空间中显示待组装设备的三维数字模型；对应地，所述组装引导模块16在用户选定当前待操作的零件时，在所述待组装设备的三维数字模型上突出显示所述零件及其安装的动态演示图像，从整体上显示当前待操作零件，安装位置清晰、直观。
90.其中，如图7a所示，所述关系绑定模块14具体包括零件图像接收单元141、关系请求生成单元142和关系接收单元143。当用户利用ar终端设备30上的图像采集装置，如摄像头34采集待组装设备零件图像时，所述零件图像接收单元141接收所述待组装设备零件图像，并将所述图像发送给关系请求生成单元142。关系请求生成单元142生成绑定关系请求，并在所述请求中包括所述待组装设备零件图像，经所述客户端通信模块11发送给服务端20。所述关系接收单元143与所述客户端通信模块11相连接，接收服务端20返回的待组装设备零件与数字资源中对应的虚拟零件的绑定关系的信息。在本实施例中，客户端10在接收到待组装设备零件图像时，将其发送到服务端，由服务端确定待组装设备零件与数字资源中对应的虚拟零件的绑定关系，节省了客户端的计算资源，并充分地利用了服务端强大的计算能力。
91.在另一个实施例中，如图7b所示，所述关系绑定模块除了包括零件图像接收单元141外，还包括零件识别单元144和关系建立单元145，当零件图像接收单元141接收到待组装设备零件图像时，将其发送给所述零件识别单元144。所述零件识别单元144对所述零件图像进行图像处理，基于从数字资源中获取的零件信息识别出零件图像中的每一个零件。所述关系建立单元145与所述零件识别单元144相连接，基于零件信息建立待组装设备零件与数字资源中对应的虚拟零件的绑定关系。在本实施例中，客户端10利用自身的计算能力来确定待组装设备零件与数字资源中对应的虚拟零件的绑定关系，不受限于网络的制约。
92.图8是本发明另一个实施例的作为客户端的基于ar的设备组装系统的原理框图。与图5所示的实施例中的客户端相比，本实施例的客户端还包括待操作零件确定模块17，其与所述增强显示处理模块15相连接，经配置以基于用户输入/采集的待组装设备零件摆放位置图像确定待操作零件，并发送给所述增强显示处理模块。如图8a所示，所述待操作零件确定模块17包括图像接收单元171、零件请求单元172和零件数据接收单元173。当用户利用ar终端设备的图像采集装置，如摄像头34，采集了待组装设备零件摆放位置图像后，发送给所述图像接收单元171，所述图像接收单元171将待组装设备零件摆放位置图像发送给零件请求单元172。零件请求单元172接收到所述图像后生成零件请求，并在请求中包括所述零件摆放位置图像，并经所述客户端通信模块11发送给服务端20。零件数据接收单元173与所述客户端通信模块11相连接，经配置以从服务端20接收当前待操作零件信息，其中，服务端
20基于零件摆放位置图像生成零件地图数据；并基于当前零件地图数据和每个安装工序所需零件及安装顺序编号确定待操作零件。
93.如图8b所示，所述待操作零件确定模块17除了包括图像接收单元171外，还包括零件地图数据单元174和零件确定单元175。在本实施例中，零件地图数据单元174对零件摆放位置图像进行图像处理，从中识别出零件，并依据零件的位置关系生成零件地图。所述零件确定单元175与所述零件地图数据单元174相连接，基于当前零件地图数据和每个安装工序所需零件及安装顺序编号确定待操作零件。
94.参见图5，服务端20包括服务端通信模块21、资源提供模块22和可选的处理模块23。其中，服务端20通过服务端通信模块21与客户端10通信。所述资源提供模块22与所述服务端通信模块21相连接，接收来自客户端10对待组装设备数字资源的请求，为所述客户端10提供所述待组装设备的数字资源，其中所述数字资源至少包括待组装设备的安装工序、每个安装工序所需零件的安装顺序编号及动态演示图像，还可进一步包括待组装设备的三维模型。如图9所示，所述处理模块23包括关系绑定单元231和待操作零件确定单元232，其中，关系绑定单元231经服务端通信模块21接收来自客户端10的绑定关系请求，基于请求中的待组装设备零件图像获得待组装设备零件与数字资源中对应的虚拟零件的绑定关系，并将服务端通信模块发送给相应的客户端。所述待操作零件确定单元232经服务端通信模块21接收来自客户端10的零件请求，基于请求中的零件摆放位置图像生成零件地图数据；并基于当前零件地图数据和每个安装工序所需零件及安装顺序编号确定待操作零件，并将服务端通信模块发送给相应的客户端。
95.参见图5，服务器作为一种电子设备，其中至少包括处理器以及存储有计算机程序指令的存储器；当所述处理器执行所述计算机程序指令时实现以上实施例中的服务端及其设备组装方法。
96.具体地，上述处理器可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
97.存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在设备的内部或外部。在特定实施例中，存储器是非易失性固态存储器。
98.存储器可包括只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质设备、光存储介质设备、闪存设备、电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可执行本发明前述方法和系统所描述的操作。
99.在一个示例中，电子设备还可包括通信接口和总线。其中处理器、存储器、通信接口通过总线连接并完成相互间的通信。本发明实施例中的电子设备可以是服务器或其他计算设备，也可以是云端服务器。
100.通信接口主要用于实现本发明前述各个实施例中各模块、单元和/或设备之间的
通信。
101.总线可包括硬件、软件或两者。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或多个以上这些总线的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
102.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可以被处理器执行时实现前述实施例中的客户端或服务端。所述计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。存储介质可以是暂态计算机可读存储介质或非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置和/或半导体存储装置。此类存储装置对应的实施例例如包括磁盘、基于cd、dvd或蓝光技术的光盘以及持久性固态存储器诸如闪存、固态驱动器等。
103.本发明还提供一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现前述实施例中的客户端或服务端。所述计算机程序产品包括但不限于公布于网站、应用商店中的应用安装包、应用插件、可以运行于某些应用中的小程序等等形式。
104.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
105.以上所述的结构框图、原理框图等中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质可以包括非暂态计算机可读存储介质，比如包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质，机器可读介质还可以包括射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
106.还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
107.上面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给
通用计算机、专用计算机、或其它可编程数据处理装置的处理器以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
108.以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。