一种基于数字孪生的多人协作AR装配方法和系统与流程

一种基于数字孪生的多人协作ar装配方法和系统
技术领域
1.本发明涉及智能装配技术领域，特别是涉及一种基于数字孪生的多人协作ar装配方法和系统。


背景技术：

2.随着产品的发展朝着复杂性、小型化和精度的方向发展，产品的装配密度和精度要求越来越高，装配难度不断增加。针对复杂产品装配困难、装配效率低、装配过程员工记忆和认知负荷大的问题在工厂车间愈发的突出。为了解决传统装配过程中出现的这些问题，许多专家学者开始引入增强现实技术(ar技术)实现装配指导，将装配工人从沉冗的装配工艺信息中解脱出来。增强现实技术，它是一种将真实世界信息和虚拟世界信息"无缝"集成的新技术，通过将装配工艺信息和装配指导指令的增强现实显示，能够促进装配过程的智能化转变。
3.现有的ar装配研究主要将传统的文本进行ar显示，缺乏一定的灵活性，对于现有的复杂产品装配问题适应性不足。同时，考虑到装配工作的复杂性，传统的ar装配指导遵循固有的程序性指导无法满足装配过程的突发性和优化能力，缺乏足够的柔性。
4.面对装配工件的复杂度不断提升，装配不再是单人操作就足以完成的，现有的ar装配设计无法适应多人协作装配中存在的问题，针对于环境感知和视场的协调性问题也研究较少。
5.同时，针对理想情况下基于静态模型和数据的装配指导，在装配过程中无法面对不同装配工况进行实时调整和优化，这最终会导致装配质量不稳定。
6.因此，提供一种多人协作ar装配方法或系统，以能够对不同装配工况进行实时调整和优化，提高装配质量稳定性，是本领域亟待解决的技术问题。


技术实现要素：

7.本发明的目的是提供一种基于数字孪生的多人协作ar装配方法和系统，能够对不同装配工况进行实时调整和优化，以提高装配质量稳定性。
8.为实现上述目的，本发明提供了如下方案：
9.一种基于数字孪生的多人协作ar装配方法，包括：
10.基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型；所述孪生数据包括装配过程中的信息数据和物理数据；所述装配工艺信息集成模型包括：预规划工艺信息集、实做装配工艺信息集、装配工序子集、装配工序类别、装配滑动窗口信息、装配视觉信息、协同装配类别和增强显示信息；
11.基于所述装配工艺信息集成模型构建虚拟装配场景；所述虚拟装配场景为物理装配场景的映射场景；所述虚拟装配场景存储在服务端；
12.基于所述虚拟装配场景生成ar装配场景；所述ar装配场景存储在客户端；
13.建立异步网络通信，将所述ar装配场景进行多端ar可视化协同处理。
14.优选地，所述基于所述装配工艺信息集成模型构建虚拟装配场景，具体包括：
15.根据所述装配工艺信息集成模型结合mbd模型表达方式，将装配信息在装配三维模型上进行添加得到虚拟装配场景。
16.优选地，所述建立异步网络通信，将所述ar装配场景进行多端ar可视化协同处理，具体包括：
17.建立异步网络通信；
18.基于所述异步网络通信统一多端ar视角；
19.基于统一后的多端ar视角，在ar装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程；所述虚拟装配过程包括装配路线和装配动画。
20.优选地，所述基于所述异步网络通信统一多端ar视角，具体包括：
21.对实际装配场景进行实时映射；所述对实际装配场景进行实时映射由服务端进行；
22.确定基准客户端，并采用所述基准客户端对映射后的实际装配场景进行空间扫描确定空间的锚点信息；
23.根据所述锚点信息确定根锚点；
24.利用客户端对所述基准客户端上的特征图进行扫描得到基准客户端的空间坐标，然后通过网络服务获取根锚点的坐标信息；
25.根据所述根锚点的坐标信息确定两客户端间坐标系的空间偏移量，基于所述空间偏移量实现两客户端间锚点信息的同步；
26.当ar设备加载虚拟的装配对象时，通过网络服务对虚拟动作的空间坐标和虚拟对象的空间坐标进行广播，得到同步根锚点；
27.采用客户端基于同步根锚点和异步网络通信中的网络服务实现多端ar视角的统一。
28.根据本发明提供的具体实施例，本发明公开了以下技术效果：
29.本发明提供的基于数字孪生的多人协作ar装配方法，利用增强现实实现多视角协同和人机交互过程，着力于解决复杂产品装配协作困难，同时消除装配过程沟通障碍。通过基于孪生数据建立装配工艺信息集成模型，将ar装配场景进行多端ar可视化协同处理，以通过采用ar技术实现物理空间
‑
客户端
‑
ar
‑
孪生空间的数据在线流通，实现装配过程的在线监督、精准预测、优化，，进而提高装配质量稳定性。
30.对应于上述提供的基于数字孪生的多人协作ar装配方法，本发明还提供了以下实施系统：
31.一种基于数字孪生的多人协作ar装配系统，包括：
32.装配工艺信息集成模型构建模块，用于基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型；所述孪生数据包括装配过程中的信息数据和物理数据；所述装配工艺信息集成模型包括：预规划工艺信息集、实做装配工艺信息集、装配工序子集、装配工序类别、装配滑动窗口信息、装配视觉信息、协同装配类别和增强显示信息；
33.虚拟装配场景构建模块，用于基于所述装配工艺信息集成模型构建虚拟装配场景；所述虚拟装配场景为物理装配场景的映射场景；所述虚拟装配场景存储在服务端；
34.ar装配场景生成模块，用于基于所述虚拟装配场景生成ar装配场景；所述ar装配
场景存储在客户端；
35.多端ar可视化协同处理模块，用于建立异步网络通信，将所述ar装配场景进行多端ar可视化协同处理。
36.优选地，所述虚拟装配场景构建模块包括：
37.虚拟装配场景构建单元，用于根据所述装配工艺信息集成模型结合mbd模型表达方式，将装配信息在装配三维模型上进行添加得到虚拟装配场景。
38.优选地，所述多端ar可视化协同处理模块包括：
39.异步网络通信建立单元，用于建立异步网络通信；
40.多端ar视角统一单元，用于基于所述异步网络通信统一多端ar视角；
41.虚拟装配过程建立单元，用于基于统一后的多端ar视角，在ar装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程；所述虚拟装配过程包括装配路线和装配动画。
42.优选地，所述多端ar视角统一单元包括：
43.实时映射子单元，用于对实际装配场景进行实时映射；所述对实际装配场景进行实时映射由服务端进行；
44.锚点信息确定子单元，用于确定基准客户端，并采用所述基准客户端对映射后的实际装配场景进行空间扫描确定空间的锚点信息；
45.根锚点确定子单元，用于根据所述锚点信息确定根锚点；
46.坐标信息获取子单元，用于利用客户端对所述基准客户端上的特征图进行扫描得到基准客户端的空间坐标，然后通过网络服务获取根锚点的坐标信息；
47.信息同步子单元，用于根据所述根锚点的坐标信息确定两客户端间坐标系的空间偏移量，基于所述空间偏移量实现两客户端间锚点信息的同步；
48.同步根锚点确定子单元，用于当ar设备加载虚拟的装配对象时，通过网络服务对虚拟动作的空间坐标和虚拟对象的空间坐标进行广播，得到同步根锚点；
49.多端ar视角统一子单元，用于采用客户端基于同步根锚点和异步网络通信中的网络服务实现多端ar视角的统一。
50.因本发明提供的基于数字孪生的多人协作ar装配系统达到的技术效果与上述提供的基于数字孪生的多人协作ar装配方法达到的技术效果相同，故在此不再进行赘述。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明提供的基于数字孪生的多人协作ar装配方法的流程图；
53.图2为实施本发明提供的基于数字孪生的多人协作ar装配方法的装配架构图；
54.图3为本发明实施例提供的基于增强现实技术的智能交互示意图；
55.图4为本发明实施例提供的基于网络服务的ar空间锚点同步过程图；
56.图5为本发明实施例提供的基于孪生数据的多人ar可视化协同过程图；
57.图6为本发明实施例提供的基于数字孪生的产品时序优化装配过程图；
58.图7为本发明提供的基于数字孪生的多人协作ar装配系统的结构示意图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.本发明的目的是提供一种基于数字孪生的多人协作ar装配方法和系统，能够对不同装配工况进行实时调整和优化，以提高装配质量稳定性。
61.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
62.如图1所示，本发明提供的基于数字孪生的多人协作ar装配方法，包括：
63.步骤100：基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型。孪生数据是数字孪生架构的重要组成部分，它集成了信息数据和物理数据，从而实现信息空间与物理空间的一致性。现有的物理装配对象集成模型已经能够对装配对象模型进行很好的管理。本发明主要针对信息集成模型进行设计，设计好的装配工艺信息集成模型主要包括：预规划工艺信息集(papi)、实做装配工艺信息集(aapi)、装配工序子集(aps)、装配工序类别(cap)、装配滑动窗口信息(asw)、装配视觉信息(avi)、协同装配类别(cac)和增强显示信息(adi)。其中，数字孪生架构主要包括物理装配场景，虚拟装配场景，孪生数据，ar装配指导和时序数据分析预测部分。
64.aapi主要包括零件制造实测数据集(pmmd)、装配过程实测数据集(apmd)和装配变形实测数据集(admd)。
65.aps主要用于将产品装配序列进行存储，根据实际装配情况，通过建立装配工序子集，来实现装配设计和优化的高效性。
66.cap进行装配类别的分类，主要分为并行装配工序和串行装配工序，针对不同工序类别可以进行适应性装配指导。
67.asw进行装配子集的确定，由于装配复杂度的不同在装配过程中会出现不同的装配窗口，窗口大小影响ar装配指导的设计与规划，通过对窗口序列的记录来进行后期优化设计矫正。
68.avi为了保证装配协同过程信息的无障流通，让ar引导信息产生一个正向引导而不是视觉干涉的问题，主要包括锚点信息，设备坐标信息，视角信息。
69.adi主要针对于ar装配指导过程中显示信息存储。
70.将装配工艺信息集成模型中包含的信息存储到sqlsever数据库，建立数据接口，用于后期数字孪生装配的信息的实时获取，动态变更。虚拟场景的数据连接即unity虚拟场景与信息模型的数据流的交互过程，unity对数据库的调用主要利用command命令。通过服务器向数据库发送sql命令。利用command对象可以实现数据的增删改及单个数据的查询，利用datareader实现整行数据的读取，利用dataadapter可以实现对结果集的操作。服务器获得数据后，通过socket通信进行数据的传输，然后在ui界面上进行显示。
71.步骤101：基于装配工艺信息集成模型构建虚拟装配场景。虚拟装配场景为物理装配场景的映射场景。虚拟装配场景存储在服务端。该步骤在具体实施过程中主要是根据装配工艺信息集成模型，结合已经成熟的mbd模型表达方式，将装配信息在装配三维模型上进行添加，在虚拟空间进行整个装配过程的仿真。实施步骤101主要是为了保证装配过程实时性监督和装配优化，保证所建立虚拟装配场景与物理场景的一致性，实现一一映射，以虚映实，以实返虚。
72.步骤101的具体实施过程为：
73.a、基于装配工艺信息集成模型的papi，创建虚拟的理想装配过程，即实现物理装配场景的虚拟重现过程。首先，基于unity建立虚拟场景，同时搭建ar环境。
74.b、基于unity建立的虚拟场景包括mbd模型的创建和装配工序的模拟。装配工序的模拟则是装配过程的重现，根据已有的papi、cap、asw信息确定整个装配过程流程，通过代码对装配序列进行编程。装配过程的模拟主要通过创建装配动画，这样发布到ar设备时便能实现装配指导的过程。
75.其中，建立虚拟装配场景的主要过程为：
76.a、开发环境创建：unity3d广泛运用于工业场景可视化的开发工作，支持外部扩展插件的使用，利用其兼容性，可以在arfoundation基础上进行ar辅助装配系统的开发，并通过apk的打包进行场景的快速发布。通过对于不同平台例如android,ios,uwp的环境属性配置，能够实现虚拟场景的多平台兼容。
77.b、装配模型的导入：maya能够建立数字化模型，物理装配对象集成模型中的三维模型如果格式不被unity支持可利用maya进行重建，同时需要对模型进行一定程度上的简化，去除其不必要的模型特征，降低模型渲染过程的计算量从而提高效率。maya生成的模型能够将其材质贴图全部导入unity，不会信息丢失，也不需要格式转换。unity可以利用maya模型的子物体关系添加刚体碰撞，实现模型的模块化控制。unity中三维场景中x向右y向上z向前，从外部导入的模型也需要按照此规则进行建立，从而避免装配过程中空间坐标问题影响脚本的控制。当模型坐标系不统一，可通过建立标准坐标系的空物体，让其作为子物体以满足后期的正常控制。unity无法导入dxf模型，装配模型使用的是现有的模型，通过利用deep exploration进行模型格式转换，转换为可以直接在unity里使用的fbx格式。由于模型尺寸过大，且模型是整体模型，通过deep exploration进行尺寸的缩小和独立板块的模型获取工作，进而获得每个装配部件，便于后期的装配展示。
78.c、mbd模型的创建：对导入模型进行处理，转换为mbd模型。mbd模型主要通过在装配对象的三维实体上添加尺寸、公差等基本信息，这个可以利用unity进行实现，通过在场景建立世界坐标系下canvas，然后为canvas添加子物体，包括image,text等形式，通过绑定数据库来实时获取现场数据进行更新，为了保证模型信息和模型的空间坐标统一，通过对canvas创建预制体并作为模型子物体的形式实现,这样装配模型不在是固定状态，而是实时变更，能够对物理场景进行实时反馈。
79.d、虚拟空间与物理空间的坐标统一：装配过程主要是对物理装配过程的实时反应，通过建立一个装配原点，用于与物理场景进行空间关系的确定。利用arcamera实现无标记的空间跟踪定位，实际ar装配指导过程，装配操作人员通过调整装配原点的空间坐标来实现虚拟场景位置的动态呈现。
80.e、装配过程的布局与模块化：在确定的装配原点基础上，papi信息的获取能够确定整个装配规划过程，根据aps进行装配序列的确定，每一个装配序列装配过程都能够获取装配相对装配原点的相对坐标，这样只需要对每一个装配序列进行模块化设计。每个装配序列包括mbd模型创建、预制体制作、collider添加、shader添加、触发器添加，animation的创建，控制脚本的创建。通过模块化的装配指导设计用于后期串行和并行装配工序和ar指导的适应性调整。
81.f、装配适应性调整功能：根据已确定好的装配序列和装配模块，通过c#脚本控制，利用树结构进行装配序列的逻辑控制创建，通过对树结构的顺序遍历进行装配模块的虚拟呈现。对于装配过程的串行工序和并行工序则用树的深度和广度来表示，实际装配过程装配序列的调整则采用叶子节点的移动来实现。通过查询方式获取每一个节点的装配信息，同时通过更改节点信息来优化装配过程。
82.步骤102：基于虚拟装配场景生成ar装配场景。ar装配场景存储在客户端。
83.ar装配场景是在虚拟场景的基础上生成的，通过对每一个对象或过程添加人机交互手段，实现虚实交互过程(交互过程的实现在协同装配过程中有描述)，通过unity进行基本环境配置添加系统的空间感知能力，接下来进行发布生成应用，将应用安装在安卓端或hololens就能实现ar装配场景的呈现。
84.虚拟场景与ar装配场景的不同在于虚拟场景主要放置于服务端，其主要用于对物理场景的实时监督和装配工艺优化。ar装配场景则主要放置于客户端，发布于ar设备(例如头戴显示设备(hololens2)或支持ar开发的平板等)之上，主要用于装配指导，即将虚拟的场景在物理场景的一个叠加，在观察到装配对象的同时能够观察的装配动画的虚拟投影，从而获得更多的装配信息。当物理装配场景发生故障，或装配误差时，通过信息集成模型的aapi信息的获取服务端进行相应的响应，例如装配位置的调整，这种装配信息又通过网络通信传递到ar装配场景中，实现ar装配指导的更新，实现装配的在线优化。
85.如图3所示，基于装配过程能够将增强现实指导的不同场景和工况，用于辅助装配。通过增强现实技术提高数字孪生装配过程的虚实交互，通过网络服务进行操作员的信息实时传递来实时优化装配工艺，从而降低装配过程中员工的认知负担，提高装配效率。
86.步骤103：建立异步网络通信，将ar装配场景进行多端ar可视化协同处理。
87.通过虚拟场景和ar场景的创建实现了基本的ar辅助装配过程，本发明需要对装配信息模型进一步操作，以实现多人ar可视化协同，基于此，步骤103具体包括：
88.a、建立异步网络通信。如图4所示，通过建立异步网络通信的目的是为了实现一个服务器与多个客户端的协同工作。其中，本发明对于服务器创建其过程如下：
89.a、创建服务端socket。
90.b、接收客户端连接startaccept(socketasynceventargs e)；
91.c、异步连接acceptasync；
92.d、i/o操作判断，判断是否处于挂起状态。
93.e、挂起执行acceptcompleted操作之后进行未挂起处理。
94.f、未挂起则处理客户端连接processaccept(asynceventargs e)
95.g、创建usertoken类用于处理处理客户端发送接收数据(receiveasync执行异步接收/sendasync执行异步发送)
96.h、创建消息处理中心abshandlercenter进行客户端和服务端业务的处理i、在异步网络通信实现的基础上，整个系统的虚拟场景和ar指导场景的信息能够双向流通，从而实现多个ar客户端的协同。
97.b、基于异步网络通信统一多端ar视角，具体包括：
98.a、对实际装配场景进行实时映射。对实际装配场景进行实时映射由服务端进行。
99.b、确定基准客户端，并采用基准客户端对映射后的实际装配场景进行空间扫描确定空间的锚点信息。
100.c、根据锚点信息确定根锚点。具体的，基准客户端在装配空间确定一个唯一的根锚点(root anchor)，以实现对整个空间的感知。
101.d、利用客户端对基准客户端上的特征图进行扫描得到基准客户端的空间坐标，然后通过网络服务获取根锚点的坐标信息。在进行该步骤之前，客户端需要经历与服务器相同的空间感知过程。
102.e、根据根锚点的坐标信息确定两客户端间坐标系的空间偏移量，基于空间偏移量实现两客户端间锚点信息的同步。由于基准客户端能够直接获取自身的空间坐标信息，这样基准客户端设备的坐标信息成为两个客户端信息的交集，从而计算出两台客户端间的根锚点的相对坐标，即两个坐标系的空间偏移量，就可以实现两客户端在空间上的锚点同步。
103.f、当ar设备加载虚拟的装配对象时，通过网络服务对虚拟动作的空间坐标和虚拟对象的空间坐标进行广播，得到同步根锚点。
104.g、采用客户端基于同步根锚点和异步网络通信中的网络服务实现多端ar视角的统一。
105.c、基于统一后的多端ar视角，在ar装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程。虚拟装配过程包括装配路线和装配动画。如图5所示，在多人ar视角统一的情况下，多个客户端用于不同操作人员的增强现实指导。根据装配工艺信息对不同的装配工况建立虚拟装配过程，即为模型添加碰撞检测，规划装配路径，建立装配动画。模型动画路径每个空间节点的相对坐标信息用于装配动画在线生成，同时能够针对工况实时更新节点坐标来优化装配动画，提升系统的环境适应性。装配工艺文本信息通过装配对象ui关联设计，使得文本不在是一个固定状态，文本信息通过在线访问下载，当工艺信息变更时实现实时更新的过程。
106.为了提高信息协同的精准性，提升ar装配指导的沉浸感和辅助功能，本发明在进行信息协同过程中，需要对多个客户端的装配信息传递规则进行确定，同时添加人机交互手段。如图6所示，针对实际装配过程的装配类别，主要进行单工位装配协同和多工位装配协同设计。复杂产品基于一个装配基准零部件的基础进行不同工位装配主要为多工位协同装配环境。基于数字孪生的多工位ar协同装配时多个客户端需要具有独立性和协同性。
107.独立性是针对不同工位能够实现不同的装配引导，客户端能够实现单独的装配指导工作。考虑到单工位装配过程的员工行动范围相对更大为了保证装配过程员工的走动，或者为了实现装配动作而发生的不规则运动导致的装配ui的丢失问题，通过赋予其跟随属性，即确定一个相对的空间坐标，通过传感器实时获取ar设备的空间位置，通过计算确定ui的实时显示位置，保证ui空间位置相对确定。同时，为实现装配过程的最优视点，基于局部坐标系的创建装配动画，并对mbd模型和子物体bounding box实现对虚拟对象的放大旋转，
实现工艺信息的全面获取。
108.实现协同性是客户端能够观察其他工位装配工况，能够对于其他工位的装配作业具有一个反馈，数据的交流。通过装配协同，能够根据各个工位装配进行系统管理和优化，即考虑多工位的定位基准和误差传递，通过在复杂装配过程中建立接口零件作为多工位装配的连接件，以减小累计误差的影响。接口零件的设计尺寸不是一个定值，而是一个尺寸分布，通过接口零件集合的建立，根据实际装配过程的不同工位的信息采集分析，进行多工位装配参数的协同和优化，实现动态装配过程接口零件的选择，并利用网络通信将信息实时传递到各个工位的ar设备，进行ar指导场景装配信息的优化，从而保证整体装配满足工艺规范。
109.单工位协同装配主要面向装配工序复杂工位，在ar视角统一情况下多个员工可能要在同一工位进行不同的操作，例如定位，夹紧，压装。在不同视角下的不同引导显示效果可能会发生重叠，这就需要进行属性定义，即私有ui(text)和公有ui，通过管理实现ui的合理布局和显示效果的最优化。利用跟随属性的赋予，通过射线检测的方法检测ui空间坐标，实现装配ui的自适应跟随。考虑装配过程空间的狭窄，通过利用语音命令实现装配过程的智能交互，利用hololens实现基本眼部识别，通过判断视角方向，实现ui信息的放大便于信息的获取。考虑到ui的ar显示可能会对装配对象造成遮挡，运用自适应向导场景显示方法分析实现ui在装配对象范围之外的最优显示效果。同时，可为ui添加collider,通过射线检测与反馈，能够人为的对ui进行空间位置的变换操作，充分发挥ar技术的优势，实现装配的高效进行。
110.下面基于如图2所示的数字孪生架构，对本发明上述提供的基于数字孪生的多人协作ar装配方法的具体实施过程进行说明。在实际应用过程中，本发明上述提供的基于数字孪生的多人协作ar装配方法还可以应用于其他架构之下。
111.实施本发明提供的基于数字孪生的多人协作ar装配方法的整体思想是：通过在虚拟装配空间中构建生成复杂产品的装配设计模型，并基于理论数模预先进行理想状态的装配工艺设计与规划，生成完善的虚拟装配场景。整个装配过程被分为很多装配工序，准备阶段对工艺对象、工艺资源等进行分析，进行装配决策，考虑是否满足装配条件。在物理装配场景下，利用增强现实技术实现ar装配指导过程，在与ar人机交互过程通过实际的数据驱动装配模型，可以将物理模型的装配状态与虚拟模型实时同步。随着装配过程的进行，结合实际装配时序数据与虚拟装配的孪生数据，进行时序数据分析预测，根据数据分析结果进行装配监督与装配优化，将分析结果和优化方案利用ar系统进行实时可视化呈现，从而提供最佳装配操作。
112.基于上述思想，本发明的实施过程为：
113.1)利用装配工艺信息集成模型创建虚拟装配场景，实现与物理装配场景的一一映射：
114.根据装配工艺信息集成模型结合已经成熟的mbd模型表达方式，将装配信息在装配三维模型上进行添加，在虚拟空间进行整各个装配过程的仿真。基于理论模型实现装配工艺设计和规划，确定合理有效的面向物理装配空间的装配工艺参数。利用网络通讯技术获取来自信息模型实时感知并采集的参评装配过程中的多力度装配实测数据，进而实现装配设计模型动态构建与迭代更新。
115.2)基于网络服务的多人ar可视化协同：
116.利用网络通信技术实现主场景和分场景即不同工位的信息流通。基于arfoundation实现多种设备的ar开发环境的兼容性，根据空间扫描确定空间锚点信息，通过图片识别和空间坐标变换来实现多设备的锚点同步。最后通过三维注册技术实现虚实融合，将虚拟装配场景进行一个增强可视化表达。
117.3)基于孪生数据的增强现实装配协同：
118.针对复杂装配可能装配人员工位不同、装配侧重点不同，观察角度也不同，为此单视角装配就存在问题，针对这一问题，多客户端的模型视角统一能实现装配场景的多人协同操作，即装配的过程需要在每一个客户端进行装配信息的实时更新，这就需要分析装配类别，装配关系与协同，装配路径规划。这里通过对单工位和多工位的增强现实装配设计满足复杂产品的装配需求。
119.2)时序数据分析预测：
120.装配过程通过admd、pmmd、apmd三者对实做装配工艺信息(aapi)进行获取，通过映射机制反馈到预规划工艺信息papi进行对比分析，然后对装配工序类别(cap)进行区分，通过装配滑动窗口信息(asw)进行分析匹配预规划工艺信息集papi，通过匹配度分析确定装配工序子集(aps)是否优化。当需要优化时，并行装配进行自适应装配优化调整。针对串行装配工序则主要进行装配协同的优化。根据确定的装配类别，确定装配的分工信息，根据实际装配视觉信息(avi)进行cac的差别优化。针对员工装配过程的指导和错误示警主要通过adi实现。实际装配数据和装配工艺设计信息的对比分析主要通过算法来实现，针对装配过程中产生的异常信息进行发现并进行增强现实可视化预警。
121.上述针对于多人协作ar装配指导过程主要描述的是ar显示的协同，信息的流通传递，但信息光有传递还需要在服务端利用算法或实际机理进行处理获得反馈，实现协同信息的实时性和自适应性。如下针对误差传递的机理进行举例分析：在实际装配过程中，实时采集装配过程数据，将实做装配工艺信息集与预规划工艺信息集进行处理计算，根据计算结果与阈值的对比，对超过阈值的异常信息进行发现并进行ar预警。同时，考虑实际装配过程的加工制造误差、定位误差、装配测量误差、夹具定位误差等不确定因素，随着误差传递，存在现有装配过程处在装配公差范围，但通过误差传递计算可以发现最终装配结果可能存在问题，这就需要进行提前装配预测，并进行装配调整。如下为各零件经装配偏差耦合与累积传递到末端零件形成的装配体总的误差变动矩阵依据装配信息模型的aapi，通过公式能获得最终的的误差变动矩阵，从而分析装配结果的合理性，用于工艺的优化处理。
[0122][0123][0124]
式中：e表示单位矩阵。m
k
为集合要素在误差从上一位姿到下一位姿的变换矩阵。tv n、为配合结合面为非理想状态和理想状态下的真实几何要素相对于基准零件理想几何要素的位姿变换矩阵，α、β、γ、u、v、w表示几何要素在基准坐标系下沿x、y、z轴的旋转
和平移误差分量。
[0125]
对应于上述提供的基于数字孪生的多人协作ar装配方法，本发明还提供了一种基于数字孪生的多人协作ar装配系统，如图7所示，该系统包括：装配工艺信息集成模型构建模块1、虚拟装配场景构建模块2、ar装配场景生成模块3和多端ar可视化协同处理模块4。
[0126]
装配工艺信息集成模型构建模块1用于基于孪生数据结合装配工艺和装配任务构建装配工艺信息集成模型。孪生数据包括装配过程中的信息数据和物理数据。装配工艺信息集成模型包括：预规划工艺信息集、实做装配工艺信息集、装配工序子集、装配工序类别、装配滑动窗口信息、装配视觉信息、协同装配类别和增强显示信息。
[0127]
虚拟装配场景构建模块2用于基于装配工艺信息集成模型构建虚拟装配场景。虚拟装配场景为物理装配场景的映射场景。虚拟装配场景存储在服务端。
[0128]
ar装配场景生成模块3用于基于虚拟装配场景生成ar装配场景。ar装配场景存储在客户端。
[0129]
多端ar可视化协同处理模块4用于建立异步网络通信，将ar装配场景进行多端ar可视化协同处理。
[0130]
具体的，上述采用的虚拟装配场景构建模块可以进一步包括：虚拟装配场景构建单元。
[0131]
虚拟装配场景构建单元用于根据装配工艺信息集成模型结合mbd模型表达方式，将装配信息在装配三维模型上进行添加得到虚拟装配场景。
[0132]
进一步，为了实现装配过程的精准预测，上述采用的多端ar可视化协同处理模块包括：异步网络通信建立单元、多端ar视角统一单元和虚拟装配过程建立单元。
[0133]
异步网络通信建立单元用于建立异步网络通信。
[0134]
多端ar视角统一单元用于基于异步网络通信统一多端ar视角。
[0135]
虚拟装配过程建立单元用于基于统一后的多端ar视角，在ar装配场景中根据装配工艺信息对不同的装配工作建立虚拟装配过程。虚拟装配过程包括装配路线和装配动画。
[0136]
其中，多端ar视角统一单元可以进一步包括：实时映射子单元、锚点信息确定子单元、根锚点确定子单元、坐标信息获取子单元、信息同步子单元、同步根锚点确定子单元和多端ar视角统一子单元。
[0137]
实时映射子单元用于对实际装配场景进行实时映射。对实际装配场景进行实时映射由服务端进行。
[0138]
锚点信息确定子单元用于确定基准客户端，并采用基准客户端对映射后的实际装配场景进行空间扫描确定空间的锚点信息。
[0139]
根锚点确定子单元用于根据锚点信息确定根锚点。
[0140]
坐标信息获取子单元用于利用客户端对基准客户端上的特征图进行扫描得到基准客户端的空间坐标，然后通过网络服务获取根锚点的坐标信息。
[0141]
信息同步子单元用于根据根锚点的坐标信息确定两客户端间坐标系的空间偏移量，基于空间偏移量实现两客户端间锚点信息的同步。
[0142]
同步根锚点确定子单元用于当ar设备加载虚拟的装配对象时，通过网络服务对虚拟动作的空间坐标和虚拟对象的空间坐标进行广播，得到同步根锚点。
[0143]
多端ar视角统一子单元用于采用客户端基于同步根锚点和异步网络通信中的网
络服务实现多端ar视角的统一。
[0144]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0145]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。