基于增强现实的复杂易变形舱段对接可视化装配辅助方法与流程

1.本发明涉及智能装配领域，具体涉及一种基于增强现实的复杂易变形舱段对接可视化装配辅助方法。


背景技术：

2.装配是航空航天等高端装备制造的重要环节，复杂易变形舱段对接装配难已成为限制高端装备制造效率提升的瓶颈之一。航空航天装备一般采用内嵌式多台阶过定位装配接口以保证连接可靠性，提高受力特性及密封性能。舱段具有尺寸重量大、配合精度高等特点，且多薄壁壳体。受重力及复杂制造过程的影响，其内嵌式过定位装配接口易发生变形，多级台阶间基准关系发生无规律变化。在对接装配过程中，内部接口间的配合状态不可见，仅通过外部基准测量进行对接极易发生碰撞干涉；同时，高精度配合要求下多级台阶配合的可行装配路径域极窄，给装配人员提出了极大挑战。传统舱段对接过程需要经过“测量、试装、返修”等多个步骤，最终对接时依靠高技能工人长期经验与感觉缓慢谨慎调整才能完成。装配效率低下，对装配人员经验技能依赖性强。
3.利用增强现实技术实现装配辅助功能，目前国内已有部分学者开展研究，并发明了相关方法、系统。但现有发明仅利用增强现实的可视化功能替代装配工艺手册指导，难以适应复杂易变形舱段对接等高技能装配过程的辅助。


技术实现要素：

4.为了解决上述技术问题，本发明提出一种基于增强现实的复杂易变形舱段对接可视化装配辅助方法。融合数字孪生装配技术与智能优化算法，进行舱段装配路径规划寻优，在增强现实环境中通过装配路径可视化进行高技能装配工艺指导，并通过人机交互实现对接路径引导的增强可视化动态反馈，降低对操作人员经验技能的依赖，大幅提升装配效率与一次装配成功率。
5.本发明为实现上述目的所采用的技术方案是：
6.基于增强现实的复杂易变形舱段对接可视化装配辅助方法，包括以下步骤：
7.步骤s1：基于实测的舱段三维模型，构建虚拟装配仿真环境，用于配合间隙及干涉状态检测；
8.步骤s2：采用装配路径智能优化算法，通过标准通讯接口协议与虚拟装配仿真环境进行信息交互，完成最优装配路径规划；
9.步骤s3：将规划好的最优装配路径和视觉检测得到的实际装配路径以3d图像、路径偏差数值的形式叠加到虚实配准后的增强现实环境中，实现可视化智能装配辅助功能。
10.所述步骤s1包括以下步骤：
11.步骤s1.1：将实测的舱段三维模型导入虚拟装配仿真软件，通过调整虚拟装配仿真软件内舱段三维模型的位姿，使虚拟环境与真实空间内舱段的位姿保持一致，并依据装配过程设定各舱段的运动自由度；
12.步骤s1.2：根据舱段几何特征配置虚拟传感器，以测量配合间隙和干涉状态；
13.步骤s1.3：在虚拟装配仿真软件内配置输入输出信号，以实现与智能优化算法的信息交互。
14.所述虚拟传感器设置于舱段每级台阶的首尾处，首尾两处分别设置两组虚拟传感器，一组用于测量配合间隙，一组用于测量干涉深度。
15.所述步骤s2包括以下步骤：
16.步骤s2.1：搭建标准通讯接口服务器，作为智能优化算法与虚拟装配仿真软件信息交互的中间载体；
17.步骤s2.2：智能优化算法初始化：以活动舱段的一种空间位姿作为一个可能解，设定可能解的范围、适应度函数表达式、智能优化算法迭代终止条件及算法相关参数；
18.步骤s2.3：适应度函数计算：在智能优化算法的每一个迭代步内，将可能解数据通过通讯接口服务器发送至虚拟装配仿真软件，虚拟装配仿真软件根据该数据调整活动舱段的空间位姿，并利用虚拟传感器测量配合间隙及干涉深度，通过通讯接口服务器将测量值发送至智能优化算法，智能优化算法基于舱段的配合间隙及干涉深度，利用适应度函数表达式计算适应度函数值；
19.步骤s2.4：最优装配路径上路径点获取：以装配过程不发生碰撞干涉，舱段间配合间隙最大化为优化目标，通过智能优化算法迭代运算获得最优解，即最优装配路径上的一个最优路径点；
20.步骤s2.5：最优装配路径获取：在对接装配方向上，重复运行多次智能优化算法，即重复步骤s2.3和步骤s2.4，得到多个最优路径点，采用直线段依次连接各最优路径点，得到最优装配路径；
21.步骤s2.6：最优装配路径验证：以设定步长对最优装配路径进行离散处理，将离散后的路径点通过通讯接口服务器发送至虚拟装配仿真软件，虚拟装配仿真软件根据路径点模拟对接装配过程，并测量配合间隙，若对接过程中不存在碰撞干涉，则最优装配路径通过验证；若存在碰撞干涉，则在碰撞区域采用智能优化算法重新规划一个最优路径点，直至最优装配路径验证通过。
22.步骤s2.7：根据最优装配路径验证过程中测得的配合间隙值，构建装配路径可行域，即实际装配路径允许偏离的最大范围。
23.所述智能优化算法为粒子群优化算法，将活动舱段的一种空间位姿作为一个粒子。
24.所述适应度函数表达式为：
25.fitness＝min{clearancesensor,-collisionsensor}
26.其中，clearancesensor为配合间隙测量值，collisionsensor为干涉深度测量值。
27.所述步骤s3包括以下步骤：
28.步骤s3.1：设计用于增强现实辅助装配的标志物，并将标志物固定在各活动舱段上；
29.步骤s3.2：利用增强现实设备的图像采集系统采集装配现场舱段的图像；
30.步骤s3.3：通过识别图像中的标志物，获得预定义标志物与当前场景标志物的位姿转换矩阵，完成虚拟信息的三维跟踪注册；
31.步骤s3.4：构建包含最优装配路径、装配路径可行域、实际装配路径的虚拟3d图像，将其叠加到增强现实环境中；
32.步骤s3.5：通过人机交互方式，在增强现实环境中显示路径偏离数值信息，实现动态反馈。
33.本发明具有以下有益效果及优点：
34.1.本发明利用实测舱段模型构建虚拟装配仿真环境，与传统采用理想舱段模型的方法相比，可以为装配路径规划提供准确的模型基础。
35.2.本发明通过虚拟装配仿真环境与装配路径智能优化算法的交互迭代，实现复杂易变形舱段装配路径的自主优化，相比于传统人工测量、试装过程，可实现装配效率提升。
36.3.本发明利用增强现实技术实现最优装配路径、装配路径可行域、实际装配路径的可视化，为复杂易变形舱段对接提供可视化装配辅助，可降低对操作人员经验技能的依赖，提高装配成功率。
附图说明
37.图1为本发明总体流程图；
38.图2为舱段对接系统示意图；
39.图3为装配路径粒子群优化算法流程图；
40.图4为增强现实辅助舱段对接示意图。
具体实施方式
41.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。
42.本实施例涉及一种基于增强现实的复杂易变形舱段对接可视化装配辅助方法，总体流程图如附图1所示。包括以下步骤：
43.步骤s1：基于实测的舱段三维模型，构建虚拟装配仿真环境，用于配合间隙及干涉状态检测；
44.步骤s2：采用装配路径智能优化算法，通过标准通讯接口协议与虚拟装配仿真环境进行信息交互，完成最优装配路径规划；
45.步骤s3：将装配引导路径和视觉检测得到的实际装配路径以3d图像、路径偏差数值等形式叠加到虚实配准后的增强现实环境中，实现可视化智能装配辅助功能。
46.具体的，所述步骤s1包括以下步骤：
47.步骤s1.1：将实测舱段三维模型导入虚拟装配仿真软件nxmcd，调整模型在虚拟装配仿真环境内的空间位姿，保证其在虚拟环境与通过外部靶标3视觉测量的真实空间位姿一致，为固定舱段2添加固定副，活动舱段1无需添加运动副以保证对接过程中的空间六自由度运动，如附图2所示；
48.步骤s1.2：在各舱段每级台阶首尾处分别配置两组虚拟距离传感器，一组用于测量配合间隙，一组用于测量干涉深度；
49.步骤s1.3：在虚拟装配仿真软件内配置活动舱段六自由度位姿作为输入信号，以实现外部信号对活动舱段空间位姿的控制；配置配合间隙、干涉深度等虚拟传感器测量值
作为输出信号，以反馈配合过程中内部不可见几何状态。
50.具体的，所述步骤s2包括以下步骤：
51.步骤s2.1：搭建opc服务器，作为智能优化算法与虚拟装配仿真软件信息交互的中间载体；
52.步骤s2.2：在matlab软件内编写粒子群优化算法作为装配路径寻优算法，以活动舱段的一种空间位姿[x,y,z,α,β,γ]作为一个粒子，设定粒子活动的范围、算法最大迭代次数、粒子群种群规模、惯性权重w、学习因子c1、c2等算法参数，并进行种群初始化；
[0053]
步骤s2.3：在粒子群种群初始化及迭代进化过程中，需要对每个粒子进行适应度函数的计算。针对每各粒子，matlab将粒子所代表的活动舱段空间六自由度位姿通过opc服务器发送至虚拟装配仿真软件nxmcd，虚拟装配仿真软件nxmcd根据该数据调整活动舱段的空间位姿，并利用步骤s1.2配置的虚拟传感器测量配合间隙及干涉状态，通过opc服务器将测量值发送至matlab，基于舱段配合间隙及干涉状态，按照下式计算适应度函数值
[0054]
fitness＝min{clearancesensor,-collisionsensor}
[0055]
步骤s2.4：以装配过程不发生碰撞干涉，舱段间配合间隙最大化为优化目标，即按照步骤s2.3所构建的适应度函数，通过适应度函数计算，个体、全局最优粒子选择，粒子速度、位置更新等粒子群优化步骤的迭代运算，直至达到算法最大迭代次数获得最优解，即最优装配路径上的一个最优路径点；
[0056]
步骤s2.5：在对接装配的轴向上，取多个轴向位置，在每个轴向位置处，运行智能优化算法，即可得到轴向上多个最优路径点，采用直线段依次连接各最优路径点，得到最优装配路径；
[0057]
步骤s2.6：以0.01mm步长对最优装配路径进行离散，将离散后的路径点通过opc服务器发送至虚拟装配仿真软件nxmcd，虚拟装配仿真软件nxmcd根据路径点模拟对接装配过程，并测量配合间隙，若对接过程中不存在碰撞干涉，则最优装配路径通过验证；若存在碰撞干涉，则在碰撞区域采用粒子群优化算法重新规划一个最优路径点，直至最优装配路径验证通过，算法整体流程图如附图3所示；
[0058]
步骤s2.7：根据最优装配路径验证过程中测得的配合间隙值，构建装配路径可行域，也即实际装配路径允许偏离的最大范围。
[0059]
具体的，所述步骤s3包括以下步骤：
[0060]
步骤s3.1：设计用于增强现实辅助装配的标志物，并将跟踪标记固定在各舱段上；
[0061]
步骤s3.2：利用增强现实设备的图像采集系统采集装配现场舱段的图像，保证相机视野中标志物清晰完整；
[0062]
步骤s3.3：通过识别图像中的标志物，获得预定义标志物与当前场景标志物的位姿转换矩阵，完成虚拟信息的三维跟踪注册；
[0063]
步骤s3.4：利用unity3d构建包含最优装配路径4、装配路径可行域5、实际装配路径6的虚拟3d图像，并将其叠加到头戴显示器的增强现实环境中，如附图4所示；
[0064]
步骤s3.5：通过语音、手势等人机交互方式，在增强现实环境中显示路径偏离数值等信息，实现动态反馈。
[0065]
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，对发明的一些修改和变更也应当落入本发明的权利要求的保护
范围内。本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。