一种基于虚实融合的装配指导方法及系统

1.本发明涉及一种基于虚实融合的装配指导方法及系统，属于人因工程装配仿真技术领域。


背景技术：

2.在实际的工业制造中，大量的技术产品设备需要人工进行装配，这些技术产品的结构普遍较为复杂，产品价格较为昂贵，而装配是按照一定的精度标准和技术要求，将一组零散的零件按合理的工艺流程连接起来，这就对装配人员的专业装配技能要求较高；在传统的装配教学和实践中，不是通过说明书进行学习，就是需要专业技术人员进行现场指导，这不仅需要配置大量的教学人员，而且还会受到装配的场地和设备数量、型号等因素的限制，装配人员即便在现场实习，也很难接触到装配部件的内部构造，造成学员对装配部件内部结构认知的难度大、效率低等问题。


技术实现要素：

3.本发明的目的在于提供一种基于虚实融合的装配指导方法及系统，解决现有技术中装配难度大、效率低等问题。
4.为实现以上目的，本发明是采用下述技术方案实现的：第一方面，本发明提供了一种基于虚实融合的装配指导方法，包括：获取环境数据、虚拟物体数据、现实影像和虚拟场景；对环境数据和虚拟物体数据进行融合得到虚实融合数据，对现实影像和虚拟场景进行融合得到虚实融合影像；根据虚实融合数据和虚实融合影像对装配人员的装配状态和动作进行指导，直至完成装配。
5.结合第一方面，进一步的，所述环境数据和虚拟物体数据通过硬件设备采集得到；所述硬件设备包括动作捕捉设备，用于记录装配人员在现实环境中的运动轨迹和人体姿态信息，从而绘制虚拟物体，获得虚拟物体数据；所述硬件设备还包括环境采集设备，用于采集现实环境中的环境数据。
6.结合第一方面，进一步的，所述现实影像通过头戴式显示设备中的摄像装置采集得到；所述虚拟场景通过以下方法得到：头戴式显示设备对所述现实影像采用数字孪生技术复制生成原始虚拟场景，在原始虚拟场景中增加虚拟画面，得到虚拟场景。
7.结合第一方面，进一步的，通过虚实融合技术对环境数据和虚拟物体数据进行虚实融合，将虚拟物体和现实环境融合起来，得到虚实融合数据；通过虚实融合技术对现实影像和虚拟场景进行虚实融合，得到虚实融合影像。
8.第二方面，本发明还提供了一种用于实现第一方面任一项所述方法的基于虚实融
合的装配指导系统，包括动作捕捉设备、环境采集设备、头戴式显示设备和控制单元；动作捕捉设备用于采集虚拟物体数据，环境采集设备用于采集环境数据，头戴式显示设备用于采集虚拟场景和现实影像；控制单元用于将环境数据和虚拟物体数据进行融合得到虚实融合数据，将现实影像和虚拟场景进行融合得到虚实融合影像，并发送给头戴式显示设备；装配人员在头戴式显示设备中显示的虚实融合影像和虚实融合数据的指导下完成装配。
9.结合第二方面，进一步的，所述动作捕捉设备记录装配人员在现实环境中的运动轨迹和人体姿态信息，从而绘制虚拟物体，获得虚拟物体数据。
10.结合第二方面，进一步的，所述头戴式显示设备对所述现实影像采用数字孪生技术复制生成原始虚拟场景，在原始虚拟场景中增加虚拟画面，得到虚拟场景；所述头戴式显示设备包括增强现实的ar眼镜和虚拟现实的vr眼镜，ar眼镜中的摄像装置拍摄现实环境中的现实影像。
11.结合第二方面，进一步的，所述控制单元通过虚实融合技术对环境数据和虚拟物体数据进行虚实融合，将虚拟物体和现实环境融合起来，得到虚实融合数据；通过虚实融合技术对现实影像和虚拟场景进行虚实融合，得到虚实融合影像。
12.结合第二方面，进一步的，还包括生理采集设备，用于实时采集装配人员的生理参数，并将生理参数传输给头戴式显示设备进行显示。
13.结合第二方面，进一步的，所述环境采集单元包括摄像头传感器，用于采集现实环境中的图像信息，从而得到环境数据。
14.与现有技术相比，本发明所达到的有益效果是：本发明提供的一种基于虚实融合的装配指导方法及系统，通过将环境数据和虚拟物体数据进行融合得到虚实融合数据，将现实影像和虚拟场景进行融合得到虚实融合影像，能够将虚拟物体叠加至现实环境，以实现虚实融合，便于为装配人员的装配过程提供指导和反馈；通过虚拟仿真开发来融合虚拟装配和增强现实技术，并满足以装配的指导信息为基础，虚实融合影响和装配实物相一致，最终得到的系统能够实现针对装配过程中的零部件学习、实时指导；提出基于头戴式显示设备的人-机器人的协作装配方法，构建真人和虚拟机器的协作仿真环境，实现人和机器人之间的手眼交互；通过上述方案本发明最终能够给出不同位置零件组的最佳装配次序，减少了装配人员的装配次数，提高了组件的装配效率，实现对装配工艺质量的优化。
附图说明
15.图1是本发明实施例提供的一种基于虚实融合的装配指导方法的流程图之一；图2是本发明实施例提供的一种基于虚实融合的装配指导系统的示意图；图3是本发明实施例提供的一种基于虚实融合的装配指导方法的流程图之二。
具体实施方式
16.下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
17.实施例1如图1所示，本发明实施例提供的一种基于虚实融合的装配指导方法，包括如下步骤：s1、获取环境数据、虚拟物体数据、现实影像和虚拟场景。
18.通过环境采集设备采集现实环境中的环境数据，在本实施例中环境采集设备为摄像头传感器，用于采集现实环境中的图像信息，从而得到环境数据。
19.通过动作捕捉设备记录装配人员在现实环境中的运动轨迹和人体姿态信息，以获得在现实环境中的运动轨迹数据和人体姿态信息数据，用于基于上述的运动轨迹数据和人体姿态信息数据绘制虚拟物体，以获得实时绘制的虚拟物体数据。
20.通过头戴式显示设备中的摄像装置采集得到现实影像，头戴式显示设备对所述现实影像采用数字孪生技术复制生成原始虚拟场景，在原始虚拟场景中增加虚拟画面，得到虚拟场景；头戴式显示设备包括增强现实的ar眼镜和虚拟现实的vr眼镜，摄像装置设置在ar眼镜中。
21.s2、对环境数据和虚拟物体数据进行融合得到虚实融合数据，对现实影像和虚拟场景进行融合得到虚实融合影像。
22.通过虚实融合技术对环境数据和虚拟物体数据进行虚实融合，将虚拟物体和现实环境融合起来，得到虚实融合数据；通过虚实融合技术对现实影像和虚拟场景进行虚实融合，得到虚实融合影像。
23.s3、根据虚实融合数据和虚实融合影像对装配人员的装配状态和动作进行指导，直至完成装配。
24.步骤s2中融合得到的虚实融合数据和虚实融合影像能够导入头戴式显示设备当中，在进行装配时，装配人员能够实时得到根据虚实融合数据和虚实融合影像给出的指导，完成装配。
25.实施例2本发明实施例提供的一种用于实现实施例1所述方法的基于虚实融合的装配指导系统，包括动作捕捉设备、环境采集设备、头戴式显示设备、生理采集设备和控制单元。
26.动作捕捉设备，用于记录装配人员在现实环境中的运动轨迹和人体姿态信息，以获得在现实环境中的运动轨迹数据和人体姿态信息数据，用于基于上述的运动轨迹数据和人体姿态信息数据绘制虚拟物体，以获得实时绘制的虚拟物体数据；动作捕捉设备采集到虚拟物体数据后将其传输给控制单元进行虚实融合。
27.环境采集设备，用于采集现实环境中的环境数据，在本实施例中环境采集设备为摄像头传感器，用于采集现实环境中的图像信息，从而得到环境数据；环境采集设备采集到环境数据后将其传输给控制单元进行虚实融合。
28.头戴式显示设备包括增强现实的ar眼镜和虚拟现实的vr眼镜，在ar眼镜中还设置有摄像装置，摄像装置用于采集现实影像，头戴式显示设备对所述现实影像采用数字孪生技术复制生成原始虚拟场景，在原始虚拟场景中增加虚拟画面，从而得到虚拟场景；头戴式显示设备在得到现实影像和虚拟场景后将其传输给控制单元进行虚实融合。
29.控制单元，通过虚实融合技术将环境数据和虚拟物体数据进行融合得到虚实融合数据，将现实影像和虚拟场景进行融合得到虚实融合影像，并发送给头戴式显示设备；装配
人员在头戴式显示设备中显示的虚实融合影像和虚实融合数据的指导下完成装配。
30.生理采集设备用于采集装配人员的生理数据，包括进行心率监测和眼听视觉等参数的采集，用于实时获取装配人员的生理参数，以将其传输给头戴式显示设备，从而反馈给装配人员，用于装配人员对自身状况进行判断，从而对后续的操作和装配进行适当的安排，便于装配人员掌握装配节奏。
31.实施例3如图2所示，本发明实施例提供的一种用于实现实施例1所述方法的基于虚实融合的装配指导系统，包括硬件、数据库和评估与处理模块。
32.硬件包括动作捕捉设备、环境采集设备、头戴式显示设备和生理采集设备，头戴式显示设备包括增强现实的ar眼镜和虚拟现实的vr眼镜。
33.动作捕捉设备，用于记录装配人员在现实环境中的运动轨迹和人体姿态信息，以获得在现实环境中的运动轨迹数据和人体姿态信息数据，用于基于上述的运动轨迹数据和人体姿态信息数据绘制虚拟物体，以获得实时绘制的虚拟物体数据；动作捕捉设备采集到虚拟物体数据后将其传输给控制单元进行虚实融合。
34.环境采集设备，用于采集现实环境中的环境数据，在本实施例中环境采集设备为摄像头传感器，用于采集现实环境中的图像信息，从而得到环境数据；环境采集设备采集到环境数据后将其传输给控制单元进行虚实融合。
35.头戴式显示设备包括增强现实的ar眼镜和虚拟现实的vr眼镜，在ar眼镜中还设置有摄像装置，摄像装置用于采集现实影像，头戴式显示设备对所述现实影像采用数字孪生技术复制生成原始虚拟场景，在原始虚拟场景中增加虚拟画面，从而得到虚拟场景；头戴式显示设备在得到现实影像和虚拟场景后将其传输给控制单元进行虚实融合。
36.生理采集设备用于采集装配人员的生理数据，包括进行心率监测和眼听视觉等参数的采集，用于实时获取装配人员的生理参数，以将其传输给头戴式显示设备，从而反馈给装配人员，用于装配人员对自身状况进行判断，从而对后续的操作和装配进行适当的安排，便于装配人员掌握装配节奏；生理采集设备还用于进行采集数据的初始化，用于设备连接、姿态校准和动作捕捉工作。
37.数据库包括场景、工具、设备、操作序列和工装序列，硬件中采集到的当前姿态和作业任务参数，将会导入到数据库当中，用于为系统提供环境模型、工装模型以及装配信息的导入接口，数据导入上述模型后对数据进行轻量化设置，并用于进行增强现实场景展示、人员操控反馈工作。
38.评估与处理模块包括人体姿态评估单元、位置记录处理单元和数据存储处理单元。
39.人体姿态评估单元用于对装配人员的姿态进行规划和反馈，在本实施例中，人体姿态评估单元采用自由惯性测量单元、视觉里程计和视觉惯性里程计所组成的群组中的任一种或几种的组合。
40.位置记录处理单元采用同时定位与地图构建技术，装配人员在室内环境下不断移动时，通过增强现实获取不同角度一系列连续的深度图，不断进行迭代，整合并精确建立环境模型。
41.数据存储处理单元用于将来自环境采集单元的环境数据和来自动作捕捉设备的
虚拟物体数据进行虚实融合，将虚拟物体数据和现实环境融合起来，得到虚实融合数据；还用于将来自头戴式显示设备的现实影像和虚拟场景进行虚实融合，得到虚实融合影像；并将虚实融合数据和虚实融合影像导入到头戴式显示设备中，对装配人员目前的装配状态和动作进行反馈和指导。
42.采用虚实融合的虚拟装配技术，能够有效地克服传统装配教学中硬件资源的限制问题，降低培训投入的成本，提高装配人员的学习效率；同时，通过在现实安装过程中指导装配活动的进行，可以提高产品装配的质量和效率。
43.基于虚实融合的虚拟装配系统可以有效地解决传统虚拟装配系统中存在的问题，使用户在观察到虚拟部件的同时获取现实装配环境中的信息；在系统运行时，仅需要渲染虚拟装配模型，可以大大的节省实体建模的工作量以及系统运行的资源消耗；另一方面，虚实融合的虚拟装配系统在提高装配感知度的同时，可以大大提高产品的设计者和装配人员的工作热情和工作效率，提高企业的竞争力。
44.实施例4实施例3所述的系统也能够用于实施图3所示的一种基于虚实融合的装配指导方法，包括如下步骤：步骤一：基于三维建模构建虚拟场景，包括装配人员和装配场景（及实施例1至3中所述的现实环境）以及装配维修的场景，然后将零件模型载入到虚拟场景中。
45.步骤二：通过web端计算机本地数据库动态加载零件模型并布局到三维建模中的虚拟场景；装配人员穿戴上头戴式现实设备和动作捕捉设备，头戴式现实设备和动作捕捉设备连接到搭建好的三维建模虚拟场景里，身临其境的置入该虚拟场景中，进行装配维修操作；同时穿戴生理采集设备，实时采集人体在该维修工作中的心率、眼动视听觉等生理参数，并将其传输给头戴式显示设备进行反馈。
46.步骤三：利用udp通信将采集到的生理参数以及虚拟场景的布局参数实时导入web端数据库，进行评估分析，进而得到最合适的工作环境的空间布局方案。
47.步骤四：用鼠标选择装配零件，系统自动识别装配约束，如果存在装配约束，在约束作用下进行装配操作，否则用户利用鼠标等外部设备控制零件模型靠近目标，进行碰撞检测，系统根据碰撞结构与数据库中装配约束进行比较，若存在装配约束，在约束作用下进行装配。
48.步骤五：评估与处理模块对采集来自硬件和数据库的数据进行分析处理，以将所处理后的数据反馈到头戴式显示设备中，供操作人员进行分析和装配。
49.步骤六：经步骤一、步骤二、步骤三、步骤四、步骤五得到的结论等，通过分类加权，不仅考虑了每个评价指标各自对装配效率的影响，也考虑了各个指标间相互关系的影响。
50.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
51.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流
程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
52.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
53.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
54.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。