基于增强现实的数字人辅助可达性验证方法

1.本发明涉及一种基于增强现实的产品可达性验证系统及方法，具体涉及基于增强现实的数字人辅助可达性验证方法，属于产品可达性验证领域。


背景技术：

2.在工业4.0时代，传统的大批量生产模式逐渐无法满足消费者多样化的需求。制造业亟需新一代系统和技术来缩短产品开发时间，智能制造系统(sms)应运而生。智能制造系统必须具备快速响应的能力，然而，在现阶段工艺验证领域，尤其是可达性验证领域，存在显著的人机交互性(hci)差、验证周期过长的问题。
3.可达性验证涵盖维修、装配、维护等领域，是指在维修或装配等过程中，接近维修或装配部件的难易程度。可达性差的产品在后期使用中很容易出现人机交互性差，保养维护成本过高等问题。传统的可达性验证主要由专家用物理样机进行实验验证来完成。这种方法严重依赖物理样机，验证周期太长，无法达到快速响应的目的。近些年，计算机仿真和虚拟仿真的提出不需要使用物理原型，但是受限于各自的限制，无法提供一种兼顾周期性和交互性的可达性验证方式。基于计算机仿真软件的可达性验证方式交互性很差，难以用键鼠来表征真实的人体姿态；虚拟仿真需要对真实工具和复杂场景进行数字化建模，并且可达性验证过程中操作者只能依靠虚拟人与产品模型进行交互验证，很难直观感受人机交互过程，相对前者来说交互性有所提高但未能缩短验证周期。


技术实现要素：

4.针对现有可达性验证过程中，存在的人机交互性差、验证周期过长的问题，本发明的主要目的是提出一种基于增强现实的数字人辅助可达性验证方法，基于增强现实设备迅速构建可达性验证环境，借助动作捕捉设备和分层次碰撞检测方法，检测操作者与产品三维模型之间是否发生干涉，提升用户交互性的同时，缩短可达性验证周期。
5.本发明的目的是通过下述技术方案实现的：
6.本发明公开的基于增强现实的数字人辅助可达性验证方法，利用可穿戴增强现实设备提供人机交互环境，无需对可达性验证环境和相关工具进行完全建模；借助vuforia插件标定数字人与操作人员的初始位置，将数字人投射在现实世界中，动作捕捉设备捕捉人体数据并驱动数字人与操作人员同步动作，实现在可达性验证过程中虚拟数字人始终叠加在真实操作人员身上；并基于实时的碰撞检测方法，检测虚拟数字人与产品三维模型在交互过程中的干涉情况，验证产品可达性的好坏。实现提升用户交互性，缩短可达性验证周期的目的。
7.本发明公开的基于增强现实的数字人辅助可达性验证方法，包括如下步骤：
8.步骤一、构建人体模型库，并对人体和产品三维模型划分检测区域，快速构建增强现实验证环境。
9.首先，根据可达性验证应用的领域构建人体模型，形成配套的人体模型库，随后将
创建的人体模型分成若干部分，根据每个部分的轮廓创建一个对应的包围盒；其次，对于即将进行可达性验证的产品三维模型，划分不同的检测区域，对于重点的检测的区域单独划分，为后续碰撞检测报告的输出奠定基础。最后，将构建好的人体模型和产品三维模型导入到虚拟现实引擎unity中，通过穿戴式增强现实设备将虚拟模型投射到现实世界中，搭建可达性验证场景。
10.步骤二、校准操作人员和数字人的初始位置，生成统一的初始坐标系，将数字人体模型准确地叠加在操作者身上；并在验证中不断调整数字人的步长，使虚拟数字人与操作人员在坐标系中处于同一位置。
11.步骤2.1：校准操作人员佩戴增强现实设备和动作捕捉设备，站在预定位置打开可达性验证应用程序，借助vuforia扫描并识别预先设定好的图像，在固定位置生成初始数字人模型。
12.步骤2.2：在步骤2.1所述的预定位置进行动作捕捉设备的标定，保证数字人动作与操作人员动作保持一致，并建立增强现实坐标系和动作捕捉设备坐标系相一致的统一坐标系。
13.步骤2.3：基于动作捕捉设备捕获的数据，调整数字人运动的步长，保证在统一坐标系中数字人与操作人员位置的一致。
14.步骤2.4：重复步骤2.2至2.3，直至操作人员在移动和操作过程中，数字人始终叠加在操作人员身上，保持位置和姿势的一致。
15.步骤三、操作者直接手持真实工具与虚拟产品进行可达性的验证，并利用一种层次化实时碰撞检测算法，采用多层级的递进检测方式，兼顾精确性和实时性，提升检测效率。
16.增强现实设备将产品三维模型投射到现实世界中，操作者利用穿戴式增强现实设备提供的人机交互环境，直接手持真实工具与虚拟产品进行可达性的验证。操作人员以第一视角直接观察产品三维模型，验证产品视觉可达性的好坏；在增强现实环境下，可达性验证过程中的层次化碰撞检测方法用于评估在可达性验证过程中操作员是否与产品三维模型发生干涉，若存在干涉，则通过文字或语音的方式提醒操作人员，并将发生干涉的人体部位和产品区域记录在可视化面板上，最终输出报告。
17.所述的可达性验证过程中的层次化碰撞检测方法，包括包围盒层1、包围盒层2、包围盒-面片层的碰撞检测阶段。包围盒的创建利用obb包围盒实现，碰撞检测采用分离轴算法。针对某一分离轴l，计算包围盒a、b在轴l上的投影的半径之和m，以及两包围盒中心点间距在轴l上投影的距离n，如果m小于n，则包围盒a与包围盒b相互分离，否则两包围盒检测到碰撞。
18.下面分别介绍碰撞检测的各个层级：
19.包围盒层1：在可达性验证过程中，操作人员的活动空间很大，为了减少计算资源，在人体模型和产品模型周围覆盖一层长方体包围盒，只有当这两个包围盒发生碰撞时，才会进行下一步的碰撞检测。
20.包围盒层2：基于前面已经检测到碰撞的基础上，检测虚拟人体模型中划分好的包围盒与产品表面长方体包围盒进行碰撞检测。
21.包围盒-面片层：基于前面已经检测到碰撞的基础上，检测虚拟人模型划分的包围
盒与产品三维模型面片层的干涉情况。若仍能检测到碰撞，通过语音或文字形式提醒操作人员，并将干涉报告输出到面板上。
22.有益效果
23.1、本发明公开的基于增强现实的数字人辅助可达性验证方法，利用穿戴式增强现实设备提供人机交互环境，无需对工艺验证环境和相关工具进行建模，操作者直接手持真实工具与虚拟产品进行可达性的验证，提升用户交互性，缩短可达性验证周期。
24.2、本发明公开的基于增强现实的数字人辅助可达性验证方法，构建对应于可达性验证过程的人体模型库，操作人员验证时能够直接选取相匹配的人体模型，提高可达性验证过程快速响应的能力。
25.3、本发明公开的基于增强现实的数字人辅助可达性验证方法，利用一种层次化实时碰撞检测算法，采用多层级的递进检测方式，兼顾精确性和实时性，提升检测效率。
附图说明
26.图1是本发明公开的基于增强现实的数字人辅助可达性验证方法的系统基本框架；
27.图2是可达性验证方法中增强现实环境构建的流程图；
28.图3是本发明公开的基于增强现实的数字人辅助可达性验证方法的系统操作流程图；
29.图4是实施例1的座椅装配可达性验证过程中人体、车体三维模型划分区域并以颜色标识后的示意图
30.其中图(a)为人体模型；图(b)为车体模型；
31.图5是实施例1中座椅装配人员在座椅装配过程中可达性验证的示意图。
具体实施方式
32.下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
33.本实施例公开的基于增强现实的数字人辅助可达性验证方法，应用于汽车座椅的装配过程中，检测装配人员在座椅装配过程中是否与车体模型发生碰撞，验证产品装配可达性的好坏，整个操作流程如图1所示。
34.首先，确定要进行可达性验证的车体模型，根据装配过程确定要构建的人体模型库，并对人体的每一部分构建相匹配的包围盒，在本实例中针对人体模型共构建了51个包围盒；其次，装配人员穿戴动作捕捉设备和增强现实眼镜hololens2，利用vuforia插件将人体三维模型投射到现实世界中，进行动捕设备的标定；随后通过手势、语音等操作将车体模型投射到现实世界中，并通过手势拖拽车体模型至空旷区域进行可达性验证；最后，基于分层次碰撞检测算法，实时验证装配过程中座椅装配人员身体是否与车体模型发生碰撞。具体步骤如下：
35.步骤一、在进行座椅装配可达性验证过程中，本实施例根据gb10000-88中《中国成人人体尺寸》构建了包含5种百分位的人体模型库，分别为百分位数为99、95、50、05、01的人
体模型，根据操作人员的身体数据在构建的人体模型库中选择相匹配的人体模型。选择车体模型并划分验证区域，将划分好验证区域的车体三维模型导入到虚拟现实引擎unity中，利用vuforia插件建立好图像识别与人体三维模型生成的相关设置。
36.步骤二、装配人员佩戴hololens2和动作捕捉设备，进行动作捕捉设备的标定，调试虚拟数字人运动的步长，确保与车椅装配人员的位姿保持一致。
37.步骤二的具体实现方法为：
38.步骤2.1：装配人员佩戴hololens2眼镜，站在预定位置打开可达性验证程序，借助vuforia扫描图像，在固定位置生成初始数字人模型。
39.步骤2.2：装配人员佩戴动作捕捉设备，在步骤2.1中的预定位置进行动作捕捉设备的标定，建立hololens坐标系和动捕设备坐标系相一致的统一坐标系。
40.步骤2.3：基于动捕设备捕获的数据，调整数字人运动的步长，保证在统一坐标系中数字人与装配人员位置的一致。
41.步骤2.4：重复步骤2.2至2.3，直至装配人员在搬运座椅装配的过程中，数字人始终叠加在装配人员身上。
42.步骤三、调试完成后，装配人员通过手势、语音等操作，选取预先划分好验证区域的车体模型，并通过手势拖拽车体模型至合适区域进行可达性验证。验证过程中，首先通过直接地观察评估座椅装配过程中视觉可达性的好坏，在视觉可达性的验证过程中，让多名专家或装配人员同步佩戴hololens2，多人协作进行评估；其次装配人员搬运虚拟座椅进行装配，基于层次化的碰撞检测算法，操作人员搬运座椅至车体模型附近时，若检测到车体和虚拟人模型两个包围盒层1发生碰撞，进一步检测人体模型划分好的包围层2是否与车体模型的包围层1发生碰撞，若是则进一步验证人体模型的包围层2是否与车体面片层发生碰撞，检测操作人员是否真正接触到车体模型表面。在包围盒层与包围盒层的碰撞检测中，obb包围盒的结构是有向的长方体，因此需要取第一个包围盒的3个坐标轴，第二个包围盒的3个坐标轴，以及这两个包围盒任取1轴的两两叉积，为3
×
3＝9个轴，总共15个轴。同理，在包围盒与三角面片层的碰撞检测中，总共需要检测3 1 9＝13个轴。验证座椅装配过程中装配人员空间是否足够，是否与车门发生碰撞，进行空间可达性的验证，并根据碰撞检测结果验证装配人员手部能否够得着车椅摆放的位置，并在报告中给出检测结果为“能够够到和摆放座椅”；最终，将碰撞检测结果保存作为报告输出，并由操作人员和专家对座椅装配过程体验进行可达性评估，依据模糊评价方法评估产品可达性结果的好坏。实现可达性验证过程中，提升用户交互性，缩短可达性验证周期的目的。
43.以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。