1.本发明涉及虚拟装配
技术领域：
：，特别是涉及虚拟现实辅助的装配复杂度评价系统。
背景技术：
：：2.虚拟装配技术是虚拟现实技术、计算机仿真技术等多种先进技术在制造装配领域的综合应用，与一般的装配仿真相比较，具有更大的智能性和优越性，可完成或者支持装配过程的可视化或装配工艺的规划，极大提高机械设计和制造的效率。利用虚拟装配，可以验证装配设计和操作的正确与否，以便及早发现装配中的问题，对模型进行修改，并通过可视化显示装配过程。虚拟装配系统允许设计人员考虑可行的装配序列，自动生成装配规划，它包括数值计算、装配工艺规划、工作面布局、装配操作模拟等。现在产品的制造正在向着自动化、数字化的方向发展，虚拟装配是产品数字化定义中的一个重要环节。3.然而，面向装配工人主观装配复杂度的评价指标，如感知复杂度指数(complexityindex,cxi)、基本装配复杂度(basiccomplexitycriteria，cxb)等，由于对用户在虚拟环境中的交互能力和感知能力要求高，目前尚未在虚拟环境中实现主观装配复杂度的评价方法与技术。因此，为应对产品设计日益复杂的现状，将cxi、cxb等评价指标应用于虚拟装配环境中，开发虚拟现实辅助装配复杂度评价系统，实现在虚拟环境中对工人主观装配复杂度的评估，改善原有复杂度评估方法的准确性与实用性。4.在对虚拟装配的装配复杂度评价时，通过问卷调查的形式对单个任务的客观复杂度或主观认知复杂度进行评估，存在评价的重叠性和片面性。同时相较于传统的基于cad软件的虚拟装配仿真技术，基于虚拟现实的装配仿真与评估的优势在于可以为用户提供身临其境的虚拟环境体验，实现对产品装配的感知复杂度、舒适性、可操作性等主观因素的评估。5.因此，利用虚拟现实技术辅助产品的装配复杂度评估，要突出虚拟现实技术的沉浸性、交互性与启发性的技术特点，充分发挥用户在虚拟环境中的主观感知能力。技术实现要素：6.本发明的目的是提供虚拟现实辅助的装配复杂度评价系统，以解决上述现有技术存在的问题，能够增强虚拟现实技术的沉浸性、交互性与启发性，充分发挥用户在虚拟环境中的主观感知能力。7.为实现上述目的，本发明提供了如下方案：本发明提供虚拟现实辅助的装配复杂度评价系统，包括包括基础设施层、数据库、数据层、功能层和输出层，8.所述基础设施层，用于虚拟装配过程并采集所述数据层的输入信号；9.所述数据库，用于存储所述评价系统运行所需的数据模型；10.所述数据层，用于获取所述基础设施层的输入信号并对所述输入信号转化后输入所述功能层；11.所述功能层，用于对虚拟仿真过程进行控制和对装配复杂度进行评价；12.所述输出层，用于输出虚拟现实过程的可视化信息。13.可选地，所述基础设施层包括无标记全身运动追踪系统、无标记手部运动追踪系统、虚拟现实头盔、高性能图形工作站、无间断供电系统ups和显示设备。14.可选地，所述数据库包括装配工艺规范库、装配零件模型库、装配工具模型库、数字人体模型dhm模型库和复杂度评估模型库，其中，所述装配工艺规范库用于提供装配工艺规范；装配零件模型库，用于提供仿真模拟过程中的装配零件模型；所述装配工具模型库，用于提供装配仿真模拟过程中所模拟使用的装配工具模型；所述数字人体模型dhm模型库，用于获得装配人员虚拟人体模型，并用于采集正确装配姿态数据；所述复杂度评估模型库，用于提供对装配仿真结果进行评价的模型。15.可选地，所述数据库的运行依托unity渲染引擎提供的unitycollaborate和unityasset。16.可选地，所述数据层的数据信息包括零件几何模型、装配工艺信息、全身骨骼运动捕捉数据、手部运动捕捉数据、装配操作交互数据和系统交互数据。17.可选地，所述功能层包括虚拟装配仿真模块、dhm控制模块、装配复杂度评估模块和vr人机交互模块，所述虚拟装配仿真模块用于产品装配仿真的建模与计算；所述dhm控制模块用于处理用户的全身运动捕捉数据，并利用所述全身运动捕捉数据驱动dhm运动；所述装配复杂度评估模块用于装配复杂度评估；所述vr人机交互模块用于用户与所述系统之间的交互。18.可选地，所述dhm控制模块包括传感器数据融合单元、关节运动数据推算、单元和逆向动力学求解单元，其中，所述传感器数据融合单元，用于对采集的若干数据进行融合分析；所述关节运动数据推算单元，用于对模拟装配过程中，用户各关节数据的推算分析；所述逆向动力学求解单元，用于基于逆向运动学计算的关节运动数据，获取用户的装配姿态。19.可选地，所述装配复杂度评估模块包括客观复杂度因素评价单元和用户主观评估复杂度因素评价单元，其中，所述客观复杂度因素评价单元用于针对客观复杂度因素进行评价，所述用户主观评估复杂度因素评价单元用于针对用户主观评估的复杂度因素进行评价。20.可选地，所述vr人机交互模块包括碰撞感知反馈单元、感知增强vr交互单元和基于手势的自然装配操作单元，其中，所述碰撞感知反馈单元用于采集装配过程中用户与装配零件发生的碰撞信息，所述感知增强的vr交互单元用于提高用户对视野外空间信息和装配全局信息的感知，所述基于手势的自然装配操作单元用于模拟装配过程。21.可选地，所述可视化信息包括装配过程信息、装配操作信息、装配状态信息、碰撞信息、评价界面信息、评价结果信息。22.本发明公开了以下技术效果：23.本发明提供的虚拟现实辅助的装配复杂度评价系统，包括基础设施层、数据库、数据层、功能层和输出层，利用虚拟现实技术辅助产品的装配复杂度评估，增强虚拟现实技术的沉浸性、交互性与启发性，充分发挥用户在虚拟环境中的主观感知能力。另外，采用面向装配工人主观装配复杂度的评价指标，如感知复杂度指数cxi、基本装配复杂度cxb等，充分利用用户在虚拟环境中的交互能力和感知能力，开发虚拟现实辅助装配复杂度评价系统，实现在虚拟环境中对工人主观装配复杂度的评估，显著提高了复杂度评估的准确性与实用性，对改善原有复杂度评估方法的准确性与实用性具有重要意义。附图说明24.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。25.图1为本发明实施例中vacas系统框架示意图；26.图2为本发明实施例中复杂度评价因素分类以及与cxi/cxb评价标准的对应关系示意图；27.图3为本发明实施例中vacas的工作流程示意图。具体实施方式28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。29.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。30.本发明提供的虚拟现实辅助的装配复杂度评价系统(virtualreality-aidedassemblycomplexityassessmentsystem,vacas)，如图1所示，包括基础设施层、数据库、数据层、功能层与输出层。31.基础设施层：为系统运行所依赖的硬件设备，提供沉浸式立体显示、全身运动追踪、vr交互、虚拟装配仿真与评估环境的运行提供基础硬件支持。基础设施包含多kinect全身运动追踪系统、多leapmotion大范围精确手部运动追踪系统、oculusrifts虚拟现实头盔、高性能图形工作站、无间断供电系统(uninterruptablepowersupply,ups)以及显示屏等系统运行所需的硬件设备。32.本实施例中根据otto提出的影响vr交互的关键因素，仿真环境真实度显著影响vr环境下的交互表现和评估结果。因此，具备逼真的装配仿真功能是vacas的核心，即33.(1)在虚拟环境中模拟重力、接触力、碰撞力、抓取力等物理作用对零件运动的影响，模拟不同的装配约束与配合条件下零件的零件装配运动过程，避免零件之间的相互穿透，以及模拟不同光照条件下的可视性，保证了用户在vr环境中做出正确的主观复杂度评估。34.(2)多kinect和多leapmotion集成的无标记全身运动追踪系统。在用户不穿带任何追踪标记点的情况下，提供了用户头部、躯干、四肢、手指的精确稳定的追踪。身体运动数据作为虚拟环境中的dhm进行装配操作仿真的驱动数据，增强了用户的存在感与化身感，提高了用户在虚拟环境中的交互表现，同时提高了人机功效评估、可达性评估的精度。35.数据库：储存了系统运行时所需的数据模型，包括几何模型(三角面片模型)、仿真模型(人体骨骼模型、手势模型等)、评估模型(可达性、可视性、人机功效等)等，供系统运行时调用。数据库包含但不限于装配工艺规范库，用于提供装配工艺规范；装配零件模型库，用于提供仿真模拟过程中的装配零件模型；装配工具模型库，用于提供仿真模拟过程中所模拟使用的装配工具模型；dhm模型库，用于获得装配人员虚拟人体模型，并用于采集正确装配姿态数据；复杂度评估模型库，用于提供对模拟装配过程及结果进行评价的模型。数据库的运行依托unity渲染引擎提供的collaborate服务，用于云同步，实现多个实例运行，以及unityasset，用于数据库的资源管理。36.数据层：获取来自基础设施层的输入信号并转换为系统可识别数据，为虚拟装配仿真、dhm运动控制、复杂度评估以及vr交互提供数据输入。数据层所包含的数据信息有零件几何模型信息、装配工艺信息、全身骨骼运动捕捉数据、手部运动捕捉数据、装配操作交互数据和系统交互数据，其中，零件几何模型信息用于提供装配过程中所需零件模型，装配工艺信息为模拟装配过程提供工艺标准、操作规程等信息，全身骨骼运动捕捉数据用于表示在装配仿真过程中，用户身体骨骼的运动数据，手部运动捕捉数据为用户在模拟装配过程中手部动作的信息，装配操作交互数据为用户在装配过程中所需要或者产生的数据、信息，系统交互数据用于表示整个评级系统各组成部分形成的数据、信息。数据层主要基于基础设施层和数据库提供的应用程序接口(applicationprogramminginterface,api)实现。37.功能层：为系统的核心部分，包含虚拟装配仿真模块、dhm控制模块、装配复杂度评估模块与vr人机交互模块，负责系统功能的计算、运行与控制。38.虚拟装配仿真模块负责产品装配仿真相关的建模与计算，包括虚拟装配零件的三角面片几何建模、基于自由度限制的虚拟装配特征建模以及基于碰撞检测和参数识别的虚拟装配约束的动态构建与自由度规约的约束求解等功能。在具体建立模型过程中，首先建立虚拟装配零件的三角面片几何模型，再此基础上，建立基于自由度限制的虚拟装配特征模型，然后基于碰撞检测和参数识别，构建虚拟装配约束的动态模型，最后基于自由度规约进行装配约束的求解，并通过虚拟手人机交互实现产品的装配仿真。39.dhm控制模块负责处理用户的全身运动捕捉数据，并利用捕捉数据驱动dhm运动。包括多传感器数据融合子模块、基于逆向运动学的关节运动数据计算子模块，逆向动力学求解子模块以及装配姿态数据获取子模块。在本实施例中，由多kinect全身运动追踪系统捕捉仿真装配过程中，用户全身骨骼的运动数据，leapmotion手势捕捉传感器捕捉捕捉仿真装配过程中，用户手部关节的数据，数据采集后，结合多kinect传感器数据融合算法、多leapmotion传感器数据融合算法，对采集到的数据进行融合分析，基于逆向运动学计算关节运动数据，获取人体真实的装配姿态，驱动dhm运动。40.装配复杂度评估模块实现系统仿真中复杂度评估相关功能，包含抉择复杂度计算、结构复杂度计算、可视性量化计算、rula计算等客观复杂度因素评价计算，以及cxi、cxb等需要用户主观评估的复杂度因素评价计算。41.vr人机交互模块负责用户和系统之间的双向交互，采用感知增强的vr交互界面，包含面向手工装配的自然装配操作和碰撞感知反馈等。42.cxi主要从产品变体、工作内容、工位布局、工具/支持工具、工作指导和总体评价六个因素对产品装配的感知复杂度进行评价。这六个指标可以进一步分为三个复杂度领域：43.1)工位设计。工位设计考虑在工位布局和工具/支持工具方面设计的好坏。工位布局评价是对工厂或者车间的结构布局评估，同时也包含对人机功效因素的评价，例如可达性和身体负荷。工具/支持工具是对操作者的抉择数量和出错概率导致的复杂度的评估。44.2)工作差异性。工作差异性既考虑在产品变体中的差异性、也要考虑工作内容中的差异性。产品变体是装配复杂度中的一个已知因素。而工作内容的差异性可以定义为与工具、夹具、零件操作相关的任务差异以及与产品变体相关的装配步骤差异。45.3)干扰处理。干扰处理涉及工作内容中的干扰处理，例如不常出现的产品变体装配，主要考虑复杂系统中的不确定性。干扰处理也包含工人在他们工作规划中的主导程度。46.cxi的评价方法是以调查问卷的方式进行的，cxi量表及其所属的复杂度因素与复杂度领域如表1所示。cxi调查问卷包含21条陈述，每条陈述采用5分likert量表(评分1到5，不同问题的分值含义有所不同)进行评价。47.表1[0048][0049]注：5分likert量表设置(1＝不复杂，5＝十分复杂)，*(1＝十分复杂，5＝不复杂)[0050]评价过程中，对评价目标产品的装配生产线上所有工位的工人开展问卷调查。调查结束后，按工位计算调查问卷的评分结果，计算公式为：[0051][0052][0053]其中，cxi为工位的总体cxi分数，cxie为复杂度因素e的cxi分数，mep是答题者对于复杂度因素e的问卷回答分数的中位数，k是复杂度因素的数量，n是答题者的人数。[0054]cxi评价的输出结果为产品装配在每一个工位上的感知复杂度评价分数，采用复杂度颜色毯(color-carpet)表示，如表所示。其中，cxi分数与复杂度程度的对应关系为：绿色(cxi＜2)，黄色(2≤cxi＜3)，红色(cxi≥3)。a～h代表一条生产线上的不同工位，表格中的数据为每个工位对应不同复杂度因素的cxi分数。复杂度分数在颜色毯中表现为绿色，黄色和红色，分别对应三种复杂度程度。其中，红色表示工位的装配需要立刻针对该复杂度因素进行优化，黄色表示可以针对该复杂度因素进行优化，绿色表示该工位装配设计良好，不需要进行复杂度优化。结合复杂度颜色毯的结果和工人在开放式问卷中的反馈，设计者可以针对装配问题所在的复杂度因素进行装配工艺优化。[0055]表2[0056][0057]cxb面向新装配方案的早期开发阶段中产品和零部件设计中包含的基本装配复杂度。cxb由16条复杂度评估标准组成的检查表，每条评估标准均包含一条对于高复杂度情况(highcomplexity,hc)的描述和一条低复杂度情况(lowcomplexity,lc)的描述。评价标准的具体内容以及对应的复杂度情况描述如表3所示。[0058]表3[0059][0060][0061]cxb的评价对象为单个装配任务或元素。对于一个产品的装配工艺，需要对工艺中每一个装配工步按照表3的16条评价标准进行评价，决定该工步符合高复杂度标准还是低复杂度标准。一个工步只能满足一个标准，要么为高复杂度，要么为低复杂度。完成一个工步所有的复杂度标准的评价后，结果为16个不同高低标准的组合，例如某一工步满足了9条低复杂度标准和7条高复杂度标准。一个工步的基本装配复杂度则根据评价结果中满足高复杂度标准的数量决定，复杂度可分为由低到高五种级别，如表所示。[0062]表4[0063][0064]虽然cxb评价标准主要是面向装配设计中的客观复杂度，但部分标准涉及了对工人的认知复杂度的评估。比较cxi与cxb两种复杂度评价方法，可以发现两种复杂度评价在零部件数量、任务时间、可达性、人机功效、专业知识要求、装配方法差异性、工作手册的可用性以及反馈与支持系统方面具有一定的重叠性。但由于两个标准的评价侧重点以及评价发生阶段不同，二者的评价结果为互补关系，不存在较高的相关性。因此，为保证产品装配复杂度评价的完整性，需要同时采用cxi和cxb标准进行装配复杂度评价。本实施例中的vacas具备对cxi和cxb中的客观复杂度因素的自动评价功能，以减轻用户的后期数据处理负担，集成了客观复杂度评价模型，例如装配抉择复杂度模型，装配结构复杂度模型，可视性量化评价模型等，基于虚拟装配仿真得到的相关数据，自动计算客观复杂度评价结果。[0065]vr人机交互模块负责用户与系统之间双向交互的相关功能，包含基于手势的自然装配操作、碰撞感知反馈以及感知增强的vr交互界面等功能。自然的交互控制方法是提高vr中装配评估又一关键因素，基于手势的装配操作交互则可以解放用户的双手，使用户能够以直观自然的方式与虚拟环境进行交互，增强用户的沉浸感，提高用户的任务表现与装配评价能力。基于手势捕捉的装配操作交互即可满足大范围手部运动的稳定追踪(身体正前方、身体两侧和头顶)，又可模拟装配工人在真实装配操作中徒手或者利用工具捡取、搬运和安装零件的过程与物理表现。触觉反馈是人类感知周围态势的重要感官通道之一，也是影响vr交互表现的重要因素。在装配仿真过程中，碰撞反馈提高了在狭窄紧凑环境下装配仿真的精确性，保证了可达性、人机功效评价结果的正确性。本实施例中，vacas提供了用户躯体与周围零件之间的碰撞信息，以直观自然的方式呈现给用户，提供的碰撞信息包括碰撞位置、碰撞方向与角度、碰撞深度、碰撞力、表面材质属性以及预碰撞提醒等。此外，由于第一人称视角1pp交互界面的局限性，用户难以感知视野外的空间信息以及装配全局信息，影响用户在vr环境中对可达性、人机功效以及工位设计等复杂度因素的评价能力。本实施例中，vacas融合了1pp和3pp视角，建立了多视角模型，开发了增强用户感知能力的vr交互界面，提高用户对视野外空间信息和装配全局信息的感知能力，且不影响用户正常的装配操作。[0066]输出层：为系统运行结果的输出部分，负责将装配仿真结果、复杂度评价结果和系统交互信息以可视化的方式呈现给用户，主要包括装配过程可视化、装配操作可视化、装配状态可视化、碰撞信息可视化、评价界面可视化、评价结果可视化等功能，实现了用户对整个装配过程要求的把握，能够准确地感知装配操作、当前装配操作的状态，清楚装配过程中肢体与装配环境发生的碰撞信息，能够明确评价的标准以及模拟装配过程完成后，对装配过程全方位评价的结果。[0067]本实施例中，vacas工作流程如图3所示。vacas的工作流程分为三个阶段：[0068]第一阶段：前期准备阶段。此阶段是系统正式工作前的准备阶段，此阶段需要将虚拟装配的几何模型、装配属性信息、装配设计信息、装配工艺信息、装配现场的三维重构模型以及工位布局信息输入到系统数据库中，构建虚拟装配零部件模型与虚拟装配场景，并对系统设备进行标定和调试。[0069]第二阶段：工作阶段。此阶段为系统的主要工作阶段，由数次vacas工作循环组成。vacas工作循环是用户在虚拟装配仿真与评估任务中的一次完整的认知与决策循环，由四个环节组成：(a)用户感知与决策，(b)人体运动追踪，(c)虚拟装配仿真以及(d)装配复杂度评估。首先，在用户感知与决策环节中，用户根据当前系统反馈的信息，做出交互决策。之后，进入人体运动追踪环节，用户执行交互决策，系统则将用户的身体运动数据与交互信息捕捉到数据库中。然后，进入虚拟装配仿真环节，系统根据用户的身体运动数据与交互指令更新虚拟装配场景。最后，进入复杂度评价环节，系统根据当前的装配仿真结果与用户交互信息当前的装配设计评价对象的复杂度进行评价。之后进入新的工作循环。此工作循环会在系统运行过程中持续运行，直到所有装配设计评价对象均完成复杂度评价，或者用户终端评价任务时停止。[0070]第三阶段：结果输出阶段。此阶段主要完成复杂度评估结果的整理与输出，系统会将工作阶段中所有的复杂度评估结果进行归纳整理，形成复杂度评价报告。之后，用户根据评价报告，分析产品装配工艺设计中存在的装配复杂度问题。最后，根据输出结果对装配工艺设计进行优化。[0071]通过对cxi与cxb评价内容进行分析，可以发现复杂度评价主要考虑的因素可以分为客观复杂度因素与主观复杂度因素两种。其中，客观复杂度主要与装配系统的结构性因素有关，为随时间不变的静态属性，主要考虑在生产工位上因产品装配变体、装配工艺规范、工具选择等因素中包含的多样性与不确定性导致的结构复杂性，以及由工位布局、零部件摆放以及辅助工具的配置所导致的可视性、可达性与人机功效问题引发的客观操作复杂性。主观复杂度主要与装配系统的操作性因素有关，为随时间变化的动态属性，主要考虑因工位的生产选项的多样性引起的抉择认知负荷和干扰处理负荷，不好的工位设计引起的疲劳与挫败感，生产效率压力，信息获取难度以及工人自身的经验与知识水平等因素导致的主观操作复杂性与认知复杂性。详细的复杂度评价因素的分类以及与cxi/cxb评价标准的对应关系见图2所示。[0072]可以看出，cxi评价标准多集中在主观复杂度评估中，而cxb的评价标准则多面向客观复杂度的评价。一些客观复杂度因素，如工位设计因素(cxi#15工位在物料处理方面的设计是优秀的，cxb#12工位需要调校)是可以对照工作手册或者设计说明书直接进行评估的，不需要评估人员进行额外的测试或体验。而一些主观复杂度因素，如身体疲劳与挫败感(cxi#11在这个工位工作室经常感到紧张和挫败)、时间压力(cxi#6这个工位的节拍时间总体足够我完成装配任务)以及信息获取难度(cxi#9当计划外改变/不确定性发生时，可以相对容易地找到执行任务需要的相关信息)等因素，需要评估人员拥有现场装配体验才能评价，难以依靠计算模型、专家经验进行预测性评估。对于可视性、可达性以及人机功效等客观复杂度因素，虽然有众多的计算模型与仿真方法，可以辅助评估人员在有限的信息条件下进行评价，但评估人员能够亲身体验装配的现场情况，可以极大的提高对于这几个因素的评估准确性。对于经验与知识水平因素，由于其只与装配工人自身素质有关，与装配系统设计无关，因此可以独立于工作手册与设计说明书的信息进行主观自评。除此之外，部分主观复杂度因素(如抉择认知负荷、干扰处理负荷)与客观复杂度因素(装配变体的多样性、装配工艺的规范性)在复杂度评价指标上具有一定的重叠性，这是因为这些因素既反映了装配系统客观上的结构复杂度，也反映了执行装配任务过程中主观上的认知复杂度。因此，对于这些复杂度因素，需要从客观和主观两个角度进行评价。[0073]最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。当前第1页12当前第1页12
技术领域：
：，特别是涉及虚拟现实辅助的装配复杂度评价系统。
背景技术：
：：2.虚拟装配技术是虚拟现实技术、计算机仿真技术等多种先进技术在制造装配领域的综合应用，与一般的装配仿真相比较，具有更大的智能性和优越性，可完成或者支持装配过程的可视化或装配工艺的规划，极大提高机械设计和制造的效率。利用虚拟装配，可以验证装配设计和操作的正确与否，以便及早发现装配中的问题，对模型进行修改，并通过可视化显示装配过程。虚拟装配系统允许设计人员考虑可行的装配序列，自动生成装配规划，它包括数值计算、装配工艺规划、工作面布局、装配操作模拟等。现在产品的制造正在向着自动化、数字化的方向发展，虚拟装配是产品数字化定义中的一个重要环节。3.然而，面向装配工人主观装配复杂度的评价指标，如感知复杂度指数(complexityindex,cxi)、基本装配复杂度(basiccomplexitycriteria，cxb)等，由于对用户在虚拟环境中的交互能力和感知能力要求高，目前尚未在虚拟环境中实现主观装配复杂度的评价方法与技术。因此，为应对产品设计日益复杂的现状，将cxi、cxb等评价指标应用于虚拟装配环境中，开发虚拟现实辅助装配复杂度评价系统，实现在虚拟环境中对工人主观装配复杂度的评估，改善原有复杂度评估方法的准确性与实用性。4.在对虚拟装配的装配复杂度评价时，通过问卷调查的形式对单个任务的客观复杂度或主观认知复杂度进行评估，存在评价的重叠性和片面性。同时相较于传统的基于cad软件的虚拟装配仿真技术，基于虚拟现实的装配仿真与评估的优势在于可以为用户提供身临其境的虚拟环境体验，实现对产品装配的感知复杂度、舒适性、可操作性等主观因素的评估。5.因此，利用虚拟现实技术辅助产品的装配复杂度评估，要突出虚拟现实技术的沉浸性、交互性与启发性的技术特点，充分发挥用户在虚拟环境中的主观感知能力。技术实现要素：6.本发明的目的是提供虚拟现实辅助的装配复杂度评价系统，以解决上述现有技术存在的问题，能够增强虚拟现实技术的沉浸性、交互性与启发性，充分发挥用户在虚拟环境中的主观感知能力。7.为实现上述目的，本发明提供了如下方案：本发明提供虚拟现实辅助的装配复杂度评价系统，包括包括基础设施层、数据库、数据层、功能层和输出层，8.所述基础设施层，用于虚拟装配过程并采集所述数据层的输入信号；9.所述数据库，用于存储所述评价系统运行所需的数据模型；10.所述数据层，用于获取所述基础设施层的输入信号并对所述输入信号转化后输入所述功能层；11.所述功能层，用于对虚拟仿真过程进行控制和对装配复杂度进行评价；12.所述输出层，用于输出虚拟现实过程的可视化信息。13.可选地，所述基础设施层包括无标记全身运动追踪系统、无标记手部运动追踪系统、虚拟现实头盔、高性能图形工作站、无间断供电系统ups和显示设备。14.可选地，所述数据库包括装配工艺规范库、装配零件模型库、装配工具模型库、数字人体模型dhm模型库和复杂度评估模型库，其中，所述装配工艺规范库用于提供装配工艺规范；装配零件模型库，用于提供仿真模拟过程中的装配零件模型；所述装配工具模型库，用于提供装配仿真模拟过程中所模拟使用的装配工具模型；所述数字人体模型dhm模型库，用于获得装配人员虚拟人体模型，并用于采集正确装配姿态数据；所述复杂度评估模型库，用于提供对装配仿真结果进行评价的模型。15.可选地，所述数据库的运行依托unity渲染引擎提供的unitycollaborate和unityasset。16.可选地，所述数据层的数据信息包括零件几何模型、装配工艺信息、全身骨骼运动捕捉数据、手部运动捕捉数据、装配操作交互数据和系统交互数据。17.可选地，所述功能层包括虚拟装配仿真模块、dhm控制模块、装配复杂度评估模块和vr人机交互模块，所述虚拟装配仿真模块用于产品装配仿真的建模与计算；所述dhm控制模块用于处理用户的全身运动捕捉数据，并利用所述全身运动捕捉数据驱动dhm运动；所述装配复杂度评估模块用于装配复杂度评估；所述vr人机交互模块用于用户与所述系统之间的交互。18.可选地，所述dhm控制模块包括传感器数据融合单元、关节运动数据推算、单元和逆向动力学求解单元，其中，所述传感器数据融合单元，用于对采集的若干数据进行融合分析；所述关节运动数据推算单元，用于对模拟装配过程中，用户各关节数据的推算分析；所述逆向动力学求解单元，用于基于逆向运动学计算的关节运动数据，获取用户的装配姿态。19.可选地，所述装配复杂度评估模块包括客观复杂度因素评价单元和用户主观评估复杂度因素评价单元，其中，所述客观复杂度因素评价单元用于针对客观复杂度因素进行评价，所述用户主观评估复杂度因素评价单元用于针对用户主观评估的复杂度因素进行评价。20.可选地，所述vr人机交互模块包括碰撞感知反馈单元、感知增强vr交互单元和基于手势的自然装配操作单元，其中，所述碰撞感知反馈单元用于采集装配过程中用户与装配零件发生的碰撞信息，所述感知增强的vr交互单元用于提高用户对视野外空间信息和装配全局信息的感知，所述基于手势的自然装配操作单元用于模拟装配过程。21.可选地，所述可视化信息包括装配过程信息、装配操作信息、装配状态信息、碰撞信息、评价界面信息、评价结果信息。22.本发明公开了以下技术效果：23.本发明提供的虚拟现实辅助的装配复杂度评价系统，包括基础设施层、数据库、数据层、功能层和输出层，利用虚拟现实技术辅助产品的装配复杂度评估，增强虚拟现实技术的沉浸性、交互性与启发性，充分发挥用户在虚拟环境中的主观感知能力。另外，采用面向装配工人主观装配复杂度的评价指标，如感知复杂度指数cxi、基本装配复杂度cxb等，充分利用用户在虚拟环境中的交互能力和感知能力，开发虚拟现实辅助装配复杂度评价系统，实现在虚拟环境中对工人主观装配复杂度的评估，显著提高了复杂度评估的准确性与实用性，对改善原有复杂度评估方法的准确性与实用性具有重要意义。附图说明24.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。25.图1为本发明实施例中vacas系统框架示意图；26.图2为本发明实施例中复杂度评价因素分类以及与cxi/cxb评价标准的对应关系示意图；27.图3为本发明实施例中vacas的工作流程示意图。具体实施方式28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。29.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。30.本发明提供的虚拟现实辅助的装配复杂度评价系统(virtualreality-aidedassemblycomplexityassessmentsystem,vacas)，如图1所示，包括基础设施层、数据库、数据层、功能层与输出层。31.基础设施层：为系统运行所依赖的硬件设备，提供沉浸式立体显示、全身运动追踪、vr交互、虚拟装配仿真与评估环境的运行提供基础硬件支持。基础设施包含多kinect全身运动追踪系统、多leapmotion大范围精确手部运动追踪系统、oculusrifts虚拟现实头盔、高性能图形工作站、无间断供电系统(uninterruptablepowersupply,ups)以及显示屏等系统运行所需的硬件设备。32.本实施例中根据otto提出的影响vr交互的关键因素，仿真环境真实度显著影响vr环境下的交互表现和评估结果。因此，具备逼真的装配仿真功能是vacas的核心，即33.(1)在虚拟环境中模拟重力、接触力、碰撞力、抓取力等物理作用对零件运动的影响，模拟不同的装配约束与配合条件下零件的零件装配运动过程，避免零件之间的相互穿透，以及模拟不同光照条件下的可视性，保证了用户在vr环境中做出正确的主观复杂度评估。34.(2)多kinect和多leapmotion集成的无标记全身运动追踪系统。在用户不穿带任何追踪标记点的情况下，提供了用户头部、躯干、四肢、手指的精确稳定的追踪。身体运动数据作为虚拟环境中的dhm进行装配操作仿真的驱动数据，增强了用户的存在感与化身感，提高了用户在虚拟环境中的交互表现，同时提高了人机功效评估、可达性评估的精度。35.数据库：储存了系统运行时所需的数据模型，包括几何模型(三角面片模型)、仿真模型(人体骨骼模型、手势模型等)、评估模型(可达性、可视性、人机功效等)等，供系统运行时调用。数据库包含但不限于装配工艺规范库，用于提供装配工艺规范；装配零件模型库，用于提供仿真模拟过程中的装配零件模型；装配工具模型库，用于提供仿真模拟过程中所模拟使用的装配工具模型；dhm模型库，用于获得装配人员虚拟人体模型，并用于采集正确装配姿态数据；复杂度评估模型库，用于提供对模拟装配过程及结果进行评价的模型。数据库的运行依托unity渲染引擎提供的collaborate服务，用于云同步，实现多个实例运行，以及unityasset，用于数据库的资源管理。36.数据层：获取来自基础设施层的输入信号并转换为系统可识别数据，为虚拟装配仿真、dhm运动控制、复杂度评估以及vr交互提供数据输入。数据层所包含的数据信息有零件几何模型信息、装配工艺信息、全身骨骼运动捕捉数据、手部运动捕捉数据、装配操作交互数据和系统交互数据，其中，零件几何模型信息用于提供装配过程中所需零件模型，装配工艺信息为模拟装配过程提供工艺标准、操作规程等信息，全身骨骼运动捕捉数据用于表示在装配仿真过程中，用户身体骨骼的运动数据，手部运动捕捉数据为用户在模拟装配过程中手部动作的信息，装配操作交互数据为用户在装配过程中所需要或者产生的数据、信息，系统交互数据用于表示整个评级系统各组成部分形成的数据、信息。数据层主要基于基础设施层和数据库提供的应用程序接口(applicationprogramminginterface,api)实现。37.功能层：为系统的核心部分，包含虚拟装配仿真模块、dhm控制模块、装配复杂度评估模块与vr人机交互模块，负责系统功能的计算、运行与控制。38.虚拟装配仿真模块负责产品装配仿真相关的建模与计算，包括虚拟装配零件的三角面片几何建模、基于自由度限制的虚拟装配特征建模以及基于碰撞检测和参数识别的虚拟装配约束的动态构建与自由度规约的约束求解等功能。在具体建立模型过程中，首先建立虚拟装配零件的三角面片几何模型，再此基础上，建立基于自由度限制的虚拟装配特征模型，然后基于碰撞检测和参数识别，构建虚拟装配约束的动态模型，最后基于自由度规约进行装配约束的求解，并通过虚拟手人机交互实现产品的装配仿真。39.dhm控制模块负责处理用户的全身运动捕捉数据，并利用捕捉数据驱动dhm运动。包括多传感器数据融合子模块、基于逆向运动学的关节运动数据计算子模块，逆向动力学求解子模块以及装配姿态数据获取子模块。在本实施例中，由多kinect全身运动追踪系统捕捉仿真装配过程中，用户全身骨骼的运动数据，leapmotion手势捕捉传感器捕捉捕捉仿真装配过程中，用户手部关节的数据，数据采集后，结合多kinect传感器数据融合算法、多leapmotion传感器数据融合算法，对采集到的数据进行融合分析，基于逆向运动学计算关节运动数据，获取人体真实的装配姿态，驱动dhm运动。40.装配复杂度评估模块实现系统仿真中复杂度评估相关功能，包含抉择复杂度计算、结构复杂度计算、可视性量化计算、rula计算等客观复杂度因素评价计算，以及cxi、cxb等需要用户主观评估的复杂度因素评价计算。41.vr人机交互模块负责用户和系统之间的双向交互，采用感知增强的vr交互界面，包含面向手工装配的自然装配操作和碰撞感知反馈等。42.cxi主要从产品变体、工作内容、工位布局、工具/支持工具、工作指导和总体评价六个因素对产品装配的感知复杂度进行评价。这六个指标可以进一步分为三个复杂度领域：43.1)工位设计。工位设计考虑在工位布局和工具/支持工具方面设计的好坏。工位布局评价是对工厂或者车间的结构布局评估，同时也包含对人机功效因素的评价，例如可达性和身体负荷。工具/支持工具是对操作者的抉择数量和出错概率导致的复杂度的评估。44.2)工作差异性。工作差异性既考虑在产品变体中的差异性、也要考虑工作内容中的差异性。产品变体是装配复杂度中的一个已知因素。而工作内容的差异性可以定义为与工具、夹具、零件操作相关的任务差异以及与产品变体相关的装配步骤差异。45.3)干扰处理。干扰处理涉及工作内容中的干扰处理，例如不常出现的产品变体装配，主要考虑复杂系统中的不确定性。干扰处理也包含工人在他们工作规划中的主导程度。46.cxi的评价方法是以调查问卷的方式进行的，cxi量表及其所属的复杂度因素与复杂度领域如表1所示。cxi调查问卷包含21条陈述，每条陈述采用5分likert量表(评分1到5，不同问题的分值含义有所不同)进行评价。47.表1[0048][0049]注：5分likert量表设置(1＝不复杂，5＝十分复杂)，*(1＝十分复杂，5＝不复杂)[0050]评价过程中，对评价目标产品的装配生产线上所有工位的工人开展问卷调查。调查结束后，按工位计算调查问卷的评分结果，计算公式为：[0051][0052][0053]其中，cxi为工位的总体cxi分数，cxie为复杂度因素e的cxi分数，mep是答题者对于复杂度因素e的问卷回答分数的中位数，k是复杂度因素的数量，n是答题者的人数。[0054]cxi评价的输出结果为产品装配在每一个工位上的感知复杂度评价分数，采用复杂度颜色毯(color-carpet)表示，如表所示。其中，cxi分数与复杂度程度的对应关系为：绿色(cxi＜2)，黄色(2≤cxi＜3)，红色(cxi≥3)。a～h代表一条生产线上的不同工位，表格中的数据为每个工位对应不同复杂度因素的cxi分数。复杂度分数在颜色毯中表现为绿色，黄色和红色，分别对应三种复杂度程度。其中，红色表示工位的装配需要立刻针对该复杂度因素进行优化，黄色表示可以针对该复杂度因素进行优化，绿色表示该工位装配设计良好，不需要进行复杂度优化。结合复杂度颜色毯的结果和工人在开放式问卷中的反馈，设计者可以针对装配问题所在的复杂度因素进行装配工艺优化。[0055]表2[0056][0057]cxb面向新装配方案的早期开发阶段中产品和零部件设计中包含的基本装配复杂度。cxb由16条复杂度评估标准组成的检查表，每条评估标准均包含一条对于高复杂度情况(highcomplexity,hc)的描述和一条低复杂度情况(lowcomplexity,lc)的描述。评价标准的具体内容以及对应的复杂度情况描述如表3所示。[0058]表3[0059][0060][0061]cxb的评价对象为单个装配任务或元素。对于一个产品的装配工艺，需要对工艺中每一个装配工步按照表3的16条评价标准进行评价，决定该工步符合高复杂度标准还是低复杂度标准。一个工步只能满足一个标准，要么为高复杂度，要么为低复杂度。完成一个工步所有的复杂度标准的评价后，结果为16个不同高低标准的组合，例如某一工步满足了9条低复杂度标准和7条高复杂度标准。一个工步的基本装配复杂度则根据评价结果中满足高复杂度标准的数量决定，复杂度可分为由低到高五种级别，如表所示。[0062]表4[0063][0064]虽然cxb评价标准主要是面向装配设计中的客观复杂度，但部分标准涉及了对工人的认知复杂度的评估。比较cxi与cxb两种复杂度评价方法，可以发现两种复杂度评价在零部件数量、任务时间、可达性、人机功效、专业知识要求、装配方法差异性、工作手册的可用性以及反馈与支持系统方面具有一定的重叠性。但由于两个标准的评价侧重点以及评价发生阶段不同，二者的评价结果为互补关系，不存在较高的相关性。因此，为保证产品装配复杂度评价的完整性，需要同时采用cxi和cxb标准进行装配复杂度评价。本实施例中的vacas具备对cxi和cxb中的客观复杂度因素的自动评价功能，以减轻用户的后期数据处理负担，集成了客观复杂度评价模型，例如装配抉择复杂度模型，装配结构复杂度模型，可视性量化评价模型等，基于虚拟装配仿真得到的相关数据，自动计算客观复杂度评价结果。[0065]vr人机交互模块负责用户与系统之间双向交互的相关功能，包含基于手势的自然装配操作、碰撞感知反馈以及感知增强的vr交互界面等功能。自然的交互控制方法是提高vr中装配评估又一关键因素，基于手势的装配操作交互则可以解放用户的双手，使用户能够以直观自然的方式与虚拟环境进行交互，增强用户的沉浸感，提高用户的任务表现与装配评价能力。基于手势捕捉的装配操作交互即可满足大范围手部运动的稳定追踪(身体正前方、身体两侧和头顶)，又可模拟装配工人在真实装配操作中徒手或者利用工具捡取、搬运和安装零件的过程与物理表现。触觉反馈是人类感知周围态势的重要感官通道之一，也是影响vr交互表现的重要因素。在装配仿真过程中，碰撞反馈提高了在狭窄紧凑环境下装配仿真的精确性，保证了可达性、人机功效评价结果的正确性。本实施例中，vacas提供了用户躯体与周围零件之间的碰撞信息，以直观自然的方式呈现给用户，提供的碰撞信息包括碰撞位置、碰撞方向与角度、碰撞深度、碰撞力、表面材质属性以及预碰撞提醒等。此外，由于第一人称视角1pp交互界面的局限性，用户难以感知视野外的空间信息以及装配全局信息，影响用户在vr环境中对可达性、人机功效以及工位设计等复杂度因素的评价能力。本实施例中，vacas融合了1pp和3pp视角，建立了多视角模型，开发了增强用户感知能力的vr交互界面，提高用户对视野外空间信息和装配全局信息的感知能力，且不影响用户正常的装配操作。[0066]输出层：为系统运行结果的输出部分，负责将装配仿真结果、复杂度评价结果和系统交互信息以可视化的方式呈现给用户，主要包括装配过程可视化、装配操作可视化、装配状态可视化、碰撞信息可视化、评价界面可视化、评价结果可视化等功能，实现了用户对整个装配过程要求的把握，能够准确地感知装配操作、当前装配操作的状态，清楚装配过程中肢体与装配环境发生的碰撞信息，能够明确评价的标准以及模拟装配过程完成后，对装配过程全方位评价的结果。[0067]本实施例中，vacas工作流程如图3所示。vacas的工作流程分为三个阶段：[0068]第一阶段：前期准备阶段。此阶段是系统正式工作前的准备阶段，此阶段需要将虚拟装配的几何模型、装配属性信息、装配设计信息、装配工艺信息、装配现场的三维重构模型以及工位布局信息输入到系统数据库中，构建虚拟装配零部件模型与虚拟装配场景，并对系统设备进行标定和调试。[0069]第二阶段：工作阶段。此阶段为系统的主要工作阶段，由数次vacas工作循环组成。vacas工作循环是用户在虚拟装配仿真与评估任务中的一次完整的认知与决策循环，由四个环节组成：(a)用户感知与决策，(b)人体运动追踪，(c)虚拟装配仿真以及(d)装配复杂度评估。首先，在用户感知与决策环节中，用户根据当前系统反馈的信息，做出交互决策。之后，进入人体运动追踪环节，用户执行交互决策，系统则将用户的身体运动数据与交互信息捕捉到数据库中。然后，进入虚拟装配仿真环节，系统根据用户的身体运动数据与交互指令更新虚拟装配场景。最后，进入复杂度评价环节，系统根据当前的装配仿真结果与用户交互信息当前的装配设计评价对象的复杂度进行评价。之后进入新的工作循环。此工作循环会在系统运行过程中持续运行，直到所有装配设计评价对象均完成复杂度评价，或者用户终端评价任务时停止。[0070]第三阶段：结果输出阶段。此阶段主要完成复杂度评估结果的整理与输出，系统会将工作阶段中所有的复杂度评估结果进行归纳整理，形成复杂度评价报告。之后，用户根据评价报告，分析产品装配工艺设计中存在的装配复杂度问题。最后，根据输出结果对装配工艺设计进行优化。[0071]通过对cxi与cxb评价内容进行分析，可以发现复杂度评价主要考虑的因素可以分为客观复杂度因素与主观复杂度因素两种。其中，客观复杂度主要与装配系统的结构性因素有关，为随时间不变的静态属性，主要考虑在生产工位上因产品装配变体、装配工艺规范、工具选择等因素中包含的多样性与不确定性导致的结构复杂性，以及由工位布局、零部件摆放以及辅助工具的配置所导致的可视性、可达性与人机功效问题引发的客观操作复杂性。主观复杂度主要与装配系统的操作性因素有关，为随时间变化的动态属性，主要考虑因工位的生产选项的多样性引起的抉择认知负荷和干扰处理负荷，不好的工位设计引起的疲劳与挫败感，生产效率压力，信息获取难度以及工人自身的经验与知识水平等因素导致的主观操作复杂性与认知复杂性。详细的复杂度评价因素的分类以及与cxi/cxb评价标准的对应关系见图2所示。[0072]可以看出，cxi评价标准多集中在主观复杂度评估中，而cxb的评价标准则多面向客观复杂度的评价。一些客观复杂度因素，如工位设计因素(cxi#15工位在物料处理方面的设计是优秀的，cxb#12工位需要调校)是可以对照工作手册或者设计说明书直接进行评估的，不需要评估人员进行额外的测试或体验。而一些主观复杂度因素，如身体疲劳与挫败感(cxi#11在这个工位工作室经常感到紧张和挫败)、时间压力(cxi#6这个工位的节拍时间总体足够我完成装配任务)以及信息获取难度(cxi#9当计划外改变/不确定性发生时，可以相对容易地找到执行任务需要的相关信息)等因素，需要评估人员拥有现场装配体验才能评价，难以依靠计算模型、专家经验进行预测性评估。对于可视性、可达性以及人机功效等客观复杂度因素，虽然有众多的计算模型与仿真方法，可以辅助评估人员在有限的信息条件下进行评价，但评估人员能够亲身体验装配的现场情况，可以极大的提高对于这几个因素的评估准确性。对于经验与知识水平因素，由于其只与装配工人自身素质有关，与装配系统设计无关，因此可以独立于工作手册与设计说明书的信息进行主观自评。除此之外，部分主观复杂度因素(如抉择认知负荷、干扰处理负荷)与客观复杂度因素(装配变体的多样性、装配工艺的规范性)在复杂度评价指标上具有一定的重叠性，这是因为这些因素既反映了装配系统客观上的结构复杂度，也反映了执行装配任务过程中主观上的认知复杂度。因此，对于这些复杂度因素，需要从客观和主观两个角度进行评价。[0073]最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
