一种基于虚拟现实的装配仿真人机工效评价系统及方法与流程

技术特征：
1.一种基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述装配仿真人机工效评价系统包括虚拟装配仿真子系统和人机工效监测与评价子系统；所述虚拟装配仿真子系统包括装配单元构建模块、工艺引导模块和交互处理模块；所述装配单元构建模块读取装配单元层级结构与空间布局信息，加载装配作业环境及工位设施的三维模型，生成由非装配对象构成的基础作业场景；再读取结构化工艺信息，载入装配单元所有装配工序对应的零件、装配体、工具、夹具的三维模型，生成与真实装配环境一致的虚拟装配作业场景；所述工艺引导模块从装配工艺路线中依次读取当前装配工序的装配操作指导说明、待装配零部件信息、涉及的工具夹具信息，引导操作者在虚拟装配作业场景中选取对应的待装配零部件和工具夹具，按照装配工艺要求的装配约束和装配路径将待装配零部件置于最终装配位置上；所述交互处理模块识别装配仿真操作过程中的碰撞干涉，并捕捉操作者对零部件与工具夹具的拾取、移动、放置、固定交互动作，结合制造bom数据实时生成包含拾取零部件与工具的重量信息、尺寸信息、操作工件的起始位置和当前位置在内的装配仿真操作信息，发送给人机工效监测与评价子系统进行分析计算；所述人机工效监测与评价子系统包括人体姿态捕捉模块、计算与分析模块；所述人体姿态捕捉模块采用单目摄像头实时捕捉操作者的装配作业动作姿态视频图像；所述计算与分析模块对人体姿态捕捉模块所采集的装配作业动作姿态视频图像进行分析处理得到操作者的人体关键点的3d坐标信息，基于人体关键点3d坐标信息，计算基于rula、luba的人体关键部位角度，分析得到基于人体姿态的第一人机工效评价数据，再基于人体关键点3d坐标信息和交互处理模块发送的装配仿真操作信息，计算人体关键节点与肢体所受的外力矩，并依据niosh评估方法计算负载指数，分析得到基于人体所受外力的第二人机工效评价数据；综合第一人机工效评价数据和第二人机工效评价数据，得到实时综合人机工效数据并记录至人机工效评分日志。2.根据权利要求1所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述人机工效监测与评价子系统包括预警模块；所述预警模块在进行参数配置及初始标定后，在虚拟装配过程中对操作者进行实时的评价结果显示和风险报警提醒；所述交互处理模块实时接收预警模块发送的风险报警提醒，实时提醒操作者察觉可能引起疲劳和肌肉骨骼损伤的装配操作。3.根据权利要求1所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述计算与分析模块包括基于resnet-50网络进行迁移学习的3d姿态估计全卷积神经网络和基于rula、luba构建的人机工效分析模块；每次单目摄像头更换位置时，人体姿态捕捉模块连续捕捉操作者在场地中央以正常舒适姿势站定时的放松状态下的姿态图像，将采集结果发送至3d姿态估计全卷积神经网络进行基础标定操作，以记录多组有效的3d关键点的三维坐标并求取其平均值作为后续虚拟现实装配模拟时进行人体姿态评估的基础比较信息；开始进行虚拟装配操作后，人体姿态捕捉模块实时捕捉操作者的装配作业动作姿态视频图像，将装配作业动作姿态视频图像导入3d姿态估计全卷积神经网络，计算得到操作者的3d关键点的实时相对坐标信息；所述3d姿态估计全卷积神经网络将操作者的3d关键点的实时相对坐标信息和基础比较信息同时输入至人机工效分析模块，进行人体姿态的计算、评估与预警。
4.根据权利要求3所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述人机工效分析模块根据操作者的3d关键点的实时相对坐标信息和基础比较信息计算得到躯干、颈部、左臂与右臂的相对角度；对于躯干的矢状面相对角度计算，以左肩、右肩以及骨盆的坐标计算出躯干面向方向向量，将虚拟装配操作时监测并计算得到的躯干面向方向向量与标定得到躯干面向方向向量进行对比，计算出躯干面向方向在垂直面所变化的角度，得到虚拟操作中操作者实时的躯干矢状面的相对角度；对于躯干的冠状面相对角度计算，将左肩至右肩的向量作为躯干侧向方向向量，将虚拟装配操作时监测并计算得到的躯干侧向方向向量与标定得到躯干侧向方向向量进行对比，计算出躯干侧向方向在垂直面所变化的角度，得到虚拟操作中操作者实时的躯干冠状面的的相对角度；对于颈部的矢状面相对角度计算，先计算左眼、右眼与鼻的中心点p1，再计算左耳与右耳的中点p2，将p2至p1的向量作为头部的面向方向向量，将虚拟装配操作时监测并计算得到的头部的面向方向向量与标定得到头部的面向方向向量进行对比，计算出头部的面向方向在垂直面所变化的角度，得到虚拟操作中操作者实时的颈部矢状面的的相对角度；对于颈部的冠状面相对角度计算，计算左耳至右耳的向量v1和左眼至右眼的方向v2，将v1与v2的平均向量作为头部的侧向方向向量，将虚拟装配操作时监测并计算得到的头部的侧向方向向量与标定得到头部的侧向方向向量进行对比，计算出头部的侧向方向在垂直面所变化的角度，得到虚拟操作中操作者实时的颈部冠状面的相对角度；对于左臂的矢状面相对角度计算，计算左肩至左手肘的左臂方向向量，计算左肩与右肩的中点p3，计算左胯至右胯的中点p4，计算p3至p4的向量得到人体躯干的竖直方向向量v3，再计算出躯干的面向方向向量v4，以v3和v4表示躯干相对矢状平面；将左臂的方向向量投影至躯干相对矢状平面，并计算投影后的向量与v3的夹角，得到虚拟操作中操作者实时的左臂矢状面的相对角度；对于左臂的矢状面相对角度计算，将投影平面更换为由左肩、右肩以及骨盆所确定的躯干相对冠状平面，计算得到虚拟操作中操作者实时的左臂冠状面的相对角度；对于右臂的矢状面相对角度计算，计算右肩至右手肘的右臂方向向量，计算左肩与右肩的中点p3，计算左胯至右胯的中点p4，计算p3至p4的向量得到人体躯干的竖直方向向量v3，再计算出躯干的面向方向向量v4，以v3和v4表示躯干相对矢状平面；将右臂的方向向量投影至躯干相对矢状平面，并计算投影后的向量与v3的夹角，得到虚拟操作中操作者实时的右臂矢状面的相对角度；对于右臂的矢状面相对角度计算，将投影平面更换为由左肩、右肩以及骨盆所确定的躯干相对冠状平面，计算得到虚拟操作中操作者实时的右臂冠状面的相对角度。5.根据权利要求4所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述人机工效分析模块针对躯干、颈部、左臂与右臂的相对角度设置有多个取值范围，每个取值范围对应有评分，根据操作者实时相对坐标信息对应的躯干、颈部、左臂与右臂的相对角度的取值，判断得到相应的关键点评分；再综合所有的关键点评分分析得到基于人体姿态的第一人机工效评价数据。6.根据权利要求3所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述人机工效分析模块根据3d关键点的实时相对坐标信息以及接收到的实时装配仿真操作
信息中的当前工件重量和尺寸数据计算人体关键节点与肢体所受的外力矩；对于单手握持的工件，直接计算工件对于对应肘部、肩部以及腰部产生的力矩；对于双手握持的工件，将工件的重力等分为两份，根据等分后的工件重力分别计算等分后的工件对于相应肘部、肩部和腰部产生的力矩，对两个等分后的工件重力对于腰部产生的力矩进行加和处理，作为完整工件对腰部产生的力矩。7.根据权利要求3所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，所述人机工效分析模块依据niosh评估方法计算负载指数，分析得到基于人体所受外力的第二人机工效评价数据的过程包括以下步骤：依据3d关键点的实时相对坐标信息， 计算得到操作者手到两只脚中心线中点的水平距离h、操作者手到两只脚中心线中点的垂直距离v、操作者左胯到右胯的向量与左肩到右肩的向量夹角，以及操作者身体转动的角度a；获取装配仿真操作信息中的当前工件尺寸、工件操作起始和当前位置在垂直方向的距离d，得到相应的拾取难易程度等级c；记录并计算虚拟装配过程中某一任务的操作频率f；依据操作者手到两只脚中心线中点的水平距离h计算水平因子hm；依据操作者手到两只脚中心线中点的垂直距离v计算垂直因子vm；依据工件操作起始和当前位置在垂直方向的距离d计算距离因子dm；依据操作者身体转动的角度a计算不对称因子am；基于操作频率f计算频率因子fm；依据拾取难易程度等级c计算耦合因子cm；计算推荐极限重量rwl＝lc
×
hm
×
vm
×
dm
×
fm
×
am
×
cm，其中，lc为负载常量；计算提举系数li＝m/rwl，其中m为当前所操作工件的质量。8.根据权利要求1所述的基于虚拟现实的装配仿真人机工效评价系统，其特征在于，取第一人机工效评价数据和第二人机工效评价数据中的较小值作为实时综合人机工效数据并记录至人机工效评分日志。9.一种基于虚拟现实的装配仿真人机工效评价方法，其特征在于，所述装配仿真人机工效评价方法基于如权利要求1-8任一项中所述的装配仿真人机工效评价系统执行；所述装配仿真人机工效评价方法包括以下步骤：s1，将装配单元布局信息和结构化工艺信息载入虚拟装配仿真子系统；s2，利用装配单元构建模块读取装配单元层级结构与空间布局信息，加载装配作业环境及工位设施的三维模型，生成由非装配对象构成的基础作业场景；再读取结构化工艺信息，载入该装配单元所有装配工序中需要用到的零件、装配体、工具、夹具的三维模型，由操作人员交互式的调整各对象的摆放位置与空间布局，生成与真实装配环境一致的虚拟装配作业场景；s3，利用工艺引导模块从装配工艺路线中依次读取当前装配工序的装配操作指导说明、待装配零部件信息、需使用的工具夹具信息，引导操作者在步骤s2中生成的虚拟装配作业场景中选取对应的待装配零部件和工具夹具，按照装配工艺要求的装配约束和装配路径将待装配零部件置于最终装配位置上；s4，利用交互处理模块识别装配仿真操作过程中的碰撞干涉，并捕捉步骤s3中操作者对零部件与工具夹具的拾取、移动、放置、固定交互动作，结合制造bom数据实时生成包含拾取零部件与工具的重量信息、尺寸信息、操作工件的起始位置和当前位置在内的装配仿真
操作信息，发送给人机工效监测与评价子系统进行分析计算；s5，利用人机工效监测与评价子系统中的人体姿态捕捉模块捕捉操作者的虚拟装配实时操作图像，再利用计算与分析模块对图像进行分析处理计算出人体关键点的3d坐标信息；基于得到的人体关键点的3d坐标信息，计算基于rula、luba的人体关键部位角度，实时得到基于人体姿态的第一人机工效评价数据；s6，基于步骤s5中得到的人体关键点的3d坐标信息以及接收到的实时装配仿真操作信息中的当前工件重量和尺寸数据计算人体关键节点与肢体所受的外力矩，并依据niosh评估方法计算负载指数，得到基于人体所受外力的第二人机工效评价数据；s7，基于人体姿态的第一人机工效评价数据与基于人体所受外力的第二人机工效评价数据，通过计算与分析模块计算分析实时综合人机工效数据并记录至人机工效评分日志；其中，在虚拟装配仿真过程中，若实时综合人机工效数据低于设定的标准，预警模块对操作者进行预警提醒；s8，对人机工效评分日志数据进行综合统计分析，得到包含装配单元的综合人机工效统计图、最终评分表、风险因素分析、工位调整建议在内的虚拟产线综合人机工效评估结果。

技术总结
本发明公开了一种基于虚拟现实的装配仿真人机工效评价系统，包括虚拟装配仿真子系统和人机工效监测与评价子系统；所述虚拟装配仿真子系统包括装配单元构建模块、工艺引导模块和交互处理模块；所述人机工效监测与评价子系统包括人体姿态捕捉模块、计算与分析模块。本发明结合标准的结构化工艺信息，对装配作业人员的操作姿态与动作进行实时数据采集、分析和评估，根据反馈结果指导工艺设计人员对工位布局和装配工艺进行优化改进，使操作者可以在更加合理、健康的环境下，养成规范的操作习惯，进行标准化的作业，以人为本提升制造行业的生产效率。效率。效率。


技术研发人员：曲涛 景宁 王世龙 王绪海
受保护的技术使用者：江苏中车数字科技有限公司
技术研发日：2022.10.27
技术公布日：2022/11/25