数字孪生环境下本体驱动的车间不安全状态语义推理方法与流程

1.本发明涉及制造车间生产管理的数字化，智能化技术领域，特别是指一种数字孪生环境下本体驱动的车间不安全状态语义推理方法。


背景技术：

2.车间是制造企业生产经营的基本单元，由人、设备、物料和环境等因素组成。车间生产现场的安全管理是保证一切车间生产活动顺利进行的基础，传统的车间生产现场安全管理工作是以人的经验为主、以安全提示为辅进行的。例如，通过摄像头监控、安全员定期巡查、现场安全警示标语、安全门、光栅等安全设备设置等手段保证人员、设备、产线、环境等安全。但是，复杂产品的生产车间由于零部件复杂、工艺复杂、工序多样、人员多而杂、环境复杂，部分车间环境恶劣，存在有毒有害、易燃易爆品等，导致车间生产现场的不安全因素复杂多变。例如，在汽车焊装车间可能导致危险发生的状态包括：工人误入焊接机器人的安全工作范围、工人未按规定佩戴安全帽和穿工装、焊接中的弧光和激光、焊接作业皮肤裸露、长时间玩手机和聊天、登高作业不按规范操作和异物闯入生产现场等。
3.针对上述车间现场不安全状态的管控，传统的基于人的主观经验的车间生产现场安全管理方式存在着误判、错判和漏判的可能性，虽然可以通过成立安全管理工作小组、加强安全培训和教育、增设安全巡查员、加装监控摄像头和加大惩罚力度等措施减少部分安全事故的发生，但不能从根本上解决以人的主观经验为主的车间生产现场不安全状态的误判、错判和漏判等情况的发生。另外，极端生产环境的容错率低，导致生产安全培训的成本高、风险大，并且投入和产出比较低。
4.数字孪生(digital twin，dt)的出现为解决上述问题提供了途径，数字孪生技术强调建立与实际对象等价的数字化对象，通过物联网、大数据、人工智能等方法和技术实现虚实联动、以虚控实、迭代优化和智能反馈。例如，数字孪生车间(dtw，digital twin workshop)通过物理车间与虚拟车间的双向映射与实时交互，实现物理车间、虚拟车间、车间服务系统的集成和融合，实现车间生产要素管理、生产活动计划、生产过程控制等的一种车间运行新模式。
5.为此，针对上述问题，本发明提出一种数字孪生环境下本体驱动的车间不安全状态语义推理方法，根据物理空间的车间现场，建立车间生产现场不安全状态的语义本体模型和推理规则；在此基础上，利用虚拟空间的孪生车间仿真车间现场不安全状态的逼真场景，录制成视频作为数据集来源，结合实例分割算法自动从数据集中识别语义推理所需要的本体实例集合；最后使用推理引擎执行预先定义的推理规则，自动推理出车间生产现场不安全状态的类型、产生的原因、涉及的人员和带来的危害等，弥补基于人的主观经验的车间生产现场安全管理方式的缺点，以及极端生产环境导致安全培训的成本高和风险大的缺点，避免无法挽回的生产安全事故。


技术实现要素：

6.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供了一种数字孪生环境下本体驱动的车间不安全状态语义推理方法，该方法包括两个大的阶段，第一阶段是车间生产现场不安全状态语义本体建模阶段，第二阶段是数字孪生车间中基于深度学习的不安全状态的语义推理阶段，具体步骤包括：
7.s1:对车间生产现场不安全状态语义本体进行建模：
8.s11：建立概念集合；
9.s12：建立关系集合；
10.s13：建立属性集合；
11.s14：建立公理；
12.s15：建立推理规则；
13.s16：本体编码；
14.s2：通过数字孪生方法对车间中基于深度学习的不安全状态进行语义推理：
15.s21：对孪生车间不安全状态虚拟场景进行仿真；
16.s22：读取孪生车间不安全状态虚拟场景的视频作为数据集；
17.s23：基于深度学习的实例分隔来识别车间生产现场不安全状态的实例；
18.s24：将识别到的实例映射到车间生产现场不安全状态本体的实例集合；
19.s25：自动推理，识别不安全状态类型、产生原因、潜在危险、涉及到的人员和设备、危险预警处理方法。
20.进一步地，步骤s11具体包括：对车间生产现场不安全状态进行分类整理，分为进入危险区域类、不规范穿戴类、不安全行为类、危险物质泄漏类、人机交互安全类，根据具体情况再进行细分，建立生产现场不安全状态语义本体的概念集合；步骤s12具体包括：对车间生产现场不安全状态不同概念之间的语义关系进行分析，并使用本体建模语言(owl，web ontology language)中的对象属性进行语义关系的定义，建立车间生产现场不安全状态本体的语义关系集合；步骤s13具体包括：使用owl中的数据类型属性对车间生产现场不安全状态语义本体所涉及全部概念的数据类型属性进行定义，建立属性集合；步骤s14具体包括：使用公理对车间生产现场不安全状态本体中的概念、关系和属性的进行约束，所有车间生产现场不安全状态的公理组成车间生产现场不安全状态语义本体模型的公理集合；步骤s15具体包括：使用语义网规则语言(swrl，semantic web rule language)详细定义自动推理所需的条件，所有不安全状态的推理规则组成车间生产现场不安全状态语义本体模型的推理规则集合；步骤s16具体包括：使用本体编辑器prot
égé
对s11至s15所建立的车间生产现场不安全状态语义本体的概念集合、关系集合、属性集合、公理集合和推理规则集合进行编码。
21.进一步地，步骤s21具体包括：在虚拟空间的数字孪生车间中，使用unity 3d对孪生车间不安全状态虚拟场景进行仿真；步骤s22具体包括：将逼真的仿真动画录制成视频作为后续目标检测的数据集来源；步骤s23具体包括：使用基于深度学习的目标检测算法，实例分割算法，对s21中的数据集进行标记、训练和测试，将车间监控所拍摄的视频作为检测对象，识别出物理空间中车间生产现场不安全状态语义本体所需的概念实例和属性实例；步骤s24具体包括：建立s23中识别出的实例的到车间生产现场不安全状态语义本体的映
射，完成对车间生产现场不安全状态本体的实例化；步骤s25具体包括：使用规则推理引擎对实例化之后的车间生产现场不安全状态本体实例执行s15已经定义的推理规则，自动推理出车间生产现场的潜在危险、涉及的人员和对应的处理方法。
22.进一步地，步骤s12中车间生产现场不安全状态本体的语义关系集合具体包括：具有子类型用“hassubtype”表示，例如“不规范穿戴类”具有子类型“未带安全帽”、“未带手套”、“未带护目镜”、“未穿工装”；“不安全行为”具有子类型“车间内跑跳”、“跌倒”、“长时间使用手机”、“长时间聊天”。
23.本发明采用上述技术方案，能够带来如下有益效果：
24.1)建立车间生产现场不安全状态本体模型，使得计算机理解车间生产现场不安全状态，并根据这些状态的语义关系推理出潜在危险、不安全状态产生的原因、涉及的人员和对应的处理方法等，能够弥补传统的基于人的主观经验的车间生产现场安全管理方式存在着误判、错判和漏判的缺点；
25.2)使用实例分割算法自动识别车间生产现场不安全状态本体模型所需的实例，使得该方法适用于不同的生产车间，同时减少了人工识别实例出错的概率，以及节约了人工识别实例的成本；
26.3)在虚拟空间的孪生车间中，利用3dmax和unity 3d建立仿真车间现场不安全状态的逼真场景，代替真实的车间现场不安全场景，作为实例分割算法的数据集来源，解决了极端生产环境的容错率低，导致生产安全培训的成本高、风险大，并且投入和产出比较低的问题。
附图说明
27.图1为本发明的总体流程图；
28.图2为本发明的系统结构图；
29.图3为基于数字孪生车间的实例分割算法流程；
30.图4为使用prot
égé
和推理引擎进行推理的框架。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本实例的应用背景：在制造车间生产现场，存在诸多引起生产事故的不安全状态，包括工作人员在生产现场奔跑、打闹、摔倒、聊天、长时间玩手机、疲劳等异常行为，工作人员不按规定佩戴安全帽、手套、工装、护目镜等不规范穿戴，非本车间的人员和物体闯入生产现场，明火、有害气体、液体等未及时发现和处理等，这些不安全状态都是导致生产事故发生的潜在因素，需要及时发现其产生原因、涉及人员、带来的危害等，并通知安全管理员进行预警和处理，避免不可挽回的安全生产事故。如图1所示，本发明提供了一种数字孪生下基于实例分割的车间不安全状态语义推理方法，包括两个大的阶段，第一阶段是车间生产现场不安全状态语义本体建模阶段，第二阶段是数字孪生车间中基于深度学习的不安全状态的语义推理阶段，具体步骤如下：
32.s11、对车间生产现场不安全状态语义本体进行建模，首先建立概念集合：针对具体的车间生产现场，例如汽车白车身焊装车间、机加车间等，分析实际生产流程，进行生产
安全状态的调查，得到不安全状态的分类、产生原因、对应的工艺流程、工作活动、分布区域、涉及的物理对象，以及对应的处理方式，例如，在汽车白车身焊装车间中，某个焊接工作站的上料区域，存在上料人员进入焊接机器人工作空间，被机械臂碰撞的风险，不安全状态的类型属于“侵入危险”，具体为“进入危险区域”，涉及到的本体概念包括上料人员、焊机机器人、危险区域等，所有类型的不安全状态涉及的概念组成不安全状态语义本体模型的概念集合；s12对车间生产现场不安全状态不同概念之间的语义关系进行分析和定义，建立车间生产现场不安全状态本体的语义关系集合，用owl中的对象属性表示，例如继承关系owl:subclassof和实例关系owl:instanceof，在s11的基础上，进一步分析每种不安全状态的概念之间的二元语义关系，列出语义关系的定义域和值域，组成车间生产现场不安全状态本体模型的语义关系集合，二元语义关系所需的词组用“动词 名词”的格式定义，例如，对于“进入危险区域”这类不安全状态，二元语义关系包括进入危险区域“enterdangerouszone”、产生潜在风险“causepotentialhazard”、产生原因是“causedby”、作用于“workon”、发生在“happenedin”、被缓解“mitigatedby”等，其中进入危险区域“enterdangerouszone”对应的两个概念是上料人员和危险区域；
33.s13、进一步，对每种车间生产现场不安全状态语义本体所涉及全部概念的数据类型属性进行定义，用owl中的数据类型属性表示，建立属性集合：属性集合指的是本体概念与数据类型之间的关系，例如，对于进入危险区域“enterdangerouszone”这类不安全状态，上料人员是其中概念之一，上料人员具有的名称属性，其定义域是人员，值域是字符串类型的数据。所有的不安全状态语义本体中概念的数据类型属性组成不安全状态语义本体模型的属性集合，由于owl没有提供任何的预定义数据类型，所以需要自定义所需的属性，或者参照其他语义网语言的数据类型，如xml schema提供的数据类型xsd：int或者xsd：true等；同时，使用资源描述框架模式(rdfs，resource description framework schema)来表示已经建立的生产现场不安全状态语义本体的概念、关系和属性之间的语义关系；
34.s14、建立公理，使用公理对车间生产现场不安全状态本体中的概念、关系和属性的进行约束：包括定义域、值域、标注公理、传递公理、逆公理、不相交公理、类公理、属性公理、全称限制、存在限制、值限制、基数限制和数据类型限制等，例如，用owl：annotationproperty表示注释公理、用owl：tansitiveproperty表示传递公理、用owl：inverseof表示逆公理、用owl：oneof表示枚举、用owl：disjointproerty表示不相交公理等，所有车间生产现场不安全状态的公理组成车间生产现场不安全状态语义本体模型的公理集合；
35.s15、进一步，使用语义网规则语言(semantic web rule language，swrl)对车间生产现场不安全状态自动推理所需要的推理规则进行定义：在建立概念集合、关系集合和属性集合的基础上，详细定义自动推理所需的条件。例如，推理出某上料员x具有“进入危险区域”的潜在风险的规则为，某上料人员worker x与焊接机器人weldingrobot y的最小距离minimumdistance z小于某个阈值m，这时需要停止焊接机器人，用swrl可表示为：
36.worker(？x)^weldingrobot(？y)^hasminimum distance(？z)^swrlb：lesstan(？z，？m)
→
isenteringdangerouszone(？x，true)^stop(？y)
37.；另外，当上料人员具有“进入危险区域”的潜在风险时，应该建立对应的处理方法推理规则，例如根据距离的大小推理出减慢机械臂的运动速度，或者机械臂停机，所有不安
全状态的推理规则组成车间生产现场不安全状态语义本体模型的推理规则集合；
38.s16、对所建立的车间生产现场不安全状态语义本体进行编码：在定义了不安全状态语义本体模型之后，选用本体建模工具prot
égé
对s11、s12、s13和s14中所建立的车间生产现场不安全状态语义本体进行编码，同时，使用prot
égé
中的规则编辑器创建s15中用swrl定义的推理规则；
39.s21、对孪生车间不安全状态虚拟场景进行仿真，使用3dmax软件对已有的人员、厂房、物料和设备等三维模型和场景进行贴图渲染，达到逼真的效果，导入unity 3d中，根据已经定义的不安全状态类型，设计对应的场景，包括光照、材质、纹理、颜色等参数的设置，设置完成后的场景文件即为车间不安全状态的数字孪生模型；
40.s22：读取孪生车间不安全状态虚拟场景的视频作为数据集；对设计好的不安全状态场景进行模拟，得到逼真的仿真动画，录制成视频，作为后续实例分割的数据集的来源；
41.s23、使用实例分割方法mask r-cnn对仿真动画的视频流的图片进行标记和训练，并将具体车间生产现场安装的监控摄像头，及其对应的软件开发工具包(sdk，software development kit)读取视频流数据，并提取其中的图片，作为实例分割的测试集，从中识别出车间生产现场不安全状态语义本体所需实例
42.s24、使用rdf/xml语言表示识别出的概念实例、属性实例，建立rdf/xml的到车间生产现场不安全状态语义本体的映射，完成对车间生产现场不安全状态本体的实例化，因为owl建立在rdfs之上，所以owl可使用所有合法的rdfs来表示，可以通过rdfs和rdf/xml文档组织本体的实例，所以可以使用编程完成rdf/xml文档到owl的转化；
43.s25、使用prot
égé
自带的规则引擎drools或者jess对实例化之后的车间生产现场不安全状态本体实例执行推理规则，自动识别出潜在危险、涉及的人员和对应的处理方法等。
44.图2所示的一种基于语义与实例分割的车间不安全状态自动推理方法的系统结构，主要包括物理空间的车间生产现场、虚拟空间的数字孪生车间、车间生产现场不安全状态语义本体模型、基于深度学习的目标检测。针对不同产品的不同车间生产现场会存在不同类型的不安全状态，例如工人进行危险区域、工人随意奔跑、工人不小心跌倒、工人未按规定佩戴安全帽、工人长时间工作导致疲劳、上时间聊天、玩手机、车间管道漏油、车间现场有异物闯入等等，这些不安全状态是导致生产安全的潜在危险因素，针对特定的车间需要进行需求分析与分类；在此基础上，建立对应的车间生产现场不安全状态语义本体模型，包括概念集合、属性集合、关系集合、公理集合、推理规则集合和实例集合，并使用本体编辑器对本体进行编码，其中实例集合是通过实例分割这种基于深度学习的目标检测算法智能识别出来的，并转化成生产现场不安全状态语义本体对应的实例；当车间生产现场不安全状态语义本体实例化完成之后，使用推理引擎执行已经定义的推理规则，完成生产现场不安全状态的自动推理。所提出一种基于语义与实例分割的车间不安全状态自动推理方法，建立车间生产现场不安全状态语义本体模型、建立车间生产现场不安全状态的推理规则、使用实例分割算法识别车间不安全状态所涉及的实例、将实例分割识别的实例映射到车间生产现场不安全状态本体的实例中、基于推理引擎执行车间生产现场不安全状态的推理规则实现潜在危险、涉及人员、对应处理方式等的自动推理。
45.图3给出了使用实例分割算法mask r-cnn得到实例的具体步骤：首先读取孪生车
间不安全状态虚拟场景的视频，对视频流进行取帧；进一步，对当前帧图片加入灰条，实现不失真的大小调整(resize)；进一步，将预处理好的图片放入到主干特征提取网络和特征金字塔中，生成五个有效特征层；进一步，将有效特征层经过区域候选网络(region proposal network)获得建议框；进一步，通过roi align对获取到的建议框进行共享特征层的截取并进行resize；进一步，对获取到的resize图片进行分类回归处理获得预测框，其中分类回归分为两部分，第一部分先判断建议框是否包含物体，第二部分对建议框进行调整，获得预测框；进一步，通过roi align对获取到的预测框进行共享特征层的截取并进行resize；最后，将resize后的图片进行mask r-cnn语义分割模型的处理，使用处理后的模型对车间现场拍摄的视频流进行目标检测，实现实例分割，识别出具体车间生产现场不安全状态语义本体的概念、关系和属性的实例；
46.将识别到的实例映射到车间生产现场不安全状态本体的实例集合具体为：首先将实例分割识别出的实例保存为rdf/xml的文档，由于生产现场不安全状态本体的概念、关系、属性等是使用owl语言定义的，所以下一步是定义rdf/xml文档与owl文档之间元素的映射关系，最后根据映射关系，将xml文档中的元素转化为车间生产现场不安全状态本体的概念对象实例、属性实例；
47.图4给出了基于推理引擎执行车间生产现场不安全状态的推理规则实现不安全状态的自动推理的框架：将生产现场不安全状态本体和推理引擎导入本体编辑器，启动推理引擎执行推理规则，自动推理出出当前车间现场不安全状态，包括潜在危险、涉及的人员和对应的处理方法，推理结果反馈回本体编辑器中。
48.本发明提供了一种数字孪生环境下本体驱动的车间不安全状态语义推理方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。