个人防护装备佩戴状态识别方法、装置、设备、介质和产品与流程
本技术涉及电力作业安全监测,特别是涉及一种个人防护装备佩戴状态识别方法、装置、设备、介质和产品。
背景技术:
1、随着电力系统的智能化、规范化发展,电力高危作业安全管控要求持续提升。在高压、超高压等高风险作业环境中,绝缘靴、绝缘手套等绝缘装备作为电力作业核心的个人防护装备,其规范佩戴是保障作业人员人身安全的关键。为替代传统人工监护的疏漏与滞后问题,亟需智能化手段实现个人防护装备佩戴状态的监测。
2、相关技术中,通常采用视觉图像处理的方式进行监测,然而,该种方式在遮挡、复杂光照、多人作业等复杂作业场景下,存在环境适应性差、识别精度低、误报漏报率高等问题;另外,进行电力作业时,通常需要作业人员同时佩戴多种个人防护装备,而现有技术无法协同进行多种个人防护装备佩戴状态的判断,导致整体监测的可靠性不足,难以满足电力现场高精度、高可靠性安全监测的需求。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够满足电力现场高精度、高可靠性安全监测需求的个人防护装备佩戴状态识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种个人防护装备佩戴状态识别方法,包括:
3、获取作业人员的多模态监测数据;其中,所述多模态监测数据包括多个模态的监测数据,且每个模态的监测数据均关联于多种个人防护装备;
4、对所述多模态监测数据进行多模态融合识别处理,得到与多种个人防护装备对应的联合佩戴状态表征向量;
5、根据所述联合佩戴状态表征向量,对所述作业人员进行多种个人防护装备的佩戴状态综合识别处理,得到所述作业人员在当前作业阶段的防护装备佩戴状态综合识别结果。
6、在其中一个实施例中,所述方法还包括:
7、获取作业流程上下文信息,并根据所述作业流程上下文信息生成当前作业阶段的识别触发信号,以在所述识别触发信号的状态标识为开启识别状态时,对所述多模态监测数据进行多模态融合识别处理;其中,所述识别触发信号的状态标识为开启识别状态或不开启识别状态。
8、在其中一个实施例中,根据所述作业流程上下文信息生成当前作业阶段的识别触发信号,包括:
9、对所述作业流程上下文信息进行语义解析处理,提取得到当前作业阶段的作业阶段标识以及作业阶段属性;
10、根据所述作业阶段标识判断当前作业阶段是否属于要求佩戴个人防护装备的阶段,并根据判断结果生成佩戴必要性标签;其中,所述佩戴必要性标签用于指示当前作业阶段是否要求佩戴个人防护装备;
11、根据所述佩戴必要性标签,生成与所述作业阶段属性时间对齐的识别触发信号;其中,若所述佩戴必要性标签指示当前作业阶段要求佩戴个人防护装备,所述识别触发信号的状态标识为开启识别状态,否则所述识别触发信号的状态标识为不开启识别状态。
12、在其中一个实施例中,对所述多模态监测数据进行多模态融合识别处理,得到与多种个人防护装备对应的联合佩戴状态表征向量,包括:
13、对所述多模态监测数据中各模态的监测数据分别进行标准化处理,得到多模态标准化监测数据;其中,所述多模态标准化监测数据包括多个模态的标准化监测数据,且每个模态的标准化监测数据关联于多种个人防护装备;
14、对所述多模态标准化监测数据进行时空对齐处理,得到时空同步的多模态输入张量;其中,所述多模态输入张量包括在时间和空间上对齐的、来自多个模态的标准化监测数据;
15、对所述多模态输入张量进行时空特征融合处理,得到综合特征向量;
16、基于多个与多种个人防护装备一一对应的识别子网络,分别对所述综合特征向量进行语义特征识别处理,得到多种个人防护装备的语义特征及初始佩戴置信度;
17、对多种个人防护装备的语义特征进行交叉注意力处理,得到多种个人防护装备的语义特征之间的语义相关性权重,并基于所述语义相关性权重,对多种个人防护装备的初始佩戴置信度进行协同校准处理,得到多种个人防护装备的校准后佩戴置信度;
18、根据多种个人防护装备的校准后佩戴置信度,构建得到与多种个人防护装备对应的联合佩戴状态表征向量。
19、在其中一个实施例中,所述多模态输入张量包括在时间和空间上对齐的可见光图像帧矩阵、红外热成像帧矩阵以及穿戴状态感知向量,所述可见光图像帧矩阵和所述红外热成像帧矩阵均包括所述作业人员的手部区域和足部区域的图像的连续图像帧序列,所述穿戴状态感知向量包括预设在所述作业人员的手部区域和足部区域的接触传感阵列采集的一维时序信号;对所述多模态输入张量进行时空特征融合处理,得到综合特征向量,包括:
20、对所述可见光图像帧矩阵和所述红外热成像帧矩阵中的连续图像帧序列,按时间顺序逐帧遍历,分别提取所述足部区域和所述手部区域在连续时序上的可见光动态表观特征和红外热辐射动态分布特征;
21、对所述可见光图像帧矩阵和所述红外热成像帧矩阵中的每一图像帧,分别进行局部空间特征提取,生成足部可见光局部空间特征、足部红外局部空间特征、手部可见光局部空间特征和手部红外局部空间特征;
22、将同一时间戳下的所述足部可见光局部空间特征、所述足部红外局部空间特征和所述穿戴状态感知向量中对应于所述足部区域的接触传感特征进行拼接,得到足部多模态融合特征向量,并将同一时间戳下的所述手部可见光局部空间特征、所述手部红外局部空间特征和所述穿戴状态感知向量中对应于所述手部区域的接触传感特征进行拼接,得到手部多模态融合特征向量;
23、将所述足部多模态融合特征向量和所述手部多模态融合特征向量输入预设的多模态特征融合网络,映射至统一的嵌入空间,得到综合特征向量。
24、在其中一个实施例中,得到综合特征向量后,所述方法还包括:
25、获取当前作业阶段的作业阶段标识,并根据所述作业阶段标识生成目标区域掩码;
26、基于所述目标区域掩码,对所述综合特征向量进行空间注意力加权处理,得到加权后综合特征向量,以便基于多个与多种个人防护装备一一对应的识别子网络,分别对所述加权后综合特征向量进行语义特征识别处理。
27、在其中一个实施例中,对多种个人防护装备的语义特征进行交叉注意力处理,得到多种个人防护装备的语义特征之间的语义相关性权重,包括:
28、将多种个人防护装备中,任一种个人防护装备的语义特征作为基准语义特征,其他个人防护装备的语义特征作为从属语义特征;
29、将所述基准语义特征作为查询向量,将所述从属语义特征同时作为键向量和值向量,构建跨装备注意力交互对;
30、计算所述查询向量与所述键向量之间的相似度,并对其进行归一化处理,得到所述基准语义特征对所述从属语义特征的注意力权重矩阵;
31、根据所述注意力权重矩阵得到所述基准语义特征与所述从属语义特征之间的语义相关性权重。
32、在其中一个实施例中,基于所述语义相关性权重,对多种个人防护装备的初始佩戴置信度进行协同校准处理,得到多种个人防护装备的校准后佩戴置信度,包括:
33、根据所述语义相关性权重映射得到置信度融合权重;
34、根据所述置信度融合权重,对多种个人防护装备的初始佩戴置信度进行加权计算,得到多种个人防护装备的校准后佩戴置信度。
35、在其中一个实施例中,所述联合佩戴状态表征向量中包括多种个人防护装备的校准后佩戴置信度;根据所述联合佩戴状态表征向量,对所述作业人员进行多种个人防护装备的佩戴状态综合识别处理,得到所述作业人员在当前作业阶段的防护装备佩戴状态综合识别结果,包括:
36、获取当前作业阶段的作业阶段标识,并根据所述作业阶段标识,从预设的安全规则库中提取得到当前作业阶段下个人防护装备的佩戴合规判定规则;
37、根据所述佩戴合规判定规则,对所述联合佩戴状态表征向量中多种个人防护装备的校准后佩戴置信度进行合规判断,得到所述作业人员在当前作业阶段的防护装备佩戴状态综合识别结果。
38、第二方面,本技术还提供了一种个人防护装备检测装置,包括:
39、多模态数据采集模块,用于获取作业人员的多模态监测数据;其中,所述多模态监测数据包括多个模态的监测数据,且每个模态的监测数据均关联于多种个人防护装备;
40、作业流程识别模块,用于获取作业流程上下文信息,并根据所述作业流程上下文信息生成当前作业阶段的识别触发信号;其中,所述识别触发信号的状态标识为开启识别状态或不开启识别状态;
41、多模态融合识别模块,分别与所述多模态数据采集模块和作业流程识别模块通信连接,用于在所述识别触发信号的状态标识为开启识别状态时,对所述多模态监测数据进行多模态融合识别处理,得到与多种个人防护装备对应的联合佩戴状态表征向量;
42、状态判定模块,与所述多模态融合识别模块通信连接,用于根据所述联合佩戴状态表征向量,对所述作业人员进行多种个人防护装备的佩戴状态综合识别处理,得到所述作业人员在当前作业阶段的防护装备佩戴状态综合识别结果。
43、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任一项所述的方法的步骤。
44、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的方法的步骤。
45、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述任一项所述的方法的步骤。
46、上述个人防护装备检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取作业人员的多模态监测数据,并在当前作业阶段的识别触发信号的状态标识为开启识别状态时,对多模态监测数据进行多模态融合识别处理,得到与多种个人防护装备对应的联合佩戴状态表征向量,再根据联合佩戴状态表征向量,对作业人员进行多种个人防护装备的佩戴状态综合识别处理,得到作业人员在当前作业阶段的防护装备佩戴状态综合识别结果,在此过程中,由于采用多模态监测数据对工作人员进行个人防护装备佩戴状态的识别,可避免单一模态监测带来的环境适应性差及识别精度低等问题,适用于复杂的电力作业场景,同时,多模态监测数据中每个模态的监测数据均关联于多种个人防护装备,可实现对多种个人防护装备佩戴状态的综合识别,进而提升整体监测的可靠性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com