基于深度学习的高压电工作业姿态识别方法及系统

摘要: 本技术涉及电工作业图像处理,具体涉及一种基于深度学习的高压电工作业姿态识别方法及系统。背景技术:1、在高压开关柜停送电、高处焊接等电工作业中,操作步骤具有严格的...
基于深度学习的高压电工作业姿态识别方法及系统

本技术涉及电工作业图像处理,具体涉及一种基于深度学习的高压电工作业姿态识别方法及系统。

背景技术:

1、在高压开关柜停送电、高处焊接等电工作业中,操作步骤具有严格的先后顺序要求,操作顺序错误或步骤遗漏可能引发严重的安全事故,因此对作业过程进行有效的合规性监督是保障作业安全的重要手段。目前,针对电工作业姿态的识别与监督,已有基于视频分析和人体姿态估计的技术方案,这类方案通常利用深度学习网络从图像中提取作业人员的骨骼关键点,并基于骨骼关键点对动作进行分类以识别违规行为。此外,也有方案通过检测安全帽、绝缘手套等护具的佩戴状态,以及操作工具的使用情况,来辅助进行安全监督。

2、然而,在高压电工作业这一特定场景下,外观相似的动作在不同作业任务中可能具有完全不同的规程含义。例如,同为手部旋转动作,在停电任务中对应分闸操作,在送电任务中则对应合闸操作。现有方案通常将各时刻的姿态作为独立样本进行分类,未将操作规程所固有的步骤先后顺序作为识别过程的约束。当作业人员身体被柜体或构件遮挡、仅能获取局部骨骼信息时,仅靠瞬时姿态特征难以区分外观相近但规程含义不同的动作,影响了操作合规性自动判别的准确程度。因此,如何将操作规程的顺序约束引入姿态识别过程,以提升高压电工作业合规性判别的准确性,是本领域亟待解决的技术问题。

技术实现思路

1、本技术提供了一种基于深度学习的高压电工作业姿态识别方法及系统,至少用于解决现有技术存在的问题。

2、本技术实施例的第一方面,提供了一种基于深度学习的高压电工作业姿态识别方法,包括以下步骤:

3、s1,获取高压电工作业现场的多视角图像序列;

4、s2,利用骨骼关键点检测网络对所述多视角图像序列进行骨骼关键点提取,并按时间顺序重建为三维骨骼关键点序列;

5、s3,利用目标检测网络对所述多视角图像序列进行操作器具检测,得到操作器具检测框,并基于所述骨骼关键点与所述操作器具检测框的空间位置关系,生成逐帧对应的作业状态序列;

6、s4,根据当前作业任务类型,调取对应的操作规程状态机;所述操作规程状态机包含多个状态节点和连接所述状态节点的单向转移边,每个所述状态节点关联有骨骼姿态条件、作业状态条件和步骤时长约束;

7、s5,以所述三维骨骼关键点序列和所述作业状态序列作为观测输入,逐帧计算所述观测输入与各所述状态节点关联的骨骼姿态条件和作业状态条件的匹配度,并在所述单向转移边的约束下进行维特比解码,得到初始时序操作阶段序列;

8、s6,根据所述步骤时长约束对所述初始时序操作阶段序列进行阶段边界修正,得到最终时序操作阶段序列,并将所述最终时序操作阶段序列与所述操作规程状态机规定的标准状态转移序列进行比对,输出作业合规性判别结果。

9、通过获取高压电工作业现场的多视角图像序列,利用骨骼关键点检测网络提取作业人员的三维骨骼关键点序列,利用目标检测网络对操作器具进行检测并基于骨骼关键点与检测框的空间位置关系生成逐帧对应的作业状态序列,根据当前作业任务类型调取对应的操作规程状态机,以三维骨骼关键点序列和作业状态序列作为观测输入在操作规程状态机的约束下进行维特比解码得到初始时序操作阶段序列,再根据步骤时长约束对初始时序操作阶段序列进行阶段边界修正并与标准状态转移序列比对输出作业合规性判别结果。该方法将操作规程中各步骤的正常时长范围引入状态机模型,在对观测数据进行维特比解码之后,利用步骤时长约束对解码得到的阶段边界进行修正,使得那些因单帧姿态歧义产生的过短阶段碎片被合并、因遮挡导致解码遗漏的阶段被分割恢复,从而在观测数据拟合与规程时序约束之间取得平衡,有助于降低外观相似动作在不同作业任务下的混淆程度,进而提升高压电工作业合规性判别的准确性。

10、进一步地,所述s4中调取对应的操作规程状态机之前,还包括构建所述操作规程状态机,构建方式包括:获取与所述作业任务类型对应的操作规程文本,提取其中的操作步骤及步骤执行顺序;为每个所述操作步骤设置一个状态节点,根据所述操作步骤对应的骨骼姿态设定所述状态节点关联的所述骨骼姿态条件,并根据所述操作步骤所需的作业状态设定所述状态节点关联的所述作业状态条件;按照所提取的步骤执行顺序,依次在相邻的所述状态节点之间建立所述单向转移边,并为各所述状态节点设置自转移边;从所述操作规程文本中提取每个所述操作步骤的标准操作时长,或从历史作业样本数据中统计每个所述操作步骤的正常时长范围,据此设定每个所述状态节点的所述步骤时长约束。

11、通过从操作规程文本或历史样本数据中自动提取状态节点关联条件和步骤时长约束,使得操作规程状态机的构建能够适应不同作业任务类型和不同操作习惯的差异,为后续状态解码和时长修正提供了与规程要求相匹配的约束参数。

12、进一步地,所述s5包括s51和s52:s51,根据所述单向转移边构建状态转移矩阵,所述状态转移矩阵中仅允许状态自转移以及沿所述单向转移边发生的状态转移具有非零概率,并基于所述匹配度计算各帧对应各所述状态节点的观测概率;s52,利用所述状态转移矩阵和所述观测概率,通过维特比算法求解概率最大的状态节点序列,作为所述初始时序操作阶段序列。

13、通过将操作规程中的步骤转移关系量化为状态转移矩阵,并限制仅允许规程规定的转移路径具有非零概率,使得解码过程在搜索最优状态序列时自动排除不符合操作规程的状态跳转,从而减少解码结果中出现步骤顺序错误的可能性。

14、进一步地,所述s3中,对于同一操作器具在连续多帧中交替出现交互与未交互状态的情况,统计交替变化的持续时间,当所述持续时间低于预设的交互稳定阈值时,将交替变化期间的工具交互状态修正为与相邻帧一致的状态。

15、通过对帧间交互状态的短暂抖动进行平滑修正,能够减少目标检测网络单帧误检对作业状态序列造成的扰动,使生成的作业状态序列更准确地反映作业人员与操作器具的实际交互情况。

16、进一步地,所述s3还包括:对高处作业安全绳挂钩部件与固定锚点部件的检测,并根据挂钩部件检测框与锚点部件检测框之间的空间位置关系,生成挂钩固定状态;在所述s4中,当所述作业任务类型为高处焊接作业时,所调取的操作规程状态机中,焊接引弧节点关联的所述作业状态条件包括挂钩处于固定状态。

17、通过将安全绳挂钩固定状态纳入高处焊接作业状态机的节点条件,使得在进行阶段解码时,只有在检测到挂钩处于固定状态的情况下才可能识别为焊接引弧阶段,从而对高处作业中安全绳使用这一防护措施进行自动校验。

18、进一步地,所述s6中根据所述步骤时长约束对所述初始时序操作阶段序列进行阶段边界修正,包括:当检测到某个操作阶段的持续时长小于所述操作阶段对应状态节点的所述步骤时长约束中的最小时长时,将所述操作阶段合并到相邻的、观测概率更高的操作阶段中;当检测到某个操作阶段的持续时长大于所述操作阶段对应状态节点的所述步骤时长约束中的最大时长时,在所述操作阶段内部检测是否存在满足相邻状态节点关联的骨骼姿态条件和作业状态条件、且观测概率高于预设分割阈值的帧位置,若存在,则在所述帧位置处进行阶段分割。

19、通过针对过短阶段进行合并、过长阶段进行分割,能够对维特比解码结果中因姿态歧义或遮挡引起的阶段边界偏差进行针对性修正,使最终输出的操作阶段序列在时间边界上与规程规定的步骤时长分布更为吻合。

20、进一步地,所述s3中生成逐帧对应的作业状态序列,包括:所述骨骼关键点包括手部关键点与头部关键点,所述操作器具检测框包括操作工具检测框和安全护具检测框;当所述手部关键点与所述操作工具检测框的距离小于预设距离阈值时,判定所述手部关键点对应的手部与所述操作工具检测框对应的操作工具存在交互,并记录对应的工具类型;根据所述头部关键点与所述安全护具检测框中的安全帽检测框的重合度与预设重合阈值的比较结果,确定安全帽佩戴状态;根据所述手部关键点与所述安全护具检测框中的绝缘手套检测框的重合度与预设重合阈值的比较结果,确定绝缘手套佩戴状态。

21、通过将骨骼关键点与操作器具检测框按照部位和器具类型进行细化匹配,分别采用距离阈值和重合度阈值判定交互与佩戴状态,能够从图像中同时获取工具使用和护具佩戴两类信息,为后续状态解码提供更完整的作业状态观测数据。

22、进一步地,所述多视角图像序列包括可见光图像和红外热成像图像;在所述s2中,对于置信度小于预设置信度阈值的骨骼关键点,若所述骨骼关键点在可见光图像中所处像素区域的亮度值超过预设饱和阈值,则利用红外热成像图像中对应位置的骨骼关键点替换所述骨骼关键点,或者将两者进行加权融合;其中,所述可见光图像与所述红外热成像图像预先通过立体标定获得图像平面之间的映射关系。

23、通过在可见光图像中出现电弧饱和区域时借助红外热成像图像补充或替换骨骼关键点信息,能够减轻电弧强光对姿态估计精度的影响,使骨骼关键点提取在高压电工作业特有的光照干扰下保持较高的可靠性。

24、进一步地,还包括:s7,当所述作业合规性判别结果指示违规时,触发作业现场的声光报警装置,并将违规时段对应的多视角图像快照、违规类型及所述最终时序操作阶段序列上传至监控终端;s8,采集包含违规操作的实际作业样本数据,利用所述样本数据对所述操作规程状态机中各状态节点关联的骨骼姿态条件和作业状态条件进行更新,并根据样本中的最终时序操作阶段序列与标准状态转移序列的差异,调整所述步骤时长约束。

25、通过在检测到违规时进行现场报警和信息上传,能够对违规事件进行即时响应和记录留存;通过利用实际作业样本数据对状态机的条件和约束进行更新,使状态机参数在后续使用中能够适应作业现场的实际操作特点,有助于保持合规性判别的有效性。

26、进一步地,所述s2包括:利用所述骨骼关键点检测网络对各视角的单帧图像分别进行二维骨骼关键点提取;根据多视角相机标定参数,对同一时刻不同视角的二维骨骼关键点进行立体匹配与三角测量,重建出三维骨骼关键点;按照时间顺序组合各时刻的三维骨骼关键点,得到所述三维骨骼关键点序列;其中,根据所述多视角图像序列中各视角图像遮挡程度评估结果,对遮挡程度超过预设遮挡阈值的视角所对应的二维骨骼关键点,在立体匹配时降低所述二维骨骼关键点的权重,且降低后的权重不低于预设权重下限。

27、通过在立体匹配时根据各视角的遮挡程度动态调整关键点权重,能够降低被遮挡视角中定位不准的关键点对三维重建结果的影响,同时保留一定的最低权重以避免完全丢失该视角的信息,使三维骨骼关键点序列在部分遮挡条件下仍具有较好的准确性。

28、进一步地,所述预设距离阈值、所述预设重合阈值和所述交互稳定阈值中的至少一个根据所述作业任务类型和当前操作阶段设置,且同一操作器具在不同作业任务类型下对应的预设距离阈值不同。

29、通过将判定阈值与作业任务类型及操作阶段相关联,能够根据不同任务和阶段对操作精度要求的不同采用相应的判定标准,使作业状态序列的生成过程适应多种高压电工作业场景的差异。

30、本技术实施例的第二方面,提供了一种基于深度学习的高压电工作业姿态识别系统,该系统包括:一种基于深度学习的高压电工作业姿态识别系统,包括:多视角图像采集模块,用于获取高压电工作业现场的多视角图像序列;骨骼关键点提取模块,用于利用骨骼关键点检测网络对所述多视角图像序列进行骨骼关键点提取,并按时间顺序重建为三维骨骼关键点序列;操作器具检测模块,用于利用目标检测网络对所述多视角图像序列进行操作器具检测,得到操作器具检测框,并基于所述骨骼关键点与所述操作器具检测框的空间位置关系,生成逐帧对应的作业状态序列;状态机调用模块,用于根据当前作业任务类型,调取对应的操作规程状态机;所述操作规程状态机包含多个状态节点和连接所述状态节点的单向转移边,每个所述状态节点关联有骨骼姿态条件、作业状态条件和步骤时长约束;时序状态解码模块,用于以所述三维骨骼关键点序列和所述作业状态序列作为观测输入,逐帧计算所述观测输入与各所述状态节点关联的骨骼姿态条件和作业状态条件的匹配度,并在所述单向转移边的约束下进行维特比解码,得到初始时序操作阶段序列;合规性判别模块,用于根据所述步骤时长约束对所述初始时序操作阶段序列进行阶段边界修正,得到最终时序操作阶段序列,并将所述最终时序操作阶段序列与所述操作规程状态机规定的标准状态转移序列进行比对,输出作业合规性判别结果。

31、通过将方法流程中的各个处理环节分别部署于对应的功能模块,各模块按照数据流向依次完成图像采集、骨骼提取、操作器具检测、状态机约束解码和合规性判别,使得系统在运行时能够按照预定的处理链路自动完成从原始图像到合规性结果的转换,提高高压电工作业安全监督的自动化水平。