一种变电站的监控方法、装置、电子设备及介质与流程
本技术涉及变电站领域,尤其涉及一种变电站的监控方法、装置、电子设备及介质。
背景技术:
1、相关技术中,可能存在人员违规攀爬变电站、影响变电站安全的问题。相关技术中,可采用基于深度学习的全局特征识别等方法进行变电站的安全监控。其中,基于深度学习的全局特征识别方法是指:将变电站的图片输入cnn(convolutional neural network,卷积神经网络)或rnn(recurrent neural network,循环神经网络),以识别是否存在人员违规攀爬变电站的问题。然而,该方法难以区分人员的“攀爬”行为与姿态相似的正常行为(如“登梯”或“维修作业”等)。
技术实现思路
1、本技术提供了一种变电站的监控方法、装置、电子设备及介质,以解决难以区分人员的“攀爬”行为与姿态相似的正常行为的问题。
2、为了解决上述技术问题,本技术实施例提供了一种变电站的监控方法,包括:
3、获取变电站在至少一个时间的图片,并根据任一所述图片,确定所述图片中的人员的至少一个人体骨骼点在所述图片上的目标像素点位置;所述人体骨骼点包括上肢骨骼点、下肢骨骼点、头部骨骼点和躯干骨骼点;
4、针对任一所述图片,基于所述人体骨骼点的目标像素点位置和所述图片中的可攀爬物体预设的物体位置信息,确定所述上肢骨骼点与所述可攀爬物体之间的第一距离、所述下肢骨骼点的状态信息以及所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体之间的第二距离;所述状态信息用于表明所述下肢骨骼点是否踩踏所述可攀爬物体;所述可攀爬物体位于所述变电站上;
5、基于所述人体骨骼点的目标像素点位置、所述第一距离、所述状态信息和所述第二距离,判断所述人员是否攀爬所述变电站,实现对所述变电站的监控。
6、在本技术实施例中,通过获取图片中人员的上肢骨骼点、下肢骨骼点、头部骨骼点和躯干骨骼点的目标像素点位置,并结合图片中可攀爬物体预设的物体位置信息,分别确定上肢骨骼点与可攀爬物体之间的第一距离、下肢骨骼点是否踩踏可攀爬物体的状态信息,以及头部骨骼点和/或躯干骨骼点与可攀爬物体之间的第二距离,进而综合上述多维度信息判断人员是否攀爬变电站,同时引入了上肢、下肢、头部和躯干骨骼点与可攀爬物体的空间位置关系进行联合分析,使得攀爬行为的判定依据从单一的人体自身运动模式扩展至人体与环境的交互关系,而且通过下肢骨骼点的状态信息、上肢骨骼点的第一距离以及头部/躯干骨骼点的第二距离的多重判定条件的综合约束,能够有效区分人员的“攀爬”行为与“登梯”或“维修作业”等姿态相似的正常行为,提升变电站安全监控的准确性和可靠性。
7、可选地,所述根据任一所述图片,确定所述图片中的人员的至少一个人体骨骼点在所述图片上的目标像素点位置,包括:
8、将任一所述图片输入预设的姿态识别模型,得到所述图片关于任一所述人体骨骼点的概率信息和所述图片的部分亲和场;所述人体骨骼点的概率信息为所述图片上的任一像素点是所述人体骨骼点的概率;
9、针对任一所述图片,基于所述概率信息,确定任一所述人体骨骼点在所述图片上的候选像素点位置,并基于所述人体骨骼点的候选像素点位置和所述部分亲和场,确定所述图片中人员的人体骨架信息;所述人体骨架信息包括所述人体骨骼点在所述图片上的目标像素点位置。
10、在本技术实施例中,通过将图片输入预设的姿态识别模型,获得图片关于各人体骨骼点的概率信息和部分亲和场,进而基于概率信息确定候选像素点位置,并结合部分亲和场确定人员的人体骨架信息。该方案利用概率信息和部分亲和场的联合处理,能够在图像中精准定位各人体骨骼点的目标像素点位置,为后续计算各骨骼点与可攀爬物体之间的空间位置关系提供准确的输入数据,从而保障攀爬行为判定所依赖的多维度空间信息的精确性,提升监控结果的可靠性。
11、可选地,所述躯干骨骼点包括颈部骨骼点、左髋骨骼点和右髋骨骼点;所述上肢骨骼点包括:左肩骨骼点和右肩骨骼点;所述基于所述人体骨骼点的目标像素点位置和所述图片中的可攀爬物体预设的物体位置信息,确定所述上肢骨骼点与所述可攀爬物体之间的第一距离、所述下肢骨骼点的状态信息以及所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体之间的第二距离,包括:
12、基于所述左肩骨骼点的目标像素点位置和所述右肩骨骼点的目标像素点位置,确定所述人员的肩部宽度;
13、基于所述左髋骨骼点的目标像素点位置和所述右髋骨骼点的目标像素点位置,确定所述人员的髋部中心点在所述图片上的髋部中心点位置,并基于所述颈部骨骼点的目标像素点位置和所述髋部中心点位置,确定所述人员的躯干长度;
14、基于所述躯干长度和所述肩部宽度,确定所述人员在图片中的显示比例,并基于所述显示比例和所述人员预设的标准比例,确定所述图片的比例修正系数;
15、基于所述人体骨骼点的目标像素点位置、所述可攀爬物体的物体位置信息和所述比例修正系数,确定所述上肢骨骼点与所述可攀爬物体之间的第一距离、所述下肢骨骼点的状态信息以及所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体之间的第二距离。
16、本技术实施例中,通过基于左肩骨骼点和右肩骨骼点的目标像素点位置确定肩部宽度,基于左髋骨骼点和右髋骨骼点的目标像素点位置确定髋部中心点位置,并结合颈部骨骼点的目标像素点位置与髋部中心点位置确定躯干长度,进而根据躯干长度和肩部宽度确定人员在图片中的显示比例,并基于该显示比例与预设标准比例确定比例修正系数。该方案利用人体自身骨骼点的几何关系自适应地计算比例修正系数,能够消除不同拍摄距离、角度下人员成像尺寸差异对距离计算的影响,从而保障后续确定的上肢骨骼点与可攀爬物体之间的第一距离、下肢骨骼点的状态信息以及头部/躯干骨骼点与可攀爬物体之间的第二距离的准确性,提升攀爬行为判定在多尺度场景下的适应性和鲁棒性。
17、可选地,所述物体位置信息包括所述可攀爬物体的上边缘在所述图片中的边缘位置信息;所述基于所述人体骨骼点的目标像素点位置、所述可攀爬物体的物体位置信息和所述比例修正系数,确定所述上肢骨骼点与所述可攀爬物体之间的第一距离、所述下肢骨骼点的状态信息以及所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体之间的第二距离,包括:
18、基于所述上肢骨骼点的目标像素点位置、所述边缘位置信息和所述比例修正系数,确定所述上肢骨骼点与所述可攀爬物体的上边缘之间的第一距离;
19、基于所述下肢骨骼点的目标像素点位置、所述物体位置信息和所述比例修正系数,确定所述下肢骨骼点的状态信息;
20、基于所述边缘位置信息、所述比例修正系数以及所述头部骨骼点和所述躯干骨骼点的目标像素点位置,确定所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体的上边缘之间的第二距离。
21、本技术实施例中,通过基于上肢骨骼点的目标像素点位置、可攀爬物体的边缘位置信息和比例修正系数,确定上肢骨骼点与可攀爬物体的上边缘之间的第一距离,基于下肢骨骼点的目标像素点位置、物体位置信息和比例修正系数确定下肢骨骼点的状态信息,并基于边缘位置信息、比例修正系数以及头部骨骼点和躯干骨骼点的目标像素点位置,确定头部骨骼点和/或躯干骨骼点与可攀爬物体的上边缘之间的第二距离。该方案针对上肢、下肢和头部/躯干三类骨骼点分别采用差异化的空间距离计算策略,并统一引入比例修正系数进行校正,使得每一类骨骼点与可攀爬物体的空间位置关系均能在统一的尺度基准下被精确量化,为后续基于多维空间约束条件的攀爬行为综合判定提供准确的数据支撑。
22、可选地,所述基于所述下肢骨骼点的目标像素点位置、所述物体位置信息和所述比例修正系数,确定所述下肢骨骼点的状态信息,包括:
23、根据所述下肢骨骼点的目标像素点位置和所述物体位置信息,判断所述下肢骨骼点的目标像素点位置是否位于所述可攀爬物体在所述图片上的像素区域内;
24、基于所述下肢骨骼点的目标像素点位置、所述边缘位置信息和所述比例修正系数,确定所述下肢骨骼点与所述可攀爬物体的上边缘之间的第三距离;
25、若所述下肢骨骼点的目标像素点位置位于所述像素区域内,和/或所述第三距离小于预设的距离阈值,则确认所述下肢骨骼点踩踏所述可攀爬物体。
26、本技术实施例中,通过根据下肢骨骼点的目标像素点位置和物体位置信息,判断下肢骨骼点的目标像素点位置是否位于可攀爬物体在图片上的像素区域内,并基于下肢骨骼点的目标像素点位置、边缘位置信息和比例修正系数确定下肢骨骼点与可攀爬物体的上边缘之间的第三距离,当下肢骨骼点的目标像素点位置位于该像素区域内和/或第三距离小于预设的距离阈值时,确认下肢骨骼点踩踏可攀爬物体。该方案通过像素区域归属判断与距离阈值判断的双重条件进行下肢踩踏状态的综合判定,既能够识别下肢骨骼点已进入可攀爬物体区域内的情形,也能够识别下肢骨骼点邻近可攀爬物体上边缘但尚未完全落入区域内的情形,从而提升对人员脚部与可攀爬物体接触状态检测的灵敏度和准确性,为攀爬行为判定提供可靠的下肢交互证据。
27、可选地,所述人体骨架信息还包括所述图片上的目标像素点位置的置信度;所述基于所述人体骨骼点的目标像素点位置、所述第一距离、所述状态信息和所述第二距离,判断所述人员是否攀爬所述变电站,实现对所述变电站的监控,包括:
28、基于至少一个时间的图片对应的目标像素点位置和所述目标像素点位置的置信度,构建第一人体骨骼点序列数据;
29、基于至少一个时间的图片对应的目标像素点位置、所述目标像素点位置的置信度以及所述至少一个时间的图片对应的第一距离、状态信息和第二距离,构建第二人体骨骼点序列数据;
30、基于所述第一人体骨骼点序列数据和所述第二人体骨骼点序列数据,判断所述人员是否攀爬所述变电站。
31、本技术实施例中,通过基于至少一个时间的图片对应的目标像素点位置和目标像素点位置的置信度构建第一人体骨骼点序列数据,并基于至少一个时间的图片对应的目标像素点位置、目标像素点位置的置信度以及各时间图片对应的第一距离、状态信息和第二距离构建第二人体骨骼点序列数据,进而基于第一人体骨骼点序列数据和第二人体骨骼点序列数据判断人员是否攀爬变电站。该方案将单帧的空间位置信息和多帧的时间序列信息进行联合编码,使得攀爬行为判定既能够利用骨骼点自身在时间维度上的运动轨迹特征,也能够利用骨骼点与可攀爬物体之间空间关系在时间维度上的演变特征,从而增强对攀爬行为动态过程的时序建模能力,提升对持续性攀爬动作的识别准确率。
32、可选地,所述基于所述第一人体骨骼点序列数据和所述第二人体骨骼点序列数据,判断所述人员是否攀爬所述变电站,包括:
33、将所述第一人体骨骼点序列数据输入预设的第一时空图卷积网络,得到所述人员的运动特征向量;
34、将所述第二人体骨骼点序列数据输入预设的第二时空图卷积网络,得到所述人员与所述可攀爬物体之间的交互特征向量;
35、将所述运动特征向量和所述交互特征向量,输入预设的人员行为分类器,得到所述人员的行为信息,并基于所述行为信息,判断所述人员是否攀爬所述变电站。
36、本技术实施例中,通过将第一人体骨骼点序列数据输入预设的第一时空图卷积网络,得到人员的运动特征向量,并将第二人体骨骼点序列数据输入预设的第二时空图卷积网络,得到人员与可攀爬物体之间的交互特征向量,进而将运动特征向量和交互特征向量输入预设的人员行为分类器,得到人员的行为信息并判断人员是否攀爬变电站。该方案采用双路时空图卷积网络分别提取人体自身运动特征和人体与环境的交互特征,在特征层面实现了两类信息的解耦与独立表征,再将两类特征向量融合输入分类器进行行为判别,使得分类器能够同时基于运动模式维度和空间交互维度进行综合决策,从而克服了传统单一路径模型仅依赖骨骼运动模式而忽视环境上下文关联的缺陷,显著降低因姿态相似行为导致的误报率。
37、本技术实施例还公开了一种变电站的监控装置,包括:
38、目标像素点位置确定模块,用于获取变电站在至少一个时间的图片,并根据任一所述图片,确定所述图片中的人员的至少一个人体骨骼点在所述图片上的目标像素点位置;所述人体骨骼点包括上肢骨骼点、下肢骨骼点、头部骨骼点和躯干骨骼点;
39、距离确定模块,用于针对任一所述图片,基于所述人体骨骼点的目标像素点位置和所述图片中的可攀爬物体预设的物体位置信息,确定所述上肢骨骼点与所述可攀爬物体之间的第一距离、所述下肢骨骼点的状态信息以及所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体之间的第二距离;所述状态信息用于表明所述下肢骨骼点是否踩踏所述可攀爬物体;所述可攀爬物体位于所述变电站上;
40、攀爬判断模块,用于基于所述人体骨骼点的目标像素点位置、所述第一距离、所述状态信息和所述第二距离,判断所述人员是否攀爬所述变电站,实现对所述变电站的监控。
41、可选地,所述目标像素点位置确定模块,包括:
42、概率信息得到子模块,用于将任一所述图片输入预设的姿态识别模型,得到所述图片关于任一所述人体骨骼点的概率信息和所述图片的部分亲和场;所述人体骨骼点的概率信息为所述图片上的任一像素点是所述人体骨骼点的概率;
43、人体骨架信息确定子模块,用于针对任一所述图片,基于所述概率信息,确定任一所述人体骨骼点在所述图片上的候选像素点位置,并基于所述人体骨骼点的候选像素点位置和所述部分亲和场,确定所述图片中人员的人体骨架信息;所述人体骨架信息包括所述人体骨骼点在所述图片上的目标像素点位置。
44、可选地,所述躯干骨骼点包括颈部骨骼点、左髋骨骼点和右髋骨骼点;所述上肢骨骼点包括:左肩骨骼点和右肩骨骼点;所述距离确定模块,包括:
45、肩部宽度确定子模块,用于基于所述左肩骨骼点的目标像素点位置和所述右肩骨骼点的目标像素点位置,确定所述人员的肩部宽度;
46、躯干长度确定子模块,用于基于所述左髋骨骼点的目标像素点位置和所述右髋骨骼点的目标像素点位置,确定所述人员的髋部中心点在所述图片上的髋部中心点位置,并基于所述颈部骨骼点的目标像素点位置和所述髋部中心点位置,确定所述人员的躯干长度;
47、比例修正系数确定子模块,用于基于所述躯干长度和所述肩部宽度,确定所述人员在图片中的显示比例,并基于所述显示比例和所述人员预设的标准比例,确定所述图片的比例修正系数;
48、距离确定子模块,用于基于所述人体骨骼点的目标像素点位置、所述可攀爬物体的物体位置信息和所述比例修正系数,确定所述上肢骨骼点与所述可攀爬物体之间的第一距离、所述下肢骨骼点的状态信息以及所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体之间的第二距离。
49、可选地,所述物体位置信息包括所述可攀爬物体的上边缘在所述图片中的边缘位置信息;所述距离确定子模块,包括:
50、第一距离确定单元,用于基于所述上肢骨骼点的目标像素点位置、所述边缘位置信息和所述比例修正系数,确定所述上肢骨骼点与所述可攀爬物体的上边缘之间的第一距离;
51、状态信息确定单元,用于基于所述下肢骨骼点的目标像素点位置、所述物体位置信息和所述比例修正系数,确定所述下肢骨骼点的状态信息;
52、第二距离确定单元,用于基于所述边缘位置信息、所述比例修正系数以及所述头部骨骼点和所述躯干骨骼点的目标像素点位置,确定所述头部骨骼点和/或所述躯干骨骼点与所述可攀爬物体的上边缘之间的第二距离。
53、可选地,所述状态信息确定单元,包括:
54、判断子单元,用于根据所述下肢骨骼点的目标像素点位置和所述物体位置信息,判断所述下肢骨骼点的目标像素点位置是否位于所述可攀爬物体在所述图片上的像素区域内;
55、第三距离确定子单元,用于基于所述下肢骨骼点的目标像素点位置、所述边缘位置信息和所述比例修正系数,确定所述下肢骨骼点与所述可攀爬物体的上边缘之间的第三距离;
56、踩踏确认子单元,用于若所述下肢骨骼点的目标像素点位置位于所述像素区域内,和/或所述第三距离小于预设的距离阈值,则确认所述下肢骨骼点踩踏所述可攀爬物体。
57、可选地,所述人体骨架信息还包括所述图片上的目标像素点位置的置信度;所述攀爬判断模块,包括:
58、第一构建子模块,用于基于至少一个时间的图片对应的目标像素点位置和所述目标像素点位置的置信度,构建第一人体骨骼点序列数据;
59、第二构建子模块,用于基于至少一个时间的图片对应的目标像素点位置、所述目标像素点位置的置信度以及所述至少一个时间的图片对应的第一距离、状态信息和第二距离,构建第二人体骨骼点序列数据;
60、攀爬判断子模块,用于基于所述第一人体骨骼点序列数据和所述第二人体骨骼点序列数据,判断所述人员是否攀爬所述变电站。
61、可选地,所述攀爬判断子模块,包括:
62、运动特征向量得到单元,用于将所述第一人体骨骼点序列数据输入预设的第一时空图卷积网络,得到所述人员的运动特征向量;
63、交互特征向量得到单元,用于将所述第二人体骨骼点序列数据输入预设的第二时空图卷积网络,得到所述人员与所述可攀爬物体之间的交互特征向量;
64、攀爬判断单元,用于将所述运动特征向量和所述交互特征向量,输入预设的人员行为分类器,得到所述人员的行为信息,并基于所述行为信息,判断所述人员是否攀爬所述变电站。
65、本技术实施例还公开了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本技术实施例所述的方法。
66、本技术实施例还公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如本技术实施例所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com