面向发电厂高风险作业视频的安全防护装备识别检测方法与流程
本发明涉及电力生产安全监控与计算机视觉识别,更具体地说,本发明涉及面向发电厂高风险作业视频的安全防护装备识别检测方法。
背景技术:
1、发电厂受限空间检修等高风险作业,通常通过摄像设备采集视频,并利用目标检测算法识别人员及安全帽、安全带和防护服,以判断安全防护装备佩戴情况。现有技术多依据单帧检测结果、置信度阈值、检测框面积或装备相对位置作出判断。然而,作业现场常伴随照明变化、金属反光、粉尘干扰、人员交叠、装备遮挡及画面边界截断,容易造成装备检测框短时消失、尺度变化、位置偏移或错误归属。将上述异常直接认定为未佩戴,容易产生误报;放宽判定条件又可能遗漏真实缺失行为。相邻图像帧的佩戴结论可能反复变化,导致复核对象切换并形成无效记录。
2、针对上述问题,本发明提出一种解决方案。
技术实现思路
1、为了克服现有技术的上述缺陷,本发明的实施例提供面向发电厂高风险作业视频的安全防护装备识别检测方法,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、在一个优选的实施方式中,包括:
4、获取高风险作业视频及要求佩戴的安全防护装备类别,对所述高风险作业视频进行图像预处理,得到预处理图像帧;
5、对所述预处理图像帧进行目标检测,得到人员检测框和安全防护装备检测框;
6、根据所述安全防护装备检测框相对于所述人员检测框的位置,将所述安全防护装备检测框与所述人员检测框对应,得到对应结果;
7、根据所述对应结果和所述要求佩戴的安全防护装备类别,确定每一所述人员检测框对应的安全防护装备佩戴结果,并根据连续的所述安全防护装备佩戴结果生成安全防护装备佩戴不符合要求的检测记录。
8、在一个优选的实施方式中,所述对所述高风险作业视频进行图像预处理,得到预处理图像帧,包括:
9、确定所述高风险作业视频中各图像帧的作业区域边界,保留所述作业区域边界内的像素,得到作业区域图像;
10、对所述作业区域图像依次进行双边滤波和反锐化处理,得到边缘增强图像;
11、对所述边缘增强图像依次进行限制对比度的自适应直方图均衡处理和伽马校正,得到伽马校正后图像;
12、根据所述伽马校正后图像中的高亮像素比例,对超过高亮亮度阈值的像素进行亮度压缩,得到所述预处理图像帧。
13、在一个优选的实施方式中,所述对所述预处理图像帧进行目标检测,得到人员检测框和安全防护装备检测框,包括:
14、将所述预处理图像帧输入训练完成的yolov8目标检测算法,得到具有类别和检测置信度的候选检测框;
15、删除所述检测置信度低于对应类别的检测置信度阈值的候选检测框;
16、对于类别相同且相互重叠的多个候选检测框,根据所述候选检测框之间的重叠比例,保留检测置信度较高的候选检测框;
17、将保留的候选检测框中类别为人员的候选检测框确定为所述人员检测框,并将类别为安全防护装备的候选检测框确定为所述安全防护装备检测框。
18、在一个优选的实施方式中,根据现场执行的人员角色标识规定,确定各人员角色对应的工作背心颜色;
19、将每一所述人员检测框内的图像转换为色调、饱和度和明度三个颜色分量,根据预设的色调范围、饱和度下限和明度范围,提取各工作背心颜色对应的工作背心像素;
20、对所述工作背心像素进行先腐蚀后膨胀处理和连通区域筛选,得到各工作背心颜色对应的工作背心区域,并计算各所述工作背心区域的像素数量占所述人员检测框像素数量的比例;
21、将各所述比例与预设的工作背心区域比例阈值进行比较,根据比较结果确定所述人员检测框对应的人员角色。
22、在一个优选的实施方式中,所述根据所述安全防护装备检测框相对于所述人员检测框的位置,将所述安全防护装备检测框与所述人员检测框对应,包括:
23、根据已标记图像中各类安全防护装备相对于人员的位置,确定各类安全防护装备对应的安全防护装备位置范围;
24、分别计算每一所述安全防护装备检测框的中心点在各所述人员检测框内的横向相对位置和纵向相对位置;
25、将中心点位于所述人员检测框内,且所述横向相对位置和所述纵向相对位置位于对应类别的安全防护装备位置范围内的安全防护装备检测框与所述人员检测框对应;
26、当同一所述安全防护装备检测框符合多个所述人员检测框的对应条件时,计算所述安全防护装备检测框与各所述人员检测框的相交面积比例,将其与所述相交面积比例最大的人员检测框对应,并在所述相交面积比例相同时,将其与中心点距离最近的人员检测框对应。
27、在一个优选的实施方式中,所述确定每一所述人员检测框对应的安全防护装备佩戴结果之前,还包括:
28、按照时间顺序从连续的所述预处理图像帧中取得复核观察片段,将相邻预处理图像帧中的人员检测框进行临时对应,形成临时人员序列;
29、针对所述临时人员序列中的每类要求佩戴的安全防护装备,从所述复核观察片段中选择人员检测框未接触图像边界、与其他人员检测框的重叠比例不大于预设的人员交叠基准值且安全防护装备检测框归属唯一的基准图像帧;
30、根据所述基准图像帧中安全防护装备检测框的检测置信度、检测框面积占对应人员检测框面积的比例和中心点相对位置,确定置信变化区间、尺度变化区间和位置活动区间,并根据新增的基准图像帧更新所述置信变化区间、尺度变化区间和位置活动区间;
31、确定当前安全防护装备检测框与对应人员检测框的随动关系及当前预处理图像帧的成像状态,根据所述随动关系、成像状态以及当前安全防护装备检测框与所述置信变化区间、尺度变化区间和位置活动区间的比较结果,确定复核状态,并根据所述复核状态生成复核对象。
32、在一个优选的实施方式中,所述确定当前安全防护装备检测框与对应人员检测框的随动关系,包括:
33、分别计算相邻预处理图像帧中所述安全防护装备检测框中心点和对应人员检测框中心点的横向移动距离和纵向移动距离;
34、将所述安全防护装备检测框中心点的横向移动距离和纵向移动距离分别减去所述人员检测框中心点的横向移动距离和纵向移动距离,得到横向随动差和纵向随动差,并分别根据前一人员检测框的宽度和高度对所述横向随动差和纵向随动差进行归一化;
35、分别取得所述复核观察片段内横向随动差和纵向随动差的中位值,并计算当前横向随动差和当前纵向随动差相对于对应中位值的偏离程度;
36、当所述偏离程度分别位于横向随动允许范围和纵向随动允许范围内,且所述安全防护装备检测框未发生位置跳变并未连续达到移动方向相反确认帧数时,将所述安全防护装备检测框确定为随人员移动的检测结果,否则确定为非随动检测结果。
37、在一个优选的实施方式中,所述确定当前预处理图像帧的成像状态,包括:
38、计算相邻预处理图像帧中对应人员检测框内的平均亮度差和高亮像素比例变化量,并计算所述人员检测框周围预定宽度区域的像素亮度标准差变化量;
39、根据所述基准图像帧中的平均亮度差、高亮像素比例变化量和像素亮度标准差变化量,分别确定对应的基准变化范围;当任一变化量超出对应的基准变化范围时,将当前预处理图像帧确定为成像状态变化帧,当连续预设数量的预处理图像帧中各变化量均位于对应的基准变化范围内时,将对应预处理图像帧确定为成像状态稳定帧;
40、将检测置信度首次低于所述置信变化区间下边界、检测框面积占对应人员检测框面积的比例首次低于所述尺度变化区间下边界或者安全防护装备检测框首次局部消失确定为检测异常;
41、当所述检测异常与所述成像状态变化帧之间的帧序号差不大于同步确认帧数,且安全防护装备检测结果在后续成像状态稳定帧中恢复至对应变化区间内时,将所述检测异常确定为暂时性成像波动,否则将所述检测异常确定为持续异常。
42、在一个优选的实施方式中,所述确定复核状态并根据所述复核状态生成复核对象,包括:
43、根据对应类别的安全防护装备位置范围,在每一所述人员检测框内建立装备应出现区域,将所述装备应出现区域中未被其他人员检测框覆盖且未超出所述预处理图像帧边界的部分确定为有效可见区域,并根据所述有效可见区域占所述装备应出现区域的比例,确定所述装备应出现区域处于可见状态或受限状态;
44、当要求佩戴的安全防护装备未被检测到时,若所述装备应出现区域处于受限状态,则扩展所述复核观察片段,并在达到最大观察长度后仍处于受限状态时确定为可见条件不足;若所述装备应出现区域处于可见状态且对应预处理图像帧为成像状态稳定帧,则在连续未检测图像帧数量达到当前缺失确认长度时确定为稳定状态缺失;
45、当同一所述安全防护装备检测框符合多个人员检测框的对应条件时,根据所述安全防护装备检测框与各人员检测框的相交面积比例和随动关系重新确定对应关系,无法唯一确定对应关系时确定为归属冲突;
46、根据持续异常、位置异常、可见条件不足、稳定状态缺失或归属冲突形成对应的复核图像区域,将所述复核图像区域输入fasterr-cnn目标检测算法,并根据复核检测结果生成所述复核对象。
47、本发明面向发电厂高风险作业视频的安全防护装备识别检测方法的技术效果和优点:
48、本发明通过限定作业区域并对低照度、强光、反光及粉尘干扰图像处理,提高目标特征的可辨识度;通过人员角色识别、装备位置约束及归属判定,减少人员间的装备错配。利用连续帧分析检测框的置信变化、尺度变化、位置活动、随动关系、成像状态和有效可见条件,可区分暂时性成像波动、持续异常、稳定状态缺失及归属冲突,并对疑难区域复核检测,从而降低误报、漏报和无效记录,提高复杂场景中装备佩戴检测的准确性、稳定性和可追溯性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com