基于主动学习的电力巡检图像人机协同标注方法及系统与流程
本技术涉及机器学习,尤其涉及基于主动学习的电力巡检图像人机协同标注方法及系统。
背景技术:
1、随着无人机、巡检机器人等智能巡检设备在输电、变电及配电场景中的应用,电力系统能够持续获取不同拍摄角度、光照条件及环境工况下的电力巡检图像。基于深度学习的电力设备缺陷识别通常需要利用大量经过人工标注的图像数据进行模型训练,所述标注数据包括设备本体位置、缺陷位置、缺陷类别以及缺陷等级等信息。因此,电力巡检图像的标注效率和标注质量直接影响后续缺陷识别模型的数据供给及模型训练效果。
2、现有的电力巡检图像标注通常采用人工全量标注或者随机抽取图像后进行人工标注的方式。由于电力设备缺陷具有较强的专业性,例如绝缘子缺陷、导线缺陷、变压器渗漏油等缺陷的识别和等级判定涉及相应的电力专业知识,普通标注人员难以独立完成部分疑难样本的准确标注,而具有电力专业能力的工程师数量有限。当待标注图像数量较大时,如果依赖专业人员进行全量人工标注,会增加标注周期和人力投入;如果采用机器预标注后由人工统一校验,又难以根据不同图像的识别难度合理分配普通标注人员和专业人员的标注任务,从而使人工标注资源难以与不同样本的实际标注需求相匹配,导致有限的人工标注资源无法按照样本标注价值和标注难度进行合理配置,容易出现专业标注人员承担大量简单样本标注任务、普通标注人员难以准确处理疑难样本的情况,从而影响标注效率和疑难样本的标注质量。
技术实现思路
1、为了提高电力巡检图像标注的效率和质量,本技术提供基于主动学习的电力巡检图像人机协同标注方法及系统。
2、第一方面,本技术提供基于主动学习的电力巡检图像人机协同标注方法,采用如下的技术方案:
3、基于主动学习的电力巡检图像人机协同标注方法,包括:利用标注模型对未标注电力巡检图像进行多维度评估,从中筛选出目标批次的高价值样本;
4、利用标注模型获取机器预标注结果,并提取所述高价值样本的拍摄场景特征;其中,预标注结果包括缺陷的置信度以及缺陷类别;
5、基于所述置信度、所述缺陷类别以及所述拍摄场景特征,综合量化评估所述高价值样本的疑难程度,并根据所述疑难程度对所述高价值样本进行分类;所述分类至少包括简单样本和疑难样本;
6、基于所述分类结果进行分级标注。
7、在实际电力巡检业务场景中,通过机器预标注与多维度的疑难程度评估,将海量未标注图像智能划分为简单样本和疑难样本并进行分级流转,使得有限的电力专业工程师资源能够聚焦于具有挑战性的疑难缺陷,普通标注人员快速处理简单缺陷,从而在大幅提升整体标注效率和降低人力成本的同时,有效保障了复杂电力设备缺陷标注的专业性与数据质量。
8、可选地,利用标注模型对未标注电力巡检图像进行多维度评估,从中筛选出目标批次的高价值样本,包括:
9、将未标注电力巡检图像输入标注模型获取未标注电力巡检图像的特征向量以及检测结果;
10、基于特征向量以及检测结果分析未标注电力巡检图像的训练价值,计算标注优先级评分;
11、按照所述标注优先级评分进行排序,截取排名靠前的预设数量的未标注电力巡检图像作为高价值样本。
12、通过提取图像特征向量和检测结果来量化评估样本的训练价值并按优先级排序选取高价值样本,避免了随机抽样带来的大量冗余、低价值图像占用宝贵的标注资源,确保每次迭代进入人工标注环节的数据都能最大化提升后续缺陷识别模型的性能,显著降低了数据处理的时间和算力成本。
13、可选地,基于特征向量以及检测结果分析未标注电力巡检图像的训练价值,计算标注优先级评分,包括:
14、从多个评估维度分析未标注电力巡检图像的训练价值,计算对应的价值评分;其中,价值评分包括:表征标注模型推理预测结果不确定性的不确定性评分;表征未标注电力巡检图像在当前训练集中稀缺程度的多样性评分;表征未标注电力巡检图像对于实际电力设备运维业务的重要程度的电力业务评分;
15、对多个价值评分进行加权融合得到标注优先级评分。
16、综合不确定性、多样性和电力业务价值三个维度计算优先级评分,克服了单一维度筛选容易陷入局部特征盲区或脱离业务实际需求的缺陷,使得筛选出的样本既能弥补模型认知短板、丰富数据分布范围,提高了标注数据集的综合工业应用价值。
17、可选地,计算所述不确定性评分,包括:
18、结合检测结果和置信度,计算未标注电力巡检图像的置信偏离度以及缺陷类别概率信息熵;置信偏离度与未标注电力巡检图像中各缺陷目标的置信度均值负相关;
19、在模型推理过程中保持随机失活层启用,对所述未标注电力巡检图像执行多次推理并计算多次推理结果方差;
20、将所述置信偏离度、所述缺陷类别概率信息熵和所述多次推理结果方差进行加权融合,得到所述不确定性评分。
21、置信偏离度与未标注电力巡检图像中各缺陷目标的置信度均值负相关,其表征了对识别出的缺陷类别的不确定程度。同时,对于同一个缺陷目标,如果其对应的各缺陷类别的概率相近,说明模型无法确认其更属于哪一种缺陷类型,同样表征了模型的不确定性。多次推理结果方差则能够反映相同图像在模型扰动推理下的预测稳定程度。同时考虑检测置信度、类别判定模糊程度以及模型重复推理稳定性,将预测结果不可靠但表现形式不同的图像均纳入不确定性评价,提高对未标注电力巡检图像评价的稳定性和准确性。
22、可选地,计算所述多样性评分,包括:
23、对所述未标注电力巡检图像的特征向量进行聚类生成多个特征簇,并统计图像所属特征簇内的已标注样本占比;
24、计算未标注电力巡检图像与当前训练集内已标注样本之间的平均特征距离;
25、结合所述平均特征距离、所述已标注样本占比以及对应特征簇的加权系数,计算得到所述多样性评分。
26、已标注样本占比能够反映相应特征分布在当前训练集中的覆盖程度,平均特征距离能够反映待标注图像与已有训练数据在特征空间中的差异程度。由此能够同时识别训练集中覆盖不足的特征区域以及与已有样本存在较大特征差异的图像,减少主动学习过程中反复选择与已有标注数据高度相似的样本,使新增标注数据能够进一步补充当前训练集中的数据分布,提高人工标注样本的多样性和数据覆盖程度。
27、可选地,还包括:分析特征簇内各未标注电力巡检图像的缺陷类别,为不同的特征簇设置不同的特征簇加权系数;根据未标注电力巡检图像所属特征簇,将对应的特征簇加权系数作用于多样性评分。
28、进一步分析各特征簇内未标注电力巡检图像的缺陷类别,并根据不同特征簇所对应的缺陷类别设置不同的特征簇加权系数,再将对应的加权系数作用于多样性评分,使样本的选择不仅考虑其在特征空间中的稀缺程度,还能够进一步考虑不同缺陷类别在当前未标注数据中的分布情况。
29、可选地,计算所述电力业务评分,包括:
30、通过语义分割算法在未标注电力巡检图像中定位设备本体区域,提取所述设备本体区域内的边缘、纹理和颜色分布,计算与预设的正常设备参考特征之间的偏离度,以获取缺陷疑似度得分;
31、根据预设的映射表按照设备本体区域中的设备参数以及拍摄环境获取图像的设备重要等级得分与拍摄场景稀缺度得分;
32、结合图像平均亮度、清晰度计算无效样本惩罚项;
33、融合所述缺陷疑似度得分、设备重要等级得分和场景稀缺度得分并应用所述无效样本惩罚项,得到电力业务评分。
34、利用设备本体自身的外观特征变化识别可能存在的缺陷,并将设备在实际电网运维中的重要程度以及特殊拍摄场景纳入样本价值评价;同时通过无效样本惩罚降低过曝、严重模糊、严重遮挡或者缺少有效设备区域等图像进入人工标注环节的优先级,从而使高价值样本的挑选更加符合电力巡检业务中的实际标注需求,提高有限人工标注资源对具有实际业务价值样本的投入效率。
35、可选地,根据所述疑难程度对所述高价值样本进行分类,包括:
36、当高价值样本中各缺陷目标的置信度均值大于或等于分级阈值,且未出现未知新型缺陷的缺陷目标,且拍摄场景特征不属于预设的边缘拍摄场景时,将所述高价值样本分类为所述简单样本;
37、当高价值样本中各缺陷目标的置信度均值小于分级阈值,或者高价值样本中出现未知新型缺陷的缺陷目标,或者拍摄场景特征被确定为边缘拍摄场景时,将所述高价值样本分类为疑难样本。
38、可选地,所述分级标注完成后,还包括:
39、针对标注结果执行结构校验:
40、计算标注结果中缺陷检测框与对应设备本体检测框之间的交并比,当交并比低于预设结构校验阈值时,触发拦截并要求修正;
41、同时,对于所述疑难样本,调度至少两名标注人员执行交叉标注校验以确定标注一致性;通过所述结构校验的高价值样本为合格标注样本。
42、通过计算缺陷检测框与对应设备本体检测框之间的交并比,对不满足结构关系的标注结果进行拦截并要求修正,降低缺陷检测框位置明显偏离设备本体区域所造成的标注错误;另一方面,对于疑难样本调度至少两名标注人员进行交叉标注校验,以确定标注结果的一致性,从人员复核层面对疑难样本进行再次验证。
43、第二方面,本技术提供基于主动学习的电力巡检图像人机协同标注系统,采用如下的技术方案:
44、基于主动学习的电力巡检图像人机协同标注系统,包括:处理器和存储器,所述存储器存储有计算机程序指令,当所述计算机程序指令被所述处理器执行时实现根据上述的基于主动学习的电力巡检图像人机协同标注方法。
45、将上述的基于主动学习的电力巡检图像人机协同标注方法生成计算机程序,并存储于存储器中,以被处理器加载并执行,从而,根据存储器及处理器制作系统,方便使用。
46、本技术具有以下技术效果:
47、对未标注电力巡检图像的训练价值和标注难度分别进行量化评估,并依据评估结果对样本进行优先级筛选和分级标注,使不同标注能力的人员能够处理与其标注难度相匹配的样本,同时使有限人工标注资源优先用于具有较高训练价值的样本,从而提高人工标注资源的配置效率,并提高疑难及稀缺电力巡检样本的标注质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com