一种基于多光源图像数据集市的绝缘子图像特征融合方法与流程

1.本发明涉及绝缘子状态监测技术领域，尤其是涉及一种基于多光源图像数据集市的绝缘子图像特征融合方法。


背景技术：

2.绝缘子是变电站和输电线路中广泛应用的电气设备，其性能的优劣是影响电力系统安全稳定运行的重要因素。随着电网逐步扩大完善，绝缘子数量逐年增加，维护工作量日益增大，由于绝缘子质量、运维不足等问题导致绝缘子缺陷、故障次数也相应增加，绝缘子缺陷的及时发现、及时处理、控制措施对设备安全稳定运行起着很大作用。而传统的接触式检测耗费人力较多的时间与精力，随着自动化、智能化的发展，结合图像处理技术对绝缘子缺陷进行检测是未来的发展方向。随着缺陷图像检测的发展，相关图像数据来源广泛、数据量快速增长、数据价值密度低、价值未充分发挥，造成“数据富裕，信息贫乏”。以文件夹的方式对图像作管理，耗费大量人力及时间，且难以新增及扩展，并且与非检测工作人员的研究人员不能充分交互，数据开放性低，难以开展绝缘子状态自动监测研究。


技术实现要素：

3.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种图像处理效率高、准确性高的基于多光源图像数据集市的绝缘子图像特征融合方法。
4.本发明的目的可以通过以下技术方案来实现：
5.一种基于多光源图像数据集市的绝缘子图像特征融合方法，该方法包括：
6.获取待检测绝缘子图像，以待检测绝缘子图像作为经训练的定位检测模型的输入，获得可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像；
7.对所述可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像进行配准融合，获得绝缘子三光融合图像；
8.其中，所述检测模型基于多光源图像数据集市中的历史数据训练，所述多光源图像数据集市存储有多维度雪花型组织模式的检测图像。
9.进一步地，所述检测图像关联有图像信息，所述图像信息包括绝缘子设备信息、时间信息、地域信息、环境信息、检测信息和诊断信息。
10.进一步地，所述绝缘子设备信息、时间信息、地域信息、环境信息、检测信息和诊断信息具有用于索引的唯一标志。
11.进一步地，所述多光源图像数据集市的构建过程包括：
12.对接收的数据进行抽取、清洗、转换和装载，并根据索引策略建立索引，将每个维度规范化成多个关联的表，进行维度表的分离和重组；
13.根据增量数据对已存储的数据进行修改或删除。
14.进一步地，所述定位检测模型基于yolov4卷积神经网络构建。
15.进一步地，对所述可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像进行配
准融合具体为：
16.利用sift配准算法对可见光绝缘子图像与红外和紫外绝缘子图像的底层可见光图像配准，得到单应性矩阵；
17.从红外绝缘子图像中提取红外温升区域，从紫外绝缘子图像中提取紫外放电光斑区域；
18.基于对应的单应性矩阵将红外温升区域与可见光绝缘子图像配准融合为第一融合图像，基于对应的单应性矩阵将紫外放电光斑区域与第一融合图像配准融合。
19.进一步地，所述红外温升区域利用阈值分割方式提取。
20.进一步地，所述紫外放电光斑区域利用紫外仪器预先设置的颜色并根据该颜色rgb值提取并去除无关部分，根据rgb色彩直方图，计算可见光图像中r、g、b各自像素点最小的值，并取该值作为rgb色彩值。
21.进一步地，所述红外温升区域与可见光绝缘子图像的配准融合具体为：
22.红外温升区域直接覆盖到可见光绝缘子图像上。
23.进一步地，所述紫外放电光斑区域与第一融合图像的配准融合具体为：
24.所述紫外放电光斑区域基于所述rgb色彩值以一定透明度的方式叠加在第一融合图像上，并进行描边处理。
25.与现有技术相比，本发明具有以下有益效果：
26.1、本发明利用预先设计的多光源图像数据集市进行定位检测模型的训练，该数据集市存储有多维度雪花型组织模式的检测图像，模型训练高效，进而提高图像处理的效率。
27.2、本发明构建多维度雪花型组织模式的数据集市，能对绝缘子多光源图像数据进行合理存储，有效对绝缘子多光源图像数据进行管理、组织及分析，可为绝缘子缺陷检测提供关联信息及新的分析处理可行途径，方便扩展，提高缺陷检测效率与准确性。
28.3、本发明数据集市的设置减小了检测业务数据存储的压力，对具有关联的图像数据设置多层次的关系，将各维度表链接到多个数据量小的维度表，无冗余数据，快速拓展结构，提升查询效率，符合业务逻辑，层次清晰，为后续的统计、分析、挖掘业务提供标准化、规范化的数据资源，方便进行分类、关联等决策分析，并得到数据隐藏信息。
29.4、本发明数据集市对关联数据设置唯一标志，方便进行索引，以确定缺陷发生位置及严重程度。
30.5、本发明特征融合方法中利用yolov4卷积神经网络截取绝缘子区域，去除了无关环境背景，大大节约了存储资源。
31.6、本发明利用sift算法将可见光图像与红外、紫外底层可见光图像配准，提高了配准精度；将红外温升区域、紫外放电光斑区域以一定的方式融合到可见光图像上，大幅削减了三种图像的索引需求，更直观、快速的将缺陷特征信息呈现给相关人员，方便后续的诊断与研究。
附图说明
32.图1为本发明的数据集市结构示意图；
33.图2为本发明配准融合过程的示意图。
具体实施方式
34.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
35.本实施例提供一种基于多光源图像数据集市的绝缘子图像特征融合方法，该方法包括：获取待检测绝缘子图像，以待检测绝缘子图像作为经训练的定位检测模型的输入，获得可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像；对所述可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像进行配准融合，获得绝缘子三光融合图像。
36.该方法中，检测模型基于多光源图像数据集市中的历史数据训练，所述多光源图像数据集市存储有多维度雪花型组织模式的检测图像，如图1所示。该数据集市的数据存储结构如图1所示，该数据存储结构具有设备、时间、地域、环境、检测和诊断六个维度，设备维又包括绝缘子类型分维度，检测维又包括检测仪器、异常特征参数和仪器参数分维度，诊断维又包括缺陷类型分维度，以上共同构成多维度雪花型组织模式。
37.数据集市是针对某一方面的数据设计的数据仓库，它能访问各种数据库并将各种源数据库集成一个统一的目标数据库的技术，并能把各种数据转换成面向主题的格式，能从异构的数据源中定期抽取、转换和集成所需要的数据，方便用户在数据库基础上进行聚类、关联等决策分析。
38.本实施例中的数据集市存储有多维度雪花型组织模式的检测图像，各所述检测图像关联有对应的绝缘子设备信息、时间信息、地域信息、环境信息、检测信息和诊断信息，且绝缘子设备信息、时间信息、地域信息、环境信息、检测信息和诊断信息具有用于索引的唯一标志。具体地，绝缘子设备信息包括绝缘子投运日期、绝缘子生产厂家、绝缘子运行编号和绝缘子类型；其中，所述绝缘子类型包括支柱瓷绝缘子、盘型悬式绝缘子和棒型复合绝缘子。检测信息包括检测仪器、检测角度、检测距离、仪器参数和异常特征参数；其中，所述检测仪器包括仪器代号、可见光、红外、紫外和三光融合；所述仪器参数包括iso、f(光圈大小)、快门时间和增益；所述异常特征参数包括红外温升面积、红外最大温升和紫外光斑面积。诊断信息包括缺陷类型、诊断级别和维修评估建议；其中，所述缺陷类型包括污秽、低零值和异常温升。
39.多维度雪花型组织模式中设备、地域、环境、时间、检测、诊断六个维度的组织模式是：时间维包括年、月、日、时、分；地域维包括省、市、县/区、乡/镇；环境维分为环境温度、相对湿度、拍摄有无日照。上述设备信息、检测信息和诊断信息包括雪花型组织结构更深层次的次分维度：设备维包括绝缘子投运日期、绝缘子类型、绝缘子运行编号、绝缘子生产厂家，其中，绝缘子类型分维度又包括支柱瓷绝缘子、盘型悬式绝缘子和棒型复合绝缘子；检测维包括检测仪器、检测角度、检测距离，仪器参数和异常特征参数，其中，检测仪器分维度又包括仪器代号、可见光、红外、紫外和三光融合，异常特征参数分维度又包括红外温升面积、红外最大温升和紫外光斑面积，仪器参数分维度包括iso、f(光圈)、快门时间和增益大小；诊断维包括缺陷类型、诊断级别和维修评估建议，其中，缺陷类型分维度包括污秽、低零值和异常温升。诊断级别包括正常、一般缺陷、严重缺陷三种状态，三种状态的判定阈值可自行设置实现判定规则改变。
40.上述数据集市的构建过程包括以下步骤：
41.步骤101：构建以时间、地域、环境、设备、检测、诊断为六个维度的多维数据雪花形组织模式，并且增加更深层次的维度表与第一层次的维度表进行关联。
42.步骤102：对设备、检测、诊断这三个维度进一步层次化，将设备维度拓展到绝缘子型号维度；检测维度拓展到检测仪器、异常特征参数和仪器参数维度；诊断维度拓展到缺陷类型维度，建立针对绝缘子多光源图像管理及分类大数据仓库。
43.步骤103：将被测绝缘子设备信息、地域信息、环境信息、时间信息、检测信息、诊断信息通过etl操作抽取、清洗、转换到数据集市中，对每一个属性赋予唯一的标志建立索引。
44.该数据集市可通过一采用web界面的可视化查询接口进行数据操作，具体操作包括：
45.根据用户的输入对接收的数据进行抽取、清洗、转换和装载，装载数据时，进行严格的控制和管理，避免数据的异常插入或更新，并根据索引策略建立索引，将每个维度规范化成多个关联的表，进行维度表的分离和重组；
46.根据用户相应的时间和标识对输入的增量数据对已存储的数据进行修改或删除；
47.根据用户的输入对绝缘子多光源图像数据集市进行上卷、下钻、切片、切块和旋转等分析操作。
48.上述绝缘子图像特征融合方法中，定位检测模型基于yolov4卷积神经网络构建，用于识别绝缘子区域并截取该区域，形成可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像。
49.如图2所示，对所述可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像进行配准融合具体为：
50.利用sift配准算法对可见光绝缘子图像与红外和紫外绝缘子图像的底层可见光图像配准，得到单应性矩阵；
51.从红外绝缘子图像中提取红外温升区域，从紫外绝缘子图像中提取紫外放电光斑区域，具体地，所述红外温升区域利用阈值分割方式提取，并读取像素温度表中最高温度值，所述紫外放电光斑区域利用紫外仪器预先设置的颜色并根据该颜色rgb值提取并去除无关部分，根据rgb色彩直方图，计算可见光图像中r、g、b各自像素点最小的值，并取该值作为rgb色彩值；
52.基于对应的单应性矩阵将红外温升区域与可见光绝缘子图像配准融合为第一融合图像，基于对应的单应性矩阵将紫外放电光斑区域与第一融合图像配准融合。
53.进一步地，所述红外温升区域利用阈值分割方式提取，具体为：
54.红外温升区域直接覆盖到可见光绝缘子图像上；
55.所述紫外放电光斑区域基于所述rgb色彩值以一定透明度的方式叠加在第一融合图像上，并进行描边处理，具体是在放电光斑边缘描以不透明的线。
56.上述得到的可见光绝缘子图像、红外绝缘子图像和紫外绝缘子图像以及三光融合的绝缘子图像均可通过etl工具操作来更新已有的绝缘子多光源数据集市。
57.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。