一种电力巡检场景下的红外与可见光图像配准方法与流程

技术特征：
1.一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，包括以下步骤：步骤s1:获取电力设备的红外图像与可见光图像；步骤s2:通过sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；步骤s3:采用superpoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；步骤s4:根据步骤s3得到的两幅边缘图像的特征点，通过superglue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；步骤s5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准。2.根据权利要求1所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤s2具体为:步骤s21:通过灰度变换函数对电力设备的红外图像a和可见光图像b进行灰度化处理，将彩色图像转换为灰度图像；步骤s22:通过sobel边缘检测算子提取电力设备的红外边缘图像和可见光边缘图像设sobel
x
、sobel
y
分别为横向以及纵向卷积因子，通过将其与图像作卷积运算，分别得到图像横向及纵向边缘检测结果图g
x
＝sobel
x
*a,g
y
＝sobel
y
*a；通过将二者结合，得到最终的边缘图像。3.根据权利要求2所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述sobel卷积因子具体为：4.根据权利要求1所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤s3具体为：步骤s31:根据获取的红外边缘图像图像尺寸为h
×
w，通过编码器网络对红外边缘图像进行处理，处理后的边缘图像由变为其空间尺寸为hc
×
wc，其中hc＜h，wc＜w；步骤s32:在特征点提取网络，输入为张量首先通过卷积层进行两次卷积运算，得到每个像素点为特征点的得分；随后通过softmax函数，将每个像素的得分映射到[0,1]之间，对应于红外边缘图像的像素点为特征点的概率；最后通过上采样恢复到原尺寸大小；步骤s33:描述子解码器网络通过计算张量并将其转换为网络的输出为l2范数标准归一化的固定长度描述子；步骤s34:对于可见光边缘图像通过相同的处理，得到可见光边缘图像的特征点及描述子。
5.根据权利要求4所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述编码器网络结构单元由卷积层conv、非线性激活函数relu和池化层pool组成，具体如下：a.卷积层：卷积层首先对输入图像的边界进行填充，然后利用卷积核对输入图像进行卷积运算，提取图像的特征并输出特征图；b.非线性激活函数：在每一个卷积层后都有relu非线性激活函数，增加神经网络的非线性。c.池化层：池化层对卷积层所得到的特征图进行下采样，降低卷积层输出的特征图尺寸，减少网络的计算量。6.根据权利要求4所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤s33具体为：a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为其中65个通道对应于图像中不重叠的局部8*8像素网格区域，外加1个对应于在8*8区域中未检测到特征点的通道；然后，将不含特征点的1个通道去除，得到b.使用softmax函数将中每个像素点的得分映射到[0,1]之间，得到每个像素点为特征点的概率；c.通过子像素卷积将尺寸较小的特征图放大，首先在64个特征图的同一位置各取一个像素点，拼成8*8尺寸的特征图；然后对特征图其他位置像素点进行同样的处理；最终将特征图的尺寸放大为原来的8倍，输出与最初红外边缘图像尺寸一致的结果图7.根据权利要求4所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤s34具体为：a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为b.提取特征点对应的描述子，首先对图像尺寸进行归一化，同时特征点也随之移动到归一化处理后图像相应的位置；然后通过归一化后的特征点构建k组1
×1×
2的张量，其中k表示特征点数量，2分别代表特征点的横纵坐标；将特征点的位置进行反归一化，并通过双线次插值算法，将描述子插入到对应关键点的位置；最后通过l2范数标准归一化，得到统一长度的描述子。8.根据权利要求1所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤s4具体为：步骤s41:通过superpoint检测红外边缘图像与可见光边缘图像的特征点位置p并计算描述子d后，两幅图像分别提取到m和n个特征点，分别表示为对于红外边沿图像将检测到的特征点位置和描述子结合形成特征匹配向量，向量的初始表示形式为：
其中mlp为多层感知编码器，将特征点位置嵌入到高维向量，然后将升维后的向量与描述子相加。对可见光边缘图像的特征点位置和描述子有着相同的处理；步骤s42:使用多层图神经网络，在每一层中对特征点i聚合无向边ε
self
或ε
cross
的信息，并计算更新向量的表示形式；ε
self
将特征点连接到同一图像中的所有其它特征点，ε
cross
将特征点连接到另一幅图像中的所有特征点，表示红外边缘图像的向量在第l层的中间表示形式，m
ε
→
i
是所有特征点{j:(i,j)∈ε}聚合的结果，ε∈{ε
self
,ε
cross
}；向量计算更新为：其中[
·
||
·
]表示为串联操作，从l＝1层开始，当l为奇数时ε＝ε
self
，当l为偶数时ε＝ε
cross
；通过沿着图像内边缘ε
self
和图像间边缘ε
cross
交替聚合更新，模拟人类来回浏览判断特征匹配的过程；红外边缘图像中的每个特征点i经过层数l图神经网络后，得到特征匹配向量f
ia
其中w和b为权重和偏差，可见光边缘图像相应可得到特征匹配向量步骤s43:两幅图像的特征点对应关系必须遵守预设物理约束条件：1)一个特征点在另一幅图像中至多只能有一个对应关系；2)由于遮挡等因素，某些特征点将无法匹配；因此，图像间特征点的匹配应是两组特征点集之间的部分分配，对红外与可见光边缘图像的m和n个特征点建立部分分配矩阵p∈[0,1]
m
×
n
，表示两幅图像特征点所有可能的匹配，每个可能的对应关系都具有置信度值，用来表示其正确匹配的可能性，并有如下约束：p*1
n
＜1
m and p
t
*1
m
＜1
n
首先计算特征匹配向量f
ia
和的内积得到特征匹配得分矩阵s
i,j
，特征分配矩阵p可以通过在约束条件下最大化的总得分得到；视为最优传输问题，通过sinkhorn算法迭代求解出最终的特征分配矩阵p；将得分矩阵s扩充一个通道变为矩阵多余的通道用滤除未匹配的特征点；约束条件变为：其中通过sinkhorn算法迭代若干次后，将额外的1个通道去除，将特征分配矩阵恢复为p
m
×
n
。9.根据权利要求1所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述步骤s5具体为:
步骤s51:根据特征点匹配结果，计算求出仿射变换模型参数；步骤s52:首先建立与红外图像大小一致的零矩阵，通过对矩阵中每一个点进行坐标变换，得到该点在可见光图像上的对应点；然后通过双线性插值法得到该点的像素值，作为配准后图像上对应点的像素值；步骤s53:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，得到最终的配准图像。10.根据权利要求9所述的一种电力巡检场景下的红外与可见光图像配准方法，其特征在于，所述仿射变换模型表示为：其中(x,y)和(x
′
,y
′
)分别为两幅图像中对应点的坐标，通过正确匹配点即可确定仿射变换模型中的参数。

技术总结
本发明涉及一种电力巡检场景下的红外与可见光图像配准方法，包括以下步骤：步骤S1:获取电力设备的红外图像与可见光图像；步骤S2:通过Sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；步骤S3:采用SuperPoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；步骤S4:根据步骤S3得到的两幅边缘图像的特征点，通过SuperGlue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；步骤S5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准。本发明实现对电力设备红外与可见光图像的精确配准，在可见光图像背景中获取电力设备的温度信息。度信息。度信息。


技术研发人员：吴志成 林秀贵 许家浩 杨昌加 王门鸿 叶学知 陈子良 李博宁 蔡志坚 林旭鸣 张志祥 陈健伟
受保护的技术使用者：国网福建省电力有限公司
技术研发日：2021.08.04
技术公布日：2021/11/8