一种电力巡检场景下的红外与可见光图像配准方法与流程

1.本发明属于图像处理技术领域，具体涉及一种电力巡检场景下的红外与可见光图像配准方法。


背景技术：

2.电网的建设和维护对于国家以及社会的发展有着重要的作用，电力事业是国家综合实力提升以及社会高速发展的重要保障。电力设备是电网中的重要组成部分，当电力设备正常工作时，在电流的作用下会产生一定的热量，但温度应当在一定的范围内。当电力设备老化或故障时，会出现设备局部发热异常的状况，危及电网的安全稳定运行。因此有必要对电力设备进行安全检测，及时发现设备异常发热状况并维修。
3.现有的电力设备发热检测通常使用测温仪或红外相机的方式进行，需要在电力系统中大规模地布置检测仪器，成本高、容易遗漏死角，并且检测结果需要由技术人员进行分析判断，花费的人力物力大，效率低。随着图像处理技术的发展，可以采用红外与可见光图像协同处理的方式，结合红外图像能检测物体温度、抗干扰能力强以及可见光图像细节信息丰富、分辨率高的特点，实现在可见光图像背景中获取电力设备温度信息的功能。结合红外与可见光图像的检测结果信息丰富，易于观察，便于技术人员对电力设备进行异常发热检测。
4.红外与可见光图像协同处理的前提需要将二者图像进行配准。图像配准是从不同传感器、不同视角、不同时间获取的两幅或多幅图像中识别然后对应出相同或相似的结构和内容，依据一些相似性度量决定图像间的变换参数，使两幅或多幅图像变换到同一坐标系下，在像素层上得到最佳匹配的过程。红外与可见光图像配准属于多模态图像配准，由于二者成像机理不同导致图像之间存在明显差异，红外图像相较于可见光图像分辨率低、图像模糊、细节信息较差，并且二者的灰度特征具有较大差异，配准难度较大。现有的方法多基于图像点特征进行配准：如sift和surf等方法。然而大部分方法在红外与可见光图像配准方面的精确度和正确率很低，无法实现配准。针对这一问题，需要一种能对红外和可见光图像进行精确配准的方法。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种电力巡检场景下的红外与可见光图像配准方法，实现对电力设备红外与可见光图像的精确配准，在可见光图像背景中获取电力设备的温度信息。
6.为实现上述目的，本发明采用如下技术方案：
7.一种电力巡检场景下的红外与可见光图像配准方法，包括以下步骤：
8.步骤s1:获取电力设备的红外图像与可见光图像；
9.步骤s2:通过sobel边缘检测算子分别提取电力设备红外与可见光图像的边缘信息，得到红外与可见光的边缘图像；
10.步骤s3:采用superpoint特征提取网络分别检测两幅边缘图像的特征点并计算描述子；
11.步骤s4:根据步骤s3得到的两幅边缘图像的特征点，通过superglue特征匹配网络对特征点进行匹配，筛选得出正确的特征点匹配对，同时剔除不可匹配的特征点；
12.步骤s5:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，实现图像配准。
13.进一步的，所述步骤s2具体为:
14.步骤s21:通过灰度变换函数对电力设备的红外图像a和可见光图像b进行灰度化处理，将彩色图像转换为灰度图像；
15.步骤s22:通过sobel边缘检测算子提取电力设备的红外边缘图像和可见光边缘图像设sobel
x
、sobel
y
分别为横向以及纵向卷积因子，通过将其与图像作卷积运算，分别得到图像横向及纵向边缘检测结果图g
x
＝sobel
x
*a,g
y
＝sobel
y
*a；通过将二者结合，得到最终的边缘图像。
16.进一步的，所述sobel卷积因子具体为：
[0017][0018]
进一步的，所述步骤s3具体为：
[0019]
步骤s31:根据获取的红外边缘图像图像尺寸为h
×
w，通过编码器网络对红外边缘图像进行处理，处理后的边缘图像由变为其空间尺寸为hc
×
wc，其中hc＜h，wc＜w；
[0020]
步骤s32:在特征点提取网络，输入为张量首先通过卷积层进行两次卷积运算，得到每个像素点为特征点的得分；随后通过softmax函数，将每个像素的得分映射到[0,1]之间，对应于红外边缘图像的像素点为特征点的概率；最后通过上采样恢复到原尺寸大小；
[0021]
步骤s33:描述子解码器网络通过计算张量并将其转换为网络的输出为l2范数标准归一化的固定长度描述子；
[0022]
步骤s34:对于可见光边缘图像通过相同的处理，得到可见光边缘图像的特征点及描述子。
[0023]
进一步的，所述编码器网络结构单元由卷积层conv、非线性激活函数relu和池化层pool组成，具体如下：
[0024]
a.卷积层：卷积层首先对输入图像的边界进行填充，然后利用卷积核对输入图像进行卷积运算，提取图像的特征并输出特征图；
[0025]
b.非线性激活函数：在每一个卷积层后都有relu非线性激活函数，增加神经网络的非线性。
[0026]
c.池化层：池化层对卷积层所得到的特征图进行下采样，降低卷积层输出的特征
图尺寸，减少网络的计算量。
[0027]
进一步的，所述步骤s33具体为：
[0028]
a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为其中65个通道对应于图像中不重叠的局部8*8像素网格区域，外加1个对应于在8*8区域中未检测到特征点的通道；然后，将不含特征点的1个通道去除，得到
[0029]
b.使用softmax函数将中每个像素点的得分映射到[0,1]之间，得到每个像素点为特征点的概率；
[0030]
c.通过子像素卷积将尺寸较小的特征图放大，首先在64个特征图的同一位置各取一个像素点，拼成8*8尺寸的特征图；然后对特征图其他位置像素点进行同样的处理；最终将特征图的尺寸放大为原来的8倍，输出与最初红外边缘图像尺寸一致的结果图
[0031]
进一步的，所述步骤s34具体为：
[0032]
a.编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为
[0033]
b.提取特征点对应的描述子，首先对图像尺寸进行归一化，同时特征点也随之移动到归一化处理后图像相应的位置；然后通过归一化后的特征点构建k组1
×1×
2的张量，其中k表示特征点数量，2分别代表特征点的横纵坐标；将特征点的位置进行反归一化，并通过双线次插值算法，将描述子插入到对应关键点的位置；最后通过l2范数标准归一化，得到统一长度的描述子。
[0034]
进一步的，所述步骤s4具体为：
[0035]
步骤s41:通过superpoint检测红外边缘图像与可见光边缘图像的特征点位置p并计算描述子d后，两幅图像分别提取到m和n个特征点，分别表示为对于红外边沿图像将检测到的特征点位置和描述子结合形成特征匹配向量，向量的初始表示形式为：
[0036][0037]
其中mlp为多层感知编码器，将特征点位置嵌入到高维向量，然后将升维后的向量与描述子相加。对可见光边缘图像的特征点位置和描述子有着相同的处理；
[0038]
步骤s42:使用多层图神经网络，在每一层中对特征点i聚合无向边ε
self
或ε
cross
的信息，并计算更新向量的表示形式；ε
self
将特征点连接到同一图像中的所有其它特征点，ε
cross
将特征点连接到另一幅图像中的所有特征点，表示红外边缘图像的向量在第l层的中间表示形式，m
ε
→
i
是所有特征点{j:(i,j)∈ε}聚合的结果，ε∈{ε
self
,ε
cross
}；
[0039]
向量计算更新为：
[0040][0041]
其中[
·
||
·
]表示为串联操作，从l＝1层开始，当l为奇数时ε＝ε
self
，当l为偶数时ε＝ε
cross
；通过沿着图像内边缘ε
self
和图像间边缘ε
cross
交替聚合更新，模拟人类来回浏览判断特征匹配的过程；红外边缘图像中的每个特征点i经过层数l图神经网络后，得到特征匹配向量
[0042][0043]
其中w和b为权重和偏差，可见光边缘图像相应可得到特征匹配向量
[0044]
步骤s43:两幅图像的特征点对应关系必须遵守预设物理约束条件：1)一个特征点在另一幅图像中至多只能有一个对应关系；2)由于遮挡等因素，某些特征点将无法匹配；因此，图像间特征点的匹配应是两组特征点集之间的部分分配，对红外与可见光边缘图像的m和n个特征点建立部分分配矩阵p∈[0,1]
m
×
n
，表示两幅图像特征点所有可能的匹配，每个可能的对应关系都具有置信度值，用来表示其正确匹配的可能性，并有如下约束：
[0045]
p*1
n
＜1
m and p
t
*1
m
＜1
n
[0046]
首先计算特征匹配向量和的内积得到特征匹配得分矩阵s
i,j
，特征分配矩阵p可以通过在约束条件下最大化的总得分得到；视为最优传输问题，通过sinkhorn算法迭代求解出最终的特征分配矩阵p；
[0047]
将得分矩阵s扩充一个通道变为矩阵多余的通道用滤除未匹配的特征点；
[0048]
约束条件变为：
[0049][0050]
其中通过sinkhorn算法迭代若干次后，将额外的1个通道去除，将特征分配矩阵恢复为p
m
×
n
。
[0051]
进一步的，所述步骤s5具体为:
[0052]
步骤s51:根据特征点匹配结果，计算求出仿射变换模型参数；
[0053]
步骤s52:首先建立与红外图像大小一致的零矩阵，通过对矩阵中每一个点进行坐标变换，得到该点在可见光图像上的对应点；然后通过双线性插值法得到该点的像素值，作为配准后图像上对应点的像素值；
[0054]
步骤s53:根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，得到最终的配准图像。
[0055]
进一步的，所述仿射变换模型表示为：
[0056][0057]
其中(x,y)和(x
′
,y
′
)分别为两幅图像中对应点的坐标，通过正确匹配点即可确定
仿射变换模型中的参数。
[0058]
本发明与现有技术相比具有以下有益效果：
[0059]
1、本发明将电力设备红外与可见光图像协同处理，结合红外图像能检测物体温度、抗干扰能力强以及可见光图像细节信息丰富、分辨率高的优点，实现在可见光图像背景中获取电力设备温度信息的功能，配准后的图像信息丰富，便于技术人员进行检查；
[0060]
2、本发明通过边缘检测算子分别提取红外与可见光图像的边缘信息，突出了图像的轮廓，提高了红外与可见光图像的相似度，同时较好地剔除一些畸变的影响。通过合理利用图像的边缘信息，减少了图像配准时间的同时提高了图像配准的精确度；
[0061]
3、本发明能够提取数量多、精度高的特征点及其描述子。在实现特征点集之间正确匹配的同时，能够鉴别并滤除大部分的错误匹配。图像配准精确度和正确率高，算法鲁棒性好；
[0062]
4、本发明对不同场景以及不同相机拍摄的红外与可见光图像都能实现精确的配准，适用性强。
附图说明
[0063]
图1为本发明方法流程图；
[0064]
图2为本发明一实施例中superpoint网络结构图；
[0065]
图3为本发明一实施例中编码器网络结构图；
[0066]
图4为本发明一实施例中最大池化层示意图；
[0067]
图5为本发明一实施例中superglue网络结构图；
[0068]
图6为本发明应用实例。
具体实施方式
[0069]
下面结合附图及实施例对本发明做进一步说明。
[0070]
在本实施例中，电力巡检场景下的红外与可见光图像配准方法中的视觉信息采集部分由双目红外与可见光相机组成，其中可见光相机的分辨率为2048
×
1536，红外相机的分辨率为640
×
480，两摄像机在同一光轴，镜头置于同一平面，基线距为5～10cm。
[0071]
请参照图1，本发明提供一种电力巡检场景下的红外与可见光图像配准方法，包括如下步骤：
[0072]
步骤s1:获取电力设备的红外图像a、可见光图像b；
[0073]
步骤s2:利用sobel边缘检测算子对电力设备的红外与可见光图像进行边缘检测；
[0074]
(1)灰度化处理。通过灰度变换函数对电力设备的红外图像a和可见光图像b进行灰度化处理，将拍摄所得到的彩色图像转换为灰度图像；
[0075]
(2)边缘检测。通过sobel边缘检测算子提取电力设备的红外边缘图像和可见光边缘图像sobel卷积因子为：
[0076]
[0077]
分别为横向以及纵向卷积因子，通过将其与图像作卷积运算，可以分别得到图像横向及纵向边缘检测结果图g
x
＝sobel
x
*a,g
y
＝sobel
y
*a。通过将二者结合，得到最终的边缘图像。
[0078]
步骤s3:利用superpoint特征提取网络检测红外与可见光的边缘图像的特征点并计算描述子。
[0079]
优选的，在本实施例中，superpoint网络结构图如图2所示，提取特征的具体流程为：
[0080]
(1)图像读入。读入红外边缘图像图像尺寸为h
×
w。
[0081]
(2)图像处理。通过编码器网络对红外边缘图像进行处理，处理后的边缘图像由变为其具有较小的空间尺寸(hc
×
wc)和较大的通道深度，其中
[0082]
编码器网络结构如图3所示，网络结构单元由卷积层、非线性激活函数和池化层(conv
‑
relu
‑
pool)组成：
[0083]
21)卷积层。卷积层首先对输入图像的边界进行填充，然后利用卷积核对输入图像进行卷积运算，提取图像的特征并输出特征图。编码器网络共有八个卷积层，前四个包含64个大小为3*3的卷积核，步长为1，输入图像经过这些卷积层后输出64个特征图。后四个包含128个大小为3*3的卷积核，步长为1，输入图像经过该卷积层后输出128个特征图。
[0084]
22)非线性激活函数。在每一个卷积层后都有relu非线性激活函数，增加神经网络的非线性。非线性激活函数具有更强的表达能力，同时避免了梯度消失的问题。relu函数如下：
[0085][0086]
relu的输入x，当x为正时，输出不变；当x为负时，输出为0。通过单侧抑制，网络中的神经元具有稀疏激活性，能够更好地提取图像的特征。
[0087]
23)池化层。池化层对卷积层所得到的特征图进行下采样，降低卷积层输出的特征图尺寸，减少网络的计算量。编码器网络共有三个最大池化层，每经过两次卷积层后进行一次最大池化操作。池化核尺寸为2*2，步长为2。如图4所示，最大池化层保留了区域中的主要特征，同时能够减小图像尺寸。
[0088]
(3)提取特征点。在特征点提取网络，输入为张量首先通过卷积层进行两次卷积运算，得到每个像素点为特征点的得分。随后通过softmax函数，将每个像素的得分映射到[0,1]之间，对应于红外边缘图像的像素点为特征点的概率。最后通过上采样恢复到原尺寸大小。包含以下过程：
[0089]
31)编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为其中65个通道对应于图像中不重叠的局部8*8像素网格区域，外加1个对应于在8*8区域中未检测到特征点的通道。然
后，将不含特征点的1个通道去除，得到
[0090]
32)使用softmax函数将中每个像素点的得分映射到[0,1]之间，得到每个像素点为特征点的概率。softmax函数如下：
[0091][0092]
所有n个元素中，第m个元素z
m
的数值可以通过softmax公式映射到[0,1]之间。
[0093]
33)通过子像素卷积将尺寸较小的特征图放大，首先在64个特征图的同一位置各取一个像素点，拼成8*8尺寸的特征图；然后对特征图其他位置像素点进行同样的处理；最终将特征图的尺寸放大为原来的8倍，输出与最初红外边缘图像尺寸一致的结果图
[0094]
(4)计算描述子。描述子解码器网络通过计算张量并将其转换为网络的输出为l2范数标准归一化的固定长度描述子，其中包含以下过程：
[0095]
41)编码器网络输出的张量首先经过两次卷积层，卷积核尺寸依次为3*3和1*1，步长均为1，经过卷积运算后的输出为
[0096]
42)提取特征点对应的描述子，首先对图像尺寸进行归一化，同时特征点也随之移动到归一化处理后图像相应的位置。然后通过归一化后的特征点构建k组1
×1×
2的张量，其中k表示特征点数量，2分别代表特征点的横纵坐标。将特征点的位置进行反归一化，并通过双线次插值算法，将描述子插入到对应关键点的位置。最后通过l2范数标准归一化，得到统一长度的描述子。
[0097]
(5)对于可见光边缘图像具有相同的处理，得到可见光边缘图像的特征点及描述子。
[0098]
(6)损失函数。最终的损失函数是两个中间损失函数的总和，一个用于特征点另一个用于描述子
[0099][0100]
在网络训练过程中，给定一副图像i，该图像的特征点位置已知。通过对其应用随机的单应矩阵生成图像i
′
。通过这样生成的图像对，来同时优化两个损耗，并使用λ平衡最终的损失。
[0101]
61)特征点检测器损失函数是在像素上的全卷积交叉熵损失，同样的，将其中对应的正确特征点集定义为y
hw
∈y。同理，在由单应矩阵生成的图像i
′
中包含有y
′
；
[0102][0103]
其中：
[0104][0105]
62)图像i中以及图像i
′
中两幅图像中的(h,w)单元与(h
′
,w
′
)单元由单应性变化矩阵引起的对应关系为：
[0106][0107]
其中，表示单应性变换矩阵；p
hw
表示中心像素在(h,w)单元中的位置；表示表示将单元格位置p
hw
乘以单应性变换矩阵h，然后除以最后一个坐标。
[0108]
描述子损失函数为：
[0109][0110]
s表示一对图像的整个对应关系集。使用带有正余量m
p
和负余量m
n
的合页损失函数l
d
，并通过λ
d
来平衡负数：
[0111]
l
d
(d
hw
,d
′
h
′
w
′
；s
hwh
′
w
′
)＝λ
d
*s
hwh
′
w
′
*max(0,m
p
‑
d
hwt
d
′
h
′
w
′
) (1
‑
s
hwh
′
w
′
)*max(0,d
thw
d
′
h
′
w
′
‑
m
n
)；
[0112]
步骤s4:利用superglue特征匹配网络实现红外与可见光边缘图像间特征点的正确匹配，同时剔除不可匹配的特征点。
[0113]
在本实施例中，优选的，superglue网络结构图如图5所示，以下为详细步骤：
[0114]
(1)特征编码。通过superpoint检测红外边缘图像与可见光边缘图像的特征点位置p并计算描述子d后，两幅图像分别提取到m和n个特征点，分别表示为对于红外边沿图像将检测到的特征点位置和描述子结合形成特征匹配向量，向量的初始表示形式为：
[0115][0116]
其中mlp为多层感知编码器，将特征点位置嵌入到高维向量，然后将升维后的向量与描述子相加。对可见光边缘图像的特征点位置和描述子有着相同的处理。
[0117]
(2)多层图神经网络。使用层数l＝7的图神经网络，在每一层中对特征点i聚合无向边ε
self
或ε
cross
的信息，并计算更新向量的表示形式。ε
self
将特征点连接到同一图像中的所有其它特征点，ε
cross
将特征点连接到另一幅图像中的所有特征点，表示红外边缘图像的向量在第l层的中间表示形式，m
ε
→
i
是所有特征点{j:(i,j)∈ε}聚合的结果，ε∈{ε
self
,ε
cross
}。向量计算更新为：
[0118][0119]
其中[
·
||
·
]表示为串联操作，从l＝1层开始，当l为奇数时ε＝ε
self
，当l为偶数
时ε＝ε
cross
。通过沿着图像内边缘ε
self
和图像间边缘ε
cross
交替聚合更新，模拟人类来回浏览判断特征匹配的过程。红外边缘图像中的每个特征点i经过层数l＝7图神经网络后，得到特征匹配向量
[0120][0121]
其中w和b为权重和偏差。可见光边缘图像相应可得到特征匹配向量
[0122]
(3)最佳匹配网络。两幅图像的特征点对应关系必须遵守以下物理约束条件：1)一个特征点在另一幅图像中至多只能有一个对应关系；2)由于遮挡等因素，某些特征点将无法匹配。因此，图像间特征点的匹配应是两组特征点集之间的部分分配，对红外与可见光边缘图像的m和n个特征点建立部分分配矩阵p∈[0,1]
m
×
n
，表示两幅图像特征点所有可能的匹配，每个可能的对应关系都具有置信度值，用来表示其正确匹配的可能性，并有如下约束：
[0123]
p*1
n
＜1
m and p
t
*1
m
＜1
n
[0124]
首先计算特征匹配向量和的内积得到特征匹配得分矩阵s
i,j
，特征分配矩阵p可以通过在约束条件下最大化的总得分得到。这可以视为最优传输问题，通过sinkhorn算法迭代求解出最终的特征分配矩阵p。
[0125]
由于可能存在未匹配的点，因此将得分矩阵s扩充一个通道变为矩阵多余的通道用滤除未匹配的特征点。此时，约束条件变为：
[0126][0127]
其中通过sinkhorn算法迭代100次后，将额外的1个通道去除，将特征分配矩阵恢复为p
m
×
n
。
[0128]
(4)损失函数。网络训练使用监督学习的方式，当给定特征点匹配的真值以及不可匹配的特征点通过最小化部分分配矩阵函数的负对数似然函数，同时使匹配的精度和召回率最大化。损失函数定义为：
[0129][0130]
步骤s5:根据特征点匹配结果，计算求出仿射变换模型参数，实现图像的配准。以下为详细步骤：
[0131]
(1)仿射变换模型可以表示为：
[0132][0133]
其中(x,y)和(x
′
,y
′
)分别为两幅图像中对应点的坐标，通过3对正确匹配点即可确定仿射变换模型中的6个参数；
[0134]
(2)首先建立与红外图像大小一致的零矩阵，通过对矩阵中每一个点进行坐标变换，可以得到该点在可见光图像上的对应点；然后通过双线性插值法得到该点的像素值，作
为配准后图像上对应点的像素值。如图6，根据匹配特征点对计算仿射变换模型参数，通过双线性插值对待配准图像进行空间坐标变换，得到最终的配准图像。
[0135]
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。