图像重建方法、训练方法、检测方法、装置和存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像重建方法、训练方法、检测方法、装置和存储介质。


背景技术：

2.与可见光图像相比，红外图像不受光照以及遮挡的影响，因此被广泛应用在智能交通或越线报警等场景中；但是不易获取分辨率高、清晰的红外图像，常见的红外图像大多比较模糊、清晰度不高，致使执行后续操作(比如：红外目标检测任务)时效果不佳，因此需要提升红外图像的视觉效果，但是相关技术方案中所采用的方案对红外图像的提升效果较差。


技术实现要素：

3.本技术提供图像重建方法、训练方法、检测方法、装置和存储介质，能够提升图像重建的质量。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种图像重建方法，该方法包括：获取待处理红外图像；基于重建网络对待处理红外图像进行重建处理，得到重建红外图像；其中，重建网络是基于红外样本图像进行训练的，红外样本图像包括第一红外训练图像与第二红外训练图像，第一红外训练图像的内容与第二红外训练图像的内容相同，第一红外训练图像的分辨率小于第二红外训练图像的分辨率，且第一红外训练图像的视场角与第二红外训练图像的视场角匹配。
5.为解决上述技术问题，本技术采用的技术方案是：提供一种重建网络的训练方法，该方法包括：获取第一红外图像与第二红外图像，第一红外图像的分辨率小于第二红外图像的分辨率；对第一红外图像与第二红外图像进行特征匹配，生成第三红外图像；基于第三红外图像，对第一红外图像进行模板匹配处理，得到第一红外图像中的第一红外训练图像；基于第一红外训练图像，对第三红外图像进行处理，得到第三红外图像中与第一红外训练图像匹配的第二红外训练图像；利用训练样本对重建网络进行训练，得到训练完的重建网络，训练样本包括第一红外训练图像与第二红外训练图像。
6.为解决上述技术问题，本技术采用的技术方案是：提供一种红外目标检测方法，该方法包括：获取待处理红外图像；基于重建网络对待处理红外图像进行重建处理，得到重建红外图像；对重建红外图像进行目标检测处理，得到目标检测结果；其中，重建网络采用上述技术方案中的重建网络的训练方法训练得到。
7.为解决上述技术问题，本技术采用的另一技术方案是：提供一种图像处理装置，该图像处理装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像重建方法、重建网络的训练方法或红外目标检测方法。
8.为解决上述技术问题，本技术采用的另一技术方案是：提供一种计算机可读存储
和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
21.常见的提升图像分辨率的技术为超分辨率技术，超分辨率技术通过软件算法的方式提升图像的质量，包括两大类：1)传统的图像超分辨率方法，其包括双线性插值或基于稀疏字典，这些方法对图像纹理的恢复相对较差；2)基于神经网络的超分辨率方法，其包括增强型超分辨率生成对抗网络(enhanced super-resolution generative adversarial networks，esrgan)或残差通道注意力网络(residual channel attention network，rcan)，这些方法在提升图像的分辨率的同时，能够有效恢复图像的纹理细节。通过超分辨率技术先对低质的模糊红外图像进行图像质量的提升，再结合现有的算法进行后续处理，能够提升后续处理的效果；例如，以后续处理为目标检测为例，可以大大提升目标检测的准确率，虽然相关技术中有些方法对红外图像进行了增强处理，但是对于低质模糊的红外图像来说，仅仅通过增强图像的对比度和用sobel算子来增强纹理的细节是远远不够的，因为低质图像的噪声更多，图像的质量更差，对于目标检测任务来说，泛化性较差，对感兴趣的目标识别率较低。
22.基于上述问题，本技术提供了一种新的模糊低质的红外图像的质量提升算法，先对低质的、模糊的红外图像进行预处理，以提升红外图像的清晰度和增强图像中的纹理细节；然后再将预处理后的红外图像输入重建网络中，以便训练出一个能将低质的红外图像变成高质的红外图像的网络，提升重建网络的重建效果，进而改善后续进行检测或识别等任务的效果，下面对本技术所采取的技术方案进行详细描述。
23.请参阅图1，图1是本技术提供的重建网络的训练方法一实施例的流程示意图，该方法包括：
24.步骤11：获取训练样本。
25.重建网络是基于红外样本图像进行训练的，红外样本图像包括第一红外训练图像与第二红外训练图像，第一红外训练图像的内容与第二红外训练图像的内容相同，第一红外训练图像的分辨率小于第二红外训练图像的分辨率，且第一红外训练图像的视场角与第二红外训练图像的视场角匹配；具体地，为了获取训练样本，可采用图2所示的方案进行处理，具体包括以下步骤：
26.步骤111：获取第一红外样本图像与第二红外样本图像。
27.可采用红外摄像机对当前监控场景进行拍摄，得到第一红外样本图像与第二红外样本图像，或者从图像数据库中直接读取第一红外样本图像与第二红外样本图像；具体地，第一红外样本图像与第二红外样本图像对应，第一红外样本图像与第二红外样本图像为同一监控场景下对相同的目标进行拍摄生成的图像，只是二者的分辨率不同，第一红外样本图像的分辨率小于第二红外样本图像的分辨率，即可认为第一红外图像为低分辨率(low resolution，lr)红外图像，第二红外图像为高分辨率(high resolution，lr)红外图像。
28.在一具体的实施例中，可先将采集到的第一红外样本图像和第二红外样本图像进行裁剪，使得裁剪后的第一红外样本图像的分辨率为160*120，裁剪后的第二红外样本图像的分辨率为640*480。
29.步骤112：对第一红外样本图像与第二红外样本图像进行特征匹配，生成第三红外样本图像。
30.在获取到第一红外样本图像与第二红外样本图像之后，可分别对第一红外样本图像与第二红外样本图像进行特征提取处理，得到相应的特征；然后利用二者的特征进行匹配，生成第三红外样本图像，该第三红外样本图像与第二红外样本图像对应，即第三红外样本图像可看作是对第二红外样本图像进行变换生成的图像。
31.步骤113：基于第三红外样本图像，对第一红外样本图像进行模板匹配处理，得到第一红外样本图像中的第一红外训练图像。
32.在获取到第三红外样本图像之后，可对第三红外样本图像与第一红外样本图像进行模板匹配处理，比如：将第一红外样本图像与第三红外样本图像的分辨率调整成一致，然后按照像素值进行匹配，寻找第一红外样本图像中与第三红外样本图像相匹配的区域，该区域所在的图像即为第一红外训练图像。
33.步骤114：基于第一红外训练图像，对第三红外样本图像进行处理，得到第三红外样本图像中与第一红外训练图像匹配的第二红外训练图像。
34.在获取到第一红外训练图像之后，可计算第一红外样本图像与第三红外样本图像的尺寸比值，然后将第一红外训练图像在第一红外样本图像中的位置按照尺寸比值进行放大，从而得到第二红外训练图像在第三红外样本图像中的位置，按照该位置从第三红外样本图像中截取出第二红外训练图像，第一红外训练图像的视场角与第二红外训练图像的视场角相同。
35.步骤12：利用训练样本对重建网络进行训练，得到训练完的重建网络。
36.为了训练重建网络，可采用图2所示的方案进行处理，具体包括以下步骤：
37.步骤115：采用重建网络对第一红外训练图像与第二红外训练图像进行重建处理，得到重建样本图像。
38.采用训练样本对重建网络进行训练，每个训练样本包括第一红外训练图像以及与第一红外训练图像对应的第二红外训练图像，第二红外训练图像为第一红外训练图像的标签图像，将第一红外训练图像与第二红外训练图像输入重建网络，重建网络从第二红外训练图像中学习高质的红外图像的特征，以对低质的红外图像(即第二红外训练图像)进行调整，生成与第一红外训练图像对应的重建样本图像。
39.在一具体的实施例中，重建网络包括特征提取层与重建层，在重建网络的训练过程中，特征提取层用于接收第一红外训练图像与第二红外训练图像，分别对第一红外训练图像与第二红外训练图像进行特征提取处理，得到第一提取特征与第二提取特征；重建层用于对第一提取特征与第二提取特征进行处理，得到重建样本图像，重建网络采用的算法可以包括基于插值的方法(比如：最邻近插值法或双线性插值法)、基于重建的方法(比如：迭代反投影法、凸集投影法或最大后验概率法)或基于学习的方法(比如：邻域嵌入法或稀疏编码方法)。
40.步骤116：基于重建样本图像判断是否满足预设训练终止条件。
41.在重建网络输出重建样本图像之后，可计算重建样本图像与第二红外训练图像之间的损失(记作当前损失)；然后利用该当前损失来判定是否达到重建网络的结束条件(即预设训练终止条件)，如果达到预设训练终止条件，则表明训练结束，得到一个训练完的重
建网络。
42.进一步地，预设停止条件包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值，若当前损失值小于预设损失值，则确定达到预设停止条件；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件(比如：超过预设准确率)等。
43.步骤117：若未满足预设训练终止条件，则调整重建网络的模型参数。
44.如果判定出当前不满足预设训练终止条件，则可调整重建网络的模型参数，该模型参数包括特征提取层以及重建层的参数，例如，以重建层包括多个卷积层为例，模型参数可以为卷积层的数量或卷积层的尺寸；而且还需返回获取第一红外样本图像与第二红外样本图像的步骤，即执行步骤111，直至满足预设训练终止条件。
45.由于图像的分辨率越高，图像的纹理细节越完善，因此本实施例采用多个训练样本对重建网络进行训练，以便获得一个能够改善图像分辨率的重建网络；先利用图像预处理方法对获取到的第一红外样本图像与第二红外样本图像进行预处理，得到第一红外训练图像与第二红外训练图像；然后将第一红外训练图像与第二红外训练图像输入重建网路，以对重建网络进行训练。本实施例提出了一种新的lr红外图像和hr红外图像的构造方式，针对因视场角的差距导致真实采样得到的lr红外图像和hr红外图像的内容不匹配的问题，首先利用特征匹配来解决lr红外图像和hr红外图像的视场角不匹配的问题，再利用模板匹配的方式来确定lr红外图像和hr红外图像中内容相同的区域，得到一一对应的lr-hr红外图像对(即第一红外训练图像与第二红外训练图像)，以便利用lr-hr红外图像对训练重建网络，由于先对训练所使用的数据进行了预处理，能够得到重建质量更好的重建网络，提升图像重建的质量。
46.请参阅图3，图3是本技术提供的图像重建方法一实施例的流程示意图，该方法包括：
47.步骤31：获取待处理红外图像。
48.可使用红外摄像机对当前监控场景进行实时拍摄，得到待处理红外图像。
49.步骤32：基于重建网络对待处理红外图像进行重建处理，得到重建红外图像。
50.重建网络的训练过程如下所示：
51.1)获取训练样本。
52.获取第一红外样本图像与第二红外样本图像，第一红外样本图像的分辨率小于第二红外样本图像的分辨率；对第一红外样本图像与第二红外样本图像进行特征匹配，生成第三红外样本图像；基于第三红外样本图像，对第一红外样本图像进行模板匹配处理，得到第一红外样本图像中的第一红外训练图像；基于第一红外训练图像，对第三红外样本图像进行处理，得到第三红外样本图像中与第一红外训练图像匹配的第二红外训练图像。
53.2)利用训练样本对重建网络进行训练，得到训练完的重建网络。
54.采用重建网络对第一红外训练图像与第二红外训练图像进行重建处理，得到重建样本图像，重建网络可以为超分辨网络；基于重建样本图像判断是否满足预设训练终止条件；若当前不满足预设训练终止条件，则调整重建网络的模型参数，并返回获取第一红外样本图像与第二红外样本图像的步骤，直至满足预设训练终止条件，得到训练好的重建网络。
55.在一具体的实施例中，重建网络包括特征提取层与重建层，在重建网络训练完毕后，特征提取层用于接收待处理红外图像，对待处理红外进行特征提取处理，得到第三提取特征；重建层用于对第三提取特征进行重建处理，得到重建红外图像。
56.针对因视场角的差距导致真实采样得到的lr红外图像和hr红外图像的内容不匹配的问题，本实施例提出了一种新的lr红外图像和hr红外图像对的构造方式，可以大大提升超分辨网络对于真实采样得到的红外图像的重建性能，增加了重建网络的泛化性。
57.请参阅图4，图4是本技术提供的图像重建方法另一实施例的流程示意图，该方法包括：
58.步骤401：获取第一红外样本图像与第二红外样本图像。
59.步骤401与上述实施例中步骤111相同，在此不再赘述。
60.步骤402：分别对第一红外样本图像与第二红外样本图像进行特征提取处理，得到第一样本特征与第二样本特征。
61.采用特征提取方法分别对第一红外样本图像与第二红外样本图像进行处理，得到第一样本特征与第二样本特征，该特征提取方法为相关技术中的特征提取方法，例如，使用基于orb(oriented fast and rotated binary robust independent elementary features)的特征提取方式，对lr红外图像与hr红外图像进行特征提取，得到的lr红外图像的特征点集f
lr
(即第一样本特征)以及hr红外图像的特征点集f
hr
(即第二样本特征)。
62.步骤403：计算第一样本特征与第二样本特征之间的单应性矩阵，并采用单应性矩阵对第二红外样本图像进行仿射变换，得到第三红外样本图像。
63.根据图像的单应性变化来求出图像的单应性矩阵h，计算公式如下所示：
64.f
hr
＝h*f
lr
ꢀꢀꢀ
(1)
65.通过单应性矩阵h，对第二红外样本图像进行仿射变化，得到变化后的图像i
hr1
(即第三红外样本图像)，如下所示：
66.i
hr1
＝h*i
hr0
ꢀꢀꢀ
(2)
67.其中，i
hr0
为第二红外样本图像。
68.步骤404：对第三红外样本图像进行下采样，得到第四红外样本图像，并从第四红外样本图像中选取匹配图像。
69.第四红外样本图像的分辨率与第一红外样本图像的分辨率相同，匹配图像位于第四红外样本图像的中心区域，且匹配图像的像素总数量与第四红外样本图像的像素总数量的比值为预设比值，预设比值为根据应用需求或经验设置的比值，比如：80％、90％或95％。
70.在一具体的实施例中，对第三红外样本图像i
hr1
进行4倍下采样得到第四红外样本图像f
dr
，f
dr
的分辨率为160*120，选择f
dr
中心的80％区域所在的图像作为灰度匹配模板(即匹配图像)g
dr
，g
dr
的分辨率为128*96。
71.步骤405：基于归一化相关系数的模板匹配算法，对匹配图像与第一红外样本图像进行模板匹配处理，得到第一红外训练图像。
72.将匹配图像与第一红外样本图像进行归一化相关系数的模板匹配，在第一红外样本图像中匹配到与匹配图像相应的图像(即第一红外训练图像)，第一红外训练图像的分辨率可以为128*96。
73.步骤406：获取第一红外训练图像在第一红外样本图像中的位置信息；基于位置信
息与第三红外样本图像，生成第二红外训练图像。
74.通过第一红外训练图像与第三红外样本图像的坐标对应关系，确定出第三红外样本图像中与第一红外训练图像对应的图像(即第二红外训练图像)。具体地，先获取分辨率比值；然后基于分辨率比值对位置信息进行处理，得到匹配位置信息，该位置信息包括第一红外训练图像的左上角位置、第一红外训练图像的长度以及第一红外训练图像的宽度；从第三红外样本图像中选取与匹配位置信息对应的图像，得到第二红外训练图像，第二红外训练图像的分辨率与第一红外训练图像的分辨率的比值为分辨率比值，比如：第二红外训练图像的分辨率可以为512*384。
75.进一步地，分辨率比值为第一红外样本图像的分辨率与第三红外样本图像的分辨率的比值，第一红外样本图像的分辨率为a1
×
b1，a1为第一红外样本图像中竖直方向上的像素数量，b1为第一红外样本图像中水平方向上的像素数量；第三红外样本图像的分辨率为a2
×
b2，a2为第三红外样本图像中竖直方向上的像素数量，b2为第三红外样本图像中水平方向上的像素数量，第一红外样本图像的长宽比与第三红外样本图像的长宽比相同，即b1/a1＝b2/a2；例如，假设第一红外训练图像的左上角位置、宽度以及长度分别为[x,y]、m以及n，第一红外样本图像的分辨率为160*120，第三红外样本图像的分辨率为640*480，则分辨率比值＝640/160＝480/120＝4，第二红外训练图像的左上角位置为[4x,4y]，第二红外训练图像的长度为4x，第二红外训练图像的宽度为4y。
[0076]
通过上述的预处理操作，最终得到一一对应的且完全匹配的lr红外图像(即第一红外训练图像)和hr红外图像(即第二红外训练图像)，它们作为图像的超分辨重建网络的输入，即训练样本包括第一红外训练图像与第二红外训练图像。
[0077]
步骤407：分别对第一红外训练图像与第二红外训练图像进行归一化处理，得到第三红外训练图像与第四红外训练图像。
[0078]
将预处理后的lr红外图像(即第一红外训练图像)和预处理后的hr红外图像(即第二红外训练图像)输入到重建网络的输入层，第一红外训练图像的分辨率为128*96，第二红外训练图像的分辨率512*384，并分别对第一红外训练图像与第二红外训练图像的rgb三个通道进行统一的归一化处理。
[0079]
步骤408：对第三红外训练图像进行超分辨率处理，得到重建样本图像。
[0080]
采用如下步骤对第三红外训练图像进行处理，以获取重建样本图像。
[0081]
1)对第三红外训练图像进行特征提取处理，得到第三样本特征。
[0082]
特征提取层的主要作用是提取第三红外训练图像中的纹理细节特征，相关技术中的超分辨(super-resolution，sr)算法模型的参数量和计算量巨大，对于后续的目标检测网络来说耗时太长，不利于模型的部署，因此本实施例所提供的特征提取层采用一种轻量级的卷积神经网络来进行特征的提取，比如：mobilenet v1与mobilenet v2，通过融合图像中浅层到深层的特征，来获取第三红外训练图像中的高低频信息，最终融合得到第三红外训练图像的特征。
[0083]
2)基于亚像素卷积网络(efficient sub-pixel convolutional network，espcn)，对第三样本特征进行重建处理，得到重建样本图像。
[0084]
由于第四红外训练图像的分辨率是第三红外训练图像的分辨率的整数倍，因此本实施例选择将第三红外训练图像的特征使用亚像素卷积的方式(比如：espcn)，espcn是一
种可学习的上采样模块，其通过几层卷积网络获取低lr红外图像的特征，然后通过周期筛选的方式将lr红外图像的分辨率提升到与hr红外图像的分辨率一致，得到sr图像(即重建样本图像)。
[0085]
步骤409：计算重建样本图像与第四红外训练图像之间的损失，得到损失值，并判断损失值是否收敛。
[0086]
若损失值收敛，则确定满足预设训练终止条件，停止训练，得到训练完的重建网络；具体地，可计算重建样本图像与第四红外训练图像之间的li损失；计算重建样本图像与第四红外训练图像之间的梯度损失；对li损失与梯度损失进行加权求和，得到损失值，即整个网络的损失通过l1损失函数与梯度损失函数来进行优化，计算方式如下：
[0087][0088]
lg＝[g(i
sr
)-g(i
hr
)]2ꢀꢀꢀ
(4)
[0089]
loss＝lg l1
ꢀꢀꢀ
(5)
[0090]
其中，i
hr
为第四红外训练图像，i
sr
为重建样本图像，g(i
sr
)为重建样本图像的梯度，g(i
hr
)为第四红外训练图像的梯度，可采用sobel算子进行梯度的计算，loss为梯度值，l1为l1损失，lg为梯度损失。
[0091]
可以理解地，还可通过第四红外训练图像与重建样本图像之间的峰值信噪比(peak signal to noise ratio，psnr)或结构相似度(structural similarity，ssim)来衡量图像的重建效果。
[0092]
步骤410：若损失值未收敛，则调整重建网络的模型参数。
[0093]
若损失值未收敛，则调整重建网络的模型参数，并返回获取第一红外样本图像与第二红外样本图像的步骤，直至满足预设训练终止条件，得到训练好的重建网络。
[0094]
步骤411：若损失值收敛，则获取待处理红外图像，并基于重建网络对待处理红外图像进行重建处理，得到重建红外图像。
[0095]
步骤411与上述实施例步骤31-32相同，在此不再赘述。
[0096]
本实施例利用超分辨率重建网络对低质的红外图像进行重建，使得从重建网络输出的图像纹理更加清晰，使得后续进行目标检测时目标轮廓更加突出，有助于提升目标检测的效果。而且，本实施例利用orb特征匹配和仿射变化来解决lr红外图像和hr红外图像的视场角不匹配的问题，再利用区域灰度模板匹配的方式，来确定lr红外图像和hr红外图像中具有相同内容的区域，得到一一对应的lr-hr红外图像对，可以大大提升超分辨网络对于真实采样得到的红外图像的重建性能，增加了重建网络的泛化性。
[0097]
在生成重建红外图像之后，可将其应用在多个领域，比如：目标检测、识别或跟踪，下面以应用于目标检测领域为例进行说明，低质模糊红外目标检测技术能够应用于对视频中多个目标的类别检测或行为分析，比如：对围栏或者围墙等周界提供全面的防护，首先对采集到的红外图像序列使用超分辨率技术提升图像的分辨率和图像的清晰度，然后通过红外目标检测技术确定图像中感兴趣的目标，为后续的目标行为分析提供基础，下面进行详细描述。
[0098]
请参阅图5，图5是本技术提供的红外目标检测方法一实施例的流程示意图，该方法包括：
[0099]
步骤51：获取待处理红外图像。
[0100]
待处理图像包括待检测目标，待检测目标可以为人、其他动物或物体。
[0101]
步骤52：基于重建网络对待处理红外图像进行重建处理，得到重建红外图像。
[0102]
重建网络采用上述实施例中的重建网络的训练方法训练得到，具体训练过程在此不再赘述。
[0103]
步骤53：对重建红外图像进行目标检测处理，得到目标检测结果。
[0104]
通过对重建红外图像进行分析，可以有效地检测出待处理红外图像中特定的目标。具体地，目标检测网络包括特征提取层与检测层，采用特征提取层对重建红外图像进行特征提取处理，得到当前特征；采用检测层对当前特征进行检测处理，得到目标检测结果。
[0105]
在一具体的实施例中，目标检测网络可以为yolo(you only look once)网络，yolo网络是一种实时目标检测模型，通过一个卷积神经网络对重建红外图像进行处理，从而获取重建红外图像中目标对象的位置和类别；具体地，可采用以下步骤来训练yolo网络：
[0106]
1)构造yolo网络。
[0107]
yolo网络包括输入层、特征提取层(包括第一特征提取层与第二特征提取层)、检测层、分类层以及回归层，第一特征提取层和第二特征提取层为轻量级卷积神经网络。
[0108]
2)输入训练样本。
[0109]
训练样本包含行人、车辆或非机动车等目标的低分辨率的红外图像，并以标注框的形式标注出目标对象的位置和类别。将训练样本输入重建网络，得到重建图像，该重建图像的分辨率可以为512*384，该重建图像被输入yolo网络。
[0110]
3)提取特征图。
[0111]
第一特征提取层对重建网络输出的重建图像进行多次卷积和降采样处理，得到第一特征图，第一特征图的尺寸可以为64*48*192。
[0112]
4)yolo网络的训练。
[0113]
第二特征提取层与第一特征提取层连接，其用于对第一特征图进行卷积和降采样处理，并输入至检测层，检测层为两层全连接层。
[0114]
本实施例所提供的低质模糊红外目标检测方法适应于户外围栏或交通路口等场景中，以对行人或车辆等目标进行检测；可以理解地，还可应用于在其他场景中，并不仅限于此。
[0115]
本实施例所提供的红外目标检测方法，基于传统的图像处理技术、深度学习技术和卷积神经网络，主要包含三个模块：预处理模块、超分辨率模块以及目标检测模块，但预处理模块仅在重建网络的训练过程中使用；本实施例构造了两个独立的神经网络：重建网络与目标检测网络；本实施例设计一种新的、轻量级的红外图像超分辨卷积神经网络，能够对低质的模糊的红外图像进行重建处理，提升红外图像的清晰度和增强图像中的纹理细节，使得yolo网络的输入图像的纹理更加清晰，目标轮廓更加突出，提升了目标检测网络的性能；将重建网络与yolo网络结合，来实现对处理后的图像进行目标检测，从而提升红外目标，尤其是远小红外目标的检测准确率，能够解决交通场景中红外目标检测方法对低质的、模糊的红外样本检测准确率较低的问题。此外，本实施例通过制作真实的lr-hr红外图像对训练重建网络，得到的超分辨重建网络的泛化性更佳，相比相关技术中利用生成对抗网络来将可见光图像转换为红外图像来说，无需重新训练便可以适应更多低质红外场景，同时
可以避免树荫遮挡带来的误检问题。
[0116]
请参阅图6，图6是本技术提供的图像处理装置一实施例的结构示意图，图像处理装置60包括互相连接的存储器61和处理器62，存储器61用于存储计算机程序，计算机程序在被处理器62执行时，用于实现上述实施例中的图像重建方法、重建网络的训练方法或红外目标检测方法。
[0117]
请参阅图7，图7是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质70用于存储计算机程序71，计算机程序71在被处理器执行时，用于实现上述实施例中的图像重建方法、重建网络的训练方法或红外目标检测方法。
[0118]
计算机可读存储介质70可以是服务端、u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0119]
在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0120]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0121]
另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0122]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。