热图像重建方法、网络的训练方法、装置、设备及介质与流程

1.本技术涉及但不限于计算机视觉技术领域，尤其涉及一种热图像重建方法、网络的训练方法、装置、设备及介质。


背景技术：

2.近年来，基于深度学习的热成像超分辨技术逐渐发展起来，已经取得了一定的进展，这些进展有的面向构造的低分至高分数据，有些则是面向真实的热成像超分辨场景。在真实的热成像超分辨率场景下，由于训练数据是来自相机参数不同的热成像传感器，从而限制了热图像超分辨率模型的性能。


技术实现要素：

3.有鉴于此，本技术实施例至少提供一种热图像重建方法、网络的训练方法、装置、设备及介质。
4.本技术实施例的技术方案是这样实现的：
5.一方面，本技术实施例提供一种热图像重建方法，所述方法包括：
6.获取第一分辨率的第一样本热图像和所述第一样本热图像对应的第二分辨率的第二样本热图像；其中，所述第二分辨率高于所述第一分辨率；
7.分别对所述第一样本热图像和所述第二样本热图像进行调整，得到第三样本热图像和第四样本热图像；
8.在待训练热图像重建网络中，基于所述第一样本热图像、所述第三样本热图像和所述第四样本热图像，确定用于对比不同样本热图像的第一损失；
9.基于所述第二样本热图像和预测热图像，确定第二损失；其中，所述预测热图像为所述待训练热图像重建网络预测的所述第一样本热图像在所述第二分辨率下的热图像；
10.基于所述第一损失和所述第二损失，对所述待训练热图像重建网络进行训练，使得已训练热图像重建网络输出的损失满足预设收敛条件。
11.另一方面，本技术实施例提供一种图像重建方法，所述方法包括：
12.获取待超分辨率重建的第一热图像；
13.在已训练热图像重建网络中，对所述第一热图像的维度进行调整，得到已调第一热图像；其中，所述已训练热图像重建网络为经过上述一方面所述的方法训练得到的；
14.对所述已调第一热图像进行特征提取，得到待重建图像特征；
15.基于所述已训练热图像重建网络中的超分辨率，对所述待重建图像特征进行超分辨率重建，得到已重建超分辨率热图像；
16.基于所述已重建超分辨率热图像和所述已调第一热图像，确定分辨率高于所述第一热图像的分辨率的第二热图像。
17.另一方面，本技术实施例提供一种热图像重建网络的训练装置，包括：
18.第一获取模块，用于获取第一分辨率的第一样本热图像和所述第一样本热图像对
应的第二分辨率的第二样本热图像；其中，所述第二分辨率高于所述第一分辨率；
19.第一调整模块，用于分别对所述第一样本热图像和所述第二样本热图像进行调整，得到第三样本热图像和第四样本热图像；
20.第一确定模块，用于在待训练热图像重建网络中，基于所述第一样本热图像、所述第三样本热图像和所述第四样本热图像，确定用于对比不同样本热图像的第一损失；
21.第二确定模块，用于基于所述第二样本热图像和预测热图像，确定第二损失；其中，所述预测热图像为所述待训练热图像重建网络预测的所述第一样本热图像在所述第二分辨率下的热图像；
22.第一训练模块，用于基于所述第一损失和所述第二损失，对所述待训练热图像重建网络进行训练，使得已训练热图像重建网络输出的损失满足预设收敛条件。
23.另一方面，本技术实施例提供一种热图像重建装置，所述装置包括：
24.获取模块，用于获取待超分辨率重建的第一热图像；
25.调整模块，用于在已训练热图像重建网络中，对所述第一热图像的维度进行调整，得到已调第一热图像；其中，所述已训练热图像重建网络为经过一方面所述的方法训练得到的；
26.提取模块，用于对所述已调第一热图像进行特征提取，得到待重建图像特征；
27.重建模块，用于基于所述已训练热图像重建网络中的超分辨率，对所述待重建图像特征进行超分辨率重建，得到已重建超分辨率热图像；
28.确定模块，用于基于所述已重建超分辨率热图像和所述已调第一热图像，确定分辨率高于所述第一热图像的分辨率的第二热图像。
29.再一方面，本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
30.又一方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
31.又一方面，本技术实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
32.又一方面，本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
33.本技术实施例中，获取低分辨率的第一样本热图像和第一样本热图像对应的超分辨率的第二样本热图像之后，通过对第一样本热图像和第二样本热图像进行调整，得到第三样本热图像和多帧第四样本热图像；这样，通过能够引入与第一样本热图像像素级不对应的第三样本热图像，和，与第二样本热图像像素级不对应的第四样本热图像，从而能够丰富输入的样本。之后，将第一样本热图像、第二样本热图像、第三样本热图像和第四样本热图像输入待训练热图像重建网络中，确定用于对比不同样本热图像的第一损失；这样，通过将作为正样本的第一样本热图像和第三样本热图像，与作为负样本的第二样本热图像和第四样本热图像进行比对，得到能够表征不同热图像之间的差异的第一损失。并且，通过第二
样本热图像和待训练热图像重建网络输出的预测热图像，确定第二损失；该预测热图像是针对第一样本热图像进行超分辨率预测得到的，这样，第二损失能够表征真实的超分辨率热图像即第二样本热图像与预测热图像之间的相似度；最后，通过该第一损失和第二损失对待训练热图像重建网络进行训练，得到已训练热图像重建网络；如此，通过用于对比像素级不对应的样本热图像的第一损失对待训练热图像重建网络进行训练，使得已训练热图像重建网络能够对不同的样本热图像进行对比学习，从而提高已训练热图像重建网络对配准不佳数据的适应能力；而且通过第二样本热图像和预测热图像之间的第二损失对待训练热图像重建网络进行训练，由于第二损失中考虑了第二样本热图像和预测热图像之间的差异，所以在训练过程中，能够引入更多的图像特征，使得待训练热图像重建网络学习更多的图像特征，进而提高已训练热图像重建网络进行超分辨率热图像重建的性能。
34.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
36.图1为本技术实施例提供的一种热图像重建网络的训练方法的实现流程示意图；
37.图2为本技术实施例提供的一种热图像重建网络的训练方法的另一实现流程示意图；
38.图3a为本技术实施例提供的一种热图像重建网络的训练方法的又一实现流程示意图；
39.图3b为本技术实施例提供的一种热图像重建方法的实现流程示意图；
40.图4为本技术实施例提供的热图像重建网络的训练方法的另一实现流程示意图；
41.图5为本技术实施例提供的热图像重建网络的实现框架示意图；
42.图6为本技术实施例提供的热图像重建网络的另一实现框架示意图；
43.图7为本技术实施例提供的一种热图像重建网络的训练装置的组成结构示意图；
44.图8为本技术实施例提供的一种热图像重建装置的组成结构示意图；
45.图9为本技术实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
46.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本技术的技术方案进一步详细阐述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
47.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
48.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术的目的，不是旨
在限制本技术。
49.在对本技术实施例进行进一步详细说明之前，先对本技术实施例中涉及的名词和术语进行说明，本技术实施例中涉及的名词和术语适用于如下的解释。
50.1)计算机视觉，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
51.2)深度学习，是一种机器学习方法，作为人工神经网络可以根据学习过程中的示例数据来独立地构建(训练)出基本规则。尤其是在机器视觉领域，神经网络通常采用监督式学习的方法来训练，即通过示例数据和示例数据的预定义结果来进行训练。
52.3)超分辨率，通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建：用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。
53.本技术实施例提供一种热图像重建网络的训练方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。图1为本技术实施例提供的一种热图像重建网络的训练方法的实现流程示意图，如图1所示，该方法包括如下步骤s101至步骤s104：
54.步骤s101，获取第一分辨率的第一样本热图像和所述第一样本热图像对应的第二分辨率的第二样本热图像。
55.在一些实施例中，所述第一分辨率小于所述第二分辨率；如果以第一分辨率为低分辨率，那么第二分辨率可以是对第一分辨率进行超分辨率重建得到的高分辨率。第一样本热图像可以是对预设场景采集的分辨率较低的热图像，即该第一样本热图像中每英寸的像素数目较少，比如，每英寸的像素数目小于等于100，即第一分辨率小于等于100每英寸点数(dots per inch，dpi)，比如，第一样本热图像的第一分辨率为72dpi。该第一样本热图像中的预设场景可以是任意场景，比如，在道路交通场景下，对道路进行热图像采集得到第一样本热图像；或，在校园场景下，对教学楼进行热图像采集得到第一样本热图像；或，在野外场景下，对树林进行热图像采集得到第一样本热图像等。在获取第一样本热图像的过程中，可以是通过具有第一分辨率的传感器采集到热图像，还可以是接收其他设备发送的具有第一分辨率的热图像。
56.在一些实施例中，第二分辨率可以是大于第一分辨率的任一分辨率，第二分辨率可以是较高的分辨率，即使得热图像清晰度较高的分辨率。在一些可能的实现方式中，第二分辨率可以是大于一定阈值的分辨率，可以设定第二分辨率远大于第一分辨率的最大值；比如，第一分辨率的最大值为100dpi，那么可以设定第二分辨率大于或等于200dpi。还可以是按照图像清晰度来设定第二分辨率，在一些可能的实现方式中，由于图像分辨率在300dpi的情况下，肉眼无法分辨像素，所以可以将第二分辨率设置为大于或等于300dpi；这样，使得第二样本热图像的分辨率足以满足用户对清晰度的需求。
57.在一些可能的实现方式中，第一样本热图像和第二样本热图像为针对同一预设场景采集的图像，即第一样本热图像和第二样本热图像为画面内容相同，但分辨率不同的热图像。第一样本热图像和第二样本热图像可以是尺寸相同，也可以是尺寸不同但是画面内容相同。第二样本热图像可以是采用具有第二分辨率的传感器采集到的，还可以是接收的
其他设备发送的具有第二分辨率的热图像。第二样本热图像可以理解为是第一样本热图像在第二分辨率下的真值。第二样本热图像还可以理解为是低分辨率的第一样本热图像对应的超分辨率的真值热图像。
58.步骤s102，分别对所述第一样本热图像和所述第二样本热图像进行调整，得到第三样本热图像和第四样本热图像。
59.在一些实施例中，对第一样本热图像进行随机的调整，得到第三样本热图像，对第二样本热图像进行随机的调整，得到第四样本热图像；这里，对第一样本热图像调整方式，与对第二样本热图像调整方式相同。
60.在一些可能的实现方式中，获得第三样本热图像和第四样本热图像的方式可以是对热图像进行随机的旋转或平移。以对第一样本热图像进行随机的旋转或平移为例：可以先根据需要旋转的角度和设定的旋转中心，获取旋转矩阵；然后，根据旋转矩阵对第一样本热图像进行仿射变换，即可实现任意角度和任意中心的第三样本热图像；还可以首先定义好第一样本热图像的平移矩阵，分别指定x方向和y方向上的平移量，然后按照该平移量对第一样本热图像进行平移即可得到第三样本热图像。这样，第三样本热图像的尺寸、画面内容均与第一样本热图像相同，但是第三样本热图像中的像素位置与第一样本热图像像素位置不同，即第一样本热图像与第三样本热图像的像素级不对应。同样，第四样本热图像的尺寸、画面中的对象均与第二样本热图像相同，但是第四样本热图像与第二样本热图像像素级不对应。
61.步骤s103，在待训练热图像重建网络中，基于所述第一样本热图像、所述第三样本热图像和所述第四样本热图像，确定用于对比不同样本热图像的第一损失。
62.在一些实施例中，对第一样本热图像和第二样本热图像进行调整之后，将得到的第三样本热图像和第四样本热图像，以及第一样本热图像输入到待训练热图像重建网络中。在待训练热图像重建网络中，分别将第一样本热图像和第三样本热图像输入到待训练热图像重建网络的编码器，将第二样本热图像和第四样本热图像输入到辅助编码器，进行特征提取。基于提取到的图像特征，确定第一样本热图像和第三样本热图像之间的相似度，以及第一样本热图像和第四样本热图像之间的相似度，基于这样两类相似度确定第一损失。这样，第一损失用于对不同样本热图像进行对比学习，从而使得待训练热图像重建网络能够学习到来自不同传感器的热图像的图像特征。
63.在一些可能的实现方式中，由于多帧第三样本热图像对第一样本热图像进行调整之后得到的，所以第三样本热图像可以认为是与第一样本热图像非常相似的正样本，所以希望第一样本热图像的图像特征与第三样本热图像的图像特征越相似越好。由于第二样本热图像是第一样本热图像在第二分辨率下的真值图像，即在超分辨率下的真实图像。由于第四样本热图像是对第二样本热图像中进行调整之后得到的，所以第四样本热图像与作为真值的第二样本热图像相似，所以第四样本热图像也可以认为是与第一样本热图像来自于不同的传感器，所以可以将第四样本热图像作为第一样本热图像对应的负样本；因此，希望第四样本热图像的图像特征与第一样本热图像的图像特征之间的距离越大越好。基于此，对第一损失进行优化，使得第四样本热图像的图像特征与第一样本热图像的图像特征之间的距离很大，第三样本热图像的图像特征与第一样本热图像的图像特征之间的距离很小。
64.步骤s104，基于所述第二样本热图像和预测热图像，确定第二损失。
65.在一些实施例中，所述预测热图像为所述待训练热图像重建网络预测的所述第一样本热图像在第二分辨率下的热图像。该第二损失用于表征第二样本热图像与预测热图像之间的相似度。由于第二样本热图像为第一样本热图像在第二分辨率下的真值图像，该预测热图像为待训练热图像重建网络预测的第一样本热图像在第二分辨率下的热图像，这样，通过比较第二样本热图像和预测热图像即可得到表征真值与预测值差异的第二损失。
66.在一些可能的实现方式中，该第二损失可以是包括第二样本热图像和预测热图像之间的差异，以及第二样本热图像的图像特征和预测热图像的图像特征之间的相似度，这样，通过在第二损失中引入作为真值的第二样本热图像和作为预测值的预测热图像的图像特征，能够使得第二损失中涉及到更多的细节特征。
67.步骤s105，基于所述第一损失和所述第二损失，对待训练热图像重建网络进行训练，使得已训练热图像重建网络输出的损失满足预设收敛条件。
68.在一些实施例中，通过第一损失和第二损失相结合作为总损失，对待训练热图像重建网络的网络参数进行调整，以使得已训练热图像重建网络输出的损失满足预设收敛条件。该预设收敛条件可以是基于待训练热图像重建网络对损失的需求设定的，比如，对于第一损失，由于希望在第一损失中第四样本热图像的图像特征与第一样本热图像的图像特征之间的距离很大，第三样本热图像的图像特征与第一样本热图像的图像特征之间的距离很小，所以该预设收敛条件中可以包括第一距离阈值和第二距离阈值，第一距离阈值大于第二距离阈值，如果第四样本热图像的图像特征与第一样本热图像的图像特征之间的距离大于或等于第一距离阈值，且第三样本热图像的图像特征与第一样本热图像的图像特征之间的距离小于第二距离阈值，则认为第一损失满足预设收敛条件。在一些可能的实现方式中，第一距离阈值和第二距离阈值可以是基于热图像重建网络对性能的需求，比如，按照热图像重建网络的准确率设定第一距离阈值和第二距离阈值。
69.在一些实施例中，对于第二损失，由于第二损失是表征真值与预测值之间的相似度，所以该预设收敛条件可以包括相似度阈值，如果第二损失中的相似度大于或者等于相似度阈值，那么说明第二损失满足预设收敛条件。在一些可能的实现方式中，该相似度阈值也可以是按照热图像重建网络对性能的需求设定的。
70.在一些可能的实现方式中，通过第一损失和第二损失共同对待训练热图像重建网络中各个模块的网络参数进行调整。其中，通过第一损失对待训练热图像重建网络中编码器进行优化，通过第二损失对待训练热图像重建网络整体的网络参数进行优化，得到已训练热图像重建网络。
71.本技术实施例中，获取低分辨率的第一样本热图像和第一样本热图像对应的超分辨率的第二样本热图像之后，引入第三样本热图像和第四样本热图像，通过能够引入与第一样本热图像像素级不对应的第三样本热图像，和，与第二样本热图像像素级不对应的第四样本热图像，从而能够丰富输入的样本。之后，通过将作为正样本的第一样本热图像和第三样本热图像，与作为负样本的第二样本热图像和第四样本热图像进行比对，得到能够表征不同热图像之间的差异的第一损失。并且，通过第二样本热图像和待训练热图像重建网络输出的预测热图像，确定第二损失；该预测热图像是针对第一样本热图像进行超分辨率预测得到的，这样，第二损失能够表征真实的超分辨率热图像即第二样本热图像与预测热图像之间的相似度；最后，通过该第一损失和第二损失对待训练热图像重建网络进行训练，
得到已训练热图像重建网络；如此，通过用于对比不同样本热图像的第一损失对待训练热图像重建网络进行训练，使得已训练热图像重建网络能够对像素级不对应的样本热图像进行对比学习，从而提高已训练热图像重建网络对配准不佳数据的适应能力；而且通过第二样本热图像和预测热图像之间的第二损失对待训练热图像重建网络进行训练，由于第二损失中考虑了第二样本热图像和预测热图像之间的差异，所以在训练过程中，能够引入更多的图像特征，使得待训练热图像重建网络学习更多的图像特征，进而提高已训练热图像重建网络进行超分辨率热图像重建的性能。
72.在一些实施例中，通过对第一样本热图像和第二样本热图像进行旋转或平移，以得到与第一样本热图像之间像素级不对应的第三样本热图像，以及，与第二样本热图像之间像素级不对应的第四样本热图像，能够丰富训练过程中的正样本和负样本，即上述步骤s102可以通过以下步骤s121和s122(图示未示出)实现：
73.步骤s121，对所述第一样本热图像进行至少一次旋转或平移，得到至少一帧第三样本热图像。
74.在一些实施例中，采集到第一样本热图像之后，在第一样本热图像中，对该第一样本热图像进行旋转或者平移，或，先旋转再平移等，得到变化后的第三样本热图像。
75.在一些实施例中，在第一样本热图像中，通过第一样本热图像进行一次旋转或平移，得到一帧第三样本热图像。这样，第三样本热图像的分辨率、尺寸均与第一样本热图像相同，而且第三样本热图像和第一样本热图像中的画面内容相同，但是第一样本热图像和第三样本热图像中像素级不对应。在训练过程中，需要第一损失中第三样本热图像和第一样本热图像的图像特征之间的距离越小越好。
76.步骤s122，对所述第二样本热图像进行至少一次旋转或平移，得到至少一帧第四样本热图像。
77.在一些实施例中，采集到二样本热图像之后，在第二样本热图像中，对该第二样本热图像进行旋转或者平移，或，先旋转再平移等，得到变化后的多帧第四样本热图像；第四样本热图像可以是三帧以及三帧以上。由于第一样本热图像和第二样本热图像是针对同一对象采集的不同分辨率的热图像，所以第二样本热图像中的对象与第一样本热图像中的对象相同。通过对第二样本热图像进行随机的旋转或平移，实现对不同图像中对像素级不对应数据的模拟，从而得到像素级不对应的第四样本热图像和第二样本热图像。这样，第四样本热图像的分辨率、尺寸均与第二样本热图像相同，而且第四样本热图像和第二样本热图像中的对象相同，但是第四样本热图像中像素与第二样本热图像中的像素不对应，如此，通过对第二样本热图像进行平移或旋转，得到与第一样本热图像配准不佳的第四样本热图像，这样，第四样本热图像能够作为第一样本热图像的负样本。在一些可能的实现方式中，第四样本热图像的帧数大于第三样本热图像的帧数，这样，使得作为正样本的第三样本热图像的帧数小于作为负样本的第四样本热图像的帧数，从而利用较多的负样本进行比对学习，更有助于提高模型适应数据配准不佳的能力。在训练过程中，由于第四样本热图像作为第一样本热图像的负样本，所以需要第一损失中第四样本热图像和第一样本热图像的图像特征之间的距离越大越好。
78.上述步骤s121和s122，通过在第一样本热图像中对对象进行旋转或平移，得到第三样本热图像，从而丰富与第一样本热图像相似的正样本；通过在第二样本热图像中对对
象进行旋转或平移，得到第四样本热图像，从而丰富与第一样本热图像不同的负样本。如此，通过对第一样本热图像和第二样本热图像进行旋转或平移，得到与第一样本热图像的像素级不对应的至少一帧第三样本热图像，以及与第二样本热图像的像素级不对应的多帧第四样本热图像，模拟了两个相机在同时拍摄时不能完全重叠，导致拍摄的视角略有不同造成像素级不对应的场景；从而便于在后续训练过程中，使得网络对不同的样本进行对比学习，从而能够使得网络不受配准不佳数据的影响。
79.在一些实施例中，通过采用不同的编码器对不同样本进行特征提取，使得第一损失能够通过对提取到的图像特征进行对象学习，即上述步骤s103可以通过图2所示的步骤实现：
80.步骤s201，采用所述待训练热图像重建网络中的第一编码器对所述第一样本热图像和所述第三样本热图像进行特征提取，得到第一图像特征和第三图像特征。
81.在一些实施例中，第一编码器用于对低分辨率的热图像进行特征提取，即第一编码器用于对第一分辨率的热图像进行特征提取。该第一编码器包括卷积模块和下采样模块，其中，卷积模块可以包括至少一个卷积层(比如，一个)用于对输入的热图像进行特征提取，下采样模块用于对卷积模块输出的图像特征进行下采样以及继续提取特征，从而得到最终的图像特征。
82.在一些可能的实现方式中，在待训练热图像重建网络中，第一编码器可以是与该网络的输入模块相接，这样第一分辨率的样本热图像(比如，第一样本热图像和第三样本热图像)从输入模块输入之后，可进入该第一编码器；该第一编码器之前还可以是连接双三次插值函数，该双三次插值函数用于对输入模块输入的样本热图像进行双三次插值，以提高样本热图像的维度，之后，将维度提高后的样本热图像输入到编码器中进行特征提取。
83.步骤s202，采用与所述第一编码器不共享权重的第二编码器对所述第四样本热图像进行特征提取，得到第二图像特征和第四图像特征。
84.在一些实施例中，第二编码器与第一编码器结构相同，但是与第一编码器不共享权重，这样第二编码器可以认为是辅助编码器，用于对第二样本热图像和第四样本热图像进行特征提取。第二编码器对第四样本热图像进行特征提取的实现过程，与第一编码器对第一样本热图像和第三样本热图像进行特征提取的过程相同，即通过第二编码器中的卷积模块对输入的热图像进行特征提取，之后，通过下采样模块对卷积模块输出的图像特征进行下采样以及继续提取特征，从而得到最终的图像特征。
85.步骤s203，基于所述第一图像特征、所述第三图像特征和所述第四图像特征，确定所述第一损失。
86.在一些实施例中，通过确定第一图像特征分别与第三图像特征和第四图像特征的相似度，将两个相似度进行对比得到该第一损失。即分析第一图像特征和第三图像特征之间的相似度，以及第一图像特征和多个第四图像特征之间的相似度，通过确定两个相似度之间的差异，得到该第一损失。这样，第一损失能够表征来源不同的样本热图像之间的差异，从而使得网络能够对不同来源的样本热图像进行对比学习。
87.在本技术实施例中，通过采用不同的编码器分别对第一样本热图像和第三样本热图像，以及第四样本热图像进行特征提取，使得第四图像特征，与第一图像特征和第三图像特征之间是独立的，降低了不同来源的数据之间的干扰；并且，通过将第一图像特征分别与
第三图像特征和第四图像特征结合，确定用于对比学习的第一损失，从而能够通过第一损失使得待训练热图像重建网络对不同来源的样本热图像进行对比学习，提高网络的适应能力。
88.在一些实施例中，通过对不同分辨率的图像特征进行对比，构建第一损失，即上述步骤s203可以通过以下步骤s231至步骤s233(图示未示出)实现：
89.步骤s231，确定所述第一图像特和所述第三图像特征之间的第一相似度。
90.在一些实施例中，第一相似度可以是一个或多个相似度之和，如果第三图像特征为一个，那么第一相似度即为一个；如果第三图像特征为多个，那么第一相似度为第一图像特征与每一第三图像特征的相似度之和。
91.在一些可能的实现方式中，该第一相似度可以是第一图像特征和第三图像特征之间的特征距离，比如，两个特征向量之间的余弦距离。在第三图像特征为1个，还可以是通过先对第一图像特征和第三图像特征进行相乘，将相乘结果作为指数，以e为底，将这样的结果作为两个特征之间的第一相似度。由于第一图像特征来源于第一样本热图像，第三图像特征来源于第三样本热图像，而且第三样本热图像是对第一样本热图像进行旋转或平移得到的，所以可以理解为第一图像特征和第三图像特征来源相似，所以该第一相似度越大越好。
92.步骤s232，确定所述第一图像特征与所述第四图像特征之间的第二相似度。
93.在一些实施例中，第二相似度可以是一个或多个相似度之和，如果第四图像特征为一个，那么第二相似度即为一个；如果第四图像特征为多个，那么第一相似度为第一图像特征与每一第四图像特征的相似度之和。
94.在一些可能的实现方式中，第二相似度的确定方式与第一相似度的确定方式相同。即可以通过第一图像特征与第四图像特征之间的特征距离表征第二相似度，该特征距离越大说明两个特征之间的相似度越小。还可以是通过第一图像特征与第四图像特征的指数表示第二相似度。由于第四图像特征来源于第四样本热图像，而且第四样本热图像是对第二样本热图像进行旋转或平移得到的，第二样本热图像与第一样本热图像的来源不同，所以可以理解为第一图像特征和第四图像特征来源不相似，所以该第二相似度越小越好。
95.步骤s233，对所述第一相似度和所述第二相似度进行对比，得到所述第一损失。
96.在一些实施例中，第一相似度和第二相似度的表示形式相同，比如，第一相似度和第二相似度均通过特征距离来表示。通过确定两个相似度的比值，得到第一损失。如果第一相似度和第二像素度均是通过指数来表示，那么将两个相似度的比值取对数，作为该第一损失，这样第一损失中能够充分对比不同分辨率的图像特征。
97.在上述步骤s231至步骤s233中，通过确定第一图像特征，分别与第三图像特征和第四图像特征之间的第一相似度和第二相似度来表示，第一样本热图像与分辨率相同的第三样本热图像的相似度，以及第一样本热图像与分辨率不同第四样本热图像之间的相似度；这样通过对比学习未配准的样本热图像，能够使得网络不受配准不佳的样本热图像的影响。
98.在一些实施例中，在通过编码器对热图像进行特征提取之前，对热图像进行维度调整，使得输入编码器的热图像的维度较高，即上述步骤s201之前还包括步骤s211(图示未示出)：
99.步骤s211，分别对所述第一样本热图像和所述第三样本热图像的维度进行调整，得到已调第一样本热图像和已调第三样本热图像。
100.在一些实施例中，在待训练热图像重建网络中，将第一样本热图像和第三样本热图像从输入模块输入之后，进入到双三次插值模块。该双三次插值模块可以通过双三次插值函数实现，通过双三次插值函数对第一样本热图像和第三样本热图像进行双三次插值，以升高第一样本热图像和第三样本热图像的维度，这样，双三次插值模块输出的已调第一样本热图像和已调第三样本热图像，与第一样本热图像的尺寸相同，但是图像中像素维度大于第一样本热图像的像素维度。
101.在步骤s211之后，通过第一编码器对维度调整后的热图像进行特征提取，可以通过以下步骤s212(图示未示出)实现：
102.步骤s212，采用所述第一编码器分别对所述已调第一样本热图像和所述已调第三样本热图像进行特征提取，得到所述第一图像特征和所述第三图像特征。
103.在一些实施例中，在第一编码器中，先对已调第一样本热图像和已调第三样本热图像进行特征提取，再对图像特征进行下采样以及继续提取特征，从而得到第一图像特征和第三图像特征。如此，通过先对输入的第一样本热图像和第三样本热图像进行升维，采用第一编码器对升维后的已调第一样本热图像和已调第三样本热图像进行特征提取，这样使得提取到的图像特征的维度更高，即图像特征的分辨率较高，从而有利于后续对图像特征进行超分辨率重建。
104.在一些可能的实现方式中，通过第一编码器中的各个模块相交互实现对输入的样本热图像的特征提取，即上述步骤s212可以通过以下步骤实现：
105.第一步，采用所述第一编码器中的卷积模块对所述已调第一样本热图像和已调第三样本热图像进行特征提取，得到第一候选特征和第二候选特征。
106.在一些实施例中，第一编码器中的卷积模块可以通过两层卷积层实现(比如，相连接的两层3
×
3的卷积层)，将已调第一样本热图像和已调第三样本热图像输入第一个卷积层进行特征提取，输出提取到的特征至第2个卷积层，再次进行特征提取，得到第一候选特征和第二候选特征。
107.第二步，采用所述第一编码器中的下采样模块对所述第一候选特征和所述第二候选特征进行下采样，得到所述第一图像特征和所述第三图像特征。
108.在一些实施例中，下采样模块可以是至少一个，比如，第一编码器中包括三个相连接的下采样模块；其中，每一下采样模块的结构相同，可以通过残差块构成的卷积网络结构。卷积模块将第一候选特征和第二候选特征输入到第一个下采样模块中进行下采样以及再次特征提取，之后，第一个下采样模块将结果输入到第二个下采样模块中进行下采样以及再次特征提取，第二个下采样模块将结果输入到第三个下采样模块中进行下采样以及再次特征提取，最终得到的图像特征即为第一图像特征和第三图像特征。如此，通过卷积层对升维后的调第一样本热图像和已调第三样本热图像进行特征提取，并通过采样模块对提取的候选特征进行下采样，使得到的第一图像特征和第三图像特征中特征维度较高且特征尺寸较小，实现在尺寸较小的特征中包括高维度的丰富特征。
109.在一些实施例中，通过第一编码器对第一样本热图像进行特征提取之后，继续输入到该网络的解码器中，以实现对第一样本热图像的超分辨率重建，从而得到预测的超分
辨率图像，即预设热图像，可以通过以下步骤实现：
110.第一步，在所述第一编码器对应的解码器中，对所述第一样本热图像的第一图像特征进行超分辨率重建，得到已重建热图像。
111.在一些实施例中，第一编码器对应的解码器可以理解为是与第一编码器的结构对称的解码器，即用于对第一编码器输出的结果进行解码的解码器。按照第二分辨率，通过该解码器先对输入的第一图像特征进行上采样，之后，通过卷积模块对上采样的特征进行重建，从而得到已重建热图像。
112.第二步，将所述已重建热图像和所述第一样本热图像对应的已调第一样本热图像进行融合，得到所述预测热图像。
113.在一些实施例中，在已重建热图像的基础上结合原始的升维后的已调第一样本热图像，得到该预测热图像。比如，在升维后的已调第一样本热图像的基础上补充已重建热图像，以使得预测热图像中的分辨率较高，尽量接近第二分辨率，即使得预测热图像尽量与第二样本热图像相似。
114.上述第一步和第二步，通过与第一编码器匹配的解码器，对编码器输出的图像特征进行超分辨率重建，并结合维度升高的已调第一样本热图像，预测第一样本热图像对应的超分辨的热图像，这样使得预测热图像中能够充分考虑原始的第一样本热图像中的图像特征，提高预设热图像的准确度。
115.在一些可能的实现方式中，通过解码器的各个模块相交互实现对第一编码器输入的图像特征的解码，从而得到已重建热图像，即上述第一步中“在所述第一编码器对应的解码器中，基于所述第二分辨率对所述第一样本热图像的第一图像特征进行超分辨率重建，得到具有所述第二分辨率的已重建热图像”可以通过以下步骤a和b实现：
116.步骤a，采用所述解码器中的上采样模块对所述第一图像特征进行上采样，得到上采样特征。
117.这里，通过解码器中的上采样模块对所述第一图像特征进行上采样，使得上采样特征的尺寸恢复到编码器的卷积模块输出的图像特征的尺寸。该上采样模块与编码器中下采样模块相对应，如果下采样模块有三个，那么上采样模块也是三个，与下采样模块一一对应。上采样模块也是由残差块构成的卷积网络结构。这样，如果在编码器中，通过三个下采样模块对卷积模块提取的特征进行连续三次的下采样，那么在该解码器中按照与下采样模块相同的尺寸进行连续三次的上采样，使得上采样特征恢复到编码器的卷积模块输出的图像特征的尺寸。
118.步骤b，采用所述解码器中的重建模块对所述上采样特征进行重建，得到所述已重建热图像。
119.这里，解码器中的重建模块可以通过至少一个卷积层来实现。比如，该重建模块也可以通过两个相连接的3
×
3的卷积层来实现。这样，通过两个相连接的3
×
3的卷积层依次对表示上采样特征的向量进行卷积，以实现将该特征重建热图像。如此，通过采用与编码器结构对称的解码器先对输入的第一图像特征进行上采样，再对上采样特征进行图像重建，即可得到超分辨率的已重建热图像。这样，由于第一图像特征来源于升维的已调第一样本热图像，使得第一图像特征的分辨率大于第一分辨率，这样，通过对高分辨率的第一图像特征进行上采样并重建，可得到分辨率高于第一样本热图像的已重建热图像，进而使得通过
该已重建热图像得到的预测热图像更接近于第二样本热图像，以提高网络进行超分辨率热图像重建的准确度。
120.在一些实施例中，通过分析预测热图像与作为真值的第二样本热图像之间的差异，以及引入两类热图像中的图像特征之间的相似度来确定第二损失，从而使得第二损失能够在网络中引入更多的细节特征，即上述步骤s104可以通过图3a所示的步骤实现：
121.步骤s301，基于所述第二样本热图像和所述预测热图像，确定表征图像之间差异的基础损失。
122.在一些实施例中，首先，分别确定表示第二样本热图像的矩阵和表示预测热图像的矩阵；然后，确定两各矩阵之间的差值；这样，将该差值作为表征图像之间差异的基础损失。如此，该基础损失能够表示预测值和真值之间的相似度。在训练的过程中，希望该基础损失能够越小越好，该基础损失越小说明真值和预测值之间的差异越小，进而说明热图像重建网络进行超分辨率热图像重建的准确率越高。
123.步骤s302，基于所述第二样本热图像的第二图像特征和所述预测热图像的预测特征，确定表征特征之间相似度的特征损失。
124.在一些实施例中，首先，分别确定表示二图像特征的向量和表示预测热图像的预测特征的向量；然后，确定两个向量之间的余弦距离；最后，通过多个第二图像特征和多个预测热图像的预测特征，得到多个余弦距离，对这多个余弦距离进行逐元素求和，即可得到表征特征之间相似度的特征损失。这样，在网络训练过程中，引入作为真值的第二图像特征与预测值的预测特征之间的特征损失，能够在网络中增强细节特征。
125.步骤s303，将所述基础损失和所述特征损失，确定为所述第二损失。
126.在一些实施例中，在该基础损失的基础上增加特征损失，能够在第二损失中引入细节特征，从而实现对细节特征的增强。
127.在本技术实施例中，通过基础损失表示预测值与真值之间的差异，在基础损失的基础上，增加真值与预测值的特征之间的特征损失，如此，将基础损失和特征损失相结合来调整热图像重建网络的网络参数，使得热图像重建网络能够学习到更多的细节特征，进而使得训练好的热图像重建网络恢复重建出的热图像具有更丰富的细节特征。
128.在一些实施例中，通过实现对比学习的第一损失对网络中的编码器进行优化，通过引入特征损失的第二损对整个网络参数进行优化，从而得到已训练热图像重建网络，即上述步骤s105可以通过以下步骤s151和s152(图示未示出)实现：
129.步骤s151，采用所述第一损失，对所述待训练热图像重建网络中的第一编码器和第二编码器的结构参数进行调整，得到中间热图像重建网络。
130.在一些实施例中，第一编码器和第二编码器的结构相同，该结构参数包括：卷积核的权重、下采样模块的权重以及编码器的编码率等。通过对不同来源的第三样本热图像以及第四样本热图像进行比对学习，得到第一损失，采用该第一损失反向传播，以优化第一编码器和第二编码器的结构参数，使得第一编码器和第二编码器对样本和标签配准不佳的数据也能够准确编码，从而使得网络能够适应配准不佳的数据。
131.步骤s152，采用所述第二损失对所述中间热图像重建网络的网络参数进行调整，得到所述已训练热图像重建网络。
132.在一些实施例中，中间热图像重建网络的网络参数包括：权重和学习率等。通过将
基础损失和特征损失相结合对整个网络的网络参数进行优化，这样，在训练过程中，通过基础损失的反向传播使得已训练热图像重建网络能够重建更加准确的超分辨率热图像，通过特征损失的反向传播使得已训练热图像重建网络能够重建出更多的细节信息。
133.上述步骤s151和s152，利用对不同分辨率的样本热图像进行对比学习的第一损失来增强待训练热图像重建网络中的编码器，从而使已训练热图像重建网络不受配准不佳数据的影响；而且在第二损失中引入真值和预测值之间的特征损失，通过增加特征损失优化待训练热图像重建网络的整体网络参数，从而使已训练热图像重建网络重建出的热图像细节更加丰富，准确率更高。
134.在一些可能的实现方式中，通过采用不同的传感器对同一预设对象进行热图像采集，得到第一样本热图像和第二样本热图像，即上述步骤s101可以通过以下步骤s111和s112(图示未示出)实现：
135.步骤s111，采用第一分辨率传感器对预设对象进行热图像采集，得到所述第一样本热图像。
136.在一些实施例中，第一分辨率传感器可以是具有第一分辨率的热图像相机，通过该热图像相机对预设对象进行热图像采集，得到第一分辨率的第一样本热图像。该预设对象可以是指画面中的前景图案，比如，如果第一样本热图像是在道路场景下采集的热图像，那么该预设对象可以是采集的热图像中的道路或者道路上的车辆等；如果第一样本热图像是在校园场景下采集的教学楼的热图像，那么该对象可以是图像中的教学楼；如果第一样本热图像是采集的人物的热图像，那么该预设对象可以是图像中的人。
137.步骤s111，采用第二分辨率传感器对所述预设对象进行热图像采集，得到所述第二样本热图像。
138.在一些实施例中，第二分辨率传感器可以是具有第二分辨率的热图像相机，即超分辨率热图像相机，通过该超分辨率热图像相机对预设对象进行热图像采集，得到第二分辨率的第二样本热图像。这样，第二样本热图像能够作为第一样本热图像重建的超分辨率的热图像，即第一样本热图像在第二分辨率下的真值标签，从而第一样本热图像和第二样本热图像可以看成是一对配准的数据。如此，在后续的处理过程中，通过对第一样本热图像和第二样本热图像中对象进行旋转或平移，得到第三样本热图像和第四样本热图像，所以能够把第一样本热图像和第四样本热图像看成是未配准的数据。
139.上述步骤s111和s112中，通过采用不同分辨率的传感器对同一预设对象进行热图像采集，能够得到画面中对象相同且分辨率不同的两个样本热图像，这样，第二样本热图像可作为第一样本热图像在第二分辨率下的真值标签；如此，使得第一样本热图像和作为真值标签的第二样本热图像更加匹配。
140.本技术实施例提供一种热图像重建方法，如图3b所示，图3b为本技术实施例提供的一种热图像重建方法的实现流程示意图，该方法包括如下步骤s31至步骤s35：
141.步骤s31，获取待超分辨率重建的第一热图像。
142.在一些实施例中，第一热图像为需要进行超分辨率重建的热图像。第一热图像可以是对任意场景采集的热图像，可以是背景复杂的热图像还可以是背景简单的热图像。第一热图像可以是通过热图像采集装置(比如，热图像相机)采集得到的，还可以是接收的其他设备发送的热图像。
143.步骤s32，在已训练热图像重建网络中，对所述第一热图像的维度进行调整，得到已调第一热图像。
144.在一些实施例中，所述已训练热图像重建网络为经过上述实施例中提供的训练方式训练得到的。已训练热图像重建网络包括：输入模块、维度调整的模块(比如，双三次插值模块)、编码器、解码器以及输出模块；其中，将待超分辨率重建的第一热图像通过该已训练热图像重建网络的输入模块输入已训练热图像重建网络，然后从输入模块输出至维度调整的模块，通过该模块中的双三次插值函数对第一热图像进行升维，得到维度高于第一热图像的已调热图像，进而说明该已调热图像的分辨率也高于第一热图像。
145.步骤s33，对所述已调第一热图像进行特征提取，得到待重建图像特征。
146.在一些实施例中，已训练热图像重建网络的维度调整的模块将已调第一热图像输出至编码器，在该编码器中对已调第一热图像进行特征提取，得到该图像特征。
147.步骤s34，基于所述已训练热图像重建网络中的超分辨率，对所述待重建图像特征进行超分辨率重建，得到已重建超分辨率热图像。
148.在一些实施例中，已训练热图像重建网络的编码器将图像特征输出至解码器，在该解码器中对已重建特征进行解码，得到已重建超分辨率图像。在该解码器中，对输入的待重建特征进行上采样以及卷积操作，从而实现对待重建图像特征的超分辨率重建，得到重建后的超分辨率热图像，即已重建超分辨率热图像；这样，已重建超分辨率热图像的分辨率即为已训练热图像重建网络对应的超分辨率，即上述实施例中的第二分辨率。
149.步骤s35，基于所述已重建超分辨率热图像和所述已调第一热图像，确定分辨率高于所述第一热图像的分辨率的第二热图像。
150.在一些实施例中，第二热图像为通过已训练热图像重建网络对第一热图像预测的超分辨率的热图像，即第二热图像中画面的对象与第一热图像中画面的对象相同，但是第二热图像的分辨率高于第一热图像的分辨率。解码器将超分辨率重建后的已重建超分辨率热图像输出至输出模块，在输出模块中，将已重建超分辨率热图像和已调第一热图像相结合，从而能够通过已调第一热图像对已重建超分辨率热图像进行优化。比如，通过已调第一热图像中的画面内容对已重建超分辨率热图像的画面内容进行细节补充等，使得输出的第二热图像的准确率更高。
151.在本技术实施例中，对于获取的任一第一热图像，采用训练好的已训练热图像重建网络对该第一热图像进行超分辨率重建；由于在训练过程中该已训练热图像重建网络通过对比学习能够适应配准不佳的数据而且通过引入特征损失使得已训练热图像重建网络能够重建丰富的细节信息；这样，通过已训练热图像重建网络对待重建图像特征进行超分辨率重建，将得到的已重建超分辨率热图像与已调第一热图像相结合，使得超分辨率重建的第二热图像具有更多的细节信息而且准确度较高。
152.下面说明本技术实施例提供的热图像重建网络的训练方法在实际场景中的应用，以针对重建超分辨率的热图像为例进行说明。
153.热成像相机的制作材料十分昂贵、制作工艺十分复杂，如果想要提高热成像相机的分辨率，从硬件层面上进行改进的成本非常高。因此，热成像超分辨率技术是让高质量热成像降低成本、广泛面向民用的关键。
154.在真实的热成像超分辨率场景下，通常用到的训练数据是来自不同热成像传感器
的，由于相机参数的不同，这些训练数据的像素并不是一一对应的。对训练数据进行配准，是热图像超分模型训练的一个关键步骤，数据配准的好坏直接影响着训练出来的模型的性能。这样，如果数据不能被完全的配齐，配准不佳的数据会影响和限制热图像超分辨率模型的性能。
155.基于此，本技术实施例提供一种热图像重建网络的训练方法，利用u型超分网络(对应于上述实施例中的热图像重建网络)来解决热成像超分辨率网络中存在的域间漂移导致超分性能下降的问题。通过构建正负样本，利用对比学习优化网络的编码器部分，使得u型超分网络拥有对配准不佳数据更好地适应能力，从而解决配准不佳数据带来的网络性能下降的问题。并且利用特征损失，解决网络重建的超分辨热图像中细节信息较少的问题。
156.本技术实施例提供一种热图像重建网络的训练方法可以通过图4所示的步骤实现：
157.步骤s401，对低分辨率热图像进行随机旋转或平移生成调整后的热图像。
158.这里，低分辨率热图像i
lr
可以是上述实施例中的第一样本热图像；调整后的热图像可以是上述实施例中的已调第一样本热图像。
159.步骤s402，将低分辨率热图像和调整后的热图像输入到u型超分网络的编码器，得到编码后的低分辨率特征和调整后的低分辨率特征。
160.这里，编码后的低分辨率特征对应于上述实施例中的第一图像特征，可以表示为f
lr
；调整后的低分辨率特征对应于上述实施例中的第三图像特征，第三图像特征可以表示为
161.在进行步骤s401和s402的同时，对高分辨率热图像i
hr
进行处理，如步骤s403和s404所示。
162.步骤s403，对高分辨率热图像进行随机旋转或平移生成三帧调整后的高分辨率热图像。
163.这里，高分辨率热图像i
hr
可以是上述实施例中的第二样本热图像。三帧调整后的高分辨率热图像对应于上述实施例中的第四样本热图像。
164.步骤s404，将高分辨率热图像和三帧调整后的高分辨率热图像输入到辅助编码器，得到辅助编码后的高分辨率图像特征和三个已调整的高分辨率特征。
165.这里，将高分辨率热图像i
hr
和三帧调整后的高分辨率热图像输入到辅助编码器，得到高分辨率图像特征和三个已调整的高分辨率特征，分别表示为f
hr
，
166.步骤s405，利用低分辨率特征，调整后的低分辨率特征和三个已调整的高分辨率特征确定比对损失。
167.这里，利用低分辨率特征f
lr
，调整后的低分辨率特征三个已调整的高分辨率特征确定比对损失l
con
。
168.步骤s406，将比对损失反向传播以调整u型超分网络的编码器。
169.在步骤s402之后，在u型超分网络中继续对编码器输出的编码特征进行解码处理，
即进入步骤s407。
170.步骤s407，采用解码器对低分辨率特征进行解码，得到u型超分网络输出的预测热图像。
171.这里，预测热图像可以表示为i
sr
。
172.步骤s408，基于预测热图像和高分辨率热图像，确定基础损失和特征损失。
173.这里，基于i
sr
和i
hr
，确定l1和l
cx
。
174.步骤s409，将基础损失和特征损失反向传播以调整u型超分网络的网络参数。
175.上述步骤s406和步骤s409可以是交替执行的，通过步骤s406调整u型超分网络的编码器，通过步骤s409调整u型超分网络的整体网络参数。
176.在一些实施例中，u型超分网络的架构如图5所示，该网络架构中包括：编码器501、解码器502和双三次插值模块503，其中，编码器501包括：3
×
3卷积层51，1
×
1卷积层52，以及三个下采样的通用模块(ccommon block)53、54和55；其中，首先，采用双三次插值模块503对输入的低分辨率热图像500进行双三次插值得到i
lbic
，以提高低分辨率热图像的维度；之后，将提高维度之后的低分辨率热图像输入3
×
3卷积层51中进行特征提取，并提取后的特征再输入到1
×
1卷积层52中继续进行特征提取，之后，将1
×
1卷积层52提取到的特征输入到通用模块，通过通用模块53、54和55对输入的特征进行下采样和特征提取，得到图像尺寸较小但是维度较高的图像特征；并将该图像特征输入到解码器502。
177.解码器502包括：三个上采样的通用模块(ccommon block)56、57和58，以及两个3
×
3卷积层504和505；其中，通过通用模块56、57和58对输入的图像特征进行上采样以及解码，并将上采样后的特征输入到3
×
3卷积层504和505中，通过3
×
3卷积层504和505对输入的特征进行高分辨率重建，得到已重建热图像；之后，通过已重建热图像和维度升高之后的低分辨率热图像进行融合，得到该u型网络预测的超分辨率热图像506。
178.在一些实施例中，为使得u型超分辨网络能够容忍配准不佳数据，本技术实施例引入对比学习来对网络中的编码器进行增强。如图6所示，可以通过以下过程实现：
179.对于一个训练低分辨热图像数据i
lr
61(即采集的低分辨率的热图像，比如，第一分辨率的样本热图像)，首先，通过随机旋转或平移62来生成一些与真实标签i
hr
像素不匹配的图像集合601(包括至少一帧图像)；然后，这些图像集合601输入网络的编码器63中会得到特征向量同时i
lr
输入编码器中也会得到一个特征向量f
lr
；f
lr
和共同构成了正样本64。显然，f
lr
和越相似越好，因为f
lr
和来自于同一幅图像，只是像素不匹配的程度不同。为了让f
lr
和更相似，本技术实施例引入负样本65，让负样本65与f
lr
之间的距离越大越好，所以引入一个辅助编码器66，辅助编码器和编码器的结构相同，但是权重并不共享。这样，真实标签i
hr
67(即采集的高分辨率的样本热图像，比如，第二分辨率的样本热图像)通过旋转或平移62，生成图像集合602(如图6所示，可以得到三帧热图像)；通过辅助编码器66对图像集合602进行特征提取，得到(即负样本65的图像特征)。由于i
hr
和i
lr
来自不同的传感器，所以f
lr
和之间的距离越大越好。利用f
lr
，和确定比对损失603并对其进行优化，如此使得编码器不受配准不佳数据的影响，能够获取到有利于超分重建的特征。对比损失l
con
如公
式(1)所示：
[0180][0181]
在公式(1)中，b表示一个训练过程中批次中图像的数量，τ表示一个超参数。
[0182]
在一些实施例中，为了进一步增强重建超分辨图像的细节信息，这里引入特征损失和预测的超分辨热图像和真实超分辨热图像之间的基础损失，通过预训练好的卷积神经网络(比如，视觉几何组(visual geometry group，vgg16)对超分辨图像和真实样本进行特征提取，然后利用超分辨图像的特征与真实样本的特征计算特征损失，从而实现对细节特征的增强。特征损失l
cx
如公式(2)所示：
[0183][0184]
在公式2中，cosine()用于确定向量之间的余弦距离。
[0185]
预测的超分辨热图像和真实超分辨热图像之间的基础损失如公式(3)所示：
[0186][0187]
在公式2中，k表示样本图像的总帧数。
[0188]
在本技术实施例中，利用u型超分网络来进行低分辨特征的提取和编码，从而得到超分辨率的热图像，同时利用对比学习来增强编码器，从而使网络不受配准不佳数据的影响，而且增加特征损失优化网络，从而使恢复重建出的图像具有更多的细节特征。
[0189]
基于前述的实施例，本技术实施例提供一种热图像重建装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(central processing unit，cpu)、微处理器(microprocessor unit，mpu)、数字信号处理器(digital signal processor，dsp)或现场可编程门阵列(field programmable gate array，fpga)等。
[0190]
图7为本技术实施例提供的一种热图像重建网络的训练装置的组成结构示意图，如图7所示，热图像重建网络的训练装置700包括：
[0191]
第一获取模块701，用于获取第一分辨率的第一样本热图像和所述第一样本热图像对应的第二分辨率的第二样本热图像；其中，所述第二分辨率高于所述第一分辨率；
[0192]
第一调整模块702，用于分别对所述第一样本热图像和所述第二样本热图像进行调整，得到第三样本热图像和第四样本热图像；
[0193]
第一确定模块703，用于在待训练热图像重建网络中，基于所述第一样本热图像、所述第三样本热图像和所述第四样本热图像，确定用于对比不同样本热图像的第一损失；
[0194]
第二确定模块704，用于基于所述第二样本热图像和预测热图像，确定第二损失；其中，所述预测热图像为所述待训练热图像重建网络预测的所述第一样本热图像在所述第二分辨率下的热图像；
[0195]
第一训练模块705，用于基于所述第一损失和所述第二损失，对所述待训练热图像重建网络进行训练，使得已训练热图像重建网络输出的损失满足预设收敛条件。
[0196]
在一些实施例中，所述第一调整模块702，包括：第一调整子模块，用于对所述第一样本热图像进行至少一次旋转或平移，得到至少一帧第三样本热图像；第二调整子模块，用于对所述第二样本热图像进行至少一次旋转或平移，得到至少一帧第四样本热图像。
[0197]
在一些实施例中，所述第一确定模块703，包括：第一提取子模块，用于采用所述待训练热图像重建网络中的第一编码器对所述第一样本热图像和所述第三样本热图像进行特征提取，得到第一图像特征和第三图像特征；第二提取子模块，用于采用与所述第一编码器不共享权重的第二编码器对所述第四样本热图像进行特征提取，得到第四图像特征；第一确定子模块，用于基于所述第一图像特征、所述第三图像特征和所述第四图像特征，确定所述第一损失。
[0198]
在一些实施例中，所述第一确定子模块，包括：第一确定单元，用于确定所述第一图像特和所述第三图像特征之间的第一相似度；第二确定单元，用于确定所述第一图像特征与所述第四图像特征之间的第二相似度；第一比对单元，用于对所述第一相似度和所述第二相似度进行对比，得到所述第一损失。
[0199]
在一些实施例中，所述装置还包括：第二调整模块，用于分别对所述第一样本热图像和所述第三样本热图像的维度进行调整，得到已调第一样本热图像和已调第三样本热图像；所述第一提取子模块，还用于：采用所述第一编码器分别对所述已调第一样本热图像和所述已调第三样本热图像进行特征提取，得到所述第一图像特征和所述第三图像特征。
[0200]
在一些实施例中，所述第一提取子模块，包括：第一提取单元，用于采用所述第一编码器中的卷积模块对所述已调第一样本热图像和已调第三样本热图像进行特征提取，得到第一候选特征和第二候选特征；第一下采样单元，用于采用所述第一编码器中的下采样模块对所述第一候选特征和所述第二候选特征进行下采样，得到所述第一图像特征和所述第三图像特征。
[0201]
在一些实施例中，所述装置还包括：第一重建模块，用于在所述第一编码器对应的解码器中，对所述第一样本热图像的第一图像特征进行超分辨率重建，得到已重建图像；第一融合模块，用于将所述已重建热图像和所述第一样本热图像对应的已调第一样本热图像进行融合，得到所述预测热图像。
[0202]
在一些实施例中，所述第一重建模块，包括：第一上采样子模块，用于采用所述解码器中的上采样模块对所述第一图像特征进行上采样，得到上采样特征；第一重建子模块，用于采用所述解码器中的重建模块对所述上采样特征进行重建，得到所述已重建热图像。
[0203]
在一些实施例中，所述第二确定模块704，包括：第二确定子模块，用于基于所述第二样本热图像和所述预测热图像，确定表征图像之间差异的基础损失；第三确定子模块，用于基于所述第二样本热图像的第二图像特征和所述预测热图像的预测特征，确定表征特征之间相似度的特征损失；第四确定子模块，用于将所述基础损失和所述特征损失，确定为所述第二损失。
[0204]
在一些实施例中，所述第一训练模块705，包括：第三调整子模块，用于采用所述第一损失，对所述待训练热图像重建网络中的第一编码器和第二编码器的结构参数进行调整，得到中间热图像重建网络；第四调整子模块，用于采用所述第二损失对所述中间热图像重建网络的网络参数进行调整，得到所述已训练热图像重建网络。
[0205]
在一些实施例中，所述第一获取模块701，包括：第一采集子模块，用于采用第一分
辨率传感器对预设对象进行热图像采集，得到所述第一样本热图像；第二采集子模块，用于采用第二分辨率传感器对所述预设对象进行热图像采集，得到所述第二样本热图像。
[0206]
本技术实施例提供一种图像重建装置，如图8所示，图8为本技术实施例提供的一种热图像重建装置的组成结构示意图，热图像重建装置800包括：
[0207]
获取模块801，用于获取待超分辨率重建的第一热图像；
[0208]
调整模块802，用于在已训练热图像重建网络中，对所述第一热图像的维度进行调整，得到已调第一热图像；其中，所述已训练热图像重建网络为经过上述所述的方法训练得到的；
[0209]
提取模块803，用于对所述已调第一热图像进行特征提取，得到待重建图像特征；
[0210]
重建模块804，用于基于所述已训练热图像重建网络中的超分辨率，对所述待重建图像特征进行超分辨率重建，得到已重建超分辨率热图像；
[0211]
确定模块805，用于基于所述已重建超分辨率热图像和所述已调第一热图像，确定分辨率高于所述第一热图像的分辨率的第二热图像。
[0212]
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0213]
需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的热图像重建网络的训练方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
[0214]
本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0215]
本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
[0216]
本技术实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0217]
本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，
sdk)等等。
[0218]
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0219]
需要说明的是，图9为本技术实施例提供的一种计算机设备的硬件实体示意图，如图9所示，该计算机设备900的硬件实体包括：处理器901、通信接口902和存储器903，其中：
[0220]
处理器901通常控制计算机设备900的总体操作。
[0221]
通信接口902可以使计算机设备通过网络与其他终端或服务器通信。
[0222]
存储器903配置为存储由处理器901可执行的指令和应用，还可以缓存待处理器901以及计算机设备900中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。处理器901、通信接口902和存储器903之间可以通过总线904进行数据传输。
[0223]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0224]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0225]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0226]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0227]
另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0228]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0229]
或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0230]
以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。