红外图像降噪方法和装置与流程

1.本技术涉及红外图像处理技术领域，并且更具体地，涉及一种红外图像降噪方法和装置。


背景技术：

2.近红外成像技术实现了低光照情况下的图像采集，如用于监控摄像头的夜间拍摄等，因此受到越来越多领域的关注和重视。但由于近红外图像传感器的物理缺陷，导致近红外图像噪声较大、灰度集中、对比度低，使得近红外图像的视觉效果很差，需要对近红外图像进行降噪处理。
3.目前，常用的近红外图像降噪方法通常只关注整体图像降噪，比较少关注于人脸降噪，也就是说，使用当前的降噪方法即使对红外图像降噪完成也很难辨认降噪后与降噪前是同一人，造成人脸失真，不利于后续人脸识别等图像处理工作。
4.因此，亟需一种红外图像降噪方法使降噪后的人脸还能保持自有的五官特征，从而提高人脸识别模型的鲁棒性。


技术实现要素：

5.本技术实施例提供了一种红外图像降噪方法，以解决上述包括人脸五官特征的红外图像在降噪前后出现人脸失真的问题。
6.第一方面，提供了一种红外图像降噪方法，包括：获取待降噪的红外图像，所述待降噪的红外图像包括人脸五官特征；将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸五官特征进行权重分布后进行降噪处理。
7.基于本技术实施例的方案，通过在对待降噪的红外图像降噪过程中，对人脸五官特征进行加权分布，以强化人脸五官特征，从而减少降噪后的图像出现人脸失真的情况。
8.在一些可能的实施方式中，所述红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块；所述编码模块用于提取所述待降噪的红外图像的特征，以得到中间特征图；所述人脸五官专注模块用于对所述中间特征图的人脸五官特征进行权重分布，以加强所述中间特征图的人脸五官特征，得到人脸五官特征图；所述编码模块用于结合所述人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到所述输出图像。
9.应理解，编码模块也可以理解为执行下采样的模块，用于提取待降噪红外图像的特征，以获得中间特征图，该中间特征图包括待降噪红外图像的浅层特征信息。人脸五官专注模块可以理解为将中间特征图中的人脸五官特征先提取出来，然后对该人脸五官特征进行加权处理，以增强人脸五官的像素值，得到权重分布不同的特征图，即人脸五官特征图。解码模块也可以理解为执行上采样的模块，用于还原对待降噪红外图像进行降噪后的红外图像，在还原的过程中融合上述人脸五官特征图，可以减少对人脸五官的影响，从而保留更
多的人脸五官特征。
10.通过本技术实施例的方案，采用人脸五官专注模块，可以通过权重分布强调红外图像中人脸五官的特征细节，然后再将强调人脸五官的特征图与上采样获得的图片做融合达到专注的效果，从而减少难以辨认降噪前后的人为同一人的情况。
11.在一些可能的实施方式中，所述编码模块包括卷积层，所述卷积层用于对所述待降噪的红外图像进行卷积运算得到所述中间特征图；所述编码模块包括反卷积层，所述反卷积层用于对所述人脸五官特征图与所述中间特征图进行反卷积运算得到所述输出图像。
12.在一些可能的实施方式中，所述编码模块包括的卷积层的层数为3。
13.在一些可能的实施方式中，所述方法还包括：获取红外图像训练样本，所述红外图像训练样本为对原始红外图像进行加噪后的红外图像，所述红外图像样本包括人脸五官特征；利用所述红外图像训练样本训练所述红外图像降噪模型。
14.应理解，红外图像训练样本至少为1个，一般地，训练样本越多，训练后的红外图像降噪模型更准确。
15.在一些可能的实施方式中，所述利用所述红外图像训练样本训练所述红外图像降噪模型包括：利用所述红外图像训练样本和损失函数训练所述红外图像降噪模型，所述损失函数包括身份保存项，所述身份保存项用于使得所述输出图像与所述红外图像训练样本在特征空间上属于同一人。
16.应理解，损失函数越小，红外图像降噪模型的准确率越高。
17.通过本技术实施例中，在损失函数中加入上述身份保存项，可以使得训练好的降噪模型尽可能保证红外图像在降噪前后人脸的相似度。
18.在一些可能的实施方式中，所述身份保存项l1为：其中，y为所述红外图像训练样本，为所述输出图像。
19.在一些可能的实施方式中，所述损失函数还包括：回归项、保存脸部特征损失项和图像结构相似性损失项；所述回归项用于确保所述输出图像与所述红外图像训练样本在像数上的一致性。所述保存脸部特征损失项用于使得所述输出图像与所述红外图像训练样本在像数上属于同一人；所述图像结构相似性损失项用于使得所述输出图像与所述红外图像训练样本在结构上的相似性。
20.在一些可能的实施方式中，所述回归项l2为：其中，y
i
为所述原始红外图像，为所述输出图像；
21.所述保存脸部特征损失项l3为：其中，y
n
为所述原始红外图像的五官图像，为所述输出图像的五官图像；
22.所述图像结构相似性损失项l4为：其中，μ
m
和μ
n
分
别为所述原始红外图像和所述输出图像的像素值，δ
mn
为所述原始红外图像和所述输出图像的像素值的协方差，δ
m
和δ
n
分别为所述原始红外图像和所述输出图像的像素值的标准差，c1和c2为常数。
23.第二方面，提供了一种红外图像降噪的装置，包括获取单元，用于获取待降噪的红外图像，所述待降噪的红外图像为包括人脸五官特征；处理单元，用于将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸特征进行权重分布后进行降噪处理。
24.在一些可能的实施方式中，所述红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块；所述编码模块用于提取所述待降噪的红外图像的特征，以得到中间特征图；所述人脸五官专注模块用于对所述中间特征图的人脸五官特征进行权重分布，以加强所述中间特征图的人脸五官特征，得到人脸五官特征图；所述解码模块用于结合所述人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到所述输出图像。
25.在一些可能的实施方式中，所述编码模块包括卷积层，所述卷积层用于对所述待降噪的红外图像进行卷积运算得到所述中间特征图；所述解码模块包括反卷积层，所述反卷积层用于对所述人脸五官特征图与所述中间特征图进行反卷积运算得到所述输出图像。
26.在一些可能的实施方式中，所述编码模块包括的卷积层的层数为3。
27.在一些可能的实施方式中，所述获取单元还用于：获取红外图像训练样本，所述红外图像训练样本为对原始红外图像进行加噪后的红外图像，所述红外图像样本包括人脸五官特征；所述处理单元还用于：利用所述红外图像训练样本训练所述红外图像降噪模型。
28.在一些可能的实施方式中，所述处理单元用于具体：利用所述红外图像训练样本和损失函数训练所述红外图像降噪模型，所述损失函数包括身份保存项，所述身份保存项用于使得所述输出图像与所述红外图像训练样本在人脸特征空间上属于同一人。
29.在一些可能的实施方式中，所述身份保存项l1为：其中，y为所述原始红外图像的人脸特征值，为所述输出图像的人脸特征值。
30.在一些可能的实施方式中，所述损失函数还包括：回归项、保存人脸五官特征损失项和图像结构相似性损失项；所述回归项用于确保所述输出图像与所述红外图像训练样本在像素上的一致性。所述保存人脸五官特征项用于使得所述输出图像与所述红外图像训练样本在像素上属于同一人；所述图像结构相似性损失项用于使得所述输出图像与所述红外图像训练样本在结构上的相似性。
31.在一些可能的实施方式中，所述回归项l2为：其中，y
i
为所述原始红外图像的像素值，为所述输出图像的像素值；所述保存脸部特征损失项l3为：
其中，y
n
为所述原始红外图像中五官的像素值，为所述输出图像中五官的像素值；所述图像结构相似性损失项l4为：其中，μ
m
和μ
n
分别为所述原始红外图像和所述输出图像的像素值，δ
mn
为所述原始红外图像和所述输出图像的像素值的协方差，δ
m
和δ
n
分别为所述原始红外图像和所述输出图像的像素值的标准差，c1和c2为常数。
32.第三方面，提供了一种电子设备，包括：上述第二方面或者其任一可能的实施方式中的红外图像降噪的装置。
33.第四方面，提供了一种红外图像降噪的装置，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行上述红外图像降噪的方法。
34.第五方面，提供一种计算机可读存储介质，用于存储程序指令，该程序指令被计算机运行时，该计算机执行上述第一方面或第一方面的任一可能的实现方式中的红外图像降噪的方法。
35.第六方面，提供一种包含指令的计算机程序产品，该指令被计算机执行时使得该计算机执行上述第一方面或第一方面的任一可能的实现方式中的红外图像降噪的方法。
36.具体地，该计算机程序产品可以运行于上述第三方面的电子设备上。
附图说明
37.图1本技术提供的系统架构的结构示意图；
38.图2是根据本技术实施例的一种红外图像降噪方法的示意性流程框图；
39.图3是根据本技术实施例的一种红外图像降噪模型的示意性结构图；
40.图4是根据本技术实施例的一种人脸五官专注模块的结构示意图；
41.图5是根据本技术实施例的一种训练红外图像降噪模型的流程图；
42.图6是是根据本技术实施例的一种红外图像降噪装置的示意性结构框图；
43.图7是根据本技术实施例的一种红外图像降噪装置的硬件结构示意图。
具体实施方式
44.下面将结合附图，对本技术实施例中的技术方案进行描述。
45.本技术实施例可适用于红外图像处理系统，包括但不限于基于红外成像的产品。该红外图像处理系统可以应用于具有红外图像采集装置(如红外遥感相机)的各种电子设备，该电子设备可以为个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、媒体消费设备、可穿戴设备、机顶盒、游戏机、增强现实(augmented reality，ar)ar/虚拟现实(virtual reality，vr)设备，车载终端等，本技术公开的实施例对此不做限定。
46.应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本技术实施例，而非限制本技术实施例的范围。
47.还应理解，在本技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过
程构成任何限定。
48.还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本技术实施例对此并不限定。
49.除非另有说明，本技术实施例所使用的所有技术和科学术语与本技术的技术领域的技术人员通常理解的含义相同。本技术中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本技术的范围。本技术所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
50.为了更好地理解本技术实施例的方案，下面先结合图1对本技术实施例可能的应用场景进行简单的介绍。
51.如图1所示，本技术实施例提供了一种系统架构100。在图1中，数据采集设备160用于采集训练数据。针对本技术实施例的红外图像降噪的方法来说，训练数据可以包括有人脸五官特征的红外图像。
52.在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101。
53.上述目标模型/规则101能够用于实现本技术实施例的红外图像降噪的方法。本技术实施例中的目标模型/规则101具体可以为神经网络。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本技术实施例的限定。
54.根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图1所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑等，还可以是服务器或者云端等。在图1中，执行设备110配置输入/输出(input/output，i/o)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向i/o接口112输入数据，所述输入数据在本技术实施例中可以包括：客户设备140输入的待降噪的红外图像。
55.在一些实施方式中，该客户设备140可以与上述执行设备110为同一设备，例如，客户设备140可以与上述执行设备110均为终端设备。
56.在另一些实施方式中，该客户设备140可以与上述执行设备110为不同设备，例如，客户设备140为终端设备，而执行设备110为云端、服务器等设备，客户设备140可以通过任何通信机制/通信标准的通信网络与执行设备310进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
57.执行设备110的计算模块111用于根据i/o接口112接收到的输入数据(如待降噪的红外图像)进行处理。在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。
58.最后，i/o接口112将处理结果，如上述得到的红外图像降噪结果返回给客户设备140，从而提供给用户。
59.值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训
练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
60.在图1中所示情况下，用户可以手动给定输入数据，该手动给定可以通过i/o接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向i/o接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入i/o接口112的输入数据及输出i/o接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由i/o接口112直接将如图所示输入i/o接口112的输入数据及输出i/o接口112的输出结果，作为新的样本数据存入数据库130。
61.值得注意的是，图1仅是本技术实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。
62.如图1所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本技术实施例中可以是神经网络，具体的，本技术实施例的神经网络可以为卷积神经网络(convolutional neuron network，cnn)、区域卷积神经网络(region cnn，rcnn)或者其它类型的神经网络等等，本技术对此不做具体限定。
63.目前，采用传统的红外图像降噪方法，其主要是针对红外图像的整体降噪，而当红外图像中包括人脸特征时，如果还利用这种整体降噪的方法将很难辨认出降噪前后的图像中是同一人。也就是说，传统的降噪方法很少关注到在降噪过程中保留图像中的人脸五官特征，难以保证降噪前后的图像不失真。
64.基于上述问题，本技术实施例提出了一种红外图像降噪的方法，能够减少降噪前后图像中人脸失真的情况，进而使红外图像降噪后还能辨认出图像中的人是相同的人。
65.下面，结合图2至图5说明本技术实施例提供的红外图像降噪模型架构以及红外图像降噪方法的流程。
66.图2示出了一种红外图像降噪方法200的示意性流程图。可选地，该红外图像降噪方法200的执行主体可以为上文图1中的执行设备110。
67.如图2所示，该红外图像降噪方法200可以包括以下步骤s210和s220。
68.s210，获取待降噪的红外图像，所述待降噪的红外图像包括人脸五官特征。
69.在本技术实施例中，主要是为了保留降噪后的红外图像中的人脸特征能尽可能保留，以减少人脸失真的情况，因此待降噪的红外图像包括人脸五官特征。
70.s220，将待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像，其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对人脸五官特征进行权重分布后进行降噪处理。
71.应理解，对人脸五官特征进行权重分布是为了加强或突出红外图像中的人脸五官特征，可以通过将人脸五官对应的区域设置为权重比较高的部分来实现。
72.一种可选的实施方式，上述红外图像降噪模型的结构如图3所示，该红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块，其中编码模块用于提取待降噪的红外
图像的特征，以得到中间特征图，人脸五官专注模块用于对该中间特征图的人脸五官特征进行权重分布，以加强中间特征图的人脸五官特征，得到人脸五官特征图，编码模块用于结合人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到上述输出图像。
73.需要说明的是，本技术提供的红外图像降噪模型是在unet网络的基础上改进得到。编码模块相当于执行unet网络中下采样的部分，主要用于降低图像尺寸，提取输入图像的特征。解码模块相当于执行unet网络中上采样的部分，用于恢复原分辨率的图像以用于降噪。unet网络在恢复过程中一般通过跳跃连接(skip connection)将下采样获得的特征图与上采样获得的特征图进行融合，添加到反卷积运算中来提高恢复图像的准确度。
74.本技术实施例中，编码模块包括至少一层卷积层，该至少一层卷积层形成卷积层网络，用于对待降噪的红外图像进行卷积运算得到中间特征图，解码模块包括反卷积层，该反卷积层用于对人脸五官特征图与中间特征图进行反卷积运算得到输出图像。
75.在一些实施方式中，至少一层卷积层中的每个卷积层均包括一个或者多个卷积核(kernel)。其中，卷积核也称为滤波器(filter)或者特征检测器(feature detector)。通过在图像上滑动卷积核并计算点乘得到矩阵叫做卷积特征(convolved feature)或者激活图(activation map)或者特征图(feature map)。对于同样的输入图像，不同值的卷积核将会生成不同的特征图，因而通过一个或者多个卷积核，可以得到一张或者多张包括线条特征的第一特征图。通过修改卷积核的数值，可以从红外图像中检测到不同的中间特征图。
76.应理解，上述卷积核可以为3
×
3矩阵，5
×
5矩阵或者其它大小的矩阵，本技术实施例对此不做限定。
77.作为一种优选的实施方式，在本技术实施例中，编码模块中的卷积层的层数可以为三层，每层卷积层中的多个卷积核的大小可以相同或者不同，多个卷积核的卷积步长可以相同或者不同，本技术实施例对此不做限定。
78.通过将卷积层的层数设置为3的方式，能够有效减少模型参数，加快图像处理过程中的计算速度，提高实时性。
79.在本技术实施例中，编码模块和解码模块之间增加的人脸五官专注模型结构如图4所示，首先利用人脸五官遮罩与中间特征图对中间特征图的人脸五官对应的区块画出相应大小的区块来保留像素值，其余区块用屏蔽的方式去除影响数值，然后通过softmax函数找出重要特征(五官特征)后，对重要特征的像素值进行权重分布，得到五官权重图，最后将该五官权重图与中间特征图相乘，得到人脸五官特征图。
80.其中，特征图的像素值表示待降噪红外图像的表面各点与同一点或者同一平面之间距离信息。
81.需要说明的是，中间特征图为经过卷积层后的特征图，五官遮罩可以理解为预定义的五官遮挡模型，即只保留五官(眼睛、鼻子、嘴巴)而将其他特征滤除的模型。
82.作为一种可选的实施方式，经过卷积层后的中间特征图在输入至人脸五官专注模块前，对该中间特征图进行人脸对齐操作，即首先对该中间特征图进行放大或缩小、调整图像位置以使红外图像中的人脸五官与预先设定的人脸五官位置相匹配，通过该人脸对齐操作，可以方便提取图像中人脸的五官特征。
83.因此，通过跳跃连接进行特征融合时，利用上述人脸五官特征图与每层得到的上
采样图片进行反卷积融合，可以使降噪模型专注于人脸细节特征，减少发生红外图像降噪后人脸失真的可能性。
84.作为一种可选的实施方式，红外图像降噪模型还包括第一残差模块和第二残差模块。待降噪的红外图像在经过卷积层提取特征后还要经过第一残差模块再得到中间特征图；经过人脸五官专注模块的人脸五官特征图在经过第二残差模块以后再通过反卷积层进行特征融合。其中，第一残差模块和第二残差模块均可以是resnet网络中的残差块(resnet block)，第一残差模块可以用于保留更多的图像特征；第二残差模块用于还原图像时提高分辨率。
85.通过该实施方式，在编码之后和解码之前加入残差块，能够有效增加网络深度，更好地表征实际红外图像中噪声的特性，得到更好的拟合结果。
86.图5示出了本技术实施例训练红外图像降噪模型的流程图。
87.如图5所示，本技术实施例在训练红外降噪模型时包括以下步骤s510
‑
s550。
88.s510，获取所需红外像图像训练样本。
89.本技术实施例主要对具有人脸五官特征的红外图像进行降噪，因此，所需的红外图像训练样本中必须包括人脸五官特征。
90.作为一种可选的实施方式，首先从数据库中获取至少一张的原始红外图像，该至少一张的原始红外图像中均包括人脸五官特征。本技术对原始红外图像的数量不作限制。对至少一张的原始红外图像进行预处理，即将至少一张的原始红外图像处理为大小相同的红外图像，然后添加随机噪声，形成所需的红外图像训练样本。
91.s520，建立红外图像降噪模型。
92.应理解，红外图像降噪模型的具体结构可根据实际需求来进行设置，本技术实施例对此不作限定。
93.作为一中可选的实施方式，红外图像降噪模型的结构可参见图3。如图3所示的红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块。其中，人脸五官专注模块分别与编码模块中的卷积层和解码模块中的反卷积层相连。
94.具体地，卷积层用于对输入的红外图像训练样本进行卷积运算，获得中间特征图，即可通过卷积层学习到一些特征。人脸五官专注模块将中间特征图中的人脸五官特征进行权重分布，以突出中间特征图的人脸五官特征，得到人脸五官特征图，即该人脸五官特征图中的人脸五官部分的像素值高于除人脸五官部分之外的像素值。反卷积层用于对进入反卷积层的人脸五官特征图进行反卷积运算以得到对红外图像训练样本降噪后的输出图像。
95.应理解，卷积层、人脸五官专注模块和反卷积层的具体层数均可以按照实际需求进行设置。
96.还应理解，本技术实施例通过在红外图像降噪模型中增加人脸五官专注弄快，可以使得降噪后的红外图像更凸显人脸五官特征，从而减少人脸五官失真的情况。
97.本技术实施例的红外图像降噪模型中的卷积层和反卷积层的层数设置为3层，人脸五官专注模块设置为2层，具体可参见图3所示。
98.上述通过将卷积层和反卷积层的层数设置为3来减少模型参数，加快图像处理过程中的计算速度，提高实时性。
99.作为这一种可选的实施方式，在编码模块与人脸五官专注模块之间还包括第一残
差模块，用于保留更多的图像特征；在人脸五官专注模块与解码模块之间包括第二残差模块，用于还原图像时提高分辨率。
100.s530，设置损失函数。
101.一般地，在训练模型之前，需要设置一个损失函数，来度量真实值(ground truth，本技术中的原始红外图像)和利用训练样本模型输出值(本技术中的输出图像)之间的损失，以判断模型训练的程度。
102.本技术实施例中的损失函数为多个优化目标下的损失函数项组合，各个损失函数项定义如下：
103.(1)身份保存项：用于确认人脸在特征空间上的相似度。
104.具体地，将模型输出图像与原始红外图像作为输入，分别通过现有的人脸辨识模型做人脸特征值抽取，进行人脸特征值比得到相似度，只要超过预设阈值，即识别为同一人。可选地，身份保存项可以用余弦相似度计算，该项损失函数为：
[0105][0106]
其中，y为原始红外图像的人脸特征值，为输出图像的人脸特征值。
[0107]
(2)回归项：确保人脸在降噪前后像数上的一致性，该项损失函数
[0108]
为：
[0109][0110]
其中，y
i
为原始红外图像的像素值，为输出图像的像素值。
[0111]
(3)保存人脸五官特征项：利用人脸五官遮罩滤掉除原始红外图像与突出图像中除人脸五官外的特征，将过滤后五官图像的通过均方误差确定五官上的一致性，该项损失函数为：
[0112][0113]
其中，y
n
为原始红外图像中五官的像素值，为输出图像中五官的像素值。
[0114]
(4)图片结构相似项：通过结构相似性(structural similarity，ssim)指标评估图片质量，具体通过亮度、对比度和结构度确保结构上的相似性。该项损失函数为：
[0115][0116]
其中，μ
m
和μ
n
分别为原始红外图像和输出图像的像素值，δ
mn
为原始红外图像和输出图像的像素值的协方差，δ
m
和δ
n
分别为原始红外图像和输出图像的像素值的标准差，c1和c2为常数。
[0117]
综上，本技术实施例中的总损失函数定义为：l＝l1 l2 l3 l4。
[0118]
s540，利用红外图像训练样本和损失函数训练红外图像降噪模型。
[0119]
在本技术实施例中，利用红外图像训练样本训练红外图像降噪模型时，直至损失
函数最小，该模型训练过程完成。
[0120]
图6示出了本技术一个实施例的红外图像降噪的装置600的示意性框图。该装置600可以执行上述本技术实施例的红外图像降噪的方法，例如，该600可以为前述执行装置110。
[0121]
如图6所示，该装置包括：
[0122]
获取单元610，用于获取待降噪的红外图像，所述待降噪的红外图像包括人脸五官特征；
[0123]
处理单元620，用于将所述待降噪的红外图像输入至红外图像降噪模型，得到对所述待降噪的红外图像降噪后的输出图像；其中，所述红外图像降噪模型用于对所述待降噪的红外图像在对所述人脸五官特征进行权重分布后进行降噪处理。
[0124]
可选地，在本技术一个实施例中，所述红外图像降噪模型包括编码模块、人脸五官专注模块和解码模块；所述编码模块用于提取所述待降噪的红外图像的特征，以得到中间特征图；所述人脸五官专注模块用于对所述中间特征图的人脸五官特征进行权重分布，以加强所述中间特征图的人脸五官特征，得到人脸五官特征图；所述编码模块用于结合所述人脸五官特征图和所述中间特征图对所述待降噪的红外图像进行降噪处理，以得到所述输出图像。
[0125]
可选地，在本技术一个实施例中，所述编码模块包括卷积层，所述卷积层用于对所述待降噪的红外图像进行卷积运算得到所述中间特征图；所述解码模块包括反卷积层，所述反卷积层用于对所述人脸五官特征图与所述中间特征图进行反卷积运算得到所述输出图像。
[0126]
可选地，在本技术一个实施例中，所述编码模块包括的卷积层的层数为3。
[0127]
可选地，在本技术一个实施例中，所述获取单元还用于：获取红外图像训练样本，所述红外图像训练样本为对原始红外图像进行加噪后的红外图像，所述红外图像样本包括人脸五官特征；所述处理单元还用于：利用所述红外图像训练样本训练所述红外图像降噪模型。
[0128]
可选地，在本技术一个实施例中，所述处理单元用于具体：利用所述红外图像训练样本和损失函数训练所述红外图像降噪模型。
[0129]
可选地，在本技术一个实施例中，所述损失函数包括身份保存项，所述身份保存项用于使得所述输出图像与所述红外图像训练样本在人脸特征空间上属于同一人。
[0130]
可选地，在本技术一个实施例中，所述身份保存项l1为：所述身份保存项l1为：其中，y为所述原始红外图像的人脸特征值，为所述输出图像的人脸特征值。
[0131]
可选地，在本技术一个实施例中，所述损失函数还包括：回归项、保存人脸五官特征损失项和图像结构相似性损失项；所述回归项用于确保所述输出图像与所述红外图像训练样本在像素上的一致性。所述保存人脸五官特征项用于使得所述输出图像与所述红外图像训练样本在像素上属于同一人；所述图像结构相似性损失项用于使得所述输出图像与所述红外图像训练样本在结构上的相似性。
[0132]
可选地，在本技术一个实施例中，所述回归项l2为：其中，y
i
为所述原始红外图像的像素值，为所述输出图像的像素值；所述保存脸部特征损失项l3为：其中，y
n
为所述原始红外图像中五官的像素值，为所述输出图像中五官的像素值；所述图像结构相似性损失项l4为：其中，μ
m
和μ
n
分别为所述原始红外图像和所述输出图像的像素值，δ
mn
为所述原始红外图像和所述输出图像的像素值的协方差，δ
m
和δ
n
分别为所述原始红外图像和所述输出图像的像素值的标准差，c1和c2为常数。
[0133]
图7是本技术实施例的红外图像降噪装置的硬件结构示意图。图7所示的红外图像降噪装置700(该红外图像降噪装置700具体可以是一种计算机设备)包括存储器710、处理器720、通信接口730以及总线740。其中，存储器710、处理器720、通信接口730通过总线740实现彼此之间的通信连接。
[0134]
存储器710可以是只读存储器(read only memory，rom)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，ram)。存储器710可以存储程序，当存储器710中存储的程序被处理器720执行时，处理器720和通信接口730用于执行本技术实施例的红外图像降噪的方法的各个步骤。
[0135]
处理器720可以采用通用的中央处理器(central processing unit，cpu)，微处理器，应用专用集成电路(application specific integrated circuit，asic)，图形处理器(graphics processing unit，gpu)或者一个或多个集成电路，用于执行相关程序，以实现本技术实施例的红外图像降噪装置中的模块所需执行的功能，或者执行本技术方法实施例的红外图像降噪的方法。
[0136]
处理器720还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本技术的红外图像降噪的方法的各个步骤可以通过处理器720中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器720还可以是通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器710，处理器720读取存储器710中的信息，结合其硬件完成本技术实施例的红外图像降噪装置中包括的模块所需执行的功能，或者执行本技术方法实施例的红外图像降噪的方法。
[0137]
通信接口730使用例如但不限于收发器一类的收发装置，来实现装置700与其他设备或通信网络之间的通信。例如，可以通过通信接口730获取输入数据。
[0138]
总线740可包括在装置700各个部件(例如，存储器710、处理器720、通信接口730)
之间传送信息的通路。
[0139]
应注意，尽管图7所示的装置700仅仅示出了存储器710、处理器720、通信接口740和总线740，但是在具体实现过程中，本领域的技术人员应当理解，装置700还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置700还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置700也可仅仅包括实现本技术实施例所必须的器件，而不必包括图7中所示的全部器件。
[0140]
应理解，红外图像降噪装置700可以与上述图6中的红外图像降噪装置600相对应，红外图像降噪装置600中的处理单元620的功能可以由处理器720实现，获取单元610的功能可以由通信接口730实现。为避免重复，此处适当省略详细描述。
[0141]
本技术实施例还提供了一种处理装置，包括处理器和接口；所述处理器，用于执行上述任一方法实施例中的红外图像降噪的方法。
[0142]
应理解，上述处理装置可以是一个芯片。例如，该处理装置可以是现场可编程门阵列(field
‑
programmable gate array，fpga)，可以是专用集成芯片(application specific integrated circuit，asic)，还可以是系统芯片(system on chip，soc)，还可以是中央处理器(central processor unit，cpu)，还可以是网络处理器(network processor，np)，还可以是数字信号处理电路(digital signal processor，dsp)，还可以是微控制器(micro controller unit，mcu)，还可以是可编程控制器(programmable logic device，pld)或其他集成芯片。
[0143]
本技术实施例还提供一种平台系统，其包括前述的红外图像降噪装置。
[0144]
本技术实施例还提供了一种计算机可读介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例的方法。
[0145]
本技术实施例还提供了一种计算机程序产品，该计算机程序产品被计算机执行时实现上述任一方法实施例的方法。
[0146]
本技术实施例还提供了一种电子设备，该电子设备可以包括上述申请实施例的红外图像降噪装置。
[0147]
例如，电子设备为红外图像成像仪、手机等等需要应用红外图像降噪的设备。所述红外图像降噪装置包括电子设备中用于红外图像降噪的软件以及硬件装置。
[0148]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0149]
在本说明书中使用的术语“单元”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的
数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
[0150]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0151]
在本技术所提供的几个实施例中，应所述理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0152]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0153]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0154]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0155]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。