基于TESRGAN网络的超分辨率重构井下图像方法、系统、设备、介质与流程

基于tesrgan网络的超分辨率重构井下图像方法、系统、设备、介质
技术领域
1.本发明涉及图像识别技术领域，具体来说是一种基于tesrgan网络的超分辨率重构 井下图像方法、系统、设备、介质。


背景技术：

2.采矿工业是一种重要的原料工业,关系到国家的经济命脉。矿山开采的同时容易诱 发地表沉陷等地质灾害，造成环境污染。矿山充填是防止地表塌陷的有效手段，国内外 对已对矿山充填技术进行了大量的研究与应用。
3.常见充填技术主要有分级尾砂充填、全尾砂胶结充填、废石胶结充填、膏体泵送胶 结充填、磨砂胶结充填、赤泥胶结充填、高水固化胶结充填、少量的天然砂胶结充填和 干式充填等，均是以泥沙和石块等作为骨料，与胶结剂和水混合形成高浓度的砂浆，经 管道输送至采空区。由于泥沙、石块等骨料硬度高、流速快，管道内壁承受着高速冲刷， 磨损非常严重。
4.由于矿井管道承受着非常高的输送压力，随着管道内部的磨损，充填管道不可避免 会发生爆裂、跑浆、泄漏等现象，已成为影响矿井充填系统正常运转的最主要的安全问 题。由于充填系统的管道工况恶劣，磨损较快，管路磨损破裂事故随机性大，国内外尚 无成熟的充填管路泄漏监测预测预控技术，目前主要靠投入大量人力，采用人工巡检的 方式检测管道是否泄漏。但是矿井环境十分复杂，不仅光线昏暗，而且充满了粉尘，这 个的环境对于目标检测充满了难度，其中的丁达尔效应也严重影响对于测距的准确性。
5.申请号为cn201911292854.0公开的一种超分辨率图像重构方法系统计算机设备及 存储介质，该方法将轻量化网络的倒置残差块中的批量归一化层移除，并使用swish函 数作为激活函数，倒置残差块包括扩张卷积层、深度可分离卷积层和压缩卷积层；根据 处理后的倒置残差块和基于高效的亚像素卷积神经网络的亚像素卷积层，构建生成器网 络；根据稠密网络，构建判别器网络；根据生成器网络和判别器网络，构建生成对抗神 经网络；利用训练集对生成对抗神经网络进行训练；利用训练后的生成对抗神经网络对 待处理图像进行超分辨率图像重构。本发明可以解决在实时检测算法中加入基于生成对 抗神经网络超分辨率图像重构技术，造成严重延时和模型占用空间大等问题。该方法虽 然采用了对抗网络的技术，但是采用该方法获得的模型复杂度高，算法重建性差，语意 捕捉能力差。


技术实现要素：

6.本发明所要解决的技术问题在于如何针对井下图片，提供一种计算量小、图片识别 精度高的方法。
7.本发明通过以下技术手段实现解决上述技术问题的：
8.1、基于tesrgan网络的超分辨率重构井下图像方法，tesrgan网络包括生成网络和 判别网络；其特征在于，所述生成网络包括若干个残差密集块rdb，每个残差密集块网 络内
激活函数，w表示一组权重，f(x，w)表示需要学习的残差映射，h(x)表示恒等映射。
26.进一步的，所述步骤3具体过程为：
27.经过上采样层，即对放大后的图像进行上采样池化处理，采用meta-upscale上采 样处理，即有：
28.i
sr
(i,j)＝φ(f
lr
(i',j'),w(i,j))
29.其中f
lr
表示由特征学习模块提取的特征，并假定缩放因子是r；对于图像上的每 个像素(i,j)，都认为lr图像上像素(i',j')的特征与一组相应卷积滤波器的权重所共同 决定；
30.之后通过location projection、weight prediction、feature mapping三个模块， 完成对不同的放缩大小的权值计算，以及在任意尺度下完成输出像素和lr特征图上的 对应；
31.其中location projection的计算对应公式如下：
[0032][0033]
而权重预测weight prediction在网络中是通过构建了两层全链接层和relu来实 现的，用于预测的输入如下式所示：
[0034][0035]
feature mapping中通过乘以权值得到最后的输出，使用双三次插值，先构建 bicubic函数，
[0036][0037]
其中a＝0.5，像素位置a
ij
＝w(x)
×
w(y)，即要分别求取x，y方向的w，然后相乘 作为权重；之后的计算就是对所得值进行加权，即可求出(u,v)的像素值。
[0038]
与上述方法对应的，所述生成网络包括若干个残差密集块rdb，每个残差密集块网 络内部包含两个卷积层 leakyrelu，以及一个残差边；所述判别网络包括不断重复的卷 积层 leakyrelu和标准化bn；包括：
[0039]
特征向量矩阵生成模块，将低分辨率图像输入参数设定好的生成网络后经过一层卷 积；
[0040]
非线性映射模块，然后经过若干个残差密集块rdb，进行非线性映射；
[0041]
图像重构模块，经非线性映射模块处理过的图像进入上采样部分以及卷积层，将长 宽进行放大，重构图像；
[0042]
分类模块，将重构图像与真实图像混合输入判别网络，得出线性二分类结果，并将 分类结果输入生成网络；
[0043]
对抗网络生成模块，循环步骤1至步骤4生成对抗过程，得到具有生成高分辨率图 像的生成网络g，将生成的高分辨率图像输入revgrad无监督迁移学习网络，利用 revgrad
无监督迁移学习网络进行分类识别训练，得出最后识别结果。
[0044]
进一步的，所述特征向量矩阵生成模块具体执行过程为：
[0045]
低分辨率图像lr输入tesrgan网络后被分割为多个图像块，通过卷积层将图像表 示成多个多维的向量，之后利用表示的多维向量来组成特征向量矩阵，生成网络的第一 层卷积层表示为：
[0046]
f1(y)＝max(0,w1×
y b1)
[0047]
其中y是输入的低分辨率图像，w1为滤波器，b1为偏置，且w1＝c
×
f1×
f1×
n1，其 中c是通道数量，f1是滤波器大小，n1是卷积滤波器数量。
[0048]
进一步的，所述非线性映射模块具体执行过程为：经过特征向量矩阵生成模块中所 得到的特征向量矩阵n1，通过卷积操作实现非线性映射，非线性映射的结果是将n1维 度特征向量矩阵变换为n2维度特征向量矩阵,采用残差网络映射，将其学习到的特征标 记为h(x)，则残差映射的定义为：
[0049][0050]
其中表示残差单元的输出，r(x)表示残差单元结构的函数，函数σ表示的是relu 激活函数，w表示一组权重，f(x，w)表示需要学习的残差映射，h(x)表示恒等映射。
[0051]
进一步的，所述图像重构模块具体执行过程为：
[0052]
经过上采样层，即对放大后的图像进行上采样池化处理，采用meta-upscale上采 样处理，即有：
[0053]isr
(i,j)＝φ(f
lr
(i',j'),w(i,j))
[0054]
其中f
lr
表示由特征学习模块提取的特征，并假定缩放因子是r；对于图像上的每 个像素(i,j)，都认为lr图像上像素(i',j')的特征与一组相应卷积滤波器的权重所共同 决定；
[0055]
之后通过location projection、weight prediction、feature mapping三个模块， 完成对不同的放缩大小的权值计算，以及在任意尺度下完成输出像素和lr特征图上的 对应；
[0056]
其中location projection的计算对应公式如下：
[0057][0058]
而权重预测weight prediction在网络中是通过构建了两层全链接层和relu来实 现的，用于预测的输入如下式所示：
[0059][0060]
feature mapping中通过乘以权值得到最后的输出，使用双三次插值，先构建 bicubic函数，
[0061]
[0062]
其中a＝0.5，像素位置a
ij
＝w(x)
×
w(y)，即要分别求取x，y方向的w，然后相乘 作为权重；之后的计算就是对所得值进行加权，即可求出(u,v)的像素值。
[0063]
与上述方法对应的，本发明还提供一种处理设备，包括至少一个处理器，以及与所 述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序 指令，所述处理器调用所述程序指令能够执行上述的方法。
[0064]
与上述方法对应的，本发明还提供一种计算机可读存储介质，所述计算机可读存储 介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
[0065]
本发明的优点在于：
[0066]
本发明提供的基于tesrgan网络的超分辨率重构井下图像方法，该方法包括将在井 下相对恶劣环境下收集到的低分辨率图片输入tesrgan网络中，先经过生成网络通过特 征提取和提高分辨率，即通过残差模型进行非线性映射，再通过上层采样层和卷积层， 得到根据真实图像数据重构生成的高分辨率图像数据，再通过同时将真实数据与生成的 数据输入tesrgan网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像 特征，通过特征向量的比较获得loss值，将结果反馈给生成网络，完成生成对抗的学 习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。重 构之后作为目标域数据经过迁移学习得出诊断结果。
[0067]
本实施例的方法，优点在于：
[0068]
第一，移除了所有的bn层，降低模型复杂度，提高算法的重建性。
[0069]
第二，用leakyrelu函数代替relu函数作为网络的非线性激活函数，避免梯度消 失。
[0070]
第三，引入残差密集块rdb构成网络的基本单元(以前常用的srgan网络用的是rb)， rdb有更深更复杂的结构，同时具有残差网络和密集连接的优势，就会使整个网络有更 深更强的语意捕捉能力，生成的图像就更准确，提高对图像特征的信息利用。
附图说明
[0071]
图1为本发明实施例中基于tesrgan网络的超分辨率重构井下图像方法的步骤流 程图；
[0072]
图2为本发明实施例中基于tesrgan网络的超分辨率重构井下图像方法的 tesrgan网络模块图；
[0073]
图3为本发明实施例中基于tesrgan网络的超分辨率重构井下图像方法中的 revgrad无监督迁移学习网络流程图。
具体实施方式
[0074]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例， 对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在 没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0075]
如图2所示，本实施例公开一种基于tesrgan网络的超分辨率重构井下图像方法， tesrgan网络包括生成网络和判别网络；其中生成网络包括若干个残差密集块rdb，每 个残
差密集块网络内部包含两个卷积层 leakyrelu，以及一个残差边；判别网络包括不 断重复的卷积层 leakyrelu和标准化bn；方法包括以下步骤，如图1所示：
[0076]
步骤一，将低分辨率图像输入参数设定好的生成网络后经过一层卷积；
[0077]
步骤二，然后经过若干个残差密集块rdb，进行非线性映射；
[0078]
步骤三，经步骤2处理过的图像进入上采样部分以及卷积层，将长宽进行放大，重 构图像；
[0079]
步骤四，将重构图像与真实图像混合输入判别网络，得出线性二分类结果，并将分 类结果输入生成网络；
[0080]
步骤五，循环步骤1至步骤4生成对抗过程，得到具有生成高分辨率图像的生成网 络g，将生成的高分辨率图像输入revgrad无监督迁移学习网络，利用revgrad无监督 迁移学习网络进行分类识别训练，得出最后识别结果。
[0081]
下面针对上述各个步骤进行详细描述：
[0082]
在步骤一中，包括如下步骤：
[0083]
低分辨率图像lr输入后被分割为多个图像块，通过卷积层将图像表示成多个多维的 向量，之后利用表示的多维向量来组成特征向量矩阵，生成网络的第一层卷积层表示 为：
[0084]
f1(y)＝max(0,w1×
y b1)
[0085]
其中y是输入的低分辨率图像，w1为滤波器，b1为偏置，且w1＝c
×
f1×
f1×
n1，其 中c是通道数量，f1是滤波器大小，n1是卷积滤波器数量。
[0086]
在步骤二中，包括如下步骤：
[0087]
经过步骤一中所得到的特征向量矩阵n1，(表示为n1维度特征向量矩阵)，通过 卷积操作实现非线性映射，非线性映射的结果是将n1维度特征向量矩阵变换为n2维度 特征向量矩阵，本实施例采用残差网络映射，将其学习到的特征标记为h(x)，则残差 映射的定义为：
[0088]
f(x)＝h(x)-x
[0089]
一个残差单元的基本公式可以表示为：
[0090][0091]
其中表示残差单元的输出，r(x)表示残差单元结构的函数，函数σ表示的是relu 激活函数，w表示一组权重，f(x，w)表示需要学习的残差映射，h(x)表示恒等映射。
[0092]
在步骤三中，包括如下步骤：
[0093]
经过上采样层，即对放大后的图像进行上采样池化处理，本发明采用meta-upscale 上采样处理，即有：
[0094]isr
(i,j)＝φ(f
lr
(i',j'),w(i,j))
[0095]
其中f
lr
表示由特征学习模块提取的特征，并假定缩放因子是r；对于图像上的每 个像素(i,j)，都认为lr图像上像素(i',j')的特征与一组相应卷积滤波器的权重所共同 决定；
[0096]
之后通过location projection、weight prediction、feature mapping三个模块， 完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和lr特征图上
的 对应。
[0097]
其中location projection的计算对应公式如下：
[0098][0099]
而权重预测weight prediction在网络中是通过构建了两层全链接层和relu来实现 的，用于预测的输入如下式所示：
[0100][0101]
feature mapping中通过乘以权值得到最后的输出，我们可以使用双三次插值，先 构建bicubic函数，
[0102][0103]
其中a＝0.5，像素位置a
ij
＝w(x)
×
w(y)，即要分别求取x，y方向的w，然后相乘 作为权重；之后的计算就是对所得值进行加权，即可求出(u,v)的像素值。
[0104]
在步骤三中，包括如下步骤：
[0105]
由步骤二中得到的n2大小的向量，其代表的hr的图像块，将用于重构还原高分辨 率的图像。步骤三中的卷积层将表示为：
[0106]
f2(y)＝max(0,w2×
y b2)
[0107]
其中b2是c维度的向量，w2＝c
×
f2×
f2×
n2。
[0108]
在步骤四中，包括如下步骤：
[0109]
1.tesrgan网络在传统高分辨率处理网络的基础上将大量bn层进行了剔除处理，且 为了避免gan网络生成对抗的梯度消失问题，将一般的relu函数替换成了leakyrelu， 作为网络的非线性激活函数，其中leakyrelu函数的数学公式表达如下：
[0110]
y＝max(0,x) a
×
min(0,x)
[0111]
其中，x为输入，y为输出，a是一个范围在(0，1)的实数。
[0112]
tesrgan网络判别网络以vgg19网络为基本架构，分为特征提取和线性分类两个模 块。
[0113]
特征提取部分包含16个卷积层，每个卷积层后面都采用加上一个leakyrelu作为网 络的非线性激活函数，并且在除了第一层卷积层之外，之后的每一层卷积层后面都采用 加上使用bn层。
[0114]
2.同时为了避免gan中最容易出现的训练过程中的梯度消失问题，本发明在tesrgan 网络中摒弃了传统网络中使用的全连接层，而使用全局平均池化层(gap)，用来对特 征提取模块中最后获得的每一层的特征图进行平均值像素的计算，再将计算所得的结果 值线性混合之后输入sigmoid函数中去，做二分类结果判断，得出真实或生成的判断结 果，同时得出生成图像与真实图像的loss值，将结果一并反馈给上述生成网络中去， 从而提高生成网络的生成能力特性。
[0115]
3.tesrgan网络中的损失函数通过感知函数l
per
，纹理函数l
tex
，内容损失l
con
，对 抗损失l
adv
四个损失函数结合，作为训练生成网络的目标函数，最后其损失函数的数学 表达式如下：
[0116]
lg＝l
per
l
tex
λl
adv
ηl
con
[0117]
其中，λ，η为平衡不同损失函数的系数。
[0118]
4.根据信息守恒，要使得生成的图像与原始真实低分辨率的图像之间的信息保持一 致，我们使用经典的f-散度(f-divergence)来度量生成数据分布与原真实数据之间 的距离，两分布之间的f-散度(f-divergence)定义为如下形式：
[0119][0120]
上式对原数据分布和生成数据分布之间的差异进行度量时，必须满足以下的前提条 件：
[0121]
①
f(1)＝0
[0122]
②
f是一个凸函数
[0123]
即当原数据分布和生成数据分布是一致的时候，其比值为1，并且其两者相应的散 度为0。同时由于任意满足条件f(1)＝0的凸函数，都可以衍生一种gan的目标函数， 这样就在很大程度上拓展了标准gan。但实际操作过程中，并不能准确地求出数据分布 的函数形式，所以我们采用f-gan的变分估计的方法来估计模型的参数，用计算的方法 将上式给估计出来。其求解过程及数学其形式如下式所示：
[0124][0125]
将其带入f-散度(f-divergence)的定义式当中去，可以得到：
[0126][0127]
其中，t(x)的表达式为：
[0128][0129][0130]
tesrgan网络通过首先最大化等式(9)关于t(x)的下界，然后最小化近似的散度，使 得生成器学到的分布更加类似于真实数据的分布。
[0131]
在步骤五中，包括如下步骤：
[0132]
如图3所示，由于通过tesrgan网络生成的高分辨率的图像信息与原始真实数据信 息具有相同的信息与分布，故将其作为迁移学习的目标域，经过以生成对抗思想为基础 的revgrad无监督迁移学习网络，进行二分类判别学习，得到最后的识别分类结果。
[0133]
本实施例提供的基于tesrgan网络的超分辨率重构井下图像方法，该方法包括将
在 井下相对恶劣环境下收集到的低分辨率图片输入tesrgan网络中，先经过生成网络通过 特征提取和提高分辨率，即通过残差模型进行非线性映射，再通过上层采样层和卷积层， 得到根据真实图像数据重构生成的高分辨率图像数据，再通过同时将真实数据与生成的 数据输入tesrgan网络判别网络，由判别网络分辨生成数据和真实数据，获取两种图像 特征，通过特征向量的比较获得loss值，将结果反馈给生成网络，完成生成对抗的学 习过程，不断优化生成网络的分辨率重构能力，最后得到超分辨率的重构井下图像。重 构之后作为目标域数据经过迁移学习得出诊断结果。
[0134]
本实施例的方法，优点在于：
[0135]
第一，移除了所有的bn层，降低模型复杂度，提高算法的重建性。
[0136]
第二，用leakyrelu函数代替relu函数作为网络的非线性激活函数，避免梯度消 失。
[0137]
第三，引入残差密集块rdb构成网络的基本单元(以前常用的srgan网络用的是rb)， rdb有更深更复杂的结构，同时具有残差网络和密集连接的优势，就会使整个网络有更 深更强的语意捕捉能力，生成的图像就更准确，提高对图像特征的信息利用。
[0138]
因为网络结构的变化，所以损失函数也相应的变化，既感知损失，纹理损失，内容 损失，对抗损失，这四个值的加权就是总的损失函数值。
[0139]
本实施例采用生成对抗的思想，利用信息守恒，对模糊低分辨率图像进行重构清晰 处理，从而有效的解决了井下采集数据环境复杂，光线昏暗，充满粉尘，丁达尔效应严 重的问题。
[0140]
与上述方法对应的，本实施例还公开一种基于tesrgan网络的超分辨率重构井下图 像的系统，包括：
[0141]
特征向量矩阵生成模块，将低分辨率图像输入参数设定好的生成网络后经过一层卷 积；
[0142]
非线性映射模块，然后经过若干个残差密集块rdb，进行非线性映射；
[0143]
图像重构模块，经步骤2处理过的图像进入上采样部分以及卷积层，将长宽进行放 大，重构图像；
[0144]
步骤四，将重构图像与真实图像混合输入判别网络，得出线性二分类结果，并将分 类结果输入生成网络；
[0145]
步骤五，循环步骤1至步骤4生成对抗过程，得到具有生成高分辨率图像的生成网 络g，将生成的高分辨率图像输入revgrad无监督迁移学习网络，利用revgrad无监督 迁移学习网络进行分类识别训练，得出最后识别结果。
[0146]
下面针对上述各个步骤进行详细描述：
[0147]
在特征向量矩阵生成模块中，包括如下步骤：
[0148]
低分辨率图像lr输入后被分割为多个图像块，通过卷积层将图像表示成多个多维的 向量，之后利用表示的多维向量来组成特征向量矩阵，生成网络的第一层卷积层表示 为：
[0149]
f1(y)＝max(0,w1×
y b1)
[0150]
其中y是输入的低分辨率图像，w1为滤波器，b1为偏置，且w1＝c
×
f1×
f1×
n1，其 中c是通道数量，f1是滤波器大小，n1是卷积滤波器数量。
[0151]
在非线性映射模块中，包括如下步骤：
[0152]
经过特征向量矩阵生成模块中所得到的特征向量矩阵n1，(表示为n1维度特征向 量矩阵)，通过卷积操作实现非线性映射，非线性映射的结果是将n1维度特征向量矩 阵变换为n2维度特征向量矩阵，本实施例采用残差网络映射，将其学习到的特征标记 为h(x)，则残差映射的定义为：
[0153]
f(x)＝h(x)-x
[0154]
一个残差单元的基本公式可以表示为：
[0155][0156]
其中表示残差单元的输出，r(x)表示残差单元结构的函数，函数σ表示的是relu 激活函数，w表示一组权重，f(x，w)表示需要学习的残差映射，h(x)表示恒等映射。
[0157]
在图像重构模块中，包括如下步骤：
[0158]
经过上采样层，即对放大后的图像进行上采样池化处理，本发明采用meta-upscale 上采样处理，即有：
[0159]isr
(i,j)＝φ(f
lr
(i',j'),w(i,j))
[0160]
其中f
lr
表示由特征学习模块提取的特征，并假定缩放因子是r；对于图像上的 每个像素(i,j)，都认为lr图像上像素(i',j')的特征与一组相应卷积滤波器的权重所共 同决定；
[0161]
之后通过location projection、weight prediction、feature mapping三个模块， 完成对不同的放缩大小的权值计算的以及在任意尺度下完成输出像素和lr特征图上的 对应。
[0162]
其中location projection的计算对应公式如下：
[0163][0164]
而权重预测weight prediction在网络中是通过构建了两层全链接层和relu来实现 的，用于预测的输入如下式所示：
[0165][0166]
feature mapping中通过乘以权值得到最后的输出，我们可以使用双三次插值，先 构建bicubic函数，
[0167][0168]
其中a＝0.5，像素位置a
ij
＝w(x)
×
w(y)，即要分别求取x，y方向的w，然后相乘 作为权重；之后的计算就是对所得值进行加权，即可求出(u,v)的像素值。
[0169]
在图像重构模块中，包括如下步骤：
[0170]
由非线性映射模块中得到的n2大小的向量，其代表的hr的图像块，将用于重构还 原高分辨率的图像。步骤三中的卷积层将表示为：
[0171]
f2(y)＝max(0,w2×
y b2)
[0172]
其中b2是c维度的向量，w2＝c
×
f2×
f2×
n2。
[0173]
在分类模块中，包括如下步骤：
[0174]
1.tesrgan网络在传统高分辨率处理网络的基础上将大量bn层进行了剔除处理，且 为了避免gan网络生成对抗的梯度消失问题，将一般的relu函数替换成了leakyrelu， 作为网络的非线性激活函数，其中leakyrelu函数的数学公式表达如下：
[0175]
y＝max(0,x) a
×
min(0,x)
[0176]
其中，x为输入，y为输出，a是一个范围在(0，1)的实数。
[0177]
tesrgan网络判别网络以vgg19网络为基本架构，分为特征提取和线性分类两个模 块。
[0178]
特征提取部分包含16个卷积层，每个卷积层后面都采用加上一个leakyrelu作为网 络的非线性激活函数，并且在除了第一层卷积层之外，之后的每一层卷积层后面都采用 加上使用bn层。
[0179]
2.同时为了避免gan中最容易出现的训练过程中的梯度消失问题，本发明在tesrgan 网络中摒弃了传统网络中使用的全连接层，而使用全局平均池化层(gap)，用来对特 征提取模块中最后获得的每一层的特征图进行平均值像素的计算，再将计算所得的结果 值线性混合之后输入sigmoid函数中去，做二分类结果判断，得出真实或生成的判断结 果，同时得出生成图像与真实图像的loss值，将结果一并反馈给上述生成网络中去， 从而提高生成网络的生成能力特性。
[0180]
3.tesrgan网络中的损失函数通过感知函数l
per
，纹理函数l
tex
，内容损失l
con
，对 抗损失l
adv
四个损失函数结合，作为训练生成网络的目标函数，最后其损失函数的数学 表达式如下：
[0181]
lg＝l
per
l
tex
λl
adv
ηl
con
[0182]
其中，λ，η为平衡不同损失函数的系数。
[0183]
4.根据信息守恒，要使得生成的图像与原始真实低分辨率的图像之间的信息保持一 致，我们使用经典的f-散度(f-divergence)来度量生成数据分布与原真实数据之间 的距离，两分布之间的f-散度(f-divergence)定义为如下形式：
[0184][0185]
上式对原数据分布和生成数据分布之间的差异进行度量时，必须满足以下的前提条 件：
[0186]
①
f(1)＝0
[0187]
②
f是一个凸函数
[0188]
即当原数据分布和生成数据分布是一致的时候，其比值为1，并且其两者相应的散 度为0。同时由于任意满足条件f(1)＝0的凸函数，都可以衍生一种gan的目标函数， 这样就在很大程度上拓展了标准gan。但实际操作过程中，并不能准确地求出数据分布 的函数形式，所以我们采用f-gan的变分估计的方法来估计模型的参数，用计算的方法 将上式给估计出来。其求解过程及数学其形式如下式所示：
[0189][0190]
将其带入f-散度(f-divergence)的定义式当中去，可以得到：
[0191][0192]
其中，t(x)的表达式为：
[0193][0194][0195]
tesrgan网络通过首先最大化等式(9)关于t(x)的下界，然后最小化近似的散度，使 得生成器学到的分布更加类似于真实数据的分布。
[0196]
在对抗网络生成模块中，包括如下步骤：
[0197]
由于通过tesrgan网络生成的高分辨率的图像信息与原始真实数据信息具有相同的 信息与分布，故将其作为迁移学习的目标域，经过以生成对抗思想为基础的revgrad无 监督迁移学习网络，进行二分类判别学习，得到最后的识别分类结果。
[0198]
本实施例还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接 的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器 调用所述程序指令能够执行上述的方法。
[0199]
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指 令，所述计算机指令使所述计算机执行上述的方法。
[0200]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对 本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或 者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。