一种用于糖尿病视网膜病变分类的图像超分辨率重建方法与流程

1.本发明属于医疗图像处理和人工智能技术领域，具体地说，涉及一种用于糖尿病视网膜病变分类的图像超分辨率重建方法。


背景技术：

2.图像超分辨率重建是从低分辨率(lr)图像推断重建出对应的高分辨率(hr)图像的过程，随着深度学习的发展，有监督的超分辨率重建技术成为了计算机视觉领域发展最迅速的方向之一。图像超分辨率重建是一个高度不适定的问题，从低分辨率图像到高分辨率图像之间的空间映射可以有多个解。
3.利用图像分类技术，对糖尿病患者眼底视网膜图像分类，可以实现对糖尿病性视网膜病变的自动诊断。相关研究显示，在图像分辨率相对较低的情况下，利用人工神经网络对眼底图像进行超分辨率重建，可以提升分类结果的正确率，降低对硬件设备的依赖。但是，现有的超分辨重建技术都没有针对眼底视网膜图像进行优化，重建效果有待于进一步提升。


技术实现要素：

4.针对现有技术中上述的不足，本发明提供了一种用于糖尿病视网膜病变分类的图像超分辨率重建方法，以提升对眼底视网膜图像的超分辨率重建效果。
5.为了达到上述目的，本发明采用的解决方案是：一种用于糖尿病视网膜病变分类的图像超分辨率重建方法，包括以下步骤：
6.s1、获取待诊断患者的眼底视网膜图像，获取预先训练完成的超分辨率重建网络，所述超分辨率重建网络包括浅层卷积模块、esf特征提取模块、全局降维融合模块和上采样模块；多个所述esf特征提取模块首尾顺次连接，前一个esf特征提取模块的输出作为下一个esf特征提取模块的输入；
7.s2、利用所述浅层卷积模块对所述眼底视网膜图像进行特征提取，获得一级特征图；
8.s3、将所述一级特征图顺次经过多个所述esf特征提取模块，生成获得二级特征图；其中，所述esf特征提取模块包括特征提取组件、局部融合组件和残差连接，输入所述esf特征提取模块的特征图顺次经过所述特征提取组件和所述局部融合组件生成层级特征图，输入所述esf特征提取模块的特征图通过所述残差连接与所述层级特征图融合后，作为所述esf特征提取模块的输出；
9.s4、提取各个所述esf特征提取模块中生成的层级特征图，将所述二级特征图和各个所述esf特征提取模块中生成的层级特征图输入所述全局降维融合模块，利用所述全局降维融合模块将所述二级特征图与所述层级特征图融合，然后输出得到三级特征图；
10.s5、将所述三级特征图输入所述上采样模块，所述上采样模块输出得到超分重建图像，所述超分重建图像的分辨率大于所述眼底视网膜图像的分辨率。
11.进一步地，所述浅层卷积模块为卷积核大小为3*3的卷积层。
12.进一步地，所述特征提取组件包括拼接操作层和并联的三个分支，第一分支包括顺次连接的第一3*3卷积层和第一relu激活函数，第二分支包括顺次连接的第二3*3卷积层、第二relu激活函数、第三3*3卷积层和第三relu激活函数，第三分支包括顺次连接的第四3*3卷积层、第四relu激活函数、5*5卷积层和第五relu激活函数，所述拼接操作层用于将三个分支输出的特征图在通道方向上拼接起来。其中的3*3卷积层和5*5卷积层表示卷积核大小分别为3*3和5*5。
13.进一步地，所述esf特征提取模块中设有一级空间注意力模块和二级空间注意力模块；所述特征提取组件输出的特征图输入所述一级空间注意力模块后，生成一级空间注意力图，所述一级空间注意力图与所述特征提取组件输出的特征图融合后，得到一级增强特征图；
14.所述二级空间注意力模块同时以所述第一分支输出的特征图、所述第二分支中所述第二relu激活函数输出的特征图、所述第三分支中所述第四relu激活函数输出的特征图作为输入，然后生成输出二级空间注意力图，所述二级空间注意力图与所述一级增强特征图融合后，得到二级增强特征图，所述二级增强特征图作为所述局部融合组件的输入。
15.进一步地，所述一级空间注意力模块可以表示为如下公式：
16.g1＝δ1(f
11
([medp(kf)
‑
meanp(kf),maxp(kf)]))
[0017]
其中，kf表示所述特征提取组件输出的特征图，meanp()表示对特征图在通道方向上做全局平均池化操作，medp()表示对特征图在通道方向上做全局中值池化操作，也就是计算特征图在通道方向上的中位数，maxp()表示对特征图在通道方向上做全局最大池化操作，[
·
]表示对其中的特征图在通道方向上进行拼接操作，f
11
表示卷积核大小为1*1的卷积操作，δ1表示sigmoid激活函数，g1表示所述一级空间注意力图。
[0018]
进一步地，所述二级空间注意力模块的数学模型为：
[0019]
k4＝σ(f
21
([k1,k2,k3]))
[0020]
g2＝δ2(f
31
([meanp(k4),maxp(k4),varp(k4)]))
[0021]
其中，k1表示所述第一分支输出的特征图，k2表示所述第二分支中所述第二relu激活函数输出的特征图，k3表示所述第三分支中所述第四relu激活函数输出的特征图，[
·
]表示对其中的特征图在通道方向上进行拼接操作，f
21
和f
31
均表示卷积核大小为1*1的卷积操作，σ表示非线性激活函数relu，δ2表示sigmoid激活函数，meanp()表示对特征图在通道方向上做全局平均池化操作，maxp()表示对特征图在通道方向上做全局最大池化操作，varp()表示对特征图在通道方向上做全局方差池化操作，也就是计算特征图在通道方向上的方差值，g2表示所述二级空间注意力图。
[0022]
本发明的有益效果是：
[0023]
(1)现有技术中，通常在特征提取模块内部设置残差连接，以避免梯度消失，但同时也使得每个模块输出的特征图中包含了更多的无效干扰信息，在本发明中，输入全局降维融合模块的特征图为残差连接前的层级特征图，而不是残差连接后esf特征提取模块输出的特征图，这样既避免了梯度消失，又能使得输入全局降维融合模块的无效干扰信息相对较少，经过特征融合后，全局降维融合模块输出的特征图中，含有更多的高频信息，这些信息直接决定了最终重建得到的眼底视网膜图像质量；
[0024]
(2)特征提取组件中，第二分支两个串联的3*3卷积等效于卷积核大小为5*5的卷积操作，类似地，第三分支等效于卷积核大小为7*7的卷积操作，利用三个不同大小的卷积核进行特征提取，尽可能多地从不同视野上充分提取信息，然后利用空间注意力模块强调部分重要的区域，从而达到筛分信息的效果，提升特征提取效率；
[0025]
(3)考虑到眼底视网膜图像信息具有复杂性和细微性，研究人员创造性地设计了二次空间调制机制，利用一级空间注意力模块和二级空间注意力模块两次对特征提取组件输出的特征图进行调制，模型可以更加准确地对高频信息集中区域进行重点学习，促进更好地重建出眼底视网膜图像中高频细节特征，提高后续分类模型对不同图像的识别度，从而有效提升分类准确率；
[0026]
(4)由于超分辨率重建的任务目的与目标检测、语义分割等任务不同，研发人员根据超分辨重建的特点，将全局中值池化操作引入一级空间注意力模块中，而且在实验过程中，创造性地发现，将全局中值池化后得到的注意力图与全局均值池化后得到的注意力图作差，再与全局最大池化后得到的注意力图拼接，然后降维激活，生成的一级空间注意力图调制效果相对常规空间注意力模块具有较大幅度的提升；
[0027]
(5)为了使二级空间注意力模块在一级增强特征图的基础上能够进一步地微调，本发明中，输入二级空间注意力模块的特征图来自特征提取组件各个分支第一次卷积后的输出，输入二级空间注意力模块的特征图中包含了更多具象的细节信息，与此配合地，研发人员根据自身工作经验，设计了二级空间注意力模块的结构，并引入了全局方差池化操作，测试结果表明，二级空间注意力模块对眼底视网膜图像重建效果具有很好的促进作用。
附图说明
[0028]
图1为本发明的超分辨率重建网络整体架构结构示意图；
[0029]
图2为本发明的esf特征提取模块内部结构示意图；
[0030]
图3为本发明的一级空间注意力模块内部结构示意图；
[0031]
图4为一实施例的全局降维融合模块内部结构示意图；
[0032]
图5为一实施例的上采样模块内部结构示意图；
[0033]
图6为对比例1中esf特征提取模块内部结构示意图；
[0034]
附图中：
[0035]1‑
眼底视网膜图像，2
‑
超分重建图像，3
‑
浅层卷积模块，4
‑
esf特征提取模块，41
‑
特征提取组件，411
‑
第一分支，412
‑
第二分支，413
‑
第三分支，42
‑
局部融合组件，43
‑
残差连接，44
‑
跳连接，45
‑
一级空间注意力模块，46
‑
二级空间注意力模块，5
‑
全局降维融合模块，6
‑
上采样模块。
具体实施方式
[0036]
以下结合附图对本发明作进一步描述：
[0037]
实施例1：
[0038]
获取糖尿病患者眼底视网膜图像1数据集，并划分为训练集和测试集。原始获取的图像作为高分辨率图像，对训练集和测试集中的图像进行下采样，获得对应的低分辨率图像。实施例1中超分辨率网络整体结构以及其中各个模块的结构如图1
‑
图5所示，网络中包
含了十个esf特征提取模块4，训练过程中采用l1损失函数，学习率设置为0.0002，epoch数量为1000。
[0039]
眼底视网膜图像1输入超分辨率重建网络后，经过浅层卷积模块3对眼底视网膜图像1初步提取特征，输出的一级特征图通道数量为64。输入每个esf特征提取模块4的特征图通道数量均为64，特征提取组件41中，每个卷积层输出的特征图通道数量也为64，也就是说，k1特征图、k2特征图、k3特征图、第一分支411的输出、第二分支412的输出、第三分支413的输出，通道数量均为64。
[0040]
在一级空间注意力模块45中，特征提取组件41输出的特征图，分别经过全局最大池化操作、全局中值池化操作和全局均值池化操作后，均输出通道数量为1的注意力图，然后经过拼接、1*1卷积降维和sigmoid函数激活后，输出一级空间注意力图g1。
[0041]
在二级空间注意力模块46中，k1特征图、k2特征图、k3特征图经过拼接和1*1卷积降维、relu激活函数后，输出通道数量为64的特征图，实现k1特征图、k2特征图、k3特征图的融合。得到的特征图然后再分别经过全局最大池化操作、全局方差池化操作和全局均值池化操作，均输出通道数量为1的注意力图，最后经过拼接、1*1卷积降维和sigmoid函数激活后，输出二级空间注意力图g2。
[0042]
在本实施例中，局部融合组件42为顺次连接的1*1卷积层和relu激活函数，输入局部融合组件42的特征图通道数量为192，局部融合组件42输出的层级特征图通道数量为64。输入esf特征提取模块4的特征图经残差连接43传递到esf特征提取模块4尾部，以元素求和的方式与层级特征图融合后，作为esf特征提取模块4的输出。另一方面，层级特征图通过跳连接44输入全局降维融合模块5，全局降维融合模块5包括顺次连接的拼接操作层、1*1卷积层和relu激活函数，全局降维融合模块5输出的特征图通道数量同样为64。上采样模块6采用现有的结构，包括顺次连接的3*3卷积层、亚像素卷积层和3*3卷积层，上采样模块6输出通道数量为3的超分重建图像2。在本发明中，除亚像素卷积层外，其余卷积操作过程中，步长均为1，卷积操作前后特征图长宽尺寸不变。
[0043]
作为对比例1，在实施例1的基础上，把输入全局降维融合模块5的特征图修改为各个esf特征提取模块4输出的特征图，修改后的esf特征提取模块4结构如图6所示，网络的其他部分不变。控制数据集、损失函数和epoch等条件与实施例1完全相同的情况下，训练并测试对比例1。对比例1与实施例1的超分辨率重建结果如下所示：
[0044][0045][0046]
从上表可以看出，将残差连接43前的层级特征图输入全局降维融合模块5，能够降低无效信息的干扰，提升对眼底视网膜图像1的超分辨率重建效果。
[0047]
实施例2：
[0048]
为了展现一级空间注意力模块45和二级空间注意力模块46在超分辨率重建网络中的作用，在实施例1的基础上，对比例2将esf特征提取模块4中二级空间注意力模块46去掉，对比例3在对比例2的基础上，将一级空间注意力模块45去掉。对比例2和对比例3的其他实施条件均与实施例1完全相同。测试结果如下所示：
[0049]
模型放大倍数测试集测试结果(psnr/ssim)实施例1236.42/0.9589对比例2235.83/0.9511对比例3235.34/0.9485
[0050]
从上表可以看出，一级空间注意力模块45和二级空间注意力模块46均具有很好的调制作用，对于提升眼底视网膜图像1的超分辨率重建效果具有积极的促进作用。
[0051]
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。