基于深度学习的眼底图像与造影图像的标签迁移分类方法与流程

1.本发明涉及人工智能领域，涉及一种基于深度学习的眼底图像与造影图像标签迁移分类方法。


背景技术：

2.眼底就是眼球内后部的组织，即眼球的内膜——视网膜、视乳头、黄斑和视网膜中央动静脉。许多疾病都可以从眼底上反映出来。眼底的视网膜血管是人体中可看见的血管，医生把它当作了解其它脏器血管情况的窗口。因此，它的变化在一定程度上反映了一些器官的改变程度。如高血压病人眼底可见到视网膜动脉硬化，糖尿病病人眼底可见毛细血管瘤、小的出血点和渗出物，这就在一定程度上反映了全身的血管改变情况。医生通常可根据拍摄的眼底图像，简称cfp，来分析、判断疾病的严重程度。
3.荧光素眼底血管造影图像，简称ffa，指从肘静脉注入造影剂，利用特定滤光片和眼底照相机拍摄眼底血管及其灌注状况的一种眼部血管检查方法。对于患者给予眼底荧光造影检验术进行检查，能够观察眼底微血管的变化以及血流动态学情况。
4.糖尿病视网膜病变(dr)是一种影响眼睛正常血管的血管疾病，是全球可预防失明的主要原因。眼病患者往往没有意识到无症状情况的恶化，因此早期筛查和治疗眼病尤为重要。
5.但是眼部疾病的诊断往往由于眼部结构复杂，病灶区域过小。对于医务人员诊断技术和医疗设备的要求较高，从而导致医疗资源往往匮乏。因此通过人工智能深度学习技术来辅助疾病诊断是必要的，且大部分的眼部图片识别往往仅是判断疾病有无，没有办法对于疾病的严重程度进行分级。
6.然而对于深度学习神经网络在眼部疾病上的诊断与传统的疾病诊断和分类不同，因病灶过小、特征区域不明显，相比荧光素眼底血管造影图像，眼底图像诊断准确率较低。且部分病理特征通过眼底图像无法进行判断，因此必须要通过荧光素眼底血管造影图像。但是荧光素眼底血管造影图像的拍摄成本要比眼底图像昂贵许多，因此通过造影图进行病理诊断也较为麻烦。


技术实现要素：

7.为了解决上述问题，本发明提供了一种方法：将荧光素眼底血管造影图像诊断的疾病特征对应到眼底图像的特征，去训练双线性模型高效分类网络bathnet。在此之后，通常需要血管造影图像才可诊断出来的眼底疾病只需一张眼底图像便可通过机器直接找出病灶区，从而确定哪些可能存在的疾病特征，并且可以得到其严重程度等级。由于眼底图像的价格相比造影图像低廉且方便许多，因此可有效降低眼底疾病诊断的成本。
8.为实现上述目的，本发明采用一种基于深度学习的眼底图像与造影图像的标签迁移分类方法，本发明具体的技术方案如下：
9.1、数据预处理阶段：将所获得的眼底图像cfp数据以及荧光素眼底血管造影图像
ffa数据进行去冗余、尺寸归一化以及特征增强处理，从而突出病灶区域。
10.2、标签迁移阶段：将步骤1所获得的荧光素眼底血管造影图像ffa的标签特征转移到眼底图像cfp的标签特征。
11.3、分类网络训练阶段：将步骤2所获得的标签迁移后的眼底图像cfp输入神经网络bathnet进行分类训练。
12.4、特征可视化阶段：将步骤3所获得的已分类的图像数据进行特征可视化处理，显示眼底图像cfp的病灶区域。
13.本发明相对于现有技术所具有的有益效果是：
14.本发明采用了标签迁移技术，通过将荧光素眼底血管造影图像ffa的疾病特征对应到眼底图像cfp的特征输入到训练网络模型，所述训练网络模型采用了双线性模型高效分类网络bathnet，从而有效提升分类的准确率。
15.本发明对病灶区域进行了可视化处理，使得医务人员仅需通过眼底图像cfp便可找到病灶区域的定位并判断疾病严重程度，更直观，降低了诊断成本，临床意义显著。
附图说明
16.图1为本发明的流程图；
17.图2为图像预处理的流程图；
18.图3为bathnet网络结构图；
19.图4为bathnet网络结构中特征提取网络结构图；
20.图5为特征提取网络中卷积层的结构图。
具体实施方式
21.为了阐述本发明的目的，使其技术方案更加直观，凸显其优点，下面结合附图和具体实施例对本发明作进一步的说明。
22.如图1所示，本发明包括以下步骤：
23.步骤一：数据预处理阶段。
24.将眼底图像cfp数据以及荧光素眼底血管造影图像ffa数据分为训练样本、验证样本和测试样本。当眼底图像cfp和荧光素眼底血管造影图像ffa输入到图像预处理程序中后，先将图像中冗余黑边背景去除，余留目标检测区域。再将图像大小统一成512*512像素。之后通过对噪音区采取图像平滑，消除图像中噪声的干扰来实现图像的锐化处理，并通过hsv进行亮度矫正。最后根据基于标准差的局部对比增强算法增强病灶区域的对比度。其流程概括见图2。
25.步骤二：标签迁移阶段。
26.每一张眼底图像cfp以及荧光素眼底血管造影图像ffa都带有对应的糖尿病视网膜病变的相关疾病特征的标签，标签分为分类标签和分级标签两种。分类标签即为糖尿病视网膜病变疾病的特征种类标签，如微血管瘤、渗透、无灌注区、黄斑水肿等；每一个分类标签下有表示严重程度的分级标签，如0级、1级、2级等。将经过步骤一预处理后的每张眼底图像cfp对应的数张荧光素眼底血管造影图像ffa的每个分类标签下的分级标签进行并集运算，将得到的荧光素眼底血管造影图像ffa标签迁移到眼底图像cfp去进行训练，使得眼底
图像cfp使用荧光素眼底血管造影图像ffa的标签进行训练，经过实验表明，让神经网络模型通过使用标签迁移后的眼底图像进行训练，可以获得较好的模型参数，可以极高地提升网络的训练效果，对其眼底图像cfp进行较好的分类。
27.步骤三：分类网络训练阶段。
28.神经网络bathnet结合了新型backbone主干网络lgxnet以及空间特征注意力机制，并且采用了双线性模型机制，其具体结构图见图3。
29.1.特征提取：首先采用lgxnet作为backbone主干网络，提取步骤二中输入的标签迁移后的cfp眼底图片中特征信息。lgxnet可以解决传统网络设计中可能会存在的由于通道维数极度压缩所导致的representational bottleneck问题(是指网络中间层会对特征的维度进行较大的压缩，从输入到输出特征的尺寸明显减少，引起特征丢失)，从而更好的进行特征提取。lgxnet基于mobilenetv2进行改进，对于中间卷积层进行再设计。主要基于扩展卷积层和倒数第二层的输入channel大小，选择适当的激活函数silu，加入多个扩展层三个方面弱化representational bottleneck影响，其具体结构可见图4和图5。眼底图像cfp在输入到lgxnet后会生成特征图像feature map，其中一部分输出会继续送入a-net当中生成attention map。
30.2.空间特征注意力：a-net网络结构中引入了空间特征注意力机制，将空域注意力与通道注意力进行并行与串行组合。为了更好的实现让神经网络将重点放在重要特征上的效果，需要评估每个神经元的重要性，在神经科学中，信息丰富的神经元通常表现出与周围神经元不同的放电模式。而且，激活神经元通常会抑制周围神经元，即空域抑制。换句话说，具有空域抑制效应的神经元应当赋予更高的重要性，最简单的寻找重要神经元的方法：即度量神经元之间的线性可分性。因此，定义了如下能量函数：
[0031][0032]
其中，t和xi分别是输入特征x∈c
×h×
w的单个通道中的目标神经元和其他神经元。i是空间维度上的索引，m＝h
×
w是该通道上的神经元数量。w
t
与b
t
分别为神经元t的权重参数与偏置。当yt与相等、y0与相等时，该公式得到最小值，其中y
t
与y0是两个不同的值。通过最小化上述公式，该公式等价于训练同一通道内神经元t与其他神经元之间的线性可分性。但为了简化所述能量函数公式，我们对y
t
和y0采用二值标签
“‑
1”与“1”，并对上述公式添加正则项，最终的能量函数定义如下：
[0033][0034]
理论上，每个通道有m＝h
×
w个能量函数。上述公式(2)具有如下解析解：
[0035][0036]
[0037]
其中，是该通道中除神经元t以外所有神经元的平均值和方差。由于上述w
t
和b
t
的公式中所示的现有解是在单个通道上获得的，因此可以有理由假设单个通道中的所有像素都遵循相同的分布。基于这一假设，可以计算所有神经元的平均值和方差，并重复用于该通道上的所有神经元。它可以显著降低计算成本，以避免迭代计算每个位置的平均值和方差。因此，可以用以下方法计算出最小能量：
[0038][0039]
其中，
[0040]
上述公式意味着：能量越低，神经元t与周围神经元的区别越大，重要性越高。因此，神经元的重要性可以通过得到。
[0041]
按照attention机制的定义，我们需要对特征进行增强处理：
[0042][0043]
其中e跨通道和空间维度进行分组。添加sigmoid符号是为了限制最小能量的值过大，它不会影响每个神经元的相对重要性，因为sigmoid符号是一个单元函数。
[0044]
获得了attention map后，我们将之前得到的feature map与attention map进行乘法运算，从而获得图像的掩码q，随后我们分别对掩码q与attention map进行全局平均池化(gap)，从而减少参数避免过拟合。最后，为了获取图像的权重和过滤不相关的信息，在全局平均池化(gap)后使用了一个除法，综上所述，空间特征注意力模块的输出为：
[0045][0046]
其中a
l
与f
l
分别是attention map与feature map，和分别表示元素乘法以及元素除法。
[0047]
3.双线性模型机制：神经网络bathnet中所使用的双线性网络结构如图3右侧所示，以空间特征注意力模块的输出以及lgxnet的输出作为输入。首先将lgxnet的输出放入b-net(由一个卷积层以及一个relu激活层组成)中，以提取特征并使其尺寸与空间特征注意力模块的输出相同。然后由k运算符(元素平均值)计算为：
[0048][0049]
其中n和y
l
分别是空间特征注意力模块的输出以及b-net的输出，z
l
为k运算符的输出，表示元素加法，表示元素除法。
[0050]
接下来，我们将k运算符输出z
l
通过双线性函数操作b得到双线性向量：
[0051]
b＝zz
t
ꢀꢀ
(9)
[0052]
通过符号平方根运算和l2归一化(l
←
y/||y||2)，得到
bathnet的输出。
[0053]
将神经网络bathnet的输出进行全局平均池化(gap)再接softmax层运算之后，会输出一个1
×
n维度的向量，其中n为糖尿病视网膜病变相关疾病的特征数，向量中每一列都是相关疾病特征的标签(微血管瘤、无灌注区、渗透、黄斑水肿)，每一列包含信息为相关疾病特征的严重程度等级。以上所获得的分类以及分级标签即为最终的分类结果。
[0054]
步骤四：特征可视化阶段。
[0055]
待模型收敛之后，根据步骤三得到的神经网络模型保存的权重参数信息，通过每一层卷积层的输出乘以这一层对应分类的权重，然后对结果进行加权，便可以得到每一个疾病特征的热力成像图，最后便得到了class activation map，即对于attention区域可以进行定位生成病灶区热力图。根据所得到的分级结果，即可确定每种疾病特征的严重程度。
[0056]
以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。