一种基于深度神经网络的X光影像分割与分类预测模型的制作方法

一种基于深度神经网络的x光影像分割与分类预测模型
技术领域
1.本发明属于计算机技术领域，具体涉及一种基于深度神经网络的x光影像分割与分类预测模型。


背景技术：

2.人工智能(artificialintelligence，ai)在影像分析方面的应用主要有分类识别、定位检测和影像分割三大类。ai辅助分析能够有效地缓解误判问题，在某些影像分析任务上，经过充分训练的深度学习模型和资深的专家判别几无差别。利用深度神经网络对x光影像进行预测主要包含了两大类任务：分割和分类。
3.x光影像分割相关的主要方法有：基于阈值，基于区域，基于形变以及基于神经网络的方法。除了神经网络方法，其他的几种方法需要根据不同的数据格式和所分割实体的特点进行不同的算法设计，不具有普适性。而神经网络在同样的结构下，通过调整输入输出便可实现不同数据中不同的实体划分，相比于之前几种分割的策略，有更好的可迁移性。long jonathan等人在2015年提出全卷积网络(fully convolutional networks,fcn)结构在影像分割领域取得了较好的效果。但是fcn对于像素之间的定位信息学习不是很准确。在fcn的基础上，u-net网络结构被提出，通过skip-connect的方式将下采样和上采样的feature map进行了连接，融合了多个尺度的信息，其表现效果相较fcn也更优。基于u-net神经网络，u-net ，3d u-net 相关的网络结构被提出，在不同的问题上取得了较好的效果。但是在分割的过程中，u-net相关网络采取同样的特征提取方式，在局部，缺乏灵活性。针对于x光影像分割的问题，我们使用基于注意力的u-net神经网络，相比于u-net网络，它能够较好地实现对不同特征区域的自适应关注程度，在计算量相近的情况下，实现更好的性能。
4.x光影像的分类是深度学习在影像分析领域中较早的应用之一。目前，卷积神经网络(cnn)正逐渐成为x光影像筛查分类中的标准技术，其应用非常广泛。densenet网络解决了梯度弥散的问题，在一些基于x光影像的分类任务中表现出了较好的效果。此外，如：resnet，inception，senet等特征提取相关的网络在不同的x光影像分类预测问题上均表现出了不同的效果，在具体的任务背景和不同的数据格式条件下，需要根据实际的情况，设计不同的神经网络。在本发明的x光影像预测问题上，现有的工作重点主要聚焦于图像分类部分，所采用的方法达到的预测效果准确度有限，所能提供的信息置信度有待提高。因此，本发明提供一种可靠的方法和流程完成x光影像的预测。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种基于深度神经网络的x光影像分割与分类预测模型。针对于x光影像数据，设计深度神经网络和预测流程，通过分割和分类上下游任务组合的方式，学习x光影像资料的特征，利用学习到的影像特征完成x光影像预测。
6.为了达到上述目的，本发明技术方案如下：
7.一种基于深度神经网络的x光影像分割与分类预测模型，步骤如下：
8.步骤一，对x光影像进行预处理，包括数据归一化、加噪、随机旋转和上采样；
9.步骤二，构建基于注意力机制的u-net影像分割模型；
10.基于注意力机制的u-net影像分割模型，实现消除噪声实体在x光影像上的成像，完成x光影像分割，得到x光影像中对应的目标实体掩膜图像；目标实体掩膜图像和原x光影像大小相同，且图像中每一位置数值为0或1，0代表舍弃原x光影像对应位置信息，1代表保留；将目标实体掩膜图像与原x光影像对应位置相乘，得到只包含有目标实体的x光影像；
11.u-net神经网络使用跳跃连接方式将高层卷积特征层和低层卷积特征层进行拼接融合；加入注意力机制，其学习过程如下：
[0012][0013][0014]
其中，gi表示像素i构成的特征图，在注意力机制的学习过程中作为门信号gi，用于对低层卷积层得到的特征图进行过滤；表示针对于门信号g的1
×
1卷积运算，t表示矩阵的转置；表示针对于门信号gi进行卷积得到的结果，用来调整特征图的数目；表示卷积层l输出的像素i构成的特征图，表示针对于特征图x的1
×
1卷积运算；表示针对于卷积层l输出的像素i构成的特征图进行卷积得到的结果，用来调整特征图的数目；bg为偏置项，σ1表示relu激活函数；表示1
×
1的卷积操作，用于拟合不同通道特征图之间的相互影响；为偏置项，矩阵为在注意力机制下针对于卷积层l的输出；σ2为sigmoid函数；为针对于卷积层l输出在注意力机制下的矩阵其中θ
att
表示在整个注意力机制实现过程中的参数矩阵；为卷积层l输出的像素i所构成的特征图中各个位置的注意力分配矩阵，矩阵值范围于0至1之间；
[0015]
高层卷积特征层得到的特征图为门信号，对低层卷积特征层进行过滤，再通过跳跃连接的方式进行拼接；
[0016]
步骤三，构建基于inception-resnet v2神经网络的影像分类预测模型；
[0017]
inception-resnet v2神经网络主要由stem模块、5个连续的inception-resnet-a模块、reduction-a模块、10个连续的inception-resnet-b模块、reduction-b模块、5个连续的inception-resnet-c模块、平均池化层、随机中断层和sigmoid激活函数全连接层依次组成；
[0018]
stem模块包含连续的卷积和最大池化下采样操作，用于对只包含有目标实体的x光影像进行初步特征提取；
[0019]
三类inception-resnet模块，即inception-resnet-a模块、inception-resnet-b模块和inception-resnet-c模块均包含inception结构和resnet模型；利用inception结构的并行多尺度卷积方式，综合影像的整体特征和局部特征；采用resnet模型中的残差连接方式，缓解神经网络在训练过程中出现的梯度弥散现象；三类inception-resnet模块中首先对进入该模块的特征图进行relu函数激活，然后并行进入多个特征提取支路以及一条短
路支路，特征提取支路采取不同的卷积方式进一步提取特征，接着通过1
×
1卷积操作调整维度至与短路支路的特征图通道数一致，最后在通道方向进行加和并再一次进行relu函数激活，作为模型下一个结构的输入；
[0020]
两类reduction模块，即reduction-a模块和reduction-b模块包含inception结构，多条并行的支路分别使用最大池化和卷积两种方式进行下采样，用于减小输入该模块特征图的尺寸，支路的输出端于通道方向进行拼接，作为模型下一个结构的输入；
[0021]
平均池化层用于降低特征图尺寸；
[0022]
随机中断层用于防止过拟合；
[0023]
sigmoid激活函数将任一实数映射到0到1之间，其数值解释为分类预测概率；
[0024]
步骤四，训练步骤二和步骤三中的模型；训练过程分为两个阶段；第一个阶段单独训练影像分割模型至其收敛；第二个阶段利用训练好的影像分割模型对步骤三的影像分类预测模型进行训练，直至二者均达到收敛；利用得到的影像分割模型和影像分类预测模型进行预测。
[0025]
上述的影像分割模型和影像分类预测模型以交叉熵为损失函数，损失函数如下：
[0026][0027]
其中，yi代表类别的标签，正例为1，负例为0；si表示预测为正的概率；w表示模型的参数，α表示正则化系数。
[0028]
本发明的有益效果为：本发明依照上述步骤构建了x光影像分割和分类预测模型。通过具体实施例的实验对比，本发明中所实现的模型在预测基于x光影像的肺纤维化疾病这个问题上所达到的精度优于现阶段的相关模型。
附图说明
[0029]
图1是本发明的整体结构示意图；
[0030]
图2是本发明中应用于图像分割的神经网络模型即基于注意力机制的u-net网络；
[0031]
图3为注意力机制的结构示意图；
[0032]
图4为添加注意力机制前后u-net图像分割网络损失函数变化对比图；
[0033]
图5为添加注意力机制前后u-net图像分割网络准确率变化对比图；
[0034]
图6为实际肺部分割结果的示例图；
[0035]
图6(a)为案例一肺部原x光影像图；
[0036]
图6(b)为案例二肺部原x光影像图；
[0037]
图6(c)为案例三肺部原x光影像图；
[0038]
图6(d)为案例四肺部原x光影像图；
[0039]
图6(e)为案例五肺部原x光影像图；
[0040]
图6(f)为案例一分割后肺部图；
[0041]
图6(g)为案例二分割后肺部图；
[0042]
图6(h)为案例三分割后肺部图；
[0043]
图6(i)为案例四分割后肺部图；
[0044]
图6(j)为案例五分割后肺部图；
[0045]
图7为应用于图像分类的神经网络模型即inception-resnet v2网络；
[0046]
图8为残差连接的结构示意图；
[0047]
图9为inception-resnet v2神经网络在肺纤维化预测问题上损失函数的变化情况；
[0048]
图10为inception-resnet v2神经网络在肺纤维化预测问题上准确度变化情况；
[0049]
图11为inception-resnet v2神经网络与其他的卷积神经网络的性能对比图。
具体实施方式
[0050]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0051]
本发明实施例中的一种基于深度神经网络的x光影像分割与分类预测模型，具体包括如下步骤：
[0052]
第一步，在得到原始的数据后，进行数据的预处理，包括：归一化，随机旋转，随机加入高斯噪声，随机重采样。由于肺纤维化只占肺部疾病的一小部分，本实施例中仅对肺纤维化一种疾病做出预测，因此采用将其他类别疾病和正常数据示例作为一类，但是这会带来数据不平衡的问题，为了解决不平衡集的问题，采用了重采样的方式，扩充相关的正样本。
[0053]
在完成数据预处理后，第二步我们使用基于注意力机制的u-net神经网络进行影像的分割，u-net神经网络可以完成语义级别的分割，u-net神经网络使用了skip-connnect的方式，将语义信息更丰富的高层卷积特征层和低层卷积特征层进行融合，实现了更为精细的分割效果。skip-connnect的本质即相同尺寸的特征图在通道上的拼接叠加。但对于不同的区域，其灵活程度仍有待提高。在u-net网络结构的基础上，加入了注意力机制，得到更为精细的分类结果，其学习过程如下：
[0054][0055][0056]
其中gi表示像素i构成的特征图，在注意力机制的学习过程中作为门信号gi，用于对低层卷积层得到的特征图进行过滤。表示针对于门信号g的1
×
1卷积运算，t表示矩阵的转置。表示针对于门信号gi进行卷积得到的结果，用来调整特征图的数目。表示卷积层l输出的像素i构成的特征图，表示针对于特征图x的1
×
1卷积运算，t表示矩阵的转置。表示针对于卷积层l输出的像素i构成的特征图进行卷积得到的结果，用来调整特征图的数目。对于和这两部分的形状完全相同，将这两部分的卷积结果其对应位置相加，同时，引入bg偏置项，将相加后得到的结果通过σ1表示的relu激活函数。与和相同，均表示1
×
1的卷积操作，为拟合不同通道特征图之间的相互影响，其最后
卷积输出特征图的通道数为1，在卷积完成以后，引入添加的偏置项最终得到针对于卷积层l输出在注意力机制下的矩阵以上的整个流程使用表示，其中θ
att
表示在整个注意力机制实现过程中的参数。将得到的结果通过sigmoid函数进行处理，sigmoid函数在公式中表示为σ2，最后的矩阵值缩放到0至1之间；矩阵表示为卷积层l输出的像素i所构成的特征图各个位置的注意力分配矩阵。其中，系数越接近于1，表示该位置的特征和最终的任务相关性越高。在将低层卷积得到的特征图和高层卷积得到的特征图通过skip-connnect拼接之前，利用高层卷积得到的特征图作为门信号，对低层进行过滤后再通过skip-connnect的方式进行拼接。随着训练的逐步进行，u-net神经网络会改变对特征图不同区域的关注程度，关注任务相关的区域，即该区域的注意力系数接近1。同时整个注意力机制推导的过程是可微的，在反向传播的过程中，注意力系数矩阵进行自适应调整。基于注意力机制的u-net影像分割模型本质上是一个分类模型，其输出的数据大小形状和输入的特征图大小形状完全相同，每一个位置对应原输入特征图中一个像素的分类情况。根据实际分割情况的不同，利用该神经网络，对每一个像素点进行分类解释，从全局的角度看，同一个类别的像素点所形成的区域构成了对应的分割区域；不同类别之间对应了不同的分割目标。
[0057]
在第二步中构建的图像分割网络经训练收敛后，我们可以利用该网络对第一步中预处理后的x光影像进行处理，得到与原图大小相同的掩膜图像。x光片中肺部器官的分割本质是一个二分类模型。因此，每个位置用0或1进行表示，0表示非肺器官，需要进行舍弃；1表示为肺部器官，需要得到保留。我们将分割的结果和第一步中预处理后的x光影像对应位置相乘，得到只包含有肺部器官的x光影像图。这将作为后续的图像分类网络的输入。
[0058]
第三步，构建inception-resnet v2神经网络模型。首先将第二步中获得的只含有肺部器官的x光影像作为输入，首先经过stem结构提取特征，stem结构是由两组卷积池化操作构成，将得到的特征图通过inception结构进行特征的提取，inception结构即使用多个并行的卷积操作，多个卷积采用不同的卷积核大小对同一输入提取特征，通过多个不同大小的并行卷积操作，inception-resnet v2神经网络模型能够关注不同尺度下的图像特征。将得到的特征图进行拼接后，通过1
×
1的卷积核调整维度并与输入的x光影像进行相加，在这里使用残差连接的结构，缓解梯度弥散的现象，支持网络的进一步加深。
[0059]
在得到多个不同卷积核提取的特征后，将结果输入到reduce模块中，reduce模块也是使用了并行的思想，通过使用池化和卷积两种方式分别进行下采样，削减特征图的维度大小。之后将下采样的两个输出拼接起来，作为下一个inception模块的输入。inception-resnet v2采用三组不同大小的inception和reduce模块的组合，模型能够关注不同尺度下的特征信息，能更好地对结果进行预测。
[0060]
在构建完成相关的模型后，我们选择交叉熵作为两个模型的损失函数，无论是影像分割还是影像分类预测，本质都是一个分类任务。在肺纤维化的预测问题中，二者均为一个二分类任务，采取如下的损失函数：
[0061]
[0062]
其中，yi代表类别的标签，正例为1，负例为0，si表示预测为正的概率。为了防止模型过拟合，在损失函数中加入了l2正则项，其中w表示模型的参数，α表示正则化系数，这是结构风险最小化的一种策略实现。
[0063]
在构建完相关的模型后，我们在数据集上进行训练测试，在训练的过程中，我们使用adam优化器对模型参数进行调整。经过多轮的迭代，模型在影像分割和影像分类预测两个问题上都达到了较好的效果。
[0064]
结合本发明的方案，进行实验对比分析如下：
[0065]
为了验证本发明提出模型的有效性，将其分别在影像分割和影像分类预测两个任务上进行横向对比分析，除模型差别外，设置相同的超参数。
[0066]
图4、图5展示了在添加注意力机制前后，u-net神经网络在图像分类过程中的损失函数和准确度变化情况。图6展示了训练好的图像分割模型在实际的肺部图像分割中的示例。除部分质量较差x光片的肺部不具有很好的辨识度，其余示例均能够较好地分割肺部器官，保留完整的肺部影像。
[0067]
图9、图10展示了inception-resnet v2网络在分割完成后的图像分类预测过程中的损失函数和准确度变化情况。图11展示了同其他的densenet，resnet系列网络相比，inception-resnet v2网络模型在损失函数的收敛速率和最后达成的分类预测准确度两个指标优于其他的图像分类网络。这表明我们所提出的模型架构在肺纤维化预测问题上要优于其他的算法，能够较好的辨别x光片下的肺纤维化病例，达到了一个较高的准确度。
[0068]
以上对本发明实施所提供的一种基于深度神经网络的肺纤维化预测模型和流程进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。