基于残差神经网络的医学图像分类系统

1.本发明涉及医学图像处理技术领域，尤其涉及一种基于残差神经网络的医学图像分类系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。
3.在医学图像处理领域中，计算机辅助分析筛查人群的磁共振成像(magnetic resonance imaging，mri)能够为医护人员对疾病的预测和分型提供重要参考，例如通过计算机对mri进行分类，是阿尔兹海默症（alzheimer s disease，ad）诊断和分型的常用手段。mri的测量有许多优点，如它不使用电离辐射，无创，且更便宜，在大多数医疗环境中更广泛的传播。现阶段，对ad患者分类的方法中，通常将机器学习方法应用于mri结构，包括支持向量机(support vector machines，svm)是目前最常用的机器学习方法，支持向量机从mri中提取高维信息特征，建立医学图像的分类模型。
4.与传统的机器学习方法相比，深度学习算法具有明显的优势，例如，可以从原始图像中自动得到数据的最优表示，而不需要预先进行特征选择。但是，深度学习算法适用于处理大规模且高维的医学影像数据，而对于临床工作中获取的低维的医学图像，很难保证分类结果的准确性。


技术实现要素：

5.为了解决上述问题，本发明提供一种基于残差神经网络的医学图像分类系统，通过将待分类的大脑磁共振图像分成多个感兴趣区域图像块，并针对每个感兴趣区域图像块分别进行处理，得到最终的分类结果，以适用于对临床工作中获取的低维医学图像的分类，确保分类结果的准确性。
6.本发明主要包括以下技术方案：本发明实施例提供一种基于残差神经网络的医学图像分类系统，其特征在于，包括：图像获取模块，被配置为获取待分类的大脑磁共振图像；预处理模块，被配置为对所述大脑磁共振图像进行图像预处理，得到多个感兴趣区域图像块；概率提取模块，被配置为利用预先构建的患病概率提取网络分别确定出多个所述感兴趣区域图像块对应的患病概率，根据各感兴趣区域图像块中感兴趣区域对应的区域权重和患病概率，确定个体患病概率；其中，所述患病概率提取网络是基于残差神经网络构建的；分类模块，被配置为根据所述个体患病概率，确定所述大脑磁共振图像所属的类别。
7.在一种可能的实施方式中，对所述大脑磁共振图像进行图像预处理，得到多个感兴趣区域图像块，包括：对所述大脑磁共振图像进行前连合-后连合校正，然后进行去颅骨和组织分割，得到灰质图像；将分割出的灰质图像进行双样本t检验，得到多个差异点坐标；以多个所述差异点坐标为中心提取特定大小的感兴趣区域图像块。
8.在一种可能的实施方式中，所述患病概率提取网络包括依次连接的输入模块、残差特征提取模块和判断模块；所述输入模块用于对感兴趣区域图像块进行下采样，输出得到预设维度的特征图；所述残差特征提取模块用于提取所述特征图的深层结构特征；所述判断模块用于根据所述深层结构特征确定感兴趣模块对应的患病概率。
9.在一种可能的实施方式中，所述残差特征提取模块由多个残差结构连接而成，用于提取特征图的深层结构特征。
10.在一种可能的实施方式中，每个残差结构包括两条通路，其中一条通路为依次连接的第一卷积层、第一归一化层、激活函数层、第二卷积层和第二归一化层；另一条通路为依次连接的第三卷积层和第三归一化层，最后通过相加层将两条通路取和；特征图经过两条通路分别提取出不同尺度的结构特征，并通过相加得到深层结构特征。
11.在一种可能的实施方式中，所述深层结构特征包括体素灰度值和边缘形态。
12.在一种可能的实施方式中，在所述输入模块中，感兴趣区域图像块依次经过数据输入层、卷积层、归一化层和激活函数层进行下采样，得到预设维度的特征图。
13.在一种可能的实施方式中，在所述判断模块中，所述深层结构特征经过池化操作，并经过全连接层处理，得到感兴趣模块对应的患病概率。
14.在一种可能的实施方式中，所述个体患病概率的确定方式包括：将每个感兴趣区域的患病概率分别与其区域权重相乘得到加权概率，并将多个加权概率的和值作为最终的个体患病概率。
15.在一种可能的实施方式中，所述分类模块被配置为根据个体患病概率与预设阈值的比较结果，确定大脑磁共振图像所属的类别。
16.以上技术方案存在以下有益效果：本发明提供一种基于残差神经网络的医学图像分类系统，包括图像获取模块、预处理模块、概率提取模块和分类模块，通过获取大脑磁共振图像的多个感兴趣区域图像块，并根据单个感兴趣区域图像块确定患病概率，结合其感兴趣区域对应的区域权重，确定个体患病概率，根据个体患病概率确定大脑磁共振图像所属的类别，该方法适用于对临床工作中获取的低维医学图像的分类，提高低维医学图像分类的准确性；并且，在患病概率提取过程中，感兴趣区域图像块分别经过输入模块使输入数据拟合网络，经过残差模块的三重残差结构可以充分地提取出感兴趣区域图像的深度特征，并且经过判断模块增加特征的线性表达能力以及得到该感兴趣区域的患病概率，从而有利于更加准确地对医学图像进行分类。
附图说明
17.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示
意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
18.图1是本发明实施例一所提供的基于残差神经网络的医学图像分类系统的结构示意图；图2是本发明实施例一所提供的基于残差网络tr-net与集成分类的医学图像分类方法的流程示意图；图3是本发明实施例一所提供的tr-net网络的结构示意图。
具体实施方式
19.下面结合附图与实施例对本发明作进一步说明。
20.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
21.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
22.请参阅图1，本发明实施例提供基于残差神经网络的医学图像分类系统，所述医学图像分类系统100包括：图像获取模块110，被配置为获取待分类的大脑磁共振图像；预处理模块120，被配置为对所述大脑磁共振图像进行图像预处理，得到多个感兴趣区域图像块；概率提取模块130，被配置为利用预先构建的患病概率提取网络分别确定出多个所述感兴趣区域图像块对应的患病概率，根据各感兴趣区域图像块中感兴趣区域对应的区域权重和患病概率，确定个体患病概率；其中，所述患病概率提取网络是基于残差神经网络构建的；分类模块140，被配置为根据所述个体患病概率，确定所述大脑磁共振图像所属的类别。
23.在具体实施中，待分类的大脑磁共振图像(magnetic resonance imaging，mri)可以是通过医学影像检测设备实时获取得到的医学影像数据，也可以是从预设存储设备中获取的医学影像数据。
24.从大脑磁共振图像中提取多个感兴趣区域图像块。作为一可选实施方式，对大脑磁共振图像进行图像预处理，得到多个感兴趣区域图像块，具体包括：对所述大脑磁共振图像进行前连合-后连合校正，然后进行去颅骨和组织分割，得到灰质图像；将分割出的灰质图像进行双样本t检验，得到多个差异点坐标；以多个所述差异点坐标为中心提取特定大小的感兴趣区域图像块。
25.这里，以前联合(anterior commissure，ac)后缘中点至后联合(posterior commissure，pc)前缘中点的连线为基准进行头动校正，又称ac-pc校正，以消除个体在扫描mr图像时的头动偏差。然后进行去颅骨和组织分割，得到被试的灰质图像；将每个被试的灰质图像依次配准到标准模版上；调制所有被试的灰质图像。将所有灰质图像进行双样本t检
验（two sample t-test）得到20个差异点坐标，并以这些差异点坐标为中心提取大小为30
×
30
×
30的3d感兴趣区域图像块。
26.如图2所示，将得到的3d感兴趣区域图像块分别输入至预先构建的患病概率提取网络中输出得到患病概率，通过概率投票的方式集成分类，将每个感兴趣区域判断的患病概率按照最优权重求和并集成分类，得到待分类的大脑磁共振图像所属的类别。
27.作为一可选实施方式，如图3所示，患病概率提取网络是基于残差神经网络构建的，具体包括输入模块、残差特征提取模块和判断模块，所述患病概率提取网络包括依次连接的输入模块、残差特征提取模块和判断模块；所述输入模块用于对感兴趣区域图像块进行下采样，输出得到预设维度的特征图；所述残差特征提取模块用于提取所述特征图的深层结构特征；所述判断模块用于根据所述深层结构特征确定感兴趣模块对应的患病概率。
28.在所述输入模块中，感兴趣区域图像块依次经过数据输入层data，卷积层conv，归一化层bn和激活函数层relu进行下采样，得到预设维度的特征图。其中，卷积层的卷积核大小为7
×
7，通道数为64，步长为2。这样，可以尽可能地保存了原始图像的信息，并且防止在残差模块中卷积操作的运算量过大。
29.所述残差特征提取模块由多个残差结构连接而成，用于提取特征图的深层结构特征，在医学图像处理过程中，残差结构的累加能够消除梯度消失的问题，并且可以在保证特征不丢失的情况下增加网络深度，从而提取图像中更深层的非线性特征。
30.考虑到模块的运算时间、耗内存量、特征提取效果等综合因素，本实施例中的残差特征提取模块由三个残差结构连接而成，以下称为三重残差网络（treble residual net，tr-net）。每个残差结构为两条通路及其之和，其中一条通路为依次连接的第一卷积层conv，第一归一化层bn，激活函数层relu，第二卷积层conv和第二归一化层bn；另一条通路为依次连接的第三卷积层conv和第三归一化层bn，最后通过相加层add将两条通路取和。
31.在三重残差网络中，第一个残差结构的卷积层的卷积核大小为3
×
3，通道数为128，步长为2；第二个残差结构的卷积层的卷积核大小为3
×
3，通道数为256，步长为2；第三个残差结构的卷积层的卷积核大小为3
×
3，通道数为512，步长为2。特征图经过两条通路分别提取出不同尺度的结构特征，并通过相加得到深层结构特征，通过该方式可以以得到更加丰富的结构特征，并且可以避免因卷积层过多导致的特征消散（即特征消散指特征图中特征数趋于零）的问题。这里，深层结构特征包括体素灰度值和边缘形态等特征。
32.判断模块包括池化层pool、全连接层fc和概率获取层prob，在所述判断模块中，所述深层结构特征经过池化操作，并经过全连接层处理，得到感兴趣区域图像块对应的患病概率。
33.20个3d感兴趣区域图像块分别经过输入模块使输入数据拟合网络，经过残差模块的三重残差结构以提取深层结构特征，经过判断模块增加特征的线性表达能力以及得到感兴趣区域的患病概率。
34.在tr-net的训练过程中，所有样本数据划分按照十折交叉验证，每一次折叠得到三个不同的集合：训练集、验证集、测试集。其中，训练集用于训练网络，验证集用于优化网络参数，测试集不参与网络的调试仅作为网络性能评判的测试数据。
35.由上述网络，每个被试得到20个感兴趣区域图像块的患病概率，采用集成投票方法计算得出最终该病人患病概率以及输出预测类别。该集成投票方法为，获取每个感兴趣
区域所对应的区域权重，该区域权重用于表征感兴趣区域在mri图像中的重要程度；将20个感兴趣区域的患病概率分别与其对应的区域权重相乘得到加权概率，并将20个加权概率相加作为最终的个体患病概率。该图像分类系统输出个体患病概率后，根据个体患病概率与预设阈值的比较结果，确定大脑磁共振图像所属的类别。在具体实施中，用户可以根据实际需要设定阈值，通过比较所得到的个体患病概率与阈值，确定大脑磁共振图像所属的类别，例如：该图像分类系统输出的个体患病概率大于预设阈值（如取值为0.5）的被试个体被预测为患病组（alzheimer s disease，ad），否则被预测为正常对照组（normal control，nc）。
36.经过以上步骤的预处理，特征提取，概率提取和分类预测，得到最终的分类结果。通过单个感兴趣区域（roi）的方法与集成分类的方法预测ad、nc对本实施例所提供方法的有效性进行验证。如表1和表2中所示，采用十折交叉验证以得到可靠的准确率（accuracy，acc）结果。
37.表1 单个roi的预测准确率结果（acc，%）
表2集成分类的预测准确率结果与20个roi平均准确率结果对比（acc，%）如表2所示，本实施例所提出的系统对于医学图像的分类很有优势，在单一roi预测分类中十折交叉验证的平均准确率为73.48%，而本实例所提出系统的十折交叉验证的平均准确率为89.92%，此系统和分析不仅限于此分类技术，更加为阿尔茨海默病的大脑变化的研究提供充足的理论依据。
38.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。