基于全卷积神经网络的病理切片图像癌症区域分割系统的制作方法

1.本发明涉及图像识别技术领域，具体涉及一种基于全卷积神经网络的病理切片图像癌症区域分割系统。


背景技术：

2.在神经网络流行之前，研究人员就已开始采用图像处理的技术对病理切片图像进行辅助诊断，主要是从图像的统计特征、纹理特征和形态学特征等方面对图像进行特征提取，判断图像中是否包含某些结构和特征并将它们分离出来。尽管传统的图像处理方法已经可以对医生的诊断起到辅助作用，但普遍存在精度低，效果不稳定等问题。
3.而采用神经网络对病理切片图像进行识别，大部分研究也只停留在判断图像中是否有癌症，而没有具体分割出具有癌症的区域，对病理医生的依赖还是十分重的，对病理医生只能起到轻微的辅助作用。


技术实现要素：

4.为了克服现有技术存在的缺陷与不足，本发明提供一种基于全卷积神经网络的病理切片图像癌症区域分割系统，本发明在网络结构中引入组合卷积，充分提取输入图像中不同尺度的特征信息，相较于没有引入不同尺度信息的网络具有更加优秀的分割效果。
5.为了达到上述目的，本发明采用以下技术方案：一种基于全卷积神经网络的病理切片图像癌症区域分割系统，包括：组织区域提取模块、样本数据构建模块、样本数据扩充模块、分割网络构建模块、网络训练模块、癌症区域识别模块；所述组织区域提取模块用于提取病理切片图像中的组织区域，得到组织区域的掩码，去除空白背景；所述样本数据构建模块用于将提取的组织区域与病理切片图像中标注的癌症区域结合，对全视野的病理切片图像进行切割，获得训练用的样本数据；所述样本数据扩充模块用于采用图像增强对样本数据进行扩充；所述分割网络构建模块用于构建以resnet50为编码器的unet分割网络，将编码器resnet50的第一级编码器的卷积单元替换成组合卷积单元，所述组合卷积单元设有多种不同大小卷积核的卷积，提取输入图像中不同尺度的信息，并在解码器部分引入特征融合模块，充分利用每一级解码器输出的信息；将每级解码器输出的特征图进行上采样操作后经过参数不同的卷积，并在通道上拼接得到整体特征图t；整体特征图t分别经过一个最大池化层和一个平均池化层得到两个向量v1和v2，两个向量v1和v2通过一个共享参数的多层感知机后相加得到一个向量c；将sigmoid函数应用于向量c并和整体特征图t相乘得到包含通道注意力信息的特征图t’；
将整体特征图t和特征图t’相加之后经过输出卷积模块得到最终的分割结果；所述网络训练模块用于将所述分割网络在经过数据增强的数据集上训练并调优；所述癌症区域识别模块用于采用训练好的模型并基于网格处理算法对整张病理切片图像进行预测，识别其中的癌症区域。
6.作为优选的技术方案，所述组织区域提取模块用于提取病理切片图像中的组织区域，具体步骤包括：将原病理切片图像从rgb颜色空间转化至hsv颜色空间；采用大津算法得到转换后的hsv图像的s分量的分割阈值；基于分割阈值对图像进行二值化处理，得到组织区域的掩码。
7.作为优选的技术方案，所述对全视野的病理切片图像进行切割，获得训练用的样本数据，具体步骤包括：将所述组织区域的掩码与原始标注的癌症区域掩码按位相与,得到整张病理切片图像组织区域的最终标注掩码；将原病理切片和最终标注掩码同时进行切割获得图像块及其标注。
8.作为优选的技术方案，所述样本数据扩充模块用于采用图像增强对样本数据进行扩充，具体步骤包括：将病理切片图像本身及其标注图像进行图像变换，所述图像变换包括水平翻转、随机角度旋转、颜色变化、噪声干扰和模糊中的任意一种或多种。
9.作为优选的技术方案，所述组合卷积单元采用4种不同大小的卷积，包括3*3,5*5,7*7和1*1的卷积核，输入图像分别经过这4种卷积，之后将4个卷积结果在通道上拼接，作为最后整个组合卷积的输出。
10.作为优选的技术方案，所述输出卷积模块包括一个3*3的卷积和sigmoid激活函数。
11.作为优选的技术方案，所述多层感知机包括一层1*1卷积层、relu激活函数和另一层1*1卷积层，用于压缩信息，生成通道上的注意力结果。
12.作为优选的技术方案，所述癌症区域识别模块用于采用训练好的模型并基于网格处理算法对整张病理切片图像进行预测，识别其中的癌症区域，具体步骤包括：采用网格算法将整张病理切片图像分块形成网格，每个网格作为一个预测样本；采用滑动窗口每次取网格中的图像块输入分割网络获得分割结果；将每个滑动窗口的分割结果进行拼接，得到整张病理切片图像的分割结果。
13.本发明与现有技术相比，具有如下优点和有益效果：（1）本发明在网络结构中引入组合卷积，充分提取输入图像中不同尺度的特征信息，相较于没有引入不同尺度信息的网络具有更加优秀的分割效果，引入不同尺度信息提高了对癌症区域的分割精度。
14.（2）本发明在生成分割结果时，分别提取了5级解码器的输出并采用特征融合模块进行特征融合，这样的处理可以充分利用低级特征图中的空间位置等信息和高级特征图中的高级语义信息，使分割的结果更加精确。
附图说明
15.图1为本发明基于全卷积神经网络的病理切片图像癌症区域分割系统的实现流程示意图；图2为本发明的全卷积网络结构示意图；图3为本发明的网格处理算法的实现过程示意图图4（a）为本发明用于预测的整张病理切片图像的原图示意图；图4（b）为本发明用于预测的整张病理切片图像的标注掩码示意图；图4（c）为本发明对整张病理切片图像的分割结果示意图。
具体实施方式
16.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
17.实施例本实施例提供一种基于全卷积神经网络的病理切片图像癌症区域分割系统，包括：组织区域提取模块、样本数据构建模块、样本数据扩充模块、分割网络构建模块、网络训练模块、癌症区域识别模块；在本实施例中，组织区域提取模块用于提取病理切片图像中的组织区域，得到组织区域的掩码，去除空白背景；在本实施例中，样本数据构建模块用于将提取的组织区域与病理切片图像中标注的癌症区域结合，对全视野的病理切片图像进行切割，获得训练用的样本数据；在本实施例中，样本数据扩充模块用于采用图像增强对样本数据进行扩充；在本实施例中，分割网络构建模块用于构建以resnet50为编码器的unet分割网络，将编码器resnet50的第一级编码器的卷积单元替换成组合卷积单元，所述组合卷积单元设有多种不同大小卷积核的卷积，提取输入图像中不同尺度的信息，并在解码器部分引入特征融合模块，充分利用每一级解码器输出的信息；将每级解码器输出的特征图进行上采样操作后经过参数不同的卷积，并在通道上拼接得到整体特征图t；整体特征图t分别经过一个最大池化层和一个平均池化层得到两个向量v1和v2，两个向量v1和v2通过一个共享参数的多层感知机后相加得到一个向量c；将sigmoid函数应用于向量c并和整体特征图t相乘得到包含通道注意力信息的特征图t’；将整体特征图t和特征图t’相加之后经过输出卷积模块得到最终的分割结果；在本实施例中，网络训练模块用于将所述分割网络在经过数据增强的数据集上训练并调优；在本实施例中，癌症区域识别模块用于采用训练好的模型并基于网格处理算法对整张病理切片图像进行预测，识别其中的癌症区域。
18.如图1所示，在本实施例基于全卷积神经网络的病理切片图像癌症区域分割系统的具体实现方法中，具体实施时采用的是grand challenge 比赛camelyon16上公开的乳腺
癌数据集，该数据集包含了111张带标注的包含癌症的乳腺癌病理切片图像和159张正常的病理切片图像，测试集包含129张病理切片图像（其中只有48张具有肿瘤区域的标注），包括下述步骤：s1、使用大津算法和颜色空间转换，提取病理切片图像中的组织区域，去除空白背景；本实施例的具体过程如下：s11、将原病理切片图像从rgb颜色空间转化至hsv颜色空间；s12、应用大津算法得到转换后的hsv图像的s分量的分割阈值；s13、利用s12步骤中的到的阈值对图像进行二值化处理，得到组织区域的掩码，掩码中，属于组织区域的值为255，不属于组织的区域的值为0。
19.s2、将提取的组织区域与病理切片图像中标注的癌症区域结合，对全视野的病理切片图像进行切割，获得训练用的样本数据，具体处理过程如下：s21、在原始标注的癌症区域掩码中，癌症区域的值为1，其他区域的值为0。为了使组织区域的掩码不对标注的掩码值产生影响，将s1步骤中获得的组织区域掩码与原始标注的癌症区域掩码按位相与,便可得到整张病理切片图像组织区域的标注掩码，记为mask，mask中不为0的区域表示该区域既是组织又包含癌症，其他区域的掩码值均为0；s22、将原病理切片图像和步骤s21中得到的mask同时进行切割获得小的图像块及其标注，图像块的大小记为w，w的取值可以是1024,512,256等，具体实施时为了提高效率、减少计算复杂度，采用的w为1024，但对切割后的图像块进行下采样，使其大小为256，这样既可以保证图像块中包含足够的信息又加快计算速度；s3、采用图像增强技术对样本数据进行扩充，以提高模型的泛化性能，具体实施过程如下：根据病理切片图像没有固定方向的特点，当图像输入网络进行训练时，将其本身及标注同时以一定概率应用水平翻转、随机角度旋转、颜色变化、噪声干扰和模糊等图像变换，从而达到扩充样本数据的目的。
20.s4、构建引入不同尺度信息的分割网络，并训练及调优，本实施例的具体过程如下：s41、构建以resnet50为编码器的unet分割网络，其结构可以概括为编码器和解码器相连的结构，解码器和编码器各有5级，每级编码器由resnet50的各个stage（共5个）构成，每级解码器由一个卷积核大小为2*2，步长为2的反卷积和两层3*3卷积构成，实现图像分辨率的恢复；s42、将步骤s41构建的分割网络中的编码器resnet50的第一级编码器的卷积单元（即编码器resnet50的第一个残差模块）替换成组合卷积单元，充分提取输入图像中不同尺度的信息，对提高分割精度有增益；本实施例采用的组合卷积由4种不同大小的卷积组成，如分别为3*3,5*5,7*7和1*1的卷积核，不同大小的卷积核的组合并没有限制，输入图像分别经过这4种卷积，之后将4个卷积结果在通道上拼接，作为最后整个组合卷积的输出；s43、在步骤s42构建的分割网络的解码器中引入特征融合模块，充分利用5级解码器的信息，使分割效果更佳，引入特征融合模块的过程如下：将5级解码器输出的特征图都进行上采样操作，使这些特征图的大小与最终的目标输出大小一致，记为；
将上述获得的5个特征图都经过参数不同的1*1卷积，主要作用是减少特征图的通道数量，可以起到降低计算量的作用，所获得的特征图记为；将5个特征图在通道上拼接获得一个整体特征图t；将整体特征图t分别经过一个最大池化层和一个平均池化层得到两个向量v1和v2，将两个向量v1和v2通过一个共享参数的多层感知机后相加得到一个向量c，所述多层感知机是由一层1*1卷积层、relu激活函数和另一层1*1卷积层构成的三层结构，用于压缩信息，生成通道上的注意力结果；将sigmoid函数应用于向量c并和整体特征图t相乘得到包含通道注意力信息的特征图t’；将整体特征图t和特征图t’相加之后经过一个由3*3卷积和sigmoid激活函数构成的输出卷积模块得到最终的分割结果。
21.s44、如图2所示，图中各级编码器分别对应原始resnet50中的各个残差模块，将改进的分割网络在经过数据增强的数据集上训练并调优，具体实施时采用如下方案：使用adam优化器进行模型参数的更新，并使用指数变换的方式进行学习率的更新，在训练过程中监控验证集miou指标，每次miou指标得到提升，则保存对应的模型参数，用于之后的测试和预测。
22.训练模型的测试结果如下表1所示，表中miou指标和dice指标都是分割任务评价的常用指标。
23.表1 模型测试结果表s5、采用训练好的模型并采用网格处理算法对整张病理切片图像进行预测，识别其中的癌症区域，本实施例的具体过程如下：s51、如图3所示，采用网格算法将整张病理切片图像分成一个个小块，形成网格，每个小格作为一个预测样本，具体步骤如下：假设滑动窗口的大小是w，每个滑动窗口的重叠区域大小为o，则滑动窗口的移动步长s=w-o；根据步长s计算原病理切片图像长x和宽y两个方向上可获得的图像块数量n
x
和ny，其计算公式分别为：
按照n
x
和ny对整张病理切片图像的长x和宽y进行划分，并将坐标点保存在xa和ya中，xa=[x1,x2,
…
,xn],ya=[y1,y2,
…
,yn]；根据每个窗口的起始点坐标（xi,yi）和滑动窗口的大小，获取切片图像中的小图像块，网格中的每个小格的左上角顶点坐标为切割小图像块时索引的坐标，若图像块的大小超出了切片图像的边界（右边界和下边界），则将图像块的起始点往左移或者往上移，使超出切片图像边界的图像块恰好与切片图像的边界吻合。
[0024]
s52、采用滑动窗口每次取网格中的一个小块输入网络获得分割结果；s53、如图4（c）所示，并结合图4（a）、图4（b）所示，将每个滑动窗口的分割结果进行拼接，得到整张病理切片图像的分割结果，整张病理切片图像的分割结果。
[0025]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。