多模态眼睑肿瘤数据融合进行肿瘤区域分割的方法与流程

1.本发明属于计算机辅助医学图像处理领域，涉及一种对眼睑癌症病理图像的肿瘤区域分割方法。


背景技术：

2.患者的病理图像数据和性别年龄数据对癌症的诊断有着至关重要的作用。病理学家通过观察患者身体组织的病理切片图像来判断患者肿瘤区域的良恶性，这个过程需要花费大量的时间和精力。目前通过借助深度学习方法对眼睑肿瘤进行分割的方法通常围绕眼部区域病理切片的病理图像进行展开。从unet分割网络提出至今，越来越多的基于unet网络的变种分割网络也被提出，它们对应的分割精度也越来越高，比如unet 和unet3 。这些方法的输入是一张病理图像，输出是一张带有肿瘤区域分割结果的二值图像。
3.上述提到的方法通常利用的分割信息只来源于病理图像本身。但是，实际癌症诊断中，一些图片之外的其他文本数据同样也非常具有参考价值，如患者的性别、年龄等文本数据。


技术实现要素：

4.本发明的目的是针对现有的对眼睑癌症病理图像肿瘤的分类和分割需求，提出一种文本和图像多模态眼睑肿瘤数据融合进行肿瘤区域分割的方法。该方法能够在癌症病理图像中自动分割出肿瘤区域。
5.另外，我们还采用issa(interlaced sparse self-attention)算法，使得分割的结果更准确。
6.本文将提出一个新的通用的框架以实现对输入图像中肿瘤区域的分割。算法主要分为三个阶段：对整张wsi病理图像进行切片处理、利用医生标注并融合切片图像和文本数据进行训练、利用训练好的模型预测病理图像的癌症区域。
7.本发明的具体步骤如下：
8.步骤1、对整张病理全扫描图像进行图像预处理，根据病理图像中的组织和医生的标注，生成相应的组织区域二值掩膜和癌症区域二值掩膜；
9.利用组织区域二值掩膜在组织区域取点，使用openslide工具在相应的病理全扫描图像以及癌症区域掩膜上切出对应的病理切片图像，作为训练用的图像和真实值；
10.其中病理全扫描图像缩写为wsi图像。应用otsu算法分离病理图像的组织和背景区域，得到组织区域的二值掩膜图像。将病理医生给的标注文件转成癌症区域的二值掩膜图像。
11.组织区域的二值掩膜图像作为训练图像，癌症区域的二值掩膜图像作为训练图像的金标注。其中训练图像用vahadane方法进行染色归一化处理，对图像进行数据增强。
12.步骤2、对患者的性别年龄的文本数据进行数据预处理，性别数据转成2*4的矩阵，矩阵中每个值都为性别，女性值为0，男性值为1；年龄数据转成2*4的矩阵，矩阵中每个值都
为年龄的值，再将两个矩阵拼接成一个4*4的矩阵；
13.步骤3、将处理好的图片和文本数据输入到带有患者性别年龄文本数据分支的unet3 神经网络中；
14.该网络中的融合模块做的操作包括：
15.操作1、分别对图像模态和文本模态的数据进行卷积操作，经过卷积操作之后得到的数据为特征图，再将得到的特征图进行通道堆叠；
16.操作2、将堆叠之后的特征图经过残差模块，在残差模块中将经过卷积之后的特征图和未经卷积的特征图叠加；
17.操作3、利用unet3 神经网络对眼睑肿瘤的病理切片以及患者性别年龄数据进行网络训练完毕之后，保存训练好的网络模型；
18.步骤4、应用步骤3中训练好的网络模型对输入的病理图像进行肿瘤区域分割，网络输出即为该张病理切片图像的分割结果；
19.步骤5、对于一整张病理全扫描图像的分割结果，切出其中组织区域的病理切片，对每张病理切片进行步骤4的肿瘤分割预测之后，将预测结果图拼接起来得到整张病理全扫描图像的分割结果。
20.本发明的有益效果：本发明实现了利用多种模态数据自动地对病理图像中的癌症区域的分割，并非传统的只利用图像数据进行分割。本发明的到的分割结果图，相较传统方法得到的分割图，具有更精细的边界分割结果和更高的分割精度。
附图说明
21.图1为原始的wsi图像，线条区域为医生的标注；
22.图2(a)为wsi图像对应生成的组织掩膜；
23.图2(b)为wsi图像对应生成的癌症区域的掩膜；
24.图3(a)为根据组织掩膜提取出的切片图像；
25.图3(b)分别为根据组织掩膜提取出的切片图像的金标注图像；
26.图4为本发明运用到的带有患者性别年龄文本数据分支的unet3 神经网络具体网络流程图；
27.图5(a)为利用本发明的算法进行预测的原图像；
28.图5(b)为利用本发明的算法进行预测的预测结果图像；
29.图6为本发明的总体流程图。
具体实施方式
30.实施例1
31.如图6所示，多模态眼睑肿瘤数据融合进行肿瘤区域分割的方法，具体步骤如下：
32.步骤1、对于一张待进行分割的图像i，图像见图1。
33.步骤2、由于整张病理切片图像中背景区域占很大一部分，故应用otsu算法，选择一个最佳阈值，分离病理图像的组织和背景区域，得到组织区域的掩膜图像，如图2(a)所示。
34.步骤3、利用医生给的json格式标注，首先转换成xml格式文件，再利用xml格式文
件转换成癌症掩膜图像，如图2(b)所示。
35.步骤4、在组织掩膜图像上选取相应的坐标点，根据所选坐标点以及人为设定的边长大小(本发明设定1024像素为边长大小)分别从原始的wsi图像和癌症区域掩膜图像中的切出小块病理切片图像，如图3(a)和图3(b)所示。
36.步骤5、将处理好的训练数据进行染色归一化处理和数据增强。染色归一化处理是让使用h&e染色的病理图像的颜色差异缩小。数据增强则是为了增强网络模型对肿瘤区域的分割识别能力。
37.步骤6、将处理好的训练图像以及对应患者的性别年龄数据输入设计好的训练网络中。网络的设计如图4所示，图像数据进入上部的unet3 网络进行训练，患者的性别年龄数据在文本分支中和对应unet3 网络中的图像数据进行融合之后进入残差块，这样过程进行3次之后，再和图像数据进行通道堆叠合并，最后从网络中输出，得到分割结果。
38.该网络中的融合模块做的操作包括：
39.操作1、分别对图像模态和文本模态的数据进行卷积操作，经过卷积操作之后得到的数据为特征图，再将得到的特征图进行通道堆叠；
40.操作2、将堆叠之后的特征图经过残差模块，在残差模块中将经过卷积之后的特征图和未经卷积的特征图叠加；
41.操作3、利用unet3 神经网络对眼睑肿瘤的病理切片以及患者性别年龄数据进行网络训练完毕之后，保存训练好的网络模型；
42.步骤4、应用步骤3中训练好的网络模型对输入的病理图像进行肿瘤区域分割，网络输出即为该张病理切片图像的分割结果；
43.步骤5、对于一整张病理全扫描图像的分割结果，切出其中组织区域的病理切片，对每张病理切片进行步骤4的肿瘤分割预测之后，将预测结果图拼接起来得到整张病理全扫描图像的分割结果。
44.步骤6、对一张要预测的wsi图像，利用同样的数据预处理方法，获得小块病理切片图像，将每张图像输入训练好的网络之后，得到每张图像的分割结果之后，再拼接回大图，得到正常wsi图像的预测结果，如图5(a)和图5(b)所示。