一种基于深度学习的肿瘤病灶区域语义分割方法及系统

1.本发明涉及图像分类技术领域，并特别涉及一种基于深度学习的肿瘤病灶区域语义分割方法和系统。


背景技术：

2.近年来随着深度学习的迅猛发展，卷积神经网络(cnn)在图像处理领域已成为一种先进的机器学习算法，并被应用到医学图像处理领域。基于卷积神经网络的语义分割算法成为医学图像处理的一个重要分支。通过语义分割算法对医学图像进行精确分割得到器官或者病灶区域的轮廓和面积信息，从而辅助医生进行分析。
3.当前语义分割算法主要分为两类。一种是基于传统机器学习的语义分割算法，一种是基于深度学习的语义分割算法。基于传统机器学习的语义分割算法主要包括：基于阈值的分割算法，这类算法简单，分割速度快，但是对于复杂场景该算法效果欠佳。基于边缘的分割算法有sobel、laplace和canny等，该类算法由于背景和目标像素点差距较小，极易被误判为边缘。基于区域的分割算法主要有区域生长法以及分裂合并法。基于能量的图像分割方法包括基于图论的方法、基于icm的方法等等。基于深度学习的语义分割算法在医学中得到了广泛的应用，其中u-net是医学影像分割领域著名的一个网络架构，它可以通过很小的训练集，输出精确的分割结果。2018年zhou等人将densenet网络结构应用到u-net中，提出了u-net ，提升了分割的精度。oktay等人提出了attention u-net网络架构。attentionu-net在对编码层和解码层特征图进行拼接之前，使用了一个注意力门抑制无关区域中的特征启动来提高模型的分割准确性，在达到高分割精度的同时而无需额外的定位模块。
4.虽然语义分割算法众多，但是却各有利弊。针对不同的分割任务，算法也表现出不同的分割效果。当前网络上的肿瘤病灶区分割专利或者是论文，都是使用的ct图像或者病理图像。而缺少使用相机拍摄的包含肿瘤的器官解剖图像，两者由于图像形式不同，导致相机拍摄的肿瘤解剖图像数据量远小于ct图像和病理图像。当前的主要挑战是训练数据集数量较少，需要在有限的训练集下，对模型进行高效的训练，使其具备较高的分割精度和鲁棒性。


技术实现要素：

5.针对于肿瘤病灶区的分割，本发明提出了一种端到端的网络结构模型，整体结构分为编码层和解码层两部分，在编码层中引入密集连接网络结构块解决网络过深造成梯度弥散问题，在解码层引入特征注意力机制和通道注意力机制精确获取分割目标信息，在跳跃连接处增加多尺度感受野网络结构获取不同尺度语义信息，提升分割精度。该模型在兼顾速度和精度的前提下可以精确地分割出肿瘤病灶的准确位置，在医学图像处理领域中具有广泛的应用前景。
6.针对现有技术的不足，本发明提出一种基于深度学习的肿瘤病灶区域语义分割方
法，其中包括：
7.步骤1、构建包括编码层网络、解码层网络、多尺度感受野网络和注意力层的语义分割模型，获取相机拍摄的多张包含肿瘤的器官解剖图像，作为训练图像，且训练图像中每个像素点均标注有对应肿瘤病灶类别；
8.步骤2、通过该编码层网络提取该训练图像的语义和外观特征，构成编码层特征图，将该编码层特征图输入至该多尺度感受野网络，得到多尺度特征图，并通过该解码层网络将该编码层特征图和该多尺度特征图相融合，以对该编码层特征图进行上采样，得到解码层特征图；
9.步骤3、将该解码层特征图输入由特征注意力和通道注意力结构组成的该注意力层中，得到融合特征注意力和通道注意力的语义分割特征图，该语义分割特征图和该训练图像尺寸相同，且该语义分割特征图中每个像素值对应训练图像中相同位置像素的肿瘤病灶类别；
10.步骤4、基于该语义分割特征图以及训练图像中每个像素点标注的病灶类别，构建损失函数，以迭代训练该语义分割模型，直到损失函数收敛或达到预设迭代次数，保存当前语义分割模型作为最终识别模型；
11.步骤5、通过该最终识别模型提取相机拍摄的肿瘤解剖图像的病灶区域及其对应肿瘤病灶类别。
12.所述的基于深度学习的肿瘤病灶区域语义分割方法，其中该病灶类别包括肿瘤病灶区域和健康区域，该病灶区域包括肝肿瘤、肾肿瘤和肺肿瘤。
13.所述的基于深度学习的肿瘤病灶区域语义分割方法，其中该编码层网络结构由多个网络结构块组成，且每个网络结构块都由多个卷积层、归一化层和启动函数层组成，且网络结构块之间均为密集连接。
14.所述的基于深度学习的肿瘤病灶区域语义分割方法，其中该步骤3包括：将该解码层特征图同时输入特征注意力和通道注意力结构中，将特征注意力和通道注意力结构各自的输出特征进行融合，得到该语义分割特征图。
15.本发明还提出了一种基于深度学习的肿瘤病灶区域语义分割系统，其中包括：
16.模型构建模块，用于构建包括编码层网络、解码层网络、多尺度感受野网络和注意力层的语义分割模型，获取相机拍摄的多张包含肿瘤的器官解剖图像，作为训练图像，且训练图像中每个像素点均标注有对应肿瘤病灶类别；
17.特征提取模块，用于通过该编码层网络提取该训练图像的语义和外观特征，构成编码层特征图，将该编码层特征图输入至该多尺度感受野网络，得到多尺度特征图，并通过该解码层网络将该编码层特征图和该多尺度特征图相融合，以对该编码层特征图进行上采样，得到解码层特征图；
18.特征融合模块，用于将该解码层特征图输入由特征注意力和通道注意力结构组成的该注意力层中，得到融合特征注意力和通道注意力的语义分割特征图，该语义分割特征图和该训练图像尺寸相同，且该语义分割特征图中每个像素值对应训练图像中相同位置像素的肿瘤病灶类别；
19.模型训练模块，用于根据该语义分割特征图以及训练图像中每个像素点标注的病灶类别，构建损失函数，以迭代训练该语义分割模型，直到损失函数收敛或达到预设迭代次
数，保存当前语义分割模型作为最终识别模型；
20.语义分割模块，用于通过该最终识别模型提取相机拍摄的肿瘤解剖图像的病灶区域及其对应肿瘤病灶类别。
21.所述的基于深度学习的肿瘤病灶区域语义分割系统，其中该病灶类别包括病灶区域和健康区域，该病灶区域包括肝肿瘤、肾肿瘤和肺肿瘤。
22.所述的基于深度学习的肿瘤病灶区域语义分割系统，其中该编码层网络结构由多个网络结构块组成，且每个网络结构块都由多个卷积层、归一化层和启动函数层组成，且网络结构块之间均为密集连接。
23.所述的基于深度学习的肿瘤病灶区域语义分割系统，其中该特征融合模块，用于将该解码层特征图同时输入特征注意力和通道注意力结构中，将特征注意力和通道注意力结构各自的输出特征进行融合，得到该语义分割特征图。
24.本发明还提出了一种存储介质，用于存储执行所述任意一种基于深度学习的肿瘤病灶区域语义分割方法的程序。
25.本发明还提出了一种客户端，用于所述任意一种基于深度学习的肿瘤病灶区域语义分割系统。
26.由以上方案可知，本发明的优点在于：本发明提出的网络模型架构可在有限的训练集下，对模型进行高效的训练，使其具备较高的分割精度和鲁棒性。
附图说明
27.图1为本发明的方法流程如图；
28.图2为本发明涉及的网络结构图。
具体实施方式
29.本发明旨在解决以上现有技术的问题，提出了一种基于注意力机制，多尺度感受野的肿瘤病灶区语义分割算法。本发明的技术方案如下：
30.一种基于注意力机制，多尺度感受野的肿瘤病灶区语义分割算法，其包括以下步骤：
31.s1、首先，获取肿瘤解剖图像，将解剖图像进行预处理操作；其中肿瘤解剖图像可为任意包含肿瘤的器官解剖图像，例如肝脏肿瘤图像。
32.s2、其次，将s1中得到的预处理肿瘤解剖图像输入到编码层网络结构中，提取肿瘤解剖图像的语义信息和外观特征信息。
33.s3、再次，将编码层得到的特征图输入到解码层网络结构中，对编码层特征进行上采样操作，同时引入同尺度的编码层特征，获取丰富的特征信息。
34.s4、最后将s3中得到的特征信息输入到特征注意力和通道注意力网络中，将两类特征融合在一起输出最后的预测分割结果。
35.为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
36.如图1和图2所示，本发明方法包括：
37.步骤s1：先得到肿瘤解剖图像，将肿瘤解剖图像进行预处理操作，把所以图像都缩
放为512*512大小，既可以保留更多的特征信息，又可以减少网络运算量。
38.步骤s2：将步骤s1得到的预处理图像输入到编码层网络中，得到肿瘤解剖图像的语义信息和外观特征信息。编码层网络结构主要由四个网络结构块组成，每个网络结构块都由三个卷积层、归一化层和启动函数层组成。为了防止梯度弥散问题，每个网络结构块都进行了密集连接。密集连接表示每一层的卷积层都两两相连接。
39.y＝f(x)
ꢀꢀ
(1)
40.式(1)中f表示编码层网络结构，x表示s1中预处理的肿瘤解剖图像。
41.步骤s3：将编码层得到的特征图输入到解码层网络结构中，解码层网络对特征图进行上采样操作。同时为了防止特征信息丢失，编码层引入了同尺度的编码层特征图，使用多尺度感受野网络结构来提取编码层特征图的特征信息。最后将解码层四种不同尺度的特征图通过特征通道融合在一起。
[0042][0043]
式(2)中t表示解码层网络结构，i表示四个不同尺度的解码层特征图，r为将解码层四种不同尺度的特征图通过特征通道融合在一起形成的解码层特征图。
[0044]
步骤s4：最后将s3中得到特征同时输入到特征注意力和通道注意力网络结构中。特征注意力网络结构可以提高特征图中目标的回应信息，降低背景噪声对目标的影响。通道注意力网络结构可以对特征通道进行加权，加强对分割目标影响较大的通道，抑制噪声通道对分割的干扰。将两类特征进行融合输出最后的分割结果。
[0045]
z＝q(r) c(r)
ꢀꢀ
(3)
[0046]
式(3)中,q表示特征注意力网络结构，c表示通道注意力网络结构。
[0047]
本发明目的是将包含肿瘤的器官解剖图像划分成肿瘤病灶区域和健康区域。
[0048]
语义分割算法本质上是对图像的每一个像素点进行分类(深度学习分类算法是对整张图像进行分类)。我们输入一张512*512大小的图像，我们的网络结构就会对该图像的每一个像素点进行分类，然后将每个像素点的分类结果整合在一起就得到整张图像的一个分割结果(病灶区和类别)。步骤s4中的分割结果＝病灶区 类别。
[0049]
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
[0050]
本发明还提出了一种基于深度学习的肿瘤病灶区域语义分割系统，其中包括：
[0051]
模型构建模块，用于构建包括编码层网络、解码层网络、多尺度感受野网络和注意力层的语义分割模型，获取相机拍摄的多张包含肿瘤的器官解剖图像，作为训练图像，且训练图像中每个像素点均标注有对应肿瘤病灶类别；
[0052]
特征提取模块，用于通过该编码层网络提取该训练图像的语义和外观特征，构成编码层特征图，将该编码层特征图输入至该多尺度感受野网络，得到多尺度特征图，并通过该解码层网络将该编码层特征图和该多尺度特征图相融合，以对该编码层特征图进行上采样，得到解码层特征图；
[0053]
特征融合模块，用于将该解码层特征图输入由特征注意力和通道注意力结构组成的该注意力层中，得到融合特征注意力和通道注意力的语义分割特征图，该语义分割特征
图和该训练图像尺寸相同，且该语义分割特征图中每个像素值对应训练图像中相同位置像素的肿瘤病灶类别；
[0054]
模型训练模块，用于根据该语义分割特征图以及训练图像中每个像素点标注的病灶类别，构建损失函数，以迭代训练该语义分割模型，直到损失函数收敛或达到预设迭代次数，保存当前语义分割模型作为最终识别模型；
[0055]
语义分割模块，用于通过该最终识别模型提取相机拍摄的肿瘤解剖图像的病灶区域及其对应肿瘤病灶类别。
[0056]
所述的基于深度学习的肿瘤病灶区域语义分割系统，其中该病灶类别包括病灶区域和健康区域，该病灶区域包括肝肿瘤、肾肿瘤和肺肿瘤。
[0057]
所述的基于深度学习的肿瘤病灶区域语义分割系统，其中该编码层网络结构由多个网络结构块组成，且每个网络结构块都由多个卷积层、归一化层和启动函数层组成，且网络结构块之间均为密集连接。
[0058]
所述的基于深度学习的肿瘤病灶区域语义分割系统，其中该特征融合模块，用于将该解码层特征图同时输入特征注意力和通道注意力结构中，将特征注意力和通道注意力结构各自的输出特征进行融合，得到该语义分割特征图。
[0059]
本发明还提出了一种存储介质，用于存储执行所述任意一种基于深度学习的肿瘤病灶区域语义分割方法的程序。
[0060]
本发明还提出了一种客户端，用于所述任意一种基于深度学习的肿瘤病灶区域语义分割系统。