基于MSU

基于msu2net的皮肤黑色素瘤分割算法
技术领域
1.本发明属于医学图像分割领域，主要是对皮肤镜图像的分割算法进行改进优化。具体是一种基于u2net进行改进的皮肤黑色素瘤分割算法msu2net，可应用于医学图像分割领域。


背景技术：

2.黑色素瘤的早期诊断非常重要，早期的治疗可以使病人五年的存活率提升至99％，晚期已经发生转移的黑色素瘤患者，存活率不超过一年。黑色素瘤不仅给病人带来了巨大的精神负担、身体负担和经济负担。而且给公共卫生医疗带来了巨大的支出，美国治疗皮肤癌的年度费用估计为8亿美元，非黑色素瘤皮肤癌约为1亿美元，黑色素瘤约为4亿美元。医生可以通过手工标注的方法描绘皮肤镜图像的掩模图，掩模图清晰的反映患者的皮损区域是否对称(a原则)，边界是否清晰(b原则)以及直径是否超过了6mm(d原则)，医生手工诊断通常具有主观性，并且对医生的专业性提出了很高的要求。手工诊断方法伴随着成本高、效率低和准确率不稳定等问题。近年来，机器学习(ml)和深度学习(dl)在病变区域分割方面表现出了优异的性能，但是机器学习算法的性能受限于病变区域的颜色、大小、噪声干扰和形状等。皮肤黑色素瘤分割是医学图像分割算法的一个应用。在皮肤黑色素瘤分割算法中，需要使用图像处理技术对皮肤图像进行预处理和增强，如去除噪声、调整亮度对比度等。同时，还需要使用计算机视觉技术来提取黑色素瘤区域的特征，如颜色、形状、边缘等，并利用机器学习算法来训练分类器以自动识别黑色素瘤。常见的机器学习算法包括支持向量机(svm)、卷积神经网络(cnn)等。近年来，深度学习技术的发展以及大规模数据集的建立也为黑色素瘤分割算法的精度和效率提供了很大的帮助。
3.传统的皮肤损伤分割算法包括边缘检测、阈值分割、基于区域的方法等。双峰阈值分割算法解决了全局阈值算法无法对双峰阈值图像精确分割的问题，然而该算法也无法适用于皮肤镜图像的复杂情况。梯度矢量流算法可以准确的定位病变区域边界，但是当边界区域模糊、气泡噪声、毛发噪声等造成伪边缘的时候，该方法只能提供粗略的分割效果。人工蜂群的方法具有较高的特异性、模型参数较少、分割结果比较准确，但是受限于皮肤镜图像的复杂性，选择最佳分割阈值是困难的。基于最佳颜色通道的分割算法需要对皮肤镜图像进行必要的预处理，比如毛发、气泡噪声去除等，并且该算法在低分辨率图像上表现不佳。mfcn多阶段卷积网络可以合并每个阶段的输出概率图，先前生成的图像和原图一起输入到剩余的(m-1)级网络中，早期阶段用来生成粗糙掩膜，后期的阶段用来精细化输出边界。尽管该方法取得了一定的成功，由于非黑色素瘤图像的数量远超黑色素瘤图像数量，因此该模型存在过拟合的问题。为了保持图像的分辨率不变，frcn网络取消了编码器结构，该方法虽然充分的利用了所有的空间信息，然而，没有下采样操作导致模型出现严重的特征冗余、训练困难等现象。slsdeep结合了扩张残差卷积、跳过连接和金字塔池网络。扩张残差
卷积和金字塔池网络使得编码器可以从皮肤镜图像中提取更丰富的特征。在主注意力机制分支、通道注意力分支和空间注意力分支的多注意力机制网络中，主注意力分支用来输入高分辨率特征图，其它两个注意力分支分别用来对特征图进行空间和通道维度的增强，通过融合三个分支的输出获得增强后的特征。反卷积模型在皮肤病灶的分割和分析上取得了较好的效果，但需要很高的计算成本，在少样本量的情况下，病灶分割的结果依赖于对大量参数和预处理的调整，这会大大增加计算资源的消耗。
4.深度学习算法在皮肤镜图像分割的准确度和效率方面都要优于传统的机器学习算法。上述深度学习方法受限于卷积层的感受野的大小，低级特征缺乏全局信息，并且由于多个池化操作会降低特征图分辨率，高级特征不能准确预测目标边缘的细节。另一方面，注意力机制在提高网络信息处理能力的同时产生了大量的参数。从高分辨率图像中获取这些特征图需要大量的计算。此外，bce损失函数对物体边界不敏感，难以获得清晰的边界。


技术实现要素：

5.本发明解决的技术问题是：针对皮肤黑色素瘤分割准确度和效率低问题，提出一种基于msu2net的皮肤黑色素瘤分割算法，该方法结合了u2net网络和inception模块的优点，通过引入改进的混合损失函和皮肤镜毛发噪声去除算法，能够更好的处理皮肤黑色素瘤的局部信息，从而实现更加准确的分割效果。
6.本发明的技术解决方案是：一种基于msu2net的皮肤黑色素瘤分割方法，步骤如下：(1)对输入的皮肤镜图像进行预处理，包括毛发噪声去除、大小调整、归一化等操作。(2)利用inception模块，提取不同尺度的特征信息。(3)使用了dice和bce混合损失函数取代传统的bce损失函数，进一步提高模型精度。(4)将en_5、de_1、de_2、de_3、de_4、de_5阶段的输出进行融合，通过sigmoid分类器得到高分辨率的分割预测图。
7.进一步地，所述数据预处理阶段采用形态学闭操作对皮肤镜图像中的毛发进行提取，采用快速匹配算法对毛发噪声区域进行修复，生成干净的皮肤镜图像。
8.进一步地，所述特征提取阶段，使用inception模块代替传统的卷积模块，该模块有三个并行的分支，分别是1
×
1卷积，3
×
3卷积和两个堆叠的3
×
3卷积，经过不同卷积层处理的结果矩阵拼接成一个更深的矩阵，这样就扩充了网络的深度和宽度。在3
×
3卷积之前使用1
×
1卷积对尺度较大的矩阵进行降维处理，减少参数量的同时实现了在不同尺寸上对特征信息进行聚合。
9.进一步地，所述损失函数阶段，使用dice和bce混合损失函数代替bce损失函数，α和β分别表示dice损失函数和bce损失函数的权重，θ∈[0,1]是一个可调参数，用于防止被零除误差，同时也避免模型出现过拟合。n是像素的总数，yi是像素i的真实标签，表示像素i的预测输出。当样本属于正类的时候(y＝1)，我们想要尽可能的接近1；当样本属于负类的时候(y＝0)，我们想要尽可能的接近0。α＝0.7,β＝0.3可以让bce损失函数占据较大的比例，以确保模型能够正确分类不同的样本，同时通过dice损失函数提供额外的类别不平
衡性惩罚，从而提高模型对少数类别的准确度。
[0010]
进一步地，所述特征融合阶段，en_5、de_1、de_2、de_3阶段输出的特征图的分辨率较低，de_4、de_5阶段的输出的特征图分辨率较高，将不同分辨率的特征图进行融合，并且将融合的结果输入到sigmoid分类器中，以获得高分辨率的分割图像。
[0011]
与现有的技术相比，本发明的有益效果是：本发明所提出的基于msu2net的皮肤黑色素瘤分割算法，能够自动、快速的识别出黑色素瘤区域，并且对黑色素瘤区域的边界检测更加灵敏。与传统的手工诊断方法相比，本发明的算法能够极大地减少医生的负担，为临床工作提高更加可靠和有效的辅助诊断手段。
附图说明
[0012]
为使得本发明中的技术方案，下面将会选取一些附图对本发明进行阐述。下述附图仅为本发明的一些实例；使用者可根据该附图获得其他类似的附图。其中：图1为msu2net皮肤黑色素瘤分割算法的算法流程图。图2为msu2net主干网络的结构示意图。图3为inception模块的网络结构图。图4为rsu-l-inception模块的网络网络结构图。图5为rsu-l模块的网络网络结构图。
具体实施方式
[0013]
如图1所示，一种基于msu2net的皮肤黑色素瘤分割算法流程。包括以下步骤：(1)皮肤镜毛发噪声去除。(2)构建msu2net皮肤黑色素瘤分割网络。(3)使用bce dice混合损失函数减小模型预测结果与真实掩膜之间的差异。(4)通过评价指标进行模型验证。
[0014]
在上述步骤(1)中，实施皮肤镜毛发噪声去除的方法为：首先将皮肤镜图像转化为灰度图像，对带有毛发噪声的皮肤镜图像进行形态学闭操作，得到毛发区域明亮、背景区域较暗的噪声提取图像，在形态学闭操作中，选择对毛发噪声提取效果更好的椭圆结构化元素。对噪声提取图像进行阈值处理，根据毛发噪声的灰度分布直方图特点，选择分割阈值为10，得到二值化图像。采用快速匹配算法进行图像修复算法从待修复区域的边界开始，逐渐进入区域内部。待修复像素被附近已知像素的归一加权和代替，位于该点附近、边界法线附近和边界轮廓线上的像素被赋予更大的权重。修复像素后，采用快速行进方法移动到下一个最近的像素。
[0015]
在上述步骤(2)中，构建msu2net皮肤黑色素瘤分割网络的方法为：msu2net模型由六个编码器块和五个解码器块组成，其中en_1、en_2、en_3、en_4、en_5、en_6是编码器模块，de_1、de_2、de_3、de_4、de_5是解码器模块。解码器模块和对应的编码器模块是完全相同的结构。en_1、en_2、en_3、en_4以及对应的de_1、de_2、de_3、de_4都由rsu-inception-l模块构成，l表示该模块的深度。en_5、en_6、de_5是由rsu-l模块构成。
[0016]
rsu-inception-l模块采用inception模块代替常规的卷积模块，inception模块可以提取多尺度的特征；通过叠加不同的rsu-inception-l模块，实现了多级特征的融合。
在en_5、en_6、de_5阶段，特征图的尺寸已经非常小，为了减少特征损失和扩大感受野，使用扩张卷积代替池化操作，d代表空洞率。
[0017]
rsu-inception-l模块由inception模块堆叠构成。inception模块通过不同大小的多个卷积核的并行连接捕获多尺度特征，该模块有三个并行的分支，分别是1
×
1卷积，3
×
3卷积和两个堆叠的3
×
3卷积，经过不同卷积层处理的结果矩阵拼接成一个更深的矩阵，这样就扩充了网络的深度和宽度。在3
×
3卷积之前使用1
×
1卷积对尺度较大的矩阵进行降维处理，减少参数量的同时实现了在不同尺寸上对特征信息进行聚合。
[0018]
在上述步骤(3)中，构建bce dice混合损失函数的方法为：α和β分别表示dice损失函数和bce损失函数的权重，θ∈[0,1]是一个可调参数，用于防止被零除误差，同时也避免模型出现过拟合。n是像素的总数，yi是像素i的真实标签，表示像素i的预测输出。α＝0.7,β＝0.3可以让bce损失函数占较大的比例，以确保模型能够正确分类不同的样本，同时通过dice损失函数提供额外的类别不平衡性惩罚，从而提高模型对少数类别的准确度。
[0019]
在上述步骤(4)中，实施模型评价的方法为：使用精度(acc)、miou指数和dice系数等性能指标定量评估所提出的msu2net的性能。
[0020]
acc参数指示在总像素数上识别的正像素数。
[0021]
miou用来计算所有类别交集和并集之比的平均值。
[0022]
recall表示所有真实标签为正的样本，有多大百分比被预测出来。
[0023]
dice计算掩膜真实值和预测分割之间的边界轮廓匹配指数。
[0024]
precision表示表示模型预测为正例的所有样本中，真实标签为正样本的占比。
[0025]
综上所述，本发明提出了一种用于皮肤黑色素瘤分割的msu2net算法，该算法结合毛发去除算法，有效的从皮肤镜图像中去除毛发噪声；rsu-inception-l模块可以提取皮肤镜图像更加丰富的特征；dice bce混合损失函数解决了bce损失函数偏向于关注非病变区域而不是病变区域的问题。与目前主流的分割算法相比，该算法在分割的精确度上表现出优异的性能。为了实现更强大的特征提取能力，msu2net网络采用多个rsu-l-inception模块堆叠的方式，相对于u-net网络，该模型因此变得复杂、参数量较多，需要更多的时间进行训练学习。我们未来的工作包括使用更大的数据集减少过拟合的问题、精简网络结构实现更有效的训练。本发明只是提出了皮肤镜图像的分割算法，没有对后续的病情进行诊断，未来还要根据现有的皮肤分割算法设计黑色素瘤的良、恶性分类器，分类器根据皮肤镜图像的特征信息，对患者病情进行进一步诊断。
[0026]
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。