基于RN-DoubleU-Net网络的乳腺腺管区域图像分割方法

基于rn-doubleu-net网络的乳腺腺管区域图像分割方法
技术领域
1.本发明属于图像处理技术领域，具体涉及到乳腺腺管区域图像的分割。


背景技术：

2.图像分割是指将图像中对人们有意义的区域或者目标检测出来；随着智能设备的普及以及大数据时代的到来，人们正产生、存储和使用大量的图片，图像分割技术能帮我们进一步识别和分析图片。利用深度学习技术进行图像分割展现出了更加强大的性能，深度学习技术通过不断的训练，分割出图像的特征，从而把人们感兴趣的区域保留下来。因此，深度学习技术在图像分割领域有着广泛的研究价值和意义。
3.目前已研究出很多应用于图像分割的深度学习方法，比如u-net网络，以及对u-net网络改进的各种方法。u-net网络对乳腺腺管区域的分割检测效果不明显，而且十分的不稳定；u-net网络对于普通细胞的分割检测效果明显，但是对乳腺腺管区域的分割效果还有待改进；对u-net网络改进的方法比如doubleu-net网络，对于乳腺腺管区域的分割检测精度较之u-net网络精度高，但也没有达到一定的要求。


技术实现要素：

4.本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种分割区域准确、精度高、分割检测速度快的基于rn-doubleu-net网络的乳腺腺管区域图像分割方法。
5.解决上述技术问题所采用的技术方案是由下述步骤组成：
6.(1)数据集预处理
7.取乳腺腺管区域数据集图片398张，图片大小为2000
×
2000像素。
8.1)将乳腺腺管区域数据集像素值归一化到[0,1]，切分成尺寸为512
×
512像素的图片。
[0009]
2)将切分后的数据集按8：1：1的比例分为训练集、验证集、测试集。
[0010]
(2)构建rn-doubleu-net网络模型
[0011]
rn-doubleu-net网络模型由第一unet子网络和第二unet子网络连接构成，第一unet子网络的输出与第二unet子网络的输入相连。
[0012]
第一unet子网络由第一子网络编码器、第一子网络空洞卷积、第一子网络解码器依次串连构成，第二unet子网络由第二子网络编码器、第二子网络空洞卷积、第二子网络解码器依次串连构成。
[0013]
(3)训练rn-doubleu-net网络
[0014]
1)确定目标函数
[0015]
目标函数包括损失函数l
dice
和评价函数f1，按下式确定损失函数l
dice
：
[0016][0017]
其中，x表示真实值，x∈{x1,x2,...xn}，y表示预测值，y∈{y1,y2,...yn}，n是元素
的个数、为有限的正整数。
[0018]
按下式确定的评价函数f1：
[0019][0020][0021][0022]
其中，p是精准率，p∈[0,1],r是召回率，r∈[0,1]，t是真阳性，t∈[0,1]，f是假阳性，f∈[0,1],n是假阴性，n∈[0,1]，且p、r、t、f、n不同时为0。
[0023]
2)训练rn-doubleu-net网络
[0024]
将训练集送入到rn-doubleu-net网络中进行训练，在训练的过程中，rn-doubleu-net网络的学习率γ∈[10-5
,10-3
]，优化器采用自适应矩的估计优化器，迭代至损失函数收敛。
[0025]
(4)保存模型
[0026]
在训练rn-doubleu-net网络的过程中，用深度学习框架不断更新权重，保存权重文件。
[0027]
(5)验证rn-doubleu-net网络
[0028]
将验证集输入到rn-doubleu-net网络中进行验证。
[0029]
(6)测试rn-doubleu-net网络
[0030]
将测试集输入到rn-doubleu-net网络中进行测试，加载保存的权重文件，得到乳腺腺管区域图像。
[0031]
在本发明的(2)构建rn-doubleu-net网络模型的步骤中，所述的第一子网络编码器为深度学习框架中的vgg19网络，vgg19网络由串联的16个编码卷积层构成，vgg19网络的编码卷积层的编码卷积核大小为3
×
3、步长为1。
[0032]
所述的第一子网络空洞卷积由空洞卷积层构成，空洞卷积层由1个普通卷积核和5个空洞卷积核依次串联而成。
[0033]
所述的第一子网络解码器由4个解码卷积块构成，每个解码卷积块包含1个2
×
2大小的上采样层、2个大小为3
×
3步长为1的解码卷积核、1个注意力机制块，第一子网络解码器的输入与第一子网络空洞卷积的输出相连。
[0034]
本发明的普通卷积核的大小为1
×
1步长为1，第一个空洞卷积核的大小为1
×
1步长为1、空洞为1，第二个空洞卷积核的卷积核大小为3
×
3步长为1、空洞为6，第三个空洞卷积核的卷积核大小为3
×
3步长为1、空洞为12，第四个空洞卷积核的卷积核大小为3
×
3步长为1、空洞为18，第五个空洞卷积核的卷积核大小为1
×
1步长为1、空洞为1；空洞卷积层的输入与第一子网络编码器的输出相连。
[0035]
在本发明的(2)构建rn-doubleu-net网络模型的步骤中，所述的第二子网络空洞卷积与第一子网络空洞卷积结构相同，第二子网络空洞卷积的输入与第二子网络编码器的输出相连。所述的第二子网络解码器由4个解码卷积块串联构成，每个解码卷积块包含1个2
×
2大小的上采样层、2个大小为3
×
3步长为1的解码卷积核、1个注意力机制块，第二子网络
解码器的输入与第二子网络空洞卷积的输出相连。
[0036]
在本发明的(2)构建rn-doubleu-net网络步骤中，所述第二子网络编码器由普通卷积块与第一残差卷积块、第二残差卷积块、第三残差卷积块依次串联构成。
[0037]
所述的普通卷积块由1个大小为7
×
7步长为2的编码卷积核、1个池化大小为3
×
3步长为2的池化层串联接构成。
[0038]
所述的第一残差卷积块由3个依次串联的残差单元构成，第一个残差单元由4个编码卷积核依次串联而成，第二个编码卷积核的大小为3
×
3步长为1，第一、第三、第四个编码卷积核的大小为1
×
1步长为1；第二和第三个残差单元均由3个编码卷积核依次串联而成，每个残差单元的第二个编码卷积核大小为3
×
3步长为1，第一和第三个编码卷积核大小为1
×
1步长为1。
[0039]
所述的第二残差卷积块由4个依次串联的残差单元构成，第一个残差单元由4个编码卷积核依次串联而成，第一和第四个编码卷积核的大小为1
×
1步长为2，第二个编码卷积核的大小为3
×
3步长为1，第三个编码卷积核的大小为1
×
1步长为1；第二至四个残差单元均由3个编码卷积核依次串联构成，每个残差单元的第二个编码卷积核大小为3
×
3步长为1，第一和第三个编码卷积核大小为1
×
1步长为1。
[0040]
所述的第三残差卷积块由6个依次串联的残差单元构成；第一个残差单元由4个编码卷积核依次串联而成，第一个和第四个编码卷积核的大小为1
×
1步长为2，第二个编码卷积核的大小为3
×
3步长为1，第三个编码卷积核的大小为1
×
1步长为1；第二至第六个残差单元均由3个编码卷积核依次串联构成，每个残差单元的第二个编码卷积核大小为3
×
3步长为1，第一和第三个编码卷积核大小为1
×
1、步长为1；第二子网络编码器的输入与第一子网络解码器的输出相连。
[0041]
由于本发明采用了普通卷积块与三个残差卷积块作为第二子网络编码器，构建成rn-doubleu-net)网络，用于对乳腺腺管区域图像进行分割，rn-doubleu-net网络可充分地利用图像中的有效信息，准确分割图像中的乳腺腺管区域图像。采用本发明与现有的图像分割方法进行了对比实验，对比实验结果表明，本发明方法具有分割乳腺腺管区域图像准确、分割精度高、分割速度快等优点，可用于自动分割乳腺腺管区域图像。
附图说明
[0042]
图1是本发明实施例1的流程图。
[0043]
图2是rn-doubleu-net网络的结构示意图。
[0044]
图3是rn-doubleu-net网络的第二子网络编码器的结构示意图。
具体实施方式
[0045]
下面结合附图和实例对本发明进行进一步的说明，但本发明不限于下述实例。
[0046]
实施例1
[0047]
图1给出了本实施例的流程图。在图1中，本实施例的基于rn-doubleu-net网络的乳腺腺管区域图像分割方法由以下步骤组成：
[0048]
(1)数据集预处理
[0049]
取乳腺腺管区域数据集图片398张，图片大小为2000
×
2000像素。
[0050]
1)将乳腺腺管区域数据集像素值归一化到[0,1]，本实施例采用将乳腺腺管区域数据集像素值归一化到0.5，切分成尺寸为512
×
512像素的图片。
[0051]
2)将切分后的数据集按8：1：1的比例分为训练集、验证集、测试集。
[0052]
(2)构建rn-doubleu-net网络模型
[0053]
在图2中，本实施例的rn-doubleu-net网络由第一unet子网络和第二unet子网络连接构成，第一unet子网络的输出与第二unet子网络的输入相连。
[0054]
第一unet子网络由第一子网络编码器、第一子网络空洞卷积、第一子网络解码器依次串连构成，第二子网络由第二子网络编码器、第二子网络空洞卷积、第二子网络解码器依次串连构成。
[0055]
本实施例的第一子网络编码器为深度学习框架中的vgg19网络，vgg19网络由串联的16个编码卷积层构成，vgg19网络的编码卷积层的编码卷积核大小为3
×
3、步长为1。第一子网络空洞卷积由空洞卷积层构成，空洞卷积层由1个普通卷积核和5个空洞卷积核依次串联而成。第一子网络解码器由4个解码卷积块构成，每个解码卷积块包含1个2
×
2大小的上采样层、2个大小为3
×
3步长为1的解码卷积核、1个注意力机制块，第一子网络解码器的输入与第一子网络空洞卷积的输出相连。
[0056]
本实施例的普通卷积核的大小为1
×
1步长为1，第一个空洞卷积核的大小为1
×
1步长为1、空洞为1，第二个空洞卷积核的卷积核大小为3
×
3步长为1、空洞为6，第三个空洞卷积核的卷积核大小为3
×
3步长为1、空洞为12，第四个空洞卷积核的卷积核大小为3
×
3步长为1、空洞为18，第五个空洞卷积核的卷积核大小为1
×
1步长为1、空洞为1；空洞卷积层的输入与第一子网络编码器的输出相连。
[0057]
在图2中，第二子网络空洞卷积与第一子网络空洞卷积结构相同，第二子网络空洞卷积的输入与第二子网络编码器的输出相连。第二子网络解码器由4个解码卷积块串联构成，每个解码卷积块包含1个2
×
2大小的上采样层、2个大小为3
×
3步长为1的解码卷积核、1个注意力机制块，第二子网络解码器模块的输入与第二子网络空洞卷积的输出相连。
[0058]
在图3中，本实施例的第二子网络编码器由普通卷积快、第一残差卷积块、第二残差卷积块、第三残差卷积块依次串联构成。
[0059]
本实施例的普通卷积块由1个大小为7
×
7步长为2的编码卷积核、1个池化大小为3
×
3步长为2的池化层串联接构成。第一残差卷积块由3个依次串联的残差单元构成，其中第一个残差单元由4个编码卷积核依次串联构成，第二个编码卷积核的大小为3
×
3步长为1，第一、第三、第四个编码卷积核的大小为1
×
1步长为1；第二和第三个残差单元均由3个编码卷积核依次串联构成，每个残差单元的第二个编码卷积核大小为3
×
3步长为1，第一和第三个编码卷积核大小为1
×
1步长为1。第二残差卷积块由4个依次串联的残差单元构成，第一个残差单元由4个编码卷积核依次串联构成，第一和第四个编码卷积核的大小为1
×
1步长为2，第二个编码卷积核的大小为3
×
3步长为1，第三个编码卷积核的大小为1
×
1步长为1；第二至四个残差单元均由3个编码卷积核依次串联构成，每个残差单元的第二个编码卷积核大小为3
×
3步长为1，第一和第三个编码卷积核大小为1
×
1步长为1。第三残差卷积块由6个依次串联的残差单元构成；第一个残差单元由4个编码卷积核依次串联而成，第一个和第四个编码卷积核的大小为1
×
1步长为2，第二个编码卷积核的大小为3
×
3步长为1，第三个编码卷积核的大小为1
×
1步长为1；第二至第六个残差单元均由3个编码卷积核依次串联构
成，每个残差单元的第二个编码卷积核大小为3
×
3步长为1，第一和第三个编码卷积核大小为1
×
1、步长为1；第二子网络编码器的输入与第一子网络解码器的输出相连。
[0060]
由于本发明采用了由普通卷积块与三个残差卷积块作为第二子网络编码器，构建成rn-doubleu-net网络，对数据集中的乳腺腺管区域图像进行分割，利用图像中的有效信息，对乳腺腺管区域图像进行分割，得到了更高的分割精度。本发明与现有技术相比，本发明方法具有分割乳腺腺管区域图像准确、分割精度高、分割速度快等优点。
[0061]
(3)训练rn-doubleu-net网络
[0062]
1)确定目标函数
[0063]
目标函数包括损失函数l
dice
和评价函数f1，按下式确定损失函数l
dice
：
[0064][0065]
其中，x表示真实值，x∈{x1,x2,...xn}，y表示预测值，y∈{y1,y2,...yn}，n是元素的个数、为有限的正整数，本实施例的n取值为512，n的具体取值应按照图像像素的大小来确定，通常采用512的倍数，或能整除512的数。
[0066]
按下式确定的评价函数f1：
[0067][0068][0069][0070]
其中，p是精准率，p∈[0,1],r是召回率，r∈[0,1]，t是真阳性，t∈[0,1]，f是假阳性，f∈[0,1],n是假阴性，n∈[0,1]，本实施例p、r、t、f、n的取值为0.5。
[0071]
2)训练rn-doubleu-net网络
[0072]
将训练集送入到rn-doubleu-net网络中进行训练，在训练的过程中，rn-doubleu-net网络的学习率γ∈[10-5
,10-3
]，本实施例的γ取值为10-3
，优化器采用自适应矩的估计优化器，迭代至损失函数收敛。
[0073]
(4)保存模型
[0074]
在训练rn-doubleu-net网络的过程中，用深度学习框架不断更新权重，保存权重文件。
[0075]
(5)验证rn-doubleu-net网络
[0076]
将验证集输入到rn-doubleu-net网络中进行验证。
[0077]
(6)测试rn-doubleu-net网络
[0078]
将测试集输入到rn-doubleu-net网络中进行测试，加载保存的权重文件，得到乳腺腺管区域图像。
[0079]
完成基于rn-doubleu-net网络的乳腺腺管区域图像分割方法。
[0080]
实施例2
[0081]
本实施例的基于rn-doubleu-net网络的乳腺腺管区域图像分割方法由以下步骤组成：
[0082]
(1)数据集预处理
[0083]
取乳腺腺管区域数据集图片398张，图片大小为2000
×
2000像素。
[0084]
1)将乳腺腺管区域数据集像素值归一化到[0,1]，本实施例采用将乳腺腺管区域数据集像素值归一化到0，切分成尺寸为512
×
512像素的图片。
[0085]
2)将切分后的数据集按8：1：1的比例分为训练集、验证集、测试集。
[0086]
(2)构建rn-doubleu-net网络模型
[0087]
该步骤与实施例1相同。
[0088]
(3)训练rn-doubleu-net网络
[0089]
1)确定目标函数
[0090]
目标函数包括损失函数l
dice
和评价函数f1，按下式确定损失函数l
dice
：
[0091][0092]
其中，x表示真实值，x∈{x1,x2,...xn}，y表示预测值，y∈{y1,y2,...yn}，n是元素的个数、为有限的正整数，本实施例的n取值为512，n的具体取值应按照图像像素的大小来确定，通常采用512的倍数，或能整除512的数。
[0093]
按下式确定的评价函数f1：
[0094][0095][0096][0097]
其中，p是精准率，p∈[0,1],r是召回率，r∈[0,1]，t是真阳性，t∈[0,1]，f是假阳性，f∈[0,1],n是假阴性，n∈[0,1]。本实施例p取值为0.5，r、t、f、n的取值为0。
[0098]
2)训练rn-doubleu-net网络
[0099]
将训练集送入到rn-doubleu-net网络中进行训练，在训练的过程中，rn-doubleu-net网络的学习率γ∈[10-5
,10-4
]，本实施例的γ取值为10-5
，优化器采用自适应矩的估计优化器，迭代至损失函数收敛。
[0100]
其它步骤与实施例1相同。完成基于rn-doubleu-net网络的乳腺腺管区域图像分割方法。
[0101]
实施例3
[0102]
本实施例的基于rn-doubleu-net网络的乳腺腺管区域图像分割方法由以下步骤组成：
[0103]
(1)数据集预处理
[0104]
取乳腺腺管区域数据集图片398张，图片大小为2000
×
2000像素。
[0105]
1)将乳腺腺管区域数据集像素值归一化到[0,1]，本实施例采用将乳腺腺管区域数据集像素值归一化到1，切分成尺寸为512
×
512像素的图片。
[0106]
2)将切分后的数据集按8：1：1的比例分为训练集、验证集、测试集。
[0107]
(2)构建rn-doubleu-net网络模型
[0108]
该步骤与实施例1相同。
[0109]
(3)训练rn-doubleu-net网络
[0110]
1)确定目标函数
[0111]
目标函数包括损失函数l
dice
和评价函数f1，按下式确定损失函数l
dice
：
[0112][0113]
其中，x表示真实值，x∈{x1,x2,...xn}，y表示预测值，y∈{y1,y2,...yn}，n是元素的个数、为有限的正整数，本实施例的n取值为512，n的具体取值应按照图像像素的大小来确定，通常采用512的倍数，或能整除512的数。
[0114]
按下式确定的评价函数f1：
[0115][0116][0117][0118]
其中，p是精准率，p∈[0,1],r是召回率，r∈[0,1]，t是真阳性，t∈[0,1]，f是假阳性，f∈[0,1],n是假阴性，n∈[0,1]。本实施例p、r、t、f、n的取值为1。
[0119]
2)训练rn-doubleu-net网络
[0120]
将训练集送入到rn-doubleu-net网络中进行训练，在训练的过程中，rn-doubleu-net网络的学习率γ∈[10-5
,10-4
]，本实施例的γ取值为10-4
，优化器采用自适应矩的估计优化器，迭代至损失函数收敛。
[0121]
其它步骤与实施例1相同。完成基于rn-doubleu-net网络的乳腺腺管区域图像分割方法。
[0122]
实施例4
[0123]
本实施例的基于rn-doubleu-net网络的乳腺腺管区域图像分割方法由以下步骤组成：
[0124]
(1)数据集预处理
[0125]
该步骤与实施例1相同。
[0126]
(2)构建rn-doubleu-net网络模型
[0127]
该步骤与实施例1相同。
[0128]
(3)训练rn-doubleu-net网络
[0129]
1)确定目标函数
[0130]
目标函数包括损失函数l
dice
和评价函数f1，按下式确定损失函数l
dice
：
[0131][0132]
其中，x表示真实值，x∈{x1,x2,...xn}，y表示预测值，y∈{y1,y2,...yn}，n是元素的个数、为有限的正整数，本实施例的n取值为512，n的具体取值应按照图像像素的大小来确定，通常采用512的倍数，或能整除512的数。
[0133]
按下式确定的评价函数f1：
[0134][0135][0136][0137]
其中，p是精准率，p∈[0,1],r是召回率，r∈[0,1]，t是真阳性，t∈[0,1]，f是假阳性，f∈[0,1],n是假阴性，n∈[0,1]，本实施例p取值为0，r、t、f、n的取值为0.5。
[0138]
2)训练rn-doubleu-net网络
[0139]
该步骤与实施例1相同。
[0140]
其它步骤与实施例1相同。完成基于rn-doubleu-net网络的乳腺腺管区域图像分割方法。
[0141]
为了验证本发明的有益效果，发明人采用本发明实施例1的基于rn-doubleu-net网络的乳腺腺管区域图像分割方法与基于doubleu-net方法、u-net方法进行了对比仿真实验，各种实验情况如下：
[0142]
用训练后的各个模型测试相同的测试集，并使用评估代码测试模型精度，采用评价函数f1作为评价方法的好坏，评价函数f1值越大，表明方法越好，评价函数f1的实验结果见表1。
[0143]
表1实施例1与doubleu-net方法、u-net方法的评价函数f1值
[0144]
测试方法评价函数f1实施例10.7271doubleu-net方法0.7167u-net方法0.6206
[0145]
由表1可见，实施例1方法的评价函数f1值为0.7271，doubleu-net方法的评价函数f1值为0.7167，u-net方法的评价函数f1值为0.6206。实施例1方法的评价函数f1值比doubleu-net方法的评价函数f1值高1.45％，比u-net方法的评价函数f1值高17.16％。