一种基于深度学习的乳腺超声增强方法与流程

1.本发明涉及一种基于深度学习的乳腺超声增强方法，属于图像增强技术领域。


背景技术：

2.传统方式中，乳房出现异常现象的初诊患者需要再次到医院由医生用高端超声仪器进行检测，获取乳腺超声视频，医生再根据乳腺超声视频判断乳房肿块的性质。为了提高医患双方的便利性，部分医院正大力推广便携超声设备，患者足不出户就能检测获取自己的乳腺超声视频，然后上传到人工智能医疗平台，用目标检测方法对便携仪器的乳腺超声视频进行自动检测。便携仪器乳腺超声视频包含脂肪层、腺体层和肌肉层三种组织，而肿瘤只存在于腺体层中，脂肪层和肌肉层的干扰容易导致较高的假阳性率；另外便携仪器乳腺超声视频的腺体区域质量一般来说低于高端仪器乳腺超声视频的腺体区域质量。以上问题的存在，制约着便携超声设备的推广。


技术实现要素：

3.本法明的目的是提供一种基于深度学习的乳腺超声增强方法，来改善便携仪器乳腺超声视频病变区域自动检测时出现的假阳性和准确率不够高的问题。适用于医疗等领域，用于进行检测的图像增强，利于便携超声设备的推广。
4.本发明的目的是通过如下技术手段实现的：
5.本发明公开的一种基于深度学习的乳腺超声增强方法，是通过排除乳腺超声视频中的脂肪层、肌肉层的影响，以及提升便携仪器乳腺超声视频的质量来实现的。首先将便携仪器获取的图像质量不高的乳腺超声视频截取成乳腺超声图像，采用unet分割出乳腺超声视频中的腺体区域。unet通过数据扩充技术，能更有效地使用有限的标记样本，可以用非常少的数据进行端到端的训练，而且网络速度很快；然后使用循环生成对抗网络(cyclegan)对模糊乳腺超声图像的腺体区域进行增强。cyclegan最大的特点是不要求训练数据是成对的，只需要提供不同域的图像就能成功训练不同域之间图像的映射，这样就可以提高便携设备乳腺超声视频中腺体区域的图像质量，达到高端设备的成像水平，进而提高便携式超声设备的检测准确率。
6.一种基于深度学习的乳腺超声视频病变检测方法，包括如下步骤：
7.步骤一：分割出便携仪器乳腺超声视频中腺体区域。
8.步骤1.1：构建数据集。首先，将采集自便携仪器的乳腺超声视频逐帧截取获得便携仪器乳腺超声图像；其次，根据医生提供的便携仪器乳腺超声图像的标注信息(这些标注信息给出了整幅乳腺超声图像上脂肪、腺体、肌肉三大组织的坐标数据)，使用matlab获得便携仪器乳腺超声图像的分割图，分割图上，背景区域的像素值为0，脂肪区域的像素值为1，腺体区域的像素值为2，肌肉区域的像素值为3。
9.步骤1.2：构建用于分割的unet。首先，构建编码结构，使用3
×
3的卷积核尺寸，第一层卷积网络提取的特征数目为16，输入图像通道数为3，连续两次卷积后通过整流线性单
元和用于下采样的最大池化层，最大池化层的步长为2，每个下采样步骤都会将特征通道数量加倍，将卷积层-卷积层-池化层的网络结构重复5次；然后，构建解码结构，采用双线性插值法做上采样，卷积核尺寸为2
×
2，然后经过两个3x3卷积层，每层都跟着整流线性单元；最后，使用1
×
1卷积层将特征向量映射到对应的类。
10.步骤1.3：利用训练好的unet分割便携仪器乳腺超声图像，根据分割结果裁剪下腺体区域的矩形边界框，获得便携仪器腺体层图像。
11.步骤二：分割出高端仪器乳腺超声视频中腺体区域。
12.步骤2.1：构建数据集。首先，将采集自高端仪器的乳腺超声视频逐帧截取获得高端仪器乳腺超声图像；其次，根据医生提供的高端仪器乳腺超声图像的标注信息(这些标注信息给出了整幅乳腺超声图像上脂肪、腺体、肌肉三大组织的坐标数据)，使用matlab获得高端仪器乳腺超声图像的分割图，分割图上，背景区域的像素值为0，脂肪区域的像素值为1，腺体区域的像素值为2，肌肉区域的像素值为3。
13.步骤2.2：构建用于分割的unet。首先，构建编码结构，使用3
×
3的卷积核尺寸，第一层卷积网络提取的特征数目为16，输入图像通道数为3，连续两次卷积后通过整流线性单元和用于下采样的最大池化层，最大池化层的步长为2，每个下采样步骤都会将特征通道数量加倍，将卷积层-卷积层-池化层的网络结构重复5次；然后，构建解码结构，采用双线性插值法做上采样，卷积核尺寸为2
×
2，然后经过两个3x3卷积层，每层都跟着整流线性单元；最后，使用1
×
1卷积层将特征向量映射到对应的类。
14.步骤2.3：利用训练好的unet分割高端仪器乳腺超声图像，根据分割结果裁剪下腺体区域的矩形边界框，获得高端仪器腺体层图像。
15.步骤三：增强模糊腺体层。
16.步骤3.1：构建数据集。该步骤数据分为两类：一类是步骤一中获得的便携仪器腺体层图像；另一类是步骤二中获得的高端仪器腺体层图像。将两类腺体层图像调整到统一的尺寸。因为高端仪器腺体层清晰度高于便携仪器腺体层，所以要用高端仪器腺体层图像对便携仪器腺体层图像进行增强。
17.步骤3.2：构建用于增强的循环生成对抗网络(cyclegan)。首先，构建生成器g实现从分布x到分布y的迁移；其次，构建生成器f实现从分布y到分布x的迁移；然后，构建判别器dx判别是真x还是生成器f根据y生成的与x同分布的数据；接着，构建判别器dy判别是真y还是生成器g根据x生成的与y同分布的数据；再然后，构建网络的损失函数，损失函数有对抗损失函数，循环一致性损失函数和identity映射损失；最后，对循环生成对抗网络进行训练，更新参数并保存。
18.步骤3.3：利用训练好的生成器对模糊的便携仪器腺体层进行增强，得到最终的增强结果。
19.有益效果
20.1、本方法训练了unet，分割出乳腺超声视频中的腺体区域，降低了由脂肪层和肌肉层干扰导致的假阳性率。
21.2、本方法训练了循环生成对抗网络模型，模糊的便携仪器腺体层图像输入后可直接生成增强图像，提高了目标检测时的图像质量和检测结果准确率。
附图说明
22.图1为本发明unet结构示意图；
23.图2为本发明循环生成对抗网络结构示意图；
24.图3为本发明一种基于深度学习的乳腺超声增强方法及实施例中的流程示意图；
25.图4为便携仪器乳腺超声图像；
26.图5为便携仪器腺体层图像；
27.图6为高端仪器乳腺超声图像；
28.图7为高端仪器腺体层图像；
29.图8为增强后的便携仪器腺体层图像；
30.图9为检测出病变区域的增强后的便携仪器腺体层图像。
具体实施方式
31.下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
32.便携仪器方便人们足不出户手持仪器自行获取自己的乳腺超声图像，但由于手持的不稳定性，便携仪器乳腺超声视频的质量往往不如高端仪器乳腺超声视频，可能造成漏检率高的问题，另外便携仪器乳腺超声视频包含脂肪、腺体、肌肉三大组织，肿瘤绝大部分时候存在于腺体中，脂肪和肌肉层的存在会对肿瘤检测造成干扰，可能造成假阳性率高的问题。
33.本实施例将通过对医院提供的142个便携仪器乳腺超声视频的肿瘤自动检测，阐述本方法在降低便携仪器乳腺超声视频病变区域目标检测结果的假阳性率和漏检率中的实际应用。
34.图3是本发明具体实施方式中乳腺超声增强方法的流程图，具体包括如下步骤：
35.步骤1：选取由医院提供的142个便携仪器乳腺超声视频，分割视频中的腺体区域。
36.步骤1.1：采用由医院提供的142个便携仪器乳腺超声视频的截图，图4为便携仪器乳腺超声图像，再根据医生提供的标注生成对应的分割图，将乳腺超声视频截图和对应分割图作为unet的训练集。
37.步骤1.2：构建用于分割的unet:首先，构建编码结构，使用3
×
3的卷积核尺寸，第一层卷积网络提取的特征数目为16，输入图像通道数为3，连续两次卷积后通过整流线性单元和用于下采样的最大池化层，最大池化层的步长为2，每个下采样步骤都会将特征通道数量加倍，将卷积层-卷积层-池化层的网络结构重复5次；然后，构建解码结构，采用双线性插值法做上采样，卷积核尺寸为2
×
2，然后经过两个3x3卷积层，每层都跟着整流线性单元；最后，使用1
×
1卷积层将特征向量映射到对应的类。
38.步骤1.3：将需要分割的便携仪器乳腺超声图像输入训练好的unet，输出分割结果并裁剪获得便携仪器腺体层图像，图5为便携仪器腺体层图像。
39.步骤2：选取由医院提供的142个高端仪器乳腺超声视频，分割视频中的腺体区域。
40.步骤2.1：采用由医院提供的142个高端仪器乳腺超声视频的截图，图6为便携仪器乳腺超声图像，再根据医生标注生成对应的分割图，将乳腺超声视频截图和对应分割图作
为unet的训练集。
41.步骤2.2：构建用于分割的unet:首先，构建编码结构，使用3
×
3的卷积核尺寸，第一层卷积网络提取的特征数目为16，输入图像通道数为3，连续两次卷积后通过整流线性单元和用于下采样的最大池化层，最大池化层的步长为2，每个下采样步骤都会将特征通道数量加倍，将卷积层-卷积层-池化层的网络结构重复5次；然后，构建解码结构，采用双线性插值法做上采样，卷积核尺寸为2
×
2，然后经过两个3x3卷积层，每层都跟着整流线性单元；最后，使用1
×
1卷积层将特征向量映射到对应的类。
42.步骤2.3：将需要分割的高端仪器乳腺超声图像输入训练好的unet，输出分割结果并裁剪获得高端仪器腺体层图像，图7为高端仪器腺体层图像。
43.步骤3：增强模糊乳腺超声图像。
44.步骤3.1：采用步骤1获得的6906张便携仪器腺体层图像和步骤2获得的6906张高端仪器腺体层图像作为循环生成对抗网络的训练集。
45.步骤3.2：构建用于增强的循环生成对抗网络(cyclegan):首先，构建生成器g实现从分布x到分布y的迁移，其中，分布x是高端仪器乳腺超声图像，分布y是便携仪器乳腺超声图像；其次，构建生成器f实现从分布y到分布x的迁移；然后，构建判别器dx判别是真x还是生成器f根据y生成的与x同分布的数据；接着，构建判别器dy判别是真y还是生成器g根据x生成的与y同分布的数据；再然后，构建网络的损失函数，损失函数有对抗损失函数，循环一致性损失函数和identity映射损失；最后，对循环生成对抗网络进行训练，更新参数并保存。
46.步骤3.3：将需要增强的便携仪器腺体层图像输入训练好的循环生成对抗网络(cyclegan)，输出接近高端仪器腺体层质量的增强结果，该结果既排除了原始乳腺超声图像中脂肪层和肌肉层的干扰，又将便携仪器腺体层的质量提升到高端仪器腺体层质量，图8为增强后的便携仪器腺体层图像。需要说明的是，高端仪器乳腺超声图像的病变自动检测准确率在一般情况下比便携仪器乳腺超声图像的好。
47.测试结果表明，该方法可以有效实现对乳腺超声视频中病变区域的检测，图9为检测出病变区域的增强后的便携仪器腺体层图像。在医生提供的142个便携仪器乳腺超声视频上，传统病变检测方法获得的视频漏检率为25％，假阳性率为7.02％；该方法获得的视频漏检率为14.2％，假阳性率为1.75％。该方法确实改善了传统病变检测方法假阳率高，漏检率高的缺点。
48.以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。