一种基于深度学习的子宫肌瘤诊断方法及装置与流程

1.本发明属于技术医学影像领域，具体涉及一种基于深度学习的子宫肌瘤诊断方法及装置。


背景技术：

2.磁共振(mri)技术出现以前，子宫的先天发育性疾病主要应用超声及盆腔充气造影、子宫输卵管造影检查进行诊断。近几年来，磁共振因其具有软组织分辨率高、可在任意方位上成像、无创伤等优点，在生殖系统疾病诊断方面得到了广泛应用。子宫肿瘤性病变分为良性肿瘤及恶性肿瘤，子宫肌瘤是最常见的妇科良性肿瘤。50岁左右的女性70％的患有一个或多个子宫肌瘤，其中约30％有症状需要治疗。但是由于其大小、位置和数量的差异，子宫肌瘤对女性的影响不同。子宫肌瘤的位置与宫腔及浆膜黏膜的关系有着不同的亚型，子宫肌瘤的临床决策需要考虑分型和患者的实际情况(年龄，是否有生育需求等)。因此，精准定位分割子宫肌瘤极具意义，可以辅助临床医生的决策。
3.目前，子宫肌瘤ai相关的研究只涉及到了超声图像，以及宫腔镜手术术中图像的识别，鲜有对于mri精确分割定位子宫肌瘤的研究，且目前没有根据患者临床信息，宫体、浆膜和黏膜的位置确定肌瘤亚型并制定临床决策的ai辅助诊断研究。小肌瘤的准确定位十分困难，如果定位不准确，在术中对子宫的损伤相对较大；大肌瘤轮廓的精准分割要求极高，大肌瘤血运丰富，处理不当有大出血的可能。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种基于深度学习的子宫肌瘤诊断方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种基于深度学习的子宫肌瘤诊断方法，包括以下步骤：
7.将从患者mri中随机切割的3d patch输入卷积网络提取局部特征，将与所述3d patch中间几层对应的连续完整切片输入transformer网络提取全局特征；
8.将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
9.将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
10.进一步地，所述卷积网络包括4个3d编码模块和4个2d解码模块。
11.更进一步地，每个2d解码模块包括一个权重分配器和一个跨网络注意力模块。
12.更进一步地，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征f进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征fa，fa与f相乘得到特征fa；第二分支对输入的特征f进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，
得到特征fm，fm与f相乘得到特征fm；fa与fm拼接后通过卷积操作融合得到fo；空间全局位置注意力模块首先对输入特征f进行两个卷积操作分别得到f
s1
、f
s2
，f
s2
经激活函数后与f
s1
相乘得到f
s3
，f
s3
是空间位置重要性关系的权重图，然后f
s3
与f相加得到加权后的空间全局注意力特征fs；双通路融合通道注意力模块的输出fo与空间全局位置注意力模块的输出fs融合得到跨网络注意力模块的输出fr。
13.进一步地，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
14.第二方面，本发明提供一种基于深度学习的子宫肌瘤诊断装置，包括：
15.特征提取模块，用于将从患者mri中随机切割的3d patch输入卷积网络提取局部特征，将与所述3d patch中间几层对应的连续完整切片输入transformer网络提取全局特征；
16.肌瘤分割模块，用于将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
17.肌瘤诊断模块，用于将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
18.进一步地，所述卷积网络包括4个3d编码模块和4个2d解码模块。
19.更进一步地，每个2d解码模块包括一个权重分配器和一个跨网络注意力模块。
20.更进一步地，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征f进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征fa，fa与f相乘得到特征fa；第二分支对输入的特征f进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征fm，fm与f相乘得到特征fm；fa与fm拼接后通过卷积操作融合得到fo；空间全局位置注意力模块首先对输入特征f进行两个卷积操作分别得到f
s1
、f
s2
，f
s2
经激活函数后与f
s1
相乘得到f
s3
，f
s3
是空间位置重要性关系的权重图，然后f
s3
与f相加得到加权后的空间全局注意力特征fs；双通路融合通道注意力模块的输出fo与空间全局位置注意力模块的输出fs融合得到跨网络注意力模块的输出fr。
21.进一步地，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
22.与现有技术相比，本发明具有以下有益效果。
23.本发明通过利用卷积网络和transformer网络从输入的mri中分别提取局部特征和全局特征，将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果，将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小，实现了子宫肌瘤的自动诊断。本发明通过设置基于卷积和transformer互补的深度神经网络，并在卷积网络中设置跨网络注意力模块，能够有效提取全局特征和局部特征并进行有效融合，从而提高图像分割的精度，能够解决小肌瘤难以定位和大肌瘤难以精准分割的问题。
附图说明
24.图1为本发明实施例一种基于深度学习的子宫肌瘤诊断方法的流程图。
25.图2为本发明实施例的网络结构示意图。
26.图3为transformer的结构示意图。
27.图4为权重分配器和跨网络注意力模块的结构示意图。
28.图5为本发明实施例一种基于深度学习的子宫肌瘤诊断装置的方框图。
具体实施方式
29.为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.图1为本发明实施例一种基于深度学习的子宫肌瘤诊断方法的流程图，包括以下步骤：
31.步骤101，将从患者mri中随机切割的3d patch输入卷积网络提取局部特征，将与所述3d patch中间几层对应的连续完整切片输入transformer网络提取全局特征；
32.步骤102，将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
33.步骤103，将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
34.本实施例中，步骤101主要用于从mri中提取全局特征和局部特征。医学影像包括多种模态的图像，除了mri，还有ct、x光、超声、pet。mri(magnetic resonance imaging)也就是磁共振成像，磁共振成像是断层成像的一种，它利用磁共振现象从人体中获得电磁信号，并重建出人体信息。相比其它模态的图像，mri具有以下特点：分辨率高，mri相对于ct对于软组织的分辨率要高很多，能早期发现更加细小微小的病变组织；mri图像上的黑白灰反映的是弛豫时间，多参数、任一层面成像也是mri的独特的图像特点。正是由于mri的上述特点，使mri越来越多地应用于基于医学影像的疾病诊断。
35.为了有效提取图像特征，从而提高图像分割的精度，本实施例设置了互补的卷积网络和transformer网络，如图2所示。卷积神经网络cnn的卷积层的作用是通过卷积核与输入图像的卷积运算提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器，因此卷积操作能够很好地提取图像的局部特征，但在捕捉全局特征方面却没有优势。而transformer网络中级联的自注意力模块则具有很好的提取全局特征的能力。因此，本实施例引入transformer来捕获全局特征，并与卷积网络提取的局部特征相结合，起到全局引导局部的作用。如图3所示，transformer是一种u型的网络设计，transformer的编码器通过从小尺寸的patch开始，逐步合并更深层中的相邻patch，构建了一个层次化的网络结构，逐渐提取更深层次的特征。与编码器相对应，构建了基transformer块的对称解码器。与编码器中使用的patch融合层不同，在解码器中使用patch扩大层对提取的深度特征进行上采样，patch扩大层将相邻维度的特征图重塑为更高分辨率的特征图。本实施例中，由于卷积网络主要用于提取局部特征，而transformer网络主要用于提取全局特征，因此，卷积网络输入的是从mri中随机切割的3d patch(即图像块)，transformer网络输入的一般是位于所述
3dpatch中间的3层连续切片。
36.本实施例中，步骤102主要用于对提取的全局特征和局部特征进行跨网络注意力融合，输出肌瘤分割结果。注意力机制是在计算机能力有限的情况下，借鉴人脑的注意力机制，只关心一些关键的信息输入进行处理，来提高神经网络的效率。注意力机制的计算可分为两步：一是在所有输入信息上计算注意力分布；二是根据注意力分布计算输入信息的加权求和。加权系数即注意力分布αi＝softmax(fiw
att
q)，表示输入向量fi与询问向量q的相关程度。本实施例在卷积网络中设置跨网络注意力模块，是为了实现卷积网络提取的局部特征与transformer网络提取的全局特征的跨网络特征筛选整合，形象地说就是，由全局特征有效地指导局部特征的多尺度融合，如图2所示。本实施例通过设置跨网络注意力模块，充分利用了卷积网络在局部特征提取方面的优良特性和transformer网络在全局特征提取方面的优良特性，明显提高了特征提取的效能和图像分割的精度，能够从输入的mri中有效地分割出宫体、浆膜和黏膜。
37.本实施例中，步骤103主要用于基于肌瘤分割结果识别肌瘤类别及大小。如图2所示，本实施例通过设置一个肌瘤诊断模块，根据上一步得到的浆膜、粘膜和肌瘤的分割结果，得到肌瘤相对于浆膜和粘膜的位置关系，参照国际妇产科联盟(figo)的子宫肌瘤分型方法，自动推导出各个肌瘤的类型和大小。
38.作为一可选实施例，所述卷积网络包括4个3d编码模块、4个2d解码模块。
39.本实施例给出了卷积网络的一种具体的结构。如图2所示，所述卷积网络采用编码器—解码器结构，具体地，编码器为3d编码模块，而解码器为2d解码模块，也就是对输入的mri图像进行3d编码、2d解码。采用3d编码有助于更有效地学习mri图像中的3d上下文信息；而采用2d解码则可以减少计算开销。更具体地，本实施例的卷积网络设置4个3d编码模块、4个2d解码模块，用于对4种不同尺码的特征进行提取，可以满足不同大小子宫肌瘤的处理要求，能够解决小肌瘤难以定位和大肌瘤难以精准分割的问题。
40.作为一可选实施例，每个2d解码模块包括一个权重分配器和一个跨网络注意力模块。
41.本实施例给出了卷积网络的2d解码模块的一种技术方案。2d解码模块包括一个权重分配器和一个跨网络注意力模块，如图2、4所示。如前述，卷积网络设置跨网络注意力模块是为了对卷积网络输出的局部特征和transformer网络输出的全局特征进行有效融合，为了获得最好的融合效果，设置权重分配器对两个不同网络的输出动态分配权重系数，然后进行加权求和。在实际应用中，固定卷积网络输出的权重系数为1，只相对调整transformer网络输出的权重系数β的大小。β的大小通过模型训练得到，是一个0～1之间的数。另外，两个不同网络提取的特征在卷积网络的解码部分进行特征融合时，为了保证特征点的一一对应，在融合前对transformer网络提取的特征进行像素采样，使两个网络提取的特征达到像素级别的对应。
42.作为一可选实施例，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征f进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征fa，fa与f相乘得到特征fa；第二分支对输入的特征f进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信
息交互，得到特征fm，fm与f相乘得到特征fm；fa与fm拼接后通过卷积操作融合得到fo；空间全局位置注意力模块首先对输入特征f进行两个卷积操作分别得到f
s1
、f
s2
，f
s2
经激活函数后与f
s1
相乘得到f
s3
，f
s3
是空间位置重要性关系的权重图，然后f
s3
与f相加得到加权后的空间全局注意力特征fs；双通路融合通道注意力模块的输出fo与空间全局位置注意力模块的输出fs融合得到跨网络注意力模块的输出fr。
43.本实施例给出了跨网络注意力模块的一种技术方案。如图4所示，跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块，两个模块从通道和空间位置两方面分别进行注意力分析，两方面的分析结果(两个模块的输出)最后通过卷积融合在一起得到跨网络注意力模块的输出结果，实现了卷积网络和transformer网络输出特征的互补。下面分别对这两个模块的技术原理进行说明。
44.双通路融合通道注意力模块包括两个分支(通路)，两个分支进行的运算过程几乎完全相同，所不同的是一个分支先对输入的特征f进行全局平均池化(globalaverage pooling)，而另一个分支对先输入的特征f进行全局最大池化(global max pooling)。池化(pooling)在卷积运算中的主要目的是通过减少运算参数降低计算量，当然要以丢失一定的信息为代价。全局平均池化和全局最大池化虽然都要丢失信息，但侧重点不同。全局平均池化主要用于希望所有图像信息都有所贡献的场景，比如在图像处理中采用平均池化可以保留背景信息。全局最大池化主要为了减少无用信息的影响，比如网络浅层常常用到最大池化，因为开始几层对图像而言包含较多的无关信息；在图像处理中采用最大池化提取纹理特征。同时，最大池化可以降低特征的维度，同时提取更好的、具有更强烈的语义信息的特征。双通路融合通道注意力模块设置采用不同池化方法的两个分支，最后对两个分支的处理结果进行拼接和卷积运算，能够融合两种不同池化方法的优点。
45.空间全局位置注意力模块通道使用transformer的特征的位置关系指导卷积分支，生成空间位置关系的权重输出。特征f通过两个卷积操作分别得到特征f
s1
、f
s2
，这里卷积操作可以看成一个映射函数，相当于一个点映射成一个向量，可以看成是计算一个点的特征。f
s2
通过softmax激活函数后与f
s1
相乘得到特征f
s3
，f
s3
就是空间位置重要关系的权重图。之后f
s3
与f相加得到加权后的空间全局注意力特征fs。
46.作为一可选实施例，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
47.本实施例给出了肌瘤诊断模块基于患者临床信息进行临床决策的一种技术方案。如图2所示，肌瘤诊断模块除了包括一个肌瘤类型判别模块外，还包括一个临床决策分类网络。肌瘤类型判别模块根据输入的分割结果输出肌瘤类别及大小，临床决策分类网络根据肌瘤类别、大小及患者临床信息进行决策，输出最终的临床决策，包括期待治疗、药物治疗或者手术治疗等。所述患者临床信息主要包括患者年龄、有无生育需求及有无症状等。
48.图5为本发明实施例一种基于深度学习的子宫肌瘤诊断装置的组成示意图，所述装置包括：
49.特征提取模块11，用于将从患者mri中随机切割的3d patch输入卷积网络提取局部特征，将与所述3d patch中间几层对应的连续完整切片输入transformer网络提取全局特征；
50.肌瘤分割模块12，用于将所述全局特征和局部特征输入至卷积网络的跨网络注意力模块进行融合，输出肌瘤分割结果；
51.肌瘤诊断模块13，用于将所述肌瘤分割结果输入肌瘤诊断模块，得到肌瘤类别及大小。
52.本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
53.作为一可选实施例，所述卷积网络包括4个3d编码模块和4个2d解码模块。
54.作为一可选实施例，每个2d解码模块包括一个权重分配器和一个跨网络注意力模块。
55.作为一可选实施例，所述跨网络注意力模块包括双通路融合通道注意力模块和空间全局位置注意力模块；双通路融合通道注意力模块包括两个分支：第一分支对输入的特征f进行全局平均池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征fa，fa与f相乘得到特征fa；第二分支对输入的特征f进行全局最大值池化后得到各通道关系的一维向量，然后经一维卷积和激活函数实现跨通道间的信息交互，得到特征fm，fm与f相乘得到特征fm；fa与fm拼接后通过卷积操作融合得到fo；空间全局位置注意力模块首先对输入特征f进行两个卷积操作分别得到f
s1
、f
s2
，f
s2
经激活函数后与f
s1
相乘得到f
s3
，f
s3
是空间位置重要性关系的权重图，然后f
s3
与f相加得到加权后的空间全局注意力特征fs；双通路融合通道注意力模块的输出fo与空间全局位置注意力模块的输出fs融合得到跨网络注意力模块的输出fr。
56.作为一可选实施例，所述肌瘤诊断模块根据输入的分割结果输出肌瘤类别及大小，并基于患者临床信息和所述肌瘤类别及大小进行决策，输出包括期待治疗、药物治疗或者手术治疗的建议。
57.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。