基于多视图融合网络的超声心动左心房图分割方法及系统与流程

1.本发明属于医学图像分割技术领域，具体涉及一种基于多视图融合网络的超声心动左心房图分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，并不必然构成在先技术。
3.在临床应用中，超声心动图是医生判断心脏病症的一个重要手段。在临床治疗时，超声心动图中的左心房运动状态等特点是医生诊断心脏病的首要依据。通过分割左心房，对全心脏功能评估有重要的作用。超声心动图中心尖二腔室、心尖三腔室和心尖四腔室这三个视图中都包含完整的左心房信息，但是因为超声探头探测的位置不同，不同的腔室中左心房的形态并不相同，然而左心房的结构上在不同的视图之间存在着相似的特征。同时超声心动图中还包含很多噪声，发明人发现，传统的分割算法并不能准确的分割左心房。


技术实现要素：

4.为了解决上述背景技术中存在的技术问题，本发明提出一种基于多视图融合网络的超声心动左心房图分割方法及系统，其能融合多个视图中左心房的特征，自动同时分割心尖二腔室、心尖三腔室和心尖四腔室中左心房，提高分割的效率。
5.为了实现上述目的，本发明采用如下技术方案：
6.本发明的第一个方面提供了一种基于多视图融合网络的超声心动左心房分割方法，其包括：
7.获取超声心动图中心尖二腔室、心尖三腔室和心尖四腔室的医学图像，并分别进行预处理；
8.将预处理后的心尖二腔室医学图像、心尖三腔室医学图像和心尖四腔室医学图像分别输入对应编码器中进行编码；
9.将所述编码器得到的各个特征通过多视图特征聚合重分配来计算三种视图融合后的单个视图特征；
10.基于融合处理后的单个视图特征进行解码操作，分别得到三个视图的解码特征，进而再经过多视图特征聚合重分配，得到精确的分割结果。
11.进一步地，通过多视图特征聚合重分配来计算三种视图融合后的单个视图特征的过程为：
12.首先将三种不同视图进行特征连接，然后将连接特征和单个视图特征分别进行non-local操作，分别得到单个视图特征的权重，将计算得到的权重与单个视图特征相乘并与原单个特征相加，得到重分配后的单个视图特征。
13.进一步地，编码器采用resnet为基础网络。
14.进一步地，编码器为多个卷积层、下采样和激活层级联。
15.进一步地，所述预处理包括随机翻转操作、随机裁剪操作和调整大小操作。
16.进一步地，所述解码器注意力金字塔结构。
17.本发明的第二个方面提供了一种基于多视图融合网络的超声心动左心房图分割系统，其包括：
18.图像预处理模块，其用于获取超声心动图中心尖二腔室、心尖三腔室和心尖四腔室的医学图像，并分别进行预处理；
19.特征编码模块，其用于将预处理后的心尖二腔室医学图像、心尖三腔室医学图像和心尖四腔室医学图像分别输入对应编码器中进行编码；
20.多视图特征融合模块，其用于将所述编码器得到的单个视图特征进行特征聚合再重分配，使得三个视图特征之间进行空间对齐；
21.特征解码模块，其用于基于对齐后的单个视图特征及所述编码器对应的解码器进行解码操作，分别得到三个视图的解码特征，进而再经过多视图特征聚合重分配，得到精确的分割结果。
22.本发明的第三个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多视图融合网络的超声心动左心房图分割方法中的步骤。
23.本发明的第四个方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述所述的基于多视图融合网络的超声心动左心房图分割方法中的步骤。
24.与现有技术相比，本发明的有益效果为：
25.本发明提出了一种基于深度多视图融合网络的超声心动图左心房分割方法及系统，其对心尖二腔室医学图像、心尖三腔室医学图像和心尖四腔室医学图像进行编码处理，得到各个特征，并通过多视图特征聚合重分配来计算三种视图融合后的单个视图特征，最后基于融合处理后的单个视图特征进行解码操作，分别得到三个视图的解码特征，进而再经过另一个多视图特征聚合重分配模块，实现了心尖二腔室、心尖三腔室、心尖四腔室中左心房的精确自动分割。
附图说明
26.图1为本发明实施例一中形成实验数据集的示意图；
27.图2为本发明实施例一中基于深度学习的超声心动图左心房分割方法流程图；
28.图3为本发明实例一中所述深度多视图融合网络的示意图。
具体实施方式
29.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
30.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包
括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
31.实施例一
32.参照图3，本实施例提供了一种基于多视图融合网络的超声心动左心房图分割方法，其具体包括如下步骤：
33.步骤1：获取超声心动图中心尖二腔室、心尖三腔室和心尖四腔室的医学图像，并分别进行预处理；
34.步骤2：将预处理后的心尖二腔室医学图像、心尖三腔室医学图像和心尖四腔室医学图像分别输入对应编码器中进行编码；
35.在具体实施中，在编码器中进行编码的过程为：
36.编码器采用resnet为基础网络为编码器，为多个卷积层、下采样和激活层级联。
37.在具体实施中，所述预处理包括随机翻转操作、随机裁剪操作和调整大小操作。
38.数据预处理主要包括以下三个步骤：
39.(1)随机翻转：以0.5的概率翻转输入图像和相应的label；
40.(2)随机裁剪：将给定图像裁剪为随机大小和纵横比；
41.(3)调整大小：将输入图像调整为给定大小。
42.其中，基础网络层采用lednet的非对称编码器-解码器结构，使得网络参数极大减少，提高运算速度。编码器采用resnet为基础网络，在解码器中使用了注意力金字塔结构，使得网络复杂性进一步降低。在编码器和解码器中间加入多视图特征聚合重分配模块，该模块采用特征连接和空间注意力机制操作，使得三种视图特征之间的左心房区域保持相同的空间分布，如图2所示。
43.步骤3：将所述编码器得到的各个不同视图的特征，并通过特征聚合重分配来计算三种视图融合后的单个视图特征；
44.步骤4：基于融合后的特征及所述编码器对应的解码器进行解码操作，分别得到三个视图的解码特征；这三个视图的解码特征再经多视图特征聚合重分配，得到精确的分割结果。
45.在具体实施中，多视图特征聚合重分配的过程为：
46.首先将三种不同视图进行特征连接，然后将连接特征和单个视图特征分别进行non-local操作，分别得到单个视图特征的权重。将计算得到的权重与单个视图特征相乘并与原单个特征相加，得到重分配后的单个视图特征。
47.在具体实施中，多视图特征聚合重分配的过程可融合在一个软件模块中，比如通过多视图特征聚合重分配模块来实现。
48.下面对本实施例一方法进行详细说明。
49.首先利用相应的设备采集超声心动图图像，在医院数据的支撑下，采集各个实验对象的超声心动图图像。采集完图像后，将采集到的图像经过处理，制作为实验数据集。
50.构建实验数据集的过程如图1所示，包括：数据采集、数据标注和数据增强预处理三个部分；
51.数据采集包括采集病人的三种不同的超声心动图图像，以病人为单位，首先从超声心动图中选出心尖二腔室、心尖三腔室、心尖四腔室的dicom影像并转换成png格式。
52.数据标注是采用labelme对png图像进行手动标注左心房的位置，在标注时，分别
逐点描绘左心房的轮廓，从生成的json文件中读取原图(img.png)与标签图(label.png)作为实验数据集。
53.实验数据增强预处理方法具体为：
54.(1)随机翻转：以0.5的概率翻转输入图像和相应的label；
55.(2)随机裁剪：将给定图像裁剪为随机大小和纵横比；
56.(3)调整大小：将输入图像调整为给定大小。
57.将实验数据集输入到深度多视图融合网络中得到超声心动图左心房分割结果。
58.深度多视图融合网络的结构图如图3所示，主要步骤为，首先将超声心动图中心尖二腔室、心尖三腔室、心尖四腔室的医学图像分别输入编码器中进行编码，然后对于得到的单个视图特征通过多视图特征聚合重分配来计算三种视图融合后的单个视图特征，再对融合处理后的单个视图特征进行解码操作及另一个多视图特征聚合重分配模块，得到精确的分割结果。
59.实施例二
60.本实施例提供了一种基于多视图融合网络的超声心动左心房图分割系统，其包括：
61.图像预处理模块，其用于获取超声心动图中心尖二腔室、心尖三腔室和心尖四腔室的医学图像，并分别进行预处理；
62.特征编码模块，其用于将预处理后的心尖二腔室医学图像、心尖三腔室医学图像和心尖四腔室医学图像分别输入对应编码器中进行编码；
63.多视图特征融合模块，其用于将所述编码器得到的单个视图特征进行特征聚合再重分配，使得三个视图特征之间进行空间对齐；
64.特征解码模块，其用于基于对齐后的单个视图特征及所述编码器对应的解码器进行解码操作，分别得到三个视图的解码特征；这三个视图的解码特征再经过多视图特征聚合重分配，得到精确的分割结果。
65.需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
66.实施例三
67.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多视图融合网络的超声心动左心房图分割方法中的步骤。
68.实施例四
69.本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多视图融合网络的超声心动左心房图分割方法中的步骤。
70.应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
71.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存
储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
72.在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
73.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。