基于多模态核磁影像的癫痫病灶分割方法与流程

本发明涉及图像处理，具体的是基于多模态核磁影像的癫痫病灶分割方法。

背景技术：

1、局灶性皮质发育不良是药物难治性癫痫最常见的病因之一。临床实践中，手术切除病灶是有效的治疗手段，而术前精准定位病灶位置、范围及边界直接决定手术成败。

2、现有的癫痫病灶分割方法大多为基于深度学习的u-net模型进行图像分割的方法，该方法大多通过通道拼接的方式进行图像的多模态融合，未考虑不同模态对病灶表征的差异性贡献，导致对于图像分割的模糊边界的分割精度较低。

技术实现思路

1、为解决上述背景技术中提到的不足，本发明的目的在于提供基于多模态核磁影像的癫痫病灶分割方法，能够通过增强各个边缘特征模态的影响实现对于图像边缘的模糊边界的分割精度的提升。

2、第一方面，本发明的目的可以通过以下技术方案实现：基于多模态核磁影像的癫痫病灶分割方法，方法包括以下步骤：

3、获取多模态核磁影像数据，并对多模态核磁影像数据进行预处理，得到处理后的多模态核磁影像数据，所述多模态核磁影像数据包括多模态结构影像和多模态抑制信号影像；

4、将处理后的多模态结构影像进行边缘特征提取，得到多模态边缘特征，将处理后的多模态抑制信号影像进行双流注意力特征提取，得到跨模态交互特征，将多模态边缘特征与跨模态交互特征进行特征融合，得到多模态融合特征；

5、将多模态融合特征输入至预先建立的多模态分割网络模型内进行训练，得到训练后的多模态分割网络模型，获取待分割多模态核磁影像，将待分割多模态核磁影像输入至训练后的多模态分割网络模型，输出得到癫痫病灶分割结果。

6、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将处理后的多模态结构影像进行边缘特征提取基于拉普拉斯多尺度特征提取方法进行处理的过程，包括：

7、通过注意力机制融合的过程，基于卷积操作将第i层金字塔的高频边缘分量调整至与边缘对应编码器特征相同维度，并进行逐元素相加，基于相加后的特征进行卷积注意力操作最终得出多模态边缘特征。

8、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将处理后的多模态结构影像进行边缘特征提取基于拉普拉斯多尺度特征提取方法进行处理的计算过程如下：

9、基于预先构建的多层拉普拉斯金字塔，对第i层金字塔的高频边缘分量li，表示如下：

10、

11、式中，gi为第i层高斯金字塔，upsample（）为上采样操作；

12、基于第i层金字塔的高频边缘分量li进行注意力机制融合，得到多模态边缘特征，公式如下：

13、

14、式中，f1为多模态边缘特征，fi为边缘对应编码器特征，为逐元素相加操作，conv（）为卷积操作，cbam（）为卷积注意力操作。

15、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将处理后的多模态抑制信号影像进行双流注意力特征提取的过程，包括：

16、将处理后的多模态抑制信号影像进行特征提取，得到抑制信号特征，

17、对抑制信号特征进行双流注意力特征提取，包括通道注意力特征提取和空间注意力特征提取，

18、其中，通道注意力特征提取为计算抑制信号特征的全局平均池化，并进行sigmoid激活得到通道权重；

19、空间注意力特征提取为对抑制信号特征在通道维度取均值，并进行卷积和sigmoid激活得到空间权重；

20、对通道权重和空间权重采用门控机制进行跨模态交互，得到跨模态交互特征。

21、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将多模态边缘特征与跨模态交互特征进行特征融合的过程，包括：

22、在浅层解码层时，将多模态边缘特征经过卷积后直接与跨模态交互特征进行相加，得到浅层融合特征；

23、在深层解码层时，将多模态边缘特征进行下采样，将下采样后的多模态边缘特征与跨模态交互特征通过门控机制进行融合，得到深层融合特征；

24、将浅层融合特征与深层融合特征相加得到最终的多模态融合特征。

25、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述多模态分割网络模型包括编码器、解码器、处理层及输出层。

26、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述编码器采用下采样结构的卷积层和最大池化层，将输入的多模态核磁影像进行特征编码提取，并送入处理层进行处理；

27、所述处理层包括拉普拉斯多尺度特征提取模块、跨模态交互提取模块以及多模态特征融合模块，其中，拉普拉斯多尺度特征提取模块与跨模态交互提取模块分别对应提取多模态边缘特征与跨模态交互特征后，通过多模态特征融合模块最终得到多模态融合特征；

28、通过将多模态融合特征经过解码器的卷积层进行解码后，得到对应层级的病灶分割概率图，将病灶分割概率图通过输出层的三维卷积层和sigmoid激活函数处理后，输出得到最终的癫痫病灶分割结果。

29、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述多模态分割网络模型的训练采用的损失函数为dice损失和各向异性全变分正则项的加权和。

30、在本发明的另一方面，为了达到上述目的，公开了一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了如上所述的基于多模态核磁影像的癫痫病灶分割方法。

31、本发明的有益效果：

32、本发明通过分别对多模态结构影像和多模态抑制信号影像进行边缘特征提取与双流注意力特征提取，并进行特征融合，得到多模态融合特征，结合预设损失函数，并基于多模态融合特征对多模态分割网络模型进行训练，通过训练后的多模态分割网络模型对待分割多模态核磁影像进行处理，最终得到癫痫病灶分割结果，实现了通过增强各个边缘特征模态的影响对于图像边缘的模糊边界的分割精度的提升。

1.基于多模态核磁影像的癫痫病灶分割方法，其特征在于，方法包括以下步骤：

2.根据权利要求1所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述将处理后的多模态结构影像进行边缘特征提取基于拉普拉斯多尺度特征提取方法进行处理的过程，包括：

3.根据权利要求2所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述将处理后的多模态结构影像进行边缘特征提取基于拉普拉斯多尺度特征提取方法进行处理的计算过程如下：

4.根据权利要求1所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述将处理后的多模态抑制信号影像进行双流注意力特征提取的过程，包括：

5.根据权利要求1所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述将多模态边缘特征与跨模态交互特征进行特征融合的过程，包括：

6.根据权利要求1所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述多模态分割网络模型包括编码器、解码器、处理层及输出层。

7.根据权利要求6所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述编码器采用下采样结构的卷积层和最大池化层，将输入的多模态核磁影像进行特征编码提取，并送入处理层进行处理；

8.根据权利要求7所述的基于多模态核磁影像的癫痫病灶分割方法，其特征在于，所述多模态分割网络模型的训练采用的损失函数为dice损失和各向异性全变分正则项的加权和。

9.一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了权利要求1至7中任一项所述的基于多模态核磁影像的癫痫病灶分割方法。