一种医学影像处理方法、模型训练方法和电子设备与流程

本公开涉及医学影像处理，尤其涉及一种医学影像处理方法、模型训练方法和电子设备。

背景技术：

1、目前的医学影像处理模型多为单任务分类模型，直接对全图提取特征进行分类，背景噪声干扰大。少数采用“分割+分类”的方案，均为串行独立处理模式，先通过分割模型完成异常区域分割，再基于分割结果提取特征进行分类预测，分割任务的误差会直接传递给分类任务，影响最终结果的准确性。

技术实现思路

1、本公开提供了一种医学影像处理方法、模型训练方法和电子设备，能够降低背景噪声的影响，提高影像处理结果的准确性。

2、本公开的第一方面提供了一种医学影像处理方法，包括：确定目标医学影像；对目标医学影像进行图像分割，得到目标感兴趣区域注意力图；目标感兴趣区域注意力图指示了目标医学影像中的异常区域；以目标感兴趣区域注意力图作为空间注意力权重，对目标医学影像进行特征提取与融合，得到目标融合特征；根据目标融合特征，预测异常区域属于目标异常类型的概率，得到影像处理结果。

3、可选地，以目标感兴趣区域注意力图作为空间注意力权重，对目标医学影像进行特征提取与融合，得到目标融合特征，包括：对目标医学影像进行多尺度特征提取，得到目标多尺度特征图；对目标多尺度特征图和目标感兴趣区域注意力图进行特征融合，得到目标融合特征。

4、可选地，对目标多尺度特征图和目标感兴趣区域注意力图进行特征融合，得到目标融合特征，包括：对目标多尺度特征图进行全局池化，得到目标全局特征；以目标感兴趣区域注意力图作为空间注意力权重，对目标多尺度特征图进行感兴趣区域加权池化，得到目标感兴趣区域特征；对目标全局特征和目标感兴趣区域特征进行逐元素相减并取绝对值，得到特征差值；对目标全局特征、目标感兴趣区域特征和特征差值进行特征融合，得到目标融合特征。

5、可选地，还包括：将目标多尺度特征图中最小尺度的特征图作为输出特征图；确定输出特征图相对于影像处理结果的梯度图；对梯度图在空间维度上进行全局平均池化，得到通道权重；采用通道权重对输出特征图沿通道维度进行加权求和，得到加权特征图；采用激活函数对加权特征图进行非线性映射，得到初始类激活热力图；将初始类激活热力图上采样至目标尺寸并叠加伪彩色，得到梯度加权类激活映射热力图；梯度加权类激活映射热力图用于突出显示目标医学影像中属于目标异常类型的异常区域。

6、可选地，对目标医学影像进行图像分割，得到目标感兴趣区域注意力图，包括：通过编码器对目标医学影像依次执行n次下采样操作，生成第n级下采样特征图，n为大于1的整数；其中，第n次下采样操作包括：基于第n-1级下采样特征图生成第n级下采样特征图，n=2，…，n；通过解码器对第n级下采样特征图依次执行n次上采样操作，生成第n级解码输出特征图；其中，第n次上采样操作包括：基于第n-1级解码输出特征图生成第n级上采样特征图，并将第n级上采样特征图与对应尺度的下采样特征图进行融合，得到第n级解码输出特征图；将第n级解码输出特征图映射到概率空间，得到目标感兴趣区域注意力图。

7、可选地，确定目标医学影像，包括：获取待处理医学影像；待处理医学影像包括轴位弥散加权影像、矢状位t2加权影像和矢状位增强扫描影像，t2表示横向弛豫时间；对待处理医学影像进行空间配准和标准化处理，得到标准化医学影像；标准化医学影像包括空间匹配且尺寸相同的轴位弥散加权影像、矢状位t2加权影像和矢状位增强扫描影像；将标准化医学影像沿通道维度进行拼接，得到三通道的多模态张量作为目标医学影像。

8、可选地，对待处理医学影像进行空间配准和标准化处理，得到标准化医学影像，包括：将待处理医学影像转换为预设格式，得到预设格式医学影像；预设格式为神经影像信息技术倡议格式；对预设格式医学影像进行重采样，得到统一规格医学影像；对统一规格医学影像进行偏置场校正，得到校正医学影像；对校正医学影像进行空间配准，得到配准医学影像；对配准医学影像进行灰度归一化处理，得到标准化医学影像。

9、可选地，对统一规格医学影像进行偏置场校正，得到校正医学影像，包括：对统一规格医学影像进行图像分割，得到仅包含人体实质结构的前景掩膜；根据前景掩膜，估算并消除统一规格医学影像中的低频亮度偏差伪影，得到校正医学影像。

10、本公开的第二方面提供了一种医学影像处理模型的训练方法，包括：确定样本医学影像；采用分割网络，对样本医学影像进行图像分割，得到样本感兴趣区域注意力图；样本感兴趣区域注意力图指示了样本医学影像中的异常区域；采用分类网络，以样本感兴趣区域注意力图作为空间注意力权重，对样本医学影像进行特征提取与融合，得到样本融合特征，并根据样本融合特征，预测异常区域属于目标异常类型的概率，得到样本预测结果；根据样本感兴趣区域注意力图与真实异常标注图之间的差异，以及样本预测结果与真实类别标签之间的差异，联合训练分割网络和分类网络，得到医学影像处理模型；真实异常标注图指示了样本医学影像中的异常区域，真实类别标签表示异常区域是否属于目标异常类型。

11、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法。

12、根据本公开的实施例，首先对目标医学影像进行图像分割，得到指示目标医学影像中的异常区域的目标感兴趣区域注意力图，然后以目标感兴趣区域注意力图作为空间注意力权重，对目标医学影像进行特征提取与融合，得到目标融合特征，最后根据目标融合特征，预测异常区域属于目标异常类型的概率，得到影像处理结果。本公开将分割分支得到的指示异常区域的感兴趣区域注意力图作为空间注意力权重，引导分类分支进行特征提取与融合，使分类分支能够将注意力集中在异常区域，过滤掉无关的背景噪声，从而提高影像处理结果的准确性。

13、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种医学影像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，以所述目标感兴趣区域注意力图作为空间注意力权重，对所述目标医学影像进行特征提取与融合，得到目标融合特征，包括：

3.根据权利要求2所述的方法，其特征在于，对所述目标多尺度特征图和所述目标感兴趣区域注意力图进行特征融合，得到目标融合特征，包括：

4.根据权利要求2所述的方法，其特征在于，还包括：

5.根据权利要求1所述的方法，其特征在于，对所述目标医学影像进行图像分割，得到目标感兴趣区域注意力图，包括：

6.根据权利要求1所述的方法，其特征在于，确定目标医学影像，包括：

7.根据权利要求6所述的方法，其特征在于，对所述待处理医学影像进行空间配准和标准化处理，得到标准化医学影像，包括：

8.根据权利要求7所述的方法，其特征在于，对所述统一规格医学影像进行偏置场校正，得到校正医学影像，包括：

9.一种医学影像处理模型的训练方法，其特征在于，包括：

10.一种电子设备，包括：