一种医学影像识别方法、装置、电子设备及介质

本发明涉及图像识别，尤其涉及一种医学影像识别方法、装置、电子设备及介质。

背景技术：

1、当前主流的层级式窗口注意力骨干网络（以swin transformer v2为代表，下称swinv2）已在imagenet等大规模自然图像分类基准上得到充分验证，并且在coco目标检测、ade20k语义分割等各类任务中均取得了突出表现。现有方案中，swinv2已经将余弦注意力、连续相对位置偏置以及对数尺度引入了下游目标检测、语义分割等各类任务的骨干网络构建中。

2、然而，采用现有技术方案直接将swinv2的预训练权重迁移至内窥镜检查、胶囊镜检查、皮肤镜检查等下游医学影像识别任务时，由于swinv2的跨窗口信息通道依赖窗口移位与逐级下采样才能间接建立，而医学影像的样本规模有限，无法支撑医学影像识别模型在有限训练轮次内通过梯度信号自行学习得到有效的跨窗口关联，降低了医学影像识别结果的准确性。

技术实现思路

1、本发明的目的在于提供一种医学影像识别方法、装置、电子设备及介质，用于解决现有技术中由于swinv2的跨窗口信息通道依赖窗口移位与逐级下采样才能间接建立，而医学影像的样本规模有限，无法支撑医学影像识别模型在有限训练轮次内通过梯度信号自行学习得到有效的跨窗口关联，降低了医学影像识别结果的准确性的问题。

2、为了实现上述目的，第一方面，本发明实施例提供了一种医学影像识别方法，包括：

3、获取初始待识别医学影像，并对所述初始待识别医学影像进行预处理，获取待识别医学影像；

4、将所述待识别医学影像输入至训练好的医学影像识别模型中，获取所述待识别医学影像的目标识别结果；

5、其中，所述医学影像识别模型是基于训练集进行两阶段训练确定的，所述医学影像识别模型包括：分块嵌入模块、stage模块以及融合分类模块，stage模块由基于独立令牌改进的四级stage层串联组成，每级stage层由图块特征提取层以及独立令牌特征提取层双分支组成；所述分块嵌入模块用于获取所述待识别医学影像的n个图块，所述stage模块用于通过每级stage层的所述图块特征提取层提取图块特征、通过每级stage层的所述独立令牌特征提取层提取独立令牌特征，所述融合分类模块用于基于所述图块特征和所述独立令牌特征获取所述目标识别结果。

6、在一个实施例中，将所述待识别医学影像输入至训练好的医学影像识别模型中，获取所述待识别医学影像的目标识别结果，包括：

7、将所述待识别医学影像输入至分块嵌入模块进行分块处理，获取所述待识别医学影像的n个图块；

8、将n个图块输入至所述stage模块，基于每级stage层的所述图块特征提取层提取图块特征、基于每级stage层的所述独立令牌特征提取层提取独立令牌特征；

9、将所述图块特征和所述独立令牌特征输入至融合分类模块进行融合分类处理，获取所述待识别医学影像的目标识别结果。

10、在一个实施例中，所述基于独立令牌改进的四级stage层包括：第一stage层、第二stage层、第三stage层以及第四stage层，所述将n个图块输入至所述stage模块，基于每级stage层的所述图块特征提取层提取图块特征、基于每级stage层的所述独立令牌特征提取层提取独立令牌特征，包括：

11、将n个图块分别输入至第一stage层的第一图块特征提取层和第一独立令牌特征提取层，提取第一图块特征以及第一独立令牌特征；

12、将所述第一图块特征输入至第二stage层的第二图块特征提取层提取第二图块特征，将所述第一独立令牌特征输入至第二独立令牌特征提取层，提取第二独立令牌特征；

13、将所述第二图块特征输入至第三stage层的第三图块特征提取层提取第三图块特征，将所述第二独立令牌特征输入至第三独立令牌特征提取层，提取第三独立令牌特征；

14、将所述第三图块特征输入至第四stage层的第四图块特征提取层提取第四图块特征，将所述第三独立令牌特征输入至第四独立令牌特征提取层，提取第四独立令牌特征。

15、在一个实施例中，所述第一图块特征提取层包括：归一化单元以及第一原始移位窗口变换单元，所述第一独立令牌特征提取层包括：归一化单元以及第一独立令牌移位窗口变换单元；

16、所述将n个图块分别输入至第一stage层的第一图块特征提取层和第一独立令牌特征提取层，提取第一图块特征以及第一独立令牌特征，包括：

17、将n个图块输入至归一化单元进行归一化处理，将归一化后的n个图块输入至第一原始移位窗口变换单元，获取第一图块特征；

18、将n个图块输入至归一化单元进行归一化处理，将归一化后的n个图块输入至第一独立令牌移位窗口变换单元，获取第一独立令牌特征。

19、在一个实施例中，所述第二图块特征提取层、第三图块特征提取层以及第四图块特征提取层均由图块下采样单元以及原始移位窗口变换单元组成；所述第二独立令牌特征提取层、第三独立令牌特征提取层以及第四独立令牌特征提取层均由独立令牌下采样单元以及独立令牌移位窗口变换单元组成；

20、针对所述第二stage层，将所述第一图块特征输入至第二stage层的第二图块特征提取层提取第二图块特征，将所述第一独立令牌特征输入至第二独立令牌特征提取层，提取第二独立令牌特征，包括：

21、将所述第一图块特征输入至第二图块下采样单元进行下采样操作，将下采样操作后的第一图块特征输入至第二原始移位窗口变换单元，获取第二图块特征；

22、将所述第一独立令牌特征输入至第二独立令牌下采样单元进行下采样操作，将下采样操作后的第一独立令牌特征输入至第二独立令牌移位窗口变换单元，获取第二独立令牌特征。

23、在一个实施例中，所述将归一化后的n个图块输入至第一独立令牌移位窗口变换单元，获取第一独立令牌特征，包括：

24、初始化第一独立令牌移位窗口变换单元的多个独立令牌，其中，第一独立令牌移位窗口变换单元包括：多个第一独立令牌移位窗口，每个独立令牌与每个第一独立令牌移位窗口一一对应，每个第一独立令牌移位窗口包括m个图块的特征矩阵，多个第一独立令牌移位窗口包括的m个图块的特征矩阵组成n个图块；

25、针对各个第一独立令牌移位窗口，根据每个独立令牌以及m个图块的特征矩阵确定q键，根据m个图块的特征矩阵和多个独立令牌确定k键和v键；

26、根据所述q键和所述k键和v键，通过预设缩放余弦注意力函数，获取更新后的m个图块的特征矩阵、以及独立令牌；

27、根据多个第一独立令牌移位窗口分别对应的更新后的m个图块的特征矩阵以及独立令牌，确定第一独立令牌特征。

28、在一个实施例中，所述两阶段训练包括：第一阶段训练以及第二阶段训练，所述医学影像识别模型是基于训练集进行两阶段训练确定的，包括：

29、在所述第一阶段训练过程中，将训练集输入至所述医学影像识别模型中，冻结除四级stage层包括的各个独立令牌特征提取层及融合分类模块外的其它模型网络结构参数，根据预设损失函数调整四级stage层包括的各个独立令牌特征提取层及融合分类模块的参数，直至模型收敛，进入第二阶段训练；

30、在所述第二阶段训练过程中，根据所述训练集以及预设损失函数调整所述医学影像识别模型的参数，直至模型收敛，获取训练完成的所述医学影像识别模型。

31、第二方面，本发明实施例提供了一种医学影像识别装置，包括：

32、待识别医学影像获取模块，用于获取初始待识别医学影像，并对所述初始待识别医学影像进行预处理，获取待识别医学影像；

33、目标识别结果获取模块，用于将所述待识别医学影像输入至训练好的医学影像识别模型中，获取所述待识别医学影像的目标识别结果；

34、其中，所述医学影像识别模型是基于训练集进行两阶段训练确定的，所述医学影像识别模型包括：分块嵌入模块、stage模块以及融合分类模块，stage模块由基于独立令牌改进的四级stage层串联组成，每级stage层由图块特征提取层以及独立令牌特征提取层双分支组成；所述分块嵌入模块用于获取所述待识别医学影像的n个图块，所述stage模块用于通过每级stage层的所述图块特征提取层提取图块特征、通过每级stage层的所述独立令牌特征提取层提取独立令牌特征，所述融合分类模块用于基于所述图块特征和所述独立令牌特征获取所述目标识别结果。

35、第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述医学影像识别方法的步骤。

36、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述医学影像识别方法的步骤。

37、本发明实施例提供的技术方案与现有技术相比具有如下优点：

38、本发明实施例所提供的一种医学影像识别方法，通过获取初始待识别医学影像，并对所述初始待识别医学影像进行预处理，获取待识别医学影像；将所述待识别医学影像输入至训练好的医学影像识别模型中，获取所述待识别医学影像的目标识别结果；其中，所述医学影像识别模型是基于训练集进行两阶段训练确定的，所述医学影像识别模型包括：分块嵌入模块、stage模块以及融合分类模块，stage模块由基于独立令牌改进的四级stage层串联组成，每级stage层由图块特征提取层以及独立令牌特征提取层双分支组成；所述分块嵌入模块用于获取所述待识别医学影像的n个图块，所述stage模块用于通过每级stage层的所述图块特征提取层提取图块特征、通过每级stage层的所述独立令牌特征提取层提取独立令牌特征，所述融合分类模块用于基于所述图块特征和所述独立令牌特征获取所述目标识别结果。这样，通过在stage层中引入包含多个独立令牌的独立令牌特征提取层，使得每个独立令牌特征提取层对应的注意力机制层都能够建立跨窗口信息通道，让医学影像识别模型可以基于有限规模的训练集，在有限训练轮次内完成有效的跨窗口关联，提取全局跨窗口语义特征信息，也就是独立令牌特征；进而由融合分类模块同时结合图块特征与独立令牌特征得到目标识别结果，最终提升了医学影像识别结果的准确性。