基于门控Token剪枝实现病理图像显存高效高分辨率特征回溯方法与流程

本申请涉及图像识别，尤其涉及一种基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法。

背景技术：

1、在相关技术中，针对病理全视野切片图像的识别方法通常先对原始高分辨率图像进行全局降采样，提取低分辨率下的全局特征进行初步分析，再通过显著性热力图或注意力机制从全局特征中筛选出候选区域，进而对候选区域对应的原始高分辨率图像块进行编码，将高分辨率局部特征与低分辨率全局特征拼接融合后完成分类。

2、然而，从全局特征中筛选候选区域的过程，通常依赖训练后的阈值截断或基于注意力分数的软筛选。其中，筛选数量无法在模型前向传播过程中被强制约束为固定值，使得单次推理所召回的高分辨率图像块数量不可控。在这种情况下，算力预算与诊断精度之间缺乏结构性耦合，在算力有限的实际部署环境中难以保证稳定运行。

3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，旨在解决病理全视野切片图像的识别效果不稳定的技术问题。

2、为实现上述目的，本申请提供一种基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，所述的方法包括以下步骤：

3、对病理图像进行降采样，将降采样结果输入图像编码器，提取全局特征序列及各全局特征对应的空间位置；

4、计算所述全局特征序列中所述全局特征的显著性得分，基于所述显著性得分从所述全局特征序列中选取预设数量的特征子集；

5、根据所述空间位置，于所述病理图像中提取与所述特征子集对应的局部图像块；

6、对所述局部图像块进行编码，并将编码结果映射至所述全局特征序列对应的嵌入空间，得到局部特征；

7、将所述局部特征与对应的所述全局特征进行加权融合，得到融合特征，并基于所述融合特征确定病理分类结果。

8、在一实施例中，所述计算所述全局特征序列中所述全局特征的显著性得分，基于所述显著性得分从所述全局特征序列中选取预设数量的特征子集的步骤包括：

9、基于各所述全局特征的语义信息与病理诊断任务之间的相关性，计算各所述全局特征的诊断相关性分数；

10、基于各所述全局特征与邻域全局特征之间的空间邻接关系，计算各所述全局特征的空间聚合度分数；

11、对所述诊断相关性分数与所述空间聚合度分数进行加权求和，得到所述显著性得分；

12、根据所述显著性得分，从所述全局特征序列中选取预设数量的所述特征子集。

13、在一实施例中，所述对所述诊断相关性分数与所述空间聚合度分数进行加权求和，得到所述显著性得分的步骤包括：

14、将所述诊断相关性分数与第一预设权重相乘，得到第一加权分数；

15、将所述空间聚合度分数与第二预设权重相乘，得到第二加权分数；

16、将所述第一加权分数与所述第二加权分数相加，得到所述显著性得分。

17、在一实施例中，所述基于所述显著性得分，从所述全局特征序列中选取预设数量的所述特征子集的步骤包括：

18、通过可微稀疏选择层，基于古布尔软最大值采样，生成各所述全局特征对应的选择概率；

19、基于所述选择概率生成硬选择掩码，所述硬选择掩码中选中的全局特征的数量等于所述预设数量；

20、将被所述硬选择掩码选中的所述全局特征确定为所述特征子集。

21、在一实施例中，所述对所述局部图像块进行编码，并将编码结果映射至所述全局特征序列对应的嵌入空间，得到局部特征的步骤包括：

22、对各所述局部图像块进行多层残差卷积运算，得到卷积特征；

23、对所述卷积特征进行全局均值池化，得到池化特征；

24、通过对所述池化特征进行线性投影，将所述池化特征映射至所述全局特征序列对应的所述嵌入空间，得到所述局部特征。

25、在一实施例中，所述将所述局部特征与对应的所述全局特征进行加权融合，得到融合特征，并基于所述融合特征确定病理分类结果的步骤包括：

26、对各所述融合特征进行池化聚合，得到所述病理图像对应的全局表示向量；

27、将所述全局表示向量输入多标签分类头，由所述多标签分类头针对预设的多个病理类别分别输出预测概率；

28、将各所述病理类别对应的所述预测概率确定为所述病理分类结果。

29、在一实施例中，所述将各所述病理类别对应的所述预测概率确定为所述病理分类结果的步骤之后，还包括：

30、基于类激活映射热力图，计算所述特征子集对病灶区域的覆盖比例，得到覆盖损失；

31、基于所述全局特征与对应的所述局部特征之间的语义一致性，计算跨尺度损失；

32、基于所述特征子集的空间连通域数量，计算拓扑保持损失；

33、基于加权融合过程中所述局部特征对应权重的偏移量与所述融合特征的方差，计算门控一致性损失；

34、基于所述病理分类结果与真实标签计算分类损失，对所述分类损失、所述覆盖损失、所述跨尺度损失、所述拓扑保持损失与所述门控一致性损失进行加权求和得到总损失，并以所述总损失优化网络参数。

35、在一实施例中，所述基于所述病理分类结果与真实标签计算分类损失，对所述分类损失、所述覆盖损失、所述跨尺度损失、所述拓扑保持损失与所述门控一致性损失进行加权求和得到总损失，并以所述总损失优化网络参数的步骤之后，还包括：

36、将所述特征子集的选取方式配置为确定性选取模式；

37、对各所述全局特征的所述显著性得分按数值降序排序；

38、选取排序结果中前所述预设数量个所述全局特征，构成所述特征子集。

39、本申请提出的一个或多个技术方案，至少具有以下技术效果：

40、本申请在对病理图像降采样并提取全局特征序列后，基于各全局特征的显著性得分从所述全局特征序列中选取预设数量的特征子集，根据空间位置从病理图像中提取与所述特征子集对应的局部图像块进行编码，将编码结果映射至所述全局特征序列对应的嵌入空间得到局部特征，并与对应的全局特征加权融合后确定病理分类结果，使得每次推理所召回的高分辨率局部图像块的数量被强制约束为所述预设数量，不再随输入图像的变化而波动，从而预先确定单次推理的计算耗时与内存开销，在算力资源有限的临床部署环境中能够稳定运行。同时局部图像块的选取仍以显著性得分为依据，确保召回的图像块集中于对病理分类具有实质贡献的区域，在不牺牲诊断精度的前提下实现了推理计算量的可控性。

1.一种基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述的方法包括以下步骤：

2.如权利要求1所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述计算所述全局特征序列中所述全局特征的显著性得分，基于所述显著性得分从所述全局特征序列中选取预设数量的特征子集的步骤包括：

3.如权利要求2所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述对所述诊断相关性分数与所述空间聚合度分数进行加权求和，得到所述显著性得分的步骤包括：

4.如权利要求2所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述基于所述显著性得分，从所述全局特征序列中选取预设数量的所述特征子集的步骤包括：

5.如权利要求1所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述对所述局部图像块进行编码，并将编码结果映射至所述全局特征序列对应的嵌入空间，得到局部特征的步骤包括：

6.如权利要求1所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述将所述局部特征与对应的所述全局特征进行加权融合，得到融合特征，并基于所述融合特征确定病理分类结果的步骤包括：

7.如权利要求6所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述将各所述病理类别对应的所述预测概率确定为所述病理分类结果的步骤之后，还包括：

8.如权利要求7所述的基于门控token剪枝实现病理图像显存高效高分辨率特征回溯方法，其特征在于，所述基于所述病理分类结果与真实标签计算分类损失，对所述分类损失、所述覆盖损失、所述跨尺度损失、所述拓扑保持损失与所述门控一致性损失进行加权求和得到总损失，并以所述总损失优化网络参数的步骤之后，还包括：