荧光全切片图像判读模型的训练方法、荧光全切片图像判读方法与流程

本技术涉及医学信息处理与人工智能，特别是涉及一种荧光全切片图像判读模型的训练方法、荧光全切片图像判读方法、装置、计算机设备、可读存储介质和计算机程序产品。

背景技术：

1、幽门螺杆菌（helicobacter pylori，hp）感染与慢性胃炎、消化性溃疡、胃黏膜萎缩、肠上皮化生以及胃癌风险密切相关。准确识别hp感染状态并评估感染程度，对于消化道疾病管理、疗效随访和高危人群复核具有重要意义。近年来，针对病理全切片图像的人工智能算法被广泛应用于医学图像辅助识别中。

2、传统针对全切片图像（whole slide image，wsi）的弱监督多示例学习（multipleinstance learning，mil）方法，多面向he染色（苏木精-伊红染色）、免疫组化染色或普通数字病理图像，其注意力权重通常仅由图像块深度特征计算得到。对于hp荧光全切片图像，hp菌体通常表现为点状或短杆状弱荧光信号，菌体在整张wsi中占比极低；同时胃黏膜组织可能存在自发荧光、非特异性染色、局部过曝、扫描噪声和通道串扰等非hp高亮区域。

3、然而，传统针对全切片图像的多示例学习（mil）方法，会明显受到图像块荧光背景的干扰，对于低菌量hp区域可能会遗漏掉注意力权重，导致在hp荧光弱信号、小目标和低菌量图像区域场景下，对非hp高亮区域的注意力聚焦不稳定，从而降低了模型辅助判读结果的精确度。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种荧光全切片图像判读模型的训练方法、荧光全切片图像判读方法、装置、计算机设备、可读存储介质和计算机程序产品，以期能够提高对荧光全切片图像中低菌量的弱荧光区域的定位准确性。

2、第一方面，本技术提供了一种荧光全切片图像判读模型的训练方法，所述方法包括如下步骤：

3、获取细菌样本的荧光全切片图像，对所述荧光全切片图像裁剪出多个候选图像块；所述荧光全切片图像为对所述细菌样本进行荧光染色后的全切片图像；

4、根据各所述候选图像块的荧光质量，得到荧光证据质量参数和荧光干扰质量参数；所述荧光证据质量参数包括用于表征目标荧光可信程度的参数；所述荧光干扰质量参数包括用于表征非目标荧光、背景荧光、扫描伪影或染色干扰程度的参数；所述目标荧光为所述荧光全切片图像中细菌样本的真实荧光；

5、根据所述荧光证据质量参数和所述荧光干扰质量参数，从多个所述候选图像块进行筛选、加权或排序，得到有效图像块，并通过所述荧光全切片图像判读模型的特征提取层提取所述有效图像块的图像块特征；

6、通过所述荧光全切片图像判读模型的注意力机制层处理所述图像块特征、所述荧光证据质量参数和所述荧光干扰质量参数，输出各所述有效图像块的注意力权重；

7、根据所述注意力权重、所述荧光证据质量参数和所述荧光干扰质量参数，从所述有效图像块中筛选出待处理实例集合；通过荧光全切片图像判读模型的实例分类层处理所述待处理实例集合，输出实例分类结果，根据所述实例分类结果，确定所述荧光全切片图像判读模型的实例级约束损失；

8、根据所述实例级约束损失，对所述荧光全切片图像判读模型的模型参数进行更新，得到训练后的所述荧光全切片图像判读模型。

9、在其中一个实施例中，所述根据各所述候选图像块的荧光质量，得到荧光证据质量参数和荧光干扰质量参数，包括：

10、针对每个所述候选图像块，根据所述候选图像块的预设质量指标，获得所述候选图像块的荧光证据质量向量；其中，所述预设质量指标至少包括图像组织前景占比、背景校正后荧光信噪比、目标荧光候选密度、双通道共定位程度、清晰度、过曝比例、背景残留强度、模糊度中的至少两种；

11、对所述荧光证据质量向量表征的所述图像组织前景占比、所述背景校正后荧光信噪比、所述目标荧光候选密度、所述双通道共定位程度、所述清晰度进行融合，得到所述荧光证据质量参数；

12、对所述荧光证据质量向量表征的所述过曝比例、所述背景残留强度、所述模糊度进行融合，得到所述荧光干扰质量参数；

13、其中，所述图像组织前景占比为对所述荧光全切片图像进行图像阈值分割后生成的前景区域的占比，所述目标荧光候选密度为点状或短杆状荧光的荧光密度，所述双通道共定位程度表征通过fitc 通道与cy5 通道进行荧光标记后的荧光信号在空间上的一致性，所述背景残留强度表征剔除所述细菌样本的目标特异信号后的背景信号的干扰水平。

14、在其中一个实施例中，所述通过所述荧光全切片图像判读模型的注意力机制层处理所述图像块特征、所述荧光证据质量参数和所述荧光干扰质量参数，输出各所述有效图像块的注意力权重，包括：

15、将所述图像块特征作为所述荧光全切片图像判读模型的多示例学习包，确定所述有效图像块在预设邻域内的相邻图像块集合；

16、根据所述相邻图像块集合中各有效图像块的荧光证据质量参数的平均值，得到邻域证据一致性；

17、针对所述细菌样本的每个感染类别，对所述图像块特征、所述荧光证据质量向量、所述荧光证据质量参数、所述荧光干扰质量参数和所述邻域证据一致性进行融合，得到各所述有效图像块的注意力分数；

18、对所述注意力分数进行归一化处理，得到所述注意力权重。

19、在其中一个实施例中，所述待处理实例集合至少包括正实例集合和硬负实例集合，所述根据所述注意力权重、所述荧光证据质量参数和所述荧光干扰质量参数，从所述有效图像块中筛选出待处理实例集合，包括：

20、根据所述注意力权重和所述荧光证据质量参数，从所述有效图像块中的阳性图像块中，筛选出所述正实例集合；

21、根据所述荧光证据质量参数和所述荧光干扰质量参数，从所述有效图像块中的阴性图像块中，筛选出所述硬负实例集合；

22、所述通过荧光全切片图像判读模型的实例分类层处理所述待处理实例集合，输出实例分类结果，根据所述实例分类结果，确定所述荧光全切片图像判读模型的实例级约束损失，包括：

23、通过所述实例分类层处理所述正实例集合中各所述有效图像块对应的图像块特征，获得第一类别概率，以及，通过所述实例分类层处理所述硬负实例集合各所述有效图像块对应的图像块特征，获得第二类别概率；

24、根据所述第一类别概率和所述第二类别概率之间的差异，获得所述实例级约束损失。

25、在其中一个实施例中，所述根据所述注意力权重和所述荧光证据质量参数，从所述有效图像块中的阳性图像块中，筛选出所述正实例集合，包括：

26、从所述阳性全切片图像中，对所述注意力权重和所述荧光证据质量参数进行相乘，得到正实例筛选分数；将所述正实例筛选分数较高的预设数量的有效图像块，作为所述正实例集合；

27、所述根据所述荧光证据质量参数和所述荧光干扰质量参数，从所述有效图像块中的阴性图像块中，筛选出所述硬负实例集合，包括：

28、针对所述阴性全切片图像，对所述荧光证据质量参数和所述荧光干扰质量参数进行相加，得到硬负实例筛选分数；将所述硬负实例筛选分数较高的预设数量的有效图像块，作为所述硬负实例集合。

29、在其中一个实施例中，所述荧光全切片图像判读模型的模型损失还包括全切片级交叉熵损失、注意力熵损失、原型约束损失或有序回归辅助损失中的至少一种，所述方法还包括：

30、根据所述荧光全切片图像的全切片级别标签，以及所述细菌样本的感染概率，获取所述荧光全切片图像的交叉熵，得到所述全切片级交叉熵损失；所述感染概率包括感染状态概率和感染程度概率；

31、和/或，

32、根据所述注意力权重，获取所述荧光全切片图像的信息量，根据所述信息量，得到所述注意力熵损失；

33、和/或，

34、对所述荧光全切片图像中的第一目标原型进行聚类，得到第一原型向量；所述第一目标原型包括所述细菌样本的阳性原型、所述硬负实例集合中的荧光硬负实例原型，以及所述荧光全切片图像中的背景原型；

35、针对所述细菌样本的每个感染类别，对所述荧光全切片图像中的第二目标原型进行聚类，获取第二原型向量；所述第二目标原型为不属于所述全切片级别标签对应的感染类别的图像块特征；

36、根据所述第一原型向量和所述第二原型向量，得到所述原型约束损失；

37、和/或，

38、根据所述全切片级别标签和级别阈值，获取二分类标签；通过所述荧光全切片图像判读模型中的感染状态分类任务，获取所述荧光全切片图像的倾向得分概率；

39、根据所述二分类标签和所述倾向得分概率，得到所述有序回归辅助损失。

40、在其中一个实施例中，所述荧光全切片图像判读模型包括感染状态分类任务模型和感染程度分级任务模型，所述方法还包括：

41、在感染状态分类任务的情况下，根据所述全切片级交叉熵损失、所述注意力熵损失和所述实例级约束损失，得到分类训练损失；根据所述分类训练损失，对所述待训练的感染状态分类任务模型进行训练，得到预训练的感染状态分类任务模型；

42、在感染程度分级任务的情况下，根据所述全切片级交叉熵损失、所述有序回归辅助损失、所述原型约束损失和所述实例级约束损失，得到分级训练损失；根据所述分级训练损失，对所述待训练的感染程度分级任务模型进行训练，得到预训练的感染程度分级任务模型。

43、在其中一个实施例中，所述对所述荧光全切片图像裁剪出多个候选图像块，包括：

44、对所述荧光全切片图像进行图像阈值分割，生成组织前景掩膜；所述组织前景掩膜为所述荧光全切片图像中在所述细菌样本的组织的前景范围的图像掩膜；

45、根据所述组织前景掩膜，剔除所述荧光全切片图像中的无效区域，得到所述荧光全切片图像的组织前景区域；

46、在预设倍率下采用滑动窗口，对所述组织前景区域进行图像块裁剪，得到所述候选图像块。

47、第二方面，本技术提供了一种荧光全切片图像判读方法，所述方法包括：

48、获取待测样本的荧光全切片图像，对所述荧光全切片图像裁剪出多个候选图像块；

49、根据各所述候选图像块的荧光质量，得到荧光证据质量参数和荧光干扰质量参数；

50、根据所述荧光证据质量参数和所述荧光干扰质量参数，从多个所述候选图像块进行筛选、加权或排序，得到有效图像块，并通过荧光全切片图像判读模型的特征提取层提取所述有效图像块的图像块特征；

51、通过所述荧光全切片图像判读模型的注意力机制层处理所述图像块特征、所述荧光证据质量参数和所述荧光干扰质量参数，得到各所述有效图像块的注意力权重；

52、对所述注意力权重和所述图像块特征进行融合，得到各所述荧光全切片图像的全切片级别表示，根据所述全切片级别表示，得到所述待测样本的判读结果；

53、其中，所述荧光全切片图像判读模型为通过上述一种荧光全切片图像判读模型的训练方法训练得到的荧光全切片图像判读模型。

54、在其中一个实施例中，所述判读结果包括感染状态判读结果和感染程度判读结果，所述根据所述全切片级别表示，得到所述待测样本的判读结果，包括：

55、根据所述全切片级别表示，得到所述待测样本的感染状态概率，根据所述感染状态概率和感染状态阈值，得到所述感染状态判读结果；

56、在所述感染状态判读结果为阳性的情况下，确定所述待测样本中的阳性样本，根据所述阳性样本对应的所述注意力权重、所述荧光证据质量参数和所述感染状态概率，得到所述阳性样本的感染负荷指标；

57、根据所述全切片级别表示和所述感染负荷指标，得到所述待测样本的感染程度概率，以得到所述感染程度判读结果。

58、第三方面，本技术提供了一种荧光全切片图像判读模型的训练装置，所述装置包括：

59、图像准备模块，用于获取细菌样本的荧光全切片图像，对所述荧光全切片图像裁剪出多个候选图像块；所述荧光全切片图像为对所述细菌样本进行荧光染色后的全切片图像；

60、荧光质量评价模块，用于根据各所述候选图像块的荧光质量，得到荧光证据质量参数和荧光干扰质量参数；所述荧光证据质量参数用于表征目标荧光可信程度的参数；所述荧光干扰质量参数用于表征非目标荧光、背景荧光、扫描伪影或染色干扰程度的参数；所述目标荧光为所述荧光全切片图像中细菌样本的真实荧光；

61、图像筛选与特征提取模块，用于根据所述荧光证据质量参数和所述荧光干扰质量参数，从多个所述候选图像块进行筛选、加权或排序，得到有效图像块，并通过所述荧光全切片图像判读模型的特征提取层提取所述有效图像块的图像块特征；

62、注意力机制模块，用于通过所述荧光全切片图像判读模型的注意力机制层处理所述图像块特征、所述荧光证据质量参数和所述荧光干扰质量参数，输出各所述有效图像块的注意力权重；

63、约束损失获取模块，用于根据所述注意力权重、所述荧光证据质量参数和所述荧光干扰质量参数，从所述有效图像块中筛选出待处理实例集合；通过荧光全切片图像判读模型的实例分类层处理所述待处理实例集合，输出实例分类结果，根据所述实例分类结果，确定所述荧光全切片图像判读模型的实例级约束损失；

64、模型训练模块，用于根据所述实例级约束损失，对所述荧光全切片图像判读模型的模型参数进行更新，得到训练后的所述荧光全切片图像判读模型。

65、第四方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述荧光全切片图像判读模型的训练方法或上述荧光全切片图像判读方法的步骤。

66、第五方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法或上述荧光全切片图像判读方法的步骤。

67、第六方面，本技术还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法或上述荧光全切片图像判读方法的步骤。

68、上述荧光全切片图像判读模型的训练方法、荧光全切片图像判读方法、装置、计算机设备、可读存储介质和计算机程序产品，通过根据获取到的细菌样本的荧光全切片图像，裁剪出多个候选图像块；通过待训练的荧光全切片图像判读模型中的荧光质量计算模块，根据各候选图像块的荧光质量，得到荧光证据质量参数和荧光干扰质量参数；根据荧光证据质量参数和荧光干扰质量参数，从多个候选图像块中筛选有效图像块，并提取有效图像块的图像块特征，由此结合了荧光特点对图像进行质量筛选，剔除了空白背景、低质量扫描区域、非特异性荧光或伪影干扰图像块，同时保留具有真实荧光证据的低菌量弱荧光候选图像块，降低了低质量荧光背景或伪影对模型的干扰；进而根据图像块特征、荧光证据质量参数和荧光干扰质量参数，得到各有效图像块的注意力权重；根据注意力权重、荧光证据质量参数和荧光干扰质量参数，得到荧光全切片图像的实例级约束损失，并根据实例级约束损失，对待训练的荧光全切片图像判读模型进行训练，得到预训练的荧光全切片图像判读模型，由此，在使用全切片级别标签的条件下，通过图像规则处理、统计特征计算和/或神经网络预测，可以使模型对细菌样本真实荧光与干扰荧光在特征空间中分离，能够增强细菌样本真实荧光与抑制非细菌样本干扰荧光，降低了非特异性荧光假阳性，提升了模型对细菌样本假阳性的抑制能力，从而提高了对全切片图像中低菌量弱荧光区域的定位准确性和稳定性，进而提高了模型辅助判读结果的精准度。