病理图像分割预测方法、系统、设备及介质

本发明涉及数字病理图像分析与计算机视觉技术交叉，具体地说是一种病理图像分割预测方法、系统、设备及介质。

背景技术：

1、病理图像分割是数字病理分析中的基础任务之一，其目标是在病理切片图像中定位并分割不同组织区域或病变相关区域，精准的分割结果可为组织结构定量统计、病变区域自动定位、疾病分级辅助研判及后续临床研究提供关键支撑，是推动病理诊断智能化落地的核心环节。

2、当前主流完全监督分割方法高度依赖像素级精细标注，而这类标注需由专业病理医师逐区域人工勾画，不仅耗时久、人力成本极高，还普遍存在不同标注者间的主观判断差异，标注一致性难以保障，严重制约了大规模病理数据集构建与智能模型的临床落地。为此，仅依托图像级标签、框标注、点标注等低成本弱监督信息完成训练的分割方案，成为领域内的重点研究方向。

3、现有弱监督病理图像方法主要分为基于类激活图、伪标签迭代、transformer全局建模、图神经网络结构建模四类，虽取得一定进展但仍存在明显缺陷：

4、①病理图像具有显著的组织异质性和上下文混杂。目标组织区域与周围间质、坏死、淋巴细胞浸润等区域在空间上往往高度相关，模型在仅有图像级弱标注约束下容易学习到与类别相关但并非真正目标组织证据的背景上下文特征，导致定位不稳定；

5、②transformer虽然能够建模长距离依赖，但全局注意力机制可能放大背景上下文偏差，使目标组织特征与非目标组织特征进一步耦合；

6、③图神经网络能够显式建模图像块之间的空间结构关系，但常规图卷积通常采用重复邻域聚合，随着图传播层数增加，容易出现特征过平滑问题，使得组织边界和局部形态差异被削弱，影响分割边界精度。

7、故如何实现在弱标注条件下抑制上下文混杂，增强目标组织因果判别特征，同时有效建模多尺度组织结构关系并缓解图推理过程中的过平滑是目前亟待解决的技术问题。

技术实现思路

1、本发明的技术任务是提供一种病理图像分割预测方法、系统、设备及介质，来解决如何实现在弱标注条件下抑制上下文混杂，增强目标组织因果判别特征，同时有效建模多尺度组织结构关系并缓解图推理过程中的过平滑的问题。

2、本发明的技术任务是按以下方式实现的，一种病理图像分割预测方法，该方法具体如下：

3、预处理病理图像：将二维空间结构的待分割病理图像转换为序列形式，获取预处理后的待分割病理图像；

4、编码病理图像：利用预处理后的待分割病理图像，通过视觉transformer（visiontransformer, vit）图像编码器提取局部空间信息的patch级特征及图像级全局语义特征；

5、因果反事实投影：将图像级全局语义特征映射为查询向量，将局部空间信息的patch级特征映射为键矩阵和值矩阵，根据查询向量、键矩阵及值矩阵，基于交叉注意力计算事实响应；并通过值矩阵计算反事实响应，以事实响应和反事实响应之差作为目标组织区域的因果效应表示；

6、因果特征重加权：利用因果效应表示生成通道重加权信号，并根据通道重加权信号对局部图像块特征进行重加权，获取因果增强局部图像块特征；

7、构建多尺度拓扑图：以因果增强局部图像块特征作为图节点，以局部图像块区域之间的关联关系作为边，根据局部图像块在预处理后的待分割病理图像中的空间位置构建多尺度拓扑图；

8、多尺度谱图推理：采用谱切比雪夫图卷积对多尺度拓扑图进行多尺度谱图推理，获取图增强特征；

9、分割预测：通过分割解码器对图增强特征进行分割预测，生成图像块级分割预测结果，并将图像块级分割预测结果通过插值上采样方式恢复为像素级分割预测结果，像素级分割预测结果作为待分割病理图像对应的分割预测结果。

10、作为优选，编码病理图像具体为：通过视觉transformer图像编码器充分捕获预处理后的待分割病理图像中不同组织区域之间的全局上下文信息，获取图像级全局语义特征；具体如下：

11、采用视觉transformer图像编码器中的patch embedding机制，将预处理后的待分割病理图像划分为个尺寸相同且互不重叠的图像块（patch）；其中，表示预处理后的待分割病理图像的高度；表示预处理后的待分割病理图像的宽度；表示预处理后的待分割病理图像的rgb三通道数量；表示实数域；

12、将每个图像块经过线性投影映射为高维特征空间，形成对应的patch token序列；

13、通过视觉transformer图像编码器对patch token序列进行处理，获取局部空间信息的patch级特征；其中，表示第个图像块经过视觉transformer图像编码器编码后得到的高维语义特征向量；表示每个patch token序列的特征维度；

14、采用类别标记token或对patch token进行全局平均池化的方式对所有局部空间信息的patch级特征表示进行聚合处理，获取图像级全局语义特征。

15、更优地，因果反事实投影具体如下：

16、将图像级全局语义特征映射为查询向量，公式为：；其中，表示查询向量；表示查询映射矩阵；

17、将局部空间信息的patch级特征映射为键矩阵和值矩阵，公式为：；；其中，表示键矩阵；表示值矩阵；表示键映射矩阵；表示值映射矩阵；

18、基于交叉注意力计算事实响应，公式为：；其中，表示事实响应；表示以为查询向量、为键矩阵、为值矩阵的注意力计算函数；注意力计算函数定义为：；其中，表示的转置矩阵；表示注意力空间维度；表示注意力空间维度的平方根；softmax表示归一化指数函数；

19、对值矩阵中的各局部值向量求均值，获取全局上下文原型：；其中，表示全局上下文原型；表示值矩阵中对应第个局部图像块的值向量；

20、将全局上下文原型复制次，获取反事实值矩阵：；通过由全局上下文原型组成的反事实值矩阵，模拟去除局部组织结构差异后的上下文响应；

21、根据查询向量、键矩阵及反事实矩阵计算反事实响应：；

22、以事实响应和反事实响应之差作为目标组织区域的因果效应表示：；其中，因果效应表示能够保留无法由全局上下文原型单独解释的判别信息，从而增强目标组织相关特征。

23、更优地，因果特征重加权具体如下：

24、利用因果效应表示生成通道重加权信号：；其中，表示通道重加权信号；表示sigmoid激活函数；表示通道重加权映射矩阵；表示偏置项；

25、对局部图像块特征x进行重加权，通过强化目标组织相关特征，抑制背景区域干扰，获取因果增强局部图像块特征：；其中，表示因果增强局部图像块特征；⊙表示逐元素乘法。

26、更优地，构建多尺度拓扑图具体如下：

27、对于第个拓扑尺度，构建拓扑图：；其中，表示第个拓扑尺度的拓扑图，，表示拓扑尺度总数，拓扑尺度决定图像块之间建立多远范围的关系；表示图节点集合，每个图节点对应一个因果增强图像块特征；表示第个尺度下的边集合；

28、对于第个拓扑尺度的拓扑图，构建邻接矩阵：；其中，表示第个拓扑尺度的邻接矩阵；邻接矩阵中的元素定义为：若，则 ；若，则；其中，表示第个图节点；表示第个图节点；表示第个尺度下节点的空间邻域集合；表示邻接矩阵中第行第列的元素；

29、对邻接矩阵加入自连接，获取，并进行归一化处理，获取归一化邻接矩阵：；其中，表示第个尺度的归一化邻接矩阵；表示加入自连接后的邻接矩阵；表示对应的度矩阵；表示度矩阵的逆矩阵；度矩阵中的对角元素定义为：；其中，表示度矩阵中第行第列的元素；表示加入自连接后的邻接矩阵中第行第列的元素。

30、更优地，多尺度谱图推理具体如下：

31、设因果增强局部图像块特征为谱切比雪夫图卷积层的输入特征矩阵，即；对于第个拓扑尺度，构造零阶、一阶和二阶切比雪夫，公式如下：

32、；

33、；

34、；

35、其中，表示第个拓扑尺度下的零阶切比雪夫基；表示第个拓扑尺度下的一阶切比雪夫基；表示第个拓扑尺度下的二阶切比雪夫基；表示第个拓扑尺度的归一化邻接矩阵；

36、对于第个拓扑尺度，谱响应表示为：；其中，分别表示第个拓扑尺度下对应零阶、一阶和二阶切比雪夫基的可学习参数矩阵；

37、将多个拓扑尺度的谱响应与输入特征的自投影结果进行融合，获取多尺度融合特征：；其中，表示自投影参数矩阵；表示拓扑尺度总数；

38、通过残差连接获取谱切比雪夫图卷积层的输出：；其中，表示谱切比雪夫图卷积层对输入特征矩阵的输出；

39、将层谱切比雪夫图卷积层堆叠构成多尺度谱图推理模块，表示为：；其中，表示多尺度谱图推理模块索引，表示谱切比雪夫图卷积层的总层数；，表示多尺度谱图推理模块的输入特征；表示因果增强局部图像块特征；表示第  层谱图推理模块输入的节点特征矩阵，描述经过前 层图卷积传播后各病理图像块的语义表示；表示谱切比雪夫图卷积层输出的拓扑增强节点特征，通过聚合图结构中邻域节点信息并结合残差连接，实现局部组织语义与全局拓扑关系的融合；

40、经过层谱切比雪夫图卷积层的多尺度谱图推理后，获取对层谱切比雪夫图卷积层对输入特征矩阵的输出，并对输入特征矩阵的输出进行层归一化，获取图增强特征：；其中，表示层归一化操作；

41、分割预测具体如下：

42、通过分割解码器（mask transformer decoder）对图增强特征进行分割预测，生成图像块级分割预测结果：；其中，表示分割解码器；

43、将图像块级分割预测结果通过插值上采样方式恢复为像素级分割预测结果，并将像素级分割预测结果作为待分割病理图像对应的分割预测结果；其中，像素级分割预测结果；其中，表示插值上采样操作。

44、更优地，该方法还包括优化分割预测结果：采用弱监督分割损失与因果正交约束损失联合优化待分割病理图像对应的分割预测结果；具体如下：

45、引入因果正交约束损失，通过最小化因果正交约束损失，因果效应表示与反事实响应被推动至互补特征子空间，降低因果效应表示与上下文表示之间的信息重叠，从而进一步降低上下文混杂，公式如下：

46、；

47、其中，表示训练批量中的样本数量；表示批量中的第个样本；表示第个样本的因果效应表示；表示第个样本的反事实响应；表示向量内积；表示二范数，表示绝对值；和分别表示因果效应表示与反事实响应的l2范数，用于对因果效应表示与反事实响应点积进行归一化，衡量因果效应表示与反事实响应二者之间的余弦相似度，从而约束因果表示与反事实表示之间的相关性；

48、整体损失函数公式如下：

49、；

50、其中，表示弱监督分割损失；表示因果正交约束损失；表示用于平衡弱监督分割损失和因果正交约束损失的权重系数。

51、一种病理图像分割预测系统，该系统用于实现如上述的病理图像分割预测方法；该系统包括：

52、病理图像预处理单元，用于将二维空间结构的待分割病理图像转换为序列形式，获取预处理后的待分割病理图像；

53、病理图像编码单元，用于利用预处理后的待分割病理图像，通过视觉transformer图像编码器提取局部空间信息的patch级特征及图像级全局语义特征；

54、因果反事实投影单元，用于将图像级全局语义特征映射为查询向量，将局部空间信息的patch级特征映射为键矩阵和值矩阵，根据查询向量、键矩阵及值矩阵，基于交叉注意力计算事实响应；并通过值矩阵计算反事实响应，以事实响应和反事实响应之差作为目标组织区域的因果效应表示；

55、因果特征重加权单元，用于利用因果效应表示生成通道重加权信号，并根据通道重加权信号对局部图像块特征进行重加权，获取因果增强局部图像块特征；

56、多尺度拓扑图构建单元，用于以因果增强局部图像块特征作为图节点，以局部图像块区域之间的关联关系作为边，根据局部图像块在预处理后的待分割病理图像中的空间位置构建多尺度拓扑图；

57、多尺度谱图推理单元，用于采用谱切比雪夫图卷积对多尺度拓扑图进行多尺度谱图推理，获取图增强特征；

58、分割预测单元，用于通过分割解码器对图增强特征进行分割预测，生成图像块级分割预测结果，并将图像块级分割预测结果通过插值上采样方式恢复为像素级分割预测结果，像素级分割预测结果作为待分割病理图像对应的分割预测结果。

59、一种电子设备，包括：存储器和至少一个处理器；

60、其中，所述存储器上存储有计算机程序；

61、所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的病理图像分割预测方法。

62、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的病理图像分割预测方法。

63、本发明的病理图像分割预测方法、系统、设备及介质具有以下优点：

64、（一）本发明先获取待分割病理图像，通过视觉transformer图像编码器提取局部空间信息的patch级特征及图像级全局语义特征；再利用因果反事实投影模块基于事实响应和反事实响应之间的差值估计目标组织（肿瘤区域）区域的因果效应表示，以抑制背景组织、染色差异和扫描条件等上下文混杂因素；再根据因果效应表示对图像块特征进行通道重加权，得到因果增强图像块特征；再将因果增强图像块特征作为图节点，构建多个尺度的空间拓扑图；再在多个尺度的拓扑图上采用谱切比雪夫图卷积进行多尺度谱图推理，获得图增强特征；最后通过分割解码器生成病理图像分割结果，能够在弱监督条件下提高病理组织区域定位精度，并改善组织边界保持能力；

65、（二）本发明通过事实响应与反事实响应之间的差值估计目标组织区域的因果效应，能够在弱监督条件下抑制背景组织、染色差异和扫描风格等上下文混杂因素，提高目标区域定位的可靠性；

66、（三）本发明采用因果重加权机制对图像块特征进行通道级调制，使与目标组织相关的判别通道得到增强，使上下文主导的非目标通道得到抑制；

67、（四）本发明将病理图像块构建为多尺度拓扑图，能够同时建模局部细胞组织结构和远距离组织空间依赖关系；

68、（五）本发明采用谱切比雪夫图卷积进行图推理，相较于普通图卷积的一阶邻域聚合，能够利用高阶谱基捕获丰富频率响应，有助于缓解图特征过平滑并保持组织边界；

69、（六）本发明适用于仅具有图像级弱标注或粗标注的病理图像分割场景，可减少对像素级人工标注的依赖。