一种基于病理图像空间信息的超图预后预测方法及系统

摘要: 本发明涉及医学图像处理,尤其涉及一种基于病理图像空间信息的超图预后预测方法及系统。背景技术:1、目前的计算病理学方法主要采用多实例学习框架进行肿瘤预后预测。其标...
一种基于病理图像空间信息的超图预后预测方法及系统

本发明涉及医学图像处理,尤其涉及一种基于病理图像空间信息的超图预后预测方法及系统。

背景技术:

1、目前的计算病理学方法主要采用多实例学习框架进行肿瘤预后预测。其标准流程通常包括,首先将全切片图像分割成数万个互不重叠的小图块,进而使用特征提取网络提取每个图块的特征,然后通过注意力机制或池化层将所有图块特征聚合成一个幻灯片级的特征表示,用于最终的生存风险预测,现阶段相关技术也有研究开始尝试使用图神经网络来建模图块之间的空间邻域关系,但是,相关技术存在以下不足,例如:

2、1)忽视组织区域间的空间上下文关系:传统的mil方法基于集合操作,严重忽略了组织区域之间的空间上下文关系,导致局部形态学和全局架构信息的严重丢失。然而,精确建模肿瘤微环境(tme)需要对细胞形态和组织空间拓扑进行综合分析。

3、2)获取具有医学意义的空间先验知识成本极高:虽然已有图计算方法尝试考虑wsi的空间异质性和架构,但获取这类精细的先验知识(如组织类别的空间分布)需要病理学家进行昂贵且耗时的区域级人工标注 。现有方法未能利用低成本的诊断任务来提取肿瘤的空间分布模式。

4、3)临床可解释性差:现有模型虽然能生成注意力热图,但病理医生很难直观地判断模型关注的区域是否符合医学常识(即模型是否真的关注了肿瘤区域来判断预后),缺乏诊断注意力与预后注意力的直接对比验证手段。

技术实现思路

1、为了解决上述技术问题,本发明的目的是提供一种基于病理图像空间信息的超图预后预测方法及系统,能够在提高生存风险预测准确率的同时,实现了高解释性的病理空间验证。

2、本发明所采用的第一技术方案是:一种基于病理图像空间信息的超图预后预测方法,包括以下步骤:

3、获取全切片病理图像并进行图像预处理与诊断先验空间信息提取处理,得到初始节点特征矩阵与图块被预测为肿瘤组织的置信度值;

4、引入初始化约束机制,将图块被预测为肿瘤组织的置信度值,划分为若干预定义区间,并在相邻区间设置重叠,构建基于空间先验的超图,并结合初始节点特征矩阵进行两阶段空间超图卷积,得到最终超边特征;

5、基于多层感知机执行分布式区域风险映射,根据最终超边特征对超图中各个超边所对应的异质性空间区域分别进行生存风险评分预测,得到区域风险向量,并计算其算术平均值作为最终生存风险,实现超图预后预测。

6、进一步,所述获取全切片病理图像并进行图像预处理与诊断先验空间信息提取处理,得到初始节点特征矩阵与图块被预测为肿瘤组织的置信度值这一步骤,其具体包括:

7、获取全切片病理图像并进行前景区域分割处理,得到若干病理图像块;

8、基于预训练的病理学基础模型对若干病理图像块进行初始特征提取处理,构建初始节点特征矩阵;

9、将若干病理图像块输入至基于注意力的二分类诊断模型进行注意力分数计算,得到图块被预测为肿瘤组织的置信度值。

10、进一步,所述引入初始化约束机制,将图块被预测为肿瘤组织的置信度值,划分为若干预定义区间,并在相邻区间设置重叠,构建基于空间先验的超图,并结合初始节点特征矩阵进行两阶段空间超图卷积,得到最终超边特征这一步骤,其具体包括:

11、基于图块被预测为肿瘤组织的置信度值,构建基于空间先验的超图,输出关联矩阵;

12、引入初始化约束机制,进行引导性特征初始化,通过诊断注意力值对关联矩阵中的非零值进行替换处理,得到加权关联矩阵,并计算初始超边特征;

13、将初始节点特征矩阵与初始超边特征输入至基于空间的超图注意力网络,执行注意力引导的消息聚合机制,根据置信度值对消息传递路径进行权重约束,并进行节点到超边、超边到节点的两阶段空间超图卷积,得到最终超边特征。

14、进一步,所述基于图块被预测为肿瘤组织的置信度值,构建基于空间先验的超图,输出关联矩阵这一步骤,其具体包括:

15、将每一个病理图像块视为超图中的一个节点,并将图块被预测为肿瘤组织的置信度值划分为预定义的区间,将具有相似分数的图块分组到相应的超边;

16、对相邻的分数区间设置预设的比例重叠,构建基于空间先验的超图,输出关联矩阵。

17、进一步,所述引导性特征初始化的表达式具体如下所示:

18、 ;

19、 ;

20、上式中,表示节点到超边的聚合权重,表示超边权重的对角矩阵,表示初始节点特征矩阵,表示初始超边特征,表示加权关联矩阵,表示函数。

21、进一步,所述两阶段空间超图卷积的表达式具体如下所示:

22、 ;

23、 ;

24、上式中,表示由注意力函数计算得出的节点到超边的传播权重矩阵,表示由注意力函数计算得出的超边到节点的传播权重矩阵,表示超图注意力网络中第层的超边特征,表示前一层(即第层)的节点特征,表示超图注意力网络中第层的节点特征。

25、进一步,所述预测不同组织区域的风险评分的表达式具体如下所示:

26、 ;

27、上式中,表示不同组织区域的风险评分,表示多层感知机,表示最终超边特征,表示风险预测函数。

28、本发明所采用的第二技术方案是:一种基于病理图像空间信息的超图预后预测系统,包括:

29、第一模块,用于获取全切片病理图像并进行图像预处理与诊断先验空间信息提取处理,得到初始节点特征矩阵与图块被预测为肿瘤组织的置信度值;

30、第二模块,用于引入初始化约束机制,将图块被预测为肿瘤组织的置信度值,划分为若干预定义区间,并在相邻区间设置重叠,构建基于空间先验的超图,并结合初始节点特征矩阵进行两阶段空间超图卷积,得到最终超边特征;

31、第三模块,用于基于多层感知机执行分布式区域风险映射,根据最终超边特征对超图中各个超边所对应的异质性空间区域分别进行生存风险评分预测,得到区域风险向量,并计算其算术平均值作为最终生存风险,实现超图预后预测。

32、本发明方法及系统的有益效果是:本发明通过获取全切片病理图像并进行图像预处理与诊断先验空间信息提取处理,得到初始节点特征矩阵与图块被预测为肿瘤组织的置信度值,无需昂贵的像素级标注,通过弱监督模型提取出高度相关的肿瘤空间异质性模式;进而引入初始化约束机制,将图块被预测为肿瘤组织的置信度值,划分为若干预定义区间,并在相邻区间设置重叠,构建基于空间先验的超图,并结合初始节点特征矩阵进行两阶段空间超图卷积,得到最终超边特征,将这种诊断置信度直接转化为指导预后预测的空间先验知识,结合了诊断先验空间信息的超图网络能够更好地捕捉肿瘤微环境(tme)组织中复杂的病理空间高阶关系;最后基于多层感知机执行分布式区域风险映射,根据最终超边特征对超图中各个超边所对应的异质性空间区域分别进行生存风险评分预测,得到区域风险向量,并计算其算术平均值作为最终生存风险,实现超图预后预测,能够在提高生存风险预测准确率的同时,实现了高解释性的病理空间验证。