一种基于异构图注意力与状态空间模型的全切片病理图像分类方法
本发明涉及图像处理,具体为一种基于异构图注意力与状态空间模型的全切片病理图像分类方法。
背景技术:
1、全切片病理图像是指通过数字扫描设备将组织切片进行高分辨率采集得到的千兆像素级图像,其分辨率可达100000×100000像素量级。在癌症诊断中,病理医生通过观察全切片病理图像中的组织形态和细胞分布来进行判断,评估肿瘤的类型、分级和预后。然而,由于图像尺寸庞大,人工阅片耗时长且不同病理医生之间可能存在诊断差异。随着深度学习技术的发展,基于计算机视觉的全切片病理图像自动分析方法逐渐成为研究热点,其目标是辅助病理医生提高诊断效率和一致性。
2、全切片病理图像的自动分析面临多方面挑战。全切片病理图像通常需要切分为数万个不重叠的图像块进行处理,常规的卷积神经网络和transformer架构受限于计算复杂度和显存容量,难以对整张全切片病理图像进行端到端建模。同时,组织微环境中包含多种类型的细胞,例如肿瘤细胞、炎性细胞、结缔组织和坏死组织等,不同细胞之间的空间位置关系和交互模式携带了丰富的诊断信息,其中肿瘤细胞周围的免疫细胞浸润程度是重要的预后生物标志物,如何区分不同类型细胞间的语义差异是建模的关键。此外,局部组织拓扑结构和全局组织形态分布对诊断各有贡献,例如腺癌与鳞癌的区分需要关注特定区域的上皮细胞与间质细胞的边界形态,而肿瘤组织与正常组织的区分则更依赖于整体组织类型的分布模式,单一的模型架构难以同时捕获短程局部依赖和长程全局依赖。以上问题给全切片病理图像的自动分类带来了挑战。
3、目前,基于深度学习的全切片病理图像分析方法主要有以下几种思路。基于多实例学习的方法将各个图像块视为独立样本,通过注意力机制对图像块特征进行聚合,再输入分类器进行判别。这类方法计算效率较高,但将图像块视为彼此独立的实例,忽略了图像块之间的空间位置关系和拓扑结构,导致模型无法利用组织微环境的空间上下文信息。基于图神经网络的方法将图像块构建为图结构数据,以节点表示图像块、边表示空间邻接关系,利用图消息传递机制对组织空间拓扑进行建模。但现有的图方法大多采用同构图,将所有节点视为同一类型,不区分肿瘤细胞与炎性细胞之间连线和肿瘤细胞与结缔组织之间连线所携带的不同语义,丢失了组织类型的异质性。基于状态空间模型的方法通过选择性扫描机制以线性计算复杂度捕获长程序列依赖,适合处理大规模图像块序列,但此类方法在扫描过程中未引入图结构约束,缺乏对组织空间拓扑关系的显式建模。此外,现有研究开始探索将局部图建模与全局序列建模相结合的双分支架构,但分支间的融合方式通常采用固定的加权求和或简单的可学习参数,未考虑不同样本中局部特征和全局特征的相对贡献度存在差异,限制了模型的适应性和分类准确率。因此本发明将异构图注意力网络与状态空间模型相结合,并通过熵驱动的方式实现两个分支的样本级自适应融合,以提高全切片病理图像分类的准确性。
技术实现思路
1、针对现有技术的不足,本发明提出了一种基于异构图注意力与状态空间模型的全切片病理图像分类方法,将异构图注意力网络的局部空间异质性建模能力与状态空间模型的长程依赖捕获能力相结合,并通过熵驱动自适应融合机制实现双分支的样本级动态加权,以提高全切片病理图像分类的准确性。本发明提供技术方案如下:
2、一种基于异构图注意力与状态空间模型的全切片病理图像分类方法,包括以下步骤:
3、步骤1,选取全切片病理图像数据集,对图像进行图像块切分,利用预训练特征提取器提取每个图像块的特征,并基于图像块的细胞类型为每个图像块分配组织类型标签,构建异构图结构数据;
4、步骤2,采用异构图注意力网络构建局部分支,通过类型特定的参数化投影和边属性增强的注意力机制,对不同组织类型节点之间的空间邻接关系进行建模,输出局部特征表示和局部预测结果;
5、步骤3,采用图结构状态空间模型构建全局分支,通过选择性扫描机制和图卷积消息传递对全片图像块序列进行建模,捕获图像块之间的长程依赖关系,输出全局特征表示和全局预测结果;
6、步骤4,基于局部分支和全局分支各自预测结果的归一化熵值,计算各分支的置信度权重,并根据置信度权重对两个分支的预测结果进行加权融合,再通过分类器得到最终的融合预测结果;
7、步骤5,设置适合该网络模型的损失函数,包括融合分类损失与各分支的辅助分类损失,利用步骤1中的数据集对步骤2至步骤4构建的深度学习网络模型进行训练,获得训练好的全切片病理图像分类网络模型参数;
8、步骤6,将待分类的全切片病理图像输入到训练好模型参数的网络模型中,输出全切片病理图像的分类结果。
9、优选的,异构图结构数据构建具体过程为:将全切片病理图像以固定尺寸的滑动窗口切分为不重叠的图像块,使用在病理图像数据集上预训练的卷积神经网络提取每个图像块的特征向量;利用细胞核分割与分类模型对每个图像块进行细胞类型识别,根据图像块内占比最高的细胞类型为每个图像块分配组织类型标签;基于图像块的特征向量计算图像块之间的皮尔逊相关系数,选取相关系数最高的若干个图像块对建立边连接,并以相关系数值作为边的连续属性,构建异构图结构数据,其中节点特征为图像块的特征向量,节点类型为组织类型标签,边属性为图像块之间的皮尔逊相关系数。
10、优选的,步骤2异构图注意力网络由多层异构图注意力层堆叠而成,每一层异构图注意力层对输入的异构图进行如下处理:
11、对于异构图中每种源节点类型、边类型和目标节点类型的三元组合,使用节点类型特定的线性投影矩阵将源节点特征和目标节点特征分别映射为查询向量、键向量和值向量;
12、通过点积注意力计算原始注意力分数,同时将边的连续属性通过线性变换映射后与原始注意力分数相乘,得到边属性增强的注意力分数,并经过边级别的softmax归一化得到注意力权重;
13、利用注意力权重对值向量进行加权消息传递,并采用均值聚合的方式对不同来源的聚合结果进行跨关系合并;
14、通过可学习的跳跃连接门控参数,控制聚合信息与原始节点特征的混合比例,得到更新后的节点特征。
15、优选的,步骤3图结构状态空间模型包括选择性扫描模块和图卷积消息传递模块,步骤3的具体过程为:首先通过均方根归一化和线性投影将输入特征映射至状态空间模型的隐藏维度,然后经过选择性扫描捕获序列上下文依赖,每层扫描后嵌入图卷积消息传递以保留空间结构约束,同时注入全局上下文信息使各类型感知其他组织类型的整体分布,最后通过跳跃连接合并各层输出并聚合得到全局特征表示和全局分类预测结果。
16、优选的,步骤4的具体过程为:获取局部分支和全局分支输出的特征表示和预测结果;将各分支的预测结果通过softmax函数转换为概率分布,计算概率分布的归一化信息熵,其中归一化因子为类别数的自然对数;以1减去归一化熵值作为各分支的置信度权重,以置信度权重对两个分支的特征表示进行加权求和,得到融合特征;将融合特征输入分类器得到最终的预测结果。
17、优选的,损失函数选择交叉熵损失,分别计算融合、局部和全局三个分支的交叉熵损失,总损失为三者加权求和。
18、优选的,训练时,采用梯度累积策略,每累积多个物理批次的梯度后执行一次优化器参数更新,并在训练过程中冻结批归一化层的统计量,使用预训练统计量进行前向传播。
19、与现有技术相比,本发明所达到的有益效果是:本发明将异构图注意力网络与图结构状态空间模型相结合,构建了局部和全局双分支并行架构。局部分支通过节点类型特定的参数化投影和边属性增强注意力,区分不同组织类型节点间的语义差异,捕获组织微环境的局部空间拓扑;全局分支将图卷积消息传递嵌入状态空间模型的选择性扫描过程中,以线性计算复杂度捕获全片图像块之间的长程依赖,同时保留图结构的空间约束。
20、本发明采用熵驱动自适应融合机制,根据各分支预测结果的信息熵动态计算融合权重,使模型能够针对每张全切片病理图像的样本特征自动调整局部分支和全局分支的相对贡献,避免了固定融合策略无法适应样本间差异的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com