一种病理全切片图像分类方法及其应用
本发明涉及一种图像分类方法,涉及数字病理图像处理、医学图像智能分析、弱监督学习、图神经网络和视觉语言模型,尤其是涉及一种病理全切片图像分类方法及其应用。
背景技术:
1、近年来,数字病理技术被广泛应用于肿瘤诊断、癌症亚型分型、病理分级和预后分析等任务。病理全切片图像能够提供组织结构、细胞形态、肿瘤浸润、间质反应和微环境状态等多层次病理信息,是病理人工智能分析的重要数据基础。然而,由于病理全切片图像通常具有极高分辨率,单张图像可达到数万至十万像素级别,因此无法直接输入常规深度学习模型进行端到端训练。
2、现有方法通常采用patch-based策略,将一张病理全切片图像切分为大量图像块,并使用多示例学习、注意力聚合、transformer或图神经网络对全切片级别标签进行弱监督学习,但存在以下不足:
3、第一,病理全切片图像中包含大量背景区域、正常组织区域、低信息量区域和染色伪影区域,若直接使用全部图像块进行训练,会引入大量冗余信息,增加计算负担并降低分类稳定性。
4、第二,现有关键区域选择方法多采用随机采样、固定尺度采样、注意力权重筛选或单一图像-文本语义相似度筛选,难以同时兼顾组织复杂度、病理类别相关性和关键区域空间覆盖性。
5、第三,现有图建模方法通常基于空间坐标邻近、视觉特征相似度或密集邻接矩阵构建图结构。病理全切片图像中不同区域具有明显形态异质性,若在大量异质图像块之间进行密集信息传播,容易引入无关边连接,使不同病理语义区域的节点特征趋同,产生过平滑问题。
6、第四,部分视觉语言模型方法已开始利用图像-文本语义相似度构建上下文关系,但若直接保留完整语义邻接关系,仍可能在弱监督和少样本场景下引入过多语义弱相关连接,导致局部诊断证据被稀释。
7、第五,现有多尺度或多路径融合方法通常采用平均融合、拼接融合或固定权重融合,无法根据不同病理全切片图像的组织复杂度、形态异质性和图结构响应动态调整不同路径特征的贡献。
技术实现思路
1、发明目的:针对上述问题,本发明的目的是提供一种病理全切片图像分类方法及其应用,提高少样本弱监督分类场景下的准确性、稳定性和可解释性。
2、技术方案:一种病理全切片图像分类方法,包括以下步骤:
3、步骤一:获取病理全切片图像并进行图像预处理;
4、步骤二:通过复杂度感知语义关键区域选择模块从病理全切片图像中筛选关键图像块集合;
5、步骤三:语义稀疏亲和图构建模块获取关键图像块集合,并构建语义稀疏亲和图;
6、步骤四:图特征传播模块根据语义稀疏亲和图对关键图像块之间的上下文关系进行特征传播,得到初始图增强特征;
7、步骤五:判别性边权校准模块获取关键图像块集合中关键图像块节点的判别性分数,并根据判别性分数对语义稀疏亲和图中的边权进行校准,得到校准后的语义稀疏亲和图;图特征传播模块基于校准后的语义稀疏亲和图再次进行特征传播,得到校准图增强特征;
8、步骤六:多路径自适应融合模块对多尺度视觉特征、语义筛选特征、初始图增强特征和边权校准特征中的至少两种进行多路径自适应融合;
9、步骤七:分类输出模块根据融合后的全切片图像表征输出病理全切片图像分类结果。
10、本发明具备关键区域筛选准确、图结构噪声连接少、图传播稳定、边权具有判别性、多路径融合自适应和分类结果可解释性强等优点,解决了上述背景技术中所提到的关键区域冗余、密集图传播过平滑、边权缺乏判别性校准和固定融合策略不适应不同全切片图像形态差异的问题。
11、本发明的关键不在于将多个深度学习模块简单串联,而在于建立从关键区域选择到关系建模再到决策融合的协同闭环。前端复杂度感知语义关键区域选择模块用于筛选具有诊断相关性和形态代表性的关键图像块;由于筛选后的关键图像块通常具有更强的形态异质性,后端采用语义稀疏亲和图减少无关区域之间的消息传播;进一步通过判别性边权校准模块增强高贡献节点之间的边连接并削弱低置信连接;最后利用多路径自适应融合模块根据不同全切片图像的组织复杂度和路径响应动态分配决策权重,从而形成适用于少样本弱监督病理全切片图像分类的整体分类系统。
12、进一步的,复杂度感知语义关键区域选择模块包括组织区域预处理单元、复杂度感知单元、语义特征提取单元、综合评分单元和动态尺度筛选单元;组织区域预处理单元用于生成组织区域掩码并剔除背景区域;复杂度感知单元用于计算候选图像块的组织复杂度指标;语义特征提取单元用于提取候选图像块视觉特征和类别文本语义特征;综合评分单元用于根据语义相似度和组织复杂度指标计算候选图像块的综合筛选分数;动态尺度筛选单元用于根据所述综合筛选分数筛选关键图像块集合。
13、进一步的,语义稀疏亲和图构建模块用于为关键图像块集合中的每个关键图像块节点生成语义相似度向量,语义相似度向量表示关键图像块视觉特征与多个病理类别文本语义特征之间的相似度分布,并根据不同关键图像块节点的语义相似度向量之间的相似度构建邻接关系,采用top-k邻居选择方式生成稀疏邻接矩阵,计算语义稀疏亲和图的稀疏率。
14、最佳的,第i个关键图像块节点的语义相似度向量表示为:
15、;
16、其中,表示第i个关键图像块的视觉特征,表示第c个病理类别的文本语义特征,c表示病理类别数量,表示相似度计算函数;
17、构建邻接关系时,根据不同关键图像块语义相似度向量之间的余弦相似度计算原始语义亲和矩阵,则节点i与节点j之间的原始语义亲和度为:
18、;
19、其中,和分别表示第i个节点和第j个节点的语义相似度向量,表示余弦相似度;
20、则节点i的语义邻居集合为:
21、;
22、其中,表示节点i的k个语义邻居节点集合;
23、对每个节点选择语义亲和度最高的k个邻居,构建语义稀疏邻接矩阵,表示为:
24、,若;
25、,若;
26、稀疏率表示为:
27、;
28、其中,表示语义稀疏亲和图的稀疏率,表示语义稀疏亲和图中的边数量,n表示关键图像块节点数量。
29、最佳的,图特征传播模块包括至少一层图卷积网络、图注意力网络、graphsage网络或消息传递网络,在进行图特征传播时,首先通过语义稀疏亲和图构建模块对稀疏邻接矩阵添加自连接并进行归一化处理,得到归一化语义稀疏邻接矩阵:
30、;
31、其中,表示单位矩阵,d表示对应的度矩阵,表示归一化后的语义稀疏邻接矩阵;
32、然后利用图神经网络进行节点特征传播,图特征传播过程表示为:
33、;
34、其中,表示第l层节点特征, 表示可学习权重矩阵,σ表示非线性激活函数;
35、通过图特征传播构建关键图像块之间的上下文关系,引入过平滑度量指标衡量图传播过程中的节点表征趋同程度,过平滑度量指标表示为:
36、;
37、其中,表示节点特征平均相似度,和分别表示节点i和节点j的图传播后特征,表示关键图像块节点数量;
38、当增大时,表示节点表征趋同程度增强,过平滑风险提高。
39、进一步的,判别性分数包括类别置信度差、分类margin、预测熵下降值、扰动前后分类变化量或反事实启发的节点贡献分数中的至少一种,其中,类别置信度差由关键图像块视觉特征与对应病理类别文本语义特征之间的相似度获得;第i个关键图像块节点的判别性分数表示为:
40、;
41、其中,是节点i对预测类别的最高响应值,表示该节点对当前优势病理类别的响应,是节点 i 对其他类别的响应值集合,用于衡量该节点对非优势类别的响应程度,表示均值计算函数;
42、对判别性分数进行归一化处理:
43、;
44、其中,表示第i个节点的原始判别性分数,和分别表示当前关键图像块节点集合中的最小判别性分数和最大判别性分数,为防止分母为零的常数项,表示归一化后的节点判别性分数;
45、然后根据节点i和节点j的判别性分数对稀疏邻接矩阵中的边权进行校准,并对校准后的边权进行非负约束或范围约束;
46、校准后的边权表示为:
47、;
48、其中,表示校准后的边权,表示稀疏邻接矩阵中的原始边权,和分别表示节点i和节点j的判别性分数,表示边权校准函数;
49、其中:
50、;
51、其中,和分别表示归一化后的节点判别性分数,表示边权校准强度参数,表示判别性校准基准值;
52、当大于δ时,增强节点i与节点j之间的边权;
53、当小于δ时,削弱节点i与节点j之间的边权;
54、范围约束表示为:
55、;
56、其中,表示截断函数,表示边权上限。
57、以校准后的语义稀疏邻接矩阵替代初始语义稀疏邻接矩阵,再次进行图特征传播及图级聚合,获得校准后的校准图增强特征。
58、进一步的,多路径自适应融合模块的输入路径包括大尺度结构路径、小尺度细节路径、语义筛选路径、初始图增强路径和边权校准路径中的至少两种,每条路径生成对应的路径特征;
59、当包括大尺度结构路径、小尺度细节路径时,首先对大尺度结构路径和小尺度细节路径进行跨尺度特征交互,使大尺度组织结构信息与小尺度局部形态信息自适应互补,得到跨尺度融合特征,随后,将跨尺度融合特征、语义筛选特征、初始图增强特征和校准图增强特征作为不同信息路径输入多路径自适应融合模块;
60、多路径自适应融合模块根据不同路径特征生成对应路径权重,表示为:
61、;
62、其中,表示权重生成函数,表示归一化指数函数;
63、并得到融合后的全切片图像表征,设第条路径的特征为,则融合后的全切片图像表征为:
64、;
65、其中,表示路径数量,表示第条路径的自适应权重,且满足,;
66、第r条路径的预测熵为:
67、;
68、其中,表示第r条路径对第c个病理类别的预测概率;路径预测熵越低,表示该路径分类置信度越高;
69、对第r条路径进行反事实贡献评估,第r条路径的反事实贡献分数表示为:
70、;
71、其中,pc^表示完整多路径输入情况下预测类别c^的预测概率,pc^(−r)表示屏蔽第r条路径后对应预测类别的预测概率,δr表示第r条路径的反事实贡献分数;δr越大,表示该路径对当前分类结果的贡献越大;
72、根据路径特征响应、路径预测熵和反事实贡献分数对各路径权重进行自适应校准,最终路径权重表示为:
73、
74、其中,g(⋅)表示路径权重生成函数,er表示第r条路径的预测熵,δr表示第r条路径的反事实贡献分数,λ1和λ2分别表示路径不确定性和反事实贡献的调节参数。
75、进一步的,根据分类概率获得病理全切片图像的分类结果,分类概率表示为:
76、;
77、其中,表示融合后的全切片图像表征,和表示分类器参数,表示病理全切片图像对应各类别的预测概率。
78、一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时实现上述的方法。
79、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
80、有益效果:与现有技术相比,本发明的优点是:
81、1、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过复杂度感知语义关键区域选择模块筛选诊断相关图像块,减少背景区域、低价值区域和冗余区域对后续分类模型的干扰。
82、2、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过语义相似度向量构建图结构,使图连接反映关键图像块在病理类别语义空间中的相关性,而非仅依赖空间坐标或视觉外观相似性。
83、3、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过 top-k语义邻居选择构建稀疏图结构,减少密集图中的无关连接和噪声传播,缓解图神经网络传播过程中的过平滑问题。
84、4、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过稀疏率指标明确图结构稀疏化程度,使系统能够在保留关键语义连接的同时减少无关边连接。
85、5、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过过平滑度量指标评估节点特征趋同程度,有助于验证语义稀疏图结构对图传播稳定性的改善作用。
86、6、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过判别性边权校准模块增强高判别性节点之间的边连接,削弱低置信或低贡献节点相关边连接,提高图传播的判别性和稳定性。
87、7、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过可增强或可削弱的边权校准函数,使边权调整不再局限于单向增强,而能够根据节点判别性分数对不同边进行差异化调节。
88、8、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统,通过多路径自适应融合模块,根据不同病理全切片图像的组织复杂度、语义响应和图结构特征动态调整路径权重,避免固定融合策略对异质样本适应性不足的问题。
89、9、该病理全切片图像分类系统能够输出关键图像块坐标、语义稀疏图结构、图稀疏率、节点特征过平滑度量指标、边权校准结果、多路径自适应权重、路径预测熵、反事实路径贡献分数以及最终分类概率,使系统能够从关键区域、图结构关系和决策路径三个层面提供可解释信息,提高模型分类结果的可追溯性和可解释性。
90、10、该基于复杂度感知语义稀疏图学习的病理全切片图像分类系统适用于少样本弱监督病理全切片图像分类任务,能够在有限标注样本条件下提升分类准确性、稳定性和泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com