一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位方法及系统

摘要: 本发明属于生物医学图像处理、数字病理、计算病理学和人工智能辅助科研图像分析等,具体涉及一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位方法及系统...
一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位方法及系统

本发明属于生物医学图像处理、数字病理、计算病理学和人工智能辅助科研图像分析等,具体涉及一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位方法及系统。

背景技术:

1、肺纤维化是以胶原沉积、细胞外基质异常积累、肺泡间隔增厚和组织结构重塑为主要特征的病理过程。在动物模型药效评价、放化疗相关肺损伤研究和肺组织病理学研究中,masson染色能够突出显示胶原纤维沉积情况,ashcroft评分或类似半定量评分常被用于评价纤维化程度。

2、随着全切片扫描技术的发展,传统显微镜视野被数字化为全切片图像(wsi)。wsi具有高分辨率、超大尺寸和空间异质性强的特点,同一张肺组织wsi中可能同时存在保留肺泡结构、间隔轻度增厚、斑片状胶原沉积和致密纤维化实变等多种组织状态。人工评分依赖病理专家选择视野并进行主观判断,耗时较长,且易受视野选择、经验差异和观察者间差异的影响。

3、为提升纤维化评估的客观性,现有技术已提出多种基于wsi的计算分析方案,大体可归为以下三类:

4、(1)基于染色特异性的像素级/面积定量方案。公开号为cn122089696a的专利文献公开了一种肾脏病理切片纤维化程度图像量化评估方法:对masson染色切片执行颜色归一化与对比度增强后,经多成分语义分割网络进行像素级组织成分分类,统计纤维化面积比并依据banff分级输出ci评分,同时生成纤维化空间分布热力图。公开号为cn112514001b的专利文献公开了一种评价组织样本纤维化的方法:基于染色图像生成多种类型胶原蛋白图像,利用经转移学习训练的深度神经网络确定各类型胶原蛋白参数,再组合得到定量纤维化指数。此类方案虽能提供客观的面积指标或定量指数,但其像素级语义分割或深度网络训练依赖大规模精细标注(如数百张经专家像素级标注的切片),标注成本高昂,难以适用于仅具切片级评分的动物模型小样本场景;且此类方案通常以面积、密度或整体指数为统计核心,难以同时刻画胶原纤维的形态、纹理、方向以及组织区域的异质性。

5、(2)弱监督或免标注的wsi分类/分级方案。公开号为cn117408954b的专利文献公开了一种基于两阶段弱监督学习框架的肾纤维化分级方法:以wsi级纤维化等级作为弱监督标签,通过蒙特卡洛丢弃法筛选与wsi标签强相关的局部切片图像,再经拼接与决策聚合输出分级结果。公开号为cn119478503a的专利文献公开了一种无需人工标注的组织病理图像分析方法:通过基于方差的特征选择、umap降维和leiden社区检测对图像微图块进行无监督聚类以发现组织结构类别,并以聚类结果作为伪标签训练监督分类模型。此类方案在标签需求上显著降低,但其输出通常为离散的分类或分级结果,难以提供连续的定量纤维化评分;且其聚类流程与超参数为预设固定配置,未针对单张wsi的组织异质性进行自适应调整,聚类结果也未与切片级定量评分建立直接关联。

6、(3)图块-切片两级聚合分级方案。公开号为cn118587483b的专利文献公开了一种基于多尺度特征提取的肝活检切片基础病变评估方法:先利用经病理先验知识标注训练的模型对图像图块进行局部病变分级,再通过预测均值聚合及自适应图块比例阈值实现全切片级别的病变分级。此类方案虽实现了从图块到切片的层级聚合,但局部模型依赖大量图块级病理标注,且聚合过程通常基于简单统计量或比例阈值,缺乏与组织异质性及空间分布的深度耦合。

7、综上,现有技术在小样本、弱标签条件下,尚缺乏一种能够在仅具备切片级参考评分的情况下,同时输出连续定量评分与可追溯空间证据,并自适应刻画组织异质性的肺纤维化全切片图像分析方法。

技术实现思路

1、针对现有技术存在的缺陷和不足,本发明提供一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位方法及系统。该方法以肺组织全切片图像为输入,提取多个图像块并记录其空间坐标,训练阶段仅以全切片级参考纤维化评分作为监督信号;从各图像块提取图像块级特征后,在每张全切片图像内部比较多种候选组织模式划分方案,依据内部有效性指标独立选择最优方案,得到数量随全切片图像自适应确定的多个组织模式簇;对每个组织模式簇预测簇级纤维化评分并赋予簇内图像块,再按簇内图像块数量加权聚合得到全切片级定量评分;根据图像块空间坐标将被赋予的簇级评分映射回全切片图像,生成纤维化空间分布热图,并可基于空间连通关系输出实变区域定位结果。本发明能够在仅具备切片级弱标签的小样本条件下实现连续定量评估与空间定位,并提供可追溯的空间证据。

2、本发明解决其技术问题具体采用的技术方案是:

3、一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位方法,包括以下步骤:

4、获取肺组织全切片图像,从所述全切片图像中提取多个图像块并记录各图像块的空间坐标,其中训练阶段仅使用全切片级参考纤维化评分作为监督信号;

5、从各图像块中提取图像块级特征;

6、在每张全切片图像内部,基于所述图像块级特征比较多种候选组织模式划分方案,依据内部有效性指标独立选择该全切片图像的最优组织模式划分方案,得到该全切片图像的多个组织模式簇,不同全切片图像的组织模式簇数量自适应确定;

7、对每个组织模式簇,计算该组织模式簇内图像块的图像块级特征均值向量,利用以所述全切片级参考纤维化评分为监督信号训练的回归模型预测该组织模式簇的簇级纤维化评分;

8、将每个组织模式簇的簇级纤维化评分赋予该组织模式簇内的各图像块,并按照各组织模式簇包含的图像块数量对所述簇级纤维化评分进行加权聚合,得到全切片级肺纤维化定量评分;

9、根据各图像块的空间坐标及其被赋予的簇级纤维化评分,生成纤维化空间分布热图。

10、上述方法以组织模式簇为中介,先由无监督的聚类过程在每张全切片图像内部将图像块聚合成反映不同组织状态的组织模式簇(组织模式簇可对应于保留肺泡结构、间隔轻度增厚、斑片状胶原沉积、致密纤维化实变等不同的组织状态),再在簇层面利用簇内图像块特征的均值向量预测簇级评分,并将簇级评分赋予簇内各图像块后按簇内图像块数量加权聚合为全切片级评分。由于训练阶段仅依赖全切片级参考评分、不依赖像素级或区域级人工标注,该方法适用于仅具备切片级评分的小样本动物实验等场景;同时,组织模式划分在每张全切片图像内部独立进行,组织模式簇数量依据该切片自身的候选方案比较与内部有效性评价结果自适应确定,能够适应不同切片之间组织异质性程度的差异;此外,簇级评分、图像块级评分与全切片级评分的逐级对应关系,使评分结果可追溯到具体的组织模式簇及其空间位置。

11、进一步地,从所述全切片图像中提取多个图像块包括:对所述全切片图像的下采样图像进行组织区域检测,获得组织区域掩膜;按照预设窗口尺寸在所述全切片图像上提取候选图像块;保留中心位于所述组织区域内且白背景像素比例低于预设阈值的图像块作为有效图像块。

12、通过组织区域检测与白背景过滤,可剔除中心不在组织区域内或白背景占比较高的无效图像块,使后续特征提取与聚类分析聚焦于有效组织内容,并减少背景像素对特征提取的干扰和计算开销。所述预设窗口尺寸与所述白背景像素比例的预设阈值可根据图像分辨率和切片质量调整,例如窗口尺寸可选为256×256、512×512或1024×1024像素,白背景像素比例的阈值可选为0.90至0.98,白背景像素可由hsv颜色空间中亮度大于200且饱和度小于30的像素确定。

13、进一步地,从各图像块中提取图像块级特征包括:对各图像块中的组织区域执行染色归一化处理;生成胶原纤维相关表示,所述胶原纤维相关表示包括纤维二值图、纤维灰度图和纤维彩色图中的至少一种;从各图像块中提取手工纤维化特征,并通过冻结的预训练病理图像编码器提取深度表征特征,将两类特征融合形成图像块级融合特征。

14、染色归一化可在亮度和色度分离的颜色空间中进行,仅基于图像块中的组织区域统计归一化参数,对色度通道进行均值匹配和标准差比例校正,并将背景区域设置为白色,以降低染色批次与扫描设备差异对后续分析的影响。胶原纤维相关表示从不同角度刻画胶原纤维:纤维二值图反映纤维的空间分布位置,纤维灰度图保留纤维的灰度变化信息,纤维彩色图保留组织的颜色信息,三者分别服务于纤维形态、纹理与深度表征等不同特征的提取。手工纤维化特征可包括组织面积、组织面积比例、纤维面积、纤维面积比例、纤维数量、纤维平均宽度、纤维平均长度、纤维平均面积、纤维平均周长、纤维周长面积比、纤维分形维数、纤维方向均值、纤维方向标准差、灰度共生矩阵纹理特征、灰度统计特征、rgb通道统计特征和蓝色通道胶原强度特征中的至少一种,从面积、密度、形态、方向、纹理和染色强度等维度刻画纤维化;冻结的预训练病理图像编码器在不进行端到端参数更新的前提下提取深度表征特征,补充高层次组织上下文信息。可选地,所述预训练病理图像编码器可为plip类图像编码器,输出定长向量,例如512维。

15、进一步地,所述方法还包括特征工程步骤:对所述图像块级融合特征进行降维处理,得到用于组织模式划分的低维聚类表示;根据候选特征的跨全切片变异性、与所述低维聚类表示的关联性以及与所述全切片级参考纤维化评分的相关性,筛选出具有固定顺序的评分特征集;其中,组织模式划分基于所述低维聚类表示进行,簇级纤维化评分预测基于所述评分特征集的簇内均值向量进行。

16、上述特征工程构建了两条用途不同的特征路径:低维聚类表示用于组织模式发现,评分特征集用于簇级评分预测。所述降维可采用umap、pca或核pca,在保留图像块间主要结构信息的同时降低维度与噪声,服务于聚类;评分特征集综合了特征的信息含量、与组织模式结构的关联性以及与纤维化评分的相关性,保留与纤维化程度密切相关的特征并保存固定顺序,配合训练阶段保存的标准化参数,可保证训练阶段与推理阶段特征处理的一致性。两条路径相互独立、互不混用,使组织模式发现与评分预测各司其职。

17、进一步地,比较多种候选组织模式划分方案并选择最优组织模式划分方案包括:在预设聚类数范围内,比较多种候选聚类算法分别在不同聚类数下的聚类结果,得到多个候选组织模式划分方案;对每个候选组织模式划分方案计算内部有效性指标,所述内部有效性指标包括轮廓系数、calinski-harabasz指数和davies-bouldin指数中的至少两种;将各内部有效性指标进行同向归一化后加权求和,并减去与聚类数相关的过分割惩罚项,得到综合评分;选择综合评分最高的候选组织模式划分方案作为最优组织模式划分方案。

18、所述候选聚类算法可包括k均值聚类、谱聚类和层次聚类中的至少一种,所述预设聚类数范围可为1至9。内部有效性指标从不同角度衡量聚类质量,例如轮廓系数反映簇内紧密性与簇间分离程度的平衡,calinski-harabasz指数反映簇间离散度与簇内离散度的比值,davies-bouldin指数反映簇间相似程度的某种度量;通过同向归一化使方向不同的指标在数值上可比,即对数值越大越优的指标进行正向归一化、对数值越小越优的指标进行反向归一化,并在候选值恒定时将归一化值设定为预设固定值,再按预设权重(例如0.5、0.3和0.2)加权求和。过分割惩罚项随聚类数增大而增大,用于抑制聚类数设置过多导致的过分割。通过同时比较多种算法与多种聚类数的组合,并综合内部有效性评价与过分割惩罚,能够在候选空间中为该切片选择与其组织异质性程度相适应的组织模式划分方案。

19、进一步地,所述回归模型为岭回归模型,其正则化系数通过交叉验证从候选集合中选择;簇级纤维化评分的计算方式为:将簇内图像块的图像块级特征均值向量按训练阶段保存的标准化参数进行标准化,通过回归系数和截距计算得到预测值,并将所述预测值限制在预设评分范围内。

20、岭回归通过正则化在拟合能力与泛化能力之间取得平衡,在小样本、特征间存在相关性的条件下能够稳定估计回归系数,并保持可解释性;正则化系数由交叉验证确定,例如可在10-4至104之间按对数间隔选取候选值。训练阶段保存评分特征顺序、缺失值填补参数、标准化参数、回归系数、截距及正则化系数,推理阶段按相同参数执行计算,保证训练与推理的一致性。将预测值限制在预设评分范围内(例如对应纤维化评分体系0至8的范围),可避免输出超出合理范围的异常值。

21、进一步地,所述方法还包括实变区域定位步骤:筛选被赋予的簇级纤维化评分达到预设高等级阈值的图像块;基于空间邻接关系对筛选出的图像块进行连通域分析,选取图像块数量最大的连通域;将所选取的连通域对应的区域确定为肺纤维化实变区域并输出。

22、该步骤基于与全切片级评分同源的簇级纤维化评分,筛选高评分图像块,并通过空间连通域分析将其合并为连续区域,选取图像块数量最大的连通域作为实变区域输出,为纤维化病灶的空间定位提供参考。所述预设高等级阈值可根据评分体系设定,例如可取4;所述空间邻接关系可采用切比雪夫距离不大于预设间隔的邻接规则,预设间隔例如可取2个图像块。人工区域标注仅用于对定位结果的评价,不作为新全切片图像推理的输入。

23、本发明还提供一种基于全切片图像弱监督组织模式聚合的肺纤维化定量评估与空间定位系统,包括:图像输入模块,用于接收肺组织全切片图像,其中训练阶段仅使用全切片级参考纤维化评分作为监督信号;图像块提取模块,用于从所述全切片图像中提取多个图像块并记录各图像块的空间坐标;特征提取模块,用于从各图像块中提取图像块级特征;动态组织模式发现模块,用于在每张全切片图像内部比较多种候选组织模式划分方案,依据内部有效性指标独立选择该全切片图像的最优组织模式划分方案,得到该全切片图像的多个组织模式簇,不同全切片图像的组织模式簇数量自适应确定;簇级评分模块,用于对每个组织模式簇计算该组织模式簇内图像块的图像块级特征均值向量,利用以所述全切片级参考纤维化评分为监督信号训练的回归模型预测该组织模式簇的簇级纤维化评分,并将所述簇级纤维化评分赋予该组织模式簇内各图像块;聚合评分模块,用于将各组织模式簇的簇级纤维化评分按各组织模式簇包含的图像块数量加权聚合,得到全切片级定量评分;空间输出模块,用于根据各图像块的空间坐标及其被赋予的簇级纤维化评分,生成纤维化空间分布热图。

24、本发明还提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使所述电子设备实现上述方法。

25、本发明还提供一种非暂时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述方法。

26、相比于现有技术,本发明及其优选方案仅依赖全切片级参考纤维化评分作为弱监督信号,不依赖像素级或区域级人工标注,适用于样本数量有限的动物模型、科研样本和药效评价等场景,降低了对大规模精细标注数据的依赖;通过在每张全切片图像内部独立比较并选择最优组织模式划分方案,使组织模式簇数量随切片自身的组织异质性自适应确定,能够适应不同切片在纤维化程度和组织结构复杂度上的差异;通过以组织模式簇为中介进行簇级评分并按簇内图像块数量加权聚合,建立了从局部组织模式到全切片级评分的映射路径,使评分结果可追溯到具体的组织模式簇及其空间分布,并在不同切片组织模式簇数量不一致时仍能输出统一的连续评分;通过将簇级评分按图像块空间坐标映射回全切片图像生成空间分布热图,并可基于空间连通关系输出实变区域定位结果,使定量评分与空间证据相互印证,便于对分析结果进行复核。此外,评分环节采用轻量化回归模型,主要计算成本集中于预处理与特征提取阶段,可部署于普通工作站或服务器。