一种病理图像肿瘤免疫微环境空间定量分析方法及系统与流程

摘要: 本发明涉及计算病理学和医学图像分析,具体涉及一种基于常规苏木精-伊红(hematoxylinandeosin,h&e)染色病理全切片数字图像的肿瘤免疫微环境多细...
一种病理图像肿瘤免疫微环境空间定量分析方法及系统与流程

本发明涉及计算病理学和医学图像分析,具体涉及一种基于常规苏木精-伊红(hematoxylin and eosin, h&e)染色病理全切片数字图像的肿瘤免疫微环境多细胞类型空间定量分析方法及系统。更具体地,本发明涉及利用深度学习技术从常规h&e染色的全切片数字图像中自动识别多种免疫细胞亚型、自动划分肿瘤功能区域、并生成多细胞类型与多功能区域交叉的空间密度矩阵的计算机实现方法和装置。

背景技术:

1、肿瘤免疫微环境(tumor immune microenvironment, time)是指肿瘤组织及其周围区域中包含的各类免疫细胞、基质细胞、细胞因子和细胞外基质等组分的总和。大量研究表明,time的组成和空间分布与肿瘤的发生、发展、转移及治疗响应密切相关。在time中,不同类型的免疫细胞发挥着截然不同的功能:t淋巴细胞和b淋巴细胞参与适应性免疫应答,其中t细胞通过直接杀伤肿瘤细胞发挥抗肿瘤作用,b淋巴细胞可分化为浆细胞并分泌抗体参与体液免疫;嗜酸性粒细胞和中性粒细胞属于固有免疫系统的重要组分,在肿瘤微环境中扮演促炎或免疫调节角色。重要的是,免疫细胞在肿瘤组织中的空间分布具有显著的异质性——位于肿瘤核心区的免疫细胞与位于浸润前沿区或远端间质区的免疫细胞在数量、表型和功能上存在本质差异。因此,精确地定量分析不同免疫细胞亚型在不同肿瘤功能区域中的空间分布,对于肿瘤的免疫表型分类、预后评估和治疗方案制定具有重要的临床价值。苏木精-伊红(h&e)染色是病理学检查的标准方法,几乎所有肿瘤活检和手术标本均会进行h&e染色,其成本低廉、操作简便、覆盖面广,是临床病理诊断的基石。

2、在现有技术中,免疫组化(immunohistochemistry, ihc)路线是最为成熟的肿瘤免疫微环境量化方法。ep3195191b1(ventana medical systems inc,2015年申请,2020年授权,“systems and methods for calculating immune scores”)公开了一种用于计算免疫评分的系统和方法,该系统使用cd3和cd8两种免疫组化标志物对连续切片进行染色,通过数字化扫描和图像分析自动量化肿瘤核心区和浸润前沿区中cd3阳性t细胞和cd8阳性细胞毒性t细胞的密度,据此计算immunoscore免疫评分。该免疫评分体系已在结直肠癌中用于预后分层。该ihc路线的技术实施包括:制备连续切片并分别进行cd3和cd8免疫组化染色、使用全切片扫描仪将染色切片数字化、标注肿瘤核心区和浸润前沿区、在标注区域内计数cd3和cd8阳性细胞、根据密度百分位数计算免疫评分。在肿瘤区域的获取方面,该文件记载肿瘤掩膜可由多重染色图像经光谱解混后的肿瘤标志物通道获得、可由经肿瘤特异性染色的单染切片获得,亦记载其可由苏木精-伊红染色图像经肿瘤分割算法获得,所述分割算法为基于像素强度的阈值法或基于学习的方法;在获得肿瘤掩膜后,由区域识别模块自动识别肿瘤内部区域与位于肿瘤周边的区域。

3、另一条技术路线是基于h&e图像的肿瘤浸润淋巴细胞(tumor-infiltratinglymphocytes, til)检测方法。us11164312b2(emory university等,2018年申请,2021年授权,“system and method to quantify tumor-infiltrating lymphocytes”)公开了一种从h&e图像中定量til的系统和方法,该系统将全切片数字图像(whole slide image, wsi)切割为固定尺寸的图像区块,使用卷积神经网络(cnn)对每个区块进行til阳性或til阴性二分类,从而生成til空间密度图。saltz等人(cell reports, 2018)使用该方法在tcga数据库13种肿瘤类型的h&e切片上生成了til映射数据。该方案的技术实施方式为:将wsi分割为50微米至100微米的图像区块、使用训练好的cnn分类网络判断每个区块中是否存在显著的til浸润、将分类结果映射回空间坐标生成til热图。

4、此外,cn111417958b(ventana medical systems inc,2018年申请,2025年授权,“用于生物图像中联合细胞和区域分类的深度学习系统和方法”)公开了一种联合细胞类型和区域分类的深度学习方法。该方法在h&e图像上使用传统cnn架构(如vgg16或resnet)同时预测每个像素所属的细胞类型和组织区域类型,并通过排除生物学上不可能的组合来提高分类精度。该方法的区域标签依赖于病理学家的人工标注训练数据。

5、cn115428039a(ventana medical systems inc,2021年申请,“高效确定组织区域中多种细胞类型的密度和空间关系特征的方法”)公开了一种在组织图像中确定多种细胞类型密度的方法。该方法以已经识别出的肿瘤区作为输入,为图像中的各个区域分别限定包围该区域的边界区,并依据该边界区与所述肿瘤区之间的几何包含关系或交集关系判定各区域是否归属于肿瘤,进而在归属于肿瘤的区域上访问表征生物学观察的度量并与参考值比较。

6、wo2019149817a1与wo2020161125a1(ventana medical systems inc等,2019年与2020年申请)分别公开了针对iii期与iv期结直肠癌的免疫细胞浸润评估方法。该两件方法均以免疫组化标志物为基础,分别以浸润前沿区中cd3阳性细胞密度、以及肿瘤核心区中cd8阳性细胞密度作为特征度量,通过评分函数输出免疫上下文评分。

7、上述现有技术存在以下不足:

8、第一,ep3195191b1所述方法在免疫细胞定量环节以免疫组化标志物为唯一来源:其所计量的对象是cd3阳性t细胞与cd8阳性细胞毒性t细胞,须在常规h&e染色之外额外制备免疫组化切片,每种标志物需要专用的一抗和检测试剂,增加了材料成本和人工操作成本;且每张ihc切片通常仅能检测一至两种标志物,若要全面覆盖多种免疫细胞亚型需制备多张连续切片,进一步增加了成本和周转时间;其输出限于两种标志物在两个区域中的密度,不构成覆盖多种细胞类型与多个功能区域的密度指标体系。就肿瘤区域的获取而言,该文件虽记载肿瘤掩膜亦可由苏木精-伊红染色图像经分割算法获得,但其所述分割算法系直接对图像像素作肿瘤与非肿瘤的判别,即以像素及其局部特征为判别单元;该文件未记载先对细胞逐个分型、再以空间网格内特定细胞类型所占比例的统计分布为依据自动确定分割阈值的方案。

9、第二,h&e基til检测路线(如us11164312b2所述方法)仅进行图像区块级的til二分类(阳性或阴性),空间分辨率受限于区块尺寸,无法实现细胞级的精确定量。更重要的是,该方法将所有免疫细胞统一归类为til,无法区分淋巴细胞、浆细胞、嗜酸性粒细胞等具有不同预后意义的免疫细胞亚型。此外,该方法未涉及肿瘤组织的功能分区,仅输出全局til比例,空间信息利用不充分。

10、第三,联合分类路线(如cn111417958b所述方法)虽然能够同时进行细胞类型和区域分类,但其区域标签依赖于人工标注的训练数据,在扩展到新瘤种或新数据集时需要重新进行耗时的人工标注。同时,该方法使用传统cnn架构,对长距离上下文信息的捕获能力有限。此外,该方法未建立多细胞类型与多功能区域交叉的定量密度指标体系,无法输出完整的空间免疫谱。

11、第四,以已知肿瘤区为输入的区域归属方法(如cn115428039a所述方法)要求肿瘤区在执行该方法之前已经被识别并作为输入提供,其技术贡献在于已知肿瘤区之后各区域的归属判定,而非肿瘤区本身的生成;且其判定依据为边界区与肿瘤区之间的几何包含或交集关系,不涉及依据区域内细胞组成比例的统计分布自动确定分割阈值。

12、第五,基于免疫组化标志物的分期特异性评估方法(如wo2019149817a1、wo2020161125a1所述方法)依赖cd3、cd8等免疫组化标志物染色,其特征度量限于单一或两种标志物阳性细胞在单一功能区域中的密度,未建立多种细胞类型与多个功能区域交叉的密度指标体系;且上述两件方法分别限定于iii期与iv期结直肠癌。

13、因此,亟需一种能够从常规h&e染色切片中直接提取多细胞类型空间分布信息、自动划分肿瘤功能区域、并生成覆盖多细胞类型和多功能区域的完整空间免疫密度矩阵的全自动化分析方法。

技术实现思路

1、针对现有技术存在的上述问题,本发明的目的在于提供一种病理图像肿瘤免疫微环境空间定量分析方法及系统。本发明旨在解决以下三个层次的技术问题:第一,解决现有ihc路线需要额外免疫组化染色切片和试剂、成本高且周转时间长、单次检测覆盖的标志物有限的问题;第二,解决现有h&e基深度学习方法仅能进行图像区块级til二分类、无法区分淋巴细胞、浆细胞、嗜酸性粒细胞等具有不同预后意义的免疫细胞亚型的问题;第三,解决现有肿瘤区域划分方法或者依赖人工标注的训练数据、或者以图像像素及其局部特征为判别单元直接判别肿瘤与非肿瘤、未利用细胞组成信息的问题。本发明提供了一种仅需常规h&e染色全切片数字图像即可完成多细胞类型空间免疫分析的全自动化方法,能够从h&e染色全切片数字图像中自动提取多类型免疫细胞的空间分布信息,并生成覆盖多功能区域的定量密度矩阵。

2、根据本发明的第一方面,提供了一种病理图像肿瘤免疫微环境空间定量分析方法,所述方法包括以下步骤:

3、获取苏木精-伊红染色的全切片数字图像,采用细胞分割与分类模型对所述全切片数字图像进行细胞级分割与分类,输出每个细胞的空间坐标和细胞类型,所述细胞类型至少包括上皮细胞、淋巴细胞、浆细胞、嗜酸性粒细胞、中性粒细胞和结缔组织细胞六类;

4、将所述全切片数字图像的组织区域划分为预设尺寸的空间网格,统计每个网格内上皮细胞占该网格内总细胞的比例作为上皮细胞分数,基于全部含细胞网格的上皮细胞分数分布应用自适应阈值方法确定分割阈值,据此区分肿瘤区和非肿瘤区,并对所述肿瘤区的掩膜进行形态学处理生成肿瘤掩膜;基于所述肿瘤掩膜,通过腐蚀操作定义肿瘤核心区,通过膨胀操作定义浸润前沿区,其余包含细胞的组织区域定义为间质区;

5、统计每个功能区域内各类型细胞的数量和区域面积,计算n种细胞类型在m个功能区域中的密度,生成n乘m密度矩阵,所述密度的单位为细胞数每平方毫米。

6、在一些实施例中,所述方法还包括:对所述功能区域按上皮细胞聚集与否作二次划分,得到该功能区域内的上皮内亚区与非上皮亚区,并分别统计各亚区内各类型细胞的密度。该二次划分使同一功能区域内不同组织学微环境中的细胞密度得以分别量化。

7、在一些实施例中,所述方法还包括:以所述肿瘤核心区的非上皮亚区内的淋巴细胞密度作为选定密度指标,将该指标与预设阈值比较或输入统计模型,输出体外的风险分层标识。所述风险分层标识为供后续分析使用的中间结果。

8、在一些实施例中,所述细胞分割与分类模型为基于视觉transformer(visiontransformer, vit)的模型,采用基于多头自注意力机制的编码器-解码器架构,其中所述编码器将输入图像划分为多个图像块并通过多层transformer编码器提取全局上下文特征,所述解码器通过特征上采样与细化输出逐像素的细胞实例分割掩膜和类别预测。在一些实施例中,对所述全切片数字图像进行逐区块处理,每个区块的尺寸为256像素乘256像素至1024像素乘1024像素,相邻区块之间设置重叠区域以消除边界效应。在一些实施例中,所述预设尺寸的空间网格的尺寸为200微米至300微米。在一些实施例中,所述自适应阈值方法为otsu自适应阈值方法,基于组织区域内所有含细胞网格的上皮细胞分数分布,通过最大化类间方差自动确定区分肿瘤区和非肿瘤区的最优阈值。在一些实施例中,所述形态学处理包括:依次执行闭运算以填充肿瘤区内部的间隙,执行开运算以去除孤立的噪声区域,以及执行连通域面积过滤以去除面积小于预设面积阈值的小区域。在一些实施例中,所述肿瘤核心区通过对所述肿瘤掩膜向内腐蚀200微米至300微米距离获得;所述浸润前沿区为所述肿瘤掩膜向外膨胀400微米至600微米的区域与所述肿瘤核心区之间的环形区域。

9、根据本发明的第二方面,提供了一种病理图像肿瘤免疫微环境空间定量分析系统,所述系统包括:细胞分割与分类模块,用于获取苏木精-伊红染色的全切片数字图像,采用细胞分割与分类模型对所述全切片数字图像进行细胞级分割与分类,输出每个细胞的空间坐标和细胞类型,所述细胞类型至少包括上皮细胞、淋巴细胞、浆细胞、嗜酸性粒细胞、中性粒细胞和结缔组织细胞六类; 区域自动划分模块,用于将所述全切片数字图像的组织区域划分为预设尺寸的空间网格,统计每个网格内上皮细胞占该网格内总细胞的比例作为上皮细胞分数,基于全部含细胞网格的上皮细胞分数分布应用自适应阈值方法确定分割阈值,据此区分肿瘤区和非肿瘤区,并对所述肿瘤区的掩膜进行形态学处理生成肿瘤掩膜;基于所述肿瘤掩膜,通过腐蚀操作定义肿瘤核心区,通过膨胀操作定义浸润前沿区,其余包含细胞的组织区域定义为间质区; 密度矩阵生成模块,用于统计每个功能区域内各类型细胞的数量和区域面积,计算n种细胞类型在m个功能区域中的密度,生成n乘m密度矩阵,所述密度的单位为细胞数每平方毫米。

10、在一些实施例中,所述区域自动划分模块还用于对所述功能区域按上皮细胞聚集与否作二次划分,得到上皮内亚区与非上皮亚区;所述系统还包括风险分层模块,用于以所述肿瘤核心区的非上皮亚区内的淋巴细胞密度作为选定密度指标,输出体外的风险分层标识。

11、在一些实施例中,上述方法可由包括处理器和存储器的电子设备实现,所述存储器中存储有计算机程序,所述处理器执行该计算机程序时实现上述方法的步骤。

12、在一些实施例中,上述计算机程序可存储于计算机可读存储介质中,该计算机程序被处理器执行时实现上述方法的步骤。

13、与现有技术相比,本发明具有以下有益效果:

14、第一,免疫组化替代效果。本发明仅需常规h&e染色切片即可完成多细胞类型空间免疫分析,无需额外进行免疫组化染色,显著降低了检测成本和周转时间,使得大规模回顾性队列分析和临床常规应用成为可能。

15、第二,细胞分类精度提升。本发明实现了上皮细胞、淋巴细胞、浆细胞、嗜酸性粒细胞、中性粒细胞和结缔组织细胞六类细胞的细胞级分割与分类,从现有技术的图像区块级til二分类提升至细胞级六类分类,分辨率和信息量均显著提升。

16、第三,区域划分自动化。本发明提出的基于上皮细胞密度的自底向上区域划分方法完全自动化,无需免疫组化标记物辅助、无需病理学家手动勾画、无需依赖先验知识或简单几何规则,消除了主观性和标注依赖。

17、第四,信息维度扩展。本发明输出多细胞类型乘以多功能区域的完整密度矩阵(6类细胞乘3个功能区等于18个密度指标),信息维度从现有ihc方法的2乘2(cd3/cd8乘ct/im等于4个指标)扩展至6乘3,覆盖面提升显著。

18、第五,空间分区携带不可替代的信息。在tcga-coadread队列(524例)验证中,肿瘤核心区非上皮亚区的淋巴细胞密度与总生存期显著关联(多变量校正后风险比0.931,95%置信区间0.882-0.983,p=0.010);而在不执行区域划分时可以获得的两个全局指标——全切片淋巴细胞总密度与淋巴细胞占全切片细胞总数的比例——与总生存期均无显著关联(p分别为0.386与0.385)。进一步的增量信息检验显示,在以全切片淋巴细胞总密度为基础的模型中加入上述分区指标,模型拟合显著改善(似然比检验p=0.004);而反向操作,即在已包含分区指标的模型中加入全切片淋巴细胞总密度,未带来显著改善(p=0.207)。上述对照证实预后信息来自淋巴细胞的空间分布而非其总量,从而证明区域划分步骤是产生技术效果的必要环节。

19、第六,临床推广可行性。本发明基于临床常规h&e染色切片进行分析,无需改变现有病理工作流程,处理单张全切片数字图像仅需5至15分钟,具有良好的临床推广前景。