一种判读淋巴细胞的方法及装置与流程

1.本发明涉及精准医疗领域，具体涉及一种判读淋巴细胞的方法及装置。


背景技术：

2.1.组织病理学
3.组织病理学(histopathology)是指病理专家在显微镜下观察研究组织切片的科学，被认为是临床上肿瘤诊断的金标准。组织病理学的研究对象是组织切片，通常是手术或活检中收集的组织样品，通过固定、包埋、切片和染色等步骤制成几微米厚的薄片组织，附着于载玻片上。病理医生通过显微镜观察这些切片以作出诊断。这些诊断高度依赖医生的经验。染色是制备组织切片的重要步骤，不同的染色剂可以显示不同的细胞和组织结构。苏木精和伊红(hematoxylin and eosin,h&e)染色剂可以在细胞核和细胞质上染出强烈的颜色对比，是使用最广泛的染色试剂，可以应用于许多不同的组织类型。
4.2.tils
5.免疫系统的一个基本作用是通过持续的启动免疫监视和炎症反应来维持组织稳态，炎症反应涉及先天性和适应性免疫细胞的激活。肿瘤改变了组织的有序结构并诱导了可以消除早期肿瘤的免疫反应。然而由于肿瘤细胞的免疫编辑机制，部分未完全消除肿瘤细胞可能逃脱免疫控制。
6.随着临床研究的发展，乳腺癌中肿瘤浸润性淋巴细胞(tils)的形态学评估越来越受到关注。越来越多的证据表明，通过苏木精和伊红(h&e)染色的肿瘤切片，来评估肿瘤组织中淋巴细胞浸润程度，并证明tils具有预后和潜在的预测价值，尤其是在三阴性和egfr受体2过表达的乳腺癌中。
7.3.数字病理图像分析(dia)
8.病理诊断是疾病的最终诊断，在肿瘤的诊断与用药指导上被广泛使用。在实践中，病理医师在显微镜下观察病理切片，从复杂的组织图像中识别细微的病变是诊断中必不可少的步骤。此过程不仅耗时，而且主观性强。以全载玻片数字扫描技术(whole slide imaging,wsi)为基础的数字病理使得我们能够获得大最通过高分辨率捕获的、具有组织学特征的病理图像。为了有效获取图像中的有用信息，组织病理图像分析算法应运而生。由于算法的分析是客观的、稳定的，其结果可以经过重复性验证。因此经典的细胞分割算法和细胞分类算法已经广泛应用于数字病理分析平台。通过数字病理技术辅助病理医师做出病理诊断，显著提高了病理医师诊断的准确率和效率。
9.现有技术中，存在的问题包括：1)人工对he病理图像进行tils判读的效率低下；2)人的主观偏差和视觉偏差等原因会导致人工判读之间可重复性差，甚至出现判读错误。


技术实现要素：

10.根据第一方面，在一实施例中，提供一种判读淋巴细胞的方法，包括：
11.细胞分割步骤，包括对病理图像进行细胞分割；
12.细胞分类步骤，包括从细胞分割后的病理图像中识别出淋巴细胞。
13.根据第二方面，在一实施例中，提供一种判读淋巴细胞的装置，包括：
14.细胞分割模块，用于对病理图像进行细胞分割；
15.细胞分类模块，用于从细胞分割后的病理图像中识别出淋巴细胞。
16.根据第三方面，在一实施例中，提供一种装置，包括：
17.存储器，用于存储程序；
18.处理器，用于通过执行所述存储器存储的程序以实现如第一方面所述的方法。
19.根据第四方面，在一实施例中，提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如第一方面所述的方法。
20.依据上述实施例的判读淋巴细胞的方法及装置，本发明通过软件自动化完成细胞分割、淋巴细胞识别，无需人工参与，有效提高判读淋巴细胞的效率以及准确性。
附图说明
21.图1为实施例1中的淋巴细胞识别算法训练与tils计算的流程图。
22.图2为实施例1中的病理医生人工进行淋巴细胞标注示例图；(a)he原始病理图像，(b)蓝色的点人工标注为淋巴细胞。
23.图3为实施例1中使用分水岭算法自动分割检测he图像中的细胞示例图。(a)原始病理图像；(b)完成细胞检测后细胞检测结果蒙版图像；(c)检测范围内的面积、细胞数量等统计信息。
24.图4为实施例1中统计每个检测出的细胞属性值结果图，图中展示了4个示例细胞的部分属性值信息。
25.图5为实施例1中一区域的细胞分割、淋巴细胞检测与tils计算示例图。(a)病理医生圈选的区域原始病理图像；(b)算法进行细胞分割与分类的结果图像，每个椭圆形代表一个细胞，深色部分代表细胞核。蓝色代表淋巴细胞；(c)圈选区域检测到的淋巴细胞数(numimmune cells)与tils(immunecell area％)计算结果。
26.图6为实施例1中另一区域的细胞分割、淋巴细胞检测与tils计算示例图。(a)病理医生圈选的区域原始病理图像；(b)算法进行细胞分割与分类的结果图像，每个椭圆形代表一个细胞，深色部分代表细胞核；蓝色代表淋巴细胞。(c)圈选区域检测到的淋巴细胞数(num immune cells)与tils(immunecell area％)计算结果。
27.图7为实施例1中软件分析结果与人工判读结果的相关性性能验证图。
具体实施方式
28.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
29.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
30.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
31.如本文所用，“肿瘤浸润淋巴细胞”又名肿瘤浸润性淋巴细胞(tumor infiltrating lymphocyte，简称til、tils)，是从血液中迁移到肿瘤组织的淋巴细胞。具体是指会迁移到肿瘤内部或肿瘤边缘的淋巴细胞，这些浸润的淋巴细胞与肿瘤预后以及治疗疗效相关。
32.根据第一方面，在一实施例中，提供一种判读淋巴细胞的方法，包括：
33.细胞分割步骤，包括对病理图像进行细胞分割；
34.细胞分类步骤，包括从细胞分割后的病理图像中识别出淋巴细胞。
35.在一实施例中，细胞分类步骤中，统计出每个细胞的属性值，根据所述属性值，识别出淋巴细胞。
36.在一实施例中，所述属性值包括面积、周长、圆度、偏心率、长度、固性、最大直径、最小直径、苏木精光密度值中的至少一种。
37.在一实施例中，所述属性值包括面积、周长、圆度、偏心率、长度、固性、最大直径、最小直径、苏木精光密度值中的全部。
38.在一实施例中，淋巴细胞识别的最佳参数组合如下：最大树深度：5，每个树最小支持样本数(人工标注细胞)：20，每棵树使用特征数：5，最大树数量：50。
39.在一实施例中，所述病理图像包括病理医生圈选的区域原始病理图像。
40.在一实施例中，所述病理图像包括被染色剂染色处理后的组织切片。
41.在一实施例中，所述染色剂包括苏木精和伊红(hematoxylin and eosin，h&e)。
42.在一实施例中，还包括计算步骤，包括按照淋巴细胞占比＝[(识别出的病理图像中的淋巴细胞所占面积)/(病例图像的总面积或病例图像中圈选区域的总面积)]*100％，计算得到淋巴细胞占比。
[0043]
在一实施例中，所述淋巴细胞包含肿瘤浸润淋巴细胞。
[0044]
在一实施例中，细胞分割步骤中，对病理图像进行细胞分割后，记录每个细胞的细胞核位置信息以及细胞膜位置信息。
[0045]
在一实施例中，细胞分割步骤中，通过两种轮廓线描绘出每个细胞中细胞核与细胞膜轮廓，其中内部的轮廓线表示细胞核轮廓，外部的轮廓线表示细胞膜轮廓。
[0046]
在一实施例中，细胞分类步骤中，识别淋巴细胞的算法包括但不限于随机森林算法。
[0047]
在一实施例中，细胞分割步骤中，对病理图像进行细胞分割的算法包括但不限于分水岭算法。
[0048]
根据第二方面，在一实施例中，提供一种判读淋巴细胞的装置，包括：
[0049]
细胞分割模块，用于对病理图像进行细胞分割；
[0050]
细胞分类模块，用于从细胞分割后的病理图像中识别出淋巴细胞。
[0051]
根据第三方面，在一实施例中，提供一种装置，包括：
[0052]
存储器，用于存储程序；
[0053]
处理器，用于通过执行所述存储器存储的程序以实现如第一方面所述的方法。
[0054]
根据第四方面，在一实施例中，提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如第一方面所述的方法。
[0055]
在一实施例中，本发明判读淋巴细胞的方法如下：
[0056]
细胞分割步骤，基于分水岭算法，使用软件自动完成细胞的分割。
[0057]
细胞分类步骤，使用软件自动识别出肿瘤浸润淋巴细胞，并高亮显示。
[0058]
在一实施例中，本发明开发一种分析流程，让软件自动进行细胞分割、淋巴细胞识别和tils。通过提供自动化辅助计数，从而提高病理医生人工判读的效率与准确性。
[0059]
在一实施例中，tils是指淋巴细胞在圈选区域的面积占比。
[0060]
在一实施例中，所述淋巴细胞包含肿瘤浸润淋巴细胞。
[0061]
在一实施例中，本发明使用qupath作为tils辅助判读算法开发的数字病理平台。
[0062]
在一实施例中，本发明通过自动检测淋巴细胞并计算淋巴细胞的面积占比，可以大幅提高tils判读的效率与准确性。
[0063]
实施例1
[0064]
本实施例的淋巴细胞具体是指肿瘤浸润淋巴细胞。
[0065]
本实施例包括如下步骤：
[0066]
1、淋巴细胞标注与识别算法训练
[0067]
本实施例随机选取了7个he染色的全载玻片病理图像，如图2所示，专业的病理医生使用qupath的标注工具将he图像中的淋巴细胞人工标记出来，标记出1000个以上的淋巴细胞。
[0068]
如图3所示，使用分水岭算法将he图像中的细胞分割出来，并记录每个细胞的细胞核与细胞膜位置信息。通过两个椭圆形线条描绘出每个细胞中细胞核与细胞膜轮廓，其中内部的椭圆是细胞核，外部的椭圆是细胞膜。
[0069]
如图4所示，统计出每个细胞的直径、圆度、面积、颜色深度等属性值。为了让淋巴细胞检测更准确稳定，我们结合淋巴细胞的特征与he染色原理，筛选出9种细胞属性值，9种细胞属性值具体如下：面积(area)、周长(perimeter)、圆度(circularity)、偏心率(eccentricity)、长度(length)、固性(solidity)、最大直径(max diameter)、最小直径(min diameter)、苏木精光密度值(hematoxylin od)。将人工标记淋巴细胞和筛选出的属性值输入到随机森林算法中，训练识别淋巴细胞的随机森林算法，通过多测迭代优化调整，得到淋巴细胞识别的最佳参数组合，最佳参数组合具体如下：最大树深度：5，每个树最小支持样本数(人工标注细胞)：20，每棵树使用特征数：5，最大树数量：50。
[0070]
如图5、图6所示，使用分水岭算法和训练好的随机森林算法对he病理图像的指定区域进行细胞检测、细胞属性值统计和淋巴细胞识别。每个椭圆形代表一个细胞，深色部分代表细胞核，其中标记为蓝色的即是淋巴细胞，并结合每个检测到的细胞面积属性值与指定区域的面积和细胞数，计算出tils(immunecell area％)。
[0071]
2、淋巴细胞检测与tils计算软件开发
[0072]
如图1所示，我们通过groovy语言将细胞检测、淋巴细胞识别、tils比值计算的功能整合到一个软件中，当使用qupath人工圈选一个指定区域(roi)，便可以使用该软件自动进行roi的淋巴细胞检测与tils比值计算。
[0073]
tils计算公式如下：
[0074]
tils＝immune cell area/roi area。即，将圈选区域识别出的淋巴细胞总面积除以该区域的总面积，数值即为tils比值。
[0075]
3、软件自动计算tils的性能验证
[0076]
为了验证软件计算tils的性能，病理医生随机圈选了32个区域(roi)，并对这些区域的tils进行人工判读。我们使用前面开发的自动化软件检测了这32个roi的tils。结果如图7所示，软件自动计算的tils与人工判读的tils相关性系数达到0.82。我们检查了软件判读与人工判读存在偏差的判读区域，发现判读偏差主要是因为人工判读受视觉错误影响，错误估计了淋巴细胞的面积比例。如果使用本实施例的辅助判读软件，将提高tils判读的效率与准确性。
[0077]
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
[0078]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。