病理细胞的量化方法、系统、装置及存储介质与流程

1.本发明涉及生物信息技术领域，尤其涉及一种病理细胞的量化方法、系统、装置及存储介质。


背景技术：

2.近年，病理细胞切片数字化得到极大普及，各种辅助病理医生分析病理数字图片的技术也得到了极大的研究和应用，包括病变细胞/区域的检测、分割、分类以及切片诊断等，极大地方便了病理医生对病变细胞的分析筛查。目前病变细胞的检测、分类、切片智能诊断更多的是一种定性的分析，还没有对数字图片进行细胞量化分析，量化分析数据将会辅助病理医生更好地做出诊断。


技术实现要素：

3.有鉴于此，本发明实施例的目的是提供一种病理细胞的量化方法、系统、装置及存储介质，能够提取细胞切片图像中需要的有用信息，更好地辅助医生诊断。
4.第一方面，本发明实施例提供了一种病理细胞的量化方法，包括以下步骤：
5.获取细胞图，并对所述细胞图进行前景和背景分割得到前景掩码图；所述前景掩码图包括细胞核和细胞质信息；
6.对所述前景掩码图进行分割得到细胞核掩码图，根据所述前景掩码图及所述细胞核掩码图得到细胞质掩码图；
7.根据所述前景掩码图、所述细胞核掩码图和/或所述细胞质掩码图计算细胞图的相关特征。
8.可选地，所述对所述前景掩码图进行分割得到细胞核掩码图，具体包括：
9.将所述前景掩码图输入到训练好的细胞核分割模型；其中，所述细胞核分割模型包括实例分割单元和语义分割单元；
10.通过所述实例分割单元得到所述前景掩码图的第一待定细胞核掩码图，通过所述语义分割单元得到所述前景掩码图的第二待定细胞核掩码图；
11.比较所述第一待定细胞核掩码图与所述第二待定细胞核掩码图中重叠的细胞核；
12.对于重叠的细胞核，选取所述第一待定细胞核掩码图中对应的掩码图作为第一掩码图；
13.对于剩余的细胞核，选取所述第二待定细胞核掩码图中对应的掩码图作为第二掩码图；
14.融合所述第一掩码图和所述第二掩码图得到细胞核掩码图。
15.可选地，所述细胞核分割模型的训练方法如下：
16.获取训练样本数据集，所述训练样本数据集包含细胞图样本和所述细胞图样本对应的人工标注的细胞核掩码样本；
17.将所述训练样本数据集分成训练集和验证集，采用所述训练集对所述细胞核分割
模型进行训练，采用所述验证集对所述细胞核分割模型进行验证；
18.当所述细胞核分割模型满足预设要求，停止训练。
19.可选地，所述对所述细胞图进行前景和背景分割得到前景掩码图，具体包括：
20.将所述细胞图依次进行灰度化、前景增强及上伪彩色处理得到伪彩色图；
21.将所述伪彩色图进行颜色分割得到前景掩码图。
22.可选地，所述相关特征包括细胞核分布疏密相关特征，所述细胞核分布疏密相关特征通过以下方法确定：
23.根据所述前景掩码图及所述细胞核掩码图计算核面积与前景面积的比例；
24.或根据所述前景掩码图计算粘连细胞个数和不粘连的细胞个数。
25.可选地，所述相关特征包括细胞核属性相关特征，所述细胞核属性相关特征通过以下方法确定：
26.根据所述细胞核掩码图计算细胞核总数；
27.或根据所述细胞核掩码图计算细胞核圆度。
28.可选地，所述相关特征包括模糊度相关特征，所述模糊度相关特征通过以下方法确定：
29.根据所述前景掩码图计算整张细胞图的模糊度；
30.或根据所述细胞核掩码图计算每个细胞核的模糊度。
31.第二方面，本发明实施例提供了一种病理细胞的量化装置，包括：
32.至少一个处理器；
33.至少一个存储器，用于存储至少一个程序；
34.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。
35.第三方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的方法。
36.第四方面，本发明实施例提供了一种病理细胞的量化系统，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，
37.所述图像采集设备，用于采集病理细胞的图像，并将所述病理细胞的图像发送给所述计算机设备；
38.所述计算机设备包括：
39.至少一个处理器；
40.至少一个存储器，用于存储至少一个程序；
41.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。
42.实施本发明实施例包括以下有益效果：本实施例中首先对病理的细胞图进行前景后背景分割得到前景掩码图，然后对前景掩码图再进行分割得到细胞核掩码图和细胞质掩码图，最后根据前景掩码图、细胞核掩码图和/或细胞质掩码图计算细胞图的相关特征，从而提取细胞图中需要的有用信息，更好地辅助医生诊断。
附图说明
43.图1是本发明实施例提供的一种病理细胞的量化方法的步骤流程示意图；
44.图2是本发明实施例提供的一种对细胞图进行处理得到的灰度图、增强灰度图及伪彩色；
45.图3是本发明实施例提供的一种前景掩码图、细胞核掩码图及细胞质掩码图；
46.图4是本发明实施例提供的一种细胞图及对应的人工标注的细胞核掩码图；
47.图5是本发明实施例提供的一种细胞图及对应的不同方式拟合的细胞核轮廓图；
48.图6是本发明实施例提供的一种实例分割单元的训练流程图；
49.图7是本发明实施例提供的一种细胞核分割模型的结构示意图；
50.图8是本发明实施例提供的一种通过不同方式获得的细胞核掩码图；
51.图9是本发明实施例提供的一种病理细胞的量化装置的结构框图；
52.图10是本发明实施例提供的一种病理细胞的量化系统的另一种结构框图。
具体实施方式
53.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
54.如图1所示，本发明实施例提供了一种病理细胞的量化方法，其包括的步骤如下所示。
55.s100、获取细胞图，并对所述细胞图进行前景和背景分割得到前景掩码图；所述前景掩码图包括细胞核和细胞质信息。具体包括步骤s110-120。
56.可选地，所述对所述细胞图进行前景和背景分割得到前景掩码图，具体包括：
57.s110、将所述细胞图依次进行灰度化、前景增强及上伪彩色处理得到伪彩色图；
58.s120、将所述伪彩色图进行颜色分割得到前景掩码图。
59.在一个具体的实施例中，参阅图2及图3，对一张细胞图进行细胞图灰度化，细胞图如图2(a)，得到一张灰度图，灰度图如图2(b)；对灰度图进行前景增强，得到一张增强灰度图，增强灰度图如图2(c)；对增强灰度图上伪彩色，得到一张伪彩色图片，伪彩色图片如图2(d)。
60.对伪彩色图片进行颜色分割，得到一张包括细胞核和细胞质的前景掩码图，如图3(a)；利用细胞核分割模块对细胞图进行分割，得到细胞核掩码，如图3(b)；前景掩码减去细胞核掩码，即可得到不包含细胞核的前景掩码，一般可认为是细胞质的掩码，如图3(c)。
61.s200、对所述前景掩码图进行分割得到细胞核掩码图，根据所述前景掩码图及所述细胞核掩码图得到细胞质掩码图。
62.具体地，通过细胞核分割模型对前景掩码图进行分割得到细胞核掩码图，将前景掩码图减去细胞核掩码图得到细胞质掩码图。
63.可选地，所述细胞核分割模型的训练方法如下：
64.s201、获取训练样本数据集，所述训练样本数据集包含细胞图样本和所述细胞图样本对应的人工标注的细胞核掩码样本；
65.s202、将所述训练样本数据集分成训练集和验证集，采用所述训练集对所述细胞
核分割模型进行训练，采用所述验证集对所述细胞核分割模型进行验证；
66.s203、当所述细胞核分割模型满足预设要求，停止训练。
67.在一个具体的实施例中，训练样本数据包括500组图片数据用于训练和验证模型。其中，训练集有400组图片，验证集有100组图片。一组图片包含两张图片：一张是输入图片，如图4(a)；另一张是该输入图片对应的人工标注细胞核掩膜的图片，如图4(b)。
68.需要说明的是，当细胞核分割模型的训练次数或训练精度达到预设要求，停止训练。
69.可选地，所述对所述前景掩码图进行分割得到细胞核掩码图，具体包括：
70.s210、将所述前景掩码图输入到训练好的细胞核分割模型；其中，所述细胞核分割模型包括实例分割单元和语义分割单元；
71.s220、通过所述实例分割单元得到所述前景掩码图的第一待定细胞核掩码图，通过所述语义分割单元得到所述前景掩码图的第二待定细胞核掩码图；
72.s230、比较所述第一待定细胞核掩码图与所述第二待定细胞核掩码图中重叠的细胞核；
73.s240、对于重叠的细胞核，选取所述第一待定细胞核掩码图中对应的掩码图作为第一掩码图；
74.s250、对于剩余的细胞核，选取所述第二待定细胞核掩码图中对应的掩码图作为第二掩码图；
75.s260、融合所述第一掩码图和所述第二掩码图得到细胞核掩码图。
76.在一个具体的实施例中，细胞核分割模型包括实例分割单元和语义分割单元，其中，实例分割单元采用stardist细胞核分割模型，使用unet作为stardist模型的骨干，调用stardist的python库进行训练。
77.关于stardist细胞核分割模型，对于一张包含细胞核的图片，宽为w、高为h，细胞核的轮廓可以简单地使用多个点来近似表示。从一个细胞核内的某个点均匀地向多个方向发射n条射线，该点称为发射点，相邻两条射线的夹角是相等的，射线与细胞核轮廓的交点和发射点可以近似地表示细胞核轮廓。细胞核图片，如图5(a)所示，用4个点简单地近似描述细胞核，如图5(b)所示；用16个点简单地近似描述细胞核，如图5(c)所示；用32个点简单地近似描述细胞核，如图5(d)所示。n条射线相交轮廓的交点和发射点用于描述细胞核轮廓，等价于使用发射点和点到交点的距离来表示细胞核轮廓；点表示轮廓示意图，如图5(e)所示。stardist模型通过预测核概率图和轮廓点到发射点的距离图来实现细胞核实例分割。概率图是只有一个通道的、宽高和输入图像一样的三维向量，每个值表示对应像素是细胞核的概率。核概率图可以用于确定发射点。距离图是n个通道的、宽高和输入图像一样的三维向量，每个宽、高对应的n个值表示以对应像素点为发射点所对应的n个距离值。距离图描述了h*w个轮廓。
78.stardist的总体流程图，如图6所示。训练时，先进行标签数据处理，输入细胞核实例分割标注图，计算得到用于监督网络训练的距离图和细胞核语义图；然后输入细胞图片，经过unet神经网络前向计算，得到细胞核概率图和距离图；接着，通过距离图得到h*w个轮廓图，结合概率图，使用非极大值抑制来过滤一些不好的轮廓，得到预测的细胞核实例轮廓结果；结合预测的概率图、距离图和用于监督的概率图、距离图，计算损失，反馈更新unet的
权重。
79.由于stardist通过预测得到多个点来近似表示细胞核轮廓，最后得到的细胞核实例分割的轮廓通常会比较平滑，对于评估一个细胞核的圆度不利。本实施例中，将实例分割结果和语义分割结果融合，如图7所示，得到一个轮廓更加细腻的实例分割结果。核语义分割结果从核概率图得到，对应于图6中的核概率图。
80.由于原来的stardist模型分割出来的细胞核轮廓过于平滑，如图8(a)，大多数时候这样平滑的核轮廓不能很好地刻画一些病变细胞核的异形轮廓，本实施例在stardist模型基础上增加一个后处理过程，以使得模型割出来的细胞核轮廓更贴近实际，不太平滑，更能刻画细胞核的异形轮廓。stardist模型实际上有两个输出，一个是细胞核语义分割的结果，如图8(b)。一个是细胞核实例分割的结果，如图8(a)。细胞核语义分割结果能很好地刻画细胞核的轮廓，但是它不区分每个细胞核。细胞核实例分割结果能够很好地区分每个细胞核，但是其分割的细胞核轮廓过于平滑。将语义分割结果和实例分割结果融合起来，既能区分每个细胞核，又能使细胞核轮廓分割结果贴近现实。结合stardist的实例分割结果和语义分割结果，对于语义分割中不重叠的细胞核，则结果采用语义分割的分割结果；对于语义分割中重叠的细胞核，则结果采用stardist实例分割的结果。最终，细胞核的分割轮廓较好地保留了细腻的形状细节，如图8(c)。
81.s300、根据所述前景掩码图、所述细胞核掩码图和/或所述细胞质掩码图计算细胞图的相关特征。具体包括但不限于步骤s310-s360。
82.可选地，所述相关特征包括细胞核分布疏密相关特征，所述细胞核分布疏密相关特征通过以下方法确定：
83.s310、根据所述前景掩码图及所述细胞核掩码图计算核面积与前景面积的比例；
84.s320、或根据所述前景掩码图计算粘连细胞个数和不粘连的细胞个数。
85.需要说明的是，细胞图的相关特征可以帮助医生检索更具代表性的病变细胞，例如通过使用细胞核总数和粘连细胞个数这两个特征，就可以在大量细胞图中检索出细胞核多且稠密的细胞图。
86.可选地，所述相关特征包括细胞核属性相关特征，所述细胞核属性相关特征通过以下方法确定：
87.s330、根据所述细胞核掩码图计算细胞核总数；
88.s340、或根据所述细胞核掩码图计算细胞核圆度。
89.需要说明的是，细胞核圆度＝(细胞核面积-核轮廓内接圆面积)/(核轮廓外接圆面积-核轮廓内接圆面积)。
90.需要说明的是，细胞图的相关特征可以在病理细胞学智能辅助系统中过滤假阳细胞图片。目前，基于深度学习的物体检测分类技术在病理细胞学数字切片检测病变细胞上已经得到广泛的研究和应用。但是，检测出来的阳性细胞也会存在假阳图片。比如，甲状腺细胞学切片里，有时淋巴细胞和甲状腺滤泡上皮细胞是很容易混淆的。即使通过物体检测分类技术，召回的很多淋巴细胞也会被误认为是甲状腺滤泡上皮细胞。淋巴细胞的细胞核通常会比较小，通过细胞核的核面积这个特征，可以过滤一些误判为甲状腺滤泡上皮细胞的淋巴细胞。
91.可选地，所述相关特征包括模糊度相关特征，所述模糊度相关特征通过以下方法
确定：
92.s350、根据所述前景掩码图计算整张细胞图的模糊度；
93.s360、或根据所述细胞核掩码图计算每个细胞核的模糊度。
94.需要说明的是，关于模糊度的计算，本实施例使用mlv模型来计算出一张目标图片块的模糊度。
95.实施本发明实施例包括以下有益效果：本实施例中首先对病理的细胞图进行前景后背景分割得到前景掩码图，然后对前景掩码图再进行分割得到细胞核掩码图和细胞质掩码图，最后根据前景掩码图、细胞核掩码图和/或细胞质掩码图计算细胞图的相关特征，从而提取细胞图中需要的有用信息，更好地辅助医生诊断。
96.如图9所示，本发明实施例提供了一种病理细胞的量化装置，包括：
97.至少一个处理器；
98.至少一个存储器，用于存储至少一个程序；
99.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。
100.可见，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
101.此外，本技术实施例还公开了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述的方法。同样地，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
102.如图10所示，本发明实施例提供了一种病理细胞的量化系统，包括图像采集设备以及与所述图像采集设备连接的计算机设备；其中，
103.所述图像采集设备，用于采集病理细胞的图像，并将所述病理细胞的图像发送给所述计算机设备；
104.所述计算机设备包括：
105.至少一个处理器；
106.至少一个存储器，用于存储至少一个程序；
107.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。
108.具体地，对于所述图像采集设备，其主要通过高分辨率图像采集设备来实现，如sem等；而对于所述计算机设备，其可为不同类型的电子设备，包含但不限于有台式电脑、手提电脑等终端。
109.可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
110.以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施
例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。