细胞病理图像质量评价方法

1.本发明设计细胞病理图像质量评价方法


背景技术：

2.近年来宫颈癌高发，已经成为威胁妇女生命的社会问题。在全世界女性中，每年新诊断宫颈癌约52.76万人，近26.50万人死于该病，其中90％死者位于不发达地区。中国每年新发现宫颈癌例数约7.5万，占全球宫颈癌新发总人数的1/7，3.5万人死于此病。目前有效的宫颈癌筛查方法是宫颈脱落细胞涂片病理检查。随着科学技术的进步和发展，依靠病理医生在显微镜下诊断的传统方式面临多种问题，例如耗时耗力，受医生主观影响比较大等，这使自动化病理诊断大规模发展。通过病理图像快速采集设备获得清晰的样本图像，并且有良好的评价流程至关重要。病理切片数字化积累了大量的数据，是人工智能辅助病理诊断的重要前提，每天会有大量的样本被扫描，而扫描质量不合格的细胞病理图像会严重影响自动化病理诊断的效率，甚至导致误诊和漏诊。虽然现在存在很多的图像质量评价方法，但是这些方法没有考虑到细胞病理医生对于样本图像的评价标准，因此不适用于自动化病理诊断领域。基于《宫颈液基细胞学的数字病理图像采集与图像质量控制中国专家共识》和tbs(the bethesda system)诊断标准提出的细胞病理图像质量评价方法旨在改善这一问题，对细胞病理图像的可信度进行评价，规范病理诊断流程，降低医生诊断难度，提高病理诊断效率和准确率。该方法提出了多种评价指标用于评价细胞病理图像的质量，通过提取与细胞病理图像质量相关的特征，输入回归模型完成图像质量评价。
3.细胞图像质量评价方法的关键在于图像特征的提取，wsi图像的数据量非常大，通常wsi图像包含上亿数量级的像素。用金字塔分割的方式，获得金字塔不同层的图像。对不同特征的计算需求选择合适的分辨率，能有效提高运算的速度，减少计算资源浪费。图像的有效视野是否完整、图像是否存在栅格样成像的判别在低分辨率金字塔图像中即可完成判别，故上述两个特征在金字塔第六层图像中完成评价；在金字塔图像的第五层，完成染色标准、图像清晰度的评价；高分辨率图像包含更精细的图像细节，有助于观察细胞结构与形态，因此在金字塔图像的第二层完成脏污面积占比、鳞状上皮细胞数量和细胞团数量的评价。将以上7个图像特征输入xgboost模型中，获得细胞病理图像的质量分数，依据分数给出图像在自动化病理诊断系统中的应用方式。


技术实现要素：

4.本发明的目的是为了解决细胞病理图像质量缺乏统一、规范的评价方法的问题，而提出的一种细胞病理图像质量评价方法。
5.上述发明目的主要是通过以下技术方案实现的：
6.1、扫描仪扫描样本，获得全景切片图像。然后用金字塔分割的方式，获得金字塔不同层的图像；
7.细胞图像质量评价方法的关键在于图像特征的提取，wsi图像的数据量非常大，通
常wsi图像包含上亿数量级的像素。因此采用金字塔分割的方式，获得金字塔不同层的图像。对不同特征的计算需求选择合适的分辨率，能有效提高运算的速度，减少计算资源浪费。图像的有效视野是否完整、图像是否存在栅格样成像的判别在低分辨率金字塔图像中即可完成判别，故上述两个特征在金字塔第六层图像中完成评价；在金字塔图像的第五层，完成染色标准、图像清晰度的评价；高分辨率图像包含更精细的图像细节，有助于观察细胞结构与形态，因此在金字塔图像的第二层完成脏污面积占比、鳞状上皮细胞数量和细胞团数量的评价。
8.2、利用金字塔第六层图像，提取样本有效视野判断其是否完整，然后提取样本有效视野外区域的纹理特征，判断是否出现图像栅格样成像；
9.s21、提取图像金字塔的第六层，获得一张完整视野图像i；
10.s22、利用图像分割方法分割图像i，获得二值图像t；
11.s23、对二值图像t做预处理将图像中所有轮廓连成一个大轮廓，得到样本的有效视野；
12.s24、提取有效视野的坐标，获得其外接矩形；
13.s25、根据外接矩形在整张图像中的位置确定有效视野是否完整，若完整则记为f1＝1，若不完整则记为f1＝0；
14.s26、根据步骤s23中获得的大轮廓，提取轮廓以外区域的纹理特征值t；
15.s27、利用s26的方法提取标准图像中轮廓以外区域的纹理特征值，然后对特征值做聚类分析，获得标准图像的纹理特征值范围；
16.s28、判断纹理特征值t是否在标准图像的纹理特征值范围内，若在标准图像的纹理特征值范围内则不存在栅格样成像，判定为合格记为f2＝1，若存在栅格样成像则记为f2＝0。
17.3、根据金字塔第五层图像，利用颜色反卷积方法判断细胞染色是否标准；
18.s31、提取图像金字塔的第五层，得到分割为固定大小的非重叠patch图像；
19.s32、对每个patch图像进行颜色反卷积，分离出苏木精通道和伊红通道的染色分布图像m1、m2，颜色反卷积的步骤如下：
20.对每个od向量的分量都除以向量的长度：
[0021][0022][0023][0024]
从而得到标准化后的od矩阵m:
[0025][0026]
标准化后的hematoxylin,eosin，dab的od矩阵为式(5):
[0027][0028]
设每个像素上每种染色剂的权重为c，c为3
×
1的向量，在od空间下像素点的od值为y＝cm，颜色反卷积矩阵就是od矩阵的逆矩阵d＝m-1
，正交化的图像可以表示为式(6)所示：
[0029]
c＝d[y]
ꢀꢀ
(6)
[0030]
对于hematoxylin,eosin，dab来说，颜色反卷积矩阵d为:
[0031][0032]
s33、对染色分布图像m1、m2进行图像二值化，计算出两个通道染色的图像掩膜；
[0033]
s34、图像掩膜与原图像进行图像与运算，获得苏木精和伊红染色像素所在的位置，计算出苏木精和伊红通道的平均灰度值；
[0034]
s35、对医生提供的标准样片按照上述步骤获得其苏木精和伊红像素的平均灰度值，然后进行聚类分析，得到标准灰度值范围；
[0035]
s36、判断细胞染色是否标准，若苏木精和伊红通道的平均灰度值在标准灰度值范围内判定为染色标准记为f3＝1，若不在则染色标准记为f3＝0。
[0036]
4、根据金字塔第五层图像，利用引入注意力机制的卷积神经网络resnet-34，对图像清晰度进行分类，判断图像是否清晰；
[0037]
s41、提取图像金字塔的第五层，得到分割为固定大小的非重叠patch图像；
[0038]
s42、创建数据集，选取h&e染色的全视野数字切片，对每张切片在20倍放大倍数下扫描一个约6毫米面积的感兴趣区域(region of interest,roi)，对每个roi选取25个聚焦点，在[-2.5μm， 2.5μm]之间对聚焦平面加入固定扰动，获得相同roi及相同roi的不同焦平面图像作为数据集；
[0039]
s43、对数据集进行标注，将偏移量在[-0.5, 0.5]之间的patch图标记为清晰图像，其余标记为模糊；
[0040]
s44、使用引入了注意力机制的卷积神经网络resnet-34进行分类模型的训练，得到分类网络；
[0041]
s45、用分类网络对patch图像进行分类，得到patch图像的聚焦点，若偏移量在[-0.5, 0.5]之间判定为清晰，记为f4＝1，若不在则判定为不清晰，记为f4＝0。
[0042]
5、在图像金字塔的第二层，利用yolov5s对图像进行目标检测，判断图像中脏污面积占比、鳞状上皮细胞和细胞团数量是否满足tbs图像标准；
[0043]
s51、提取图像金字塔的第二层，得到分割为固定大小的非重叠patch图像；
[0044]
s52、对实验样本数据库中的所有实验样本进行标注，采用语义分割模型对实验样本数据库中的所有鳞状上皮细胞、成团细胞、图像脏污进行分割，使用深度神经网络模型对分割后的细胞进行分类；
[0045]
s53、实验人员确认标注结果，更正错误标注，补全遗漏标注，得到核对后的标注实
验样本；
[0046]
s54、将核对后的标注实验样本输入不同的目标检测模型进行训练，得到目标检测模型；
[0047]
s55、选择准确率最高的模型作为检测鳞状上皮细胞、细胞团和图像脏污的目标检测模型；
[0048]
s56、完成目标检测后，通过统计图像中被检测为鳞状上皮细胞的标签数量完成鳞状上皮细胞的计数，分别对图像中检测为鳞状上皮细胞、细胞团和脏污的部分计算面积；
[0049]
s57、根据tbs诊断标准，鳞状上皮细胞数量应该在5000-8000范围内、细胞团数量在50以下及脏污面积占比小于25％，因此，按如下公式计算得到图像特征f
5-f7。
[0050]
图像特征f5的计算公式如式(8)所示，其中x表示鳞状上皮细胞的数量；
[0051][0052]
细胞病理图像的有效视野面积计算公式如式(9)所示，其中s
cell
为鳞状上皮细胞面积，s
cell_mass
为细胞团面积，s
dirty
为脏污部分的面积：
[0053]
s＝s
cell
s
cell_mass
s
dirty
ꢀꢀ
(9)
[0054]
图像特征f6的计算公式如式(10)所示：
[0055]
f6＝1-s
cell_mass
/s
ꢀꢀ
(10)
[0056]
图像特征f7的计算公式如式(11)所示：
[0057]
f7＝1-s
dirty
/s
ꢀꢀ
(11)。
[0058]
6、将s2-s5中获得的图像特征输入xgboost模型，获得图像特征值的图像质量分数；
[0059]
xgboost高效地实现梯度提升决策树(grandient boosting decision tree，gbdt)，有较高的计算效率。在本次任务中将细胞病理图像的7个特征输入xgboost，完成特征值与图像质量分数的映射。选取100张细胞病理图像，由经验丰富的病理医生依照tbs诊断标准对细胞病理图像进行打分，打分结果作为细胞病理图像的真实分数，与xgboost模型输出的细胞病理图像质量分数进行对比，验证xgboost回归模型的预测性能。
[0060]
xgboost是由k个决策树组成的一个加法运算式，在给出n个实例，m维特征的情况下，xgboost可以表示为式(13)：
[0061]
d＝{(xi,yi)}(|d|＝n,xi∈rm,yi∈r)
ꢀꢀ
(12)
[0062][0063]
其中fk为第k个决策树，为第i个样本的预测值，f是由k个基函数组成的函数空间。根据tbs诊断标准和细胞形态学特征，提取7个特征对xgboost进行训练，rm代表第m个特征。xgboost的训练目标是使损失函数最小化，得到最优的模型。xgboost的目标函数可以表示为式(14)：
[0064][0065]
其中是正则项。由于f
t
是决策树，而不是数值型的向量，不可以使用梯度下降算法进行优化，xgboost在每次迭代中都会在现有模型中添加新的决策树，并将模型预测结果都添加上一轮，第t次迭代中对第i个样本xi的预测式为(15)：
[0066][0067]
其中是第t次迭代模型的预测值，是第t-1次迭代模型的预测值，此时xgboost的目标函数可以改写为式(16)：
[0068][0069]
通过泰勒公式将进行二阶展开，目标函数可以再次改写为式(17)：
[0070][0071]
其中gi为损失函数的一阶导数，hi为损失函数的二阶导数，因为在第t次迭代已知，所以为常数，不会对函数优化造成影响，因此目标函数可以改写为式(18)：
[0072][0073]
在模型优化的过程中，计算每一次迭代损失函数的一阶导数和二阶导数来优化目标函数。
[0074]
上述步骤提取到的图像特征输入xgboost模型中，模型输出最终的细胞图像质量评价分数。
[0075]
7、将细胞图像质量评价方法应用在智能病理诊断系统中。
[0076]
根据步骤6中得到的细胞图像质量分数，对宫颈液基细胞wsi的整体质量进行可信度评估。细胞图像质量分数在5分以及上评定为整体“可信度好”，5分以下评定为“可信度差”。在智能诊断系统中，对于可信度好的图像，可用于辅助医生判读项目的研究测试或应用，并予以存储。对于可信度差的图像，无法提供可靠的判读结果，建议重新扫描、存储。
[0077]
发明效果
[0078]
细胞病理数字图像中的特征信息对医生和自动化诊断系统的诊断具有很重要的参考价值，在传统的诊断方式中，需由医生或使用人员进行主观评分，工作量大且耗时多，在实际使用中效率低下，受不同主体主观感受影响很大，缺乏统一、规范的标准。在自动化病理诊断系统中，若诊断前未对图像质量进行确认，系统无法很好地对质量不佳的图像进行分析和诊断，直接影响着自动化诊断系统的效率和准确率。本发明提供了一种细胞病理图像质量评价方法，对细胞病理图像质量的评价指标和流程进行规范，解决了人工判断工作量大、耗时多和没有统一标准的问题。此外，能够根据图像质量评分在智能病理诊断系统中给出标本的满意度，为自动化诊断系统提供有力的支持，减少了因图像质量不佳带来的
＝1，若不完整则记为f1＝0；
[0104]
s26、根据步骤s23中获得的大轮廓，提取轮廓以外区域的纹理特征值t；
[0105]
s27、利用s26的方法提取标准图像中轮廓以外区域的纹理特征值，然后对特征值做聚类分析，获得标准图像的纹理特征值范围；
[0106]
s28、判断纹理特征值t是否在标准图像的纹理特征值范围内，若在标准图像的纹理特征值范围内则不存在栅格样成像，判定为合格记为f2＝1，若存在栅格样成像则记为f2＝0。
[0107]
3、根据金字塔第五层图像，利用颜色反卷积方法判断细胞染色是否标准；
[0108]
s31、提取图像金字塔的第五层，得到分割为固定大小的非重叠patch图像；
[0109]
s32、如图2所示染色分离流程图，对每个patch图像进行颜色反卷积，分离出苏木精通道和伊红通道的染色分布图像m1、m2，颜色反卷积的步骤如下：
[0110]
对每个od向量的分量都除以向量的长度：
[0111][0112][0113][0114]
从而得到标准化后的od矩阵m:
[0115][0116]
标准化后的hematoxylin,eosin，dab的od矩阵为式(5):
[0117][0118]
设每个像素上每种染色剂的权重为c，c为3
×
1的向量，在od空间下像素点的od值为y＝cm，颜色反卷积矩阵就是od矩阵的逆矩阵d＝m-1
，正交化的图像可以表示为式(6)所示：
[0119]
c＝d[y]
ꢀꢀ
(6)
[0120]
对于hematoxylin,eosin，dab来说，颜色反卷积矩阵d为:
[0121][0122]
s33、对染色分布图像m1、m2进行图像二值化，计算出两个通道染色的图像掩膜；
[0123]
s34、图像掩膜与原图像进行图像与运算，获得苏木精和伊红染色像素所在的位置，计算出苏木精和伊红通道的平均灰度值；
[0124]
s35、对医生提供的标准样片按照上述步骤获得其苏木精和伊红像素的平均灰度值，然后进行聚类分析，得到标准灰度值范围，苏木精通道位于180-200之间，伊红通道位于
185-190之间；
[0125]
s36、判断细胞染色是否标准，若苏木精和伊红通道的平均灰度值在标准灰度值范围内判定为染色标准记为f3＝1，若不在则染色标准记为f3＝0。
[0126]
4、根据金字塔第五层图像，利用如图3所示的卷积神经网络resnet-34，对图像清晰度进行分类，判断图像是否清晰，判定方法如下：
[0127]
s41、提取图像金字塔的第五层，得到分割为固定大小的非重叠patch图像；
[0128]
s42、创建数据集，选取h&e染色的全视野数字切片，对每张切片在20倍放大倍数下扫描一个约6毫米面积的感兴趣区域(region of interest,roi)，对每个roi选取25个聚焦点，在[-2.5μm, 2.5μm]之间对聚焦平面加入固定扰动，获得相同roi及相同roi的不同焦平面图像作为数据集；
[0129]
s43、对数据集进行标注，将偏移量在[-0.5, 0.5]之间的patch图标记为清晰图像，其余标记为模糊；
[0130]
s44、使用引入了注意力机制的卷积神经网络resnet-34进行分类模型的训练，得到分类网络；
[0131]
s45、用分类网络对patch图像进行分类，得到patch图像的聚焦点，若偏移量在[-0.5, 0.5]之间判定为清晰，记为f4＝1，若不在则判定为不清晰，记为f4＝0。
[0132]
5、在图像金字塔的第二层，如图4所示利用yolov5s对图像进行目标检测，判断图像中脏污面积占比、鳞状上皮细胞和细胞团数量是否满足tbs图像标准；
[0133]
s51、提取图像金字塔的第二层，得到分割为固定大小的非重叠patch图像；
[0134]
s52、对实验样本数据库中的所有实验样本进行标注，采用语义分割模型对实验样本数据库中的所有鳞状上皮细胞、成团细胞、图像脏污进行分割，使用深度神经网络模型对分割后的细胞进行分类；
[0135]
s53、实验人员确认标注结果，更正错误标注，补全遗漏标注，得到核对后的标注实验样本；
[0136]
s54、将核对后的标注实验样本输入不同的目标检测模型进行训练，得到目标检测模型；
[0137]
s55、选择准确率最高的模型作为检测鳞状上皮细胞、细胞团和图像脏污的目标检测模型；
[0138]
s56、完成目标检测后，通过统计图像中被检测为鳞状上皮细胞的标签数量完成鳞状上皮细胞的计数，分别对图像中检测为鳞状上皮细胞、细胞团和脏污的部分计算面积；
[0139]
s57、根据tbs诊断标准，鳞状上皮细胞数量应该在5000-8000范围内、细胞团数量在50以下及脏污面积占比小于25％，因此，按如下公式计算得到图像特征f
5-f7。
[0140]
图像特征f5的计算公式如式(8)所示，其中x表示鳞状上皮细胞的数量；
[0141][0142]
细胞病理图像的有效视野面积计算公式如式(9)所示，其中s
cell
为鳞状上皮细胞面积，s
cell_mass
为细胞团面积，s
dirty
为脏污部分的面积：
[0143]
s＝s
cell
s
cell_mass
s
dirty
ꢀꢀ
(9)
[0144]
图像特征f6的计算公式如式(10)所示：
[0145]
f6＝1-s
cell_mass
/s
ꢀꢀ
(10)
[0146]
图像特征f7的计算公式如式(11)所示：
[0147]
f7＝1-s
dirty
/s
ꢀꢀ
(11)。
[0148]
6、将s2-s5中获得的图像特征输入xgboost模型，获得图像特征值的图像质量分数；
[0149]
xgboost高效地实现梯度提升决策树(gradient boosting decision tree，gbdt)，有较高的计算效率。在本次任务中将细胞病理图像的7个特征输入xgboost，完成特征值与图像质量分数的映射。选取100张细胞病理图像，由经验丰富的病理医生依照tbs诊断标准对细胞病理图像进行打分，打分结果作为细胞病理图像的真实分数，与xgboost模型输出的细胞病理图像质量分数进行对比，验证xgboost回归模型的预测性能。
[0150]
xgboost是由k个决策树组成的一个加法运算式，在给出n个实例，m维特征的情况下，xgboost可以表示为式(13)：
[0151]
d＝{(xi,yi)}(|d|＝n,xi∈rm,yi∈r)
ꢀꢀ
(12)
[0152][0153]
其中fk为第k个决策树，为第i个样本的预测值，f是由k个基函数组成的函数空间。根据tbs诊断标准和细胞形态学特征，提取7个特征对xgboost进行训练，rm代表第m个特征。xgboost的训练目标是使损失函数最小化，得到最优的模型。xgboost的目标函数可以表示为式(14)：
[0154][0155]
其中是正则项。由于f
t
是决策树，而不是数值型的向量，不可以使用梯度下降算法进行优化，xgboost在每次迭代中都会在现有模型中添加新的决策树，并将模型预测结果都添加上一轮，第t次迭代中对第i个样本xi的预测式为(15)：
[0156][0157]
其中是第t次迭代模型的预测值，是第t-1次迭代模型的预测值，此时xgboost的目标函数可以改写为式(16)：
[0158][0159]
通过泰勒公式将进行二阶展开，目标函数可以再次改写为式(17)：
[0160][0161]
其中gi为损失函数的一阶导数，hi为损失函数的二阶导数，因为在第t次迭代已
知，所以为常数，不会对函数优化造成影响，因此目标函数可以改写为式(18)：
[0162][0163]
在模型优化的过程中，计算每一次迭代损失函数的一阶导数和二阶导数优化目标函数。
[0164]
上述步骤提取到的图像特征输入xgboost模型中，模型输出最终的细胞图像质量评价分数。
[0165]
7、将细胞图像质量评价方法应用在智能病理诊断系统中。
[0166]
根据步骤6中得到的细胞图像质量分数，对宫颈液基细胞wsi的整体质量进行可信度评估。细胞图像质量分数在5分以及上评定为整体“可信度好”，5分以下评定为“可信度差”。在智能诊断系统中，对于可信度好的图像，可用于辅助医生判读项目的研究测试或应用，并予以存储。对于可信度差的图像，无法提供可靠的判读结果，建议重新扫描、存储。
[0167]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明范围。