一种数字病理图像制片质量评价方法

1.本发明涉及数字病理图像领域，特别涉及一种数字病理图像制片质量评价方法。


背景技术：

2.近年来，随着ai技术在医疗领域的落地应用越来越多，将大大推动精准医疗的发展。然而，病理制片技术在制片由于人为因素，设备等原因，导致扫描的后的全视野数字切片(wsi)存在褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质等质量缺陷，往往很大程度上影响了医生的阅片效率和ai分析的准确性。目前，wsi技术与图像分析技术、人工智能在病理切片的质量评估、质量控制等方向研究中已有报道。然而通过视觉评估对日益增长的数字化切片图像进行手动质量控制是不可行的，需要采用自动化分析算法。wsi技术、ai技术在数字病理切片制片质量评价中完全适用，但目前在制片质量领域研究仍然较少，同时制片质量的分类标准较为笼统，大多集中研究模糊区域的识别，或使用传统的机器学习方法，如手工制作的特征，无法对海量组织样本中存在的潜在缺陷。本专利建立一种基于深度学习的he染色数字病理图像制片质量评价方法。
3.如果能利用ai技术对数字化病理切片进行质控分析，识别制片时产生的褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质等常见的切片制片质量问题，在扫描时及时提示技术人员进行干预，能有效提高质控效率以及扫描优良率；同时数字化切片自动化质控能够为数字化扫描、ai质控、数字化阅片、ai分析等一系列的数字化流程提供基础，对日后的复诊和质控都大有益处，无论是效率还是经济性上都优于传统切片制片质控，具有较高的可行性及独特的优势。
4.公开号为cn 109191457 a的中国专利一种病理图像质量有效性识别方法，该方法首先收集数字病理图像，获取标注的成像良好区域和不良区域，训练卷积网络二分类模型，识别成像质量良好的区域和成像质量模糊区域。能到帮助医生自动判读切片是否存在模糊区域，提高制片到诊断的效率。但该方法没有考虑到其他制片质量问题，只针对成像模糊的问题。
5.公开号为cn 111986157 a的中国专利一种数字病理图像质量评价系统，该方法针对数字病理图像质量评价提出了图像重采样预处理模块，污迹检测模块进过图像预处理对原始组织区域进行卷积，获取原图与卷积图的差值，计算污迹的比例，针对扫描质量对原图进行滤波处理，同样获取差值图。该方法采用传统的图像处理方法，且需要与原图进行对比，受限于通过图像滤波后的特征过于简单，不能达到实际应用的地步。


技术实现要素：

6.为解决背景技术中提到的常见的切片制片质量问题，本发明提供了一种数字病理图像制片质量评价方法。该方法能够实现对切片制片质量问题进行高效、快速检测并对切片质量进行定量评价，制片质量问题切片是指切片中存在褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质中的一种多个区域或多种。
7.为了达到上述目的，本发明采用以下技术方案实现：一种数字病理图像制片质量评价方法，包括以下步骤：
8.步骤s1：收集日常阅片中制片质量合格与不合格的苏木精和伊红(h&e)染色切片。由病理医师收集日常阅片中遇到的制片质量问题的切片和制片质量合格的切片，得到he染色数字病理切片数据集d；
9.步骤s2：数字切片roi区域选择与数据标注。由于常见制片质量问题几乎不存在于整个切片，因此标注区域并不是全片标注。首先由病理医师根据步骤s1中获得数据集d采用矩形框标注数字切片的感兴趣区域(region of interest，roi)，即存在制片质量问题的组织区域，然后由专业的标注团队在roi区域里对制片质量问题区域自由采用闭合曲线进行标注，绘制问题区域的外轮廓，roi区域中其他区域视为正常合格区域。然后由专业的病理医师对标注结果进行审核，标注不合格的图像再由标注团队进行精修。合格切片只需标注roi。最终获得标注集as；
10.步骤s3：根据标注信息生成用于训练的图块。根据步骤s1中的数据集d和s2中获得的标注集as，生成用于训练、验证和测试的数据集d
tr
，d
val
，d
te
。首先对标注图像和标注文件处理，生成用于训练语义分割模型的mask。首先在低倍率的数字图像中获取wsi的前景。具体计算公式如下所示：
[0011][0012]
其中，is,ir,ig,ib分别为原始图像的s空间图像，r,g,b通道图像。为对应图像的颜色阈值。最终计算出的i
t
为二值图像，像素真值部分为前景区域，零值部分为切片背景区域。
[0013]
在前景区域中，首先将不合格切片的roi区域内的褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质的标注曲线进行填充，前景区域曲线外的部分作为合格区域，生成标注信息的mask图像。然后采用滑窗法截取数字病理图像图块(patch)。
[0014]
在合格切片的roi区域内，采用滑窗法截取数字图像patch。
[0015]
根据上述生成的图块和对应的mask划分训练集d
tr
，验证集d
val
，测试集d
te
。图块划分的原则是各问题标注面积在d
tr
，d
val
，d
te
中分布相对均匀。
[0016]
步骤s4：训练质量评价指标的语义分割模型。在训练语义分割模型时，损失函数直接影响着最终模型的收敛结果。设训练样本d
tr
＝(x,y),模型为h，参数为w。则模型预测的结果h
θ
(x)可以表达为：
[0017]hθ
(x)＝w
t
x
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0018]
用于衡量网络模型所预测给出的值h(w)和真实值y间差异的函数称为代价函数c(w)(也称损失函数loss function)。代价函数是参数w的函数，对于每种算法来说，代价函数不是唯一的，损失函数能够用来评判模型的性能，损失函数越小时意味着模型学习到的数据分布越接近真实训练样本的分布(x,y)。针对制片质量指标分割问题，定义如下损失函数loss对问题进行优化，具体表述为
[0019]
l＝l
bce
l
dice
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0020]
其中，l
bce
是二值交叉熵代价函数，设有m个样本，y(i)为样本标签，h
θ
(x(i))为模型预测的结果，则损失函数可表示为
[0021][0022]
l
dice
是相似系数损失，是综合衡量精度以及召回率的一个指标，多被用于图像语义分割任务中。
[0023][0024]
其中，gt为对应图像的标签ground truth，sr为模型进行分割的结果，smooth值为1的标量被引入，以防止分母为0的情况发生。
[0025]
训练过程中采用随机裁剪、翻转、伽马变换、高斯模糊、纹理变换等图像增强方法提高模型的泛化能力。训练时优化器为adam，采用学习率衰减策略，学习率减小10倍，采用early stop策略，当验证集loss下降到最低点不再下降时，提前终止训练。
[0026]
步骤s5：wsi前景区域检测并计算前景区域的面积aw。wsi全图首先在低倍率下进行前景检测，计算前景区域的面积。提取低倍率下组织学数字病理图像，获取组织前景区域mask。保存为0-1矩阵i
t
，其中前景设定为1，背景设定为0。具体计算公式如下：
[0027][0028]
其中，is,ir,ig,ib分别为原始图像的s空间图像，r,g,b通道图像。为对应图像的颜色阈值。最终计算出的i
t
为二值图像，像素真值部分为前景区域，零值部分为切片背景区域，并计算获得前景区域的面积aw。
[0029]
步骤s6：采用滑窗法推理并拼接语义分割的mask。语义根据步骤s5前景区域矩阵i
t
，从矩阵i
t
中用滑窗法截取一系列图块，用步骤s5训练的语义分割模型h推理得到图块的掩膜mask，并推理并记录每个图块左上角相对于wsi的坐标。
[0030]
在全图拼接时，采用截取每个预测图块的中心的矩形，拼接mask获得全视野数字切片的切片质量评价指标(褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质)的语义分割结果，得到切片质量评价指标识别和定位的掩膜mask。
[0031]
步骤s7：推理结果可视化。根据步骤s7中wsi全图推理的mask，与rgb图进行通道融合，每种问题区域用不同的颜色表示，获得可视化识别结果。
[0032]
步骤s8：计算分割的各指标的面积。根据步骤s7中wsi全图推理的mask，计算各个制片质量问题的面积，并跟根据步骤s6计算的前景区域的面积aw，获得每种质量问题在前景区域的面积占比。
[0033]
步骤s9：设定各指标面积占比的阈值。根据病理医师的意见、各个制片质量评价指标的特点、不同指标对阅片的影响和语义分割模型的误差，综合计算设定各指标在前景区域的占比，不同类型的制片质量问题设定不同的阈值。
[0034]
步骤s10：切片多标签分类。根据步骤s8中各指标在前景区域的面积占比和步骤s9中设定的阈值，给出切片分类的结果，合格切片输出为合格，不合格切片的多标签类别，同时给出各评价指标在前景区域的面积占比。
[0035]
优选地，步骤s1所述的制片质量问题包括：褶皱、折叠、裂隙、刀痕、污染物、厚度不均匀、空洞、玻片杂质。
[0036]
优选地，步骤s3所述的采用滑窗法截取数字图像patch具体包括：截取倍率是10倍
率，窗口大小1024pixelx1024pixel，步长786pixel的patch，同时生成对应位置同样大小的mask图块；若窗口中组织前景的mask占比大于0.3，则作为不合格图块；
[0037]
所述的在合格切片的roi区域内截取数字图像patch，具体包括：步长为786pixel，窗口大小为1024pixelx1024pixel；若窗口中组织前景的mask占比大于0.3，则作为合格图块。
[0038]
优选地，步骤s6所述的从矩阵i
t
中用滑窗法截取一系列图块，具体包括：窗口大小为1024pixelx1024pixel，步长768pixel；所述的截取每个预测图块的中心的矩形的大小是768pixelx768pixel。
[0039]
与现有技术相比，本发明的有益效果是：
[0040]
本发明提出的wsi制片质量评价指标分割模型对切片质量评价指标(褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质)进行像素级的识别和定位，给出切片质量评价的多标签分类结果。能够减少人工审核时间，为重新扫描或重新染色制片减少时间，为后续数字化阅片、ai分析等一系列的数字化流程提供保障。
附图说明
[0041]
图1是本发明的一种数字病理图像制片质量评价方法的流程图；
[0042]
图2是制片质量评价指标标注示例图；
[0043]
图3a是用于训练的patch示意图，图3b是图3a对应的mask的示意图；
[0044]
图4是本发明的制片质量评价指标测试集语义分割评价dice；
[0045]
图5a-图5c是本发明的切片语义分割可实话对比图，其中，图5a是原图，图5b是标注示意图，图5c是推理图；
[0046]
图6是wsi数字图像制片质量分类方法的流程图。
具体实施方式
[0047]
为了实现本发明的数字病理图像制片质量评价模型，流程图如图1所示，该方法首先对前景区域中的制片质量问题进行标注，指标包括褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质。然后采用滑窗法生成用于训练的图块和对应的mask，然后训练深度学习语义分割模型。应用阶段首先识别出wsi切片识别出前景区域和背景区域，前景区域采用滑窗法送入训练好的分割模型中，拼接出全图的推理结果，根据wsi语义分割结果计算各数字图像质量评价指标的面积，以及在前景区域面积的占比，综合判定数字切片是否合格，并输出评价指标的多标签分类结果。
[0048]
以下结合实施步骤和附图对本发明做详细的说明：
[0049]
步骤s1主要由浙江大学医学院附属第二医院病理医师们收集2021年-2022年日常阅片中切片制片质量合格与不合格的苏木精和伊红(h&e)染色切片。制片不合格是切片中至少存在一种多个区域或多种制片质量问题，制片质量问题包括褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质。制片质量合格切片则不存在上述问题。我们实验最终纳入制片质量合格切片1000张，制片质量不合格切片1000张，得到he染色数字病理切片数据集d；
[0050]
本发明所有数字切片均由kf-pro-400全自动切片扫描仪批量扫描完成。
[0051]
步骤s2：数字切片roi区域选择与数据标注。在数据标注阶段，首先我们3名标注人员经过病理医师的培训和指导，学习、熟悉切片制片质量问题的特点。由于常见制片质量问题几乎不存在于整个切片，因此我们的标注区域并不是全片标注，而是由病理医师根据步骤s1中获得数据集d采用矩形框在数字数字切片中标注roi，即存在制片质量问题的组织区域。然后由专业的标注团队在roi区域里对存在的制片质量问题区域自由采用闭合曲线进行标注，绘制问题区域的外轮廓，标注曲线紧贴问题区域。roi区域中其他区域视为正常合格区域。然后由专业的病理医师对标注结果进行审核，标注不合格的图像再由标注团队进行精修，最终获得标注集as。标注示例如图2所示。合格切片只需标注roi。
[0052]
步骤s3：根据标注信息生成用于训练的图块。数据预处理根据步骤s2中的标注集as，生成用于训练、验证和测试的数据集d
tr
，d
val
，d
te
。首先对标注图像和标注文件处理，生成用于训练语义分割模型的mask。首先在1倍率的数字图像中获取wsi的前景。具体计算公式如下所示：
[0053][0054]
其中，is,ir,ig,ib分别为原始图像的s空间图像，r,g,b通道图像。为对应图像的颜色阈值。最终计算出的i
t
为二值图像，像素真值部分为前景区域，零值部分为切片背景区域。
[0055]
在前景区域中，首先在不合格切片的roi区域内的褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质的标注曲线进行填充，前景区域曲线外的部分作为合格区域，生成标注信息的mask图像。然后采用滑窗法截取10倍率下数字病理图像图块(patch)，窗口大小1024pixelx1024pixel，步长786pixel的patch，同时生成对应位置同样大小的mask图块。若窗口中组织前景的mask占比大于0.3，则作为不合格图块。
[0056]
在合格切片的roi区域内，采用滑窗法截取10倍率下数字图像patch，步长为786pixel，窗口大小为1024pixelx1024pixel。若窗口中组织前景的mask占比大于0.3，则作为合格图块。
[0057]
根据上述生成的图块和对应的mask划分训练集d
tr
，验证集d
val
，测试集d
te
。图块划分的原则是各评价指标的面积在d
tr
，d
val
，d
te
中分布相对均匀。
[0058]
表1是wsi数据在训练集d
tr
，验证集d
val
，测试集d
te
具体分配，同时对应步骤s3生成的图块(patch)在训练集d
tr
，验证集d
val
，测试集d
te
具体分配。
[0059][0060]
表1 wsi切片和patch在训练集d
tr
，验证集d
val
，测试集d
te
上的分布
[0061]
表2是根据mask统计的褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质像素的面积在训练集d
tr
，验证集d
val
，测试集d
te
具体分布，用于训练的图块patch如图3所示。
[0062][0063][0064]
表2质量评价指标的像素面积分布
[0065]
步骤s4：训练质量评价指标的语义分割模型。在训练语义分割模型时，适宜的损失函数直接影响着最终模型的收敛结果。设训练样本d
tr
＝(x,y),模型为h，参数为w。则模型预测的结果h
θ
(x)可以表达为：
[0066]hθ
(x)＝w
t
x
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0067]
用于衡量网络模型所预测给出的值h(w)和真实值y间差异的函数称为代价函数c(w)(也称损失函数loss function)。代价函数是参数w的函数，对于每种算法来说，代价函数不是唯一的，损失函数能够用来评判模型的性能，损失函数越小时意味着模型学习到的数据分布越接近真实训练样本的分布(x,y)。针对制片质量指标分割问题，我们定义如下损失函数loss对问题进行优化，具体表述为
[0068]
l＝l
bce
l
dice
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0069]
其中，l
bce
是二值交叉熵代价函数，设有m个样本，y(i)为样本标签，h
θ
(x(i))为模型预测的结果，则损失函数可表示为
[0070][0071]
l
dice
是相似系数损失，是综合衡量精度以及召回率的一个指标，多被用于图像语义分割任务中。
[0072][0073]
其中，gt为对应图像的标签ground truth，sr为模型进行分割的结果，smooth值为1的标量被引入，以防止分母为0的情况发生。
[0074]
在训练语义分割模型过程中采用随机裁剪为896pixel
×
896pixel、0.5概率进行翻转、伽马变换、高斯模糊、纹理变换的图像增强方法提高模型的泛化能力。训练时优化器为adam，初始学习率0.003，学习率每30％的轮次，学习率减小10倍，采用early stop策略，当验证集loss下降到最低点不再下降时，提前终止训练。
[0075]
医学图像分割常用dice作为衡量指标，它是一种集合相似度度量指标，值域为[0,1]，越接近1表示分割效果越好，最差的时候结果为0。
[0076][0077]
以褶皱为例，褶皱的标注填充的是1，其中tp为褶皱的值与分割得到的掩膜一致即为真阳，fp为标注为其他指标的分割得到的掩膜是1即为假阳，fn为标注的褶皱而分割得到的掩膜不是1即为假阴。在测试集d
te
上得到语义分割dice如图4所示。
[0078]
步骤s5：wsi前景区域检测并计算前景区域的面积aw。wsi全图首先在1倍率下进行前景检测，计算前景区域的面积。提取1倍率下组织学数字病理图像，获取组织前景区域mask。保存为0-1矩阵i
t
，其中前景设定为1，背景设定为0。具体计算公式如下：
[0079][0080]
其中，is,ir,ig,ib分别为原始图像的s空间图像，r,g,b通道图像。为对应图像的颜色阈值。最终计算出的i
t
为二值图像，像素真值部分为前景区域，零值部分为切片背景区域，并计算获得前景区域的面积aw。
[0081]
步骤s6：采用滑窗法推理并拼接语义分割mask。语义根据步骤s5前景区域矩阵i
t
，从矩阵i
t
中用滑窗法，窗口大小为1024pixelx1024pixel，步长768pixel，截取一系列图块，用步骤s5训练的语义分割模型h推理得到图块的掩膜mask，并推理并记录每个图块左上角相对于wsi的坐标。
[0082]
在全图拼接时，采用截取每个预测图块的中心1024pixelx1024pixel的矩形，拼接mask获得全视野数字切片的切片质量评价指标(褶皱、折叠，裂隙，刀痕，污染物，厚度不均匀，空洞，玻片杂质)的语义分割结果，得到切片质量评价指标识别和定位的掩膜mask。
[0083]
步骤s7：推理结果可视化。根据步骤s7中wsi全图推理的mask，与rgb图进行通道融合，每种制片质量问题用不同的颜色表示，获得可视化识别结果。推理可视化如图5所示
[0084]
步骤s8：计算分割的各指标的面积。根据步骤s7中wsi全图推理的mask，计算各个制片质量问题的面积，并跟根据步骤s6计算的前景区域的面积aw，获得各指标的面积占比。
[0085]
步骤s9：预设各指标的面积占比的阈值。根据病理医师的意见、各个制片质量评价指标的特点、不同指标对阅片的影响和语义分割模型的误差，综合计算设定各指标在前景区域的占比，为不同类型的制片质量问题，包括褶皱0.03，折叠0.03，刀痕0.03，裂缝0.02，污染物0.01，空洞0.01，玻片杂质0.01，厚度不均匀0.03。
[0086]
步骤s10：切片多标签分类。制片质量评价是通过制片质量评价指标在前景区域的
面积占比是否大于给定的阈值进行分析的。根据步骤s8中各指标在前景区域的面积占比和步骤s9中设定的阈值，给出不合格切片的多标签类别，同时给出各指标在前景区域的面积占比。wsi切片制片质量评价流程如图6所示。
[0087]
本发明能够解决因制片原因导致的切片质量问题，实现像素级的识别和定位，能够减少人工审核时间，为重新扫描或重新染色制片减少时间，为后续数字化阅片、ai分析等一系列的数字化流程提供保障。
[0088]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。