基于目标检测和热图回归的宫颈念珠菌感染筛查方法与流程

基于目标检测和热图回归的宫颈念珠菌感染筛查方法
【技术领域】
1.本发明属于细胞检测分类技术领域，特别是涉及一种基于目标检测和热图回归的宫颈念珠菌感染筛查方法。


背景技术：

2.薄层细胞学检查(tct)是宫颈念珠菌感染筛查的主要手段。医生使用基于液体的薄层细胞检测技术来诊断收集的细胞，通过病理学知识和自身阅片经验来诊断是否有念珠菌感染。但是子宫颈涂片的人工检查不仅对医生的理论和经验有较高要求，而且为医生造成了巨大的工作负担。因此，开发宫颈念珠菌感染筛查的计算机辅助算法有利于提高念珠菌感染筛查效率。念珠菌呈细长菌丝状，不适应于一般深度学习编码器；念珠菌串联于细胞之间，受细胞遮挡，为计算机处理带来困难；形态上，念珠菌难以与杂质、细胞边缘进行区分。因此，念珠菌感染计算机辅助筛查算法的开发具有挑战性。广泛应用的诸如u-net之类的分割算法或诸如retinanet之类的目标检测算法缺乏对念珠菌图像的特定建模，预测结果都具有局限性。
3.现有技术中，专利公开号为cn113838009a公开了了一种基于半监督机制的异常细胞检测假阳性抑制方法；该方法将宫颈异常筛查分成“细胞-图像-样本”三个阶段。首先，将一个样本的全切片图像裁剪成多个1024
×
1024的视野图，并进行数据增强等预处理；细胞级别，通过的目标检测网络retinanet网络得到疑似异常细胞检测框，以疑似异常细胞检测框为中心向外扩展，并截取出置信度前k的局部图像作为小块细胞图像；视野图级别，对每张视野图中截取的k个小块细胞图像经过标注定位获得单细胞图像块；样本级别，将获得的单细胞图像块为对象，采样mean-teacher分类网络进行分类，实现对可疑异常细胞进行更精准的分类，完成假阳性抑制。该方法主要用于宫颈癌筛查，应用到念珠菌感染筛查时会出现一些问题：由于念珠菌的形态特殊、受细胞遮挡，它的目标检测难度较大；念珠菌与细胞边缘、杂质等难以分类，导致大量假阳；由于数据量的局限，训练svm模型进行分类，模型在测试集种的泛化能力不足。
4.因此，有必要研发一种基于目标检测和热图回归的宫颈念珠菌感染筛查方法来解决上述问题。


技术实现要素：

5.本发明的主要目的在于提供一种基于目标检测和热图回归的宫颈念珠菌感染筛查方法，大大提高了宫颈念珠菌筛查结果的精准度与可靠性，减轻了医务工作者在异常宫颈细胞复核方面的工作量，提高了工作效率。
6.本发明通过如下技术方案实现上述目的：一种基于目标检测和热图回归的宫颈念珠菌感染筛查方法，其包括以下步骤：
7.s1)获取样本数据；
8.s2)对所述对样本数据进行采样、切片得到视野图，并对视野图进行数据增强处
理；
9.s3)将所述视野图送入到训练好的retinanet目标检测模型中，得到第一预测结果与第二预测结果；所述第一预测结果为以候选框的形式体现的疑似念珠菌的位置，所述第二预测结果为所述位置对应的置信度；
10.s4)将所述样本图片划分为设定数量的视野图，将所述视野图送入到训练好的且进行热图回归和分类的多任务学习网络模型中，得到第三预测结果与第三预测结果；所述第三预测结果为所述视野图的热图回归结果，所述第四预测结果为所述视野图的分类结果；
11.s5)计算步骤s3)中预测得到的所有候选框的局部分数，得到所述样本图片整体的分数，对比设定的阈值，得到为阳性或阴性的分类结果。
12.进一步的，所述步骤s2)中数据的增强处理包括翻转、旋转、色彩抖动以及归一化。
13.进一步的，所述步骤s3)中训练好的retinanet目标检测模型的构建包括：
14.s31)提供训练数据，所述训练数据为标注有宫颈念珠菌感染的位置的若干视野图标注数据；
15.s32)使用pytorch官方提供的resnet-50预训练模型进行模型初始化；
16.s33)对所述视野图标注数据进行增强操作，其包括翻转、旋转、色彩抖动以及归一化；
17.s34)训练多次得到retina net目标检测模型。
18.进一步的，所述步骤s4)中所述进行热图回归和分类的多任务学习网络模型的构建包括：
19.s41)提供训练数据，所述训练数据为1024
×
1024尺寸的视野图片，该视野图片经过医学者对疑似念珠菌位置进行标注；将所述视野图片剪切成256
×
256的视野图，得到16个block视野图，进行热图回归标注和分类标注；
20.s42)对热图回归标注数据和分类标注数据进行增强操作，其包括翻转、旋转、色彩抖动以及归一化；
21.s43)冻结多任务学习网络分类子网络部分的参数，用所有有念珠菌感染视野图的热图回归标注数据在多任务学习网络模型中训练多次，保留模型参数；
22.s44)分类子网络解除冻结，用所有视野图的热图回归标注数据和分类标注数据在多任务学习网络模型中训练多次，得到所述进行热图回归和分类的多任务学习网络模型。
23.进一步的，所述步骤s41)中所述热图回归标注的制作包括：
24.s411)用所述retina net目标检测模型对所述256
×
256的视野图进行预测，得到所述256
×
256的视野图上疑似念珠菌的位置框选信息；
25.s412)对于疑似有念珠菌感染的视野图，参考所述疑似念珠菌的位置框选信息，使用pixel annotation tool软件工具，画出念珠菌的中心部分，得到原始注册信息；
26.s413)通过图像膨胀的方法，去除标注过程中产生的缺口，通过高斯函数生成一个高斯核，函数如下式：
[0027][0028]
其中，gaussi(x,y)为第i个中心点产生的高斯核在(x,y)处的像素，σ为设定方差；
用高斯核对上述原始注册信息做卷积，得到念珠菌的高斯热图，即为所述热图回归标注。
[0029]
进一步的，所述步骤s5)中的计算包括：
[0030]
s51)公式(1)：
[0031][0032]
其中，patch
i,j
指视野图中第i个候选框与第j个block交叉部分；heatmap指图像对应的念珠菌热图；sum指对热图的像素值求和；gate
i,j
表示该交叉部分有无念珠菌；
[0033]
s52)公式(2)：
[0034]
patch_crop
i,j
＝block_scorej*gate
i,j
；
[0035]
其中，patch_crop
i,j
表示交叉部分得分；block_scorej是第j个block的局部感染分数，通过uclassnet分类部分输出得到；
[0036]
s53)公式(3)：
[0037][0038]
其中，patch_scorei是第i个候选框的局部感染分数；confidencei是第i个候选框的置信度；square表示局部面积；
[0039]
s54)公式(4)：
[0040]
sorted_score
1...n
＝descending_sort(patch_score
1...n
)；
[0041]
其中，descending_sort表示对所有候选框按分数大小排序；
[0042]
s55)公式(5)：
[0043][0044]
其中，sample_score表示由局部分数计算得到的样本分数；num为设定参数，一般为5；
[0045]
s56)公式(6)：
[0046][0047]
其中，class表示样本的诊断结果，1为阳性，0为阴性；threshold为设定的阈值。
[0048]
进一步的，所述进行热图回归和分类的多任务学习网络模型在训练过程中，取代表高层语义信息的多组特征，通过se模块赋予通道注意力，通过gap模块压缩特征，再利用两个全连接层进行分类。
[0049]
与现有技术相比，本发明一种基于目标检测和热图回归的宫颈念珠菌感染筛查方法的有益效果在于：引入了视野图级的热图回归和分类结果，通过热图将受遮挡的念珠菌预测出一部分；通过分类分数更新置信度，以区分其与细胞边缘和杂质，通过这种方法，实现了有效可靠的假阳性抑制，最终使得样本诊断的各项指标取得大幅度提升，大大提高了宫颈念珠菌筛查结果的精准度与可靠性，减轻了医务工作者在异常宫颈细胞复核方面的工
作量，提高了工作效率。
【附图说明】
[0050]
图1为本发明实施例的框架原理结构图；
[0051]
图2为本发明实施例中多任务学习网络模型的框架原理图；
[0052]
图3为本发明实施例uclassnet预测模型中热图回归标注的制作过程图片效果显示；
[0053]
图4为本发明实施例热图回归结果与语义分割结果的处理效果对比图。
【具体实施方式】
[0054]
实施例：
[0055]
请参照图1，本实施例一种基于目标检测和热图回归的宫颈念珠菌感染筛查方法，其包括以下步骤：
[0056]
s1)获取图像信息并进行预处理：
[0057]
s11)获取待处理样本对应的视野图集；所述视野图集为病人组织全切片图片中的一部分；
[0058]
s12)获取视野图标注、样本标注：医学者在病人组织全切片图片上框选出有宫颈念珠菌感染的位置，构成样本标注数据，所述视野图集上的框选出宫颈念珠菌感染的数据构成视野图标注数据；
[0059]
s2)训练一个retina net目标检测网络模型；该模型是为了获得待检测图片的第一、二预测结果，所述第一预测结果为疑似念珠菌的位置，所述第二预测结果为对应的置信度；
[0060]
s21)使用pytorch官方提供的resnet-50预训练模型进行模型初始化；
[0061]
s22)对步骤s1)中获得的视野图标注数据进行增强操作，其包括翻转、旋转、色彩抖动以及归一化；
[0062]
s23)训练设定轮次(如100轮)得到retina net目标检测模型；
[0063]
利用retina net目标检测模型对待检测图片进行预测，通过非最大值抑制算法去除重叠部分，则可得到疑似念珠菌的位置及置信度；
[0064]
s3)训练同时进行热图回归和视野图级分类的多任务学习网络模型(简称uclassnet)，该多任务学习网络模型的目的是为了得到待检测图片的第三、四预测结果，所述第三预测结果为待检测图片的热图分类结果，所述第四预测结果为待检测图片的分类结果；请参照图2，该网络在uclassnet的基础上，取代表高层语义信息的多组特征，通过se模块赋予通道注意力，通过gap模块压缩特征，再利用两个全连接层进行分类。热图回归部分，我们用念珠菌的热图作为监督信息，采取mseloss(均方差损失)；视野图分类部分，我们用念珠菌的视野图级分类结果作为监督信息，采取bceloss(二元交叉熵损失)。模型训练时，我们先预训练热图回归部分，待模型收敛再加入分类子网络共同训练，这样做可以使得热图回归任务引导分类任务。具体的，包括：
[0065]
s31)将1024
×
1024视野图剪切成256
×
256视野图，进行热图回归标注和分类标注；其中，热图回归标注的制作包括：
[0066]
s311)对于有念珠菌感染的图像，参考retina net目标检测模型所给出的候选框，使用pixel annotation tool软件工具，用细线画出念珠菌的中心部分，得到原始标注信息，如图3中所示；
[0067]
s312)对于原始标注信息，通过图像膨胀的方法，去除标注过程中可能产生的缺口，通过高斯函数生成一个高斯核，函数如下式：
[0068][0069]
其中，gaussi(x,y)为第i个中心点产生的高斯核在(x,y)处的像素，σ为设定方差；用高斯核对上述原始注册信息做卷积，得到念珠菌的高斯热图，如图3右所示，图3中，左侧图片为原图，中间图片为原始标注，右侧图片为生成的高斯热图；
[0070]
分类标注则根据视野图中是否有医学者框选的念珠菌感染位置，若有，则分类标注为“有”，否则分类标注为“无”；
[0071]
s32)对热图回归标注数据和分类标注数据进行增强操作，其包括翻转、旋转、色彩抖动以及归一化；
[0072]
s33)冻结多任务学习网络分类子网络部分的参数，用所有有念珠菌感染视野图的热图回归标注数据训练设定数量轮(如20轮)，保留模型参数；由于念珠菌在视野图面积占比小，提供的信息少，因此热图的训练较为困难，本步骤中先用有念珠菌感染视野图的热图回归标注数据来训练网络，使得网络可以加快收敛速度，提高训练效率；
[0073]
s34)分类子网络解除冻结，用所有视野图的热图回归标注数据和分类标注数据对多任务学习网络训练设定数量轮(如30轮)，得到最终的多任务学习网络模型；
[0074]
利用最终的多任务学习网络模型模型对待检测图片进行预测，则可得到待检测图片的热图回归结果和待检测图片的分类结果；
[0075]
s4)归集四种预测结果并进行最终预测；具体的：
[0076]
s41)通过retina net目标检测模型预测1024
×
1024尺寸的待检测图片视野图上疑似念珠菌的位置和置信度；所述疑似念珠菌的位置以在待检测图片视野图上的候选框形式体现；
[0077]
s42)利用多任务学习网络模型模型对待检测图片视野图分割为的16张256
×
256尺寸视野图(每一个视野图成为block，编号为0～15)进行预测，得到16个视野图的热图回归结果和分类结果；
[0078]
s43)通过计算所有候选框的局部分数，计算待检测图片整体的分数，对比设定的阈值，得到为阳性或阴性的分类结果；其计算包括：
[0079][0080]
patch_crop
i,j
＝block_scorej*gate
i,j
ꢀꢀ
(2)
[0081][0082]
sorted_score
1...n
＝descending_sort(patch_score
1...n
)
ꢀꢀ
(4)
[0083][0084][0085]
其中，patch
i,j
指视野图中第i个候选框与第j个block交叉部分；heatmap指图像对应的念珠菌热图；sum指对热图的像素值求和；gate
i,j
表示该交叉部分有无念珠菌；blockj表示第j个block；patch_crop
i,j
表示交叉部分得分；block_scorej是第j个block的局部感染分数，通过uclassnet分类部分输出得到；patch_scorei是第i个候选框的局部感染分数；confidencei是第i个候选框的置信度；square表示局部面积；descending_sort表示对所有候选框按分数大小排序，n表示候选框的总数；sample_score表示由局部分数计算得到的样本分数；num为设定参数，一般为5；class表示样本的诊断结果，1为阳性，0为阴性；threshold为设定的阈值。
[0086]
上述公式(1)～公式(6)中，由retinanet目标检测网络可以得到第i个候选框的位置和第i个候选框的置信度confidencei；由uclassnet预测模型可以得到其中图像对应的念珠菌热图heatmap和各个block的分类结果block_scorej。
[0087]
为了评估本实施例方法中retina net目标检测模型预测结果的准确性和有效性，本实施例使用了map、recall、precision三个指标，比较了有无预训练和数据增强对结果的影响。其中，map用于描述目标检测整体效果，recall用于描述模型预测成功的目标占所有标签的比例，precision表示模型预测成功的目标占所有预测物体的比例。实验结果如表1所示，第三行为本实施例所采用的训练方法，可见模型通过预训练和数据增强，各方面都取得了进步，map达到了70.9％，recall达到了83.2％，达到基本需求；而precision为24.9％，相对较低，将通过后续方法进行补充。
[0088]
表1
[0089][0090]
为了评估本实施例方法中多任务学习网络模型的视野图分类预测效果，本实施例使用了accuracy、sensitivity、specificity、f1 score四个指标。accuracy和f1 score是对分类效果的整体评价，sensitivity表示了模型对阳性视野图的敏感程度，specificity表示模型可以正确预测的阴性视野图的比例。实验结果如表2所示，本实施例多任务学习网络模型的accuracy达到了84.0％，sensitivity达到了75.3％，specificity达到了91.0％，f1 score达到了81.7％，可见se模块和高层特征的选取对模型提升较大。
[0091]
表2
[0092][0093]
对于多任务学习网络模型，我们对比了使用底层特征或去除se模块的结果，如表2所示。可见，高层特征相比底层特征具有更丰富的语义信息，有利于分类；使用se模块可以计算通道之间的重要程度，以助网络选取更重要的特征。
[0094]
为了评估本实施例方法中多任务学习网络模型的热图回归结果的有效性，我们选取了多张视野图，将其语义分割结果与热图回归结果对比。如图4所示，第一列为原图，第二列为语义分割结果，第三列为热图回归结果，可见热图回归相比语义分割，假阳预测更少。
[0095]
为了评估本实施例方法中最终的视野图分类效果，使用了accuracy、sensitivity、specificity、f1 score四个指标。本实施例对比了本发明提出方法相对于只使用retinanet和只使用uclassnet的进步。实验结果如表3所示，本实施例所采用的retinanet与uclassnet两个预测结果结合得到的分类结果，其accuracy达到了88.75％，sensitivity达到了82.50％，specificity达到了95.00％，f1 score达到了88.00％，相较于其他方法都提升了5％以上。
[0096]
表3
[0097][0098]
对于样本级分类方案，我们对比了仅基于retinanet分类和仅基于uclassnet分类的结果，如表3所示。可见，两种方法都具有一定的局限性，而本实施例提出的方法具有优秀的假阳性抑制效果，因此各项指标都取得了大幅度提升。
[0099]
本实施例为念珠菌感染筛查问题提出了一种新的方案，提出了一种多任务学习网络来进行念珠菌热图回归和视野图级分类，设计了一种结合目标检测、热图回归和分类结果的新指标来评估疑似念珠菌感染程度，并以此进行样本级诊断；经过与基线方法的比较和消融实验，证明了我们方法的显著提升；因此，使用本发明可以对念珠菌感染进行有效的初步筛查，排除大部分无感染症状的样本，大幅度降低医生的工作负担，提高工作效率。
[0100]
本实施例基于目标检测和热图回归的宫颈念珠菌感染筛查方法，引入了视野图级的热图回归和分类结果，通过热图将受遮挡的念珠菌预测出一部分；通过分类分数更新置信度，以区分其与细胞边缘和杂质，通过这种方法，实现了有效可靠的假阳性抑制，最终使得样本诊断的各项指标取得大幅度提升，大大提高了筛查结果的可信度。
[0101]
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。