一种基于染色条件自适应域的虫卵图像分类方法及装置与流程
本申请实施例涉及显微图像分类领域,尤其涉及一种基于染色条件自适应域的虫卵图像分类方法及装置。
背景技术:
1、在寄生虫卵的自动化识别中,深度学习模型的识别效果高度依赖训练集和测试集的图像分布是否一致。但在真实教学场景下,不同医院、不同实验室、甚至同一实验室不同批次的玻片,染色条件(试剂品牌、浓度配比、染色时间、温度、ph值等)都不尽相同,导致图像在颜色空间里的统计分布出现系统性偏移,由于染色条件无法用显微镜外接的传感器去测,必须从图像内容本身去推断和自适应调整,为此现有的技术方案是采集和利用目标域(待分类图像的染色条件)的图像数据,通过对抗训练或统计对齐,把在多个源域(模型训练图像中包括的多种染色条件)上训练好的模型适配到目标域的分布上。
2、然而在目标域首次部署的冷启动条件下,无法预先获取到目标域的无标注数据给模型进行适配,若要积累新场景下的目标域数据供模型进行统计对齐,则需要长达数周或数月的训练时间,可见现有技术方案仍然无法实现立即处理陌生染色域的图像数据,即现有的分类模型在陌生染色域上的泛化能力较差。
技术实现思路
1、本申请实施例提供了一种基于染色条件自适应域的虫卵图像分类方法及装置,能够在目标域首次部署时无需任何目标域数据即可令分类识别模型实现端到端推理,同时保持模型在跨染色域的分类准确率。
2、第一方面,本申请实施例提供一种基于染色条件自适应域的虫卵图像分类方法,包括:
3、采集多种源域的虫卵染色图像并训练分类判别模型,虫卵染色图像包括携带染色域标签和未携带染色域标签的虫卵染色图像,分类判别模型包括染色条件估计器、特征提取器、分类器和域判别器;训练过程包括:
4、将虫卵染色图像输入染色条件估计器,得到染色条件隐编码;
5、若虫卵染色图像未携带染色域标签,则通过聚类得到对应的聚类域标签;
6、将虫卵染色图像和染色条件隐编码输入特征提取器,得到图像特征并分别输入分类器和域判别器,得到虫卵分类结果和染色域判别结果;特征提取器中的每个残差块之后均设有条件归一化层;
7、基于虫卵染色图像的分类标签、染色域标签或聚类域标签、虫卵分类结果和染色域判别结果更新特征提取器和域判别器;
8、重复训练过程得到训练好的分类判别模型,获取待分类虫卵图像并输入训练好的分类判别模型,得到目标分类结果和目标染色判别结果。
9、可选地,该方法还包括:根据残差块的网络深度为对应的条件归一化层分配递增权重,递增权重用于影响条件归一化层的条件调制强度。
10、可选地,上述将虫卵染色图像输入染色条件估计器,得到染色条件隐编码,包括:染色条件估计器提取虫卵染色图像中的颜色特征向量,并通过3层全连接网络架构将颜色特征向量映射为染色条件隐编码。
11、可选地,该方法还包括:在得到染色条件隐编码后,若虫卵染色图像携带染色域标签,则根据染色条件隐编码和染色域标签计算染色估计损失,根据染色估计损失更新染色条件估计器。
12、可选地,上述基于虫卵染色图像的分类标签、染色域标签或聚类域标签、虫卵分类结果和染色域判别结果更新特征提取器和域判别器,包括:
13、根据虫卵染色图像的分类标签和虫卵分类结果计算分类交叉熵损失;
14、根据染色域判别结果与染色域标签或聚类域标签计算域对抗损失;
15、根据分类交叉熵损失更新特征提取器的网络参数;
16、根据域对抗损失更新域判别器的网络参数。
17、可选地,上述通过聚类得到对应的聚类域标签,包括:
18、采用k-means算法对未携带染色域标签的虫卵染色图像的颜色特征向量进行聚类,得到多个聚类域和每个聚类域对应的标签;
19、将聚类域的标签作为聚类域中各个虫卵染色图像的聚类域标签。
20、可选地,颜色特征向量包括hsv、lab和rgb的空间统计量。
21、第二方面,本申请另一实施例提供一种基于染色条件自适应域的虫卵图像分类装置,包括:
22、训练模块,用于采集多种源域的虫卵染色图像并训练分类判别模型,虫卵染色图像包括携带染色域标签和未携带染色域标签的虫卵染色图像,分类判别模型包括染色条件估计器、特征提取器、分类器和域判别器;
23、推理模块,用于获取待分类虫卵图像并输入重复执行训练模块得到的训练好的分类判别模型,得到目标分类结果和目标染色判别结果;训练模块包括:
24、染色编码单元,用于将虫卵染色图像输入染色条件估计器,得到染色条件隐编码;
25、聚类单元,用于对未携带染色域标签的虫卵染色图像进行聚类,得到虫卵染色图像对应的聚类域标签;
26、分类判别单元,用于将虫卵染色图像和染色条件隐编码输入特征提取器,得到图像特征并分别输入分类器和域判别器,得到虫卵分类结果和染色域判别结果;特征提取器中的每个残差块之后均设有条件归一化层;
27、更新单元,用于基于虫卵染色图像的分类标签、染色域标签或聚类域标签、虫卵分类结果和染色域判别结果更新特征提取器和域判别器。
28、第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,处理器执行计算机程序时执行如上述任一实施例的一种基于染色条件自适应域的虫卵图像分类方法的步骤。
29、第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一实施例的一种基于染色条件自适应域的虫卵图像分类方法的步骤。
30、相较于现有技术,本申请实施例提供的一种基于染色条件自适应域的虫卵图像分类方法具有以下有益效果:首先本申请在分类判别模型的特征提取器中加入条件化归一层,利用条件化归一层根据染色条件隐编码对残差块输出的特征图进行进行自适应缩放和平移,从而将图像特征中的染色差异对分类器决策的影响压到最低;其次,本申请在训练过程中引入未携带染色域标签的虫卵染色图像,通过无监督聚类自动发现染色域,并将聚类域的标签用于域对抗训练,做到了无需目标域标注数据的域泛化,在目标域首次部署时无需任何目标域数据即可令分类识别模型实现端到端推理,同时保持模型在跨染色域的分类准确率。
1.一种基于染色条件自适应域的虫卵图像分类方法,其特征在于,包括:
2.根据权利要求1所述的基于染色条件自适应域的虫卵图像分类方法,其特征在于,还包括:根据所述残差块的网络深度为对应的条件归一化层分配递增权重,所述递增权重用于影响所述条件归一化层的条件调制强度。
3.根据权利要求1所述的基于染色条件自适应域的虫卵图像分类方法,其特征在于,所述将所述虫卵染色图像输入染色条件估计器,得到染色条件隐编码,包括:染色条件估计器提取所述虫卵染色图像中的颜色特征向量,并通过3层全连接网络架构将所述颜色特征向量映射为所述染色条件隐编码。
4.根据权利要求1所述的基于染色条件自适应域的虫卵图像分类方法,其特征在于,还包括:在得到所述染色条件隐编码后,若所述虫卵染色图像携带染色域标签,则根据所述染色条件隐编码和所述染色域标签计算染色估计损失,根据所述染色估计损失更新所述染色条件估计器。
5.根据权利要求1所述的基于染色条件自适应域的虫卵图像分类方法,其特征在于,所述基于所述虫卵染色图像的分类标签、染色域标签或所述聚类域标签、虫卵分类结果和染色域判别结果更新所述特征提取器和所述域判别器,包括:
6.根据权利要求3所述的基于染色条件自适应域的虫卵图像分类方法,其特征在于,所述通过聚类得到对应的聚类域标签,包括:
7.根据权利要求3所述的基于染色条件自适应域的虫卵图像分类方法,其特征在于,所述颜色特征向量包括hsv、lab和rgb的空间统计量。
8.一种基于染色条件自适应域的虫卵图像分类装置,其特征在于,包括:
9.一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述基于染色条件自适应域的虫卵图像分类方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于染色条件自适应域的虫卵图像分类方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com