一种线索细胞的样本增强方法与流程
本技术涉及图像处理,具体涉及一种线索细胞的样本增强方法。
背景技术:
1、随着医疗检测技术的深入发展以及人们对健康关注度的不断提高,妇科健康作为女性健康的重要组成部分,阴道微生态检测作为妇科常见检测项目,通过对阴道分泌物的样本中的菌群及细胞状态进行识别分析,能够为相关健康状态的评估提供重要依据。
2、目前,随着人工智能技术的发展,基于深度学习的计算机辅助分析模型逐步应用于阴道微生态检测中,以期提高检测效率与客观性。然而,在实际临床样本中,线索细胞的检出率远低于正常上皮细胞,在与线索细胞相关的学习模型的训练中阳性样本(线索细胞)与阴性样本(非线索细胞)之间存在严重的不平衡问题,导致深度学习模型难以从有限的阳性样本中充分学习线索细胞的判别性纹理特征,模型泛化能力不足,在实际检测中容易出现漏检等问题。
技术实现思路
1、本技术实施例公开了一种线索细胞的样本增强方法,能够将线索细胞的纹理特征迁移至上皮细胞,使得阴道样本图像中的上皮细胞变化为线索细胞,从而增加阴道样本图像中线索细胞的数量,为与线索细胞相关的学习模型提供足够的训练样本,提升学习模型的检测性能与泛化能力。
2、第一方面,本技术实施例公开了一种线索细胞的样本增强方法,应用于计算机设备,所述方法包括:
3、所述计算机设备获取阴道样本图像;所述阴道样本图像中包含至少一个上皮细胞及至少一个线索细胞;
4、所述计算机设备对所述阴道样本图像中的上皮细胞进行识别,并提取上皮细胞的图像区域,得到第一上皮图像,所述第一上皮图像包含所述至少一个上皮细胞中的任意一个上皮细胞的图像区域;
5、所述计算机设备对所述阴道样本图像中的线索细胞进行识别,并提取线索细胞的图像区域,得到第一线索图像,所述第一线索图像包含所述至少一个线索细胞中的任意一个线索细胞的图像区域;
6、所述计算机设备获取输入提示文本,并根据所述输入提示文本生成初始的文本向量;
7、所述计算机设备通过纹理迁移模型基于所述初始的文本向量,将所述第一线索图像中的纹理特征迁移到所述第一上皮图像中,得到目标细胞图像;
8、所述计算机设备将所述阴道样本图像及所述目标细胞图像进行融合,生成增强后的阴道样本图像;
9、其中,所述纹理迁移模型包括加噪模块及去噪模块;所述加噪模块用于对所述第一线索图像进行多次迭代加噪处理,得到多张参考噪声图,以及对所述第一上皮图像进行多次迭代加噪处理,得到多张源噪声图;
10、所述去噪模块用于将所述加噪模块最后一次加噪处理得到的源噪声图作为初始的生成特征图,并对所述初始的生成特征图进行逆向的多次迭代去噪处理,得到所述目标细胞图像;其中,在每次的去噪处理过程中,根据本次输入的源噪声图及参考噪声图对本次输入的生成特征图进行滤波处理,得到图像特征向量,并基于注意力机制,根据本次输入的文本向量及所述图像特征向量对本次输入的生成特征图进行纹理渲染处理,得到本次输出的生成特征图,并将本次输出的生成特征图作为下一次去噪处理过程输入的生成特征图;第一次去噪处理过程输入的文本向量为所述初始的的文本向量。
11、作为一种可选的实施方式,在本技术实施例的第一方面中,第m次去噪处理过程输入的参考噪声图为第x次加噪处理得到的参考噪声图;第m次去噪处理过程输入的源噪声图为第x次加噪处理得到的源噪声图;所述x为n+1-m;所述m为小于或等于所述n的正整数;所述n为所述加噪模块中进行的加噪处理的总次数;
12、在m大于1且小于或等于p的情况下,第m次去噪处理过程输入的文本向量为第m-1次去噪处理过程输出的文本向量;所述p小于n/2;
13、在m大于所述p且小于或等于所述n的情况下,第m次去噪处理过程输入的文本向量为第p次去噪处理过程输出的文本向量。
14、作为一种可选的实施方式,在本技术实施例的第一方面中,所述去噪模块,还用于:
15、在m大于0且小于或等于p的情况下,根据本次输入的参考噪声图及本次输入的生成特征图之间的特征差异,计算本次去噪处理过程的损失值;
16、通过反向传播计算所述损失值对本次输入的文本向量的梯度;
17、根据所述梯度及动量衰减系数,对本次输入的梯度动量进行更新,确定本次输出的梯度动量,并将本次输出的梯度动量作为下一次去噪处理过程输入的梯度动量;第一次去噪处理过程输入的梯度动量为零向量;
18、基于本次输出的梯度动量对本次输入的文本向量进行微调,得到本次输出的文本向量;
19、根据本次输出的文本向量对本次输入的生成特征图进行去噪,得到本次输出的生成特征图。
20、作为一种可选的实施方式,在本技术实施例的第一方面中,所述去噪模块,还用于:
21、在m大于0且小于或等于p的情况下,根据所述第一上皮图像对应的上皮细胞掩膜,对本次输入的生成特征图进行特征提取,得到局部生成特征序列;
22、根据所述第一线索图像对应的线索细胞掩膜,对本次输入的参考噪声图进行特征提取,得到局部参考特征序列;
23、根据所述局部生成特征序列在各个通道上的特征张量,计算所述局部生成特征序列与各个通道对应的多个生成统计矩;
24、根据所述局部参考特征序列在各个通道上的特征张量,计算所述局部参考特征序列与各个通道对应的多个参考统计矩;
25、根据各个通道对应的多个生成统计矩及对应的多个参考统计矩,计算特征分布的统计损失;
26、确定所述局部生成特征序列对应的生成质心向量,并确定所述局部参考特征序列对应的参考质心向量;
27、根据所述生成质心向量与所述参考质心向量之间的差异,得到特征方向的方向损失;
28、对所述统计损失及所述方向损失进行加权,得到本次去噪处理过程的损失值。
29、作为一种可选的实施方式,在本技术实施例的第一方面中,所述去噪模块,还用于:
30、在m大于所述p且小于或等于所述n的情况下,根据所述第一上皮图像对应的上皮细胞掩膜,将本次输入的参考噪声图及源噪声图进行融合,得到融合特征图;
31、根据所述融合特征图对本次输入的生成特征图进行滤波处理,得到图像特征向量;
32、基于注意力机制,确定本次输入的文本向量对应的文本键向量及文本值向量,并确定所述图像特征向量对应的图像查询向量;
33、根据所述文本键向量、所述文本值向量及所述图像查询向量进行交叉注意力计算,对所述图像特征向量进行纹理渲染,得到纹理特征图;
34、将所述纹理特征图与本次输入的生成特征图融合,得到本次输出的生成特征图。
35、作为一种可选的实施方式,在本技术实施例的第一方面中,所述去噪模块,还用于:
36、根据所述图像查询向量与所述文本键向量的乘积,得到第一分数矩阵;
37、根据所述第一上皮图像对应的上皮细胞掩膜及预设增强系数,对所述第一分数矩阵进行放大,得到第二分数矩阵;
38、将所述第二分数矩阵与所述文本值向量相乘,得到纹理特征图。
39、作为一种可选的实施方式,在本技术实施例的第一方面中,所述对所述阴道样本图像中的上皮细胞进行识别,并提取上皮细胞的图像区域,得到第一上皮图像,包括:
40、对所述阴道样本图像中的上皮细胞进行目标检测,识别出各个上皮细胞的图像区域对应的位置信息;
41、选择任意一个目标上皮细胞,并根据所述目标上皮细胞的图像区域对应的位置信息,将所述目标上皮细胞的图像区域进行裁剪,得到第一上皮图像及所述第一上皮图像对应的初始掩膜。
42、作为一种可选的实施方式,在本技术实施例的第一方面中,所述方法还包括:
43、对所述第一上皮图像对应的初始掩膜中的目标上皮细胞进行边缘检测,得到多个边缘像素点;
44、将各个所述边缘像素点的坐标转换至以所述目标上皮细胞的质心为原点的极坐标系,得到各个所述边缘像素点对应的极坐标,以计算各个所述边缘像素点的极径;
45、从所述多个边缘像素点中随机选取u个目标像素点,并基于均值为负值的高斯分布,沿着各个目标像素点的径向方向对各个目标像素点的极径进行微调,得到微调后的u个目标像素点;所述u为正整数;
46、利用三次样条曲线将所述微调后的u个目标像素点进行曲线拟合,得到第一细胞边缘曲线;
47、根据所述第一细胞边缘曲线,对所述第一上皮图像对应的初始掩膜进行形变,得到所述第一上皮图像对应的上皮细胞掩膜。
48、作为一种可选的实施方式,在本技术实施例的第一方面中,所述将所述阴道样本图像及所述目标细胞图像进行融合,生成增强后的阴道样本图像,包括:
49、获取所述目标细胞图像对应的目标细胞掩膜;
50、根据所述目标细胞掩膜,构建权重矩阵;
51、根据所述权重矩阵及所述第一上皮图像对应的位置信息,将所述目标细胞图像融合到所述阴道样本图像,得到增强后的阴道样本图像。
52、作为一种可选的实施方式,在本技术实施例的第一方面中,所述根据所述目标细胞掩膜,构建权重矩阵,包括:
53、对所述目标细胞掩膜中的线索细胞进行识别,确定所述目标细胞掩膜中的线索细胞的掩膜边缘对应的第二细胞边缘曲线;
54、计算所述目标细胞掩膜中每个像素点到所述第二细胞边缘曲线之间的第一距离;
55、计算所述目标细胞掩膜中每个像素点到所述目标细胞掩膜对应的掩膜边缘之间的第二距离;
56、根据所述目标细胞掩膜中每个像素点对应的空间距离,确定所述目标细胞掩膜中每个像素点对应的融合权重,以构建权重矩阵;所述像素点对应的空间距离为对应的第一距离与对应的第二距离之间的最小值;
57、其中,在所述第二细胞边缘曲线内的像素点对应的融合权重为第一权重值;在所述第二细胞边缘曲线与所述目标细胞掩膜对应的掩膜边缘之间的像素点对应的融合权重,与像素点对应的空间距离呈正相关。
58、第二方面,本技术实施例公开了一种线索细胞的样本增强装置,应用于计算机设备,所述装置包括:
59、图像获取模块,用于获取阴道样本图像;所述阴道样本图像中包含至少一个上皮细胞及至少一个线索细胞;
60、细胞识别模块,用于对所述阴道样本图像中的上皮细胞进行识别,并提取上皮细胞的图像区域,得到第一上皮图像,所述第一上皮图像包含所述至少一个上皮细胞中的任意一个上皮细胞的图像区域;
61、所述细胞识别模块,还用于对所述阴道样本图像中的线索细胞进行识别,并提取线索细胞的图像区域,得到第一线索图像,所述第一线索图像包含所述至少一个线索细胞中的任意一个线索细胞的图像区域;
62、文本获取模块,用于获取输入提示文本,并根据所述输入提示文本生成初始的文本向量;
63、纹理迁移模块,用于通过纹理迁移模型基于所述初始的文本向量,将所述第一线索图像中的纹理特征迁移到所述第一上皮图像中,得到目标细胞图像;
64、样本增强模块,用于将所述阴道样本图像及所述目标细胞图像进行融合,生成增强后的阴道样本图像;
65、其中,所述纹理迁移模型包括加噪模块及去噪模块;所述加噪模块用于对所述第一线索图像进行多次迭代加噪处理,得到多张参考噪声图,以及对所述第一上皮图像进行多次迭代加噪处理,得到多张源噪声图;所述去噪模块用于将所述加噪模块最后一次加噪处理得到的源噪声图作为初始的生成特征图,并对所述初始的生成特征图进行逆向的多次迭代去噪处理,得到所述目标细胞图像;其中,在每次的去噪处理过程中,根据本次输入的源噪声图及参考噪声图对本次输入的生成特征图进行滤波处理,得到图像特征向量,并基于注意力机制,根据本次输入的文本向量及所述图像特征向量对本次输入的生成特征图进行纹理渲染处理,得到本次输出的生成特征图,并将本次输出的生成特征图作为下一次去噪处理过程输入的生成特征图;第一次去噪处理过程输入的文本向量为所述初始的的文本向量。
66、第三方面,本技术实施例公开了一种计算机设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上任一实施例所述的方法。
67、第四方面,本技术实施例公开了一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,所述计算机程序被处理器执行时实现如上任一实施例所述的方法。
68、第五方面,本技术实施例公开了计算机程序产品,包括计算机程序,且所述计算机程序被处理器执行时实现如上所述的方法。
69、在本技术实施例中,计算机设备通过纹理迁移模型,基于输入提示文本生成的文本向量,将第一线索图像中的线索细胞的纹理特征迁移到第一上皮图像中的上皮细胞上,能够在保持上皮细胞原有宏观骨架与背景结构的前提下,在上皮细胞上渲染线索细胞特有的边缘毛刺与颗粒状粗糙纹理,使得所生成的目标细胞图像中包含的细胞图像符合临床真实线索细胞的形态学表征。并且,由于被迁移的纹理特征来源于阴道样本图像中真实存在的线索细胞,所生成的目标细胞图像中的纹理特征能够与阴道样本图像中实际的线索细胞在形态、纹理分布及染色等特征上保持一致,保证了增强后的阴道样本图像中线索细胞的真实性和生物学可信度。将目标细胞图像与阴道样本图像融合后,能够增加阴道样本图像中线索细胞的样本数量,在无需额外采集阴道样本的前提下,为与线索细胞相关的学习模型提供足够的训练样本,提升学习模型的检测性能与泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com