图像矫正模型的训练方法及切片图像的色彩矫正方法与流程

1.本发明涉及病理切片图像处理技术领域，具体涉及一种图像矫正模型的训练方法及切片图像的色彩矫正方法。


背景技术：

2.病理切片图像，指基于病理切片进行扫描、数字化处理得到的扫描图像。该扫描图像中记载有病理玻片中的图像信息，比如经过特定染色工艺后表征出的特定组织细胞等。目前，数字病理已经在全世界发展迅速，通过扫描病理玻片，将物理玻片转换成数字玻片，再交由病理医生进行远程病理，同时结合人工智能辅助诊断，对玻片进行诊断已经成为行业“潮流“。伴随着深度学习的发展，病理图像通过神经网络学习深度特征，从而实现病理图像预测的方法，已经日渐成熟。但是，在采用人工智能模型进行辅助识别的过程中，由于不同的扫描仪、扫描参数、玻片染色原料等因素影响，往往会导致病理切片图像发生染色偏移，即，采集到的图像色彩分布与人工智能模型训练时采用的训练集的色彩分布不完全一致，进而导致了人工智能模型的误判。
3.现有技术中，针对这一问题通常是在识别之前对采集到的病理切片图像进行色彩转换，从而使得输入人工智能模型的图像染色归一化。比如，中国专利cn201910993386.3公开了一种数字病理图像的染色归一化方法，其是通过将图像由rgb转换为hsd三个通道,使用高斯混合模型量化病理图像的灰度分布,通过最大期望值算法对高斯混合模型进行求解,求出高斯混合模型的最大似然参数估计.根据求解结果变换原始图像的hsd灰度分布,将最终的hsd图像转换为rgb来实现染色归一化。再比如，中国专利cn202111160095.x公开了一种病理切片图像染色归一化方法，其是通过将图像由rgb转换为lab,求出图像的像素强度矩阵,对其进行多尺度同态滤波,求解多尺度平均反射分量,使用颜色平衡算法根据多尺度平均反射分量进行颜色平衡,再通过高斯滤波抑制噪声,将处理后的图像从lab转换为rgb得到染色归一化后的图像。
4.但是，在实际实施过程中，发明人发现，现有技术中的染色归一化处理方法，通常是需要将rgb通道的图像映射至特定色彩空间，再通过数学模型重新映射至rgb通道。这导致了该方法构建的色彩模型相对单一，当在模板图像与待矫正图像之间差异过大时，转换模型无法精确描述两者直接的转换关系,将会影响到归一化后图像的真实性。


技术实现要素：

5.针对现有技术中存在的上述问题，现提供一种图像矫正模型的训练方法，另一方面提供一种切片图像的色彩矫正方法。
6.具体技术方案如下：一种图像矫正模型的训练方法，适用于对切片图像进行色彩矫正，包括：步骤a1：构建所述图像矫正模型，所述图像矫正模型包括生成器和判别器；步骤a2：生成所述图像矫正模型的损失函数；步骤a3：将切片图像输入所述图像矫正模型的所述生成器，所述生成器将所述切片图像从一原始域映射至一目标域以生成目标图像，所述判
别器对所述目标图像的图像质量进行评价以生成第一评分；步骤a4：所述生成器将所述目标图像自所述目标域重新映射回所述原始域以生成重建图像，所述判别器对所述重建图像的图像质量进行评价以生成第二评分；于所述步骤a3和所述步骤a4中，采用所述损失函数分别对所述目标图像和所述重建图像的图像损失进行量化；步骤a5：基于所述损失函数的量化结果、所述第一评分和所述第二评分分别调整所述生成器和所述判别器，随后返回所述步骤a3，直至所述图像矫正模型训练完成。
7.优选地，所述步骤a2包括：步骤a21：分别生成感知损失函数、对抗损失函数、第一交叉熵损失函数、第二交叉熵损失函数和一致性损失函数；步骤a22：根据所述感知损失函数、所述感知损失函数、所述第一交叉熵损失函数、所述第二交叉熵损失函数和所述循环一致性损失函数生成对应于所述生成器的第一损失函数和对应于所述判别器的第二损失函数；步骤a23：分别对所述第一损失函数的第一超参数组和所述第二损失函数的第二超参数组进行迭代，随后输出所述第一损失函数和所述第二损失函数作为所述损失函数。
8.优选地，所述步骤a21中，所述感知损失函数的生成方法包括：采用卷积神经网络分类器分别对所述目标图像提取第一高维特征图，以及对所述重建图像提取第二高维特征图；根据所述第一高维特征图和所述第二高维特征图的均方误差生成所述感知损失函数。
9.优选地，所述步骤a21中，所述对抗损失函数的生成方法包括：；其中，为所述对抗损失函数， 为所述切片图像，为所述判别器针对同一所述切片图像生成的目标图像的输出结果的分布，为基于切片图像生成的目标图像，为所述判别器针对所述目标图像的输出结果的分布，为梯度惩罚的系数，为梯度惩罚项，其中，为所述切片图像到所述目标图像在任意直线方向上的均匀采样值，其生成方法包括：；其中，为随机数，取值范围为[0,1]，为所述切片图像，为基于所述切片图像生成的所述目标图像。
[0010]
优选地，所述步骤a21中，所述第一交叉熵损失函数的生成方法包括：；其中，为所述第一交叉熵损失函数，表示所述判别器在所述生成器固定输入所述切片图像时的输出结果的分布；所述第二交叉熵损失函数的生成方法包括：；其中，为所述第二交叉熵损失函数，为所述目标域中的所述目标图像，为基于所述切片图像生成的所述目标图像，为所述判别器针对相同的所述目标图像时的输出结果的分布。
[0011]
优选地，所述步骤a21中，所述循环一致性损失函数的生成方法包括：；
其中，为所述循环一致性损失函数，为所述切片图像，为根据所述切片图像生成的所述目标图像，为基于所述目标图像重新映射至所述原始域的所述重建图像，为所述目标图像。
[0012]
优选地，所述步骤a22中，所述第一损失函数的生成方法包括：；其中，为所述第一损失函数，为所述对抗损失函数，为第一交叉熵损失函数，为所述第一超参数组中的第一超参数；所述第二损失函数的生成方法包括：；其中，为所述第二损失函数，为所述对抗损失函数，为第二超参数组中的第二超参数，为所述第二交叉熵损失函数，为所述第二超参数组中的第三超参数，为所述循环一致性损失函数。
[0013]
优选地，所述步骤a23包括：步骤a231：采用所述第一损失函数和所述第二损失函数对一验证模型进行预训练，生成预训练模型；步骤a232：对所述预训练模型进行校验并生成校验结果，随后根据所述校验结果进一步生成结构相似度；步骤a233：根据所述结构相似度调整所述第一超参数组和所述第二超参数组；步骤a234：返回所述步骤a231，直至满足迭代条件后将所述第一损失函数和所述第二损失函数作为所述损失函数输出。
[0014]
一种切片图像的色彩矫正方法，应用上述的训练方法训练得到的所述图像矫正模型，包括：步骤b1：对待扫描玻片采集切片图像；步骤b2：将所述切片图像输入所述图像矫正模型，以获得所述图像矫正模型输出的目标图像。
[0015]
上述技术方案具有如下优点或有益效果：通过训练基于循环生成对抗网络生成的图像矫正模型，可直接将切片图像映射至染色归一化后的目标图像，避免了色彩空间转换时造成的图像丢失或映射不准确的问题，并通过调整损失函数实现了较好的训练效果。
附图说明
[0016]
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
[0017]
图1为本发明实施例中训练方法示意图；图2为本发明实施例中步骤a2子步骤示意图；图3为本发明实施例中步骤a23子步骤示意图；图4为本发明实施例中色彩矫正方法示意图。
具体实施方式
[0018]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0020]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0021]
本发明包括：一种图像矫正模型的训练方法，适用于对切片图像进行色彩矫正，如图1所示，包括：步骤a1：构建图像矫正模型，图像矫正模型包括生成器和判别器；步骤a2：生成图像矫正模型的损失函数；步骤a3：将切片图像输入图像矫正模型的生成器，生成器将切片图像从一原始域映射至一目标域以生成目标图像，判别器对目标图像的图像质量进行评价以生成第一评分；步骤a4：生成器将目标图像自目标域重新映射回原始域以生成重建图像，判别器对重建图像的图像质量进行评价以生成第二评分；于步骤a3和步骤a4中，采用损失函数分别对目标图像和重建图像的图像损失进行量化；步骤a5：基于损失函数的量化结果、第一评分和第二评分分别调整生成器和判别器，随后返回步骤a3，直至图像矫正模型训练完成。
[0022]
具体地，针对现有技术中的切片图像染色归一化方法，在实施过程中需要预先将切片图像转换至其他色彩空间，再通过图像处理模型进行处理并映射回原始色彩空间，其容易造成图像信息丢失以及色彩映射不准确等问题，本实施例中，通过引入循环学习对抗网络构建出图像矫正模型，并将实际扫描的切片图像作为原始域图像，将染色归一化后的色彩空间作为目标域，进而通过双向的对抗训练实现了较好的模型训练效果，使得最终生成的图像矫正模型能够直接对切片图像进行染色归一化处理，省去了现有技术中需要对色彩空间进行转换，可能导致图像信息丢失的缺陷。
[0023]
进一步地，通过对损失函数进行调整，从而使得图像矫正模型在训练过程中能够较好的量化模型训练的情况，从而实现较好的训练效果。
[0024]
在实施过程中，上述图像矫正模型基于循环生成对抗网络（cycle generative adversarial networks，cyclegan）生成，主要包括生成器g和判别器d两个部分。其中，生成器g用于将原始域的图像，即，通过扫描设备获取到的切片图像转换至目标域生成目标图像，即，染色归一化处理后的图像，还在训练过程中将目标图像自目标域转换回原始域生成重建图像。在上述周期中，判别器d包括第一判别器和第二判别器，用于分别判断生成的目标图像和重建图像的评分，以此来指导模型的训练过程。其中，第一判别器用于对基于切片图像生成的目标图像与预先构建的、已进行较为准确的染色归一化图像进行比较，根据图像相似度的大小给出对应的相似度评分。第二判别器用于对基于目标图像反向生成的重建图像与原始采集得到的切片图像进行进行比较，并根据相似度大小给出对应的相似度评分。判别器d的评分范围为[0,1]，其中1为真实图像的评分。上述规则具体体现为：其中，x为原始域中的图像，为基于切片图像生成的目标图像，为重建图像，
为目标域中的图像。
[0025]
在一种较优的实施例中，如图2所示，步骤a2包括：步骤a21：分别生成感知损失函数、对抗损失函数、第一交叉熵损失函数、第二交叉熵损失函数和一致性损失函数；步骤a22：根据感知损失函数、感知损失函数、第一交叉熵损失函数、第二交叉熵损失函数和循环一致性损失函数生成对应于判别器的第一损失函数和对应于生成器的第二损失函数；步骤a23：分别对第一损失函数的第一超参数组和第二损失函数的第二超参数组进行迭代，随后输出第一损失函数和第二损失函数作为损失函数。
[0026]
具体地，为实现对模型训练过程较好的评估效果，本实施例中，通过设置感知损失函数、对抗损失函数、第一交叉熵损失函数、第二交叉熵损失函数和一致性损失函数分别生成对应于生成器的第一损失函数和对应于判别器的第二损失函数，以此来实现在训练器过程中分别对生成器和判别器进行较为有效的评估。
[0027]
在一种较优的实施例中，步骤a21中，感知损失函数的生成方法包括：采用卷积神经网络分类器分别对切片图像提取第一高维特征图，以及对目标图像提取第二高维特征图；根据第一高维特征图和第二高维特征图的均方误差生成感知损失函数。
[0028]
具体地，针对切片图像从原始域转换至目标域生成目标图像的过程中，会因为色彩转换导致图像信息丢失的问题，本实施例中，通过在损失函数中添加感知损失来对训练过程中不同域之间的图像转换过程的信息丢失进行量化。具体来说，在生成器g将切片图像自原始域转换至目标域生成目标图像的过程中，还将切片图像和目标图像分别输入卷积神经网络分类器中提取其高维特征，分别生成第一高维特征图和第二高维特征图，随后对其求取均方误差作为感知损失，即，；通过设置该感知损失能够有效地控制模型在生成目标图像时将图像中的显著信息迁移至目标域中。
[0029]
在一种较优的实施例中，步骤a21中，对抗损失函数的生成方法包括：；其中，为对抗损失函数，为切片图像，为判别器针对同一切片图像生成的目标图像的输出结果的分布，为基于切片图像生成的目标图像，为判别器针对目标图像的输出结果的分布，为梯度惩罚的系数，为梯度惩罚项，其中，为切片图像到目标图像在任意直线方向上的均匀采样值，其生成方法包括：；其中，为随机数，取值范围为[0,1]，为切片图像，为基于切片图像生成的目标图像。
[0030]
具体地，为实现较为稳定的训练过程，本实施例中，通过在损失函数中添加了具有梯度惩罚的wasserstein对抗损失函数，通过设置梯度惩罚项来调整输出结果使其符合目标域的经验分布情况，且实现了对原始域的关注。
[0031]
在一种较优的实施例中，步骤a21中，第一交叉熵损失函数的生成方法包括：；其中，为第一交叉熵损失函数，表示判别器在生成器固定输入切片图
像时的输出结果的分布；第二交叉熵损失函数的生成方法包括：；其中，为第二交叉熵损失函数，为目标域中的目标图像，为基于切片图像生成的目标图像，为判别器针对相同的目标图像时的输出结果的分布。
[0032]
具体地，针对原始域和目标域之间的差距，本实施例中，还分别构建了用于优化判别器的第一交叉熵损失函数和用于优化生成器的第二交叉熵损失函数，其中，第一交叉熵损失函数和第二交叉熵损失函数分别代表判别器在原始域与目标域上概率分布的交叉熵，通过设置第一交叉熵损失函数和第二交叉熵损失函数体现出判别器的预测成功率。
[0033]
在实施过程中，在生成第一交叉熵损失函数时，通常采用固定输入一切片图像，并求解不同的生成器参数下会生成的目标图像，同时采用判别器对目标图像生成第一评分，进而获得第一评分的分布，以此来构建第一交叉熵损失函数。同时，在生成第二交叉熵损失函数时，采用固定的生成器对同一输入的切片图像进行处理，此时生成器会生成基于切片图像生成的目标图像。由于生成器和输入的切片图像均保持不变，则目标图像也为固定值，此时，对判别器在该条件下生成的第一评分生成分布来构建第二交叉熵损失函数。
[0034]
在一种较优的实施例中，步骤a21中，循环一致性损失函数的生成方法包括：；其中，为循环一致性损失函数，为切片图像，为根据切片图像生成的目标图像，为基于目标图像重新映射至原始域的重建图像，为目标图像。
[0035]
具体地，为实现较好图像色彩矫正效果，本实施例中，通过在损失函数中添加循环一致性损失函数，使得图像矫正模型输出的目标图像在改变到目标域的同时，较好地保留了切片图像的高维特征。
[0036]
在实施过程中，上述循环一致性损失函数是针对在一种较优的实施例中，步骤a22中，第一损失函数的生成方法包括：；其中，为第一损失函数，为对抗损失函数，为第一交叉熵损失函数，为第一超参数组中的第一超参数；第二损失函数的生成方法包括：；其中，为第二损失函数，为对抗损失函数，为第二超参数组中的第二超参数，为第二交叉熵损失函数，为第二超参数组中的第三超参数，为循环一致性损失函数，为感知损失函数，为第二超参数组中的第四超参数。
[0037]
具体地，为实现对图像矫正模型较好的训练效果，本实施例中，通过在第一损失函数中添加对抗损失函数和第一交叉熵损失函数；在第二损失函数中添加对抗损失函数、第
二交叉熵损失函数、循环一致性损失函数以及感知损失函数，同时通过对第一超参数组和第二超参数组进行调整，从而使得图像矫正模型最终输出的图像细节符合预期，并实现较好的收敛速度。
[0038]
在一种较优的实施例中，如图3所示，步骤a23包括：步骤a231：采用第一损失函数和第二损失函数对一验证模型进行预训练，生成预训练模型；步骤a232：对预训练模型进行校验并生成校验结果，随后根据校验结果进一步生成结构相似度；步骤a233：根据结构相似度调整第一超参数组和第二超参数组；步骤a234：返回步骤a231，直至满足迭代条件后将第一损失函数和第二损失函数作为损失函数输出。
[0039]
具体地，为了在实际的模型训练过程中实现较好的训练效果，本实施例中，还在输出损失函数之前，对第一超参数组和第二超参数组进行迭代。在迭代过程中，选取了结构相似性（structual similarity，ssim）作为衡量生成图像与真实图像细节相似性的衡量指标，并根据衡量结果分别调整第一超参数组和第二超参数组中的超参数。比如，在一个实施例中，当结构相似性较低时，通常表明原始域中的切片图像有部分特征未迁移至目标域中，针对这一情况，可对第二超参数组中的第四超参数进行调整，增加第四超参数的大小以增加感知损失的权重，从而增加对切片图像中高维特征的迁移，以此来实现较好的图像矫正效果。
[0040]
一种切片图像的色彩矫正方法，应用上述的训练方法训练得到的图像矫正模型，如图4所示，包括：步骤b1：对待扫描玻片采集切片图像；步骤b2：将切片图像输入图像矫正模型，以获得图像矫正模型输出的目标图像。
[0041]
具体地，针对现有技术中的切片图像染色归一化方法，在实施过程中需要预先将切片图像转换至其他色彩空间，再通过图像处理模型进行处理并映射回原始色彩空间，其容易造成图像信息丢失以及色彩映射不准确等问题，本实施例中，通过引入循环学习对抗网络构建出图像矫正模型，并采用上述训练方法对模型进行训练，并将实际扫描的切片图像作为模型输入的原始域图像，将染色归一化后的色彩空间作为模型输出的目标域，使得最终生成的图像矫正模型能够直接对切片图像进行染色归一化处理，省去了现有技术中需要对色彩空间进行转换，可能导致图像信息丢失的缺陷。
[0042]
下面结合具体的生产场景对本方案作进一步说明：实施例一：针对一辅助诊断系统，其需要对实验室采集到的玻片进行扫描生成数字图像，再由人工智能模型对病灶细胞进行检测、标注，进而辅助医生诊断。受限于其实际部署的医院、科研院所的地域限制，其所能够采集到的玻片染色试剂存在一定的差异，进而反映到玻片扫描得到的图像并不完全一致。这种差异导致了人工智能模型的识别准确度下降。
[0043]
针对这一情况，通过在辅助诊断系统中添加前置的染色归一化处理模块，针对实际制片过程中可能用到的对应染色原料生成的扫描图像作为多个待矫正域的图像来源，并将人工智能模型本身的训练集所在的色彩空间作为目标域，采用上述训练方法进行人工智能模型的训练过程。基于上述训练过程使得染色归一化处理模块能够根据实际情况进行染色矫正，避免了实际使用过程中染色偏差导致的辅助诊断系统准确度下降的问题。
[0044]
实施例二：针对医学诊断模型的训练过程，其往往需要采用大量的病理图像作为训练集，以
实现较好的训练效果。但是，受限于实际的医疗系统规模，其能够采集到的病理图像相对有限，因此往往需要引入外部来源的训练数据。在这一过程中。由于外部来源的训练数据其扫描参数、染色方法、图像尺寸等信息均不能进行有效的控制，这给医学诊断模型的训练过程造成了一定的困难。
[0045]
针对这一情况，本实施例中，通过设置样本归一化模块，其通过对采集到的外部训练数据进行裁切，形成统一规格的图像大小，并根据数据来源进行分类，每一个类别均对应一个独立的原始域，将训练集所在的色彩空间作为目标域，采用上述的训练方法对图像矫正模型进行训练，使得图像矫正模型能够对不同来源的外部训练数据进行归一化处理，随后将处理后的图像添加至训练集中，实现对训练样本的有效扩充。
[0046]
本发明的有益效果在于：通过训练基于循环生成对抗网络生成的图像矫正模型，可直接将切片图像映射至染色归一化后的目标图像，避免了色彩空间转换时造成的图像丢失或映射不准确的问题，并通过调整损失函数实现了较好的训练效果。
[0047]
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。