图像处理模型的训练方法、装置、设备及存储介质与流程

1.本技术实施例涉及人工智能技术领域，特别涉及一种图像处理模型的训练方法、装置、设备及存储介质。


背景技术：

2.目前，人工智能技术已经开始应用到细胞学诊断上，以辅助病理医生进行诊断。其中，病变细胞的识别，对细胞学诊断有着重要影响。
3.相关技术基于有标签的图像（如带有病变细胞标注的图像），对模型进行训练，得到可识别病变细胞的模型。例如，基于wsi（whole slide images，全视野数据切片）对应的有标签的图像，对模型进行训练。然而，由于细胞形态的复杂性和图像的特殊性，该标签需要专业的、经验丰富的病理医生经过反复查看与确定才可获得，因此，有标签的图像非常有限。在有标签的图像有限的情况下，模型的准确度也会受限，模型的识别准确度不高。


技术实现要素：

4.本技术实施例提供了一种图像处理模型的训练方法、装置、设备及存储介质，能够提高图像处理模型的鲁棒性和泛化性，以及提高图像处理模型的识别准确度，所述技术方案可以包括如下内容。
5.根据本技术实施例的一个方面，提供了一种图像处理模型的训练方法，所述图像处理模型包括学生检测网络、老师检测网络和域分类网络；所述方法包括：通过所述学生检测网络对有标签的源域图像进行处理，得到所述源域图像的学生预测结果，所述源域图像的学生预测结果用于指示所述源域图像中目标对象的学生预测位置和学生预测类别；通过所述学生检测网络和所述老师检测网络分别对无标签的目标域图像进行处理，得到所述目标域图像的学生预测结果和老师预测结果；其中，所述目标域图像的学生预测结果用于指示所述目标域图像中所述目标对象的学生预测位置和学生预测类别，所述目标域图像的老师预测结果用于指示所述目标域图像中所述目标对象的老师预测位置和老师预测类别；通过所述域分类网络对所述学生检测网络得到的所述源域图像的特征信息和所述目标域图像的特征信息分别进行判断，得到所述源域图像的域分类结果和所述目标域图像的域分类结果；根据所述源域图像的学生预测结果、所述目标域图像的学生预测结果和老师预测结果，以及所述域分类结果，对所述图像处理模型进行训练。
6.根据本技术实施例的一个方面，提供了一种图像处理模型的训练装置，所述图像处理模型包括学生检测网络、老师检测网络和域分类网络；所述装置包括：源域图像处理模块，用于通过所述学生检测网络对有标签的源域图像进行处理，得到所述源域图像的学生预测结果，所述源域图像的学生预测结果用于指示所述源域图像
中目标对象的学生预测位置和学生预测类别；目标域图像处理模块，用于通过所述学生检测网络和所述老师检测网络分别对无标签的目标域图像进行处理，得到所述目标域图像的学生预测结果和老师预测结果；其中，所述目标域图像的学生预测结果用于指示所述目标域图像中所述目标对象的学生预测位置和学生预测类别，所述目标域图像的老师预测结果用于指示所述目标域图像中所述目标对象的老师预测位置和老师预测类别；分类结果获取模块，用于通过所述域分类网络对所述学生检测网络得到的所述源域图像的特征信息和所述目标域图像的特征信息分别进行判断，得到所述源域图像的域分类结果和所述目标域图像的域分类结果；处理模型训练模块，用于根据所述源域图像的学生预测结果、所述目标域图像的学生预测结果和老师预测结果，以及所述域分类结果，对所述图像处理模型进行训练。
7.根据本技术实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述图像处理模型的训练方法。
8.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述图像处理模型的训练方法。
9.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理模型的训练方法。
10.本技术实施例提供的技术方案至少包括如下有益效果。
11.本技术通过基于有标签的源域图像和无标签的目标域图像，即可完成对图像处理模型的训练，使得在有标签的源域图像的数量有限的情况下，亦可通过大量的无标签的目标域图像，获取高识别准确度的图像处理模型，相比于相关技术仅仅依靠少量的有标签的源域图像，采用本技术实施例提供的技术方案，可以有效提高图像处理模型的识别准确度。同时，本技术只需少量的有标签的源域图像，从而可以有效降低图像处理模型的训练成本，以及使得有标签的源域图像可以被更加高效地利用。
12.另外，本技术通过基于有标签的源域图像和无标签的目标域图像，对图像处理模型进行训练，使得训练好的图像处理模型既可以处理源域图像，又可以处理目标域图像，进而提高了图像处理模型的泛化性。同时，利用多个域的图像，对图像处理模型进行训练，可以使得图像处理模型对应的网络特征具有域不变性，从而提升了图像处理模型在目标域的鲁棒性。
附图说明
13.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是本技术一个实施例提供的方案实施环境的示意图；图2是本技术一个实施例提供的域分类器的示意图；图3是本技术一个实施例提供的图像处理模型的训练方法的流程图；图4是本技术一个实施例提供的图像处理模型的示意图；图5是本技术另一个实施例提供的图像处理模型的训练方法的示意图；图6是本技术一个实施例提供的图像处理模型的训练装置的框图；图7是本技术一个实施例提供的计算机设备的结构示意图。
具体实施方式
15.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
16.人工智能（artificial intelligence，ai）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
17.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
18.计算机视觉技术（computer vision，cv）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr（optical character recognition，光学字符识别）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d（3-dimension，三维）技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
19.机器学习（machine learning，ml）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
20.本技术实施例提供的技术方案涉及人工智能的机器学习和计算机视觉等技术，利用计算机视觉技术对图像进行特征提取，再利用机器学习技术训练图像处理模型（如图像处理模型中的学生检测网络、老师检测网络和域分类网络），进而通过训练完成的老师检测网络实现图像的识别任务。
21.本技术实施例提供的方法，各步骤的执行主体可以是计算机设备，该计算机设备
是指具备数据计算、处理和存储能力的电子设备。该计算机设备可以是诸如pc（personal computer，个人计算机）、平板电脑、智能手机、可穿戴设备、智能机器人等终端；也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。
22.本技术实施例提供技术方案适用于任何难以获取大量有标签的图像的任务中，诸如细胞学诊断任务、病变细胞识别任务、医学图像分割任务、细胞分割任务等。下面将对本技术实施例提供的图像处理模型的训练方法进行详细介绍说明。
23.请参考图1，其示出了本技术一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括模型训练设备10和模型使用设备20。
24.模型训练设备10可以是诸如pc、电脑、平板电脑、服务器、智能机器人等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备10用于对图像处理模型30进行训练。
25.在本技术实施例中，图像处理模型30是用于图像处理的神经网络模型。示例性地，该图像处理模型30是用于对病变细胞进行识别的神经网络模型。例如，图像处理模型30可以从待识别的细胞切片图像中检测病变细胞的位置和类别。可选地，模型训练设备10可以采用机器学习的方式对该图像处理模型30进行训练，以使得其具备较好的性能。
26.上述训练完成的图像处理模型30可部署在模型使用设备20中使用，以提供图像的识别结果。模型使用设备20可以是诸如手机、电脑、智能电视、多媒体播放设备、可穿戴设备、医疗设备等终端设备，也可以是服务器，本技术对此不作限定。
27.在一些实施例中，如图1所示，图像处理模型30可以包括学生检测网络31、老师检测网络32和域分类网络33。
28.学生检测网络31可以是一个神经网络，其可用于对图像进行处理，得到目标对象在图像中的预测位置和预测类别。示例性地，学生检测网络31可以是一个单阶段的目标检测网络，诸如retinanet等。该学生检测网络31可以包括一个用于特征提取的主干网络、一个用于类别分类的第一子网络和一个用于目标位置回归的第二子网络。
29.其中，主干网络可以在resnet-50的基础上，结合fpn（feature pyramid networks，特征金字塔）来构建，如此可以通过fpn按照自上而下的路径以及横向连接，进行多尺度特征融合，以实现卷积网络的特征提取能力的增强。第一子网络用于基于主干网络所获取到的特征图，对目标对象在图像中的位置进行识别，得到目标对象的预测位置。第二子网络用于基于主干网络所获取到的特征图，对目标对象的类别进行识别，得到目标对象的预测类别。可选地，主干网络也可以替换为其他网络结构，诸如resnet-101、efficientnet、swin-transformer等，本技术实施例对此不作限定。
30.在一些可行的实施例中，学生检测网络31还可以替换为其他形式的检测模型，诸如faster r-cnn等，本技术实施例对此不作限定。
31.老师检测网络32可以是一个和学生检测网络31的网络结构相同、但网络参数不同的检测网络，其也可用于对图像进行处理，得到目标对象在图像中的预测位置和预测类别。如此可以在学生检测网络31和老师检测网络32之间形成一致性约束，进而实现基于图像，对学生检测网络31和老师检测网络32在一致性约束下进行优化。
32.可选地，老师检测网络32的预测结果可以作为学生检测网络31的伪标签信息，监
督学生检测网络31的训练。同时，老师检测网络32的网络参数，可以基于学生检测网络31的网络参数进行优化，以得到识别准确度更高的老师检测网络32。例如，可以采用指数加权平均算法，基于学生检测网络31的网络参数，来优化老师检测网络32的网络参数。
33.参考图2，域分类网络33可以包括梯度反向层和域分类器。其中，域分类器可以由4个block与一个1*1卷积组成，每个block由卷积（conv）-组归一化（gn）-激活函数（relu）组成。域分类器的输出通过softmax函数归一化为类别预测概率值分布。可选地，域分类网络33可以为一个多尺度域分类器，其可以和学生检测网络301中的fpn连接，域分类网络33将fpn的输出（如图2中的p3-p7层对应的特征图，即多尺度特征图）作为输入，以对图像对应的多个不同尺度的特征图进行域的判断。在本技术实施例中，域分类网络33可以对一个或多个域的图像进行判断。以细胞学诊断为例，每个域可以是指不同的拍摄设备，每个域也可以是指不同的医院，每个域还可以是指细胞切片的不同制作流程，本技术实施例对此不作限定。
34.可选地，域分类网络33还可以替换为单层特征的域分类网络。域分类网络中的block的数量可以适应性调整，域分类网络对应的域的分类可以是多个，本技术实施例对此不作限定。
35.在本技术实施例中，图像处理模型30的输入包括有标签的源域图像和无标签的目标域图像。模型训练设备10，基于学生检测网络31针对源域图像和目标域图像的输出结果、老师检测网络32针对目标域图像的输出结果和域分类网络33针对源域图像和目标域图像的输出结果，对图像处理模型30进行训练，得到训练完成的图像处理模型30。可选地，在图像处理模型30完成训练之后，可以基于老师检测网络32的结构和参数，构建目标检测模型，该目标检测模型用于从待识别图像中检测目标对象的位置和类别。将目标检测模型部署在模型使用设备20中使用，即可通过模型使用设备20执行图像识别任务。
36.其中，源域图像是指源域对应的图像，目标域图像是指目标域对应的图像，不同域的图像之间往往存在较大的差异，本技术可以将任一域对应的图像确定为源域图像（前提是该域对应的图像具有标签），将剩余的域对应的图像确定为目标域图像。例如，在病变细胞的识别场景下，以医院进行域的划分，源域图像可以是指任一医院中带有标签的细胞切片图像，目标域图像可以是指除该医院之外的任一医院的细胞切片图像。可选地，图像处理模型30的输入可以包括一个或多个目标域分别对应的图像。域的分类的数量可以等于1（对应于源域） 目标域的数量。
37.下面，将通过方法实施例对本技术技术方案进行介绍说明。
38.请参考图3，其示出了本技术一个实施例提供的图像处理模型的训练方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型训练设备。该方法可以包括如下几个步骤（301~304）。
39.步骤301，通过学生检测网络对有标签的源域图像进行处理，得到源域图像的学生预测结果，该源域图像的学生预测结果用于指示源域图像中目标对象的学生预测位置和学生预测类别。
40.其中，学生预测位置是指学生检测网络所预测的目标对象在图像中的位置，学生预测类别是指学生检测网络所预测的目标对象的类别。源域图像中目标对象可以是指源域图像中的任一对象。在本技术实施例中，该目标对象可以是指设计人员所指定类别的对象，
诸如细胞切片图像中的病变细胞。上述标签可用于指示目标对象在源域图像中的真实位置、目标对象的真实类别，以及源域图像所属的域。
41.示例性地，记有标签数据的域为源域：；其中，表示来自源域有标签的图像集（如细胞切片图像集），源域图像的大小可以为1280*720。代表图像对应的标签集，包括源域图像中目标对象的真实位置（x1，x2，y1，y2）和真实类别，（x1，y1），（x1，y2）分别是目标对象的外接矩形的左上和左下顶点坐标。
42.学生检测网络和源域图像与上述实施例介绍相同，本技术实施例未说明的内容，可以参考上述实施例，这里不再赘述。
43.示例性地，参考图4，图像处理模型400包括学生检测网络401、老师检测网络402和域分类网络403。通过学生检测网络401对源域图像进行特征提取，得到源域图像对应的多尺度特征图集合，多尺度特征图集合中包括不同尺度的特征图，学生检测网络401再基于不同尺度的特征图，对源域图像中目标对象的位置和类别进行预测，得到源域图像中目标对象的学生预测位置1和学生预测类别1。
44.步骤302，通过学生检测网络和老师检测网络分别对无标签的目标域图像进行处理，得到目标域图像的学生预测结果和老师预测结果；其中，目标域图像的学生预测结果用于指示目标域图像中目标对象的学生预测位置和学生预测类别，目标域图像的老师预测结果用于指示目标域图像中目标对象的老师预测位置和老师预测类别。
45.目标域图像中目标对象和源域图像中目标对象可以是指同一类别的对象。目标域图像的学生预测结果对应的目标对象和目标域图像的老师预测结果对应的目标对象相同。老师预测位置可以是指老师检测网络所预测的目标对象在图像中的位置，老师预测类别可以是指老师检测网络所预测的目标对象的类别。
46.可选地，在目标域具有多个的情况下，可以将多个目标域记为n个目标域：，，
…
，，其中，代表第n个目标域对应的图像集合，目标域图像的大小也可以为1280*720。
47.老师检测网络和目标域图像与上述实施例介绍相同，本技术实施例未说明的内容，可以参考上述实施例，这里不再赘述。
48.示例性地，参考图4，通过学生检测网络401对目标域图像进行特征提取，得到目标域图像对应的多尺度特征图集合，学生检测网络401再基于多尺度特征图集合，对目标域图像中目标对象的位置和类别进行预测，非极大值抑制后得到目标域图像中目标对象的学生预测位置2和学生预测类别2。通过老师检测网络402对目标域图像进行特征提取，得到目标域图像对应的多尺度特征图集合，老师检测网络402再基于多尺度特征图集合，对目标域图像中目标对象的位置和类别进行预测，非极大值抑制后得到目标域图像中目标对象的老师预测位置和老师预测类别。
49.可选地，在对目标域图像进行处理之前，还可以对目标域图像进行数据增强，其具体内容可以如下：采用第一数据增强方式和第二数据增强方式，分别对目标域图像进行处理，得到第一处理后的目标域图像和第二处理后的目标域图像；其中，第一数据增强方式的增强强度，大于第二数据增强方式的增强强度；通过学生检测网络对第一处理后的目标域图像进行处理，得到目标域图像的学生预测结果；通过老师检测网络对第二处理后的目标
域图像进行处理，得到目标域图像的老师预测结果。
50.其中，数据增强是一种通过对图像进行一定幅度的修改，以得到新的图像的方法，诸如裁剪、翻转、换色、缩放、移位、增加高斯噪声等。根据修改的幅度，可以将数据增强划分为弱数据增强和强数据增强。
51.在本技术实施例中，第一数据增强方式即为强数据增强，第二数据增强方式即为弱数据增强方式。通过老师检测网络对弱数据增强后的目标图像进行处理，可以有效提高老师检测网络的识别准确性，通过学生检测网络对强数据增强后的目标图像进行处理，可以有效提高学生检测网络的鲁棒性，进而有利于提高老师检测网络的鲁棒性。
52.步骤303，通过域分类网络对学生检测网络得到的源域图像的特征信息和目标域图像的特征信息分别进行判断，得到源域图像的域分类结果和目标域图像的域分类结果。
53.域分类网络可用于对图像的域进行判断。例如，域分类网络可用于判断待识别图像是来自源域还是目标域。可选地，域分类网络可以包括梯度反向层和域分类器，域分类器用于基于学生检测网络得到的源域图像的特征信息和目标域图像的特征信息，对源域图像和目标域图像的域进行判断，得到源域图像的域分类结果和目标域图像的域分类结果。梯度反向层用于在对域分类网络和检测网络（学生检测网络 老师检测网络）进行联合训练时，将域分类网络的梯度优化方向反向传播给检测网络。其中，域分类结果用于指示图像所属的域。
54.上述特征信息即是指学生检测网络中的主干网络所提取到的多尺度特征集合，也即上述特征信息包括多个不同尺度的特征图。可选地，域分类结果的获取过程还可以如下：通过域分类网络对学生检测网络得到的源域图像的多个不同尺度的特征图分别进行判断，得到源域图像的多个域分类结果；通过域分类网络对学生检测网络得到的目标域图像的多个不同尺度的特征图分别进行判断，得到目标域图像的多个域分类结果。
55.例如，参考图4，通过学生检测网络402分别对源域图像和目标域图像进行特征提取，得到源域图像对应的5种不同尺度的特征图，以及目标域图像对应的5种不同尺度的特征图。域分类网络403中的域分类器分别对该10个特征图进行判断，得到10个域分类结果。
56.步骤304，根据源域图像的学生预测结果、目标域图像的学生预测结果和老师预测结果，以及域分类结果，对图像处理模型进行训练。
57.在本技术实施例中，通过结合对抗特征学习和一致性约束，对图像处理模型进行训练，以使得训练完成的图像处理模型可以用于对不同域的图像进行准确地识别。示例性地，可以采用有监督学习的方法、对抗特征学习方法和跨域的半监督学习方法，对老师检测网络、学生检测网络和域分类网络进行联合优化训练，从而实现可以基于少量的有标签的源域图像和目标域图像，即可完成图像处理模型的训练，从而实现了在降低图像处理模型的训练成本的同时，确保了图像处理模型的准确度、泛化性和鲁棒性。可选地，步骤304还可以包括如下几个子步骤。
58.步骤304a，根据源域图像的学生预测结果和源域图像的标签信息，确定目标分类损失和位置回归损失；其中，目标分类损失用于以源域图像的位置标签信息为基准，衡量学生检测网络在源域图像上的类别预测准确性，位置回归损失用于以源域图像的类别标签信息为基准，衡量学生检测网络在源域图像上的位置预测准确性。
59.源域图像的标签信息用于指示目标对象的真实位置（对应位置标签信息）和真实
类别（对应类别标签信息）。基于源域图像的学生预测位置和真实位置之间的差异，即可确定目标分类损失，以及基于源域图像的学生预测类别和真实类别之间的差异，即可确定位置回归损失。
60.例如，参考图4，采用smooth-l1损失函数（光滑之后的l1范数损失函数，即光滑之后的最小绝对值偏差），基于学生预测位置1和真实位置之间的差异，计算得到位置回归损失，记为。采用焦点损失方法，基于学生预测类别1和真实类别之间的差异，计算得到目标分类损失，记为。其中，焦点损失方法可用于解决正负样本不平衡的问题，有利于进一步提高图像处理模型的识别准确度。
61.步骤304b，根据目标域图像的学生预测结果和老师预测结果，确定比较损失；其中，比较损失用于以目标域图像的老师预测结果作为伪标签信息，衡量学生检测网络在目标域图像上的类别和位置预测准确性。
62.伪标签信息用于代替真实标签信息作为监督信息。由于伪标签信息的质量对模型的训练效果影响非常大，因此，在本技术实施例中，需要对目标图像的老师检测结果进行样本筛选。示例性地，可以从多个目标域图像中，选取目标域图像的老师预测结果大于或等于概率阈值的目标域图像；其中，被选取的目标域图像的学生预测结果和老师预测结果，用于确定比较损失。
63.例如，老师预测类别可用于指示目标对象的类别，在老师预测类别对应的预测概率值大于或等于概率阈值的情况下，可以判断该目标对象大概率属于该概率阈值对应的类别。因此，可以将老师预测类别对应的预测概率值大于或等于概率阈值的目标域图像保留下来，将老师预测类别对应的预测概率值小于概率阈值的目标域图像进行剔除，得到被选取的目标域图像，并基于选取的目标域图像的学生预测结果和老师预测结果，来确定比较损失。
64.可选地，上述概率阈值可以根据实际使用需求进行设置与调整，诸如95%、96%、97%等。如此，通过高概率阈值，基于老师预测类别对应的预测概率值，对目标域图像进行筛选，可以筛选掉不太准确的预测结果，从而有利于提高模型的识别准确度。
65.在一个示例中，可以采用sfl（softer focal loss，软焦点损失）算法，基于目标域图像的学生预测结果和老师预测结果，计算得到比较损失。示例性地，可以根据目标域图像的学生预测结果和老师预测结果之间的概率差距，以及权重参数，确定比较损失；其中，权重参数依据目标域图像的老师预测结果动态调节。
66.该比较损失可以表示如下：；其中，为对比损失，target用于指示是否存在目标对象，target=1表示目标域图像中存在目标对象，target=0表示目标域图像中不存在目标对象，为目标域图像对应的老师预测类别对应的预测概率值，为目标域图像对应的学生预测类别对应的预测概率值，为目标域图像的学生预测结果和老师预测结果之间的概率差距，为权重参数，，和为权重（如，和可以分
别取0.75和0.25）。
67.例如，参考图4，采用sfl（softer focal loss，软焦点损失）算法，基于目标域图像的老师预测类别对应的预测概率值和学生预测类别2对应的预测概率值，即可计算得到比较损失。
68.步骤304c，根据域分类结果和域分类标签，确定域分类损失；其中，域分类损失用于衡量域分类网络的域分类准确性。
69.域分类标签用于指示图像的真实域。可选地，可以采用交叉熵损失函数，基于域分类结果和域分类标签，计算得到域分类损失，记为。
70.例如，参考图4，在图像处理模型的输入只有一个目标域对应的图像的情况下，域分类网络403输出了10个域分类结果，其中，5个域分类结果对应源域图像，剩余5个域分类结果对应目标域图像。采用交叉熵损失函数分别基于该10个域分类结果和该10个域分类结果对应的域分类标签，计算得到10个子域分类损失，对该10个子域分类损失进行求和，得到域分类损失。
71.步骤304d，根据目标分类损失、位置回归损失、比较损失和域分类损失，对图像处理模型进行训练。
72.在本技术实施例中，可以对图像处理模型进行两阶段的迭代训练。
73.第一阶段：在利用有标签的源域图像训练学生检测网络的同时，利用有标签的源域图像和无标签的目标域图像，对域分类网络和学生检测网络进行联合优化训练。示例性地，基于目标分类损失、位置回归损失和域分类损失，确定第一阶段对应的总损失，该总损失可以表示如下：；此时，可以基于有标签的源域图像进行有监督学习，同时基于源域图像和目标域图像进行域适应学习。可选地，在第一阶段的训练过程中，可以先根据第一阶段对应的总损失确定域分类网络的参数调整梯度，并基于域分类网络的参数调整梯度对域分类网络的参数进行调整。再根据域分类网络的参数调整梯度，采用grl（gradient reversal layer，梯度反向层）确定学生检测网络的参数调整梯度，以及基于学生检测网络的参数调整梯度对学生检测网络的参数进行调整。在经过多轮迭代训练之后，完成图像处理模型的第一阶段训练。
74.第二阶段：在利用有标签的源域图像训练学生检测网络的同时，利用有标签的源域图像和无标签的目标域图像，对域分类网络和学生检测网络联合优化训练，以及利用约束一致性，基于无标签的目标域图像，对学生检测网络和老师检测网络进行训练。示例性地，可以根据目标分类损失、位置回归损失、比较损失和域分类损失，确定图像处理模型的总损失，图像处理模型的总损失（即第二阶段的总损失）可以表示如下：；此时，可以基于有标签的源域图像进行有监督学习，基于有标签的源域图像和无标签的目标域图像进行半监督学习，以及基于源域图像和目标域图像进行域适应学习。在经过多轮迭代训练之后，完成图像处理模型的第二阶段训练即得到训练完成的图像处理模
型。
75.可选地，在第二阶段训练的训练过程中，可以先根据总损失确定域分类网络的参数调整梯度，基于域分类网络的参数调整梯度对域分类网络的参数进行调整。
76.再根据域分类网络的参数调整梯度，采用梯度反向层grl确定学生检测网络的参数调整梯度，以及基于学生检测网络的参数调整梯度对学生检测网络的参数进行调整；最后根据学生检测网络的参数，采用指数加权平均算法确定老师检测网络的参数。
77.在本技术实施例中，域分类器尽可能想要分辨出特征图的域，而fpn需要尽可能让域分类网络无法分辨出特征图的域，如通过对抗特征学习的方式增强了特征的域不变性，从而提高了图像处理模型的鲁棒性。通过采用指数加权平均算法确定老师检测网络的参数，可以进一步提高老师检测网络的识别准确度。
78.可选地，在图像处理模型完成训练之后，可以基于老师检测网络的结构和参数，构建目标检测模型，该目标检测模型用于从待识别图像中检测目标对象的位置和类别。
79.在一个示例中，目标检测模型可用于从待识别的细胞切片图像中检测病变细胞的位置和类别。以病变细胞的识别场景为例。在获取细胞切片对应的wsi之后，可以采用分割方法（如最大类间方差法）提取wsi的前景区域，得到待识别图像。再基于网格切分方式，对待识别图像进行切分，得到多个视野级图像。利用上述目标检测模型分别对多个视野级图像进行识别，得到每个视野级图像对应的预测类别分别对应的阳性预测概率值，若目标视野级图像中存在阳性预测概率值大于设定阈值（如0.5）的目标细胞，则可判定该目标细胞即为病变细胞，则目标视野级图像对应为阳性，进而可判定细胞切片包括病变细胞，呈阳性。若所有视野级图像中均不存在阳性预测概率值大于设定阈值（如0.5）的细胞，则可判定细胞切片呈阴性。
80.可选地，上述病变细胞可以被划分不同的等级，即采用本技术实施例提供的技术方案也可以识别出不同病变程度的病变细胞。以宫颈细胞为例，其阳性类别可以包括ascus（atypical squamous cells of unknown significance，意义不明的非典型鳞状细胞）、lsil（low-grade squamous intraepithelial lesion，低度鳞状上皮内病变）、hsil（high-grade squamous intraepithelial lesion，高度鳞状上皮内病变）等。采用本技术实施例提供的技术方案可以识别出上述阳性类别。
81.综上所述，本技术实施例提供的技术方案，通过基于有标签的源域图像和无标签的目标域图像，即可完成对图像处理模型的训练，使得在有标签的源域图像的数量有限的情况下，亦可通过大量的无标签的目标域图像，获取高识别准确度的图像处理模型，相比于相关技术仅仅依靠少量的有标签的源域图像，采用本技术实施例提供的技术方案，可以有效提高图像处理模型的识别准确度。同时，本技术只需少量的有标签的源域图像，从而可以有效降低图像处理模型的训练成本，以及使得有标签的源域图像可以被更加高效地利用。
82.另外，本技术通过基于有标签的源域图像和无标签的目标域图像，对图像处理模型进行训练，使得训练好的图像处理模型既可以处理源域图像，又可以处理目标域图像，进而提高了图像处理模型的泛化性。同时，利用多个域的图像，对图像处理模型进行训练，可以使得图像处理模型对应的网络特征具有域不变性，从而提升了图像处理模型在目标域的鲁棒性。
83.另外，在本技术实施例中，域分类器尽可能想要分辨出特征图的域，而fpn需要尽
可能让域分类网络无法分辨出特征图的域，如通过对抗特征学习的方式增强了特征的域不变性，从而提高了图像处理模型的鲁棒性。同时，本技术实施例通过采用指数加权平均算法确定老师检测网络的参数，可以进一步提高老师检测模型的识别准确度。
84.在一个示例性实施例中，以基于病理图像，对图像处理模型进行训练为例，对本技术实施例提供的图像处理模型的训练方法进行说明，其可以包括如下内容。
85.获取源域病理图像和目标域病理图像；其中，病理图像是指基于人体组织（如病变部位的组织、细胞等）的切片生成的图像（如wsi），病理图像能够揭示疾病的原因及严重程度。示例性地，病理图像可以是指癌、炎症、肿瘤等对应的病理图像。例如，病理图像可以是指细胞切片对应的图像，诸如宫颈癌、胃癌、肠道癌等对应的细胞切片。
86.在本技术实施例中，源域病理图像是指有标签的病理图像，目标域病理图像是指无标签的病理图像。例如，源域病理图像可以是指有标签的宫颈癌病理图像，目标域病理图像可以是指无标签的宫颈癌病理图像。源域病理图像和目标域病理图像可以选自不同的医院、设备、制片流程等。可选地，目标域病理图像可以包括多个子目标域图像，该多个子目标域图像来自不同的目标域（如不同的医院）。
87.可选地，图像处理模型包括学生检测网络、老师检测网络和域分类网络，学生检测网络、老师检测网络和域分类网络与上述实施例介绍相同，这里不再赘述。图像处理模型的参数调整过程可以包括如下内容。
88.通过学生检测网络对源域病理图像进行处理，得到用于指示源域病理图像中病变对象的学生预测位置和学生预测类别。病变对象是指病理图像中可以揭示疾病的对象，诸如病变细胞、病变组织等。
89.采用smooth-l1损失函数，基于学生预测位置和源域病理图像的标签信息中的病变对象的真实位置，计算得到图像处理模型的位置回归损失。采用焦点损失方法，基于学生预测类别和源域病理图像的标签信息中的病变对象的真实类别，计算得到图像处理模型的目标分类损失。
90.对目标域病理图像进行弱数据增强，得到弱增强的目标域病理图像，通过学生检测网络对弱增强的目标域病理图像进行特征提取，得到弱增强的目标域病理图像对应的多尺度特征图，再通过学生检测网络基于多尺度特征图，对病变对象进行识别，得到用于指示弱增强的目标域病理图像中病变对象的学生预测位置和学生预测类别。
91.对目标域病理图像进行强数据增强，得到强增强的目标域病理图像，通过老师检测网络对强增强的目标域病理图像进行特征提取，得到强增强的目标域病理图像对应的多尺度特征图，再通过老师检测网络基于多尺度特征图，对病变对象进行识别，得到用于指示强增强的目标域病理图像中病变对象的老师预测位置和老师预测类别。
92.基于老师预测类别对应的预测概率值对学生检测网络和老师检测网络的预测结果进行筛选。例如，保留老师预测类别对应的预测概率值大于或等于概率阈值的老师预测结果，以及老师预测结果对应的学生预测结果。
93.采用sfl算法，基于筛选后学生预测类别对应的预测概率值和筛选后老师预测类别对应的预测概率值，计算得到图像处理模型的比较损失。
94.通过域分类网络对学生检测网络得到的源域病理图像的多尺度特征图和目标域病理图像的多尺度特征图分别进行判断，得到源域病理图像的域分类结果和目标域病理图
像的域分类结果。
95.采用交叉熵损失函数，基于源域病理图像的域分类结果和源域病理图像对应的真实域之间的差异，以及目标域病理图像的域分类结果和目标域病理图像对应的真实域之间的差异，计算得到图像处理模型的域分类损失。
96.基于目标分类损失、位置回归损失和域分类损失，对图像处理模型进行第一阶段训练，得到完成第一阶段训练的图像处理模型。在第一阶段的训练过程中，可以先根据第一阶段对应的总损失（即目标分类损失、位置回归损失和域分类损失的和值）确定域分类网络的参数调整梯度，并基于域分类网络的参数调整梯度对域分类网络的参数进行调整。再根据域分类网络的参数调整梯度，采用grl确定学生检测网络的参数调整梯度，以及基于学生检测网络的参数调整梯度对学生检测网络的参数进行调整。
97.基于目标分类损失、位置回归损失、比较损失和域分类损失，对完成第一阶段训练的图像处理模型进行第二阶段训练，得到训练完成的图像处理模型。在第二阶段训练的训练过程中，可以先根据总损失（即目标分类损失、位置回归损失、比较损失和域分类损失的和值）确定域分类网络的参数调整梯度，基于域分类网络的参数调整梯度对域分类网络的参数进行调整。再根据域分类网络的参数调整梯度，采用梯度反向层grl确定学生检测网络的参数调整梯度，以及基于学生检测网络的参数调整梯度对学生检测网络的参数进行调整；最后根据学生检测网络的参数，采用指数加权平均算法确定老师检测网络的参数。
98.训练完成的图像处理模型可用于对病理图像中的病变对象进行识别，以辅助病理医生进行病理诊断。可选地，可以通过训练完成的图像处理模型中的老师检测网络对病理图像中的病变对象进行识别。
99.综上所述，采用本技术实施例提供的技术方案得到的图像处理模型，可以准确地识别出来自不同域的病理图像中的病变对象（如病变细胞），以辅助病理医生进行病理图像的阅读，从而减轻了病理医生的阅片负担，进而提高了病理诊断的效率。同时，也可以避免因受人工阅读的主观性、诊断经验、情绪、疲劳、不同域病理图像之间存在差异等因素的影响，所导致的数据误读的问题，进而有利于提高病理诊断的准确性。
100.另外，在病理图像的标注场景下，相比于人工标注的效率低、成本高、有误标风险等问题，采用本技术实施例提供的技术方案得到的图像处理模型进行病理图像的标注，可以有效提高病理图像的标注效率和准确性，以及降低病理图像的标注成本。
101.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
102.请参考图6，其示出了本技术一个实施例提供的图像处理模型的训练装置的框图。该装置可用于实现上述图像处理模型的训练方法。该装置600可以包括：源域图像处理模块601、目标域图像处理模块602、分类结果获取模块603和处理模型训练模块604。
103.源域图像处理模块601，用于通过所述学生检测网络对有标签的源域图像进行处理，得到所述源域图像的学生预测结果，所述源域图像的学生预测结果用于指示所述源域图像中目标对象的学生预测位置和学生预测类别。
104.目标域图像处理模块602，用于通过所述学生检测网络和所述老师检测网络分别对无标签的目标域图像进行处理，得到所述目标域图像的学生预测结果和老师预测结果；其中，所述目标域图像的学生预测结果用于指示所述目标域图像中所述目标对象的学生预
测位置和学生预测类别，所述目标域图像的老师预测结果用于指示所述目标域图像中所述目标对象的老师预测位置和老师预测类别。
105.分类结果获取模块603，用于通过所述域分类网络对所述学生检测网络得到的所述源域图像的特征信息和所述目标域图像的特征信息分别进行判断，得到所述源域图像的域分类结果和所述目标域图像的域分类结果。
106.处理模型训练模块604，用于根据所述源域图像的学生预测结果、所述目标域图像的学生预测结果和老师预测结果，以及所述域分类结果，对所述图像处理模型进行训练。
107.在一个示例性实施例中，所述处理模型训练模块604，用于：根据所述源域图像的学生预测结果和所述源域图像的标签信息，确定目标分类损失和位置回归损失；其中，所述目标分类损失用于以所述源域图像的位置标签信息为基准，衡量所述学生检测网络在所述源域图像上的类别预测准确性，所述位置回归损失用于以所述源域图像的类别标签信息为基准，衡量所述学生检测网络在所述源域图像上的位置预测准确性；根据所述目标域图像的学生预测结果和老师预测结果，确定比较损失；其中，所述比较损失用于以所述目标域图像的老师预测结果作为伪标签信息，衡量所述学生检测网络在所述目标域图像上的类别和位置预测准确性；根据所述域分类结果和域分类标签，确定域分类损失；其中，所述域分类损失用于衡量所述域分类网络的域分类准确性；根据所述目标分类损失、所述位置回归损失、所述比较损失和所述域分类损失，对所述图像处理模型进行训练。
108.在一个示例性实施例中，所述处理模型训练模块604，还用于：根据所述目标分类损失、所述位置回归损失、所述比较损失和所述域分类损失，确定所述图像处理模型的总损失；根据所述总损失确定所述域分类网络的参数调整梯度，基于所述域分类网络的参数调整梯度对所述域分类网络的参数进行调整；根据所述域分类网络的参数调整梯度，采用梯度反转层grl确定所述学生检测网络的参数调整梯度，基于所述学生检测网络的参数调整梯度对所述学生检测网络的参数进行调整；根据所述学生检测网络的参数，采用指数加权平均算法确定所述老师检测网络的参数。
109.在一个示例性实施例中，所述处理模型训练模块604，还用于：根据所述目标域图像的学生预测结果和老师预测结果之间的概率差距，以及权重参数，确定所述比较损失；其中，所述权重参数依据所述目标域图像的老师预测结果动态调节。
110.在一个示例性实施例中，所述处理模型训练模块604，还用于：从多个所述目标域图像中，选取所述目标域图像的老师预测结果大于或等于概率阈值的目标域图像；其中，被选取的所述目标域图像的学生预测结果和老师预测结果，用于确定所述比较损失。
111.在一个示例性实施例中，所述目标域图像处理模块602，用于：
采用第一数据增强方式和第二数据增强方式，分别对所述目标域图像进行处理，得到第一处理后的目标域图像和第二处理后的目标域图像；其中，所述第一数据增强方式的增强强度，大于所述第二数据增强方式的增强强度；通过所述学生检测网络对所述第一处理后的目标域图像进行处理，得到所述目标域图像的学生预测结果；通过所述老师检测网络对所述第二处理后的目标域图像进行处理，得到所述目标域图像的老师预测结果。
112.在一个示例性实施例中，所述特征信息包括多个不同尺度的特征图；所述分类结果获取模块603，用于：通过所述域分类网络对所述学生检测网络得到的所述源域图像的多个不同尺度的特征图分别进行判断，得到所述源域图像的多个域分类结果；通过所述域分类网络对所述学生检测网络得到的所述目标域图像的多个不同尺度的特征图分别进行判断，得到所述目标域图像的多个域分类结果。
113.在一个示例性实施例中，所述装置600还包括目标模型构建模块（图6中未示出）。
114.目标模型构建模块，用于在所述图像处理模型完成训练之后，基于所述老师检测网络的结构和参数，构建目标检测模型，所述目标检测模型用于从待识别图像中检测所述目标对象的位置和类别。
115.在一个示例性实施例中，所述目标检测模型用于从待识别的细胞切片图像中检测病变细胞的位置和类别。
116.综上所述，本技术实施例提供的技术方案，通过基于有标签的源域图像和无标签的目标域图像，即可完成对图像处理模型的训练，使得在有标签的源域图像的数量有限的情况下，亦可通过大量的无标签的目标域图像，获取高识别准确度的图像处理模型，相比于相关技术仅仅依靠少量的有标签的源域图像，采用本技术实施例提供的技术方案，可以有效提高图像处理模型的识别准确度。同时，本技术只需少量的有标签的源域图像，从而可以有效降低图像处理模型的训练成本，以及使得有标签的源域图像可以被更加高效地利用。
117.另外，本技术通过基于有标签的源域图像和无标签的目标域图像，对图像处理模型进行训练，使得训练好的图像处理模型既可以处理源域图像，又可以处理目标域图像，进而提高了图像处理模型的泛化性。同时，利用多个域的图像，对图像处理模型进行训练，可以使得图像处理模型对应的网络特征具有域不变性，从而提升了图像处理模型在目标域的鲁棒性。
118.需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
119.请参考图7，其示出了本技术一个实施例提供的计算机设备的结构示意图。该计算机设备可以是任何具备数据计算、处理和存储功能的电子设备，该计算机设备可以实现成为图1所示方案实施环境中的模型训练设备10和/或模型使用设备20。具体来讲可以包括如下内容。
120.该计算机设备700包括中央处理单元（如cpu（central processing unit，中央处理器）、gpu（graphics processing unit，图形处理器）和fpga（field programmable gate array，现场可编程逻辑门阵列）等）701、包括ram（random-access memory，随机存取存储器）702和rom（read-only memory，只读存储器）703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。该计算机设备700还包括帮助服务器内的各个器件之间传输信息的基本输入/输出系统（input output system，i/o系统）706，和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。
121.在一些实施例中，该基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中，该显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。该基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
122.该大容量存储设备707通过连接到系统总线705的大容量存储控制器（未示出）连接到中央处理单元701。该大容量存储设备707及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，该大容量存储设备707可以包括诸如硬盘或者cd-rom（compact disc read-only memory，只读光盘）驱动器之类的计算机可读介质（未示出）。
123.不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom（erasable programmable read-only memory，可擦写可编程只读存储器）、eeprom（electrically erasable programmable read-only memory，电可擦写可编程只读存储器）、闪存或其他固态存储技术，cd-rom、dvd（digital video disc，高密度数字视频光盘）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
124.根据本技术实施例，该计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在该系统总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程计算机系统（未示出）。
125.所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述图像处理模型的训练方法。
126.在一个示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被处理器执行时以实现上述图像处理模型的训练方法。
127.可选地，该计算机可读存储介质可以包括：rom（read-only memory，只读存储器）、ram（random-access memory，随机存储器）、ssd（solid state drives，固态硬盘）或光盘等。其中，随机存取记忆体可以包括reram（resistance random access memory，电阻式随机存取记忆体）和dram（dynamic random access memory，动态随机存取存储器）。
128.在一个示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行上述图像处理模型的训练方法。
129.需要说明的是，本技术所涉及的信息（包括但不限于对象设备信息、对象个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经对象授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的有标注的源域图像、无标注的目标域图像等都是在充分授权的情况下获取的。
130.应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本技术实施例对此不作限定。
131.以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。