图像处理方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着人工智能技术和多媒体技术的发展，用户在日常生活和生产活动中使用图像信息的场景越来越多，例如用户可以对图像进行域转换，得到不同图像域的图像。例如可以将素描图像转化为二次元图像。
3.目前，可以通过人工智能，利用机器学习模型对图像进行处理，将图像输入到模型中，得到处理后的图像，然而，经常存在处理后的图像的内容与处理前的图像内容变化很大的情况，例如转换后的图像会发生扭曲，导致图像处理效果差。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高图像处理效果的图像处理方法、装置、计算机设备和存储介质。
5.一种图像处理方法，所述方法包括：获取第一图像域的第一图像，将所述第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像；对所述第一图像进行特征提取，得到第一图像特征；对所述第二图像进行特征提取，得到第二图像特征；计算所述第一图像特征与所述第二图像特征之间的目标特征关联度，基于所述目标特征关联度得到第一模型损失值，所述第一模型损失值与所述目标特征关联度成负相关关系；获取所述第一图像特征对应的第一特征值分布以及所述第二图像特征对应的第二特征值分布；计算所述第一特征值分布与所述第二特征值分布之间的分布关联度，基于所述分布关联度得到第二模型损失值，所述第二模型损失值与所述分布关联度成负相关关系；基于所述第一模型损失值以及所述第二模型损失值得到目标模型损失值；基于所述目标模型损失值调整所述图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
6.一种图像处理装置，所述装置包括：图像获取模块，用于获取第一图像域的第一图像，将所述第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像；图像特征提取模块，用于对所述第一图像进行特征提取，得到第一图像特征；对所述第二图像进行特征提取，得到第二图像特征；第一模型损失值得到模块，用于计算所述第一图像特征与所述第二图像特征之间的目标特征关联度，基于所述目标特征关联度得到第一模型损失值，所述第一模型损失值与所述目标特征关联度成负相关关系；特征值分布获取模块，用于获取所述第一图像特征对应的第一特征值分布以及所述第二图像特征对应的第二特征值分布；第二模型损失值得到模块，用于计算所述第一特征值分布与所述第二特征值分布之间的分布关联度，基于所述分布关联度得到第二模型损失值，所述第二模型损失值与所述分布关联度成负相关关系；目标模型损失值确定模块，用于基于所述第一模型损失值以及所
述第二模型损失值得到目标模型损失值；已训练的图像处理模型得到模块，用于基于所述目标模型损失值调整所述图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
7.在一些实施例中，所述特征值分布获取模块包括：第一统计值得到单元，用于根据所述第一图像特征中的第一特征值进行统计，得到所述第一特征值对应的第一统计值；第一统计值分布确定单元，用于根据所述第一统计值确定所述第一图像特征对应的第一特征值分布。
8.在一些实施例中，所述第一统计值包括目标均值以及目标标准差，所述第一统计值分布确定单元，还用于获取目标系数集合，所述目标系数集合包括多个目标系数；根据所述目标系数对所述目标标准差进行缩放处理，得到目标缩放值；基于所述目标缩放值对所述目标均值进行平移处理，得到目标数值，各个目标系数对应的目标数值组成目标数值集合；基于所述目标数值集合确定各个所述目标数值对应的目标出现概率，根据各个所述目标数值对应的目标出现概率得到第一特征值分布。
9.在一些实施例中，所述目标出现概率是基于所述目标数值集合对应的概率分布关系确定的；所述第一统计值分布确定单元，还用于获取标准概率分布，基于所述标准概率分布进行数值采样，得到满足所述标准概率分布对应的数值，作为目标系数。
10.在一些实施例中，所述目标特征关联度包括第一特征判别概率，所述第一模型损失值得到模块包括：正样本特征得到单元，用于将所述第一图像特征以及所述第二图像特征进行拼接，将拼接得到的特征作为正样本特征；第一特征判别概率得到单元，用于将所述正样本特征输入到特征判别模型中，得到第一特征判别概率；第一模型损失值得到单元，用于基于所述第一特征判别概率得到第一模型损失值。
11.在一些实施例中，所述第一模型损失值得到单元，还用于获取第二图像域的第三图像，所述第三图像与所述第二图像不同；对所述第三图像进行特征提取，得到第三图像特征；将目标图像特征与所述第三图像特征作为负样本特征，将所述负样本特征输入到特征判别模型中，得到第二特征判别概率，所述目标图像特征为所述第一图像特征或者第二图像特征；基于所述第一特征判别概率以及所述第二特征判别概率得到第一模型损失值，所述第二特征判别概率与所述第一模型损失值成正相关关系。
12.在一些实施例中，该装置还包括：模型参数调整梯度得到模块，用于基于所述第一模型损失值得到所述特征判别模型对应的模型参数调整梯度；参数调整模块，用于基于所述模型参数调整梯度调整所述特征判别模型的模型参数。
13.在一些实施例中，所述装置还包括：初始图像处理模型获取模块，用于获取初始图像处理模型；当前图像处理模型得到模块，用于基于训练图像对所述初始图像处理模型进行训练，得到当前图像处理模型；处理图像得到模块，用于将参考图像输入到当前图像处理模型中进行处理，得到处理图像；目标形变度确定模块，用于当确定所述处理图像相对于所述参考图像的目标形变度大于形变度阈值时，则进入获取第一图像域的第一图像的步骤。
14.在一些实施例中，所述分布关联度计算模块包括：分布值获取单元，用于从所述第一特征值分布中获取第一分布值，从所述第二特征值分布中获取所述第一分布值对应的第二分布值；差异值获取单元，用于获取所述第一分布值以及所述第二分布值的差异值；分布关联度确定单元，用于基于所述差异值确定分布关联度，所述分布关联度与所述差异值成
负相关关系。
15.在一些实施例中，所述第一图像特征是基于第一编码模型得到的，所述第二图像特征是基于第二编码模型得到的，所述已训练的图像处理模型得到模块包括：模型参数调整单元，用于基于所述目标模型损失值调整所述图像处理模型、所述第一编码模型以及所述第二编码模型的模型参数，得到调整后的图像处理模型、第一编码模型以及第二编码模型；已训练的图像处理模型得到单元，用于返回获取第一图像域的第一图像的步骤，以继续进行模型训练，直至图像处理模型收敛，得到已训练的图像处理模型。
16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取第一图像域的第一图像，将所述第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像；对所述第一图像进行特征提取，得到第一图像特征；对所述第二图像进行特征提取，得到第二图像特征；计算所述第一图像特征与所述第二图像特征之间的目标特征关联度，基于所述目标特征关联度得到第一模型损失值，所述第一模型损失值与所述目标特征关联度成负相关关系；获取所述第一图像特征对应的第一特征值分布以及所述第二图像特征对应的第二特征值分布；计算所述第一特征值分布与所述第二特征值分布之间的分布关联度，基于所述分布关联度得到第二模型损失值，所述第二模型损失值与所述分布关联度成负相关关系；基于所述第一模型损失值以及所述第二模型损失值得到目标模型损失值；基于所述目标模型损失值调整所述图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
17.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取第一图像域的第一图像，将所述第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像；对所述第一图像进行特征提取，得到第一图像特征；对所述第二图像进行特征提取，得到第二图像特征；计算所述第一图像特征与所述第二图像特征之间的目标特征关联度，基于所述目标特征关联度得到第一模型损失值，所述第一模型损失值与所述目标特征关联度成负相关关系；获取所述第一图像特征对应的第一特征值分布以及所述第二图像特征对应的第二特征值分布；计算所述第一特征值分布与所述第二特征值分布之间的分布关联度，基于所述分布关联度得到第二模型损失值，所述第二模型损失值与所述分布关联度成负相关关系；基于所述第一模型损失值以及所述第二模型损失值得到目标模型损失值；基于所述目标模型损失值调整所述图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
18.在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
19.上述图像处理方法、装置、计算机设备和存储介质，获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像，对第一图像进行特征提取，得到第一图像特征，对第二图像进行特征提取，得到第二图像特征，计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值，第一模型损失值与目标特征关联度成负相关关系，获取第一图像特征对应的第一特征
值分布以及第二图像特征对应的第二特征值分布，计算第一特征值分布与第二特征值分布之间的分布关联度，基于分布关联度得到第二模型损失值，第二模型损失值与分布关联度成负相关关系，基于第一模型损失值以及第二模型损失值得到目标模型损失值，基于目标模型损失值调整图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。由于第二模型损失值与分布关联度成负相关关系，而分布关联度越大，第一图像特征以及第二图像特征中与图像域相关的信息越少，因此通过朝着第二模型损失值减小的方向调整模型参数，可以使得第一图像特征以及第二图像特征中的图像域信息减少，图像的内容信息增加，从而可以使得目标特征关联度可以反映第一图像与第二图像在内容信息上的相似程度，由于第一模型损失值与目标特征关联度成负相关关系，而目标特征关联度越大，第一图像与第二图像在内容信息上的相似程度越大，因此通过朝着第一模型损失值减小的方向调整模型参数，可以使得第二图像与第一图像在内容信息上保持一致，减少第二图像发生形变的情况，提高了图像处理模型的准确度，提高了图像处理效果。
20.一种图像处理方法，所述方法包括：获取待进行风格迁移的原始图像；确定所述原始图像所属的第一图像域以及待迁移至的第二图像域；基于所述第一图像域以及所述第二图像域确定已训练的图像处理模型；所述图像处理模型是基于目标模型损失值训练得到的，所述目标模型损失值根据第一模型损失值以及第二模型损失值得到，所述第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，所述第一模型损失值与所述目标特征关联度成负相关关系，所述第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，所述第二模型损失值与所述分布关联度成负相关关系，所述第一图像特征为所述第一图像域的第一图像对应的图像特征，所述第一图像特征为所述第二图像域的第二图像对应的图像特征，所述第二图像基于所述第一图像生成；将所述原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。
21.一种图像处理装置，所述装置包括：原始图像获取模块，用于获取待进行风格迁移的原始图像；图像域确定模块，用于确定所述原始图像所属的第一图像域以及待迁移至的第二图像域；已训练的图像处理模型确定模块，用于基于所述第一图像域以及所述第二图像域确定已训练的图像处理模型；所述图像处理模型是基于目标模型损失值训练得到的，所述目标模型损失值根据第一模型损失值以及第二模型损失值得到，所述第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，所述第一模型损失值与所述目标特征关联度成负相关关系，所述第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，所述第二模型损失值与所述分布关联度成负相关关系，所述第一图像特征为所述第一图像域的第一图像对应的图像特征，所述第一图像特征为所述第二图像域的第二图像对应的图像特征，所述第二图像基于所述第一图像生成；目标图像生成模块，用于将所述原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。
22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待进行风格迁移的原始图像；确定所述原始图像所属的第一图像域以及待迁移至的第二图像域；基于所述第一图像域以及所述第二图
像域确定已训练的图像处理模型；所述图像处理模型是基于目标模型损失值训练得到的，所述目标模型损失值根据第一模型损失值以及第二模型损失值得到，所述第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，所述第一模型损失值与所述目标特征关联度成负相关关系，所述第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，所述第二模型损失值与所述分布关联度成负相关关系，所述第一图像特征为所述第一图像域的第一图像对应的图像特征，所述第一图像特征为所述第二图像域的第二图像对应的图像特征，所述第二图像基于所述第一图像生成；将所述原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。
23.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待进行风格迁移的原始图像；确定所述原始图像所属的第一图像域以及待迁移至的第二图像域；基于所述第一图像域以及所述第二图像域确定已训练的图像处理模型；所述图像处理模型是基于目标模型损失值训练得到的，所述目标模型损失值根据第一模型损失值以及第二模型损失值得到，所述第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，所述第一模型损失值与所述目标特征关联度成负相关关系，所述第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，所述第二模型损失值与所述分布关联度成负相关关系，所述第一图像特征为所述第一图像域的第一图像对应的图像特征，所述第一图像特征为所述第二图像域的第二图像对应的图像特征，所述第二图像基于所述第一图像生成；将所述原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。
24.在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
25.上述图像处理方法、装置、计算机设备和存储介质，获取待进行风格迁移的原始图像，确定原始图像所属的第一图像域以及待迁移至的第二图像域，基于第一图像域以及第二图像域确定已训练的图像处理模型；图像处理模型是基于目标模型损失值训练得到的，目标模型损失值根据第一模型损失值以及第二模型损失值得到，第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，第一模型损失值与目标特征关联度成负相关关系，第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，第二模型损失值与分布关联度成负相关关系，第一图像特征为第一图像域的第一图像对应的图像特征，第一图像特征为第二图像域的第二图像对应的图像特征，第二图像基于第一图像生成，将原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。由于第二模型损失值与分布关联度成负相关关系，而分布关联度越大，第一图像特征以及第二图像特征中与图像域相关的信息越少，因此通过朝着第二模型损失值减小的方向调整模型参数，可以使得第一图像特征以及第二图像特征中的图像域信息减少，图像的内容信息增加，从而可以使得目标特征关联度可以反映第一图像与第二图像在内容信息上的相似程度，由于第一模型损失值与目标特征
关联度成负相关关系，而目标特征关联度越大，第一图像与第二图像在内容信息上的相似程度越大，因此通过朝着第一模型损失值减小的方向调整模型参数，可以使得第二图像与第一图像在内容信息上保持一致，减少第二图像发生形变的情况，提高了图像处理模型的准确度，提高了图像处理效果。
附图说明
26.图1为一些实施例中图像处理方法的应用环境图；
27.图2为一些实施例中图像处理方法的流程示意图；
28.图3为一些实施例中第一图像以及第二图像的示意图；
29.图4为一些实施例中生成对抗网络的结构图；
30.图5为一些实施例中循环生成对抗网络的结构图；
31.图6为一些实施例中将样本特征输入到特征判别模型的大特征判别概率的原理图；
32.图7为一些实施例中图像处理方法的流程示意图；
33.图8为一些实施例中图像处理方法的应用环境图；
34.图9为一些实施例中图像处理方法的流程示意图；
35.图10为一些实施例中图像处理装置的结构框图；
36.图11为一些实施例中图像处理装置的结构框图；
37.图12为一些实施例中计算机设备的内部结构图；
38.图13为一些实施例中计算机设备的内部结构图。
具体实施方式
39.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
40.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
41.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
42.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式
教学习等技术。
43.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
44.本技术实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：
45.本技术提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以向服务器104发送图像域迁移请求，图像域迁移请求中可以携带原始图像、原始图像所属的第一图像域以及待迁移至的第二图像域，服务器104可以根据第一图像域以及第二图像域获取已训练的图像处理模型，该图像处理模型用于将第一图像域中的图像进行图像域迁移，得到第二图像域的图像。服务器104可以原始图像输入到该图像处理模型中，生成第二图像域的目标图像。服务器104可以将生成的目标图像返回至终端102或者其他的终端。
46.其中，图像处理模型可以是服务器104训练得到的，具体地，服务器104可以获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像，对第一图像进行特征提取，得到第一图像特征，对第二图像进行特征提取，得到第二图像特征，计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值，第一模型损失值与目标特征关联度成负相关关系，获取第一图像特征对应的第一特征值分布以及第二图像特征对应的第二特征值分布，计算第一特征值分布与第二特征值分布之间的分布关联度，基于分布关联度得到第二模型损失值，第二模型损失值与分布关联度成负相关关系，基于第一模型损失值以及第二模型损失值得到目标模型损失值，基于目标模型损失值调整图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
47.其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
48.可以理解，本技术实施例提供的图像处理模型也可以部署于终端102中。
49.在一些实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
50.s202，获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像。
51.其中，图像域指的是图像所属的域(domain)。域可以是根据图像域信息进行划分的。同一个域的图像具有相同的图像域信息。图像域信息可以包括用于反映图像风格的信息，包括但不限于是颜色或亮度。不同域的图像可以是通过不同的图像采集设备或不同的图像采集人员采集得到的，例如一个图像采集设备采集的图像对应一个域，或者采用不同采集参数所采集的图像对应一个图像域。
52.第一图像域与第二图像域分别为两种不同的图像域，第一图像域也可以称为源域，第二图像域也可以称为目标域。源域指的是图像处理模型处理前图像所属的图像域。目标域指的是图像处理模型处理后图像所属的图像域。第一图像属于第一图像域，第一图像可以有多个。第二图像属于第二图像域，是图像处理模型根据第一图像生成的。
53.图像处理模型用于对图像进行处理。例如图像处理可以是图像增强或者图像转换中的至少一个。图像转换可以是图像跨域转换，图像跨域转换是指将图像由源域转换为目标域。图像跨域转换可以是将一个来源(源域)的图像转换为符合另一个来源(目标域)的标准的图像，例如可以是进行图像风格转换，将一种风格的图像转换为另外一种风格。图像处理模型可以是全卷积神经网络模型(fully convolutional network，fcn)。fcn完全由卷积层和池化层组成。其中，图像跨域转换属于一种图像领域自适应方法。图像领域自适应也可以称为域适应(domain adaption，da)，是一种用来解决两个域之间数据分布不一致的方法，通常将一个域的图像或特征转换到另外一个域，以减小两个域的图像之间的差异。
54.具体地，服务器中可以存储有多个第一图像域的图像，可以从该多个第一图像域的图像中获取第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像。待训练的图像处理模型可以是当前时间正在训练的模型，当服务器确定图像处理模型的训练过程满足预设训练方式调整条件时，可以执行获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像的步骤。预设训练方式调整条件可以包括训练次数达到预设与训练次数或图像处理模型输出的图像符合预设图像条件中的至少一种。预设图像条件例如可以是图像内容信息保持与处理前的图像内容信息保持一致。图像内容信息可以用于反映图像中的物体的信息，包括但不限于是纹理、形状或空间关系。图像中的物体可以是无生命的物体，也可以是有生命的物体，无生命的物体可以包括家具，例如可以是桌子或椅子，有生命的物体例如可以是植物、细菌、动物或人体中的组成部分，人体中的组成部分例如可以是人体的肺、心脏中或眼底等，或者是人体的肺、心脏中或眼底中的对象，例如眼底中的斑点或者肺中的结节。图像内容信息例如可以是图像中植物的位置和形状，对于医学领域的医学图像，图像内容信息例如可以是医学图像中人体的组成部分的形状，例如“肺”部图像中“肺”的形状。
55.在一些实施例中，第一图像域可以为用于对医学领域的图像检测模型进行训练的训练集所属的图像域，第二图像域为用于对该图像检测模型进行测试的测试集所属的图像域。图像检测模型是用于对图像检测的模型，用于得到图像检测结果，图像检测结果例如可以是图像中对象的检测结果，例如包括对象所处的位置或者对象对应的分类结果的至少一个。例如，图像识别模型可以识别得到眼底中斑点所在的位置或者斑点的类别的至少一个。训练集包括多个医学图像，测试集包括多个医学图像，训练集和测试集可以是通过不同的医学设备采集得到的，属于不同的图像域。训练集中的各个医学图像所属的图像域相同，测试集中的各个医学图像所属的图像域相同，训练集中的医学图像与测试集中的医学图像所属的图像域不同。在训练神经网络模型时，当训练集与测试集属于不同的图像域时，为了提高训练的准确度，可以将测试集中的图像转化到训练集所属的图像域。例如，第一图像域例如可以是refuge数据集中的测试集所属的图像域，第二图像域例如可以是refuge数据集中的训练集所属的图像域。refuge数据集由1200个眼底图像组成，可用于视盘(od，optic disc)和视杯(oc，optic cup)分割。refuge数据集中的训练集和测试集分别由不同的眼底
相机采集得到，如图3所示，第一行中的眼底图像为训练集中的图像，第二行中的眼底图像为测试集中的图像，从图中可以看出，训练集中的眼底图像和测试集中的眼底图像之间具有明显的视觉差异，训练集中的眼底图像偏暗，测试集中的眼底图像偏亮，可以很明显的看出，训练集中的眼底图像与测试集中的眼底图像所属的图像域不同。
56.在一些实施例中，图像处理模型可以用于对图像进行模态转换，模态可以根据图像的属性确定。例如图像的属性可以包括图像风格。可以利用图像处理模型将图像由源风格转换为目标风格。图像的风格包括卡通风格、真实风格、素描风格、漫画风格或者二次元风格的至少一个。例如，图像处理模型可以用于将素描的图像转换为二次元风格的图像。
57.在一些实施例中，图像处理模型的目标为在对图像进行处理时，减少图像的内容的变化，即需要保证图像内容信息的不变性。例如，如果要将白天的图像转换为黑夜的图像，将a医院采集的图像转换为b医院采集的图像时，需要保证转换后的图像的内容变化尽可能的小，以减少图像处理后，图像内容信息发生太大变化。
58.在一些实施例中，图像处理模型可以是生成对抗网络(generative adversarial network，gan)中的生成网络模型，例如可以是循环生成对抗网络(cycle
‑
consistent adversarial network，cyclegan)中的任意一个生成网络模型。cyclegan为一种用于解决不成对图像转换任务的网络框架。生成对抗网络包括生成网络模型以及判别网络模型。生成对抗网络通过让生成网络模型与判别网络模型相互博弈的方式进行学习，得到期望的机器学习模型。生成网络模型的目标是根据输入得到所期望的输出，判别网络模型的目标是将生成网络模型的输出，从真实的图像中尽可能分辨出来，判别网络模型的输入包括生成网络模型的输出以及真实的图像。两个网络模型相互对抗学习，不断调整参数，最终目标是生成网络模型要尽可能地欺骗判别网络模型，是判别网络模型无法判断生成网络模型的输出结果是否真实。生成网络模型还可以称为生成器(generator)，判别网络模型还可以称为判别器(discriminator)。cyclegan可以包括两个单项gan网络，两个单向gan网络共享生成网络模型，并各自带一个判别网络模型，即cyclegan可以包括两个生成网络模型以及两个判别网路模型。图像处理模型例如可以是图4或图5中的生成器g
ab
，也可以是图5中的生成器g
ba
。图4中的生成器g
ab
以及判别器d
b
构成gan网络。图5中的生成器g
ab
、生成器g
ba
、判别器d
a
以及判别器d
b
构成cyclegan网络，可以通过生成器g
ab
、生成器g
ba
、判别器d
a
以及判别器d
b
可以实现跨领域的图像迁移。例如可以将第一图像域的第一图像ia输入到生成器g
ba
中，得到第二图像域的第二图像iab。生成器g
ab
、生成器g
ba
、判别器d
a
以及判别器d
b
的backbone(主干网络)可以自由选择，可针对数据调优至最合适模型。
59.在一些实施例中，待训练的图像处理模型可以是完全没有经过训练的模型，也可以是经过训练并需要进一步优化的模型。例如，当图像处理模型为cyclegan的生成网络模型时，可以利用传统的训练方法对cyclegan进行训练，但由于传统的训练方法容易使得cyclegan中的生成网络模型生成的图像变形，因此需要对该模型参数进行进一步调整，以减少生成的图像发生形变的情况，故可以采用本技术实施例提供的图像处理方法对模型进行训练。模型参数指的是模型内部的变量参数，对于神经网络模型，也可以称为神经网络权重(weight)。
60.在一些实施例中，服务器可以是先采用单独训练的方法例如传统的方法训练得到收敛的cyclegan模型，再利用本技术实施例提供的图像处理方法对cyclegan中的生成网络
模型进行训练。服务器也可以使用传统训练方法与本技术实施例提供的图像处理方法结合后的方法对cyclegan进行训练，或者采用交替的方式进行训练，例如，先利用传统的方法训练cyclegan第一预设次数(例如一次)，再利用本技术实施例提供的联合训练方法对cyclegan中的生成网络模型训练第二预设次数(例如一次)，完成一轮训练，再进行下一轮的训练。
61.s204，对第一图像进行特征提取，得到第一图像特征；对第二图像进行特征提取，得到第二图像特征。
62.其中，第一图像特征是对第一图像进行特征提取得到的特征，第二图像特征是对第二图像进行特征提取得到的特征。图像特征包括图像内容特征，还可以包括图像域特征，图像内容特征为图像内容信息对应的特征，例如可以是纹理特征，图像域特征指的是图像域信息对应的特征，例如可以是亮度特征。
63.具体地，服务器可以通过第一编码模型对第一图像进行特征提取，得到第一图像特征，利用第二编码模型对第二图像进行特征提取，得到第二图像特征。第一编码模型以及第二编码模型可以是通过联合训练得到的，例如可以根据第一编码模型输出的第一图像特征与第二编码模型输出的第二图像特征进行计算，得到模型损失值，根据模型损失值调整第一编码模型以及第二编码模型的模型参数。损失值是根据损失函数得到的，损失函数(loss function)是用于表示事件的“风险”或“损失”的函数。第一编码模型与第二编码模型可以相同也可以不同，编码模型可以是卷积神经网络模型。
64.在一些实施例中，当图像处理模型可以是生成对抗网络中的生成网络模型，可以在生成对抗网络的基础上设置第一编码模型以及第二编码模型，利用第一编码模型以及第二编码模型进行特征提取。如图4所示，在生成器g
ab
以及判别器d
b
构成gan网络的基础上设置了第一编码模型enca以及第二编码模型encb，第一编码模型enca可以对第一图像ia编码到特征空间z中，使用特征向量表示图像，得到第一图像特征za，可以表示为z
a
＝e
nca
(i
a
)，第二编码模型encb可以对第二图像iab编码到特征空间z中，得到第二图像特征zab，可以表示为z
ab
＝e
ncb
(i
ab
)。同样的可以在cyclegan网络中加入编码模型，如图5所示。
65.在一些实施例中，编码模型是用于对图像内容信息进行提取的模型，对于待训练的编码模型，提取到的图像特征中可能即包括图像内容特征又包括图像域特征，可以通过对编码模型的不断训练，使得编码模型提取到的图像特征中的图像域特征尽可能的少，并包括尽可能多的图像内容特征。
66.s206，计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值，第一模型损失值与目标特征关联度成负相关关系。
67.其中，目标特征关联度用于反映第一图像特征与第二图像特征之间的相似程度，第一图像特征与第二图像特征之间的相似程度与目标特征关联度成正相关关系。第一模型损失值与目标特征关联度成负相关关系。
68.正相关关系指的是：在其他条件不变的情况下，两个变量变动方向相同，一个变量由大到小变化时，另一个变量也由大到小变化。可以理解的是，这里的正相关关系是指变化的方向是一致的，但并不是要求当一个变量有一点变化，另一个变量就必须也变化。例如，可以设置当变量a为10至20时，变量b为100，当变量a为20至30时，变量b为120。这样，a与b的变化方向都是当a变大时，b也变大。但在a为10至20的范围内时，b可以是没有变化的。
69.负相关关系指的是：在其他条件不变的情况下，两个变量变动方向相反，一个变量由大到小变化时，另一个变量由小到大变化。可以理解的是，这里的负相关关系是指变化的方向是相反的，但并不是要求当一个变量有一点变化，另一个变量就必须也变化。
70.具体地，服务器可以将第一图像特征以及第二图像特征输入到特征判别模型中，例如可以将第一图像特征与第二图像特征组成的特征输入到特征判别模型中，特征判别模型可以计算第一图像特征与第二图像特征的目标特征关联度。特征判别模型可以是待训练的神经网络模型，也可以是训练过的神经网络模型。特征判别模型的输入可以包括正样本特征，还可以包括负样本特征，正样本特征指的是图像处理模型处理前的图像的特征与处理后的图像的特征组成的特征，例如第一图像特征与第二图像特征组成的特征。负样本特征指的是由来自于不同图像域的图像的特征组成的特征，例如可以从第二图像域中选取一张图像，对选取的图像进行特征提取，将提取的特征与第一图像特征组合，得到负样本特征。
71.在一些实施例中，特征判别模型可以根据输入的样本特征计算得到用于反映互信息大小的概率，计算得到的概率与样本特征所包括的特征间的互信息成正相关关系，例如当样本特征为第一图像特征与第二图像特征组成的正样本特征时，第一图像特征与第二图像特征之间的互信息与特征判别模型得到概率成正相关关系。服务器可以根据特征判别模型输出的概率得到目标特征关联度。
72.在一些实施例中，当图像处理模型为生成对抗网络中的生成网络模型时，可以在设置编码模型的基础上设置特征判别模型，如图4和5所示，特征判别模型例如可以是图4或图5中的dmi(互信息判别模型，mutul inforation discriminator)，利用特征判别模型对第一编码模型enca以及第二编码模型encb输出的特征进行判别，根据判别结果确定目标特征关联度。
73.在一些实施例中，服务器可以根据目标特征关联度确定第一模型损失值，例如可以将目标特征关联度的相反数作为第一模型损失值，当第一图像为多个时，可以计算各个第一图像对应的目标特征关联度的统计值，得到第一模型损失值。第一模型损失值与目标特征关联度的统计值成负相关关系。
74.在一些实施例中，服务器可以根据第一图像特征或第二图像特征中的至少一种，构建特征判别模型对应的负样本特征，将负样本特征输入到特征判别模型中，得到第一特征关联度，根据第一特征关联度以及目标特征关联度进行计算，得到第一模型损失值，例如可以将第一特征关联度与目标特征关联度的差异作为第一模型损失值。第一模型损失值与第一特征关联度成正相关关系。
75.在一些实施例中，目标特征关联度用于反映第一图像特征与第二图像特征之间的互信息的大小，第一图像特征与第二图像特征之间的互信息与目标特征关联度成正相关关系。互信息越大，表示第一图像特征与第二图像特征之间的相似程度越大。
76.s208，获取第一图像特征对应的第一特征值分布以及第二图像特征对应的第二特征值分布。
77.其中，第一图像特征中可以包括多个第一特征值，第二图像特征中可以包括多个第二特征值。分布指的是图像特征中的特征值的取值规律。第一特征值分布包括多个第一分布值对应的出现概率，可以为条件概率分布。第二特征值分布包括多个第二分布值对应
的出现概率。出现概率用于表示特征值分布中分布值出现的概率。例如若特征值分布为正态分布，则分布值为在正态分布中出现的概率，可以通过将正态分布函数的自变量设置为分布值进行计算，得到分布值对应的出现概率。
78.第一特征值分布中的第一分布值可以与第一图像特征中的第一特征值相同，也可以不同。第二特征值分布中的第二分布值可以与第二图像特征中的第二特征值相同，也可以不同。第一特征值分布包括的第一分布值的个数与第二特征值分布包括的第二分布值的个数相同。第一分布值与第二分布值之间可以具有对应关系，例如具有对应关系。例如当第一分布值以及第二分布值是根据相同的数值计算得到的时，第一分布值与第二分布值之间具有对应关系。
79.具体地，服务器可以根据第一图像特征中的第一特征值进行统计计算，得到第一图像特征对应的第一统计值，根据第一统计值确定第一特征值分布，例如可以对各个第一特征值进行均值计算，得到第一图像特征对应的均值，对各个第一特征值进行标准差计算，得到第一图像特征对应的标准差，根据第一图像特征对应的均值以及标准差确定第一特征值分布。
80.在一些实施例中，特征值分布中的分布值可以是通过采样得到的。例如服务器可以根据第一统计值确定第一图像特征所满足的分布函数，从所满足的分布函数中进行采样，得到各个采样值，并确定各个采样值对应的在所满足的分布函数中的概率，根据各个采样值分别对应的概率，得到第一特征值分布。得到第二特征值分布的方法参见得到第一特征值分布的相关步骤，这里不再赘述。
81.在一些实施例中，确定第一特征值分布的步骤与根据目标系数集合确定第二特征值分布的步骤，可以是并行的，例如可以是同时执行的，也可以是按照顺序执行的。
82.s210，计算第一特征值分布与第二特征值分布之间的分布关联度，基于分布关联度得到第二模型损失值，第二模型损失值与分布关联度成负相关关系。
83.其中，分布关联度用于反映第一特征值分布与第二特征值分布之间的相似程度，第一特征值分布与第二特征值分布之间的相似程度与分布关联度成正相关关系。
84.具体地，服务器可以从第一特征值分布以及第二特征值分布中，选取同一目标系数计算得到的第一分布值以及第二分布值，获取该第一分布值对应的出现概率，以及该第二分布值对应的出现概率，根据第一分布值对应的出现概率与第二分布值对应的出现概率之间的差异值，得到分布关联度。
85.在一些实施例中，服务器可以利用散度计算公式，计算第一特征值分布以及第二特征值分布之间的散度值，得到目标散度，根据目标散度确定分布关联度，目标散度与分布关联度之间成负相关关系。散度计算公式例如可以是kl(kullback
‑
leibler)散度。服务器可以根据目标散度得到第二模型损失值，例如可以将目标散度作为第二模型损失值。
86.s212，基于第一模型损失值以及第二模型损失值得到目标模型损失值。
87.其中，目标模型损失值与第一模型损失值成正相关关系，与第二模型损失值成正相关关系。目标模型损失值可以是第一模型损失值与第二模型损失值加权计算得到的结果。
88.具体地，服务器可以按照损失值选择方式，从第一模型损失值以及第二模型损失值中选取得到目标模型损失值，例如可以从第一模型损失值以及第二模型损失值中选取较
大的一个作为目标模型损失值，或者选取较小的一个作为目标模型损失值。服务器还可以对第一模型损失值以及第二模型损失值进行加权计算，得到目标模型损失值，例如可以计算第一模型损失值与第二模型损失值相加后的结果，作为目标模型损失值。
89.s214，基于目标模型损失值调整图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
90.具体地，可以采用梯度下降方法，例如基于adam的梯度下降方法，朝着使目标模型损失值下降的方向调整图像处理模型中的模型参数，得到已训练的图像处理模型。得到已训练的图像处理模型后，可以利用该已训练的图像处理模型进行图像的处理。例如，可以将第一风格的图像转换为第二风格的图像，或者将第一医疗设备采集的图像转换为符合第二医疗设备采集的图像的标准的图像。
91.可以理解，模型的训练可以是迭代多次的，即已训练的图像处理模型可以是迭代训练的，当满足模型收敛条件时再停止训练，模型收敛条件可以是模型损失值的变化小于预设损失值变化，也可以是当模型参数的变化小于预设参数变化值。例如当第一图像包括多个时，则可以训练多次，每次利用多个第一图像进行模型训练。
92.在一些实施例中，服务器可以基于目标模型损失值调整图像处理模型的模型参数、第一编码模型的模型参数以及第二编码模型的参数，得到已训练的图像处理模型、第一编码模型以及第二编码模型，以利用已训练的图像处理模型对图像进行处理。
93.上述图像处理方法中，获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像，对第一图像进行特征提取，得到第一图像特征，对第二图像进行特征提取，得到第二图像特征，计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值，第一模型损失值与目标特征关联度成负相关关系，获取第一图像特征对应的第一特征值分布以及第二图像特征对应的第二特征值分布，计算第一特征值分布与第二特征值分布之间的分布关联度，基于分布关联度得到第二模型损失值，第二模型损失值与分布关联度成负相关关系，基于第一模型损失值以及第二模型损失值得到目标模型损失值，基于目标模型损失值调整图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。由于第二模型损失值与分布关联度成负相关关系，而分布关联度越大，第一图像特征以及第二图像特征中与图像域相关的信息越少，因此通过朝着第二模型损失值减小的方向调整模型参数，可以使得第一图像特征以及第二图像特征中的图像域信息减少，图像的内容信息增加，从而可以使得目标特征关联度可以反映第一图像与第二图像在内容信息上的相似程度，由于第一模型损失值与目标特征关联度成负相关关系，而目标特征关联度越大，第一图像与第二图像在内容信息上的相似程度越大，因此通过朝着第一模型损失值减小的方向调整模型参数，可以使得第二图像与第一图像在内容信息上保持一致，减少第二图像发生形变的情况，提高了图像处理模型的准确度，提高了图像处理效果。
94.以下对本技术提出的图像处理方法的原理进行说明：
95.目标模型损失值用于调整编码模型的参数，使得编码模型输出的特征中包括尽可能少的图像域信息并且包括尽可能多的图像内容信息。为了实现这个目的，可以依据信息瓶颈(information bottleneck，ib)理论确定第一模型损失值以及第二模型损失值。例如当在图4或图5中获取到第一图像特征za和第二图像特征zb后，可以根据信息瓶颈理论，确
定第一模型损失值以及第二模型损失值。信息瓶颈是一种为提高表示学习的鲁棒性提供的理论基础，其将输入图像的信息压缩为与目标相关的关联信息的低维表示。
96.根据信息瓶颈理论可以确定图像内容信息的表示形式以及图像域信息的表示形式。例如图像内容信息的表示形式可以为i(z
ab
；i
ab
|i
a
)，图像域信息的表示形式例如可以是i(i
a
；z
ab
)。i
a
表示第一图像，i
ab
表示第二图像，z
a
表示第一图像特征，z
ab
表示第二图像特征。i(z
ab
；i
ab
|i
a
)为条件互信息，表示在已知第一图像i
a
的条件下，第二图像特征z
ab
与第二图像i
ab
的互信息只能包含除了图像内容信息外的冗余信息，即只包括图像域信息，当i(z
ab
；i
ab
|i
a
)变小时，表示第二图像特征z
ab
中的冗余信息变少。i(i
a
；z
ab
)表示第一图像i
a
与第二图像特征z
ab
的互信息。由于z
ab
是从i
ab
中提取的特征，当i(i
a
；z
ab
)变大时，表示第二图像特征z
ab
中的图像内容信息变多。i(z
ab
；i
ab
|i
a
)可以称为冗余信息，i(i
a
；z
ab
)可以称为标签信息。同样的，图像内容信息的表示形式可以为i(z
a
；i
a
|i
ab
)，图像域信息的表示形式例如可以是i(i
ab
；z
a
)。可以确定两个损失值表示形式，分别为公式和其中，λ1以及λ2表示约束优化的拉格朗日乘数，均为非负数，例如均可以为1。与i(z
ab
；i
ab
|i
a
)成正相关关系，与i(i
a
；z
ab
)成负相关关系，通过将最小化，可以实现i(z
ab
；i
ab
|i
a
)最小化，i(i
a
；z
ab
)最大化的目的，与i(z
a
；i
a
|i
ab
)成正相关关系，与i(i
ab
；z
a
)成负相关关系，通过将最小化，可以实现i(z
a
；i
a
|i
ab
)最小化，i(i
ab
；z
a
)最大化。因此根据以及得到目标模型损失值，可以使得编码模型输出的特征中包括尽可能少的图像域信息并且包括尽可能多的图像内容信息。使用基于信息瓶颈理论的方法解决领域自适应过程中内容形变的问题，可以不需要额外的标注信息进行学习，不仅提高了模型创建的便捷性，而且在保证图像内容不发生形变的情况下实现多向的图像迁移，有利于扩展至更多场景的数据。
97.可以确定与的均值，确定该均值的上界，将最小化与的问题，转化为对该上界的最小化问题，该上界可以表示为：
[0098][0099]
其中，d
kl
为kl散度。p(z
a
|i
a
)以及p(z
ab
|i
ab
)为条件分布，d
kl
(p(z
a
|i
a
)||p(z
ab
|i
ab
))以及d
kl
(p(z
ab
|i
ab
)||p(z
a
|i
a
))为p(z
a
|i
a
)与p(z
ab
|i
ab
)的两个kl散度，用于表示p(z
a
|i
a
)与p(z
ab
|i
ab
)的相似度，p(z
a
|i
a
)与p(z
ab
|i
ab
)的相似度与两者之间的kl散度成负相关关系。
[0100]
d
kl
(p(z
a
|i
a
)||p(z
ab
|i
ab
)) d
kl
(p(z
ab
|i
ab
)||p(z
a
|i
a
))的目的在于约束z
a
和z
ab
关于内容信息的特征提取，排除掉域的冗余信息。β为超参数，用于调节公式右边两项的权值，可以是自定义的，可以是负数。通过约束l
ib
最小化，可以在约束z
a
与z
ab
的kl散度尽量小的条件下实现i(z
a
；z
ab
)最大化，可有效保持在图像转换过程中的图像内容一致性，kl散度对z
a
与z
ab
的分布进行约束，实现网络编码出的z
a
与z
ab
被压缩，即使得z
a
与z
ab
中保留尽可能少的图像域信息。
[0101]
由于p(z
a
|i
a
)和p(z
ab
|i
ab
)的概率分布的可以估计，即可以计算得到两者的kl散
度，因此可以将最小化l
ib
的问题转化为最大化i(i
a
；z
ab
)。由于i(i
a
；z
ab
)存在下界，因此可以将最大化i(i
a
；z
ab
)的问题转化为最大化其下界，该下界例如为公式(4)中的
[0102][0103]
是使用kl散度的donsker
‑
varadhan(dv)表示的互信息下界。dmi:z
a
×
z
ab
→
r是由卷积神经网络搭建的判别器函数。其中，i(z
a
；z
ab
)表示z
a
与z
ab
之间的互信息，i(z
a
；z
b
)表示z
a
与z
b
之间的互信息。d
mi
为互信息判别器，d
mi
(z
a
；z
ab
)为z
a
和z
ab
输入到d
mi
中得到的判别结果。j表示互信息判别器的正样本，例如可以是z
a
与z
ab
拼接得到的特征，j还可以称为联合分布。m表示互信息判别器的负样本，例如可以是z
a
与z
b
拼接得到的特征，m还可以称为边缘分布。e
m
为关于m的期望，e
j
为关于j的期望。表示j的期望减去m的期望的对数。
[0104]
在一些实施例中，本技术提供的图像处理方法可以用于对医学场景中的医学图像进行领域自适应。医学图像例如可以是眼底、内镜、ct(computed tomography，电子计算机断层扫描)或mr(magnetic resonance，磁共振检查)等图像。例如，由于采集医学图像的设备不同，或者染色方式不同，得到的医学图像在颜色或明暗程度上存在差异，从而使得的医学图像包括多种不同图像域的图像，可以通过本技术提供的图像处理方法，将不同域的图像进行转换，生成域之间比较相近的图像，从而可以使用这些图像对医学模型进行训练，将训练后的医学模型用于医学应用中，例如用于对医学图像进行分类或分割等。
[0105]
在一些实施例中，获取第一图像特征对应的第一特征值分布包括：根据第一图像特征中的第一特征值进行统计，得到第一特征值对应的第一统计值；根据第一统计值确定第一图像特征对应的第一特征值分布。
[0106]
其中，图像特征可以包括多个特征值。第一特征值指的是第一图像特征包括的特征值。第一统计值是对各个第一特征值进行统计计算得到的，统计计算包括但不限于是均值计算、标准差计算或方差计算。
[0107]
具体地，服务器可以对各个第一特征值进行均值计算得到目标均值，对各个第一特征值进行标准差计算得到目标标准差，根据目标均值和目标标准差得到第一统计值。服务器可以目标均值以及目标标准差进行线性运算，得到多个线性运算值，确定各个线性运算值分别对应的出现概率，根据各个线性运算值对应的出现概率得到第一特征值分布。
[0108]
在一些实施例中，服务器可以获取目标系数集合，利用目标系数集合中的目标系数对目标均值以及目标标准差进行线性运算，得到线性运算值。其中，目标系数集合中的目标系数可以是通过采样得到的，例如可以是对预设分布函数进行采样得到的，预设分布函数例如可以正态分布函数，正态分布函数包括标准正态分布和非标准正态分布，标准正态分布对应的均值为0，标准差为1。当然，目标系数集合可以是预先设置的。
[0109]
在一些实施例中，服务器可以根据目标均值以及目标标准差确定目标分布函数，目标分布函数的自变量设置为线性运算值，将目标分布函数的计算结果作为线性运算值对应的出现概率。其中，目标分布函数与预设分布函数属于同一类型的分布函数，例如预设分布函数为标准正态分布，目标分布函数为正态分布函数，并且该正态分布函数的均值为目标均值，标准差为目标标准差。第二特征值分布的计算方式可以参考第一特征值分布的计
算方式，这里不再赘述。
[0110]
在一些实施例中，得到第一特征值分布的步骤与得到第二特征值分布的步骤可以是同时进行的。当服务器获取到目标系数集合后，可以根据该目标系数集合并行计算，得到第一特征值分布以及第二特征值分布。
[0111]
在一些实施例中，服务器可以将第一图像特征输入到统计运算模型中，统计运算模型可以对各个第一特征值进行计算，输出第一统计值，例如输出目标均值以及目标标准差。服务器可以根据第二模型损失值对统计运算模型进行训练，使得统计运算模型可以准确的进行统计运算。
[0112]
本实施例中，由于图像特征中的特征值能够准确的反映图像特征的统计信息，因此根据第一图像特征中的第一特征值进行统计，得到第一特征值对应的第一统计值，根据第一统计值确定第一图像特征对应的第一特征值分布，可以提高第一特征值分布的准确度。
[0113]
在一些实施例中，第一统计值包括目标均值以及目标标准差，根据第一统计值确定第一图像特征对应的第一特征值分布包括：获取目标系数集合，目标系数集合包括多个目标系数；根据目标系数对目标标准差进行缩放处理，得到目标缩放值；基于目标缩放值对目标均值进行平移处理，得到目标数值，各个目标系数对应的目标数值组成目标数值集合；基于目标数值集合确定各个目标数值对应的目标出现概率，根据各个目标数值对应的目标出现概率得到第一特征值分布。
[0114]
其中，目标均值以及目标标准差是根据第一图像特征中的特征进行统计计算得到的。目标缩放值是根据目标系数对目标标准差进行缩放处理得到的结果。目标数值是基于目标缩放值对目标均值进行平移处理得到的结果。目标数值集合包括多个目标数值，目标数值的个数与目标系数的个数相同，一个目标系数对应一个目标数值。
[0115]
目标系数集合可以是预先设置的，也可以是通过采用得到，例如可以是对标准概率分布进行采样得到的采样值，标准概率分布可以任意的分布，例如可以是正态分布。当目标系数集合是通过对标准概率分布进行采样得到时，目标系数集合的数据分布符合标准概率分布。
[0116]
具体地，服务器可以计算目标系数与目标标准差的乘积，实现对目标标准差的缩放处理，得到目标缩放值，可以对目标缩放值以及目标均值进行求和计算，实现对目标均值的平移处理，得到各个目标系数分别对应的目标数值，组成目标数值集合。
[0117]
在一些实施例中，服务器可以根据目标均值以及目标标准差确定目标分布函数，将目标分布函数的自变量设置为目标数值，将目标分布函数的计算结果作为目标数值对应的目标出现概率，将各个目标数值作为第一特征值分布对应的第一特征值，根据各个目标数值对应的目标出现概率得到第一特征值分布，第一特征值分布中包括各个目标数值分别对应的目标出现概率。其中，目标分布函数与预设分布函数属于同一类型的分布函数，例如预设分布函数为标准正态分布，目标分布函数为正态分布函数，并且该正态分布函数的均值为目标均值，标准差为目标标准差。同样的，服务器可以采用本实施例提供的方法计算得到第二特征值分布中的，各个第二分布值以及各个第二分布值对应的出现概率。即可以通过一个目标系数计算得到一个第一分布值以及一个第二分布值，从而第一特征值分布中的第一分布值与第二特征值分布中的第二分布值之间具有对应关系。
[0118]
本实施例中，由于目标均值和目标标准差可以准确的反映特征的分布情况，因此通过目标均值和方差确定的第一特征值分布可以准确的反映第一图像特征的分布情况，提高了分布准确度。
[0119]
在一些实施例中，目标出现概率是基于目标数值集合对应的概率分布关系确定的；获取目标系数集合，目标系数集合包括多个目标系数包括：获取标准概率分布，基于标准概率分布进行数值采样，得到满足标准概率分布对应的数值，作为目标系数。
[0120]
具体地，目标数值集合对应的概率分布关系，指的是目标数值集合中的数据所符合的分布。标准概率分布可以是任意的概率分布，例如可以是标准正态分布。服务器可以生成符合标准概率分布的标准数据集合，从标准数据集合中随机选取，例如一次从标准数据集合中随机选取一个标准数据，将选取到的标准数据作为目标系数。服务器可以将得到的目标系数组成目标系数集合，由于目标系数集合中的目标系数是从标准数据集合中选取的，因此目标系数集合中的数据的分布符合标准概率分布。例如当标准数据集合的数据分布符合标准正态分布时，目标系数集合的数据分布也符合标准正态分布。
[0121]
本实施例中，基于标准概率分布进行数值采样，得到满足标准概率分布对应的数值，作为目标系数，从而可以使得得到的目标系数集合中的数据的分布情况符合标准概率分布，从而可以使得目标系数集合具有规律性。
[0122]
在一些实施例中，目标特征关联度包括第一特征判别概率，计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值包括：将第一图像特征以及第二图像特征进行拼接，将拼接得到的特征作为正样本特征；将正样本特征输入到特征判别模型中，得到第一特征判别概率；基于第一特征判别概率得到第一模型损失值。
[0123]
其中，正样本特征是与负样本特征向对的概念。正样本特征中可以包括两个或者多个图像特征，多个指的是至少三个。负样本特征中可以包括两个或者多个图像特征。第一模型损失值与第一特征判别概率成负相关关系。
[0124]
第一特征判别概率是将第一图像特征以及第二图像特征得到的正样本特征输入到特征判别模型中，特征判别模型计算得到的概率。
[0125]
具体地，可以根据卷积网络的通道维度，对第一图像特征以及第二图像特征进行拼接，得到对应的正样本特征，该正样本特征中包括第一图像特征以及第二图像特征。例如若第一图像特征和第二图像特征的大小均为16*16*128，则第一图像特征和第二图像特征对应的正样本特征为16*16*256，其中，16*16为每个通道输出的矩阵的大小，128以及256分别表示通道的数量。
[0126]
在一些实施例中，服务器可以将第一特征判别概率的相反数作为第一模型损失值，或者对第一特征判别概率进行对数计算，得到第一特征对数概率，将第一特征对数概率的相反数作为第一模型损失值，当有多个第一图像时，可以对第一特征判别概率或者第一特征对数概率进行统计计算，例如进行加权计算，得到第一模型损失值。
[0127]
本实施例中，将第一图像特征以及第二图像特征进行拼接，将拼接得到的特征作为正样本特征，将正样本特征输入到特征判别模型中，得到第一特征判别概率，基于第一特征判别概率得到第一模型损失值，实现了根据第一图像特征以及第二图像特征构成的正样本特征确定第一模型损失值，从而可以通过第一模型损失值调整图像处理模型以及特征判
别模型的模型参数，使得第一特征判别概率朝着变大的方向变化，即朝着第一图像特征与第二图像特征之间的差异变小的方向变化，也就是说，使得第一图像特征以及第二图像特征中包括的图像域信息朝着变小的方向变化，使得图像处理模型的准确度越来越高，提高了图像处理模型的准确度。
[0128]
在一些实施例中，基于第一特征判别概率得到第一模型损失值包括：获取第二图像域的第三图像，第三图像与第二图像不同；对第三图像进行特征提取，得到第三图像特征；将目标图像特征与第三图像特征作为负样本特征，将负样本特征输入到特征判别模型中，得到第二特征判别概率，目标图像特征为第一图像特征或者第二图像特征；基于第一特征判别概率以及第二特征判别概率得到第一模型损失值，第二特征判别概率与第一模型损失值成正相关关系。
[0129]
其中，第三图像属于第二图像域。第三图像与第二图像不同。目标图像特征可以包括第一图像特征或第二图像特征中的至少一个。第二特征判别概率是将负样本特征输入到特征判别模型中，特征判别模型得到的概率。第一模型损失值与第一特征判别概率成负相关关系，与第二特征判别概率成正相关关系。
[0130]
具体地，服务器可以利用第二编码模型对第三图像进行特征提取，得到第三图像特征，将目标图像特征与第三图像特征组成对应的负样本特征，例如可以将第一图像特征与第三图像特征进行拼接，得到对应的负样本特征。
[0131]
在一些实施例中，服务器可以根据第二特征判别概率与第一特征判别概率的差异，得到第一模型损失值，例如可以计算第二特征判别概率减去第一特征判别概率后的结果，作为第一模型损失值，或者对第二特征判别概率进行对数计算，得到第二特征对数概率，第一特征判别概率进行对数计算，得到第一特征对数概率，计算第二特征对数概率与第一特征对数概率的差异得到第一模型损失值。当正样本特征或负样本特征的数量为多个是，多个指的是至少两个，可以对第二特征对数概率以及第一特征对数概率进行统计计算，得到第一模型损失值。
[0132]
在一些实施例中，特征判别模型可以根据计算得到的概率对样本特征进行分类，得到样本特征对应的预测类别，当预测类别与样本特征的真实类别一致时，表明特征判别模型的判断结果是准确的，随着对特征判别模型的训练，特征判别模型的判断结果越来越准确。样本特征的真实类别可以根据样本特征的标签确定。正样本特征对应有正样本标签，负样本特征对应有负样本标签，正样本标签例如为“真(real)”，负样本标签例如为“假(fake)”。
[0133]
举例说明，特征判别模型例如可以是图6中的互信息判别模型(mutul inforation discriminator，dmi)。如图6中，ib表示第三图像，enca表示第一编码模型，encb表示第二编码模型，zb表示第三图像特征，将第一图像特征za以及第二图像特征zab组成的正样本特征输入到互信息判别模型中，以及将第一图像特征za以及第三图像特征zb组成的负样本特征输入到互信息判别模型中，j表示正样本特征，m表示负样本特征，当互信息判别模型训练完成时，可以准确的将标签为real的正样本特征识别为real类，将标签为fake的负样本特征识别为fake类。互信息判别模型也可以称为互信息判别器。
[0134]
在一些实施例中，服务器可以根据样本标签确定样本特征为正样本特征还是负样本特征，当确定样本标签为正样本标签时，获取特征判别模型得到的特征判别概率，根据特
征判别概率计算得到正样本损失值，正样本损失值与特征判别概率成负相关关系。当确定样本标签为负样本标签时，获取特征判别模型得到的特征判别概率，根据特征判别概率计算得到负样本损失值，负样本损失值与特征判别概率成正相关关系，根据各个正样本损失值以及各个负样本损失值加权计算得到第一模型损失值。
[0135]
在一些实施例中，服务器通过调整特征判别模型以及图像处理模型的参数，使得第一模型损失值朝着减小的方向变化，由于第一特征判别概率与第一模型损失值成负相关关系，第二特征判别概率与第一模型损失值成正相关关系，因此，可以使得第一特征判别概率朝着增大的方向变化，第二特征判别概率朝着减小的方向变化，由于第一图像特征与第二图像特征间的互信息与第一特征判别概率成正相关关系，因此，可以使得第一图像特征与第二图像特征间的互信息朝着增大的方向变化，从而实现第一图像特征与第二图像特征的互信息的最大化。当第一图像特征以及第二图像特征中仅包括图像内容特征时，可以实现第一图像的内容特征与第二图像的内容特征间的互信息的最大化，从而使得第二图像的内容特征与第一图像的内容特征保持一致，减少了图像处理模型得到的第二图像发生形变的情况，提高了图像处理模型的准确度，提高了图像处理效果。
[0136]
本实施例中，将目标图像特征与第三图像特征作为负样本特征，将负样本特征输入到特征判别模型中，得到第二特征判别概率，基于第一特征判别概率以及第二特征判别概率得到第一模型损失值，实现了根据目标图像特征以及第三图像特征构成的负样本特征确定第一模型损失值，从而可以通过第一模型损失值调整图像处理模型以及特征判别模型的模型参数，使得特征判别模型可以准确的进行判别，以及使得图像处理模型的准确度越来越高，提高了图像处理模型的准确度，提高了图像处理效果。
[0137]
在一些实施例中，该方法还包括：基于第一模型损失值得到特征判别模型对应的模型参数调整梯度；基于模型参数调整梯度调整特征判别模型的模型参数。
[0138]
其中，模型参数调整梯度指的是用于对模型参数进行调整的参数，模型参数调整梯度可以根据第一模型损失值计算得到，例如可以对第一模型损失值进行求导运算，得到模型参数调整梯度。
[0139]
具体地，服务器可以根据第一模型损失值进行反向传播，并在反向传播的过程中，沿着模型参数调整梯度下降的方向更新特征判别模型的模型参数。
[0140]
在一些实施例中，服务器可以根据第一模型损失值进行反向传播，并在反向传播的过程中，沿着模型参数调整梯度下降的方向，更新图像处理模型以及特征判别模型的模型参数，实现图像处理模型以及特征判别模型的联合训练。
[0141]
本实施例中，基于第一模型损失值得到特征判别模型对应的模型参数调整梯度，基于模型参数调整梯度调整特征判别模型的模型参数，可以快速的对特征判别模型的模型参数进行调整，加快了模型收敛的速度，提高了模型训练效率。
[0142]
在一些实施例中，该方法还包括：获取初始图像处理模型；基于训练图像对初始图像处理模型进行训练，得到当前图像处理模型；将参考图像输入到当前图像处理模型中进行处理，得到处理图像；当确定处理图像相对于参考图像的目标形变度大于形变度阈值时，则进入获取第一图像域的第一图像的步骤。
[0143]
其中，初始图像处理模型可以是还未进行过训练的神经网络模型，也可以是训练过但还需要进一步优化的模型。训练图像以及参考图像均属于第一图像域，参考图像与训
练图像不同。训练图像可以有多个，参考图像也可以有多个，多个指的是至少两个。当前图像处理模型指的是当前时间训练得到的图像处理模型。处理图像是当前图像处理模型对参考图像进行处理得到的图像。目标形变度指的是处理图像相对于参考图像的形变程度，形变度阈值可以根据需要设置，也可以是预先设置的。
[0144]
具体地，服务器可以通过不同的训练图像对初始图像处理模型进行多轮的训练，在每轮训练得到当前图像处理模型后，可以将参考图像输入到当前图像处理模型中，得到处理图像。服务器也可以先利用不同的训练图像对初始图像处理模型进行多轮训练，利用多轮训练后得到的当前图像处理模型对参考图像进行处理，得到处理图像。
[0145]
在一些实施例中，服务器可以从终端获取处理图像对应的目标形变度。具体地，服务器可以将处理图像发送至一个或者多个图像查看终端，多个指的是至少两个，图像查看终端可以展示处理图像，并可以获取到用户针对处理图像的操作，例如图像查看终端可以展示形变度获取区域，通过形变度获取区域接收用户输入或选择的形变度，并将形变度获取区域接收到的形变度返回至服务器，服务器可以将图像查看终端返回的形变度作为目标形变度。当图像参看终端有多个是，服务器可以获取各个图像查看终端分别返回的形变度，对各个形变度进行统计计算，例如进行加权计算，将加权计算的结果作为目标形变度。
[0146]
在一些实施例中，服务器可以将目标形变度与形变度阈值进行对比，当确定目标形变度大于形变度阈值时，进入获取第一图像域的第一图像的步骤，服务器也可以计算目标形变度与形变度阈值之间的形变度差异值，当形变度差异值大于差异值阈值时，进入获取第一图像域的第一图像的步骤。形变度差异值可以根据需要确定，也可以是预先设置的。
[0147]
本实施例中，基于训练图像对初始图像处理模型进行训练，得到当前图像处理模型，可以使得当前图像处理模型学习到图像域迁移的能力，即学习到根据第一图像域中的图像得到第二图像域的图像的能力，当确定处理图像相对于参考图像的目标形变度大于形变度阈值时，进入获取第一图像域的第一图像的步骤，也就是说，当确定处理图像相对于参考图像的目标形变度大于形变度阈值时，根据目标模型损失值调整图像处理模型的参数，实现了在合适的时机利用目标模型损失值，减少了图像处理模型输出的图像发生形变的情况，提高了模型训练的效率以及准确度。
[0148]
在一些实施例中，计算第一特征值分布与第二特征值分布之间的分布关联度包括：从第一特征值分布中获取第一分布值，从第二特征值分布中获取第一分布值对应的第二分布值；获取第一分布值以及第二分布值的差异值；基于差异值确定分布关联度，分布关联度与差异值成负相关关系。
[0149]
其中，根据同一目标系数计算得到的第一分布值以及第二分布值，具有对应关系，即若第一分布值是通过目标系数a计算得到的，则第一分布值对应的第二分布值也是通过目标系数a计算得到的。
[0150]
具体地，服务器可以从第一特征值分布以及第二特征值分布中，选取同一目标系数计算得到的第一分布值以及第二分布值，计算第一分布值的出现概率与第二分布值的出现概率之间的差异值，根据差异值确定第一特征值分布与第二特征值分布之间的目标散度，目标散度与差异值之间成正相关关系，分布关联度与目标散度成负相关关系。由于第二模型损失值与分布关联度成负相关关系，因此，第二模型损失值与目标散度成正相关关系。
[0151]
在一些实施例中，目标散度包括第一散度和第二散度。服务器可以计算第一分布
值的出现概率，与对应的第二分布值的出现概率之间的比值，得到第一概率比值，作为第一分布值以及第二分布值的差异值，或者对第一概率比值进行计算，例如对第一概率比值进行对数运算，将对数运算的结果作为第一分布值以及第二分布值的差异值，根据该差异值确定第一散度，第一散度与第一概率比值成正相关关系。服务器可以计算第二分布值的出现概率，与对应的第二分布值的出现概率之间的比值，得到第二概率比值，根据第二概率比值确定第二散度，第二散度与第二概率比值成正相关关系。
[0152]
由于第一特征值分布与第二特征值分布的相似度与目标散度之间成负相关关系，因此通过将目标散度向减小的方向调整，可以使得第一特征值分布与第二特征值分布之间的相似度朝着变大的方向调整，由于第一特征值分布与第二特征值分布相似度越大，可以表示第一图像特征与第二图像特征中包括的图像域信息越少，从而可以达到对图像进行特征提取，提取到图像内容特征的效果。由于第二模型损失值与目标散度成正相关关系，因此，通过将第二模型损失值向减小的方向调整，同样可以实现第一图像特征与第二图像特征中包括的图像域信息越少，达到对图像进行特征提取，提取到图像内容特征的效果。
[0153]
本实施例中，由于差异值越小，第一分布值与第二分布值越相近，第一特征值分布与第二特征值分布越相似，因此根据差异值确定的分布关联度可以准确的反映第一特征值分布与第二特征值分布之间的相似性，提高了分布关联度的准确性。
[0154]
在一些实施例中，第一图像特征是基于第一编码模型得到的，第二图像特征是基于第二编码模型得到的，基于目标模型损失值调整图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理包括：基于目标模型损失值调整图像处理模型、第一编码模型以及第二编码模型的模型参数，得到调整后的图像处理模型、第一编码模型以及第二编码模型；返回获取第一图像域的第一图像的步骤，以继续进行模型训练，直至图像处理模型收敛，得到已训练的图像处理模型。
[0155]
具体地，服务器可以朝着目标模型损失值变小的方向调整图像处理模型、第一编码模型以及第二编码模型的模型参数，经过多次迭代训练，直至图像处理模型收敛，得到已训练的图像处理模型、已训练的第一编码模型以及已训练的第二编码模型。
[0156]
在一些实施例中，当满足模型收敛条件时，确定模型收敛。模型收敛条件可以是模型损失值的变化小于预设损失值变化值，也可以是模型参数的变化小于预设参数变化值。预设损失值变化值以及预设参数变化值为预先设置的。
[0157]
在一些实施例中，服务器可以基于目标模型损失值进行反向传播，并在反向传播的过程中，沿梯度下降方向更新图像处理模型、第一编码模型以及第二编码模型的模型参数。其中，反向指的是参数的更新与图像处理的方向是相反的。梯度下降方法可以是随机梯度下降法或批量梯度下降。
[0158]
在一些实施例中，目标模型损失值包括第一模型损失值以及第二模型损失值，服务器可以朝着第一模型损失值变小的方向以及第二模型损失值变小的方向，调整图像处理模型、第一编码模型以及第二编码模型的模型参数，得到已训练的图像处理模型、第一编码模型以及第二编码模型。
[0159]
在一些实施例中，服务器通过调整特征判别模型以及图像处理模型的参数，使得第一模型损失值朝着减小的方向变化，由于第一特征判别概率与第一模型损失值成负相关关系，第二特征判别概率与第一模型损失值成正相关关系，因此，可以使得第一特征判别概
率朝着增大的方向变化，第二特征判别概率朝着减小的方向变化，由于第一图像特征与第二图像特征间的互信息与第一特征判别概率成正相关关系，因此，可以使得第一图像特征与第二图像特征间的互信息朝着增大的方向变化，从而实现第一图像特征与第二图像特征的互信息的最大化。由于通过将第二模型损失值向减小的方向调整，可以达到对图像进行特征提取，提取到图像内容特征的效果，即可以使得第一图像特征以及第二图像特征中仅包括图像内容特征，在图像特征仅包括图像内容特征的情况下，实现第一图像的内容特征与第二图像的内容特征间的互信息的最大化，可以保证第二图像的内容特征与第一图像的内容特征保持一致，从而减少了图像处理模型得到的第二图像发生形变的情况，提高了图像处理模型的准确度，提高了图像处理效果。
[0160]
在一些实施例中，当图像处理模型为生成对抗网络中的生成网络模型时，服务器可以基于目标模型损失值，对特征判别模型、第一编码模型、第二编码模型以及生成对抗网络中的生成网络模型和判别网络模型进行联合训练，迭代训练多次，例如70次，得到训练后的各个模型。
[0161]
本实施例中，实现了图像处理模型、第一编码模型以及第二编码模型的联合训练，提高了模型准确度以及模型训练效率，提高了领域自适应的准确度。
[0162]
在一些实施例中，如图7所示，提供了一种图像处理方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
[0163]
s702，获取待进行风格迁移的原始图像。
[0164]
s704，确定原始图像所属的第一图像域以及待迁移至的第二图像域。
[0165]
s706，基于第一图像域以及第二图像域确定已训练的图像处理模型；图像处理模型是基于目标模型损失值训练得到的，目标模型损失值根据第一模型损失值以及第二模型损失值得到，第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，第一模型损失值与目标特征关联度成负相关关系，第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，第二模型损失值与分布关联度成负相关关系，第一图像特征为第一图像域的第一图像对应的图像特征，第一图像特征为第二图像域的第二图像对应的图像特征，第二图像基于第一图像生成。
[0166]
s708，将原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。
[0167]
其中，原始图像是待进行风格迁移的图像。原图像属于第一图像域。已训练的图像处理模型用于将第一图像域的图像转换为第二图像域中的图像，实现图像域迁移。目标图像是已训练的图像处理模型根据原始图像生成的，目标图像属于第二图像域。
[0168]
上述图像处理方法中，获取待进行风格迁移的原始图像，确定原始图像所属的第一图像域以及待迁移至的第二图像域，基于第一图像域以及第二图像域确定已训练的图像处理模型；图像处理模型是基于目标模型损失值训练得到的，目标模型损失值根据第一模型损失值以及第二模型损失值得到，第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，第一模型损失值与目标特征关联度成负相关关系，第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，第二模型损失值与分布关联度成负相关关系，第一图像特征为第一图像域的第一图像对应的图像特征，第一图像特征为第二图像域的第二图像对应的图
像特征，第二图像基于第一图像生成，将原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。由于第二模型损失值与分布关联度成负相关关系，而分布关联度越大，第一图像特征以及第二图像特征中与图像域相关的信息越少，因此通过朝着第二模型损失值减小的方向调整模型参数，可以使得第一图像特征以及第二图像特征中的图像域信息减少，图像的内容信息增加，从而可以使得目标特征关联度可以反映第一图像与第二图像在内容信息上的相似程度，由于第一模型损失值与目标特征关联度成负相关关系，而目标特征关联度越大，第一图像与第二图像在内容信息上的相似程度越大，因此通过朝着第一模型损失值减小的方向调整模型参数，可以使得第二图像与第一图像在内容信息上保持一致，减少第二图像发生形变的情况，提高了图像处理模型的准确度，提高了图像处理效果。
[0169]
本技术提供的图像处理方法可以用于对医学领域中的医学图像进行处理。在训练医学领域的图像检测模型时，图像检测模型是用于对图像检测的模型，用于得到图像检测结果，图像检测结果例如可以是图像中对象的检测结果，例如包括对象所处的位置或者对象对应的分类结果的至少一个。例如，图像识别模型可以识别得到眼底中斑点所在的位置或者斑点的类别的至少一个。
[0170]
经常存在训练集中图像是通过一种医学设备采集得到，而测试图像检测模型的测试集中的医学图像通过另外一种医学设备采集得到，由于每个设备采用的拍摄参数不一样，从而导致训练集中的医学图像与测试集中的医学图像属于不同的图像域的情况发生，而当测试集与训练集的图像域不同时，使用测试集对训练后的图像检测模型进行准确度检测所得到的结果是不准确的。为了解决这个问题，可以采用本技术提供的图像处理方法训练得到图像域转换模型，使得训练到的图像域转换模型可以将测试集中的医学图像转换到训练集对应的图像域，从而使得转换后的测试集与训练集的图像域保持一致，并且转化后的医学图像与转换前的医学图像中的内容保持一致，即内容不发生变形，例如当医学图像为眼底图像时，转换前后的图像之间的眼底保持一致，再利用转换后的测试集对图像检测模型进行测试，从而提高检测的准确度。
[0171]
具体地，可以获取测试域对应的医学图像，得到第一图像，将第一图像输入到待训练的图像域转换模型中，得到训练域对应的第二图像，测试域指的是测试集对应的图像域，训练域指的是训练集对应的图像域，确定第一图像对应的第一图像特征的第一特征值分布，以及第二图像对应的第二图像特征的第二特征值分布，朝着第一图像特征与第二图像特征之间的差异减小的方向，以及第一特征值分布与第二特征值分布之间的差异减小的方向，调整图像域转换模型的模型参数，得到已训练的图像域转换模型，使得已训练的图像域转换模型可以将属于测试集域的医学图像转换为属于训练集域的医学图像，并且可以减少转换后的医学图像中的内容发送变化的情况，提高了医学图像的处理效果，从而可以利用已训练的图像域转换模型对测试集中的医学图像进行域转换，得到转换后的测试集，使得转换后的测试集中的医学图像属于训练图像域，并且内容不发生变形，使用转换后的测试集对图像检测模型进行测试，可以提高测试的准确度。
[0172]
本技术提供的图像处理方法所得到的已训练的图像处理模型还可以用于对图像进行图像域转换，以使得图像域转换后的图像所对应的图像域与图像检测模型所对应的图像域匹配。例如图像检测模型是采用第二图像域的训练集训练得到的，因此为了提高图像
检测模型对待检测图像的检测准确度，可以将来源于不同的医院或者不同医学设备的待检测图像的图像域转换为第二图像域，再将第二图像域的图像输入到图像检测模型中进行检测，从而提高检测准确度。
[0173]
如图8所示，为一些实施例中提供的图像处理方法的应用场景图。云服务器中部署有已训练的图像处理模型，前端a802可以向云服务器804发送携带待进行图像域转换的图像，云服务器可以获取待进行图像域转换的图像，利用本技术提供的图像处理方法对待进行图像域转换的图像进行图像域转换，得到图像域转换后的图像。云服务器804可以向前端b806发送图像域转换后的图像，或者云服务器804中还可以部署有图像检测模型，可以利用图像检测模型对图像域转换后的图像进行图像检测，得到图像检测结果，再将图像检测结果发送给前端b。前端b例如可以是电脑或者手机，前端a可以是图像采集设备。可以理解，前端a与前端b可以是同一设备，也可以是不同设备。
[0174]
举个例子，前端a可以是对眼底进行图像采集的图像采集设备，一个图像检测模型需要对来源于不同医院或者不同图像采集设备的图像进行检测，则图像采集设备采集得到眼底图像之后，可以向云服务器发送眼底图像，云服务器上部署有图像处理模型以及图像检测模型，图像检测模型是采用第二图像域的图像训练得到的，图像处理模型是采用本技术图像处理方法所训练得到的，用于将不同图像域的图像转换为第二图像域。故云服务器在接收到眼底图像之后，可以将眼底图像输入到图像处理模型中进行图像域转换，得到第二图像域的眼底图像，云服务器将第二图像域的眼底图像输入到图像检测模型中进行检测，得到图像检测结果，云服务器可以将该图像检测结果发送给前端b，例如医生或者检测人员对应的电脑中，前端b可以显示该图像检测结果。
[0175]
在一些实施例中，如图9所示，提供了一种图像处理方法，包括以下步骤：
[0176]
902、获取初始图像处理模型；
[0177]
904、基于训练图像对初始图像处理模型进行训练，得到当前图像处理模型；将参考图像输入到当前图像处理模型中进行处理，得到处理图像；
[0178]
906、判断处理图像相对于参考图像的目标形变度是否大于形变度阈值，若是，则跳转到908，若否，则返回904。
[0179]
908、获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像，对第一图像进行特征提取，得到第一图像特征；对第二图像进行特征提取，得到第二图像特征；第一图像特征是基于第一编码模型得到的，第二图像特征是基于第二编码模型得到的；
[0180]
910、计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值；步骤910包括：
[0181]
910a、将第一图像特征以及第二图像特征进行拼接，将拼接得到的特征作为正样本特征，获取第二图像域的第三图像，第三图像与第二图像不同，对第三图像进行特征提取，得到第三图像特征，将目标图像特征与第三图像特征作为负样本特征，目标图像特征为第一图像特征或者第二图像特征；
[0182]
910b、将正样本特征输入到特征判别模型中，得到第一特征判别概率；将负样本特征输入到特征判别模型中，得到第二特征判别概率；
[0183]
910c、基于第一特征判别概率以及第二特征判别概率得到第一模型损失值，第二
特征判别概率与第一模型损失值成正相关关系。
[0184]
912、获取第一图像特征对应的第一特征值分布以及第二图像特征对应的第二特征值分布；计算第一特征值分布与第二特征值分布之间的分布关联度，基于分布关联度得到第二模型损失值；步骤912包括：
[0185]
912a、根据第一图像特征中的第一特征值进行统计，得到第一特征值对应的第一统计值；第一统计值包括目标均值以及目标标准差；
[0186]
912b、获取标准概率分布，基于标准概率分布进行数值采样，得到满足标准概率分布对应的数值，作为目标系数；
[0187]
912c、根据目标系数对目标标准差进行缩放处理，得到目标缩放值；基于目标缩放值对目标均值进行平移处理，得到目标数值，各个目标系数对应的目标数值组成目标数值集合；
[0188]
912d、基于目标数值集合确定各个目标数值对应的目标出现概率，根据各个目标数值对应的目标出现概率得到第一特征值分布。
[0189]
914、基于第一模型损失值以及第二模型损失值得到目标模型损失值；
[0190]
916、基于目标模型损失值调整图像处理模型、第一编码模型以及第二编码模型的模型参数，得到调整后的图像处理模型、第一编码模型以及第二编码模型；
[0191]
918、判断图像处理模型是否收敛，若否，则返回获取第一图像域的第一图像的步骤，以继续进行模型训练，若是，则执行920.
[0192]
920、得到已训练的图像处理模型。
[0193]
需要说明的是步骤910与步骤912可以是并行的。
[0194]
应该理解的是，虽然图2
‑
9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2
‑
9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0195]
在一些实施例中，如图10所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像获取模块1002、图像特征提取模块1004、第一模型损失值得到模块1006、特征值分布获取模块1008、第二模型损失值得到模块1010、目标模型损失值确定模块1012和已训练的图像处理模型得到模块1014，其中：
[0196]
图像获取模块1002，用于获取第一图像域的第一图像，将第一图像输入到待训练的图像处理模型中，得到第二图像域的第二图像。
[0197]
图像特征提取模块1004，用于对第一图像进行特征提取，得到第一图像特征。对第二图像进行特征提取，得到第二图像特征。
[0198]
第一模型损失值得到模块1006，用于计算第一图像特征与第二图像特征之间的目标特征关联度，基于目标特征关联度得到第一模型损失值，第一模型损失值与目标特征关联度成负相关关系。
[0199]
特征值分布获取模块1008，用于获取第一图像特征对应的第一特征值分布以及第
二图像特征对应的第二特征值分布。
[0200]
第二模型损失值得到模块1010，用于计算第一特征值分布与第二特征值分布之间的分布关联度，基于分布关联度得到第二模型损失值，第二模型损失值与分布关联度成负相关关系。
[0201]
目标模型损失值确定模块1012，用于基于第一模型损失值以及第二模型损失值得到目标模型损失值。
[0202]
已训练的图像处理模型得到模块1014，用于基于目标模型损失值调整图像处理模型的模型参数，得到已训练的图像处理模型，以利用已训练的图像处理模型对图像进行处理。
[0203]
在一些实施例中，特征值分布获取模块1008包括：
[0204]
第一统计值得到单元，用于根据第一图像特征中的第一特征值进行统计，得到第一特征值对应的第一统计值。
[0205]
第一统计值分布确定单元，用于根据第一统计值确定第一图像特征对应的第一特征值分布。
[0206]
在一些实施例中，第一统计值包括目标均值以及目标标准差，第一统计值分布确定单元，还用于获取目标系数集合，目标系数集合包括多个目标系数；根据目标系数对目标标准差进行缩放处理，得到目标缩放值；基于目标缩放值对目标均值进行平移处理，得到目标数值，各个目标系数对应的目标数值组成目标数值集合；基于目标数值集合确定各个目标数值对应的目标出现概率，根据各个目标数值对应的目标出现概率得到第一特征值分布。
[0207]
在一些实施例中，目标出现概率是基于目标数值集合对应的概率分布关系确定的；第一统计值分布确定单元，还用于获取标准概率分布，基于标准概率分布进行数值采样，得到满足标准概率分布对应的数值，作为目标系数。
[0208]
在一些实施例中，目标特征关联度包括第一特征判别概率，第一模型损失值得到模块1006包括：
[0209]
正样本特征得到单元，用于将第一图像特征以及第二图像特征进行拼接，将拼接得到的特征作为正样本特征。
[0210]
第一特征判别概率得到单元，用于将正样本特征输入到特征判别模型中，得到第一特征判别概率。
[0211]
第一模型损失值得到单元，用于基于第一特征判别概率得到第一模型损失值。
[0212]
在一些实施例中，第一模型损失值得到单元，还用于获取第二图像域的第三图像，第三图像与第二图像不同；对第三图像进行特征提取，得到第三图像特征；将目标图像特征与第三图像特征作为负样本特征，将负样本特征输入到特征判别模型中，得到第二特征判别概率，目标图像特征为第一图像特征或者第二图像特征；基于第一特征判别概率以及第二特征判别概率得到第一模型损失值，第二特征判别概率与第一模型损失值成正相关关系。
[0213]
在一些实施例中，该装置还包括：
[0214]
模型参数调整梯度得到模块，用于基于第一模型损失值得到特征判别模型对应的模型参数调整梯度。
[0215]
参数调整模块，用于基于模型参数调整梯度调整特征判别模型的模型参数。
[0216]
在一些实施例中，该装置还包括：
[0217]
初始图像处理模型获取模块，用于获取初始图像处理模型。
[0218]
当前图像处理模型得到模块，用于基于训练图像对初始图像处理模型进行训练，得到当前图像处理模型。
[0219]
处理图像得到模块，用于将参考图像输入到当前图像处理模型中进行处理，得到处理图像。
[0220]
目标形变度确定模块，用于当确定处理图像相对于参考图像的目标形变度大于形变度阈值时，则进入获取第一图像域的第一图像的步骤。
[0221]
在一些实施例中，第二模型损失值得到模块1010包括：
[0222]
分布值获取单元，用于从第一特征值分布中获取第一分布值，从第二特征值分布中获取第一分布值对应的第二分布值。
[0223]
差异值获取单元，用于获取第一分布值以及第二分布值的差异值。
[0224]
分布关联度确定单元，用于基于差异值确定分布关联度，分布关联度与差异值成负相关关系。
[0225]
在一些实施例中，第一图像特征是基于第一编码模型得到的，第二图像特征是基于第二编码模型得到的，已训练的图像处理模型得到模块1014包括：
[0226]
模型参数调整单元，用于基于目标模型损失值调整图像处理模型、第一编码模型以及第二编码模型的模型参数，得到调整后的图像处理模型、第一编码模型以及第二编码模型。
[0227]
已训练的图像处理模型得到单元，用于返回获取第一图像域的第一图像的步骤，以继续进行模型训练，直至图像处理模型收敛，得到已训练的图像处理模型。
[0228]
在一些实施例中，如图11所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：原始图像获取模块1102、图像域确定模块1104、已训练的图像处理模型确定模块1106和目标图像生成模块1108，其中：
[0229]
原始图像获取模块1102，用于获取待进行风格迁移的原始图像。
[0230]
图像域确定模块1104，用于确定原始图像所属的第一图像域以及待迁移至的第二图像域。
[0231]
已训练的图像处理模型确定模块1106，用于基于第一图像域以及第二图像域确定已训练的图像处理模型；图像处理模型是基于目标模型损失值训练得到的，目标模型损失值根据第一模型损失值以及第二模型损失值得到，第一模型损失值根据第一图像特征与第二图像特征之间的目标特征关联度计算得到，第一模型损失值与目标特征关联度成负相关关系，第二模型损失值根据第一图像特征对应的第一特征值分布与第二图像特征对应的第二特征值分布之间的分布关联度得到，第二模型损失值与分布关联度成负相关关系，第一图像特征为第一图像域的第一图像对应的图像特征，第一图像特征为第二图像域的第二图像对应的图像特征，第二图像基于第一图像生成。
[0232]
目标图像生成模块1108，用于将原始图像输入到已训练的图像处理模型中，生成第二图像域的目标图像。
[0233]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0234]
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
[0235]
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0236]
本领域技术人员可以理解，图12和13中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0237]
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0238]
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0239]
在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
[0240]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0241]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0242]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。