一种图像处理方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.随着人工智能技术的发展，对图像的识别广泛地应用在各种业务场景下。例如：在刷脸业务场景（如刷脸支付、刷脸登录等业务场景）中可通过识别人脸图像来进行业务处理。然而，由于不同图像采集模组采集到的图像存在成像风格上的差异，如清晰度、曝光亮度不同会导致成像风格存在差异，如果业务场景中使用的图像采集模组被更换等原因，会导致采集到的图像的成像风格发生变化，基于与更换前的图像采集模组相关的特征提取与识别方式会因为成像风格的变化而对图像的识别带来不利影响，可能会降低识别有效性和准确性。


技术实现要素：

3.本技术实施例提供一种图像处理方法、装置、设备及存储介质，可提升成像风格变换后图像识别的有效性和准确性。
4.一方面，本技术实施例提供了一种图像处理方法，方法包括：获取待处理的目标图像，目标图像具有第一成像风格；按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，参考图像具有第二成像风格；风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的，第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征；对参考图像进行识别处理，得到图像识别结果；其中，样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。
5.另一方面，本技术实施例提供了一种图像处理装置，装置包括：获取单元，用于获取待处理的目标图像，目标图像具有第一成像风格；处理单元，用于按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，参考图像具有第二成像风格；风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的，第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征；处理单元，还用于对参考图像进行识别处理，得到图像识别结果；其中，样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。
6.在一个实施例中，所述风格转换规则包括图像处理模型，处理单元，还用于：获取样本集合，样本集合包括多个样本组，每个样本组至少包括两个样本图像，每个样本组中的不同样本图像是由不同图像采集模组对同一目标对象采集得到的图像；通过样本集合对目标模型进行训练，得到图像处理模型；其中，第一内容特征包括：对样本组中的第一样本图像进行共有特征提取处理得到的第一样本图像对应的语义特征信息；语义特征信息包括：目标对象的五官特征信息、目标对象的面部深度信息中的一种或者两种。
7.在一个实施例中，处理单元在通过样本集合对目标模型进行训练，得到图像处理模型时，具体用于：通过第一模型从样本集合中目标样本组包括的第一样本图像中获取语义特征信息；第一模型是基于第二模型进行知识蒸馏处理得到的，第一模型用于进行样本图像的共有特征提取处理；通过第二模型对目标样本组包括的第二样本图像进行特征提取处理，得到第二样本图像的细节特征；根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型。
8.在一个实施例中，处理单元在通过第一模型来从样本集合中目标样本组包括的第一样本图像中获取语义特征信息之前，还用于：调用学生网络对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第一内容特征，并调用第二模型对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第二内容特征；调用第二模型对目标样本组中的第二样本图像进行特征提取处理，得到第二样本图像的第二内容特征；根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理，以得到学生网络对应的第一模型。
9.在一个实施例中，处理单元在根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理时，具体用于：将第二模型得到的第一样本图像的第二内容特征与第二样本图像的第二内容特征之间满足特征一致性条件的内容特征，作为第一样本图像的参考内容特征；根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失；在目标损失满足参数调整条件时，对学生网络进行参数调整以得到学生网络对应的第一模型。
10.在一个实施例中，处理单元在根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失时，具体用于：根据学生网络得到的第一样本图像的第一内容特征，分别按照不同的蒸馏温度t
进行类别预测处理，得到第一样本图像的第一预测结果和第一样本图像的第二预测结果；通过第二模型基于第一样本图像的参考内容特征进行类别预测处理，得到第一样本图像的软标签，并获取第一样本图像设置的硬标签；根据第一预测结果和软标签，确定第一样本图像的第一预测损失，并根据第二预测结果和硬标签，确定第一样本图像的第二预测损失；采用第一预测损失和第二预测损失确定在知识蒸馏过程中第一样本图像对应的目标损失。
11.在一个实施例中，处理单元在根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型时，具体用于：调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像；获取为样本组设置的第一测试图像和第二测试图像，第一测试图像与第一样本图像匹配，第二测试图像与第二样本图像匹配；调用判别网络，根据第一测试图像对预测图像进行判别处理，得到判别结果，判别结果用于指示预测图像中的目标对象的真实性；对预测图像和第二测试图像进行内容一致性比较，得到比较结果，比较结果用于指示预测图像与第二测试图像之间的图像内容是否满足一致性条件；根据比较结果和判别结果对目标模型的参数进行更新，以得到图像处理模型。
12.在一个实施例中，处理单元在对预测图像和第二测试图像进行内容一致性比较，得到比较结果时，具体用于：调用第二模型对预测图像进行特征提取处理，得到预测图像的内容特征，并调用第二模型对第二测试图像进行特征提取处理，得到第二测试图像的内容特征；将预测图像的内容特征与第二测试图像的内容特征进行一致性比较，得到比较结果。
13.在一个实施例中，处理单元在调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像之前，还用于：对目标模型中的每一层网络的参数进行奇异值分解，得到每层网络对应的参数分解结果，参数分解结果包括奇异值矩阵；对每层网络对应的参数分解结果包括的奇异值矩阵进行归一化处理，并根据归一化后的奇异值矩阵得到归一化后的参数矩阵，归一化后的参数矩阵包括相应层网络对应的归一化后的参数。
14.在一个实施例中，处理单元在调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像之后，还用于：根据预测图像、目标模型的权重参数及第一样本图像确定预测图像的生成损失，并基于目标模型中包括的参数确定正则化项；基于预测图像的生成损失和正则化项对目标模型的参数进行更新。
15.在一个实施例中，目标模型在训练过程中还添加有随机噪声向量进行训练，随机噪声向量根据从正态分布中采样得到的各个随机数生成；处理单元还用于：
采用截断参数对随机噪声向量进行截断处理，得到截断噪声向量；截断噪声向量包括多个随机噪声值，且每个随机噪声值均在预设范围内；截断噪声向量用于生成预测图像。
16.在一个实施例中，图像识别结果是调用图像识别模型对参考图像进行识别处理得到的，图像识别模型是通过具有第二成像风格的图像训练得到的。
17.再一方面，本技术实施例提供了一种图像处理设备，该图像处理设备包括输入接口和输出接口，图像处理设备还包括：处理器以及计算机存储介质；其中，处理器适于实现一条或多条指令，计算机存储介质存储有一条或多条指令，一条或多条指令适于由处理器加载并执行上述所提及的图像处理方法。
18.再一方面，本技术实施例提供了一种计算机存储介质，计算机存储介质存储有一条或多条指令，一条或多条指令适于由处理器加载并执行上述所提及的图像处理方法。
19.再一方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序；计算机程序被处理器执行时，实现上述所提及的图像处理方法。
20.在本技术实施例中，可获取待处理的目标图像，该目标图像具有第一成像风格，然后可按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，该参考图像具有第二成像风格，接着可通过与第二成像风格相关的识别规则或者基于第二成像风格的样本图像而训练得到的模型对参考图像进行识别处理，得到图像识别结果。可见，通过风格转换处理，可将原始的成像风格转换为新的成像风格，并得到新的图像来进行后续的识别处理，进而完成基于目标图像的识别。这样，对于任意成像风格的图像均能进行有效识别。而风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的，第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征，样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。可见，在形成风格转换规则的过程中，可参考不同图像采集模组针对目标对象采集形成的不同成像风格的样本图像，并学习不同成像风格的样本图像之间的共有特征和细节特征，进而得到可靠的风格转换规则，以支持对目标图像进行有效转换，并在转换风格的同时保留目标图像中的关键信息，从而能够进行较为准确的识别。
附图说明
21.图1a是本技术实施例提供的一种图像处理系统的架构图；图1b是本技术实施例提供的一种图像处理的场景示意图；图2是本技术实施例提供的一种图像处理方法的流程示意图；图3是本技术实施例提供的一种目标图像与参考图像的示意图；图4是本技术实施例提供的另一种图像处理方法的流程示意图；图5a是本技术实施例提供的一种训练学生网络的流程框图；图5b是本技术实施例提供的一种知识蒸馏的流程框图；图5c是本技术实施例提供的一种目标模型的结构示意图；图5d是本技术实施例提供的一种目标模型中某个模块的结构示意图；
图5e是本技术实施例提供的一种判别网络中残差块的结构示意图；图6a是本技术实施例提供的一种合页损失与分类结果的关系示意图；图6b是本技术实施例提供的一种目标模型的训练框架图；图7是本技术实施例提供的一种图像处理方法的流程框图；图8是本技术实施例提供的一种图像处理装置的结构示意图；图9是本技术实施例提供的一种图像处理设备的结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.本技术提出了一种图像处理方案，该方案涉及图像处理系统、方法及相关设备，该方案针对获取到的第一成像风格的目标图像，可按照风格转换规则将其转换为第二成像风格的参考图像，进而对该参考图像进行识别可得到图像识别结果。第一成像风格可以是任意成像风格，针对任意成像风格的目标图像，均能够先将其转换为统一成像风格的参考图像，再直接进行识别，从而能够避免原始的成像风格对识别的影响，提升识别的有效性。尤其是在调用图像识别模型（可简称为识别模型）进行识别处理的情况下，无论用于采集目标图像的图像采集模组如何升级，都无需重新训练识别模型，而是通过风格转换处理将目标图像转换为识别模型可较为准确识别的参考图像直接识别，从而降本增效。
24.下面将结合附图，对本技术实施例提供的图像处理系统的架构进行介绍。
25.请参见图1a，是本技术实施例提供的一种图像处理系统的架构图。如图1a所示，该图像处理系统包括图像采集设备101、图像处理设备102以及数据库103。该图像采集设备101和图像处理设备102之间通过有线或无线的方式建立通信连接，数据库103可分别与图像采集设备101和图像处理设备102之间通过有线或无线的方式建立通信连接。
26.图像采集设备101可以是具有图像采集功能的计算机设备，该图像采集设备101可包括图像采集模组，图像采集模组用于采集业务场景中执行业务处理所需的图像，示例性地，可采集刷脸支付场景下的人脸图像。图像采集模组是一种硬件模组，例如是：与台式电脑连接的摄像头、终端设备内置的拍摄模组以及数码单反相机等等。在一种可行的方式中，图像采集设备和图像处理设备可以是同一计算机设备中的不同硬件模组，例如图像采集设备为终端设备中的拍摄模块，图像处理设备为终端设备中的处理器；也可以是相互独立的计算机设备，例如图像采集设备为终端设备，图像处理设备为服务器，本技术对此不做限制。图像采集设备101采集到的图像可存储于数据库103中作为训练所需使用的样本图像，或者，图像采集设备101采集到的图像也可作为待处理的目标图像被实时地处理。可理解的是，不同图像采集模组对同一目标对象采集到的图像存在成像风格上的差异，这具体表现在：清晰度、曝光亮度、偏色、畸变等方面。
27.图像处理设备102可用于执行本技术的图像处理方法，所执行的图像处理方法所涉及的流程大致包括：首先，可获取待处理的目标图像，该目标图像具有第一成像风格。在一种实现方式中，图像处理设备102可接收由图像采集设备101采集并发送的图像作为目标
图像，或者图像处理设备102可从图像采集设备101中获取待处理的目标图像。在另一种实现方式中，图像处理设备102可从数据库103中获取到指定的图像作为待处理的目标图像。按照图像中是否存在生物信息，目标图像包括但不限于：生物图像和非生物图像，生物图像是指包括生物特征的图像，例如人脸图像，非生物图像是指不包括生物特征的图像，例如仅包含物品的图像。
28.然后，可按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，该参考图像具有第二成像风格。第二成像风格是一种基线风格（baseline），参考图像也可称为基线图像（即具有基线风格的图像）。基线风格是不同成像风格的目标图像需转换成的统一的风格，举例来说，图像处理设备102获取到的由mipi摄像头采集到的图像q1和由usb-lite摄像头采集到的图像q2，均可经过风格转换处理得到图像q1对应的参考图像，以及图像q2对应的参考图像，且这两个参考图像具有相同的成像风格（即第二成像风格）。可见，对于任何成像风格的目标图像，均能够转换为对应的具有第二成像风格的参考图像。其中，风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的，第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征；而样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。这样，通过不同成像风格的样本图像训练学习便可得到风格转换规则，在训练学习中，基于不同的内容特征可学习如何提取共同特征和细节特征，以对目标图像进行更好的处理。本技术中风格转换规则可理解成是一种多元风格转化算法，不同成像风格的图像都可通过该多元风格转化算法转为基线风格的图像，以便得到有效地识别。
29.接着，图像处理设备102可对转换得到的参考图像进行识别处理，得到图像识别结果。该图像识别结果可用于指示基于目标图像进行识别的业务处理结果，且图像识别结果与业务场景匹配。示例性地，若目标图像是支付场景下的人脸图像，那么该图像识别结果可以是通过人脸识别得到的支付成功或者支付失败的结果。在一个可行的实施例中，图像处理设备102可调用图像识别模型对参考图像进行识别处理，该图像识别模型是通过具有第二成像风格的样本图像训练得到的识别模型。在此方式下，如果图像采集设备101中的图像采集模组升级时，无需重新采集新风格的图像，也无需重新训练识别模型，而是将待处理的目标图像转换为图像识别模型支持识别的基线风格的图像来直接识别，这样能够避免重新训练图像识别模型所带来的人力和时间的损耗，降低成本且提高识别效率。经实验表明，采用本方案，在图像采集模组升级时，原有的重新采集训练样本来训练图像处理模型耗时，变为图像转换耗时，整个处理流程可从原有的30-45天降为12毫秒（ms），极大地提升了图像识别效率，并节省了识别的人力成本和时间成本，降本增效。
30.由上述图像处理流程可知，在基于目标图像进行识别处理的过程中，可先按照风格转换规则将目标图像转换为基线图像，该基线图像摒弃了原有的成像风格，而是统一为可识别的基线风格，从而可通过识别具有基线风格的基线图像而得到与目标图像有关的识别结果，实现图像的有效识别，并可提升图像识别的效率。
31.上述图像采集设备101可以是终端设备，图像处理设备102可包括终端设备和服务器中的任一者或两者，终端设备包括但不限于：智能手机、平板电脑、智能可穿戴设备、智能
语音交互设备、智能家电、个人电脑、车载终端、智能摄像头等设备，本技术对此不作限制。对于终端设备的数量，本技术不做限制。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn（content delivery network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。对于服务器的数量，本技术不做限制。
32.图像处理系统中还包括数据库103，按照部署位置划分，数据库103可以是图像处理设备102的本地数据库，也可以是能够与图像处理设备102建立连接的云数据库。按照属性划分，数据库103可以是公有数据库，即向所有图像处理设备开放的数据库；也可以是私有数据库，即仅向特定的图像处理设备（如图像处理设备102）开放的数据库。该数据库103可用于为图像处理过程提供数据支撑，包括但不限于：提供待处理的目标图像、提供用于训练的样本图像、提供识别处理中所需的比对图像；还可用于存储图像识别结果。例如在人脸识别场景中，可基于数据库103中的人脸图像和所识别的人脸图像进行比对，从而确定该人脸图像是否为数据库103中存储的人脸图像，进而确定基于人脸图像的识别所进行的业务处理结果，并将该业务处理结果存储至数据库103中。
33.本技术实施例提供的图像处理系统可应用于以下至少一种业务场景：生物识别支付场景、生物识别登录场景以及生物识别百科场景等等。示意性的，结合图1a所示的系统架构图，当图像采集设备和图像处理设备为同一计算机设备时，可提供如图1b所示的示例性地图像处理的场景示意图。在生物识别支付场景下，可基于人脸图像识别进行支付处理，终端设备采集到的人脸图像可先转换为基线图像，进而直接对基线图像进行识别，得到图像识别结果，该图像识别结果可被存储至数据库中。在图像识别结果指示成功识别时，基于人脸图像支付成功，在图像识别结果指示识别失败时，基于人脸图像支付失败。采用本技术提供的图像处理方法，即便是每更换一种采集生物信息（如人脸图像）的硬件模组（如图像采集模组），使得采集到的图像在成像风格上不同，也无需重新采集新风格的图像数据作为训练样本，无需重新训练图像识别模型，也就无需做数据标注，后台服务也无需重新升级图像识别模型并部署升级后的图像识别模型，而是对当前升级的硬件模组采集到的目标图像转换为参考图像，并直接对其进行识别，这样极大地降低时间、人力以及财力等方面的消耗，降本增效。示意性的，经实验表明，在刷脸业务场景中用于采集图像的mipi摄像头被更换为usb-lite摄像头，对于带口罩的用户刷脸误拦截率可得到有效降低，提升用户使用体验。
34.接下来对本技术实施例提供的图像处理方法进行介绍。
35.请参见图2，是本技术实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由图像处理设备（如图1a所示的图像处理系统中的图像处理设备102）来执行，该图像处理方法可以包括以下s201-s203所描述的内容。
36.s201，获取待处理的目标图像，该目标图像具有第一成像风格。
37.待处理的目标图像可以是由图像采集模组采集到的图像，或者是图像处理工具（例如ps工具）进行处理得到的图像。图像采集模组是一种具有图像采集功能的硬件模组，能够对相应业务场景中的目标对象进行拍摄而得到图像。在一种实现方式中，图像采集模组可基于接收到的图像采集指令来采集图像，并将采集到的图像作为待处理的目标图像。示例性的，在支付业务场景下，若用户选择刷脸支付，那么智能手机可接收到图像采集指
令，并通过摄像头拍摄包含人脸的图像以识别人脸图像进行支付验证。在植物识别场景下，智能手机通过摄像头可以拍摄到真实世界中的植物以识别该植物的类别。图像处理设备可从图像采集模组中获取待处理的目标图像，或者图像采集模组可将采集到的目标图像实时地发送给图像处理设备进行后续处理。
38.当目标图像是由图像采集模组采集到的图像时，目标图像具有的第一成像风格是与图像采集模组对应的成像风格。基于图像采集模组的硬件表现和所具备的算法，图像采集模组在形成图像时具有相应的成像特点，从而具有独特的成像风格，图像的成像风格可理解成是图像形成的风格，与图像采集模组对应的成像风格可以反映出图像采集模组对拍摄的图像的真实程度。不同图像采集模组对应的成像风格不同，例如：一些相机拍摄的图像能够真实客观地反映现实中的色彩，但是有些相机拍摄的图像却偏向某一种色调而未能较为真实地反映现实中的色彩。
39.s202，按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，该参考图像具有第二成像风格。
40.在相应业务场景下，需基于获取到的目标图像进行识别处理，若直接对目标图像进行识别处理，由于不同图像采集模组对应的成像风格的多元化，目标图像可能无法被有效地识别，从而影响业务处理的结果。因此，本技术可先按照风格转换规则对目标图像进行风格转换处理，对于风格转换处理的大致逻辑可以是：按照风格转换规则提取出目标图像的特征信息，该特征信息是需保留的关键信息且不受成像风格影响，再根据该特征信息进行图像生成，得到参考图像。通过风格转换处理，摒弃目标图像原有的第一成像风格，并得到具有第二成像风格的参考图像。这样，参考图像与目标图像具有不同的成像风格，但参考图像保留有与目标图像存在高度一致的一些信息。举例来说，如图3所示的目标图像与参考图像。目标图像为人脸图像，经过风格转换处理之后，转换得到的参考图像与人脸图像具有高度统一的人脸特征，包括但不限于：五官位置、五官大小、五官形状以及面部深度等方面高度相似的人脸特征。也就是说，不论成像风格如何变化，同一目标对象的某些特征是能够高度统一的。
41.可以理解的是，针对不同成像风格的图像，均能够按照上述方式进行风格转换，形成统一成像风格的参考图像。举例来说，图像处理设备可以获取由不同图像采集模组采集到的图像作为目标图像，例如由3个终端设备的相机分别拍摄的3张图片，针对这些目标图像，均可统一转换为具有第二成像风格的参考图像。也就是说，不同成像风格的目标图像所对应的参考图像，均具有同一种成像风格（即第二成像风格，或可称为基线风格），所得到的参考图像可称为基线图像。值得注意的是，不同目标图像对应的参考图像与相应目标图像之间是具有高度统一的语义对应关系，这样基线图像可作为识别的基准来代表对目标对象的识别，基于对基线图像进行识别得到的图像识别结果可确定基于目标对象的识别进行业务处理的结果。
42.风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的。其中，样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。
43.目标对象可以是真实世界中的生物或非生物，例如人脸、植物或者动物，也可以是
虚拟世界中的物体，例如虚拟角色或者虚拟植物等等。多个（即至少两个）样本图像可构成一个样本组，且样本组中的不同样本图像是对同一目标对象采集得到的具有不同成像风格的图像，例如采用不同相机对同一人脸拍摄得到的各个人脸图像。在构建样本组的过程中，通过图像采集模组拍摄形成样本图像，可快捷地获取到用于训练的样本。
44.第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征。该共有图像对象特征是指同一目标对象在不同成像风格的样本图像中共有的对象特征，目标对象对应的共有图像对象特征不随成像风格变化而变化。示例性地，对于不同图像采集模组对同一人脸采集到的人脸图像，尽管成像风格各异，但是图像本身具有高度统一的语义对应关系，进而得到共有图像对象特征，例如用户的人脸图像中的五官位置特征和面部深度特征等等统一的人脸特征。共有图像对象特征可理解成是描述不同图像采集设备针对同一目标对象采集的不同图像之间的高度统一的语义对应关系的特征。
45.s203，对参考图像进行识别处理，得到图像识别结果。
46.图像识别结果是与目标图像对应的业务场景匹配的识别结果。该图像识别结果可以用于指示基于目标图像进行识别的业务处理结果。示例性地，图像识别结果指示人脸图像与对应支付账号下预先录入的人脸图像中的对象是同一对象，那么基于人脸图像的识别可成功支付。
47.在一个实施例中，图像处理设备在对参考图像进行识别处理时，可调用图像识别模型对参考图像进行识别处理，进而得到图像识别结果。其中，图像识别模型是通过具有第二成像风格的图像训练得到的识别模型，可用于识别具有第二成像风格的图像。通过调用识别模型进行识别处理，能够更加准确、快速地得到图像识别结果，并且在需基于目标图像进行识别的业务场景下，通过预先转换为第二成像风格的参考图像，可兼容对任意成像风格的图像的处理，实现基于目标图像的有效识别。在另一种实施例中，图像处理设备在对参考图像进行识别处理时，也可通过与第二成像风格相关的识别规则，对参考图像进行识别处理，进而得到图像识别结果。该与第二成像风格相关的识别规则支持对第二成像风格的图像进行较为准确且有效地识别，进而可保证图像识别结果的有效性和准确性。
48.本技术实施例提供的图像处理方法，针对待处理的目标图像，通过风格转换规则对其进行风格转换处理，可将原始的成像风格转换为新的成像风格，并得到新的图像来进行后续的识别处理，进而完成基于目标图像的识别。这样，对于任意成像风格的图像均能进行有效识别。而在风格转换规则的形成过程中，可参考不同图像采集模组针对目标对象采集形成的不同成像风格的样本图像，并学习不同成像风格的样本图像之间的共有特征和细节特征，进而得到可靠的风格转换规则，以支持对目标图像进行有效转换，并在转换风格的同时保留目标图像中的关键信息，从而能够进行较为准确的识别。
49.请参见图4，是本技术实施例提供的另一种图像处理方法的流程示意图。该图像处理方法可以由图像处理设备（如图1a所示的图像处理系统中的图像处理设备102）来执行。本实施例主要阐述风格转换规则的训练学习过程。在一个实施例中，风格转换规则包括图像处理模型，该图像处理模型具有图像生成能力，可用于生成全新风格的参考图像。对于图像处理模型的训练流程，包括如下s401-s402所介绍的内容。
50.s401，获取样本集合。
51.样本集合包括多个样本组，每个样本组至少包括两个样本图像，每个样本组中的不同样本图像是由不同图像采集模组对同一目标对象采集得到的图像，由于不同图像采集模组采集的样本图像具有不同的成像风格，因此，同一样本组中不同样本图像的成像风格不同。基于样本组的构成，前述提及的第一内容特征包括：对样本组中的第一样本图像进行共有特征提取处理得到的第一样本图像对应的语义特征信息；该语义特征信息包括：目标对象的五官特征信息、目标对象的面部深度信息中的一种或者两种。其中，目标对象的五官特征信息包括但不限于：用于描述目标对象的五官位置的特征信息、用于描述目标对象的五官大小的特征信息，用于描述目标对象的五官形状的特征信息等等，目标对象的面部深度信息用于描述目标对象的面部深度。
52.示例性地，样本组包括采用两个图像采集设备对同一人脸在不同场景下采集得到的两张人脸图像，这两张人脸图像具有不同的成像风格，且脸部表情不同，人脸所处的背景以及具有的装扮（如发型、服饰等）也有所区别，但第一内容特征是这两个人脸图像中共有的语义特征信息，如五官位置/形状等特征信息。通过不同图像采集模组采集的不同成像风格的图像，可使得模型训练过程中学习到目标对象在不同成像风格下统一的语义特征信息，进而可提升模型对多元风格的图像进行风格转换处理时的准确度。另外，基于样本组中样本图像的采集来源，样本集合中一个样本组可以对应一个目标对象，不同样本组对应的目标对象可不同，通过不同目标对象的图像，可使得模型训练过程中学习到更多的目标对象的特征，提升模型的泛化性。
53.s402，通过样本集合对目标模型进行训练，得到图像处理模型。
54.目标模型可理解成是一个初始的图像处理模型，该目标模型具有初始的图像生成能力，示意性的，目标模型是可用于生成图像的对抗生成网络，例如gan或者biggan模型。基于目标模型所具备的初始的图像生成能力，该目标模型所生成的图像在第二成像风格以及共有特征等方面的还原度上还具有一定的偏差，因此，需采用包括不同成像风格的样本图像对目标模型进行训练。可理解的是，对目标模型的训练是一个迭代的过程，在迭代过程中可不断地更新目标模型的参数，进而在满足收敛条件时，可得到图像处理模型。该收敛条件包括但不限于：训练损失在连续次迭代中的损失变化值处于损失阈值内，迭代次数满足预设迭代次数，训练损失达到预设损失值等等。
55.图像处理模型与目标模型在模型结构上可相同而模型参数（例如权重参数）可不同。相较于目标模型，图像处理模型具有更佳的图像生成能力，且能够用于更好地转换目标图像而提升参考图像的生成质量。在一种可实现的方式中，图像处理设备能够以样本集合中包括样本组为单位对目标模型进行训练，具体地，可基于通过样本组中第一样本图像确定的第一内容特征和通过同一样本组中的第二样本图像确定的第二内容特征，对目标模型进行训练。
56.在一个实施例中，图像处理设备在通过样本集合对目标模型进行训练时，具体可执行如下（1）-（3）所示的内容。
57.（1）通过第一模型从样本集合中目标样本组包括的第一样本图像中获取语义特征信息。
58.第一模型是基于第二模型进行知识蒸馏处理得到的，且第一模型用于进行样本图像的共有特征提取处理。知识蒸馏是获取高效小规模网络的一种方式，其主要思想是将学
习能力强的复杂教师模型（也可称为教师网络）中的“知识”迁移到简单的学生模型（也可称为学生网络）中。也就是说，第一模型是已训练好的模型，具有提取样本图像的共有特征的能力。目标样本组是从样本集合中选取的一个样本组，该目标样本组可以至少包括第一样本图像和第二样本图像。可调用该第一模型对第一样本图像进行共有特征提取处理，从而得到第一样本图像的语义特征信息，该语义特征信息可理解成是第一样本图像和第二样本图像之间在语义层面共有的特征信息，可用于描述第一样本图像中与第二样本图像中满足一致性条件的图像内容，表示第一样本图像和第二样本图像之间高度统一的语义对应关系，例如样本图像为人脸图像，那么语义对应关系包括：五官位置、面部深度等等。
59.在一个实施例中，在执行上述步骤（1）之前，可基于第二模型进行知识蒸馏处理得到第一模型，具体包括如下
①‑③
所示的内容。
60.①
调用学生网络对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第一内容特征，并调用第二模型对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第二内容特征。
61.在具体训练过程中，本技术中第二模型可以是教师模型（或可称为教师网络），该第二模型是预训练好的模型，相较于学生网络（或者第一模型），第二模型是一个更加复杂的模型，该第二模型的参数量远大于学生网络（或者第一模型），因此第二模型具有较好的类别预测能力，可用于指导学生网络的训练方向。第一样本图像可被分别输入学生网络和教师网络中，经过各自的特征提取处理，分别得到学生网络输出的第一样本图像的第一内容特征以及教师网络输出的第一样本图像的第二内容特征。通过学生网络得到的第一样本图像的第一内容特征包括语义特征信息，但相较于通过第一模型得到的第一样本图像的语义特征信息，通过学生网络得到第一样本图像的语义特征信息，对于目标对象在不同样本图像之间的共有图像对象特征可能会不够全面和准确，而是在随着学生网络的参数不断地调整过程中被调整，进而在得到第一模型时，得到第一模型对第一样本图像提取得到的较为准确的语义特征信息。第一样本图像的第二内容特征是高层次的内容特征，可用于描述第一样本图像中目标对象的细节特征，该细节特征能够用于描述第一样本图像中目标对象的图像细节，比如：人脸图像中人脸的皮肤纹理。
62.②
调用第二模型对目标样本组中的第二样本图像进行特征提取处理，得到第二样本图像的第二内容特征。
63.由于第二样本图像和第一样本图像是属于同一样本组中的样本图像，这两个样本图像是不同图像采集设备对同一目标对象采集的图像，因此，第二样本图像可作为第一样本图像的参考，通过样本图像本身具有的高度统一的语义对应关系，来指导学生网络的学习方向。提取得到的第二样本图像的第二内容特征是高层次的内容特征，可用于描述第二样本图像中目标对象的细节特征。值得注意的是，用于对第二样本图像进行特征提取的第二模型，与用于对第一样本图像进行特征提取的第二模型可以是具有相同结构和相同参数的两个互相独立的教师网络，也可以是同一个教师网络。
64.③
根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理，以得到学生网络对应的第一模型。
65.通过第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容
特征，可作为学生网络的指导参考，以便在训练过程中摒弃第一样本图像原有的成像风格，而关注第一样本图像中的实际图像内容。第一模型是通过知识蒸馏的方式得到的训练好的学生网络，在知识蒸馏处理过程中将第二模型具备的知识传授给学生网络，可使得训练得到的第一模型对共有的语义特征信息进行更好的提取，从而较好地得到与第二样本图像具有高度统一的语义对应关系。
66.上述
①‑③
所示的内容，通过学生网络提取第一样本图像的第一内容特征，通过第二模型分别提取第一样本图像和第二样本图像各自的第二内容特征，再基于这些内容特征进行针对学生网络的知识蒸馏，得到特征提取能力较佳的第一模型。其中，采用第二模型对同一目标对象对应的不同成像风格的样本图像提取到的内容特征，可用于指导学生网络的训练，进而较为准确地提取出第一内容特征；通过知识蒸馏可去除因不同成像风格的差异而在图像生成过程中产生的噪声点，并将具有高度统一的语义对应关系作为低层次内容蒸馏出来，以作为后续生成图像的先验知识。
67.可理解的是，在训练过程中，除了样本集合中的目标样本组对学生网络进行训练之外，针对样本集合中的其他样本组，同样可根据上述
①‑③
所示的流程来进行针对学生网络的知识蒸馏处理以不断地训练学生网络，在训练后的学生网络具备符合预期的特征提取能力时，便可将其作为第一模型。
68.在一种可行的实施方式中，图像处理设备在执行上述
③
所示的内容时，具体可按照如下方式基于各个样本图像的内容特征进行知识蒸馏：首先，可将第二模型得到的第一样本图像的第二内容特征与第二样本图像的第二内容特征之间满足特征一致性条件的内容特征，作为第一样本图像的参考内容特征。
69.具体地，图像处理设备可将通过第二模型得到的两个样本图像的内容特征进行一致性比较，然后将满足一致性条件的内容特征作为第一样本图像的参考内容特征，其中，满足一致性条件可以是：特征相似度大于预设相似度阈值，两个内容特征完全一致等。通过一致性比较，第一样本图像的参考内容特征是以第二样本图像的第二内容特征为依据，对第一样本图像的第二内容特征进行筛选之后的共有的内容特征，基于该参考内容特征，能够指导学生网络的学习，而更好地提取出图像共有的语义特征信息，作为图像生成的先验信息。
70.然后，根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失。
71.在一个实施例中，对于目标损失的确定的具体实现，可包括如下内容：根据学生网络得到的第一样本图像的第一内容特征，分别按照不同的蒸馏温度t进行类别预测处理，得到第一样本图像的第一预测结果和第一样本图像的第二预测结果；通过第二模型基于第一样本图像的参考内容特征进行类别预测处理，得到第一样本图像的软标签，并获取第一样本图像设置的硬标签；根据第一预测结果和软标签，确定第一样本图像的第一预测损失，并根据第二预测结果和硬标签，确定第一样本图像的第二预测损失；采用第一预测损失和第二预测损失确定在知识蒸馏过程中第一样本图像对应的目标损失。
72.具体地，根据学生网络得到的第一样本图像的第一内容特征可通过分类器进行类别预测处理，该分类器是指具有归一化（softmax）能力的网络，按照不同的蒸馏温度t，可输出不同的预测结果。示意性地，输出第一预测结果所使用的蒸馏温度t=t，输出第二预测结
果所使用的蒸馏温度t=1，当t为1时，分类预测使用的是原始的softmax函数。根据第二模型得到的第一样本图像的第二内容特征，与预测得到第一预测结果所使用的蒸馏温度相同，如t=t。通过类别预测处理所得到的第一预测结果（soft prediction）可用于指示第一样本图像中目标对象的属于各个类别的概率，第二预测结果（hard prediction）可用于指示第一样本图像中目标对象是否为目标类别。软标签（soft label）是一种概率标签，它可以描述第一样本图像中目标对象在各个类别下的分类概率，硬标签（hard label）是一种确定性标签，它可以描述第一样本图像中目标对象应该属于哪个类别，不应该属于哪个类别。示例性地，第一样本图像为人脸图像，那么通过第二模型预测得到的软标签为[0.8,0.2]，表示人脸图像中的人脸为用户u1的人脸概率为0.8，为用户u1的人脸的概率为0.2，而硬标签则为[1,0]，表示人脸图像中的人脸是用户u1的人脸，而不是用户u2的人脸。
[0073]
基于第一预测结果和第一样本图像的软标签可进行损失计算，得到第一样本图像的第一预测损失（或可称为蒸馏损失，distillation loss），基于第二预测结果和第一样本图像的硬标签可进行损失计算，得到第一样本图像的第二预测损失（或可称为学生损失，student loss）。在损失计算过程中，具体可按照交叉熵损失或kl散度等损失函数来计算出对应的损失值，最终可将得到的第一预测损失和第二预测损失可进行加权求和，得到第一样本图像的目标损失。
[0074]
上述确定目标损失的方式，通过软标签和硬标签两类标签来指导小型模型（对应学生网络）的学习，可更好地捕捉大型模型（对应第二模型）的知识。由于软标签体现了知识的丰富性，使得学生网络不仅可学习到特征信息的知识，还能够学习到类间信息的知识，进而使得学生网络学习到第二模型的泛化能力。
[0075]
最后，在目标损失满足参数调整条件时，对学生网络进行参数调整以得到学生网络对应的第一模型。
[0076]
在一种可行的实施方式中，参数调整条件是指调整学生网络的参数所需达到的条件，目标损失满足参数调整条件可以是指以下任一种：目标损失大于预设损失阈值，当前次计算得到的目标损失与前一次迭代所得到的目标损失之间的差值大于预设差值阈值。如果目标损失满足参数调整条件，说明学生网络的学习并没有达到预期的训练效果，并不具备预期的特征提取能力，那么可调整学生网络的参数，得到调整后的学生网络（其中包括调整后的参数），并基于调整后的学生网络重复执行上述步骤
①‑③
所示的内容。通过不断地迭代训练，可不断更新对学生网络的参数，最终得到学生网络对应的第一模型。
[0077]
可理解的是，在目标损失不满足参数调整条件时，那么说明学生网络已经能够达到预期的训练效果，且具备较佳的特征提取能力，此时无需对学生网络进行参数调整，而是可直接将当前次训练得到的学生网络作为第一模型。
[0078]
上述基于各个样本图像的内容特征进行知识蒸馏的过程，能够通过同一样本组的不同样本图像之间的内容一致性比较，来确定出样本图像之间共有的内容特征，进而基于该共有的内容特征来指导学生网络的训练，以更好地提取出语义特征信息来对目标模型进行训练，保证训练效果。
[0079]
针对上述
①‑③
有关内容的介绍，可提供如图5a和图5b所示的处理逻辑示意图。如图5a所示，第一样本图像和第二样本图像为不同摄像头对同一用户采集的不同的人脸图像。第一样本图像可被输入教师网络（et）和学生网络（es），进而由教师网络（et）进行处理
得到第一样本图像的第二内容特征，由学生网络（es）进行处理得到第一样本图像的第一内容特征，第二样本图像可通过教师网络（et）进行处理得到其对应的第二内容特征，上述提及的第二内容特征均是高层次内容特征。然后，可基于两个人脸图像各自对应的高层次内容特征进行内容一致性比较，从而得到参考内容特征，进而基于该参考内容特征和学生网络得到的第一样本图像的第一内容特征进行知识蒸馏。知识蒸馏过程如图5b所示，第一样本图像被输入至学生网络（student （distilled）model，或可称为蒸馏模型/学生模型）和教师网络（teacher model，也可称为教师模型），并通过类别预测得到相应预测结果，进而基于预测结果和标签计算得到目标损失，再基于目标损失调整学生网络的参数。因此，在图5a所示的框图中，目标损失lx作用到全连接层，是在目标损失不满足参数调整条件时，将学生网络提取得到的第一内容特征中的语义特征信息通过全连接层的处理，得到用于训练目标模型的语义特征信息，该语义特征信息例如通过图5a所示出的人脸关键点（通过图5a中相应脸部位置的不透明圆点示意）来示意，可以理解的是，图5a中关于语义特征信息部分的描述（图5a的人脸示意线条图）仅仅是为了方便理解而描绘的示意图，图5a中通过全连接层之后的输出，主要包括语义特征信息，不包括一些例如一些人脸细节之类的信息。
[0080]
值得注意的是，在学生网络训练好之前，通过学生网络得到的第一样本图像的第一内容特征均不会作为用于训练目标模型的先验信息，而是训练好之后，例如目标损失最小化的值达到预设损失阈值时，可将提取得到的语义特征信息作为先验信息用于训练目标模型。
[0081]
（2）通过第二模型对目标样本组包括的第二样本图像进行特征提取处理，得到第二样本图像的细节特征。
[0082]
具体地，第二样本图像的细节特征可用于描述第二样本图像的细节内容。在一种可实行的方式中，由于第二模型是预训练好的模型，在针对学生网络的知识蒸馏过程和目标模型的训练过程中均未变更，例如均是相同的教师模型。因此，图像处理设备也可直接获取在知识蒸馏阶段通过第二模型对第二样本图像提取得到的第二样本图像的第二内容特征中包含的细节特征，而无需重复地执行特征提取处理，在节约处理资源的同时可加快目标模型的整体训练进度。
[0083]
（3）根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型。
[0084]
由于第一模型和第二模型均是训练好的模型，因此对应提取到的第一样本图像的语义特征信息以及第二样本图像的细节特征，均是比较准确的特征信息，在训练目标模型时，第一样本图像的语义特征信息可作为先验信息（或称为先验知识），第二样本图像的细节特征可作为补充来生成新的样本图像。此外，样本集合中每个样本组均设置有一个或多个测试图像，以便在采用目标样本组来训练时，为目标样本组设置的测试图像可以作为目标模型在训练过程中的参考，以教导目标模型的训练，图像处理模型可理解成是训练好的目标模型。
[0085]
在一个实施例中，图像处理设备在执行上述（3）所示的内容时，具体可按照如下步骤3.1-步骤3.5实现。
[0086]
步骤3.1调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像。
[0087]
目标模型是一个可以实现图像生成的模型，例如可以是图像生成问题领域效果较好的biggan模型，biggan模型包括生成网络（g）和判别网络(d）。在模型训练过程中，判别网络可辅助生成网络的训练。示例性地，如图5c和图5d所示的有关目标模型的示意图，具体为有关biggan模型中生成网络的结构示意图，图5c为biggan模型中生成网络(g)的一个典型结构图，图5d是生成网络中一个残差模块的网络结构示意图，如图5e是判别网络中一个残差块的结构示意图。
[0088]
在一个实施例中，用于对第二样本图像进行特征提取处理的第二模型可与目标模型进行动态跨层连接。通过动态跨层连接，可实时地将对第二样本图像提取得到的细节特征给到目标模型，从而提高第二样本图像的细节特征输入给目标模型的速度。调用第一模型对第一样本图像提取得到的语义特征信息，也可被输入至目标模型中，进而目标模型可参考第二样本图像的细节特征和第一样本图像的语义特征信息进行图像生成，其中，第一样本图像的语义特征信息可以作为生成图像的先验信息，第二样本图像的细节特征可作为补充，进而在生成图像时便参考了通过不同图像采集模组对同一目标对象采集到的图像，从而更为准确地生成预测图像，该预测图像是具有第二成像风格的图像，在图像细节上与第二样本图像接近，在语义特征上与第一样本图像接近。
[0089]
在一个实施例中，在通过目标模型生成预测图像之前，图像处理设备可以先对目标模型的参数进行谱归一化处理（spectral normalization），通过谱归一化处理可规范化网络参数，提高目标模型训练的稳定性和预测图像的生成质量。具体可执行如下内容：对目标模型中的每一层网络的参数进行奇异值分解，得到每层网络对应的参数分解结果，该参数分解结果包括奇异值矩阵；对每层网络对应的参数分解结果包括的奇异值矩阵进行归一化处理，并根据归一化后的奇异值矩阵得到归一化后的参数矩阵，该归一化后的参数矩阵包括相应层网络对应的归一化后的参数。
[0090]
具体地，对于目标模型的每一层网络的参数均可进行奇异值分解（singular value decomposition，svd），得到每层网络对应的参数分解结果。示意性的，目标模型可以包括多层神经网络，对于神经网络包括的权重矩阵w（包括权重参数）可进行svd分解，从而将权重矩阵分解为两个正交矩阵(记为u和v)和一个对角矩阵s。其中对角矩阵s即为奇异值矩阵，其对角线上的元素为权重矩阵的奇异值。之后可仅对参数分解结果中的奇异值矩阵进行归一化处理，将奇异值矩阵中包含的元素值缩放到一个预定义的范围，例如[0,1]。通过归一化处理，可将奇异值矩阵中最大的奇异值限定为1，进而满足1-lipschitz（利普希茨连续条件）条件。再按照分解的逆过程，根据归一化后的奇异值矩阵重新构建出归一化后的参数矩阵。例如，上述奇异值矩阵s通过归一化之后得到归一化后的奇异值矩阵s'，然后可将s'与两个正交矩阵u和v分别进行相乘，得到归一化后的权重矩阵w'，进而将w'中包含的权重参数作为目标模型的相应网络中新的权重进行训练。
[0091]
可理解的是，每次目标模型中的参数被更新之后，均可按照上述方式先对更新后的目标模型中各层网络的参数进行归一化处理，再调用包含归一化参数的目标模型来生成预测图像，这样可使得目标模型满足利普希茨连续性，以更好地进行训练。在一种可实现的方式中，目标模型中的参数每一次被更新之后都除以参数在通过上述方式归一化之后的最大奇异值（小于1的数值），这样，目标模型中每一层网络对输入x最大的拉伸系数不会超过1。经过spectral norm（即谱归一化）之后，神经网络的每一层gl(x)权重，都满足(gl(x)-gl
(y))/(x-y)≤1，对于整个目标模型f(x)=gn(gn-1(
…
g1(x)
…
))自然也就满足利普希茨连续性。
[0092]
通过上述谱归一化处理，可帮助避免训练过程中的梯度消失或爆炸问题，并提高目标模型的收敛速度和预测图像的多样性，通过调整参数的大小，从而增强模型的训练稳定性和生成图像的质量。
[0093]
步骤3.2获取为目标样本组设置的第一测试图像和第二测试图像。
[0094]
在得到预测图像（记为）之后，由于目标模型并没有达到较好的图像生成能力，因此，需借助一些其他图像对预测图像的真实性和准确性进行评估。在此，可先获取为样本组设置的测试图像，包括第一测试图像（记为y）和第二测试图像（记为x)。基于预测图像的生成是参考了不同样本图像在不同维度的特征，第一测试图像与第一样本图像匹配，第二测试图像与第二样本图像匹配。此处的匹配包括但不限于：成像风格相同、或为相应样本图像的副本。示例性地，第二测试图像可以是第二样本图像的副本，第一测试图像是对目标对象真实采集到的图像，与第一样本图像具有相同成像风格。后续可分别借助第一测试图像和第二测试图像评估预测图像的真实性和准确性。
[0095]
步骤3.3调用判别网络，根据第一测试图像对预测图像进行判别处理，得到判别结果，该判别结果用于指示预测图像中的目标对象的真实性。
[0096]
在目标模型生成得到预测图像之后，可输入到判别网络（或称为判别器中）。该判别网络可用于判断输入（即预测图像）是真实数据还是模型（如生成网络）生成的数据，也即判为真或者判为假。在此可借助于第一测试图像对预测图像进行判别，在具体判别过程中，可比对预测图像和第一测试图像之间的相似度，进而得到判别结果。判别处理得到的判别结果可以是一个标量，该标量可以是一个分数或概率等等。可选地，标量越大，表示预测图像真实性越高，预测图像中的目标对象的真实性也就越高。
[0097]
可理解的是，在生成预测图像之前，还可按照类似的方式对判别网络进行谱归一化，从而使得判别网络满足利普希茨连续性，使得整体训练收敛速度更快。此外，每次通过训练对应的损失更新完判别网络中的参数之后，还可进一步对判别网络中的参数进行归一化处理来保证训练的稳定性。
[0098]
步骤3.4对预测图像和第二测试图像进行内容一致性比较，得到比较结果。其中，比较结果用于指示预测图像与第二测试图像之间的图像内容是否满足一致性条件。
[0099]
其中，满足一致性条件包括但不限于：预测图像和第二测试图像存在一致的图像内容，存在一致的图像内容的比例大于预设比例阈值，两个图像内容完全相同，或者特征相似度大于预设相似度阈值，两个内容特征完全一致等。通过内容一致性比较，可评估目标模型生成图像的准确度，并可确定模型的置信度。在目标模型的置信度足够高时，生成的预测图像也足够准确，且能够以假乱真使得判别网络对其判别为真。
[0100]
在一个实施例中，在对于预测图像和第二测试图像进行内容一致性比较时，可调用第二模型对预测图像进行特征提取处理，得到预测图像的内容特征，并调用第二模型对第二测试图像进行特征提取处理，得到第一测试图像的内容特征；将预测图像的内容特征与第二测试图像的内容特征进行一致性比较，得到比较结果。
[0101]
具体地，该第二模型可用于更好地提取预测图像的内容特征，且该内容特征可用于描述预测图像的细节特征，与前述提及的第二内容特征具有类似的作用。第二模型对预
测图像提取得到的内容特征可用于描述预测图像的细节特征，对第二测试图像提取得到的内容特征可用于描述第二测试图像的细节特征。若第二测试图像为第二样本图像的副本，那么可直接获取该第二样本图像的第二内容特征，作为与预测图像的内容特征进行一致性比对的第二测试图像的内容特征。在一种可实现的方式中，在对内容特征进行一致性比较时，具体可计算预测图像的内容特征与第二测试图像的内容特征之间的相似度，若相似度大于预设相似度阈值，那么可得到用于指示预测图像和第二测试图像之间的图像内容满足一致性条件的比较结果，反之，则得到用于指示预测图像和第二测试图像之间的图像内容不满足一致性条件的比较结果。
[0102]
在上述方式中，借助于第二模型分别对预测图像和第二测试图像进行特征提取处理，可得到较为准确的高层次的内容特征，进而基于两者的内容特征之间的比对来实现内容一致性比较，从而能够得到比较可靠的比较结果，并通过比较结果较为准确地评估预测图像的质量，以便基于比较结果对目标模型进行更好地迭代训练。
[0103]
步骤3.5根据比较结果和判别结果对目标模型的参数进行更新，以得到图像处理模型。
[0104]
在训练目标模型的过程中，目标模型的训练目标是生成尽量真实的图像，而判别网络的训练目标则是尽量判别出目标模型生成的图像，通过这样的对抗生成的训练，最终能够训练出图像处理模型。在一种可实现的方式中，在每一次迭代过程中，可固定生成网络的参数，更新判别网络的参数；具体地，得到判别器的判别结果之后，可根据判别结果更新判别网络的参数。然后可固定判别网络的参数，更新目标模型，具体可根据比较结果、基于预测图像确定的损失以及判别结果更新目标模型的参数，由于判别网络的参数已经固定了，目标模型通过调整自己的参数，使得判别网络输出的判别结果所指示的预测图像的真实性越高越好。
[0105]
在一个可行的实施例中，在通过目标模型生成预测图像之后，基于预测图像确定损失的方式可如下：根据预测图像、目标模型的权重参数及第一样本图像确定预测图像的生成损失，并基于目标模型中包括的参数确定正则化项；基于预测图像的生成损失和正则化项对目标模型的参数进行更新。
[0106]
在确定生成损失时，可采用相应损失函数进行计算。示意性地，可采用合页损失（hinge loss）、感知机损失等。在采用合页损失时，根据目标模型的权重参数计算出参数损失项，然后根据预测图像、目标模型的权重参数及第一样本图像，计算出预测图像在各个特征维度下的损失和值，基于参数损失项和损失和值可得到生成损失。此外，基于目标模型包括的参数可确定正则化项，该正则化项可防止目标模型过度拟合。对于合页损失和正则化项的具体表达式如下所示：项的具体表达式如下所示：其中，n表示特征长度，yi表示预测图像的第i个特征，w表示目标模型的权重参数，xi表示第二测试图像x的第i个特征；表示l2正则化，表示权重参数的模，z表示
正则化项，表示正则化项的不同取值。
[0107]
在训练过程中，不仅要分类正确，且预测图像的置信度足够高时，所得到的生成损失才能够接近于0，如图6a所示为合页损失与分类结果的关系。合页损失的损失大小（penalty（loss）size）在错误分类（incorrectly classified）方向的损失值更大，在正确分类（correctly classified）方向的损失值随着分类正确性的提高而减小，并从与边界的距离（distance from boundary）开始趋近于0。相比于感知机损失，对比感知机损失下生成的预测图像和合页损失下生成的预测图像，采用合页损失对目标模型的学习有更高的要求，合页损失更加严格。根据上述生成损失和正则化项可更新目标模型的参数。
[0108]
通过上述步骤3.1-步骤3.5，可利用第一样本图像的语义特征信息作为先验信息，与第二样本图像的细节特征共同作用生成预测图像，然后通过不同的测试图像分别从真实性和准确性两个维度评估预测图像的生成质量，该生成质量可用于反映目标模型的图像生成能力，通过对目标模型的参数的不断更新，可得到图像生成能力较佳的图像处理模型。
[0109]
基于上述步骤3.1-步骤3.5内容的介绍，在此提供如图6b所示的目标模型的训练框架图。如图6b所示，第一样本图像通过训练好的学生网络（es）处理得到的输出（即语义特征信息）可被输入至生成网络（g）中，第二样本图像通过教师网络（ec）处理得到的输出（即第二内容特征）可通过动态跨层连接的方式被输入至生成网络（g）中，之后，生成网络可基于这两个输入来生成预测图像，这样便可实现对不同图像采集模组采集的图像的融合计算。之后，可将预测图像分别输入判别网络（d）和教师网络中，第一测试图像（y）也被输入至判别网络中，以辅助判别预测图像的真假，即分辨预测图像是真实图像还是生成网络生成的图像，第二测试图像（x）也被输入到教师网络，以辅助判别预测图像是否保留有高度统一的语义对应关系。通过教师网络和判别网络各自输出的结果，可对生成网络的参数进行更新，并最终得到图像处理模型。该图像处理模型对第一样本图像可进行风格转换处理，而得到包含高度统一的语义对应关系的参考图像（记为）。
[0110]
可以理解的是，本技术中如图3、图5a以及图6a中用于表示诸如目标图像、参考图像、第一/第二样本图像、预测图像等线条图像，以及诸如语义特征信息所描绘的线条图像，仅仅是为了方便理解而绘制的示意性图像，实际应用中这些图像是一些具有具体形式或者格式的图像、或者特征图像，这些格式例如可以是一些常见图像格式的图片或者视频的截图等，本技术在此不做限制。
[0111]
在一个可行的实施例中，目标模型在训练过程中还添加有随机噪声向量进行训练，随机噪声向量根据从正态分布中采样得到的各个随机数生成。该随机噪声向量可与第一样本图像的语义特征信息、第二样本图像的细节特征，共同作用于预测图像的生成过程。如果输入目标模型的随机噪声向量包括的随机数变动范围越大，生成的预测图像在标准模板上的变动就越大，预测图像的多样性就越强，但真实性可能降低。因此，为进一步增加模型训练的鲁棒性，可采用截断技巧对随机噪声向量中满足正态分布的随机数进行阶段，从而使得提升模型生成预测图像的真实性。在一种实现方式中，可以采用截断参数对随机噪声向量进行截断处理，得到截断噪声向量，该截断噪声向量包括多个随机噪声值，且每个随机噪声值均在预设范围内。截断噪声向量用于生成预测图像。截断噪声向量可理解成是采用截断的正态分布n（0，1）随机数产生的噪声向量z，具体地，基于截断参数可确定所需的随机数在正态分布中的采样范围，如果随机噪声向量包括的随机数超出一定范围（即通过截
断参数确定的范围区间），可重新采样，使该随机数落在通过截断参数确定的范围区间内。也就是说，将随机噪声向量进行截断，模超过某一指定阈值（此处对应截断参数）的随机数进行重采样，这样可以提高单个预测图像的质量。
[0112]
本技术实施例提供的图像处理方法，可通过不同图像采集模组对同一对象采集的样本图像进行模型训练，并在训练过程中通过知识蒸馏的方式提取出不同成像风格的样本图像在语义关系上一致的内容作为先验信息，有效地训练目标模型，使得目标模型学习到目标对象在不同成像风格中高度统一的语义对应关系。通过将多种图像采集模组采集到的图像做融合计算，能够得到用于转换风格，生成新的图像的一个图像处理模型，且该模型具有提取出基线风格的较佳能力，能够有效地处理目标图像，有利于后续的识别处理。
[0113]
基于图4所示实施例阐述的目标模型的整体训练流程以及如图2所示的实施例所示的对目标图像的处理流程，在此提供如图7所示的图像处理方法的框架图。如图7所示，包括训练阶段和推理阶段，在训练阶段，训练样本通过基线图像提取，具体可经过知识蒸馏处理得到先验信息，进而基于先验信息生成图像来对目标模型进行训练，得到图像处理模型，该图像处理模型可用于生成基线图像。在推理阶段，可处理目标转换样本（可理解成是目标图像），该目标转换样本是实际的工业数据，例如刷脸业务场景下的人脸图像。通过多元风格转换算法，采用图像处理模型对目标转换样本进行处理，可生成基线图像，所生成的基线图像包含目标对象的共有特征，例如包含人脸本身的高度统一的语义对应关系，进而采用识别模型对基线图像进行识别处理，得到图像识别结果。
[0114]
采用上述图像处理方法，在生物识别支付业务场景下，每更换一种采集生物信息的硬件模组，不必重新采集新风格的图像数据，也不必重新训练部署识别模型，本方案先将图像的风格转化为基线风格（baseline），耗时12ms，而后可直接进行识别，降本增效。
[0115]
基于上述图像处理方法实施例的描述，本技术实施例还公开了一种图像处理装置；图像处理装置可以是运行于计算机设备中的一个计算机程序（包括程序代码），且该图像处理装置可以执行图2或图4所示的方法流程中的各个步骤。请参见图8，图像处理装置可以运行如下单元：获取单元801，用于获取待处理的目标图像，目标图像具有第一成像风格；处理单元802，用于按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，参考图像具有第二成像风格；风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的，第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征；处理单元802，还用于对参考图像进行识别处理，得到图像识别结果；其中，样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。
[0116]
在一个实施例中，所述风格转换规则包括图像处理模型，处理单元802，还用于：获取样本集合，样本集合包括多个样本组，每个样本组至少包括两个样本图像，每个样本组中的不同样本图像是由不同图像采集模组对同一目标对象采集得到的图像；通过样本集合对目标模型进行训练，得到图像处理模型；其中，第一内容特征包括：对样本组中的第一样本图像进行共有特征提取处理得
到的第一样本图像对应的语义特征信息；语义特征信息包括：目标对象的五官特征信息、目标对象的面部深度信息中的一种或者两种。
[0117]
在一个实施例中，处理单元802在通过样本集合对目标模型进行训练，得到图像处理模型时，具体用于：通过第一模型从样本集合中目标样本组包括的第一样本图像中获取语义特征信息；第一模型是基于第二模型进行知识蒸馏处理得到的，第一模型用于进行样本图像的共有特征提取处理；通过第二模型对目标样本组包括的第二样本图像进行特征提取处理，得到第二样本图像的细节特征；根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型。
[0118]
在一个实施例中，处理单元802在通过第一模型来从样本集合中目标样本组包括的第一样本图像中获取语义特征信息之前，还用于：调用学生网络对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第一内容特征，并调用第二模型对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第二内容特征；调用第二模型对目标样本组中的第二样本图像进行特征提取处理，得到第二样本图像的第二内容特征；根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理，以得到学生网络对应的第一模型。
[0119]
在一个实施例中，处理单元802在根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理时，具体用于：将第二模型得到的第一样本图像的第二内容特征与第二样本图像的第二内容特征之间满足特征一致性条件的内容特征，作为第一样本图像的参考内容特征；根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失；在目标损失满足参数调整条件时，对学生网络进行参数调整以得到学生网络对应的第一模型。
[0120]
在一个实施例中，处理单元802在根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失时，具体用于：根据学生网络得到的第一样本图像的第一内容特征，分别按照不同的蒸馏温度t进行类别预测处理，得到第一样本图像的第一预测结果和第一样本图像的第二预测结果；通过第二模型基于第一样本图像的参考内容特征进行类别预测处理，得到第一样本图像的软标签，并获取第一样本图像设置的硬标签；根据第一预测结果和软标签，确定第一样本图像的第一预测损失，并根据第二预测结果和硬标签，确定第一样本图像的第二预测损失；
采用第一预测损失和第二预测损失确定在知识蒸馏过程中第一样本图像对应的目标损失。
[0121]
在一个实施例中，处理单元802在根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型时，具体用于：调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像；获取为样本组设置的第一测试图像和第二测试图像，第一测试图像与第一样本图像匹配，第二测试图像与第二样本图像匹配；调用判别网络，根据第一测试图像对预测图像进行判别处理，得到判别结果，判别结果用于指示预测图像中的目标对象的真实性；对预测图像和第二测试图像进行内容一致性比较，得到比较结果，比较结果用于指示预测图像与第二测试图像之间的图像内容是否满足一致性条件；根据比较结果和判别结果对目标模型的参数进行更新，以得到图像处理模型。
[0122]
在一个实施例中，处理单元802在对预测图像和第二测试图像进行内容一致性比较，得到比较结果时，具体用于：调用第二模型对预测图像进行特征提取处理，得到预测图像的内容特征，并调用第二模型对第二测试图像进行特征提取处理，得到第二测试图像的内容特征；将预测图像的内容特征与第二测试图像的内容特征进行一致性比较，得到比较结果。
[0123]
在一个实施例中，处理单元802在调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像之前，还用于：对目标模型中的每一层网络的参数进行奇异值分解，得到每层网络对应的参数分解结果，参数分解结果包括奇异值矩阵；对每层网络对应的参数分解结果包括的奇异值矩阵进行归一化处理，并根据归一化后的奇异值矩阵得到归一化后的参数矩阵，归一化后的参数矩阵包括相应层网络对应的归一化后的参数。
[0124]
在一个实施例中，处理单元802在调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像之后，还用于：根据预测图像、目标模型的权重参数及第一样本图像确定预测图像的生成损失，并基于目标模型中包括的参数确定正则化项；基于预测图像的生成损失和正则化项对目标模型的参数进行更新。
[0125]
在一个实施例中，目标模型在训练过程中还添加有随机噪声向量进行训练，随机噪声向量根据从正态分布中采样得到的各个随机数生成；处理单元802还用于：采用截断参数对随机噪声向量进行截断处理，得到截断噪声向量；截断噪声向量包括多个随机噪声值，且每个随机噪声值均在预设范围内；截断噪声向量用于生成预测图像。
[0126]
在一个实施例中，图像识别结果是调用图像识别模型对参考图像进行识别处理得到的，图像识别模型是通过具有第二成像风格的图像训练得到的。
[0127]
本技术实施例针对待处理的目标图像，通过风格转换规则对其进行风格转换处理，可将原始的成像风格转换为新的成像风格，并得到新的图像来进行后续的识别处理，进而完成基于目标图像的识别。这样，对于任意成像风格的图像均能进行有效识别，提升成像风格变换后图像识别的有效性。而在风格转换规则的形成过程中，可参考不同图像采集模组针对目标对象采集形成的不同成像风格的样本图像，并学习不同成像风格的样本图像之间的共有特征和细节特征，进而得到可靠的风格转换规则，以支持对目标图像进行有效转换，并在转换风格的同时保留目标图像中的关键信息，从而能够进行较为准确的识别。
[0128]
基于上述方法实施例以及装置实施例的描述，本技术实施例还提供一种图像处理设备。请参见图9，该图像处理设备至少包括处理器901、输入接口902、输出接口903以及计算机存储介质904。其中，图像处理设备内的处理器901、输入接口902、输出接口903以及计算机存储介质904可通过总线或其他方式连接。计算机存储介质904可以存储在图像处理设备的存储器中，计算机存储介质904用于存储计算机程序，计算机程序包括程序指令，处理器901用于执行计算机存储介质904存储的程序指令。处理器901（或称cpu（central processing unit，中央处理器））是图像处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
[0129]
在一种可行的实现方式中，本技术实施例的处理器901可以用于执行：获取待处理的目标图像，目标图像具有第一成像风格；按照风格转换规则对目标图像进行风格转换处理，得到目标图像对应的参考图像，参考图像具有第二成像风格；风格转换规则是基于样本组的样本图像的第一内容特征、和样本组的样本图像的第二内容特征进行训练学习得到的，第一内容特征用于描述样本图像中目标对象在不同样本图像之间的共有图像对象特征，第二内容特征用于描述目标对象在样本图像的细节特征；对参考图像进行识别处理，得到图像识别结果；其中，样本组的各样本图像包括采用不同图像采集模组针对目标对象采集得到的图像，不同图像采集模组采集的样本图像具有不同的成像风格。
[0130]
在一个实施例中，所述风格转换规则包括图像处理模型，处理器901，还用于：获取样本集合，样本集合包括多个样本组，每个样本组至少包括两个样本图像，每个样本组中的不同样本图像是由不同图像采集模组对同一目标对象采集得到的图像；通过样本集合对目标模型进行训练，得到图像处理模型；其中，第一内容特征包括：对样本组中的第一样本图像进行共有特征提取处理得到的第一样本图像对应的语义特征信息；语义特征信息包括：目标对象的五官特征信息、目标对象的面部深度信息中的一种或者两种。
[0131]
在一个实施例中，处理器901在通过样本集合对目标模型进行训练，得到图像处理模型时，具体用于：通过第一模型从样本集合中目标样本组包括的第一样本图像中获取语义特征信息；第一模型是基于第二模型进行知识蒸馏处理得到的，第一模型用于进行样本图像的共有特征提取处理；通过第二模型对目标样本组包括的第二样本图像进行特征提取处理，得到第二样本图像的细节特征；
根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型。
[0132]
在一个实施例中，处理器901在通过第一模型来从样本集合中目标样本组包括的第一样本图像中获取语义特征信息之前，还用于：调用学生网络对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第一内容特征，并调用第二模型对目标样本组中的第一样本图像进行特征提取处理，得到第一样本图像的第二内容特征；调用第二模型对目标样本组中的第二样本图像进行特征提取处理，得到第二样本图像的第二内容特征；根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理，以得到学生网络对应的第一模型。
[0133]
在一个实施例中，处理器901在根据第二模型得到的第一样本图像的第二内容特征和第二样本图像的第二内容特征，并根据学生网络得到的第一样本图像的第一内容特征，进行针对学生网络的知识蒸馏处理时，具体用于：将第二模型得到的第一样本图像的第二内容特征与第二样本图像的第二内容特征之间满足特征一致性条件的内容特征，作为第一样本图像的参考内容特征；根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失；在目标损失满足参数调整条件时，对学生网络进行参数调整以得到学生网络对应的第一模型。
[0134]
在一个实施例中，处理器901在根据第一样本图像的参考内容特征和学生网络得到的第一样本图像的第一内容特征，确定在蒸馏过程中第一样本图像对应的目标损失时，具体用于：根据学生网络得到的第一样本图像的第一内容特征，分别按照不同的蒸馏温度t进行类别预测处理，得到第一样本图像的第一预测结果和第一样本图像的第二预测结果；通过第二模型基于第一样本图像的参考内容特征进行类别预测处理，得到第一样本图像的软标签，并获取第一样本图像设置的硬标签；根据第一预测结果和软标签，确定第一样本图像的第一预测损失，并根据第二预测结果和硬标签，确定第一样本图像的第二预测损失；采用第一预测损失和第二预测损失确定在知识蒸馏过程中第一样本图像对应的目标损失。
[0135]
在一个实施例中，处理器901在根据第一样本图像的语义特征信息、第二样本图像的细节特征，并根据为目标样本组设置的测试图像，对目标模型进行训练，得到图像处理模型时，具体用于：调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像；获取为样本组设置的第一测试图像和第二测试图像，第一测试图像与第一样本图像匹配，第二测试图像与第二样本图像匹配；
调用判别网络，根据第一测试图像对预测图像进行判别处理，得到判别结果，判别结果用于指示预测图像中的目标对象的真实性；对预测图像和第二测试图像进行内容一致性比较，得到比较结果，比较结果用于指示预测图像与第二测试图像之间的图像内容是否满足一致性条件；根据比较结果和判别结果对目标模型的参数进行更新，以得到图像处理模型。
[0136]
在一个实施例中，处理器901在对预测图像和第二测试图像进行内容一致性比较，得到比较结果时，具体用于：调用第二模型对预测图像进行特征提取处理，得到预测图像的内容特征，并调用第二模型对第二测试图像进行特征提取处理，得到第二测试图像的内容特征；将预测图像的内容特征与第二测试图像的内容特征进行一致性比较，得到比较结果。
[0137]
在一个实施例中，处理器901在调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像之前，还用于：对目标模型中的每一层网络的参数进行奇异值分解，得到每层网络对应的参数分解结果，参数分解结果包括奇异值矩阵；对每层网络对应的参数分解结果包括的奇异值矩阵进行归一化处理，并根据归一化后的奇异值矩阵得到归一化后的参数矩阵，归一化后的参数矩阵包括相应层网络对应的归一化后的参数。
[0138]
在一个实施例中，处理器901在调用目标模型，基于第一样本图像的语义特征信息和第二样本图像的细节特征生成预测图像之后，还用于：根据预测图像、目标模型的权重参数及第一样本图像确定预测图像的生成损失，并基于目标模型中包括的参数确定正则化项；基于预测图像的生成损失和正则化项对目标模型的参数进行更新。
[0139]
在一个实施例中，目标模型在训练过程中还添加有随机噪声向量进行训练，随机噪声向量根据从正态分布中采样得到的各个随机数生成；处理器901还用于：采用截断参数对随机噪声向量进行截断处理，得到截断噪声向量；截断噪声向量包括多个随机噪声值，且每个随机噪声值均在预设范围内；截断噪声向量用于生成预测图像。
[0140]
在一个实施例中，图像识别结果是调用图像识别模型对参考图像进行识别处理得到的，图像识别模型是通过具有第二成像风格的图像训练得到的。
[0141]
本技术实施例针对待处理的目标图像，通过风格转换规则对其进行风格转换处理，可将原始的成像风格转换为新的成像风格，并得到新的图像来进行后续的识别处理，进而完成基于目标图像的识别。这样，对于任意成像风格的图像均能进行有效识别，提升成像风格变换后图像识别的有效性。而在风格转换规则的形成过程中，可参考不同图像采集模组针对目标对象采集形成的不同成像风格的样本图像，并学习不同成像风格的样本图像之间的共有特征和细节特征，进而得到可靠的风格转换规则，以支持对目标图像进行有效转换，并在转换风格的同时保留目标图像中的关键信息，从而能够进行较为准确的识别。
[0142]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有计算机程序，且该计算机程序包括程序指令，当处理器执行上
述程序指令时，能够执行前文图2和图4所对应实施例中的方法，因此，这里将不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。作为示例，程序指令可以被部署在一个计算机设备上，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
[0143]
根据本技术的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备可以执行前文图2和图4所对应实施例中的方法，因此，这里将不再进行赘述。
[0144]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）或随机存储记忆体（random access memory，ram）等。
[0145]
以上所揭露的仅为本技术一种较佳实施例而已，当然不能以此来限定本技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本技术权利要求所作的等同变化，仍属于本技术所涵盖的范围。