图像处理方法、装置、设备和介质与流程

1.本公开涉及人工智能技术领域和金融领域，更具体地，涉及一种图像处理方法、装置、设备和介质。


背景技术：

2.银行智能客服问答系统是指用户在使用银行应用程序进行银行相关业务的过程中遇到问题时，用于向人工客服或智能客服提问的系统。在用户提问过程中，常面临需要拍摄实体对象，以提供与该业务相关图像的情况。在拍摄过程中，可能由于聚焦不准、光学系统的像差等因素，使得拍摄得到的图像出现噪声较多、分辨率较低等问题，从而使得系统不能准确对该图像进行识别，增加了无效的沟通时间，降低了沟通的效率。


技术实现要素：

3.有鉴于此，本公开提供了一种图像处理方法、装置、电子设备、可读存储介质和计算机程序产品。
4.本公开的一个方面提供了一种图像处理方法，包括：响应于业务处理请求，获取上述业务处理请求中携带的待处理图像；对上述待处理图像进行切分，得到多帧子图像；使用特征提取模型分别处理多帧上述子图像的图像数据，以从多帧上述子图像中确定第一目标子图像；使用图像处理模型处理上述第一目标子图像的图像数据，得到目标图像。
5.根据本公开的实施例，上述业务处理请求中还携带有业务类型；其中，上述使用特征提取模型分别处理多帧上述子图像的图像数据，以从多帧上述子图像中确定第一目标子图像，包括：基于上述业务类型，确定基准特征向量，其中，上述基准特征向量包括使用上述特征提取模型处理与上述业务类型关联的基准图像的图像数据而得到；使用上述特征提取模型分别处理多帧上述子图像的图像数据，得到多个子特征向量；针对多个上述子特征向量中的每个子特征向量，确定上述子特征向量与上述基准特征向量的相似度，得到多个相似度；以及基于多个上述相似度，从多帧上述子图像中确定上述第一目标子图像。
6.根据本公开的实施例，上述方法还包括：基于上述第一目标子图像，从上述待处理图像中截取得到第二目标子图像；其中，上述使用图像处理模型处理上述第一目标子图像的图像数据，得到目标图像包括：使用上述图像处理模型处理上述第二目标子图像的图像数据，得到上述目标图像。
7.根据本公开的实施例，上述基于上述第一目标子图像，从上述待处理图像中截取得到第二目标子图像，包括：确定上述第一目标子图像在上述待处理图像中的位置，得到位置信息；以及基于上述位置信息，从上述待处理图像中截取得到上述第二目标子图像。
8.根据本公开的实施例，上述第二目标子图像的尺寸大于上述第一目标子图像的尺寸。
9.根据本公开的实施例，上述方法还包括：使用图像识别模型处理上述目标图像的图像数据，得到上述待处理图像的图像识别结果。
10.根据本公开的实施例，上述述图像处理模型包括通过如下方法训练得到：获取训练样本集，其中，上述训练样本集中包括多个样本图像；对于多个上述样本图像中的每个样本图像，对上述样本图像进行切分，得到多帧子样本图像；使用特征提取模型分别处理多帧上述子样本图像的图像数据，以从多帧上述子样本图像中确定第一子样本图像；基于上述第一子样本图像，生成第二子样本图像；以及使用上述第一子样本图像的图像数据和上述第二子样本图像的图像数据来训练初始图像处理模型，得到上述图像处理模型。
11.根据本公开的实施例，上述基于上述第一子样本图像，生成第二子样本图像，包括：对上述第一子样本图像进行模糊化处理，得到上述第二子样本图像；其中，上述模糊化处理包括高斯模糊处理和/或运动模糊处理。
12.根据本公开的实施例，上述初始图像处理模型包括生成器和判别器；上述使用上述第一子样本图像的图像数据和上述第二子样本图像的图像数据来训练初始图像处理模型，得到上述图像处理模型，包括：使用上述生成器处理上述第二子样本图像的图像数据，得到第一生成图像的图像数据；使用上述判别器处理上述第一子样本图像的图像数据和上述第一生成图像的图像数据，得到判别数据；以及使用上述判别数据来训练上述生成器和上述判别器，得到上述图像处理模型。
13.根据本公开的实施例，上述判别器包括全局判别器和局部判别器，上述判别数据包括第一判别数据和第二判别数据；上述使用上述判别器处理上述第一子样本图像的图像数据和上述第一生成图像的图像数据，得到判别数据，包括：使用上述全局判别器处理上述第一子样本图像的图像数据和上述第一生成图像的图像数据，得到上述第一判别数据；基于预测局部裁剪策略分别处理上述第一子样本图像和上述第一生成图像，得到第三子样本图像和第二生成图像；以及使用上述局部判别器处理上述第三子样本图像的图像数据和上述第二生成图像的图像数据，得到上述第二判别数据。
14.根据本公开的实施例，上述方法还包括：获取初始样本图像，其中，上述初始样本集中包括多个初始样本图像；对于多个上述初始样本图像中的每个初始样本图像，对上述初始样本图像进行数据增强处理，得到多个上述样本图像；其中，上述数据增强处理包括以下任意一项或多项：图像裁剪、图像旋转、尺度变化、色彩抖动、对比度变换和添加噪声。
15.本公开的另一个方面公开了一种图像处理装置，包括：响应模块，用于响应于业务处理请求，获取上述业务处理请求中携带的待处理图像；第一切分模块，用于对上述待处理图像进行切分，得到多帧子图像；第一处理模块，用于使用特征提取模型分别处理多帧上述子图像的图像数据，以从多帧上述子图像中确定第一目标子图像；第二处理模块，用于使用图像处理模型处理上述第一目标子图像的图像数据，得到目标图像。
16.本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。
17.本公开的另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，上述可执行指令被处理器执行时使处理器实现如上所述的方法。
18.本公开的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述计算机可执行指令在被执行时用于实现如上所述的方法。
19.根据本公开的实施例，通过对待处理图像进行切分，得到多帧子图像；使用特征提
取模型从多帧子图像中确定第一目标子图像，再通过图形处理模型处理第一目标子图像，得到目标图像。在生成目标图像前，通过采用将图像切分成多帧子图像，再从多帧子图像中确定目标图像的技术手段，降低了与目标图像无关的特征及噪声对目标图像生成过程的影响，有效地提高了目标图像的分辨率，从而至少部分地克服了应用于业务系统中待识别的图像因噪声较多、分辨率较低而无法被准确识别的技术问题。
附图说明
20.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
21.图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构；
22.图2示意性示出了根据本公开实施例的图像处理方法的流程图；
23.图3示意性示出了根据本公开实施例的图像处理模型训练方法的流程图；
24.图4示意性示出了根据本公开实施例的图像处理装置的框图；以及
25.图5示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。
具体实施方式
26.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
27.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
28.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
29.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
30.图像去模糊化是指通过某种算法对已生成的模糊图像进行修复，且最终改善图像视觉效果。针对给定图像的应用场合，有目的地强调图像地整体和局域特性，将原来不清晰地图像变得清晰或强调某些业务特征，扩大图像中不同物体特征之间的差别，抑制非业务
的特征，改善图像质量、丰富信息量，加强图像判读和识别效果。
31.目前在用户提问的过程中，常需要拍摄实体对象，并将拍摄得到的图像发送至客户，以便客户根据图像进行回答。在拍摄过程中可能由于聚焦不准、光学系统的像差等因素，使得拍摄得到的图像出现噪声较多、分辨率较低等问题，从而使得系统不能准确对该图像进行识别。此外，收到外界的光照、环境噪声等影响，也会使得拍摄得到的图像出现噪声较多、分辨率较低等问题。在这种情况下，常需要用户多次重新拍照，不仅增加了无效的沟通时间，还降低了沟通的效率。
32.有鉴于此，针对拍照图像模糊的情况，本公开可以结合生成式对抗网络，通过前期的不断学习优化出的图像去模糊化模型，对用户上传的图像进行去模糊化处理，生成图像分辨率高、系统识别率高的图像，增强用户实际使用体验，避免用户的重复操作，同时还可以增加系统识别问题的准确率，进一步提高用户使用过程中遇到问题的解决率。
33.具体地，本公开实施例提供了一种图像处理方法、装置、电子设备、可读存储介质和计算机程序产品，可以有效降低待识别图像中的噪声和干扰，有效解决图像模糊的问题，提高待识别图像的成功率。其中，该图像处理方法包括：响应于业务处理请求，获取业务处理请求中携带的待处理图像；对待处理图像进行切分，得到多帧子图像；使用特征提取模型分别处理多帧子图像的图像数据，以从多帧子图像中确定第一目标子图像；使用图像处理模型处理第一目标子图像的图像数据，得到目标图像。
34.需要说明的是，本公开实施例确定的图像处理方法、装置、电子设备、存储介质和程序产品可用于人工智能技术领域和金融领域，也可用于除人工智能技术领域和金融领域之外的任意领域，其具体应用领域不做限定。
35.在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
36.在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
37.图1示意性示出了根据本公开实施例的可以应用图像处理方法及装置的示例性系统架构；需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
38.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
39.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如金融类应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
40.终端设备101、102、103可以是具有摄像装置和/或显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
41.服务器105可以是提供各种服务的服务器，例如可以是对用户利用终端设备101、
102、103所发送的携带有待处理图像的业务处理请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的业务处理请求等数据进行分析等处理，并将处理结果(例如后台管理服务器可以先对业务处理请求中的待处理图像进行去噪、去模糊化处理，从而得到的清晰图像)反馈给终端设备。
42.需要说明的是，本公开实施例所提供的图像处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的图像处理方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的图像处理装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
43.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
44.图2示意性示出了根据本公开实施例的图像处理方法的流程图。
45.如图2所示，该方法包括操作s201～s204。
46.在操作s201，响应于业务处理请求，获取业务处理请求中携带的待处理图像。
47.在操作s202，对待处理图像进行切分，得到多帧子图像。
48.在操作s203，使用特征提取模型分别处理多帧子图像的图像数据，以从多帧子图像中确定第一目标子图像。
49.在操作s204，使用图像处理模型处理第一目标子图像的图像数据，得到目标图像。
50.根据本公开的实施例，待处理图像可以是与业务处理请求所表征的业务相关联的图像。待处理图像中可以包括与该业务相关的待识别对象，该待识别对象例如可以是银行卡、储蓄卡、各种业务单据等。对该待识别对象进行识别可以是识别待处理图像中的文字、图案、颜色等信息。
51.根据本公开的实施例，对待处理图像进行切分的方式在此不作限定。例如，可以是将待处理图像切分为多帧尺寸相同的子图像。具体地，可以是将待处理图像均匀分割为m
×
n个矩形块，m、n均为大于等于0的整数，每个矩形块即表征为一帧子图像。再例如，也可以先确定该待处理图像中的待识别对象的类型，并根据与该类型对应的区域切分规则进行切分。具体地，当待处理图像为包含银行卡的图像时，可以采用与银行卡这一类型对应的区域切分规则，对银行卡的关键区域进行切分，例如可以分别对银行卡标题行、银行卡号、银行卡标志、背景等区域进行切分。得到的多帧子图像可以分别是包括银行卡标题行、银行卡号、银行卡标志、背景等区域的子图像。
52.根据本公开的实施例，特征提取模型可以根据输入的图像数据来输出特征向量。特征提取模型可以是基于任意已有的特征提取网络架构训练得到的。已有的特征提取网络架构可以包括但不限于mobilenetv2、shufflenetv2、pvanet等。
53.根据本公开的实施例，图像处理模型可以用于根据输入的第一目标子图像来生成目标图像。图像处理模型可以是任意类型的图像生成模型，例如可以是pixelrnn/cnn、gan
(生成式对抗网络模型)等。
54.根据本公开的实施例，通过对待处理图像进行切分，得到多帧子图像；使用特征提取模型从多帧子图像中确定第一目标子图像，再通过图形处理模型处理第一目标子图像，得到目标图像。在生成目标图像前，通过采用将图像切分成多帧子图像，再从多帧子图像中确定目标图像的技术手段，降低了与目标图像无关的特征及噪声对目标图像生成过程的影响，有效地提高了目标图像的分辨率，从而至少部分地克服了应用于业务系统中待识别的图像因噪声较多、分辨率较低而无法被准确识别的技术问题。
55.根据本公开的实施例，业务处理请求中还可以携带有业务类型。
56.根据本公开的实施例，业务类型例如可以包括转账、存款、贷款、费用结算、业务代理等。
57.根据本公开的实施例，操作s203可以包括如下操作：基于业务类型，确定基准特征向量，其中，基准特征向量包括使用特征提取模型处理与业务类型关联的基准图像的图像数据而得到；使用特征提取模型分别处理多帧子图像的图像数据，得到多个子特征向量；针对多个子特征向量中的每个子特征向量，确定子特征向量与基准特征向量的相似度，得到多个相似度；以及基于多个相似度，从多帧子图像中确定第一目标子图像。
58.根据本公开的实施例，基准图像可以是与业务处理请求所指示的业务类型相关联的标准图像。例如，在处理转帐业务时，需要对银行卡号进行识别，相应的基准图像可以是包括银行卡号且具有较高识别准确率的图像。
59.根据本公开的实施例，相似度可以是通过计算子特征向量和基准特征向量在向量空间中的距离而得到。具体地，子特征向量和基准特征向量在向量空间中的距离越近，可以表示该子特征向量和基准特征向量之间的相似度越高；子特征向量和基准特征向量在向量空间中的距离越远，可以表示子特征向量和基准特征向量之间的相似度越低。计算特征向量在向量空间中的距离可以通过欧几里得距离算法、曼哈顿距离算法、马氏距离算法等方法来实现，在此不作限定。
60.根据本公开的实施例，相似度还可以是采用皮尔逊相关系数算法、余弦相似度算法等方法计算得到的。
61.根据本公开的实施例，第一目标子图像可以是多帧子图像中与基准图像最为接近的子图像，即可以确定计算得到的多个相似度中，与最大相似度对应的子图像为第一目标子图像。
62.根据本公开的实施例，通过切分和相似度计算，确定的第一目标子图像中可能存在遗漏图像信息，或者，包含较多的无用图像信息的情况，因此，在一些实施例中，在进行目标图像的生成之前，还可以包括如下操作：基于第一目标子图像，从待处理图像中截取得到第二目标子图像。其中，操作s204可以包括如下操作：使用图像处理模型处理第二目标子图像的图像数据，得到目标图像。
63.根据本公开的实施例，基于第一目标子图像，从待处理图像中截取得到第二目标子图像可以包括如下操作：确定第一目标子图像在待处理图像中的位置，得到位置信息；以及基于位置信息，从待处理图像中截取得到第二目标子图像。
64.根据本公开的实施例，可以根据第一目标子图像的位置信息，向第一目标子图像的周围成比例的扩大或缩小区域，得到第二目标子图像的位置信息，再通过截取可以得到
第二目标子图像。需要扩大或缩小以及比例的设置可以根据实际需要进行适应性调整。
65.根据本公开的实施例，其中，第二目标子图像的尺寸大于第一目标子图像的尺寸。
66.根据本公开的实施例，具体地，在待处理图像为银行卡的情况下，第一目标子图像为部分的银联卡号时，第二目标子图像可以是全部的银联卡号；第一目标子图像为部分的银联标志时，第二目标子图像可以是全部的银联标志。
67.根据本公开的实施例，备选地，第二目标子图像的尺寸可以小于第一目标子图像的尺寸。例如，在待处理图像为银行卡的情况下，第一目标子图像为除全部的银联卡号之外还有其他无效信息时，第二目标子图像可以是去除其他无效信息的全部银联卡号；第一目标子图像为除全部的银联标志之外还有其他无效信息时，第二目标子图像可以是全部的银联标志。
68.根据本公开的实施例，操作s204还可以包括如下操作：
69.使用图像处理模型处理第二目标子图像的图像数据，得到目标图像。即使用重新确定的子图像来生成目标图像，从而进一步地提高生成的图像的可识别概率。
70.根据本公开的实施例，生成得到的目标图像可供业务系统中的其他系统来调用。例如，该其他系统为银行的智能客服问答系统，该系统可以通过对目标图像进行处理，从而获取业务需要的信息。具体地，可以使用图像识别模型处理目标图像的图像数据，得到待处理图像的图像识别结果。
71.图3示意性示出了根据本公开实施例的图像处理模型训练方法的流程图。
72.如图3所示，该方法包括操作s301～s305。
73.在操作s301，获取训练样本集，其中，训练样本集中包括多个样本图像。
74.在操作s302，对于多个样本图像中的每个样本图像，对样本图像进行切分，得到多帧子样本图像。
75.在操作s303，使用特征提取模型分别处理多帧子样本图像的图像数据，以从多帧子样本图像中确定第一子样本图像。
76.在操作s304，基于第一子样本图像，生成第二子样本图像。
77.在操作s305，使用第一子样本图像的图像数据和第二子样本图像的图像数据来训练初始图像处理模型，得到图像处理模型。
78.根据本公开的实施例，训练样本集可以根据银行金融业问答客服的实际场景选取，实际场景可以包括银行卡卡号读取、拍摄身份证正反面照片、拍摄其它手机在使用app时遇到的问题等。样本图像可以是与业务处理请求所表征的业务相关联的图像。样本图像中可以包括与该业务相关的待识别对象，该待识别对象例如可以是银行卡、储蓄卡、各种业务单据等。对该待识别对象进行识别可以是识别样本图像中的文字、图案、颜色等信息。
79.根据本公开的实施例，对样本图像进行切分的方式在此不作限定。例如，可以是将样本图像切分为多帧尺寸相同的子图像。具体地，可以是将样本图像均匀分割为m
×
n个矩形块，m、n均为大于等于0的整数，每个矩形块即表征为一帧子图像。再例如，也可以先确定该样本图像中的待识别对象的类型，并根据与该类型对应的区域切分规则进行切分。具体地，当样本图像为包含银行卡的图像时，可以采用与银行卡这一类型对应的区域切分规则，对银行卡的关键区域进行切分，例如可以分别对银行卡标题行、银行卡号、银行卡标志、背景等区域进行切分。得到的多帧子图像可以分别是包括银行卡标题行、银行卡号、银行卡标
志、背景等区域的子图像。
80.根据本公开的实施例，特征提取模型可以根据输入的图像数据来输出特征向量。在另一实施例中，特征提取网络还可以与样本图像按照元素相加后得到最终输出，输出结果可以是判断是否为真实图像的结果。特征提取模型可以选用轻量级特征提取网络模型，也可以是基于任意已有的特征提取网络架构训练得到的。已有的特征提取网络架构可以包括但不限于mobilenetv2、shufflenetv2、pvanet等。
81.根据本公开的实施例，通过使用特征提取模型从多帧子样本图像中确定第一子样本图像；可以对训练样本集中的多帧子样本图像进行特征提取，得到第一子样本图像，可以减少图像处理模型的参数和减少图像处理模型的训练时长，提高了训练图像处理模型的效率。
82.根据本公开的实施例，操作s304还可以包括如下操作：基于第一子样本图像，生成第二子样本图像，包括：对第一子样本图像进行模糊化处理，得到第二子样本图像；其中，模糊化处理包括高斯模糊处理和/或运动模糊处理。
83.根据本公开的实施例，第一子样本图像可以是清晰图像，第二子样本图像可以是与清晰图像对应的模糊图像。具体地，可以通过使用高速摄像机在移动状态下对目标物体进行视频拍摄，再对视频进行分帧裁剪，找出其中的清晰图像和与清晰图像对应的模糊图像得到第一子样本图像和第二子样本图像。模糊化处理图像可以是根据实际场景下模糊图像的产生原因，来模拟化地生成模糊图像。例如，可以是不同强度的高斯模糊处理和/或不同强度的运动模糊处理。高斯模糊和运动模糊是导致拍摄的图片模糊的两类主要原因。具体地，在使用高斯模糊处理时可以使用高斯模糊核生成第一子样本图像的模糊图像作为第二子样本图像。其中，所采用的卷积核越大，对第一子样本图像的模糊效果越明显。优选地，由于样本图像多为清晰图像，所以可以使用albumentations库对第一子样本图像进行模糊化处理，处理时可以用到3
×
3的卷积核。
84.根据本公开的实施例，初始图像处理模型可以采用生成式对抗模块的模型架构。以下以初始图像处理模型为生成式对抗模块为例，对图像处理模型的训练方法作进一步说明。
85.根据本公开的实施例，初始图像处理模型可以由生成器和判别器组成。
86.根据本公开的实施例，操作s305还可以包括如下操作：使用生成器处理第二子样本图像的图像数据，得到第一生成图像的图像数据；使用判别器处理第一子样本图像的图像数据和第一生成图像的图像数据，得到判别数据；以及使用判别数据来训练生成器和判别器，得到图像处理模型。
87.根据本公开的实施例，初始图像处理模型可以是包括生成器和判别器的生成式对抗神经网络模型。通过第一子样本图像和第二子样本图像可以训练该生成式对抗神经网络模型。具体地，可以根据由判别器得到的判别数据训练生成器和判别器，分别采用生成器损失函数和判别器损失函数确定该生成式对抗神经网络模型的损失，通过将模型损失最小化，完成该生成式对抗神经网络模型的训练。
88.根据本公开的实施例，判别器(d)可以用于判断生成器(g)生成的是伪图片还是真实图片，即判断图片真假。判别器(d)的损失函数可以如公式(1)所示。
89.lossd＝d
fake-d
real
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
90.其中，lossd可以表示判别器(d)的损失，d
fake
可以表示判断是伪图片的概率，d
real
可以表示判断是真图片的概率。因此当d
fake
越小，同时d
real
越大时，可以说明判别器(d)能够更准确的判断图片的真假，因此损失函数loss_d越小越好。
91.根据本公开的实施例，生成器(g)用于使得生成图像与清晰图像之间的差距越来越小生成器(g)的损失函数可以如公式(2)所示。
92.lossg＝content_loss t
×
adv_loss
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
93.其中，lossg可以表示生成器(g)的损失，content_loss可以表示是使得生成图像与清晰图像之间的差距越来越小，t可以表示根据需要设定的超参数；以便判别器将生成图像判断为真实图像，最终实现图像去模糊的效果。
94.根据本公开的实施例，生成式对抗神经网络模型中，输入到判别器的特征提取网络架构可以替换为轻量级特征提取网络，例如使用mobilenet特征提取网络对第一子样本图像的图像数据和第一生成图像的图像数据特征进行提取。通过使用轻量级特征提取网络，可以在训练图像处理模型时不仅不需要大量的训练样本集，而且还可以减少图像处理模型的参数，因此减少了图像处理模型训练的时长，轻量化了图像处理模型。
95.根据本公开的实施例，其中，判别器包括全局判别器和局部判别器，判别数据包括第一判别数据和第二判别数据；使用判别器处理第一子样本图像的图像数据和第一生成图像的图像数据，得到判别数据，包括：使用全局判别器处理第一子样本图像的图像数据和第一生成图像的图像数据，得到第一判别数据；基于预测局部裁剪策略分别处理第一子样本图像和第一生成图像，得到第三子样本图像和第二生成图像；以及使用局部判别器处理第三子样本图像的图像数据和第二生成图像的图像数据，得到第二判别数据。
96.根据本公开的实施例，公式(2)中的adv_loss可以是如公式(3)所示。
97.adv_loss＝-d
local(fake)-0.5
×dglobal(fake)
ꢀꢀꢀꢀꢀ
(3)
98.其中，d
local(fake)
可以表示局部判别器判断该伪图片是伪图片的概率，d
global(fake)
可以表示全局判别器判断该伪图片是伪图片的概率。对于adv_loss来说，由于生成器的目的为生成更接近真实图片的伪图片，以使得判别器能够将该伪图片判断为真实图片，因此adv_loss越小越好，该损失越小，生成图片中能够保证更细致的纹理生成，从而提高图片去模糊化的效果。
99.根据本公开的实施例，以初始图像模型采用的生成式对抗神经网络模型为例，生成式对抗神经网络模型可以包括生成器与判别器。生成器希望通过不断迭代从而生成更接近真实图片的图像，以使得判别器将生成器生成的伪图片判断为真实图片；判别器是希望能够判别出生成器生成的伪图片。因此通过大量的迭代次数后，生成器生成的伪图像越来越接近真实图片，判别器则不能够识别出生成的伪图片的真实性。
100.根据本公开的实施例，第一生成图像可以是生成器根据模糊的第第二子样本图像生成的不同于第一子样本图像的清晰图像。通过判别器对第一子样本图像的图像数据和第一生成图像的图像数据之间的对比，可以得到判别数据。再根据判别数据通过大量地迭代计算、调整模型参数等操作训练生成器与判别器，得到训练好的图像处理模型。
101.根据本公开的实施例，生成式对抗神经网络模型中的判别器可以分为全局判别器和局部判别器，训练样本集中一张图像可以作为整张图像输入到全局判别器中，将该张图像经过局部随机裁剪后的局部图像可以输入到局部判别器中，再经过一系列卷积操作后可
以输出判别器对生成器生成的图片为真实图片的概率。
102.根据本公开的实施例，第一子样本图像可以作为整张图像，输入到全局判别器中，相应的，第一生成图像也可以是整张的。
103.根据本公开的实施例，预测局部裁剪策略可以是根据区域相同的原则进行裁剪。具体的剪裁方法可以是随机裁剪、区域裁剪等。例如，随机裁剪可以是对第一子样本图像进行随机裁剪得到第三子样本图像，对第一生成图像进行随机裁剪得到第二生成图像。区域裁剪可以是根据关键区域进行裁剪，例如，在第一子样本图像和第一生成图像分别是包含银行卡的情况下，可以对银行卡标题行、银行卡号、银行卡标志、背景等区域进行裁剪得到第三子样本图像和第二生成图像。第三子样本图像可以作为裁剪后的局部图像输入到局部判别器中，相应的，第二生成图像也可以是裁剪后的局部图像。
104.根据本公开的实施例，可以采用生成器损失函数和判别器损失函数确定初始图像处理模型的损失，通过将模型损失最小化，完成初始图像处理模型的训练。
105.根据本公开的实施例，在图像处理模型的训练过程中，还可以选择把已有的训练样本集分成训练集和测试集两部分。可以通过训练集训练图像处理模型，通过测试集评估模型对待处理图像的判别能力。这样可以避免该图像处理模型在训练过程中会把训练样本本身所具有的特点当作潜在样本的普遍特点，致使对训练样本的学习训练过程较好，造成来过拟合的问题。
106.根据本公开的实施例，可以使用交叉验证法对训练样本集进行划分。具体地，可以是将训练样本集分为k份，其中的k-1份可以作为训练集，剩余的1份可以作为测试集，这样根据划分的k-1组训练集与1组测试集进行k组训练与测试，最终可以返回k个测试结果的平均值。k值的选取可以根据实际需要或经验进行适应性调整。优选地，可以选择k大于等于10，以保证输出结果的稳定性。
107.根据本公开的实施例，对图像处理模型的训练过程还可以包括创建虚拟环境并在虚拟环境中安装相关依赖。具体地，可以是首先创建python3.9的虚拟环境，随后在该环境中安装pytorch1.0.1、opencv、numpy等模块。
108.根据本公开的实施例，对图像处理模型的训练过程还可以包括修改配置文件。具体地，可以是对图像处理模型中的config文件下的多个训练参数进行初始化设置，例如训练样本集路径，epoch数，batch_size，学习率等信息。
109.根据本公开的实施例，对图像处理模型的训练过程还可以是可视化的。具体地，可以采用tensorboard可视化工具展示模型训练过程中的张量、网络图的指标变化等，还可以在使用时设置文件的保存路径、设置所使用的训练样本集的加载路径。
110.根据本公开的实施例，在训练模型的过程中，还可以通过训练过程中的拟合情况判断是否需要优化。具体地，可以通过训练模型时的生产器和/或判别器的损失函数的变化情况进行判断。若出现损失函数震荡的情况，可以表示整个模型较不稳定。可以通过训练过程中训练集和测试集的准确率进行判断，若发现训练集的准确率较高，而测试集的准确率相对较低，可以表示该图像处理模型出现了过拟合的情况，需要对模型做出优化。
111.根据本公开的实施例，还可以使用数据增强技术对图像处理模型进行优化。具体地，可以是在训练集上使用数据增强技术，例如通过随机修剪、色彩抖动、尺度变化、对比度变换等增加数据，不仅可以提高该模型的泛化能力，还可以增加噪声数据，增强该模型的鲁
棒性。
112.根据本公开的实施例，还可以通过修改学习率优化模型。通过使用变化的学习率，可以增加图像处理模型的拟合能力，进而提高该模型的准确率。具体地，可以先使用较大的学习率进行训练，观察损失函数曲线和测试集准确率的收敛曲线，当损失函数曲线下降速度和测试集准确率的收敛曲线上升速度趋缓时，可以减小学习率，可以多次重复减小学习率，直到损失函数曲线下降速度和测试集准确率的收敛曲线上升速度均不再受影响。
113.根据本公开的实施例，还可以使用加深网络层数对图像处理模型进行优化。具体地，可以适当加深神经网络的层数，找到测试集训练过程中准确率自上升到下降的转折点，通过加深网络层数深度优化模型的性能。
114.根据本公开的实施例，还可以对训练好的图像处理模型进行验证。可以首先选取适当模型。具体的，在使用gpu(图形处理器)对训练样本集训练后，会产生多个可用模型参数文件，可以通过判断选择适当的模型进行验证。
115.根据本公开的实施例，在选取模型后，可以将待去模糊的原始测试图像一张张输入该模型中，该模型可以输出多张与待测试图像相对应的去模糊化后的清晰图像存至文件夹中。
116.根据本公开的实施例，在输出清晰图像后可以查看去模糊效果。具体地，输出的清晰图像可以保存在文件夹中，在文件夹中可以查看原始测试图像与去模糊化后的清晰图像对比效果，可以实现对该训练好的图像处理模型的验证。
117.根据本公开的实施例，获取初始样本图像，其中，初始样本集中包括多个初始样本图像；对于多个初始样本图像中的每个初始样本图像，对初始样本图像进行数据增强处理，得到多个样本图像；其中，数据增强处理包括以下任意一项或多项：图像裁剪、图像旋转、尺度变化、色彩抖动、对比度变换和添加噪声。
118.根据本公开的实施例，样本图像可以是数据增强后的初始样本图像。数据增强可以包括图像裁剪、图像旋转、尺度变化、色彩抖动、对比度变换和添加噪声中的任意一项或多项。例如，图像旋转，可以是将初始样本图像以该图像左上角为旋转中心进行旋转得到样本图像，随机旋转角度可以是-45
°
至45
°
；尺度变化，可以是将初始图像随机放缩得到样本图像，放缩范围可以是初始图像大小的0.5-1.5倍；添加噪声，可以是增加椒盐噪声得到样本图像，例如通过随机将初始图像的某些像素值改为0或255的方式实现增加椒盐噪声。
119.根据本公开的实施例，在对第一子样本图像进行模糊化处理之前也可以对第一子样本图像进行数据增强操作，例如可以对第一子样本图像进行旋转、放缩、剪切等操作，再对数据增强后的第一子样本图像进行模糊处理生成第二子样本图像。
120.根据本公开的实施例，通过在初始样本图像的基础上进行数据增强，可以在其他训练条件不变的情况下，使用经过数据增强后的训练样本集训练出的模型，提高了去模糊化的效果，生成了分辨率更高的图像。
121.需要说明的是，本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
122.图4示意性示出了根据本公开实施例的图像处理装置的框图。
123.如图4所示，图像处理装置400包括响应模块410、第一切分模块420、第一处理模块
430、和第二处理模块440。
124.响应模块410用于响应于业务处理请求，获取所述业务处理请求中携带的待处理图像。
125.第一切分模块420用于对所述待处理图像进行切分，得到多帧子图像。
126.第一处理模块430用于使用特征提取模型分别处理多帧所述子图像的图像数据，以从多帧所述子图像中确定第一目标子图像。
127.第二处理模块440用于使用图像处理模型处理所述第一目标子图像的图像数据，得到目标图像。
128.根据本公开的实施例，第一处理模块430还包括第一确定单元、第一处理单元、第二确定单元、第三确定单元。
129.第一确定单元用于基于所述业务类型，确定基准特征向量，其中，所述基准特征向量包括使用所述特征提取模型处理与所述业务类型关联的基准图像的图像数据而得到。
130.第一处理单元用于使用所述特征提取模型分别处理多帧所述子图像的图像数据，得到多个子特征向量。
131.第二确定单元用于针对多个所述子特征向量中的每个子特征向量，确定所述子特征向量与所述基准特征向量的相似度，得到多个相似度。
132.第三确定单元用于基于多个所述相似度，从多帧所述子图像中确定所述第一目标子图像。
133.根据本公开的实施例，图像处理装置400还包括截取模块。
134.截取模块用于基于所述第一目标子图像，从所述待处理图像中截取得到第二目标子图像。
135.根据本公开的实施例，第二处理单元440包括第二处理单元。
136.第二处理单元用于使用所述图像处理模型处理所述第二目标子图像的图像数据，得到所述目标图像。
137.根据本公开的实施例，截取模块包括第四确定单元、截取单元。
138.第四确定单元用于确定所述第一目标子图像在所述待处理图像中的位置，得到位置信息。
139.截取单元用于基于所述位置信息，从所述待处理图像中截取得到所述第二目标子图像。
140.根据本公开的实施例，图像处理装置还包括第三处理单元。
141.第三处理单元用于使用图像识别模型处理所述目标图像的图像数据，得到所述待处理图像的图像识别结果。根据本公开的实施例图像处理装置还包括第一获取模块、第二切分模块、第三处理模块、生成模块、训练模块。
142.第一获取模块用于获取训练样本集，其中，所述训练样本集中包括多个样本图像。
143.第二切分模块用于对于多个所述样本图像中的每个样本图像，对所述样本图像进行切分，得到多帧子样本图像。
144.第三处理模块用于使用特征提取模型分别处理多帧所述子样本图像的图像数据，以从多帧所述子样本图像中确定第一子样本图像。
145.生成模块用于基于所述第一子样本图像，生成第二子样本图像。
146.训练模块用于使用所述第一子样本图像的图像数据和所述第二子样本图像的图像数据来训练初始图像处理模型，得到图像处理模型。
147.根据本公开的实施例，生成模块包括第四处理单元。
148.第四处理单元用于对所述第一子样本图像进行模糊化处理，得到所述第二子样本图像。
149.根据本公开的实施例，训练模块包括第五处理单元、第六处理单元、训练单元。
150.第五处理单元用于使用所述生成器处理所述第二子样本图像的图像数据，得到第一生成图像的图像数据。
151.第六处理单元用于使用所述判别器处理所述第一子样本图像的图像数据和所述第一生成图像的图像数据，得到判别数据。
152.训练单元用于使用所述判别数据来训练所述生成器和所述判别器，得到所述图像处理模型。
153.根据本公开的实施例，第六处理单元还包括第一处理子单元、第二处理子单元、第三处理子单元。
154.第一处理子单元用于使用所述全局判别器处理所述第一子样本图像的图像数据和所述第一生成图像的图像数据，得到所述第一判别数据。
155.第二处理子单元用于基于预测局部裁剪策略分别处理所述第一子样本图像和所述第一生成图像，得到第三子样本图像和第二生成图像。
156.第三处理子单元用于使用所述局部判别器处理所述第三子样本图像的图像数据和所述第二生成图像的图像数据，得到所述第二判别数据。
157.根据本公开的实施例，图像处理装置还包括第二获取模块、第四处理模块。
158.第二获取模块用于获取初始样本图像，其中，所述初始样本集中包括多个初始样本图像。
159.第四处理模块用于对于多个所述初始样本图像中的每个初始样本图像，对所述初始样本图像进行数据增强处理，得到多个所述样本图像。
160.根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
161.例如，响应模块410、第一切分模块420、第一处理模块430、和第二处理模块440中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，响应模块410、第一切分模块
420、第一处理模块430、和第二处理模块440中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，响应模块410、第一切分模块420、第一处理模块430、和第二处理模块440中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
162.需要说明的是，本公开的实施例中图像处理装置部分与本公开的实施例中图像处理方法部分是相对应的，图像处理装置部分的描述具体参考图像处理方法部分，在此不再赘述。
163.图5示意性示出了根据本公开实施例的适于实现图像处理方法的电子设备的框图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
164.如图5所示，根据本公开实施例的计算机电子设备500包括处理器501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
165.在ram 503中，存储有电子设备500操作所需的各种程序和数据。处理器501、rom 502以及ram 503通过总线504彼此相连。处理器501通过执行rom 502和/或ram 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom502和ram 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
166.根据本公开的实施例，电子设备500还可以包括输入/输出(i/o)接口505，输入/输出(i/o)接口505也连接至总线504。电子设备500还可以包括连接至i/o接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
167.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
168.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
169.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
170.例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 502和/或ram 503和/或rom 502和ram 503以外的一个或多个存储器。
171.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的图像处理方法。
172.在该计算机程序被处理器501执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
173.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分509被下载和安装，和/或从可拆卸介质511被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
174.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
175.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组
合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
176.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。