图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、电子设备和计算机可读存储介质。


背景技术：

2.在计算机视觉中，图像着色技术是一种对黑白图像或者灰度图像等待着色图像进行上色处理，从而生成彩色图像的技术。
3.相关技术中，在对待着色图像进行上色处理前，首先会为待着色图像确定一个着色参考图像，然后基于该着色参考图像对待着色图像进行上色处理。
4.但是，通过相关技术为待着色图像确定的着色参考图像，会因其与待着色图像的相关度不高，导致对待着色图像的着色效果不好。


技术实现要素：

5.本公开的目的在于提供一种图像处理方法、装置、电子设备以及计算机可读存储介质，可以为待着色图像确定一个相关度较高的目标参考图像，以便在根据该待着色图像进行上色时，提高待着色图像的上色效果。
6.本公开实施例提供了一种图像处理方法，包括：获取待着色图像和已着色图像；获取所述待着色图像中的对象识别结果和所述已着色图像中的对象识别结果；根据所述待着色图像中的对象识别结果和所述已着色图像中的对象识别结果，确定所述待着色图像和所述已着色图像的对象相似度；确定所述待着色图像的特征编码向量和所述已着色图像的特征编码向量；根据所述待着色图像的特征编码向量和所述已着色图像的特征编码向量，确定所述待着色图像和所述已着色图像的第一特征向量相似度；根据所述待着色图像和所述已着色图像的对象相似度和所述第一特征向量相似度，确定所述待着色图像和所述已着色图像之间的图像相似度；根据所述待着色图像和所述已着色图像之间的图像相似度，从所述已着色图像中确定目标参考图像，以便根据所述目标参考图像对所述待着色图像进行着色处理。
7.本公开实施例提供了一种图像处理装置，包括：待着色图像获取模块、对象识别结果获取模块、对象相似度确定模块、特征编码向量获取模块、第一特征相似度确定模块、图像相似度确定模块以及目标参考图像确定模块。
8.其中，所述待着色图像获取模块用于获取待着色图像和已着色图像；所述对象识别结果模块获取用于获取所述待着色图像中的对象识别结果和所述已着色图像中的对象识别结果。所述对象相似度确定模块用于根据所述待着色图像中的对象识别结果和所述已着色图像中的对象识别结果，确定所述待着色图像和所述已着色图像的对象相似度。所述特征编码向量获取模块用于确定所述待着色图像的特征编码向量和所述已着色图像的特征编码向量。所述图像相似度确定模块用于根据所述待着色图像的特征编码向量和所述已着色图像的特征编码向量，确定所述待着色图像和所述已着色图像的第一特征向量相似
度。所述图像相似度确定模块用于根据所述待着色图像和所述已着色图像的对象相似度和所述第一特征向量相似度，确定所述待着色图像和所述已着色图像之间的图像相似度。所述目标参考图像确定模块用于根据所述待着色图像和所述已着色图像之间的图像相似度，从所述已着色图像中确定目标参考图像，以便根据所述目标参考图像对所述待着色图像进行着色处理。
9.在一些实施例中，所述待着色图像中的对象识别结果包括从所述待着色图像中识别出来的第一对象信息，所述已着色图像中的对象识别结果包括从所述已着色图像中识别出来的第二对象信息。其中，对象相似度确定模块可以包括：第一数量信息获取子模块、第二数量信息获取子模块、数量差确定子模块、对象数量相似度确定子模块以及对象相似度确定第一子模块。
10.其中，所述第一数量信息获取子模块用于根据所述第一对象信息确定所述待着色图像中目标对象的第一数量信息。所述第二数量信息获取子模块用于根据所述第二对象信息确定所述已着色图像中所述目标对象的第二数量信息。所述数量差确定子模块用于根据所述第一数量信息和所述第二数量信息，确定所述待着色图像和所述已着色图像中目标对象的数量和与数量差。所述对象数量相似度确定子模块用于根据所述待着色图像和所述已着色图像中所述目标对象的数量和与数量差，确定所述待着色图像与所述已着色图像的对象数量相似度。所述对象相似度确定第一子模块用于根据所述待着色图像与所述已着色图像的对象数量相似度，确定所述待着色图像和所述已着色图像的所述对象相似度。
11.在一些实施例中，对象识别结果获取可以包括：对象信息确定子模块、对象类别确定子模块、图像划分子模块、第一对象类别确定子模块以及第二对象类别确定子模块。
12.其中，所述对象信息确定子模块用于对所述待着色图像和所述已着色图像分别进行对象识别处理，以确定所述待着色图像中包括的第一对象信息和所述已着色图像中包括的第二对象信息。所述对象类别确定子模块用于根据所述第一对象信息和所述第二对象信息，确定所述待着色图像中各个像素所属的对象类别和所述已着色图像中各个像素所属的对象类别。所述图像划分子模块用于将所述待着色图像和所述已着色图像分别切分为m个第一区域和m个第二区域，所述m个第一区域与所述m个第二区域一一对应，m为大于或者等于1的整数。所述第一对象类别确定子模块用于根据所述待着色图像中各个像素所属的对象类别确定各个第一区域中各个像素所属的第一对象类别，作为所述待着色图像中的对象识别结果。所述第二对象类别确定子模块用于根据所述已着色图像中各个像素所属的对象类别确定各个第二区域中各个像素所属的第二对象类别，作为所述已着色图像中的对象识别结果。
13.在一些实施例中，对象相似度确定模块可以包括：对象类别相似度确定子模块、对象种类相似度确定子模块以及对象相似度确定第一子模块。
14.其中，所述对象类别相似度确定子模块用于根据各个第一区域中各个像素所属的第一对象类别和各个第二区域中各个像素所属的第二对象类别，确定各个第一区域与对应的第二区域之间的对象类别相似度。所述对象种类相似度确定子模块用于根据各个第一区域与对应的第二区域之间的对象类别相似度，确定所述待着色图像与所述已着色图像的对象种类相似度。所述对象相似度确定第一子模块用于根据所述待着色图像和所述已着色图像的对象种类相似度，确定所述待着色图像与所述已着色图像的对象相似度。
15.在一些实施例中，所述第一区域包括第一目标区域，所述第二区域包括第二目标区域，所述第一目标区域与所述第二目标区域对应，所述第一目标区域中的像素属于第一目标对象类别，所述第二目标区域中的像素属于第二目标对象类别。其中，所述对象类别相似度确定子模块可以包括：相同对象类别个数确定单元、对象类别总个数确定单元和对象类别相似度确定单元。
16.其中，所述相同对象类别个数确定单元用于确定所述第一目标对象类别与所述第二目标对象类别的相同对象类别个数。所述对象类别总个数确定单元用于确定所述第一目标对象类别与所述第二目标对象类别的对象类别总个数。所述对象类别相似度确定单元用于根据第一目标对象类别与所述第二目标对象类别的相同对象类别个数、所述第一目标对象类别与所述第二目标对象类别的对象类别总个数确定所述第一目标区域与所述第二目标区域的对象类别相似度。
17.在一些实施例中，所述第一对象信息包括所述待着色图像中包括的目标对象的第一数量信息，所述第二对象信息包括所述待着色图像中包括的所述目标对象的第二数量信息。其中，所述对象相似度确定第一子模块，包括：数量和确定单元、对象数量相似度确定单元和对象相似度确定单元。
18.其中，所述数量和确定单元用于根据所述第一数量信息和所述第二数量信息，确定所述待着色图像和所述已着色图像中目标对象的数量和与数量差。所述对象数量相似度确定单元用于根据所述待着色图像和所述已着色图像中目标对象的数量和与数量差，确定所述待着色图像与所述已着色图像的对象数量相似度。所述对象相似度确定单元用于根据所述待着色图像与所述已着色图像的对象数量相似度和对象种类相似度，确定所述待着色图像与所述已着色图像的对象相似度。
19.在一些实施例中，所述待着色图像包括第一待着色图像和第二待着色图像，所述第一待着色图像与所述已着色图像之间的图像相似度为第一图像相似度，所述第二待着色图像与所述已着色图像之间的图像相似度为第二图像相似度。其中，目标参考图像确定模块包括：特征编码向量确定子模块、第二特征相似度子模块以及目标参考图像确定子模块。
20.其中，所述特征编码向量确定子模块用于分别获取所述第一待着色图像和所述第二待着色图像的特征编码向量。所述第二特征相似度子模块用于根据所述第一待着色图像与所述第二待着色图像的特征编码向量，确定所述第一待着色图像与所述第二待着色图像之间的第二特征向量相似度。所述目标参考图像确定子模块用于根据所述第一图像相似度、所述第二图像相似度以及所述第二特征向量相似度，从所述已着色图像中确定所述第一待着色图像的目标参考图像。
21.在一些实施例中，所述目标参考图像确定子模块包括：影响项确定单元、关联度确定单元以及目标参考图像确定单元。
22.其中，所述影响项确定单元用于根据所述第二图像相似度和所述第二特征向量相似度确定所述第二待着色图像对所述第一待着色图像的影响项。所述关联度确定单元用于根据所述第二待着色图像对所述第一待着色图像的影响项、所述第一图像相似度，确定所述第一待着色图像与所述已着色图像的关联度。所述目标参考图像确定单元用于根据所述第一待着色图像与所述已着色图像的关联度，从所述已着色图像中确定所述第一待着色图像的目标参考图像。
23.在一些实施例中，目标参考图像确定模块包括：对齐子模块、初始着色子模块以及修正子模块。
24.其中，所述对齐子模块用于将所述目标参考图像与所述待着色图像进行图像对齐处理，以获得图像对齐结果；所述初始着色子模块用于结合所述图像对齐结果，通过所述目标参考图像对所述待着色图像进行着色处理，以获得初始着色图像；所述修正子模块用于通过训练完成的着色修正模型对所述初始着色图像进行图像修正，以完成对所述待着色图像的着色处理。
25.在一些实施例中，目标参考图像确定模块还包括：图像样本获取子模块、模糊处理子模块、清晰样本确定子模块、损失值确定子模块以及参数调整子模块。
26.其中，所述图像样本获取子模块用于获取目标彩色图像样本；所述模糊处理子模块用于对所述目标彩色图像样本进行对象边缘模糊处理，以获得边缘模糊图像样本；所述清晰样本确定子模块用于将所述边缘模糊图像样本输入至目标神经网络，以获得边缘清晰样本；所述损失值确定子模块用于确定所述边缘清晰样本与所述目标彩色图像样本之间的目标损失值；所述参数调整子模块用于通过所述目标损失值对所述目标神经网络的参数进行调整，以将所述目标神经网络训练为所述着色修正模型。
27.本公开实施例还提供了一种图像处理装置，包括：图像获取模块、第一图像相似度获取模块、第二图像相似度获取模块、特征编码向量生成模块、第二特征相似度确定模块、确定目标参考图像模块。
28.其中，所述图像获取模块用于获取第一待着色图像、第二待着色图像和已着色图像；所述第一图像相似度获取模块用于获取所述第一待着色图像与所述已着色图像之间的第一图像相似度；所述第二图像相似度获取模块用于获取所述第二待着色图像与所述已着色图像之间的第二图像相似度；所述特征编码向量生成模块用于分别获取所述第一待着色图像和所述第二待着色的特征编码向量；所述第二特征相似度确定模块用于根据所述第一待着色图像、所述第二待着色的特征编码向量，确定所述第一待着色图像与所述第二待着色图像之间的第二特征向量相似度；所述确定目标参考图像模块用于根据所述第一图像相似度、所述第二图像相似度以及所述第二特征向量相似度，从所述已着色图像中确定所述第一待着色图像的目标参考图像，以便根据所述目标参考图像对所述第一待着色图像进行着色处理。
29.本公开实施例提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的图像处理方法。
30.本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一项所述的图像处理方法。
31.本公开实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。
32.本公开实施例提供的图像处理方法、装置及电子设备和计算机可读存储介质，在为待着色图像确定目标参考图像时，一方面通过待着色图像与已着色图像的特征编码向量
保证了目标参考图像与待着色图像之间的整体相似性；另一方面通过待着色图像与已着色图像之间的对象相似度保证了目标参考图像中的对象与待着色图像中的对象相似性，即保证了目标参考图像与待着色图像中的内容细节相似。总之，本实施例提供的技术方案技能保证目标参考图像与像待着色图像宏观全图的相似，也能保证目标参考图像与待着色图像中的对象细节相似，提高了目标参考图像与待着色图像之间的相关度，以便在根据目标参考图像对待着色图像进行上色时，提高待着色图像的上色效果。
33.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
34.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1示出了可以应用于本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图。
36.图2示出了适于用来实现本公开实施例的电子设备的结构示意图。
37.图3是根据相关技术示出的为待着色图像确定的目标参考图像。
38.图4是根据一示例性实施例示出的一种图像处理方法的流程图。
39.图5是根据一示例性实施例示出的一种图像相似度矩阵确定方法示意图。
40.图6是根据一示例性实施例示出的一种对象相似度确定方法。
41.图7示出了根据本实施例提供的图像处理方法为待着色图像确定的目标参考图像。
42.图8是根据一示例性实施例示出的一种对对象识别结果确定方法。
43.图9是根据一示例性实施例示出的另一种对象相似度确定方法。
44.图10是根据一示例性实施示出的为待着色图像确定的保持对象种类一致性的目标参考图像。
45.图11是根据一示例性实施例示出的再一种对象相似度确定方法。
46.图12是根据一示例性实施示出的为待着色图像确定的保持目标对象数量一致性和种类一致性的目标参考图像。
47.图13是根据一示例性实施例示出的目标参考图像确定方法。
48.图14是根据一示例性实施例示出的一种图像关联度矩阵确定方法示意图。
49.图15是根据一示例性实施例示出的一种为两个相似图像命中类似目标参考图像的示意图。
50.图16是根据一示例性实施例示出的另一种图像处理方法的流程图。
51.图17是根据一示例性实施例示出的一种图像处理装置的框图。
52.图18是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
53.现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
54.附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
55.本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
56.下面结合附图对本公开示例实施方式进行详细说明。
57.图1示出了可以应用于本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图。
58.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
59.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等，例如用户可以通过终端设备101、102或者103向服务器发送待着色图像，终端设备101、102或者103也可以从服务器中接收目标参考图像。
60.其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
61.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
62.服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
63.服务器105可例如获取待着色图像和已着色图像；服务器105可例如获取待着色图像中的对象识别结果和已着色图像中的对象识别结果；服务器105可例如根据待着色图像中的对象识别结果和已着色图像中的对象识别结果，确定待着色图像和已着色图像的对象相似度；服务器105可例如确定待着色图像的特征编码向量和已着色图像的特征编码向量；
服务器105可例如根据待着色图像的特征编码向量和已着色图像的特征编码向量，确定待着色图像和已着色图像的第一特征向量相似度；服务器105可例如根据待着色图像和已着色图像的对象相似度和第一特征向量相似度，确定待着色图像和已着色图像之间的图像相似度；服务器105可例如根据待着色图像和已着色图像之间的图像相似度，从已着色图像中确定目标参考图像，以便根据目标参考图像对待着色图像进行着色处理。
64.当服务区105在为待着色图像确定了目标参考图像后可以将目标参考图像发送给终端设备101、102或者103，以便终端设备101、102或者103根据该目标参考图像对待着色图像进行上色显示。
65.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
66.图2示出了适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。需要说明的是，图2示出的电子设备200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
67.如图2所示，电子设备200包括中央处理单元(cpu)201，其可以根据存储在只读存储器(rom)202中的程序或者从储存部分208加载到随机访问存储器(ram)203中的程序而执行各种适当的动作和处理。在ram 203中，还存储有电子设备200操作所需的各种程序和数据。cpu201、rom 202以及ram 203通过总线204彼此相连。输入/输出(i/o)接口205也连接至总线204。
68.以下部件连接至i/o接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至i/o接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
69.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。
70.描述于本技术实施例中所涉及到的模块和/或子模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或子模块和/或单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些模块模块和/或子模块和/或单元的名称在某种情况下并不构成对该模块和/或子模块和/或单元本身的限定。
71.作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取待着色图像和已着色图像；获取待着色图像中的对象识别结果和已着色图像中的对象识别结果；根据待着色图像中的对象识别结果和已着色图像中的对象识别结果，确定待着色图像和已着色图像的对象相似度；确定待着色图像的特征编码向量和已着色图像的特征编码向量；根据待着色图像的特征编码向量和已着
色图像的特征编码向量，确定待着色图像和已着色图像的第一特征向量相似度；根据待着色图像和已着色图像的对象相似度和第一特征向量相似度，确定待着色图像和已着色图像之间的图像相似度；根据待着色图像和已着色图像之间的图像相似度，从已着色图像中确定目标参考图像，以便根据目标参考图像对待着色图像进行着色处理。
72.通过相关技术为待着色图像确定参考图像时，通常首先通过神经网络分别提取待着色图像与已着色图像的特性编码向量，然后通过特征编码向量确定待着色图像与已着色图像之间的特征向量相似度，最后确定与待着色图像的特征向量相似度最大的已着色图像为目标参考图像。
73.然而，通过相关技术确定的目标参考图像，与待着色图像的相关度不大。
74.图3是根据相关技术示出的一种为待着色图像确定的目标参考图像。
75.如图3所示，300a和300b是待着色图像，300c和300d是通过相关技术分别为300a和300b确定的目标参考图像。
76.很明显，300a与300c内容相关度不大，300a中存在建筑而图300c中并不存在建筑，300a中的人物对象为两个，而300c中的人物对象为3个。300d作为300b的目标参考图像，也存在上述问题，不再赘述。
77.因此，通过相关技术确定的目标参考图像与待着色图像的内容相关度无法得到保证，那么通过该目标参考图像对待着色图像进行上色处理则有可能出现与现实不符的现象，例如可能将人脸上色为蓝色、将天空上色为黑色等。
78.因此，本实施提供了一种为待着色图像确定目标参考图像的图像处理方法，以提高目标参考图像与待着色图像的内容相关度。
79.图4是根据一示例性实施例示出的一种图像处理方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本公开并不限定于此。
80.参照图4，本公开实施例提供的图像处理方法可以包括以下步骤。
81.步骤s41，获取待着色图像和已着色图像。
82.待着色图像可以是需要进行着色处理的图像，该待着色图像可以是黑白图像，也可以是灰度图像，甚至可以是彩色图像，本公开对此不做限制。
83.已着色图像可以是已经带有色彩信息的图像，该已着色图像可以是lab(一种色彩模式)模式下的彩色图像，也可以是rgb(光学三原色)模式下的彩色图像，还可以是cmyk(cyan、magenta、yellow、black，青色、洋红色、黄色、黑色)模式下的彩色图像等，本公开对此不做限制。
84.需要注意的是，该待着色图像可以是一个，也可以是多个，已着色图像可以是一个，也可以是多个，本公开对此不做限制。
85.步骤s42，获取待着色图像中的对象识别结果和已着色图像中的对象识别结果。
86.在一些实施例中，待着色图像中的对象识别结果可以包括在待着色图像中识别出来的目标对象、目标对象的类别信息、该目标对象在待着色图像中的位置信息和数量信息等任意可以从待着色图像中识别出的与目标对象相关的信息。
87.其中，目标对象可以是人、动物、花草、天空、建筑等任意类别的可识别对象，该目
标对象可以是一类也可以是多类，该目标对象的具体信息可以根据需要进行调整设定，本公开对此均不做限定。
88.步骤s43，根据待着色图像中的对象识别结果和已着色图像中的对象识别结果，确定待着色图像和已着色图像的对象相似度。
89.在一些实施例中，待着色图像和已着色图像的对象相似度可以指的是待着色图像和已着色图像中包括的目标对象的相似度，该对象相似度可以包括目标对象的数量相似度、种类相似度、位置相似度或者形状相似度等中的任意一种或者多种，本公开对此不做限制。
90.若已着色图像为多个，例如为m个，那么待着色图像与多个已着色图像之间的对象相似度可以用一个如图5所示的矩阵500s表示，其中s
1j
代表第一个待着色图像与第j个已着色图像之间的对象相似度。其中m为大于或者等于1的整数，j为大于或者等于1、且小于或者等于m的整数。
91.步骤s44，确定待着色图像的特征编码向量和已着色图像的特征编码向量。
92.在一些实施例中，可以通过目标神经网络对待着色图像和已着色图像进行特征提取处理，以获取一个可以描述待着色图像全图的特征编码向量、一个可以描述已着色图像全图的特征编码向量。
93.上述目标神经网络可以是卷积神经网络cnn(convolutional neural networks)、循环神经网络rnn(recurrent neural network)等，本公开对此不做限制。
94.步骤s45，根据待着色图像的特征编码向量和已着色图像的特征编码向量，确定待着色图像和已着色图像的第一特征向量相似度。
95.在一些实施例中，可以确定待着色图像的特征编码向量与已着色图像的特征编码向量之间的特征向量相似度，并将该特征向量相似度作为该第一特征向量相似度。第一特征向量相似度越大，待着色图像与已着色图像的特征相关度越大。
96.其中，可以通过余弦算法计算待着色图像的特征编码向量与已着色图像的特征编码向量之间的相似度。当然，其他计算两个特征向量之间相似度的方法也在本公开的保护范围之内。
97.假设待着色图像的特征编码向量为vi,已着色图像的特征编码向量为vj，那么可以通过公式vi·
vj确定待着色图像的特征编码向量与已着色图像的特征编码向量之间的特征向量相似度，获得数值愈大，待着色图像与已着色图像的宏观相似度愈高，i为大于或者等于1、小于或者等于待着色图像个数的整数。
98.若已着色图像为多个，例如为m个，那么待着色图像与多个已着色图像之间的第一特征向量相似度可以用一个如图5所示的第一特征向量相似度矩阵500g表示，其中g
1j
代表第一个待着色图像与第j个已着色图像之间的特征向量相似度。其中m为大于或者等于1的整数，j为大于或者等于1小于或者等于m的整数。
99.步骤s46，根据待着色图像和已着色图像的对象相似度和第一特征向量相似度，确定待着色图像和已着色图像之间的图像相似度。
100.在一些实施例中，可以将待着色图像和已着色图像的对象相似度与第一特征向量相似度叠加，以作为待着色图像和已着色图像之间的图像相似度，也可以将待着色图像与已着色图像的对象相似度与第一特征向量相似度相乘，以作为待着色图像与已着色图像之
间的图像相似度。
101.那么，根据上述方法确定的图像相似度，不仅通过第一特征向量相似度考虑了待着色图像与已着色图像全图之间的相似度关系，还通过对象相似度考虑了待着色图像与已着色图像中的内容相似情况。
102.若已着色图像为多个，例如为m个，那么待着色图像与多个已着色图像之间的图像相似度可以用一个如图5所示的矩阵500b表示，其中b
1j
代表第一个待着色图像与第j个已着色图像之间的图像相似度。其中m为大于或者等于1的整数，j为大于或者等于1小于或者等于m的整数。
103.如图5所示，待着色图像与各个已着色图像之间的图像相似度矩阵500b，可以通过待着色图像与各个已着色图像的对象相似度矩阵500s与待着色图像与各个已着色图像的特征向量相似度矩阵500g进行点乘获得，即500b＝500s
·
500g。
104.步骤s47，根据待着色图像和已着色图像之间的图像相似度，从已着色图像中确定目标参考图像，以便根据目标参考图像对待着色图像进行着色处理。
105.在一些实施例中，可以根据待着色图像与各个已着色图像的图像相似度，从各个已着色图像中确定目标参考图像，例如可以在上述图像相似度矩阵500b中确定图像相似度最大值对应的已着色图像作为待着色图像的目标参考图像。
106.可以理解的是，本实施例仅以一个待着色图像为例对目标参考图像的确定方式进行说明，本领域技术人员可以参考本实施例提供的方案为多个待着色图像进行目标参考图像的确定。
107.例如，若待着色图像为两个，则可以将待着色图像与各个已着色图像的对象相似度矩阵500s、待着色图像与各个已着色图像的特征向量相似度矩阵500h由现在的一维变为2维，将对象相似度矩阵500s和特征向量相似度矩阵500h点乘之后，就可以确定两个待着色图像分别与各个已着色图像的图像相似度，进而就可以分别为该两个待着色图像分别确定目标参考图像了。
108.本实施例提供的技术方案，在为待着色图像确定目标参考图像时，一方面通过待着色图像与已着色图像的特征编码向量保证了目标参考图像与待着色图像整体相似；另一方面通过待着色图像与已着色图像之间的对象相似度保证了目标参考图像中的对象与待着色图像中的对象信息相似，即保证了目标参考图像与待着色图像中的内容细节(例如对象数量、对象位置等)相似。总之，本实施例提供的技术方案技能保证目标参考图像与待着色图像宏观全图的相似，也能保证目标参考图像与待着色图像中的对象细节相似，极大地提高了目标参考图像与待着色图像之间的相关度，以便在根据目标参考图像对待着色图像进行上色时，提高待着色图像的上色效果。
109.在一些实施例中，当确定了待着色图像的目标参考图像后，可以通过以下方法完成对待着色图像的着色处理。
110.将目标参考图像与待着色图像进行图像对齐处理，以获得图像对齐结果。其中，对齐处理可以将各个对象的关键点进行对齐。例如，若目标参考图像与待着色图像均存在有对应关系的两个对象，通过图像对齐处理，可以将目标参考图像中对象的眼眼睛、鼻子、手、脚等部位与待着色图像中对象的眼睛、鼻子、手、脚等部位一一进行对齐。
111.结合图像对齐结果，可以通过目标参考图像对待着色图像进行着色处理，以获得
初始着色图像。
112.可以理解的是，上述获得的初始着色图像可能存在对象边缘模糊等问题。
113.因此，在获得初始着色图像后，可以通过训练完成的着色修正模型对初始着色图像进行图像修正，以完成对待着色图像的着色处理。
114.其中，在通过训练完成的着色修正模型对初始着色图像进行图像修正，以完成对待着色图像的着色处理之前可以通过以下步骤完成着色修正模型的训练：获取目标彩色图像样本；对目标彩色图像样本进行对象边缘模糊处理，以获得边缘模糊图像样本；将边缘模糊图像样本输入至目标神经网络，以获得边缘清晰样本；确定边缘清晰样本与目标彩色图像样本之间的目标损失值；通过目标损失值对目标神经网络的参数进行调整，以将目标神经网络训练为着色修正模型。上述着色方式仅是一种举例说明，本公开对具体的着色方式不做限定
115.需要注意的是，执行本实施例技术方案的服务器可以是普通物理服务器，也可以是云服务器。也就是说，可以通过云技术中的云计算实现本公开提供的实施例。
116.其中，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
117.云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
118.云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
119.作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
120.按照逻辑功能划分,在iaas(infrastructure as a service，基础设施即服务)层上可以部署paas(platform as a service,平台即服务)层，paas层之上再部署saas(software as a service,软件即服务)层，也可以直接将saas部署在iaas上。paas为软件运行的平台，如数据库、web容器等。saas为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，saas和paas相对于iaas是上层。
121.图6是根据一示例性实施例示出的一种对象相似度确定方法。
122.其中，待着色图像中的对象识别结果可以包括从待着色图像中识别出来的第一对象信息，已着色图像中的对象识别结果可以包括从已着色图像中识别出来的第二对象信息。
123.其中，第一对象信息可以包括待着色图像中目标对象的数量信息，第二对象信息
可以包括已着色图像中目标对象的数量信息。
124.其中，目标对象可以为任意指定的对象，例如该目标对象可以为人、狗、猫、房屋等任意可识别对象。另外，目标对象可以为一类对象，也可以为多类对象，例如该目标对象可以只包括人，也可以既包括人又包括狗，本公开对此不做限制。
125.在一些实施例中，可以通过目标对象识别网络对待着色图像或已着色图像进行图像识别，以从待着色图像或者已着色图像中确定该第一对象信息或第二对象信息。例如可以用人体评估网络(如openpose(人体姿态识别网络))评估待着色图像或者已着色图像中的人物数量。
126.参考图6，上述对象相似度确定包括以下步骤。
127.在步骤s61中，根据第一对象信息确定待着色图像中目标对象的第一数量信息。
128.在步骤s62中，根据第二对象信息确定已着色图像中目标对象的第二数量信息。
129.在步骤s63中，根据第一数量信息和第二数量信息，确定待着色图像和已着色图像中目标对象的数量和与数量差。
130.在一些实施例中，可以根据公式(w
1-wj)确定待着色图像中目标对象个数w1与第j个已着色图像中目标对象个数wj的数量差。其中，j为大于或者等于1，小于或者等于m的整数，m为已着色图像的个数。
131.在一些实施例中，可以根据公式(w1 wj)确定待着色图像中目标对象个数w1与第j个已着色图像中目标对象个数wj的数量和。
132.在步骤s64中，根据待着色图像和已着色图像中目标对象的数量和与数量差，确定待着色图像与已着色图像的对象数量相似度。
133.在一些实施例中，可以根据h
1j
＝(w1 wj)/(1 abs(w
1-wj))来确定待着色图像与第j个已着色图像之间的对象数量相似度h
1j
。h
1j
越大，待着色图像与已着色图像的对象数量相似度越大。其中,abs()表示对数值取绝对值。
134.在步骤s65中，根据待着色图像与已着色图像的对象数量相似度，确定待着色图像和已着色图像的对象相似度。
135.在一些实施例中，可以将该待着色图像与已着色图像之间的对象数量相似度直接作为待着色图像与已着色图像之间的图像相似度。即将待着色图像与已着色图像的对象数量相似度矩阵直接作为待着色图像与已着色图像之间的对象相似度矩阵。
136.图7示出了根据本实施例提供的图像处理方法为待着色图像确定的目标参考图像。
137.如图7所示，700a和700b均为待着色图像，700c为通过本实施例提供的方法为700a确定的目标参考图像，700d为通过本实施例提供的方法为700b确定的目标参考图像。
138.通过图7可以发现，通过本实施例提供的方法为待着色图像确定的目标参考图像可以使得目标参考图像中的目标对象(该目标对象可例如为人)个数与待着色图像中目标对象的个数相同或相近。
139.因此，通过本实施例提供的技术方案，既能通过图像的特征向量相似度保证目标参考图像与待着色图像整体相似，又能保证目标参考图像与待着色图像中的目标对象数量一致，以使得通过目标参考图像对待着色图像进行上色时，待着色图像中的目标对象在目标参考图像中均存在对应的对象，进而可以保证各个待着色图像中各个目标对象的上色效
果。
140.图8是根据一示例性实施例示出的一种对对象识别结果确定方法。
141.参考图像8，上述对象识别结果确定可以包括以下过程。
142.在步骤s81中，对待着色图像和已着色图像分别进行对象识别处理，以确定待着色图像中包括的第一对象信息和已着色图像中包括的第二对象信息。
143.其中，第一对象信息可以包括待着色图像中存在的目标对象以及各个目标对象在待着色图像中的位置信息。第二对象信息可以包括已着色图像中存在的目标对象以及各个目标对象在已着色图像中的位置信息。
144.可以理解是，一个待着色图像或者已着色图像中可能会存在多个目标对象，每个目标对象又可以隶属于不同的对象类别，例如一个待着色图像中可能会存在两只猫、一只狗、三棵树等不同类别的目标对象。
145.在一些实施例中，可以通过训练完成的对象识别神经网络对待着色图像进行识别，以从待着色图像或者已着色图像中识别出各个目标对象以及各个目标对象的位置信息。
146.在训练上述对象识别神经网络时，可以采用deeplab(一种图像语音分割学习网络)进行分类训练，在进行分类训练时可以采用coco(common objects in context，一种用来进行图像识别的数据集)库的分类标准，为了简化分类过程，也可以将coco库中的182个类综合成18个大类进行训练(即通过训练完成的对象识别网络从图像中识别写出来的目标对象可能存在18个大类)。
147.在步骤s82中，根据第一对象信息和第二对象信息，确定待着色图像中各个像素所属的对象类别和已着色图像中各个像素所属的对象类别。
148.在一些实施中，当在待着色图像或者已着色图像中识别出各个目标对象的位置信息后，那么待着色图像或者已着色图像中的各个像素也相当于有了自己的类别标签。
149.假设，在待着色图像中识别出a、b、c等三种不同对象类别的目标对象，那么待着色图像中的某一个像素要么属于a对象类别、要么属于b对象类别、要么属于c对象类别，当然还可能属于图像背景类别。
150.已着色图像中各个像素的像素所属对象类别的确定与上述过程类似，本实施例不再赘述。
151.在步骤s83中，将待着色图像切分为m个第一区域，并将已着色图像切分为m个第二区域，m个第一区域与m个第二区域一一对应，m为大于或者等于1的整数。
152.在一些实施例中，可以按照一定的切分方法对待着色图像或者已着色图像切分为m个区域。本实施例对上述切分方法以及切分获得的图像区域分数不做限制，但是要保证待着色图像的切分方法与已着色图像的切分方法一致，以保证待着色图像中的各个图像区域与已着色图像中的图像区域可以一一对应。
153.例如，可以对待着色图像和已着色图像分别进行25(5*5，即假设m＝25)等份切分，以将待着色图像切分为25个第一区域，将已着色图像切分为25个第二区域，其中各个第一区域均有对应的第二区域。例如待着色图像左上角的第一区域可以与已着色图像左上角的第二区域对应，待着色图像右下角的第一区域可以与已着色图像右下角的第二区域对应，以此类推其他对应关系，本实施例不再赘述。
154.在步骤s84中，根据待着色图像中各个像素所属的对象类别确定各个第一区域中各个像素所属的第一对象类别，作为待着色图像中的对象识别结果。
155.在一些实施例中，可以统计各个第一区域中各个像素所属的第一对象类别c1
ki
作为待着色图像的对象识别结果,其中，c1
ki
纪录了这个区域内含有的对象类别的标签，i为大于或者等于1、小于或者等于待着色图像个数的整数，k为大于或者等于1、小于或者等于第i个待着色图像中第一区域个数的整数。例如某第一区域中存在隶属于a、b、c三个对象类别的像素，那么该第一区域的第一对象类别c1
ki
包括a、b、c三个对象类别。
156.在步骤s85中，根据已着色图像中各个像素所属的对象类别确定各个第二区域中各个像素所属的第二对象类别，作为已着色图像中的对象识别结果。
157.在一些实施例中，可以统计各个第二区域中各个像素所属的第二对象类别c2
kj
作为待着色图像的对象识别结果，c2
kj
纪录了这个区域内含有的对象类别的标签j为大于或者等于1、小于或者等于待着色图像个数的整数，k为大于或者等于1、小于或者等于第j个待着色图像中第一区域个数的整数。例如某第二区域中存在隶属于a、d、e三个对象类别的像素，那么该第二区域的第二对象类别包括a、d、e三个对象类别。
158.在一些实施例中，在获得各个第一区域中各个像素所属的第一对象类别和各个第二区域中各个像素所属的第二对象类别后，可以根据各个第一区域中的第一对象类别和各个第二区域中的第二对象类别确定待着色图像与已着色图像中的对象识别结果。
159.在一些实施例中，可以根据各个第一区域中的第一对象类别和各个第二区域中的第二对象类别统计各个第一区域与对应的第二区域之间的像素标签类别相似度，然后根据各个第一区域对应的像素标签类别相似度确定待着色图像与已着色图像之间的对象相似度。例如可以将各个第一区域与其对应的第二区域的像素标签类别相似度进行均值求取(或者和求取)等，确定待着色图像与已着色图像之间的对象相似度。
160.其中，第一区域与其对应的第二区域的像素标签类别(即该像素对应的对象类别标签)相似度可以通过以下方法确定：统计第一区域与第二区域标签相同的像素个数；通过第一区域与第二区域标签相同的像素个数与第一区域(或第二区域)像素总个数求比值，并将该比值作为第一区域与其对应的第二区域的像素标签类别相似度。
161.图9是根据一示例性实施例示出的一种对象相似度确定方法。
162.参考图像9，上述对象相似度确定可以包括以下过程。
163.在步骤s91中，根据各个第一区域中各个像素所属的第一对象类别和各个第二区域中各个像素所属的第二对象类别，确定各个第一区域与对应的第二区域之间的对象类别相似度。
164.在一些实施例中，已知各个第一区域中各个像素所属的第一对象类别，那么就可以统计各个第一区域中包括的对象类别个数len(c1
ki
)，k为大于或者等于1、小于等于第i个待着色图像中第一区域个数的整数。
165.同理，已知各个第二区域中各个像素所属的第二对象类别，那么就可以统计各个第二区域中包括的对象类别个数len(c2
kj
)，k为大于或者等于1、小于等于第j个已着色图像中第二区域个数的整数。
166.一般来说，由于第i个待着色图像的切分方法与第j个待着色图像的切分方法相同，所以第i个待着色图像的第一区域与第j个待着色图像的第二区域是存在一一对应关系
的，所以第i个待着色图像的第k个第一区域与第j个已着色图像的第k个第二区域是对应的。
167.在一些实施例中，假设第一对象类别包括第一目标对象类别，第二对象类别包括第二目标对象类别，第i个待着色图像的第一区域包括第一目标区域，第j个已着色图像第二区域包括第二目标区域，第一目标区域与第二目标区域对应，第一目标区域中的像素属于第一目标对象类别c1
ki
，第二目标区域中的像素属于第二目标对象类别c2
kj
，k为第一目标区域(或者第二目标区域)所在区域的标号，k为大于或者等于1小于或者等于待着色图像的个数的整数。
168.那么可以通过以下方法确定第一目标区域与第二目标区域的对象类别相似度：确定第一目标对象类别与第二目标对象类别的相同对象类别个数；确定第一目标对象类别与第二目标对象类别的对象类别总个数；根据第一目标对象类别与第二目标对象类别的相同对象类别个数、第一目标对象类别与第二目标对象类别的对象类别总个数确定第一目标区域与第二目标区域的对象类别相似度。
169.具体来说，可以通过以下方法确定第一目标区域与第二目标区域的对象类别相似度：确定第一目标对象类别与第二目标对象类别的对象类别总个数len(c1
ki
)和len(c2
kj
)；根据第一目标对象类别len(c1
ki
)与第二目标对象类别len(c2
kj
)的相同对象类别个数len(c1
ki
∩c2
kj
)、第一目标对象类别与第二目标对象类别的对象类别总个数(len(c1
ki
) len(c2
kj
))确定第一目标区域与第二目标区域的对象类别相似度。len()为求取集合内数据总个数的函数。
170.其中，第一目标区域与第二目标区域的对象类别相似度l(i,j,k)可以通过公式(1)计算获得。
171.l(i,j,k)＝len(c1
ki
∩c2
kj
)/(len(c1
ki
) len(c2
kj
))
ꢀꢀꢀꢀꢀ
(1)
172.在一些实施例中，可以根据第一目标区域与第二目标区域的对象类别相似度确定方法，确定各个第一区域与对应的第二区域的对象类别相似度l(i,j,k)，k为大于或等于1、且小于或者等于第一区域个数m的整数。
173.在步骤s92中，根据各个第一区域与对应的第二区域之间的对象类别相似度，确定待着色图像与已着色图像的对象种类相似度。
174.在一些实施例中，可以对各个第一区域与对应的第二区域的对象类别相似度求差、求和、求均值等确定待着色图像与已着色图像的对象种类相似度。
175.例如，可以通过公式(2)确定第i个待着色图像与第j个已着色图像的对象种类相似度l(i,j)。
[0176][0177]
其中，m为第i个待着色图像中第一区域的个数或第j个待着色图像中第二区域的个数。
[0178]
在步骤s93中，根据待着色图像和已着色图像的对象种类相似度，确定待着色图像与已着色图像的对象相似度。
[0179]
在一些实施例中，可以将待着色图像与已着色图像的对象种类相似度，直接作为待着色图像与已着色图像的对象相似度。即将待着色图像与已着色图像的对象种类相似度直接作为待着色图像与已着色图像之间的对象相似度矩阵。
[0180]
图10示出了根据本实施例提供的图像处理方法，为待着色图像确定的目标参考图像。
[0181]
其中，1000a和1000b为待着色图像，1000c、1000d分别为1000a和1000b的目标参考图像。
[0182]
通过图10可以发现，本实施提供的技术方案可以保证目标参考图像在与待着色图像第一区域对应的位置处，存在与其第一区域类似的对象。例如，若待着色图像在某个第一区域中存在一个建筑，那么在目标参考图像的同一位置也会存在对应的建筑物。
[0183]
整体来看，通过本实施例提供的技术方案，既能通过图像的特征向量相似度保证目标参考图像与待着色图像整体相似，又能保证目标参考图像与待着色图像中的对象位置一致性，即保证了目标参考图像与待着色图像在对应位置上的对象种类和位置的一致性。比如待着色图像的上方是天空，那么目标参考图像的上方也应是天空。
[0184]
图11是根据一示例性实施例示出的一种对象相似度确定方法。
[0185]
在一些实施例中，从待着色图像中识别出来的第一对象信息可以包括待着色图像中包括的目标对象的第一数量信息，从已着色图像中识别处理的第二对象信息可以包括待着色图像中包括的目标对象的第二数量信息。
[0186]
参见图11，上述对象相似度确定可以包括以下步骤。
[0187]
在步骤s111中，根据各个第一区域中各个像素所属的第一对象类别和各个第二区域中各个像素所属的第二对象类别，确定各个第一区域与对应的第二区域之间的对象类别相似度。
[0188]
在步骤s112中，根据各个第一区域与对应的第二区域之间的对象类别相似度，确定待着色图像与已着色图像的对象种类相似度。
[0189]
在步骤s113中，根据第一数量信息和第二数量信息，确定待着色图像和已着色图像中目标对象的数量和与数量差。
[0190]
在步骤s114中，根据待着色图像和已着色图像中目标对象的数量和与数量差，确定待着色图像与已着色图像的对象数量相似度。
[0191]
在步骤s115中，根据待着色图像与已着色图像的对象数量相似度和对象种类相似度，确定待着色图像与已着色图像的对象相似度。
[0192]
在一些实施例中，可以将待着色图像与已着色图像的对象种类相似度、对象数量相似度相乘或者相加，以确定待着色图像与已着色图像的对象相似度。例如，可以将待着色图像与已着色图像的对象种类相似度矩阵与对象数量相似度矩阵点乘或者相加获得待着色图像与已着色图像之间的对象相似度矩阵等，本公开对此不做限制。
[0193]
图12示出了根据本实施例提供的图像处理方法，为待着色图像确定的目标参考图像。
[0194]
其中，1200a和1200b为待着色图像，1200c、1200d分别为1200a、1200b的目标参考图像。
[0195]
通过图12可以发现，本实施提供的技术方案既能通过图像的特征向量相似度保证目标参考图像与待着色图像整体相似；又能保证目标参考图像与待着色图像中的目标对象数量一致，以使得通过目标参考图像对待着色图像进行上色时，可以保证目标对象的上色效果；还可以通过对象种类相似度保证目标参考图像在与第一区域对应的位置处，存在与
第一区域类似的对象种类。例如，若待着色图像在某个第一区域中存在一个建筑，那么在目标参考图像的同一位置也会存在对应的建筑物。
[0196]
因此，通过本实施例提供的技术方案，既能通过图像的特征向量相似度保证目标参考图像与待着色图像整体相似，又能保证目标参考图像与待着色图像中的目标对象数量一致；还可以保证目标参考图像与目标对象中的对象位置一致性，即保证了目标参考图像与待着色图像在对应位置上的对象种类的一致性。比如待着色图像的上方是天空，那么目标参考图像的上方也应是天空。
[0197]
图13是根据一示例性实施例示出的目标参考图像确定方法。
[0198]
在一些实施例中，待着色图像包括第一待着色图像和第二待着色图像，其中第一待着色图像与已着色图像之间的图像相似度可以为第一图像相似度b
1j
，第二待着色图像与已着色图像之间的图像相似度可以为第二图像相似度b
2j
其中，j为大于或等于1、且小于或者等于已着色图像个数的整数。
[0199]
在相关技术中，如果要为第一待着色图像和第二待着色图像上色，则需要分别为第一待着色图像和第二待着色图像确定参考图像。如图3所示，300c和300d是通过相关技术为第一待着色图像300a和第二待着色图像300d确定的目标参考图像。
[0200]
观察图3可以发现，300a和300b仅存在微小的差别，如果为300a和300b进行上色处理，最佳处理效果是300a和300b的上色效果类似，色相相同。
[0201]
但是，如果通过现有技术确定的目标参考图像为300a和300b上色，则可能会为300a和300b分别加上不同的色彩，例如为300a中左侧的人物的头部颜色上蓝色，为300b的左侧人物头部颜色上黑色。
[0202]
那么很明显，通过相关技术为300a和300b确定的目标参考图对待着色图像300a和300b的上色相关不佳。
[0203]
因此，本实施例提供的一种目标参考图像确定方法，可以保证第一待着色图像与第二待着色图像的上色效果类似，色相也类似。
[0204]
参考图像13，上述目标参考图像确定可以包括以下过程。
[0205]
在步骤s131中，分别获取第一待着色图像和第二待着色图像的特征编码向量。
[0206]
在一些实施例中，可以通过一些目标神经网络对第一待着色图像和第二待着色图像进行特征提取处理，以获取一个可以描述第一待着色图像全图的特征编码向量、一个可以描述第二待着色图像全图的特征编码向量。
[0207]
上述目标神经网络可以是卷积神经网络cnn、时序神经网络rnn等，本公开对此不做限制。
[0208]
在步骤s132中，根据第一待着色图像与第二待着色图像的特征编码向量，确定第一待着色图像与第二待着色图像之间的第二特征向量相似度。
[0209]
在一些实施例中，可以确定第一待着色图像的特征编码向量与第二色图像的特征编码向量之间的相似度作为该第二特征向量相似度。
[0210]
其中，可以通过余弦算法计算第一待着色图像的特征编码向量与第二待着色图像的特征编码向量之间的相似度。当然，其他计算两个特征向量之间相似度的方法也在本公开的保护范围之内。
[0211]
在一些实施例中，在获得第一待着色图像与第二待着色图像的特征向量相似度之
后，可以根据第一图像相似度、第二图像相似度以及第二特征向量相似度，从已着色图像中确定第一待着色图像的目标参考图像。
[0212]
在一些实施例中，可以采用步骤s133～步骤s135所示方法，以便根据第一图像相似度、第二图像相似度以及第二特征向量相似度，从已着色图像中确定第一待着色图像的目标参考图像。
[0213]
在步骤s133中，根据第二图像相似度和第二特征向量相似度确定第二待着色图像对第一待着色图像的影响项。
[0214]
在一些实施例中，可以将第二待着色图像与第一待着色图像的第二特征向量相似度与第二待着色图像与已着色图像的第二图像相似度相乘或者相加，以确定第二待着色图像相对于第一待着色图像的影响项。
[0215]
在步骤s134中，根据第二待着色图像对第一待着色图像的影响项、第一图像相似度，确定第一待着色图像与已着色图像的关联度。
[0216]
在一些实施例中，可以将第二待着色图像对第一待着色图像的影响项与第一待着色图像与已着色图像的第一图像相似度相加，以确定第一待着色图像与已着色图像的关联度。
[0217]
在步骤s135中，根据第一待着色图像与已着色图像的关联度，从已着色图像中确定第一待着色图像的目标参考图像。
[0218]
在一些实施例中，可以通过本实施例方法确定第一待着色图像与多个已着色图像的关联度，然后从多个关联度中确定最大关联度对应的已着色图像为第一待着色图像的目标参考图像。
[0219]
例如，可以通过如图14所示方法，通过矩阵乘法实现确定第一待着色图像或第二待着色图像与多个已着色图像的关联度。
[0220]
即，通过公式1400f＝1400m1400b来确定第一待着色图像或第二待着色图像与多个已着色图像的关联度。
[0221]
其中，图14左侧的图像相似度矩阵1400b的第一行代表第一待着色图像与各个已着色图像的图像相似度，第二行代表第二待着色图像与各个已着色图像的图像相似度。图14右侧的第二特征向量相似度矩阵1400m代表中的m
11
、m
12
分别代表第一待着色图像的特征向量第一待着色图像的特征向量的特征向量相似度(一般为1)、第一待着色图像的特征向量第二待着色图像的特征向量的特征向量相似度。
[0222]
图14下侧的图像关联度矩阵中的第一行代表第一待着色图像与各个已着色图像的关联度，第二行代表第二待着色图像与各个已着色图像的关联度。
[0223]
其中，第一待着色图像与第一个已着色图像的关联度的f
11
＝m
11
*b
11
m
21
*b
21
。由此可见第一待着色图像与第一个已着色图像的关联度不仅会考虑第一待着色图像与第一个已着色图像之间的图像相似度m
11
*b
11
，还会结合考虑第二待着色图像与已着色图像的图像相似度b
21
对第一待着色图像与已着色图像的关联度的影响。根据f
11
＝m
11
*b
11
m
21
*b
21
公式可以发现，若第一待着色图像与第二待着色图像之间的特征向量相似度越大，那么第二待着色图像与第一个已着色图像的图像相似度对第一待着色图像与第一个已着色图像的图像关联度的影响越大。
[0224]
可以理解的是，图13、图14所示实施例仅以两个待着色图像为例进行解释说明，本
领域技术人员可以将本实施例提供的技术方案应用到多个待着色图像的着色过程中。
[0225]
可以理解的是，该第一待着色图像与已着色图像的关联度，不仅考虑了第一待着色图像与已着色图像中的图像特征(例如图像特征向量的特征、图像中包括的种类特征等)，还考虑了第二待着色图像对第一待着色图像的相似性影响。
[0226]
在一些实施例中，当通过上述方法确定了待着色图像与各个已着色图像的图像关联度之后，可以将图像关联度最大值对应的已着色图像作为待着色图像的目标参考图像。
[0227]
如图14所示，可以在图像关联度矩阵1400f中的第一行中确定一个图像关联度最大值对应的已着色图像作为第一待着色图像的目标参考图像。假设在图像关联度矩阵1400f的第一行中，f
1m
的值最大，那么f
1m
对应的第m个已着色图像就可以是第一待着色图像的目标参考图像。
[0228]
图15示出了根据本实施例提供的图像处理方法，为待着色图像确定的目标参考图像。
[0229]
其中，1500a和1500b为待着色图像，1500c和1500d分别为1500和1500b的目标参考图像。
[0230]
通过图15可以发现，由于第一待着色图像1500a和第二待着色图像1500b较为相似，那么通过本实施例提供的方案为第一待着色图像图1500a和第二待着色图像1500b确定的目标参考图像1500c和1500d也较为类似，甚至相同。
[0231]
也就是说，那么通过本实施例提供的技术方案，可以为组图中的各个待着色图像确定较为类似的目标参考图像，通过本实施例提供的目标参考图像为组图中的各个待着色图像上色可以保证组图中各个图像的上色效果类似、色相相同，保证了组图中各个图像的着色效果的一致性。
[0232]
图16是根据一示例性实施例示出的另一种图像处理方法。
[0233]
参考图像16，上述图像处理方法，可以包括以下步骤。
[0234]
在步骤s161中，获取第一待着色图像、第二待着色图像和已着色图像。
[0235]
在步骤s162中，获取第一待着色图像与已着色图像之间的第一图像相似度。
[0236]
第一图像相似度可以是第一待着色图像与已着色图像之间的特征向量相似度，也可以是根据第一待着色图像与已着色图像之间的特征向量相似度确定的其它与图像内容相关的相似度，例如可以是根据第一待着色图像与已着色图像之间的对象相似度和特征向量相似度确定的相似度，本公开对此不做限制。
[0237]
可以通过以下方法确定第一待着色图像与已着色图像之间的特征向量相似度：确定第一待着色图像的特征编码向量和已着色图像的特征编码向量；根据第一待着色图像的特征编码向量和已着色图像的特征编码向量，确定第一待着色图像和已着色图像的特征向量相似度。
[0238]
可以通过以下方法确定第一待着色图像与已着色图像之间的对象相似度：从第一待着色图像中识别出来第一对象信息，从已着色图像中识别出第二对象信息；根据第一对象信息确定第一待着色图像中目标对象的第一数量信息；根据第二对象信息确定已着色图像中目标对象的第二数量信息；根据第一数量信息和第二数量信息，确定第一待着色图像和已着色图像中目标对象的数量和与数量差；根据第一待着色图像和已着色图像中目标对象的数量和与数量差，确定第一待着色图像与已着色图像的对象数量相似度；根据第一待
着色图像与已着色图像的对象数量相似度，确定第一待着色图像和已着色图像的对象相似度。
[0239]
还可以通过以下方法确定第一待着色图像与已着色图像之间的对象相似度：根据各个第一区域中各个像素所属的第一对象类别和各个第二区域中各个像素所属的第二对象类别，确定各个第一区域与对应的第二区域之间的对象类别相似度；根据各个第一区域与对应的第二区域之间的对象类别相似度，确定第一待着色图像与已着色图像的对象种类相似度；根据第一待着色图像和已着色图像的对象种类相似度，确定第一待着色图像与已着色图像的对象相似度。
[0240]
还可以通过以下方法确定第一待着色图像与已着色图像之间的对象相似度：根据各个第一区域中各个像素所属的第一对象类别和各个第二区域中各个像素所属的第二对象类别，确定各个第一区域与对应的第二区域之间的对象类别相似度；根据各个第一区域与对应的第二区域之间的对象类别相似度，确定第一待着色图像与已着色图像的对象种类相似度；根据第一数量信息和第二数量信息，确定第一待着色图像和已着色图像中目标对象的数量和与数量差；根据第一待着色图像和已着色图像中目标对象的数量和与数量差，确定第一待着色图像与已着色图像的对象数量相似度；根据第一待着色图像与已着色图像的对象数量相似度和对象种类相似度，确定第一待着色图像与已着色图像的对象相似度。
[0241]
在步骤s163中，获取第二待着色图像与已着色图像之间的第二图像相似度。
[0242]
第二图像相似度可以是第二待着色图像与已着色图像之间的特征向量相似度，也可以是根据第二待着色图像与已着色图像之间的特征向量相似度确定的其它与图像内容相关的相似度，例如可以是根据第二待着色图像与已着色图像之间的对象相似度和特征向量相似度确定的相似度，本公开对此不做限制。
[0243]
第二待着色图像与已着色图像之间的对象相似度和特征向量相似度确定方法与第一待着色图像与已着色图像之间的对象相似度和特征向量相似度确定方法类似，本实施例不再赘述。
[0244]
在步骤s164中，分别获取第一待着色图像和第二待着色的特征编码向量。
[0245]
在步骤s165中，根据第一待着色图像、第二待着色的特征编码向量，确定第一待着色图像与第二待着色图像之间的第二特征向量相似度。
[0246]
在步骤s166中，根据第一图像相似度、第二图像相似度以及第二特征向量相似度，从已着色图像中确定第一待着色图像的目标参考图像，以便根据目标参考图像对第一待着色图像进行着色处理。
[0247]
本实施例提供的技术方案，一方面通过待着色图像与已着色图像的特征编码向量保证了目标参考图像与待着色图像整体相似；另一方面通过待着色图像与已着色图像之间的对象相似度保证了目标参考图像中的对象与待着色图像中的对象相似，即使得了目标参考图像与待着色图像中的对象数量、对象位置、对象种类等相似。总之，本实施例提供的技术方案技能保证目标参考图像与待着色图像宏观全图的相似，也能保证目标参考图像与待着色图像中的对象细节相似，极大地提供了目标参考图像与待着色图像之间的相关度。
[0248]
图17是根据一示例性实施例示出的一种图像处理装置的框图。参照图17，本公开实施例提供的图像处理装置1700可以包括：待着色图像获取模块1701、对象识别结果获取模块1702、对象相似度确定模块1703、以及特征编码向量获取1704模块、第一特征相似度确
定模块1705、图像相似度确定模块1706以及目标参考图像确定模块1707。
[0249]
其中，待着色图像获取模块1701可以用于获取待着色图像和已着色图像。对象识别结果获取模块1702可以用于获取待着色图像中的对象识别结果和已着色图像中的对象识别结果。对象相似度确定模块1703可以用于根据待着色图像中的对象识别结果和已着色图像中的对象识别结果，确定待着色图像和已着色图像的对象相似度。特征编码向量获取模块1704可以用于确定待着色图像的特征编码向量和已着色图像的特征编码向量。图像相似度确定模块1705可以用于根据待着色图像的特征编码向量和已着色图像的特征编码向量，确定待着色图像和已着色图像的第一特征向量相似度。图像相似度确定模块1706可以用于根据待着色图像和已着色图像的对象相似度和第一特征向量相似度，确定待着色图像和已着色图像之间的图像相似度。目标参考图像确定模块1707可以用于根据待着色图像和已着色图像之间的图像相似度，从已着色图像中确定目标参考图像，以便根据目标参考图像对待着色图像进行着色处理。
[0250]
在一些实施例中，待着色图像中的对象识别结果包括从待着色图像中识别出来的第一对象信息，已着色图像中的对象识别结果包括从已着色图像中识别出来的第二对象信息。其中，对象相似度确定模块1703可以包括：第一数量信息获取子模块、第二数量信息获取子模块、数量差确定子模块、对象数量相似度确定子模块以及对象相似度确定第一子模块。
[0251]
其中，第一数量信息获取子模块可以用于根据第一对象信息确定待着色图像中目标对象的第一数量信息。第二数量信息获取子模块可以用于根据第二对象信息确定已着色图像中目标对象的第二数量信息。数量差确定子模块可以用于根据第一数量信息和第二数量信息，确定待着色图像和已着色图像中目标对象的数量和与数量差。对象数量相似度确定子模块可以用于根据待着色图像和已着色图像中目标对象的数量和与数量差，确定待着色图像与已着色图像的对象数量相似度。对象相似度确定第一子模块可以用于根据待着色图像与已着色图像的对象数量相似度，确定待着色图像和已着色图像的对象相似度。
[0252]
在一些实施例中，对象识别结果获取1702可以包括：对象信息确定子模块、对象类别确定子模块、图像划分子模块、第一对象类别确定子模块以及第二对象类别确定子模块。
[0253]
其中，对象信息确定子模块可以用于对待着色图像和已着色图像分别进行对象识别处理，以确定待着色图像中包括的第一对象信息和已着色图像中包括的第二对象信息。对象类别确定子模块可以用于根据第一对象信息和第二对象信息，确定待着色图像中各个像素所属的对象类别和已着色图像中各个像素所属的对象类别。图像划分子模块可以用于将待着色图像和已着色图像分别切分为m个第一区域和m个第二区域，m个第一区域与m个第二区域一一对应，m为大于或者等于1的整数。第一对象类别确定子模块可以用于根据待着色图像中各个像素所属的对象类别确定各个第一区域中各个像素所属的第一对象类别，作为待着色图像中的对象识别结果。第二对象类别确定子模块可以用于根据已着色图像中各个像素所属的对象类别确定各个第二区域中各个像素所属的第二对象类别，作为已着色图像中的对象识别结果。
[0254]
在一些实施例中，对象相似度确定模块1703可以包括：对象类别相似度确定子模块、对象种类相似度确定子模块以及对象相似度确定第一子模块。
[0255]
其中，对象类别相似度确定子模块可以用于根据各个第一区域中各个像素所属的
第一对象类别和各个第二区域中各个像素所属的第二对象类别，确定各个第一区域与对应的第二区域之间的对象类别相似度。对象种类相似度确定子模块可以用于根据各个第一区域与对应的第二区域之间的对象类别相似度，确定待着色图像与已着色图像的对象种类相似度。对象相似度确定第一子模块可以用于根据待着色图像和已着色图像的对象种类相似度，确定待着色图像与已着色图像的对象相似度。
[0256]
在一些实施例中，第一区域包括第一目标区域，第二区域包括第二目标区域，第一目标区域与第二目标区域对应，第一目标区域中的像素属于第一目标对象类别，第二目标区域中的像素属于第二目标对象类别。其中，对象类别相似度确定子模块可以包括：相同对象类别个数确定单元、对象类别总个数确定单元和对象类别相似度确定单元。
[0257]
其中，相同对象类别个数确定单元可以用于确定第一目标对象类别与第二目标对象类别的相同对象类别个数。对象类别总个数确定单元可以用于确定第一目标对象类别与第二目标对象类别的对象类别总个数。对象类别相似度确定单元可以用于根据第一目标对象类别与第二目标对象类别的相同对象类别个数、第一目标对象类别与第二目标对象类别的对象类别总个数确定第一目标区域与第二目标区域的对象类别相似度。
[0258]
在一些实施例中，第一对象信息包括待着色图像中包括的目标对象的第一数量信息，第二对象信息包括待着色图像中包括的目标对象的第二数量信息。其中，对象相似度确定第一子模块，包括：数量和确定单元、对象数量相似度确定单元和对象相似度确定单元。
[0259]
其中，数量和确定单元可以用于根据第一数量信息和第二数量信息，确定待着色图像和已着色图像中目标对象的数量和与数量差。对象数量相似度确定单元可以用于根据待着色图像和已着色图像中目标对象的数量和与数量差，确定待着色图像与已着色图像的对象数量相似度。对象相似度确定单元可以用于根据待着色图像与已着色图像的对象数量相似度和对象种类相似度，确定待着色图像与已着色图像的对象相似度。
[0260]
在一些实施例中，待着色图像包括第一待着色图像和第二待着色图像，第一待着色图像与已着色图像之间的图像相似度为第一图像相似度，第二待着色图像与已着色图像之间的图像相似度为第二图像相似度。其中，目标参考图像确定模块1707可以包括：特征编码向量确定子模块、第二特征相似度子模块以及目标参考图像确定子模块。
[0261]
其中，特征编码向量确定子模块可以用于分别获取第一待着色图像和第二待着色图像的特征编码向量。第二特征相似度子模块可以用于根据第一待着色图像与第二待着色图像的特征编码向量，确定第一待着色图像与第二待着色图像之间的第二特征向量相似度。目标参考图像确定子模块可以用于根据第一图像相似度、第二图像相似度以及第二特征向量相似度，从已着色图像中确定第一待着色图像的目标参考图像。
[0262]
在一些实施例中，目标参考图像确定子模块可以包括：影响项确定单元、关联度确定单元以及目标参考图像确定单元。
[0263]
其中，影响项确定单元可以用于根据第二图像相似度和第二特征向量相似度确定第二待着色图像对第一待着色图像的影响项。关联度确定单元可以用于根据第二待着色图像对第一待着色图像的影响项、第一图像相似度，确定第一待着色图像与已着色图像的关联度。目标参考图像确定单元可以用于根据第一待着色图像与已着色图像的关联度，从已着色图像中确定第一待着色图像的目标参考图像。
[0264]
在一些实施例中，目标参考图像确定模块1707可以包括：对齐子模块、初始着色子
模块以及修正子模块。
[0265]
其中，对齐子模块可以用于将目标参考图像与待着色图像进行图像对齐处理，以获得图像对齐结果；初始着色子模块可以用于结合图像对齐结果，通过目标参考图像对待着色图像进行着色处理，以获得初始着色图像；修正子模块可以用于通过训练完成的着色修正模型对初始着色图像进行图像修正，以完成对待着色图像的着色处理。
[0266]
在一些实施例中，目标参考图像确定模块1707还可以包括：图像样本获取子模块、模糊处理子模块、清晰样本确定子模块、损失值确定子模块以及参数调整子模块。
[0267]
其中，图像样本获取子模块可以用于获取目标彩色图像样本；模糊处理子模块可以用于对目标彩色图像样本进行对象边缘模糊处理，以获得边缘模糊图像样本；清晰样本确定子模块可以用于将边缘模糊图像样本输入至目标神经网络，以获得边缘清晰样本；损失值确定子模块可以用于确定边缘清晰样本与目标彩色图像样本之间的目标损失值；参数调整子模块可以用于通过目标损失值对目标神经网络的参数进行调整，以将目标神经网络训练为着色修正模型。
[0268]
由于装置1700的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
[0269]
图18是根据一示例性实施例示出的一种图像处理装置的框图。参照图18，本公开实施例提供了一种图像处理装置，包括：图像获取模块1801、第一图像相似度获取模块1802、第二图像相似度获取模块1803、特征编码向量生成模块1804、第二特征相似度确定模块1805、确定目标参考图像模块1806。
[0270]
其中，图像获取模块1801可以用于获取第一待着色图像、第二待着色图像和已着色图像；第一图像相似度获取模块1802可以用于获取第一待着色图像与已着色图像之间的第一图像相似度；第二图像相似度获取模块1803可以用于获取第二待着色图像与已着色图像之间的第二图像相似度；特征编码向量生成模块1804可以用于分别获取第一待着色图像和第二待着色的特征编码向量；第二特征相似度确定模块1805可以用于根据第一待着色图像、第二待着色的特征编码向量，确定第一待着色图像与第二待着色图像之间的第二特征向量相似度；确定目标参考图像模块1806可以用于根据第一图像相似度、第二图像相似度以及第二特征向量相似度，从已着色图像中确定第一待着色图像的目标参考图像，以便根据目标参考图像对第一待着色图像进行着色处理。
[0271]
由于装置1800的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
[0272]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本公开实施例的方法，例如图4的一个或多个所示的步骤。
[0273]
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
[0274]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0275]
应当理解的是，本公开并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。