图像处理方法、图像处理装置、电子设备和可读存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。


背景技术：

2.在相关技术中，通常采用人像分割算法或者软分割技术(alpha matting)来抠图获得人像区域，然而，通过这些算法获得的人像区域存在空洞和区域分割错误等问题，为了解决这些问题，又得额外增加形态学处理或者连通域处理等后处理优化算法，从而使得获取人像区域的计算量更大、获取速度更慢，并且提高了运行算法的电子设备的功耗。


技术实现要素：

3.本技术的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
4.本技术实施方式的图像处理方法包括：利用初始深度学习网络处理训练人物图像以获得输出人像模板；获取所述输出人像模板的输出人像区域；确定预设人像模板的预设人像区域与所述输出人像区域的重合区域；根据所述重合区域确定所述输出人像区域和所述预设人像区域的整体相似度；根据所述整体相似度确定全局损失；根据所述全局损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
5.本技术实施方式的图像处理装置包括第一处理模块、获取模块、第一确定模块、第二确定模块、第三确定模块和第二处理模块。所述第一处理模块用于利用初始深度学习网络处理训练人物图像以获得输出人像模板。所述获取模块用于获取所述输出人像模板的输出人像区域。所述第一确定模块用于确定预设人像模板的预设人像区域与所述输出人像区域的重合区域。所述第二确定模块用于根据所述重合区域确定所述输出人像区域和所述预设人像区域的整体相似度。所述第三确定模块用于根据所述整体相似度确定全局损失。所述第二处理模块用于根据所述全局损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
6.本技术实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：利用初始深度学习网络处理训练人物图像以获得输出人像模板；获取所述输出人像模板的输出人像区域；确定预设人像模板的预设人像区域与所述输出人像区域的重合区域；根据所述重合区域确定所述输出人像区域和所述预设人像区域的整体相似度；根据所述整体相似度确定全局损失；根据所述全局损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
7.本技术实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：利用初始深度学习网络处理训练人物图像以获得输出人像模板；获取所述输出人像模板的输出人像区域；确定预设人像模板的预设人像区域与所述输出人像区域的重合区域；根据所述重合区域确定所述输出人像区域和所述预设人像区域的整体相
似度；根据所述整体相似度确定全局损失；根据所述全局损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
8.本技术实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质中，预设人像区域与输出人像区域的重合区域能够从整体、从全局的角度反应预设人像区域与输出人像区域的整体相似度，从而使得根据整体相似度确定的全局损失更加准确。由于调整深度学习网络是根据全局损失调整得到的，因此利用调整深度学习网络处理图像后得到的输出人像模板的输出人像区域更加准确，能够减少输出人像区域中存在的空洞、区域分割错误的问题，因此，不需要再额外采用其他的后处理优化算法，从而使得获取人像区域的计算量更小、获取速度更快。
9.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
10.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
11.图1是本技术某些实施方式的图像处理方法的流程示意图。
12.图2是本技术某些实施方式的图像处理装置的示意图。
13.图3是本技术某些实施方式的电子设备的示意图。
14.图4是本技术某些实施方式的图像处理方法的流程示意图。
15.图5是本技术某些实施方式的图像处理装置的第二确定模块的示意图。
16.图6是本技术某些实施方式的图像处理方法的流程示意图。
17.图7是本技术某些实施方式的图像处理装置的第二确定模块的示意图。
18.图8是本技术某些实施方式的图像处理方法的流程示意图。
19.图9是本技术某些实施方式的图像处理装置的第一处理模块的示意图。
20.图10是本技术某些实施方式的图像处理方法的场景示意图。
21.图11是本技术某些实施方式的图像处理方法的流程示意图。
22.图12是本技术某些实施方式的图像处理装置的第一处理模块的第三处理单元的示意图。
23.图13是本技术某些实施方式的深度学习网络的工作原理示意图。
24.图14和图15是本技术某些实施方式的图像处理方法的流程示意图。
25.图16是本技术某些实施方式的图像处理装置的示意图。
26.图17是本技术某些实施方式的图像处理方法的流程示意图。
27.图18是本技术某些实施方式的图像处理装置的示意图。
28.图19是本技术某些实施方式的图像处理方法的流程示意图。
29.图20是本技术某些实施方式的图像处理装置的示意图。
30.图21是本技术某些实施方式的图像处理方法的场景示意图。
31.图22是本技术某些实施方式的图像处理方法的人像分割效果示意图。
32.图23是本技术某些实施方式的计算机可读存储介质与电子设备的连接示意图。
具体实施方式
33.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
34.请参阅图1，本技术实施方式的图像处理方法包括：
35.012：利用初始深度学习网络处理训练人物图像以获得输出人像模板；
36.014：获取输出人像模板的输出人像区域；
37.016：确定预设人像模板的预设人像区域与输出人像区域的重合区域；
38.018：根据重合区域确定输出人像区域和预设人像区域的整体相似度；
39.022：根据整体相似度确定全局损失；
40.024：根据全局损失对初始深度学习网络进行调整以得到调整深度学习网络。
41.请参阅图2，本技术实施方式的图像处理装置100包括第一处理模块12、获取模块14、第一确定模块16、第二确定模块18、第三确定模块22和第二处理模块24。本技术实施方式的图像处理方法可以由本技术实施方式的图像处理装置100实现，其中，步骤012可以由第一处理模块12实现，步骤014可以由获取模块14实现，步骤016可以由第一确定模块16实现，步骤018可以由第二确定模块18实现，步骤022可以由第三确定模块22实现，步骤024可以由第二处理模块24实现。也即是说，第一处理模块12用于利用初始深度学习网络处理训练人物图像以获得输出人像模板。获取模块14用于获取输出人像模板的输出人像区域。第一确定模块16用于确定预设人像模板的预设人像区域与输出人像区域的重合区域。第二确定模块18用于根据重合区域确定输出人像区域和预设人像区域的整体相似度。第三确定模块22用于根据整体相似度确定全局损失。第二处理模块24用于根据全局损失对初始深度学习网络进行调整以得到调整深度学习网络。
42.请参阅图3，本技术实施方式的电子设备1000包括壳体200和处理器300，处理器300安装在壳体200上，本技术实施方式的图像处理方法可以由本技术实施方式的电子设备1000实现。其中，步骤012、步骤014、步骤016、步骤018、步骤022和步骤024均可以由处理器300实现，也即是说，处理器300可用于：利用初始深度学习网络处理训练人物图像以获得输出人像模板；获取输出人像模板的输出人像区域；确定预设人像模板的预设人像区域与输出人像区域的重合区域；根据重合区域确定输出人像区域和预设人像区域的整体相似度；根据整体相似度确定全局损失；根据全局损失对初始深度学习网络进行调整以得到调整深度学习网络。
43.本技术实施方式的电子设备1000可以包括手机、电脑等。在一个实施例中，本技术实施方式的图像处理方法中对初始深度学习网络进行调整的步骤可以由电脑完成，然后再将调整后的调整深度学习网络部署到手机中。当然，本技术实施方式的图像处理方法也可以由电脑或手机等独自完成，在此不做具体限定。
44.在相关技术中，通常采用人像分割算法或者软分割技术(alpha matting)来抠图获得人像区域，然而，通过这些算法获得的人像区域存在空洞和区域分割错误等问题，为了解决这些问题，又得额外增加形态学处理或者连通域处理等后处理优化算法。形态学处理可以用于去除空洞，例如包括膨胀操作和腐蚀操作。膨胀操作具体可以为求局部最大值的操作，腐蚀操作具体可以为求局部最小值的操作，膨胀操作和腐蚀操作能够通过图像与卷
积核进行卷积获得，膨胀和腐蚀组合的开闭形态学运算可以去除空洞。连通域处理可以用于去除错误的分割区域，连通域处理通过统计人像区域中存在的连通域数量和大小，从而去除一些错误分割区域。形态学处理或者连通域处理等后处理优化算法的增加，会使得获取人像区域的计算量更大、获取速度更慢，并且提高了运行算法的电子设备的功耗。
45.本技术实施方式的图像处理方法、图像处理装置100、电子设备1000中，预设人像区域与输出人像区域的重合区域不用去在意每个像素点的偏差，能够从整体、从全局的角度反应预设人像区域与输出人像区域的整体相似度，从而使得根据整体相似度确定的全局损失更加准确。由于调整深度学习网络是根据全局损失调整得到的，因此利用调整深度学习网络处理图像后得到的输出人像模板的输出人像区域更加准确，能够减少输出人像区域中存在的空洞、区域分割错误的问题，因此，不需要再额外采用其他的后处理优化算法，从而使得获取人像区域的计算量更小、获取速度更快。
46.本技术中的训练人物图像可以是从训练集中获取的任意一张图像，图像的类型包括但不限于raw图像、yuv图像、rgb图像、深度图像等。
47.本技术实施方式的输出人像模板的像素点与训练人物图像的像素点是相对应的。其中，输出人像模板的像素点与训练人物图像的像素点是相对应的，具体可以是指输出人像模板的像素点与训练人物图像的像素点是一一对应地，也可以是指输出人像模板的像素点与训练人物图像的像素点之间存在预设比例的对应性(例如输出人像模板的像素点与训练人物图像的部分像素点相对应)。输出人像模板的每个像素点的像素值可以用于表征训练人物图像对应的像素点是人像的概率。例如输出人像模板的一个像素点的像素值为0.2，则说明训练人脸图像对应的像素点是人像的概率为20％；又例如输出人像模板的另一个像素点的像素值为0.8，则说明训练人脸图像对应的像素点是人像的概率为80％。本技术实施方式中，获取输出人像模板的输出人像区域时，可以将输出人像模板的每个像素点的像素值与预设像素值进行比较，根据比较结果将每个像素点划分为不同区域并进行二值化处理，具体地，若输出人像模板的像素点的像素值大于预设像素值，则将该像素点划分为输出人像区域，并将输出人像区域的像素值全部替换为1；若输出人像模板的像素点的像素值小于预设像素值，则将该像素点划分为输出非人像区域，并将输出非人像区域的像素值全部替换为0。其中，预设像素值例如可以为0.5。
48.预设人像模板的像素点与训练人物图像的像素点是相对应的。其中，预设人像模板的像素点与训练人物图像的像素点是相对应的，具体可以是指预设人像模板的像素点与训练人物图像的像素点是一一对应地，也可以是指预设人像模板的像素点与训练人物图像的像素点之间存在预设比例的对应性(例如预设人像模板的像素点与训练人物图像的部分像素点相对应)。预设人像模板是训练人脸图像的准确的人像模板，预设人像模板是预先标定好的。预设人像模板的像素点的像素值通常只有两个取值，在预设人像模板的像素点的像素值为0时，可将该像素点划分为预设非人像区域，说明训练人脸图像对应的像素点不是人像；在预设人像模板的像素点的像素值为255时，可将该像素点划分为预设人像区域，说明训练人脸图像对应的像素点是人像。
49.在获得输出人像区域和预设人像区域后，可以确定输出人像区域和预设人像区域的重合区域。重合区域可视作输出人像区域和预设人像区域的交集。训练人物图像与重合区域对应的像素点，既与输出人像区域中的像素点对应，也与预设人像区域中的像素点对
应。本技术实施方式中，根据重合区域确定整体相似度，具体可以是根据重合区域的像素数量来确定整体相似度。
50.请参阅图4，在某些实施方式中，步骤018包括：
51.01812：确定重合区域的像素数量以作为重合像素数量；
52.01814：合并预设人像区域与输出人像区域以得到合并区域；
53.01816：确定合并区域的像素数量以作为合并像素数量；
54.01818：根据重合像素数量和合并像素数量的比值确定整体相似度。
55.请参阅图5，在某些实施方式中，第二确定模块18包括第一确定单元1812、合并单元1814、第二确定单元1816和第三确定单元1818。步骤01812可以由第一确定单元1812实现，步骤01814可以由合并单元1814实现，步骤01816可以由第二确定单元1816实现，步骤01818可以由第三确定单元1818实现。也即是说，第一确定单元1812可用于确定重合区域的像素数量以作为重合像素数量。合并单元1814可用于合并预设人像区域与输出人像区域以得到合并区域。第二确定单元1816可用于确定合并区域的像素数量以作为合并像素数量。第三确定单元1818可用于根据重合像素数量和合并像素数量的比值确定整体相似度。
56.请再次参阅图3，在某些实施方式中，步骤01812、步骤01814、步骤01816和步骤01818均可以由处理器300实现。也即是说，处理器300可用于：确定重合区域的像素数量以作为重合像素数量；合并预设人像区域与输出人像区域以得到合并区域；确定合并区域的像素数量以作为合并像素数量；根据重合像素数量和合并像素数量的比值确定整体相似度。
57.具体地，合并区域可以是指预设人像区域和输出人像区域的并集。也即是说，合并区域可以是指重合区域加上预设人像区域独有的区域，再加上输出人像区域独有的区域。如此，能够根据重合像素数量和合并像素数量的比值(交并比，intersection over union，iou)确定整体相似度，重合像素数量和合并像素数量的比值能够从整体上反应输出人像区域和预设人像区域的相似程度，全局精度越高(即整体相似程度越高)，重合像素数量和合并像素数量的比值越接近1。例如，在输出人像区域和预设人像区域相同时，重合区域等于输出人像区域，也等于预设人像区域；合并区域等于输出人像区域，也等于预设人像区域，此时重合像素数据和合并像素数量相等，整体相似度为1。
58.请参阅图6，在某些实施方式中，步骤018包括：
59.01821：确定重合区域的像素数量以作为重合像素数量；
60.01822：确定输出人像区域的像素数量以作为输出像素数量；
61.01823：确定预设人像区域的像素数量以作为预设像素数量；
62.01824：确定重合像素数量与输出像素数量的比值以作为精确率；
63.01825：确定重合像素数量与预设像素数量的比值以作为召回率；
64.01826：根据精确率和召回率确定整体相似度。
65.请参阅图7，在某些实施方式中，第二确定模块18包括第四确定单元1821、第五确定单元1822、第六确定单元1823、第七确定单元1824、第八确定单元1825和第九确定单元1826。步骤01821可以由第四确定单元1821实现，步骤01822可以由第五确定单元1822实现，步骤01823可以由第六确定单元1823实现，步骤01824可以由第七确定单元1824实现，步骤01825可以由第八确定单元1825实现，步骤01826可以由第九确定单元1826实现。也即是说
第四确定单元1821可用于确定重合区域的像素数量以作为重合像素数量。第五确定单元1822可用于确定输出人像区域的像素数量以作为输出像素数量。第六确定单元1823可用于确定预设人像区域的像素数量以作为预设像素数量。第七确定单元1824可用于确定重合像素数量与输出像素数量的比值以作为精确率。第八确定单元1825可用于确定重合像素数量与预设像素数量的比值以作为召回率。第九确定单元1826可用于根据精确率和召回率确定整体相似度。
66.请再次参阅图3，在某些实施方式中，步骤01821、步骤01822、步骤01823、步骤01824、步骤01825和步骤01826均可以由处理器300实现。也即是说，处理器300可用于：确定重合区域的像素数量以作为重合像素数量；确定输出人像区域的像素数量以作为输出像素数量；确定预设人像区域的像素数量以作为预设像素数量；确定重合像素数量与输出像素数量的比值以作为精确率；确定重合像素数量与预设像素数量的比值以作为召回率；根据精确率和召回率确定整体相似度。
67.根据精确率和召回率确定整体相似度，可以是根据精确率和召回率的乘积，精确率和召回率的和值来确定整体相似度。具体地，可以采用f_score＝c*p*r/(p r)来计算整体相似度，其中，f_score为整体相似度，p(precision)为精确率，r(recall)为召回率，c为一个常数，c可以取1.5、2、3等，在本技术实施方式中，c的取值为2。如此，能够根据精确率和召回率确定整体相似度，精确率和召回率能够从整体上反应输出人像区域和预设人像区域的相似程度，全局精度越高(即整体相似程度越高)，f_score越接近1。例如，在输出人像区域和预设人像区域相同时，重合区域等于输出人像区域，也等于预设人像区域，此时精确率p＝1，召回率r＝1，整体相似度f_score＝2*1*1/(1 1)＝1。
68.在某些实施方式中，还可以根据重合像素数量和合并像素数量的比值确定整体第一相似度，根据精确率和召回率确定整体第二相似度，再根据整体第一相似度和整体第二相似度确定整体相似度。例如，可以对整体第一相似度和整体第二相似度进行加权平均，整体第一相似度的权值例如为α，整体第二相似度的权值例如为β，即整体相似度＝α*整体第一相似度 β*整体第二相似度。其中，α β可以等于1。如此，能够结合iou及f_score两种方式来确定整体相似度，使得整体相似度的计算方式更加多样化，能够适用于各种场景。
69.在获得整体相似度后，全局损失可根据整体相似度确定，例如，在一个实施例中，全局损失l＝1-整体相似度。以整体相似度为iou为例，则全局损失l1＝1-iou；以整体相似度为f_score，则全局损失l2＝1-f_score。另外，与根据整体第一相似度和整体第二相似度确定整体相似度类似，全局损失l3也可以综合考虑l1和l2，例如l3＝αl1 βl2。如此，全局精度越高(即整体相似程度越高)，iou和f_score越接近1，l1、l2和l3越接近于0，全局损失能够反应全局精度，从而能够利用全局损失对初始深度学习网络进行调整，使得后续调整深度学习网络的输出更加准确。
70.请参阅图8和图10，在某些实施方式中，步骤012包括：
71.0122：对训练人物图像进行缩放处理以得到预设尺寸的缩放人物图像；
72.0124：对缩放人物图像进行归一化处理以得到归一化人物图像；
73.0126：利用初始深度学习网络处理归一化人物图像以获得输出人像模板。
74.请参阅图9和图10，在某些实施方式中，第一处理模块12包括第一处理单元122、第二处理单元124和第三处理单元126。步骤0122可以由第一处理单元122实现，步骤0124可以
由第二处理单元124实现，步骤0126可以由第三处理单元126实现。也即是说，第一处理单元122可用于对训练人物图像进行缩放处理以得到预设尺寸的缩放人物图像。第二处理单元124可用于对缩放人物图像进行归一化处理以得到归一化人物图像。第三处理单元126可用于利用初始深度学习网络处理归一化人物图像以获得输出人像模板。
75.请再次参阅图3，在某些实施方式中，步骤0122、步骤0124和步骤0126均可以由处理器300实现。也即是说，处理器300可用于对训练人物图像进行缩放处理以得到预设尺寸的缩放人物图像；对缩放人物图像进行归一化处理以得到归一化人物图像；利用初始深度学习网络处理归一化人物图像以获得输出人像模板。
76.具体地，预设尺寸可以是指初始深度学习网络能够直接处理的图像尺寸，预设尺寸例如为480*640。通过将训练人物图像处理成缩放人物图像，可以便于后续初始深度学习网络的处理。另外，对缩放人物图像进行归一化处理，能够减小缩放人物图像的像素点的像素值大小，从而能够减小后续初始深度学习网络处理的工作量。具体地，可以获取缩放人物图像的所有像素点的像素值的平均值及其方差，先将缩放人物图像的所有像素点的像素值减去该平均值，再将得到的像素值除以方差，即可实现归一化处理，得到归一化人物图像。归一化人物图像能够输入到初始深度学习网络中，通过初始深度学习网络的处理即可获得输出人像模板。
77.请参阅图11和图13，在某些实施方式中，步骤0126包括：
78.01261：尺寸调整步骤，处理归一化人物图像以得到调整图像；
79.01262：特征提取步骤，提取调整图像的特征图；
80.01263：以预设提取次数循环执行尺寸调整步骤和特征提取步骤，以得到多个不同尺寸的调整图像的特征图，其中，多个不同尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸；
81.01264：第一上采样步骤，对第一尺寸的调整图像的特征图进行上采样处理以得到第一上采样特征图；
82.01265：第一融合步骤，将与第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图；
83.01266：第二上采样步骤，对融合特征图进行上采样处理以得到第二上采样特征图；
84.01267：第二融合步骤，将于第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中以得到新的融合特征图；
85.01268：循环执行第二上采样步骤和第二融合步骤直至融合特征图的尺寸变成第二尺寸，具有第二尺寸的融合特征图作为输出人像模板。
86.请参阅图12和图13，在某些实施方式中，第三处理单元126包括尺寸调整子单元1261、特征提取子单元1262、第一循环子单元1263、第一上采样子单元1264、第一融合子单元1265、第二上采样子单元1266、第二融合子单元1267和第二循环子单元1268。步骤01261可以由尺寸调整子单元1261实现，步骤01262可以由特征提取子单元1262实现，步骤01263可以由第一循环子单元1263实现，步骤01264可以由第一上采样子单元1264实现，步骤01265可以由第一融合子单元1265实现，步骤01266可以由第二上采样子单元1266实现，步骤01267可以由第二融合子单元1267实现，步骤01268可以由第二循环子单元1268实现。也
即是说，尺寸调整子单元1261可用于实现尺寸调整步骤：处理归一化人物图像以得到调整图像。特征提取子单元1262可用于实现特征提取步骤：提取调整图像的特征图。第一循环子单元1263可用于以预设提取次数循环执行尺寸调整步骤和特征提取步骤，以得到多个不同尺寸的调整图像的特征图，其中，多个不同尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸。第一上采样子单元1264可用于实现第一上采样步骤：对第一尺寸的调整图像的特征图进行上采样处理以得到第一上采样特征图。第一融合子单元1265可用于实现第一融合步骤：将与第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图。第二上采样子单元1266可用于实现第二上采样步骤：对融合特征图进行上采样处理以得到第二上采样特征图。第二融合子单元1267可用于实现第二融合步骤：将于第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中以得到新的融合特征图。第二循环子单元1268可用于循环执行第二上采样步骤和第二融合步骤直至融合特征图的尺寸变成第二尺寸，具有第二尺寸的融合特征图作为输出人像模板。
87.请再次参阅图3，在某些实施方式中，步骤01261、步骤01262、步骤01263、步骤01264、步骤01265、步骤01266、步骤01267和步骤01268均可以由处理器300实现。也即是说，处理器300可用于：尺寸调整步骤，处理归一化人物图像以得到调整图像；特征提取步骤，提取调整图像的特征图；以预设提取次数循环执行尺寸调整步骤和特征提取步骤，以得到多个不同尺寸的调整图像的特征图，其中，多个不同尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸；第一上采样步骤，对第一尺寸的调整图像的特征图进行上采样处理以得到第一上采样特征图；第一融合步骤，将与第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图；第二上采样步骤，对融合特征图进行上采样处理以得到第二上采样特征图；第二融合步骤，将于第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中以得到新的融合特征图；循环执行第二上采样步骤和第二融合步骤直至融合特征图的尺寸变成第二尺寸，具有第二尺寸的融合特征图作为输出人像模板。
88.初始深度学习网络可以是指人像分割卷积神经网络cnn算法，可以包括但不限于deeplab系列分割算法、u-net、fcn等，该类算法通常包括encoder特征编码模块和decoder目标模板生成模块。其中，尺寸调整步骤和特征提取步骤可视作encoder特征编码模块的工作过程，encoder特征编码模块可以由mobilenet、shufflenet、resnet等基本backbone组成。第一上采样步骤、第一融合步骤、第二上采样步骤和第二融合步骤可视作decoder目标模板生成模块的工作过程。decoder目标模板生成模块可以通过反卷积或插值上采样实现。
89.其中，预设提取次数可以是一次或多次，在一个实施例中，预设提取次数为2-6中的任意整数，即预设提取次数可以为2、3、4、5或6。在预设提取次数为6时，已经能够较为全面地提取调整图像的特征，因此，预设提取次数大于6时，提取的特征的信息量基本不变，但是会增大特征提取的工作量。
90.在第一次执行尺寸调整步骤和特征提取步骤时，调整图像的尺寸可以为归一化人物图像的尺寸(也为缩放人物图像的尺寸，即预设尺寸)。尺寸调整步骤具体可以为，将归一化人物图像作为调整图像。特征提取步骤具体可以为，提取归一化人物图像的特征图。
91.在后续(第二次或第二次之后)执行尺寸调整步骤和特征提取步骤时，尺寸调整步骤具体可以为：对归一化人物图像进行下采样处理，其中，下采样可理解为对图像进行缩小
处理，每次尺寸调整步骤对应的下采样程度可以不同，例如第二次执行尺寸调整步骤时，可以对归一化人物图像进行下采样处理以得到预设尺寸的二分之一的调整图像，第三次执行尺寸调整步骤时，可以对归一化人物图像进行下采样处理以得到预设尺寸的四分之一的调整图像。特征提取步骤具体可以为：提取当前尺寸调整步骤得到的调整图像的特征图。
92.通过循环尺寸调整步骤和特征提取步骤，即可得到多个不同尺寸的调整图像的特征图，多个不同尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，其中，第一尺寸可以是多个不同尺寸中的最小尺寸，第二尺寸可以是多个不同尺寸中的最大尺寸，第二尺寸可以是预设尺寸。多个不同尺寸的调整图像的特征图，可以分别表示归一化人物图像的不同层次的特征。
93.第一上采样步骤可以对第一尺寸的调整图像的调整图直接进行上采样处理，从而得到第一上采样特征图，其中，上采样可理解为对图像进行放大处理。然后再将第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图。
94.在第一次执行第二上采样步骤和第二融合步骤时，对第一融合步骤获得的融合特征图进行上采样处理以得到第二上采样特征图，将第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中，从而得到新的融合特征图。
95.在后续(第二次或第二次以上)执行第二上采样步骤和第二融合步骤时，对上一次执行第二上采样步骤和第二融合步骤获得的融合特征图进行上采样处理以得到新的第二上采样特征图，将新的第二上采样特征图尺寸相同的调整图像的特征图融合到新的第二上采样特征图中并重新作为融合特征图。如此，直到最后一次执行第二上采样步骤和第二融合步骤时，得到的融合特征图的尺寸变成第二尺寸，此时的融合特征图即可视作输出人像模板。
96.其中，将上采样特征图(第一上采样特征图或第二上采样特征图)尺寸相同的调整图像的特征融合到上采样特征图中以得到融合特征图的方式可视作跳跃连接，通过跳跃连接能够将浅层特征融合到深层特征处，从而增加初始深度学习网络的泛化能力。
97.请参阅图14，在某些实施方式中，初始深度学习网络包括权重和偏置，步骤024包括：
98.0242：根据全局损失对权重和偏置进行调整以得到调整深度学习网络。
99.请再次参阅图2，在某些实施方式中，初始深度学习网络包括权重和偏置，步骤0242可以由第二处理模块24实现。也即是说，第二处理模块24可用于根据全局损失对权重和偏置进行调整以得到调整深度学习网络。
100.请再次参阅图3，在某些实施方式中，初始深度学习网络包括权重和偏置，步骤0242可以由处理器300实现。也即是说，处理器300可用于根据全局损失对权重和偏置进行调整以得到调整深度学习网络。
101.具体地，初始深度学习网络的表示方式可以理解为：输入与权重进行卷积后，再加上偏置，从而可以得到输出。可以利用反向传播算法并根据全局损失对初始深度学习网络进行惩罚，从而实现对权重和偏置的调整，通过惩罚后，调整深度学习网络的输出的整体相似度更高，全局损失更小，从而可以减少输出人像区域中存在的空洞、区域分割错误的问题，起到优化全局的作用。
102.请参阅图10和图15，在某些实施方式中，图像处理方法还包括：
103.026：根据预设人像模板中的每个像素点的像素值和输出人像模板中的每个像素点的像素值确定交叉熵损失；
104.028：根据交叉熵损失对初始深度学习网络进行调整。
105.请参阅图10和图16，在某些实施方式中，图像处理装置100还包括第四确定模块26和第三处理模块28。步骤026可以由第四确定模块26实现，步骤028可以由第三处理模块28实现。也即是说，第四确定模块26可用于根据预设人像模板中的每个像素点的像素值和输出人像模板中的每个像素点的像素值确定交叉熵损失。第三处理模块28可用于根据交叉熵损失对初始深度学习网络进行调整。
106.请再次参阅图3，在某些实施方式中，步骤026和步骤028均可以由处理器300实现。也即是说，处理器300可用于：根据预设人像模板中的每个像素点的像素值和输出人像模板中的每个像素点的像素值确定交叉熵损失；根据交叉熵损失对初始深度学习网络进行调整。
107.具体地，交叉熵损失具体可以是softmax交叉熵损失。交叉熵损失可根据以下计算公式计算获得：l4＝∑-a
i
lnb
i
，其中，a
i
可以是指预设人像模板中的一个像素点的像素值，b
i
可以是指输出人像模板中的对应像素点的像素值。根据计算公式计算得到l4后，还可以将l4除以预设人像模板的像素数量(或输出人像模板的像素数量)，再对初始深度学习网络进行调整，具体调整方式也可以根据反向传播算法实现。交叉熵损失会根据每个像素点的偏差来确定，交叉熵损失调整初始深度学习网络的方式比较离散化。
108.在某些实施方式中，可以将全局损失和交叉熵损失相加，然后根据相加结果，利用反向传播算法对初始深度学习网络进行调整以得到调整深度学习网络。
109.请参阅图17，在某些实施方式中，图像处理方法还包括：
110.032：将调整深度学习网络作为新的初始深度学习网络并进入利用初始深度学习网络处理训练人物图像以获得输出人像模板的步骤，以循环执行图像处理方法直至全局损失满足收敛条件。
111.请参阅图18，在某些实施方式中，图像处理装置100还包括循环模块32。步骤032可以由循环模块32实现。也即是说，循环模块32可用于将调整深度学习网络作为新的初始深度学习网络并进入利用初始深度学习网络处理训练人物图像以获得输出人像模板的步骤，以循环执行图像处理方法直至全局损失满足收敛条件。
112.请再次参阅图3，在某些实施方式中，步骤032可以由处理器300实现。也即是说，处理器300可用于将调整深度学习网络作为新的初始深度学习网络并进入利用初始深度学习网络处理训练人物图像以获得输出人像模板的步骤，以循环执行图像处理方法直至全局损失满足收敛条件。
113.具体地，通过循环执行本技术实施方式的图像处理方法，可以对深度学习网络进行多次调整，直至全局损失满足收敛条件，此时可以认为初始深度学习网络已经完成调整，从而能够利用最终的调整深度学习网络更加准确地形成人像模板。
114.在某些实施方式中，收敛条件为连续多次循环过程中的全局损失的偏差小于预设偏差。多次可以是两次及以上，即，连续多次可以是相邻两次、连续3次，连续4次等。其中，在次数较少(尤其是在次数为2)时，容易因为调整结果不佳而被误认为初始深度学习网络已经完成调整，因此，本技术的连续多次可以为连续3次及3次以上。在一个实施例中，连续3次
循环过程中的全局损失分别为0.0053、0.0052和0.0051，预设偏差为0.001，则0.0053-0.0052＝0.0001，0.0052-0.0051＝0.0001，由于0.0001＜0.001，因此，连续多次循环过程中的全局损失的偏差小于预设偏差，此时可以认为全局损失基本维持不变，说明继续对初始深度学习网络进行调整(即继续循环执行本技术实施方式的图像处理方法)已经没有明显的作用，因此，能够认为初始深度学习网络已经完成调整，最终获得的调整深度学习网络即可用于进行准确地形成人像模板。
115.在某些实施方式中，收敛条件为全局损失小于预设全局损失。在一个实施例中，全局损失分别为0.009，预设全局损失为0.01，由于0.009＜0.01，因此，此时可以认为全局损失已经很小，即输出人像模板与预设人像模板已经基本相同，因此，能够认为初始深度学习网络已经完成调整，最终获得的调整深度学习网络即可用于进行准确地形成人像模板。
116.请参阅图19，在某些实施方式中，图像处理方法还包括：
117.034：利用调整深度学习网络处理待处理人物图像以获得待处理人物图像的人像区域和背景区域。
118.请参阅图20，在某些实施方式中，图像处理装置100还包括第四处理模块34。步骤034可以由第四处理模块34实现。也即是说，第四处理模块34可用于利用调整深度学习网络处理待处理人物图像以获得待处理人物图像的人像区域和背景区域。
119.请再次参阅图3，在某些实施方式中，步骤034可以由处理器300实现。也即是说，处理器300可用于利用调整深度学习网络处理待处理人物图像以获得待处理人物图像的人像区域和背景区域。
120.具体地，调整深度学习网络可以是指已经完成调整、完成训练的深度学习网络，此时调整深度学习网络已经能够较为精确地获取人像模板。待处理人物图像可以是任意一张人物图像，用户可以从相册中选取一张图像作为待处理人物图像，也可以是利用相机拍摄一张图像作为待处理人物图像，在此不做具体限定。利用调整深度学习网络处理待处理人物图像后，能够得到待处理人物图像的人像模板，根据该人像模板可将待处理人像划分为人像区域和背景区域。请参阅图21，采用调整深度学习网络处理待处理人物图像时，待处理人物图像也可以进行缩放处理和归一化处理，但是由于此时调整深度学习网络已经训练完成，因此，可以不再需要获取重合区域、确定整体相似度和确定全局损失。请参阅图22，对人的腋下区域进行人像分割时，左图为现有的人像分割效果，右图为利用本技术的调整深度学习网络处理形成的人像分割效果，由图可以明显看到，本技术的人像分割更加准确。在获得人像区域和背景区域后，还可以执行进一步地图像处理，例如在保持人像区域不变的情况下对背景区域进行虚化，从而产生类似单反拍照的效果。
121.请参阅图23，本技术实施方式的计算机可读存储介质400，其上存储有计算机程序410，计算机程序410被处理器300执行时实现上述任意一种实施方式的图像处理方法。
122.例如，计算机程序410被处理器300执行的情况下，实现以下图像处理方法的步骤：
123.012：利用初始深度学习网络处理训练人物图像以获得输出人像模板；
124.014：获取输出人像模板的输出人像区域；
125.016：确定预设人像模板的预设人像区域与输出人像区域的重合区域；
126.018：根据重合区域确定输出人像区域和预设人像区域的整体相似度；
127.022：根据整体相似度确定全局损失；
128.024：根据全局损失对初始深度学习网络进行调整以得到调整深度学习网络。
129.计算机可读存储介质400可设置在图像处理装置100或者电子设备1000内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备1000能够与云端服务器进行通讯来获取到相应的计算机程序410。
130.可以理解，计算机程序410包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质400可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、以及软件分发介质等。
131.处理器300可以是指驱动板。驱动板可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
132.在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
133.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
134.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
135.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。