一种人像分割方法及装置与流程

1.本技术属于数字图像处理领域，尤其涉及一种人像分割方法及装置。


背景技术：

2.随着科技的发展，越来越多的人们依赖手机等移动设备进行拍摄照片和视频。然而受到移动设备的硬件性能等因素的限制，无法满足用户在视频聊天、电话会议等应用场景中对拍摄内容进行实时背景虚化和替换的需求。
3.现有技术中，在使用移动设备对包含人像的图像或视频实现背景虚化时，需要用户手动标记人像，才能实现背景虚化，但这样就无法达到对拍摄内容的全自动处理，以及在视频聊天等应用场景中满足用户需求。


技术实现要素：

4.本技术实施例提供了一种人像分割方法及装置，可以基于人像分割网络将图像或视频中的人像分割出来，解决现有技术中无法在计算能力有限的移动设备中实现全自动实时人像分割以将背景虚化和替换的问题。
5.第一方面，本技术实施例提供了一种人像分割方法，包括：
6.获取人像原始图像，人像原始图像的画面中包含人像；
7.将该人像原始图像输入人像分割网络进行处理，输出人像掩码图像；其中，该人像分割网络包括编码模块、金字塔池化模块以及解码模块；
8.将该人像掩码图像以及该人像原始图像输入图像修复模块进行处理，输出图像修复掩码图像；
9.根据该图像修复掩码图像将该人像原始图像划分为人像图像以及背景图像。
10.在第一方面的一种可能的实现方式中，在根据该图像修复掩码图像将该人像原始图像划分为人像图像以及背景图像之后，该人像分割方法还包括：根据用户操作对该背景图像进行特殊处理，生成新背景图像；将该人像图像以及该新背景图像结合，生成新人像图像，并显示该新人像图像。
11.示例性的，上述特殊处理具体可以为虚化、替换、添加滤镜或其他图像处理方式，具体的方式还是要根据用户的需求(通过接收用户操作来得知)来确定，该背景图像经过特殊处理后生成的图像即为该新背景图像。
12.应理解，上述获取用户的人像原始图像，包括：获取用户的人像原始视频；将该人像原始视频内各个帧图像识别为该人像原始图像。也即本技术提供的方法不仅能对图像进行人像分割，还能对由多个帧图像组成的视频进行人像分割，实现实时人像分割。后续在根据该图像修复掩码图像将该人像原始图像划分为人像图像以及背景图像之后，该人像分割方法还包括：根据所有帧图像对应的该人像图像生成人像视频；根据所有帧图像对应的该背景图像生成背景视频。
13.第二方面，本技术实施例提供了一种人像分割装置，包括：
14.人像原始图像获取单元，用于获取人像原始图像，人像原始图像的画面中包含人像；
15.人像分割网络单元，用于将人像原始图像输入人像分割网络进行处理，输出人像掩码图像；其中，该人像分割网络包括编码模块、金字塔池化模块以及解码模块；
16.图像修复单元，用于将该人像掩码图像以及该人像原始图像输入图像修复模块进行处理，输出图像修复掩码图像；
17.人像分割单元，用于根据该图像修复掩码图像将该人像原始图像划分为人像图像以及背景图像。
18.第三方面，本技术实施例提供了一种终端设备，该终端设备包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现上述第一方面中任一项所描述的方法。
19.第四方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一项所描述的方法。
20.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所描述的方法。
21.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
22.本技术实施例与现有技术相比存在的有益效果是：
23.本技术提供的方法，相对于现有技术，在构建人像分割网络时，设置编码模块、金字塔池化模块以及解码模块，减少人像分割网络获得人像掩码图像时的计算量；在基于人像分割网络将图像或视频中的人像分割出来时，在保证人像分割的精准度同时，减少计算量，从而降低了搭载该人像分割网络的终端设备的计算能力需求，通过设置图像修复模块，在降低该终端设备的计算能力需求的同时，提高后续人像分割的精确度。
附图说明
24.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
25.图1是本技术第一实施例提供的方法的实现流程图；
26.图2是本技术第二实施例提供的方法的实现流程图；
27.图3是本技术一实施例提供的人像分割网络的结构示意图；
28.图4是本技术第三实施例提供的方法的实现流程图；
29.图5是本技术一实施例提供的金字塔池化模块结构示意图；
30.图6是本技术第四实施例提供的方法的实现流程图；
31.图7是本技术一实施例提供的解码单元结构示意图；
32.图8是本技术一实施例提供的转换单元结构示意图；
33.图9是本技术第五实施例提供的方法的实现流程图；
34.图10是本技术第六实施例提供的方法的实现流程图；
35.图11是本技术第七实施例提供的方法的实现流程图；
36.图12是本技术一实施例提供的掩码真值图像和边界真值图像的可视化图；
37.图13是本技术一实施例提供的应用场景示意图；
38.图14是本技术一实施例提供的装置的结构示意图；
39.图15是本技术一实施例提供的终端设备的结构示意图。
具体实施方式
40.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
41.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
42.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
43.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0044]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0045]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0046]
有关本技术的术语解释，在此简单进行说明。“特征信息”包括特征图像内各个像素相互之间的关联关系。“尺寸”指的是特征图像的像素(高宽)。“通道”指的是特征图像的层数。“特征融合”指的是：将特征图像甲与特征图像乙进行特征融合，以提取两者包含的特征信息，具体为：若该特征图像甲与该特征图像乙的尺寸相同，则两者直接进行通道拼接，得到尺寸与两者相同且通道数为两者之和的特征融合图像；若该特征图像甲与该特征图像乙的尺寸不同，则对任一特征图像进行处理，使其与另一特征图像的尺寸相同，具体可以是对尺寸较小的该特征图像进行双线性插值操作，得到与尺寸较大的该特征图像尺寸相同的特征图像。“通道调整卷积处理”指的是：对目标特征图像进行卷积核为1*1的点卷积处理，主要用于调整该目标特征图像的通道数，具体地，通过调整该卷积核为1*1的点卷积处理过程中的卷积参数(该卷积参数具体为depth_multiplier，用于控制每个输入通道的深度方
向卷积输出通道的数量，该卷积参数的数值为输出总通道数与输入总通道数的比值)，可以实现调整该目标特征图像的通道数，包括使该通道数增加、减少或不变。“深度可分离卷积处理”指的是，对目标特征图像进行深度卷积处理，再对该深度卷积处理的结果进行点卷积处理，具体地，通过调整该深度可分离卷积处理的卷积参数，可以调整该目标特征图像的尺寸以及通道数。
[0047]
在本技术实施例中，流程的执行主体为终端设备。该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够执行本技术提供的人像分割方法的设备。优选地,该终端设备为移动终端,该移动终端能够获取用户的人像原始图像。图1示出了本技术第一实施例提供的方法的实现流程图，详述如下:
[0048]
在s101中，获取人像原始图像，人像原始图像的画面中包含人像。
[0049]
在本实施例中，该人像原始图像的画面中包含人像。上述获取人像原始图像，具体可以为：通过该终端设备的摄像头获取人像原始图像。
[0050]
应理解，上述获取人像原始图像，包括：获取人像原始视频；将该人像原始视频内各个帧图像识别为该人像原始图像。也即本实施例提供的方法不仅能对图像进行人像分割，还能对视频内的各帧图像进行人像分割，以实现对视频进行实时人像分割。
[0051]
在s102中，将人像原始图像输入人像分割网络进行处理，输出人像掩码图像。
[0052]
在本实施例中，该人像分割网络包括编码模块、金字塔池化模块以及解码模块。该编码模块可以是预设的卷积神经网络，相较于一般的卷积神经网络，该编码模块采用了深度可分离卷积层代替了标准卷积层，以便在提取该人像原始图像的特征信息时，减少计算量；该金字塔池化模块用于根据该特征信息获取关于该人像原始图像的全局信息，以便提高后续输出人像掩码图像时的精度；该解码模块用于根据该特征信息以及该全局信息，生成该人像掩码图像。
[0053]
在一种可能实现的方式中，上述将该人像原始图像输入人像分割网络进行处理，输出人像掩码图像，具体可以为：将该人像原始图像输入该编码模块进行处理，输出特征信息图像；将该特征信息图像输入该金字塔池化模块进行处理，输出全局信息图像；将该特征信息以及该全局信息图像输入该解码模块进行处理，输出该人像掩码图像。
[0054]
在s103中，将人像掩码图像以及人像原始图像输入图像修复模块进行处理，输出图像修复掩码图像。
[0055]
在本实施例中，该图像修复模块用于将该人像原始图像的特征信息与该人像掩码图像的特征信息进行整合，得到内含更多细节特征信息的图像修复掩码图像。
[0056]
在一种可能实现的方式中，上述将该人像掩码图像以及该人像原始图像输入图像修复模块进行处理，输出图像修复掩码图像，可以具体为，将该人像掩码图像以及该人像原始图像进行特征融合，得到图像修复掩码图像。
[0057]
在s104中，根据图像修复掩码图像将人像原始图像划分为人像图像以及背景图像。
[0058]
在本实施例中，该图像修复掩码图像中包含了该人像原始图像中的各个像素的分类信息。上述根据该图像修复掩码图像将该人像原始图像划分为人像图像以及背景图像，具体地，根据该图像修复掩码图像将该人像原始图像中的各个像素分为人像像素或背景像素；根据所有该人像像素生成人像图像；根据所有该背景像素生成背景图像。应理解，将该
人像原始图像划分为人像图像以及背景图像，也即实现了人像分割。
[0059]
在一种可能实现的方式中，该图像修复掩码图像包含了该人像原始图像中各个像素作为人像像素的概率。上述根据该图像修复掩码图像将该人像原始图像中的各个像素分为人像像素或背景像素，具体可以为：若该像素作为人像像素的概率大于或等于预设阈值(示例性地该预设阈值为0.5)，则将该像素识别为人像像素；若该像素作为人像像素的概率小于预设阈值(示例性地该预设阈值为0.5)，则将该像素识别为背景像素。
[0060]
在本实施例中，在构建该人像分割网络时，通过设置编码模块、金字塔池化模块以及解码模块，相较于现有技术中的神经网络，优化了人像分割网络的结构，该编码模块中采用深度可分离卷积层代替标准卷积层，由于深度可分离卷积层的卷积核往往小于标准卷积层的卷积核，因此减少了该编码模块的计算量，继而减少人像分割网络的计算量；在基于人像分割网络将图像或视频中的人像分割出来时，在减少计算量的同时下，保证人像分割的精准度，从而降低了搭载该人像分割网络的设备的计算能力需求；设置图像修复模块，能更进一步提高人像分割的精准度。
[0061]
图2示出了本技术第二实施例提供的方法的实现流程图。参见图2，相对于上述图1所描述的实施例，本实施例提供的方法s102包括s201～s204，具体详述如下：
[0062]
进一步地，上述将人像原始图像输入人像分割网络进行处理，输出人像掩码图像，包括：
[0063]
在s201中，将人像原始图像输入编码模块中，采用编码模块对应的深度可分离卷积算法对人像原始图像进行多次卷积处理，输出n个下采样特征图像。
[0064]
在本实施例中，该n为大于2的整数，一般地，该n的取值范围为4至6，该n的取值优选5，该取值用于平衡计算量以及该人像分割网络的识别精度。相较于一般的卷积神经网络(例如mobilenetv2),该编码模块中采用深度可分离卷积层代替标准卷积层，由于深度可分离卷积层的卷积核往往小于标准卷积层的卷积核，故提取该人像原始图像中的特征信息时的计算量相较于一般的卷积神经网络会有所减少。该深度可分离卷积层包括至少一个深度卷积层(depthwiseconv)以及至少一个点卷积层(pointwiseconv)。
[0065]
在本实施例中，将该人像原始图像输入该编码模块中，采用该编码模块对应的深度可分离卷积算法对该人像原始图像进行多次卷积处理，输出n个下采样特征图像，具体可以为：对该人像原始图像进行一次通道调整卷积处理，得到通道扩张图像；将该通道扩张图像输入该编码模块的多个编码单元组成的串联网络，得到多个编码结果图像，该编码单元包括至少一个该深度可分离卷积层，可选地，该编码单元还可以包括一个下采样层，该下采样层的输入图像尺寸与输出图像尺寸的比例符合预设的下采样比例；其中，输入图像尺寸一般大于输出图像尺寸，两者的下采样比例可以为2；选取其中n个编码结果图像识别为上述n个下采样特征图像。上述对该人像原始图像进行一次通道调整卷积处理，得到通道扩张图像，具体地，通过预先设置该通道调整卷积处理的卷积参数，可以增加该人像原始图像的通道数，得到通道数增加后的该通道扩张图像。
[0066]
图3示出了本技术一实施例提供的人像分割网络的结构示意图。在一种可能实现的方式中，如图3所示，该人像分割网络的编码模块包括5个编码单元，也即上述n＝5，其中编码单元1、2、3以及4均包括下采样层，编码单元5不包括下采样层，图中每个编码单元输出对应的下采样特征图像。将该人像原始图像输入该编码模块中，使该人像原始图像依次经
过图中该通道调整卷积、编码单元1、编码单元2、编码单元3、编码单元4以及编码单元5，输出第一下采样特征图像、第二下采样特征图像、第三下采样特征图像、第四下采样特征图像以及第五下采样特征图像。
[0067]
应理解，图中所示的编码单元5，也即第五编码单元，本技术中所有解释图中后接数字的单元时可参考此处；上述第一下采样特征图像，也即第一个下采样特征图像，本技术中所有解释图像名称前加序号时可参考此处，例如第n下采样特征图像或第n个下采样特征图像为同一事物。
[0068]
在s202中，将第n个下采样特征图像输入金字塔池化模块进行处理，输出第n个上采样特征图像。
[0069]
在本实施例中，相较于现有的神经网络的池化层，该金字塔池化模块中采用空洞卷积层代替池化层，具体地，上述将第n个下采样特征图像输入该金字塔池化模块进行处理，输出第n个上采样特征图像，可以为：对该第n个下采样特征图像进行空洞卷积(dilated conv)处理，得到空洞卷积特征图像；调整该空洞卷积图像的尺寸，使该空洞卷积特征图像与该第n个下采样特征图像的尺寸相同；将该空洞卷积特征图像与该第n个下采样特征图像进行通道拼接，得到该第n个上采样特征图像。
[0070]
在一种可能实现的方式中，如图3所示，该n为5，将第五下采样特征图像输入该金字塔池化模块进行处理，输出第五上采样特征图像。
[0071]
在s203中，将第n个上采样特征图像以及n个下采样特征图像中除第n个下采样特征图像之外的n-1个下采样特征图像输入解码模块进行处理，输出第一上采样特征图像。
[0072]
在本实施例中，该解码模块包括n-1个解码单元，第m-1个解码单元用于根据第m个上采样特征图像以及第m-1个下采样特征图像确定第m-1个上采样特征图像，该m为小于或等于n的整数且该m大于0。第m-1个下采样特征图像与第m-1个上采样特征图像的尺寸相同。
[0073]
在本实施例中，上述将该第n个上采样特征图像以及该n个下采样特征图像中除该第n个下采样特征图像之外的n-1个下采样特征图像输入该解码模块进行处理，输出第一上采样特征图像，具体可以包括：开始时，即上述m的值为n时，将第n个上采样特征图像以及第n-1个下采样特征图像输入第n-1个解码单元进行处理，输出第n-1个上采样特征图像；以此类推，最后，即上述m的值为2时，将第二上采样特征图像以及该第一下采样特征图像输入第一解码单元进行处理，输出该第一上采样特征图像。
[0074]
在一种可能实现的方式中，如图3所示，该n为5，将第五上采样特征图像以及第四下采样特征图像输入图示解码单元4(也即第四解码单元)进行处理，输出第四上采样特征图像
…
以此类推，最终图示解码单元1(也即第一解码单元)输出第一上采样特征图像。
[0075]
在s204中，对第一上采样特征图像进行图像掩码处理，得到人像掩码图像。
[0076]
在本实施例中，上述对该第一上采样特征图像进行图像掩码处理，得到人像掩码图像，具体可以为：参见图3，对该第一上采样特征图像进行一次通道调整卷积处理，通过预先设置该通道调整卷积处理的卷积参数，可以减少该第一上采样特征图像的通道数，得到通道数减少后的通道缩减图像；将该通道缩减图像进行双线性插值操作，以使该通道缩减图像的尺寸与上述人像原始图像保持一致，也即以使该通道缩减图像的尺寸放大，得到该人像掩码图像。
[0077]
在本实施例中，该编码模块采用深度可分离卷积层代替标准卷积层，有助于减少
该人像分割网络的计算量，提高输出效率，以降低了执行本技术实施例的终端设备(优选移动设备)的计算能力需求；该金字塔池化模块中采用空洞卷积层代替池化层，可以使得该人像分割网络获取到该人像原始图像丰富的全局信息，以便提高后续进行人像分割的精准度；该解码模块中包括与该编码模块对应的多个解码单元，以实现根据该人像原始图像得到该人像掩码图像，以便于后续进行人像分割。
[0078]
图4示出了本技术第三实施例提供的方法的实现流程图。参见图4，相对于上述图2所描述的实施例，本实施例提供的方法s202包括s2021～s2023，具体详述如下：
[0079]
进一步地，上述将第n下采样特征图像输入金字塔池化模块进行处理，输出第n个上采样特征图像，包括：
[0080]
在s2021中，分别采用预设的多个不同尺度的卷积核对第n个下采样特征图像进行空洞卷积处理，得到多个空洞卷积特征图像。
[0081]
在本实施例中，上述多个空洞卷积特征图像与上述预设的多个不同尺度的卷积核一一对应；该空洞卷积处理用于增加该第n个下采样特征图像的感受野，以提高该人像分割网络获取该第n个下采样特征图像中更多特征信息的能力。在该第n个下采样特征图像进行该空洞卷积处理时，该采用多个不同尺度的卷积核是为了得到不同的该空洞卷积特征图像，以便丰富后续得到的该第n个上采样特征图像的特征信息，上述预设的多个不同尺度的卷积核的数量优选4个，以平衡在丰富该第n个上采样特征图像的特征信息与减少计算量这两个方面上的有益效果。
[0082]
图5示出了本技术一实施例提供的金字塔池化模块结构示意图。在一种可能实现的方式中，如图5所示，分别采用1*1、2*2、3*3以及6*6的四个卷积核对第n个下采样特征图像进行空洞卷积处理，得到4个空洞卷积特征图像。
[0083]
在s2022中，分别对每个空洞卷积特征图像进行卷积处理，得到与多个空洞卷积特征图像一一对应的多个待融合特征图像。
[0084]
在本实施例中，上述分别对每个空洞卷积特征图像进行卷积处理，得到与上述多个空洞卷积特征图像一一对应的多个待融合特征图像，具体包括：对该空洞卷积特征图像进行一次通道调整卷积处理，通过预先设置该通道调整卷积处理的卷积参数，可以减少该空洞卷积特征图像的通道，得到通道数减少后的与上述多个空洞卷积特征图像一一对应的多个待融合特征图像。优选的，所有上述多个待融合特征图像的通道数总和与上述第n个下采样特征图像相同，且各个待融合特征图像的通道数均相同。
[0085]
在一种可能实现的方式中，如图5所示，分别对4个空洞卷积特征图像进行卷积处理，得到4个待融合特征图像，每个待融合特征图像的通道数为上述第n个下采样特征图像的四分之一。
[0086]
在s2023中，将多个待融合特征图像进行特征融合，得到池化特征图像。
[0087]
在本实施例中，上述将多个待融合特征图像进行特征融合，得到池化特征图像，具体可以为：分别将上述多个待融合特征图像进行双线性插值操作，得到与上述多个待融合特征图像一一对应的多个尺寸一致的待拼接特征图像，该待拼接特征图像与上述第n个下采样特征图像的尺寸相同；将所有上述多个尺寸一致的待拼接特征图像进行通道拼接，得到通道数与上述第n个下采样特征图像相同的池化特征图像。
[0088]
在一种可能实现的方式中，如图5所示，将4个待融合特征图像进行特征融合，得到
池化特征图像，具体可以为：分别将上述多个待融合特征图像进行双线性插值操作，得到4个尺寸与上述第n个下采样特征图像相同的待拼接特征图像；将上述4个待拼接特征图像进行通道拼接，得到尺寸以及通道数均与上述第n个下采样特征图像相同的池化特征图像。
[0089]
在s2024中，将池化特征图像与第n个下采样特征图像进行通道拼接，得到第n个上采样特征图像。
[0090]
在本实施例中，该第n个上采样特征图像的通道数为该第n个下采样特征图像通道数的两倍。
[0091]
在本实施例中，在该金字塔池化模块中，采用多个不同尺度的卷积核对第n个下采样特征图像进行卷积处理，可以提取更丰富的特征信息；后续将该池化特征图像与第n个下采样特征图像进行通道拼接，得到的第n个上采样特征图像中包含了更丰富的全局信息，聚合了不同尺度卷积层的上下文信息，以便后续提高人像分割的精确度。
[0092]
图6示出了本技术第四实施例提供的方法的实现流程图。参见图6，相对于上述图2所描述的实施例，本实施例提供的方法s203包括s2031～s2033，具体详述如下：
[0093]
进一步地，上述根据第m个上采样特征图像以及第m-1个下采样特征图像确定第m-1个上采样特征图像，包括：
[0094]
在本实施例中，该解码单元包括上采样层、特征融合层以及转换单元。
[0095]
在s2031中，将第m个上采样特征图像输入第m-1个解码单元的上采样层中，对第m个上采样特征图像进行上采样特征映射，输出第m-1个初始特征图像。
[0096]
在本实施例中，该上采样层的输入图像尺寸与输出图像尺寸的比例符合预设的上采样比例；其中，输入图像尺寸一般小于输出图像尺寸，两者的下采样比例可以为0.5；该上采样比例与上述下采样比例互为倒数；上述将第m个上采样特征图像输入第m-1个解码单元的该上采样层，对第m个上采样特征图像进行上采样特征映射，输出第m-1个初始特征图像，具体可以为：对第m个上采样特征图像进行双线性插值操作，得到尺寸放大了的第m-1个初始特征图像。
[0097]
在一种可能实现的方式中，如图3所示，需要说明的是，第四解码单元不包括上述上采样层。图中所示编码模块中共有4个下采样层，该人像原始图像与该人像源码图像的尺寸应相同，故该解码模块应有3个上采样层，以抵消3个下采样层的尺寸变化(图中的双线性插值抵消剩余1个下采样层的尺寸变化)；图中所示编码单元5不包括下采样层，也即第四下采样特征图像与第五下采样特征图像的尺寸相同，也即第四下采样特征图像与第五上采样特征图像的尺寸相同，因此第四解码单元不包括上述上采样层。应理解，图中所示的第四解码单元是否包括上采样层，取决于该编码模块中的下采样层的总数。
[0098]
此时，若m为5，不执行将上述第五上采样特征图像输入第四解码单元的上述上采样层，对该第五上采样特征图像进行上采样特征映射，输出第四初始特征图像的步骤，取而代之的是，将该第五上采样特征图像识别为该第四初始特征图像，以便进行后续的步骤。
[0099]
在s2032中，将第m-1个初始特征图像以及第m-1个下采样特征图像输入第m-1个解码单元的特征融合层中，对第m-1个初始特征图像以及第m-1个下采样特征图像进行特征融合，得到第m-1个上采样特征融合图像。
[0100]
在本实施例中，该第m-1个初始特征图像与该第m-1个下采样特征图像的尺寸相同，因此上述对该第m-1个初始特征图像以及该第m-1个下采样特征图像进行特征融合，得
到第m-1个上采样特征融合图像，具体可以为，对该第m-1个初始特征图像以及该第m-1个下采样特征图像进行通道拼接，得到通道数为两者相加、尺寸与两者相同的该第m-1个上采样特征融合图像。
[0101]
图7示出了本技术一实施例提供的解码单元结构示意图。参见图3，图7所示的解码单元结构示意图仅仅用于描述图3中的包含上采样层的解码单元，而图3中未包含上采样层的解码单元可参照图7，不同之处仅在于未包含上采样层。
[0102]
在一种可能实现的方式中，如图7所示，将该第m个上采样特征图像输入图示的解码单元中的上采样层进行处理，将该第m-1个下采样特征图像输入图示的解码单元中的特征融合层进行处理，最终该解码单元输出该第m-1个上采样特征图像。
[0103]
在s2033中，将第m-1个上采样特征融合图像输入第m-1个解码单元的转换单元进行处理，输出第m-1个上采样特征图像。
[0104]
在本实施例中，该转换单元可以包括至少一个深度可分离卷积层以及至少一个调整通道卷积层。该转换单元还可以至少包括一个特征融合块。
[0105]
图8示出了本技术一实施例提供的转换单元结构示意图。在一种可能实现的方式中，如图8中的(a)所示，该转换单元包括两个深度可分离卷积层、一个调整通道卷积层以及一个特征融合块；上述s2033的实现具体可以为：使该第m-1个上采样特征融合图像经过串联的两个深度可分离卷积层，得到第m-1个待转换图像；该深度可分离卷积层包括一个深度卷积层以及一个点卷积层；使该第m-1个上采样特征融合图像经过一个通道调整卷积层，得到通道经过调整的第m-1个通道调整图像；将该第m-1个待转换图像以及该第m-1个通道调整图像输入该特征融合块中进行特征融合，得到该第m-1个上采样特征图像。也即，在该转换单元中，第m-1个上采样特征融合图像为输入，第m-1个上采样特征图像为输出，其中，一个调整通道卷积层与串联的两个深度可分离卷积层并联，且上述一个调整通道卷积层与上述串联的两个深度可分离卷积层的输出均为该特征融合块的输入。
[0106]
在另一种可能实现的方式中，如图8中的(b)所示，该转换单元包括四个深度可分离卷积层、两个调整通道卷积层以及两个特征融合块；上述s2033的实现具体可参见上述一种可能实现的方式的步骤，不同在于，此处s2033的实现具体为重复执行两次上述一种可能实现的方式的步骤，以第一次执行上述一种可能实现的方式的步骤的输出作为第二次执行上述一种可能实现的方式的步骤的输入，以上述第二次执行上述一种可能实现的方式的步骤的输出为该转换单元的输出。
[0107]
具体地，每一个图8中所示的深度卷积层的卷积核为3*3，每一个图8中所示的点卷积层的卷积核为1*1，每一个图8中所示的卷积层都包含了一个relu激活函数。应理解，每一个图8中的卷积层之后，都有一个数据批量标准化(batchnormalization，bn)的步骤，以用于避免该人像分割网络内部协变量偏移的问题，具体可参见现有技术的相关描述，在此不再赘述。
[0108]
在本实施例中，特别地，在输出上采样特征图像时，通过与下采样特征图像进行特征融合，可以丰富输出的上采样特征图像的特征信息，包含了与各层下采样特征信息的关联性，以便提高人像分割的精确度。
[0109]
图9示出了本技术第五实施例提供的方法的实现流程图。参见图9，相对于上述图1所描述的实施例，本实施例提供的方法s103包括s1031～s1033，具体详述如下：
[0110]
进一步地，上述将人像掩码图像以及人像原始图像输入图像修复模块进行处理，得到图像修复掩码图像，包括：
[0111]
在本实施例中，该图像修复模块包括至少两个串联的深度可分离卷积层。
[0112]
在s1031中，将人像掩码图像以及人像原始图像进行特征融合，得到特征融合图像。
[0113]
在本实施例中，该人像掩码图像与该人像原始图像的尺寸相同，上述将该人像掩码图像以及该人像原始图像进行特征融合，得到特征融合图像，具体为：对该人像掩码图像与该人像原始图像进行通道拼接，得到通道数为两者之和的特征融合图像。
[0114]
在s1032中，将特征融合图像输入至少两个串联的深度可分离卷积层进行处理，输出图像修复特征图像。
[0115]
在本实施例中，该两个串联的深度可分离卷积层用于提取该特征融合图像的特征信息。
[0116]
优选的，上述将该特征融合图像输入至少两个串联的深度可分离卷积层进行处理，输出图像修复特征图像，具体可以为：将该特征融合图像输入两个串联的深度可分离卷积层进行处理，输出图像修复特征图像，具体地，依次对该特征融合图像进行两次深度可分离卷积处理，也即，对该特征融合图像进行深度卷积-点卷积-深度卷积-点卷积的卷积处理，得到的图像修复特征图像与该特征融合图像的尺寸相同。
[0117]
应理解，之所以优选两个串联的深度可分离卷积层，是因为要考虑到后续人像分割精度与计算资源消耗的平衡。
[0118]
在s1033中，将图像修复特征图像与人像掩码图像进行特征融合，得到图像修复掩码图像。
[0119]
在本实施例中，为了避免上述s1032丢失了该人像掩码图像的一些特征信息，该图像修复特征图像需要与该人像掩码图像进行特征融合。该图像修复特征图像与该人像掩码图像的尺寸相同，上述将该图像修复特征图像与该人像掩码图像进行特征融合，得到图像修复掩码图像，具体可以为：将该图像修复特征图像与该人像掩码图像进行通道拼接，得到通道数为两者相加的图像修复掩码图像。
[0120]
在本实施例中，通过该图像修复模块，可以得到比该人像掩码图像拥有更多特征信息(特别是该人像原始图像有关的特征信息)的该图像修复掩码图像，以便于后续提高人像分割的精度。
[0121]
图10示出了本技术第六实施例提供的方法的实现流程图。参见图10，相对于上述任一实施例，本实施例提供的方法包括s10-a～s10-e，具体详述如下：
[0122]
进一步地，上述将人像原始图像输入人像分割网络进行处理，输出人像掩码图像之前，该人像分割方法还包括：
[0123]
在本实施例中，一般地，本实施例s10-a～s10-e的步骤可以在该终端设备之外的训练设备上执行的，该训练设备上通过s10-a～s10-e的步骤训练该人像分割网络，然后将训练好的该人像分割网络发送至该终端设备上，以使该终端设备搭载该人像分割网络并正常运行，本实施例的该人像分割网络对搭载设备的计算能力需求较低。
[0124]
在s10-a中，获取训练图像集。
[0125]
在本实施例中，该训练图像集包括若干训练图像，训练图像的画面中包含人像，一
般地，该训练图像内包含目标对象的人像以及人像以外的背景。
[0126]
在一种可能实现的方式中，为了提到该人像分割网络的泛化性，在获取训练图像集时进行数据增强，具体地，获取训练原始图像；对该训练原始图像进行形变增强处理，得到训练形变图像；对该训练原始图像进行纹理增强处理，得到训练纹理图像；将该训练原始图像、该训练形变图像以及该训练纹理图像均识别为该训练图像集内的该训练图像。该形变增强处理包括：图像上下前后随机翻转、图像随机缩放、图像随机切边以及图像随机旋转等；应理解，该形变增强处理后的该训练形变图像与该训练原始图像尺寸相同，在该图像随机缩放或该图像随机切边等影响图像尺寸的操作后，需要调整图像尺寸使该训练形变图像与该训练原始图像尺寸保持一致。该纹理增强处理包括：图像天气效果随机添加(例如雨、雾、晴、阴)、图像色彩随机调节以及图像对比度随机调节等；应理解，该纹理增强处理应不影响该训练原始图像的人像区域部分，也即上述纹理增强处理只应用在该训练原始图像的背景区域部分，通过改变该训练原始图像内背景区域部分的像素值来实现该纹理增强处理。
[0127]
在s10-b中，训练图像配置有关联的掩码真值图像。
[0128]
在本实施例中，为了训练该人像分割网络，需要对该训练图像集内各个训练图像进行数据标注，也即通过在各个训练图像上标记人像区域以及背景区域。
[0129]
在一种可能实现的方式中，优选的，上述训练图像配置有关联的掩码真值图像，具体实现包括：在该训练图像中，将标记为人像区域内的各个像素值取值为255，将标记为背景区域内的各个像素值取值为0，得到该掩码真值图像，该掩码真值图像与该训练图像相关联。
[0130]
在另一种可能实现的方式中，可选的，上述为该训练图像集中的每个训练图像配置掩码真值图像，得到与上述多个训练图像一一对应的多个掩码真值图像，具体可以为：以其中一个训练图像为例进行说明，在该训练图像中，将标记为人像区域内的各个像素值取值为0，将标记为背景区域内的各个像素值取值为255，得到该掩码真值图像，该掩码真值图像与该训练图像相关联。
[0131]
在s10-c中，将若干训练图像输入人像分割网络进行处理，输出与若干训练图像一一对应的预测掩码图像。
[0132]
在本实施例中，由于s10-c的实现方式与上述图1所描述的实施例中的s102的实现方式完全相同，具体阐述可以参见s102的相关描述，在此不再赘述。
[0133]
在s10-d中，根据预测掩码图像和掩码真值图像计算人像分割网络的网络损失值。
[0134]
在本实施例中，该预测掩码图像为上述若干预测掩码图像中的任意一个，该掩码真值图像为上述若干掩码真值图像中的任意一个。
[0135]
在本实施例中，以其中一个训练图像为例进行说明，该训练图像与该预测掩码图像对应，与该掩码真值图像对应。以该训练图像作为输入，以该预测掩码图a作为预测值(该人像分割网络的输出)，以该掩码真值图像作为真值标签(该人像分割网络的理想输出)，训练该人像分割网络，以使该人像分割网络以该训练图像作为输入时，输出尽可能接近该掩码真值图像。具体地，根据该预测掩码图像与该掩码真值图像的差异，计算该人像分割网络的该网络损失值，以便后续根据该网络损失值调整该人像分割网络的权重参数，以使调整后的该人像分割网络在以该训练图像作为输入时，输出尽可能接近该掩码真值图像。
[0136]
在一种可能实现的方式中，上述计算该网络损失值，具体可以为：根据交叉熵(cross_entropy)损失函数计算该人像分割网络的交叉熵损失值，并将该交叉熵损失值识别为该网络损失值；该交叉熵损失函数如下：
[0137]yij
＝labels(t
ij
)；
[0138]
p
ij
＝sigmoid(logout
ij
)；
[0139]
loss
ij
＝-[y
ij
×
lnp
ij
(1-y
ij
)
×
ln(1-p
ij
)]；
[0140][0141]
其中，t
ij
为该掩码真值图像第i行第j列像素的像素值；y
ij
为该掩码真值图像第i行第j列像素为人像像素的概率值；out
ij
为该预测掩码图像第i行第j列像素的像素值；p
ij
为该预测掩码图像a第i行第j列像素为人像像素的概率值；loss
ij
为该预测掩码图像第i行第j列像素对应的偏差值；h以及w分别为该预测掩码图像的高宽(也代表了图像尺寸)；loss
_
c为该交叉熵损失值。
[0142]
在另一种可能实现的方式中，上述计算该网络损失值，具体可以为：根据阿尔法损失函数计算该人像分割网络的阿尔法损失值，并将该阿尔法损失值识别为该网络损失值；该阿尔法损失函数如下：
[0143]yij
＝labels(t
ij
)
[0144]
p
ij
＝sigmoid(logout
ij
)
[0145][0146]
其中，t
ij
为该掩码真值图像第i行第j列像素的像素值；y
ij
为该掩码真值图像第i行第j列像素为人像像素的概率值；out
ij
为该预测掩码图像第i行第j列像素的像素值；p
ij
为该预测掩码图像第i行第j列像素为人像像素的概率值；h以及w分别为该预测掩码图像的高宽(也代表了图像尺寸)；loss
_
α为该阿尔法损失值。
[0147]
应理解，该y
ij
以及该p
ij
的取值范围为[0,1]。具体地，若上述配置该掩码真值图像时，将标记为人像区域内的各个像素值取值为255，将标记为背景区域内的各个像素值取值为0，则该labels函数具体为y
ij
＝t
ij
/255；若上述配置该掩码真值图像时，将标记为人像区域内的各个像素值取值为0，将标记为背景区域内的各个像素值取值为255，则该labels函数具体为y
ij
＝(255-t
ij
)/255。该sigmoid函数可参考现有技术中的相关描述，在此不再赘述。
[0148]
在s10-e中，根据网络损失值调整人像分割网络的权重参数。
[0149]
在本实施例中，在训练该人像分割网络过程中，每个训练图像对应一个网络损失值，以其中一个训练图像为例进行说明，该训练图像与该网络损失值对应，该网络损失值包含了对该人像分割网络的输出纠正信息，根据多个训练图像对应的网络损失值多次调整该人像分割网络的权重参数，以便调整权重参数后的该人像分割网络用于后续的人像分割中，提高人像分割的准确度。
[0150]
在本实施例中，通过该训练图像集来训练该人像分割网络，具体为利用该网络损失值来调整该人像分割网络的权重参数，提高该人像分割网络的输出准确度，以便提高后
续的人像分割的精度。
[0151]
图11示出了本技术第七实施例提供的方法的实现流程图。参见图11，相对于上述图10所描述的实施例，本实施例提供的方法10-d包括s10-d1～s10-d4，具体详述如下：
[0152]
进一步地，上述根据预测掩码图像和掩码真值图像计算人像分割网络的网络损失值，包括：
[0153]
在本实施例中，该网络损失值包括边缘损失值，该边缘损失值用于描述该预测掩码图像中人像区域的边缘信息与该掩码真值图像的偏差。
[0154]
在s10-d1中，根据softmax函数得到预测掩码图像对应的预测概率图像。
[0155]
在本实施例中，该softmax函数具体为：y_p
ij
＝softmax(out
ij
)；其中，y_p
ij
为该预测概率图像第i行第j列像素的像素值，也为该预测掩码图像第i行第j列像素为人像像素的概率值；out
ij
为该预测掩码图像第i行第j列像素的像素值；该softmax函数可参见现有技术中的相关描述，在此不再赘述。应理解，该y_p
ij
的取值范围为[0,1]。
[0156]
在s10-d2中，对掩码真值图像进行膨胀以及腐蚀处理，得到与掩码真值图像对应的膨胀真值图像以及腐蚀真值图像。
[0157]
在本实施例中，为了计算该边缘损失值，需要提取该掩码真值图像内的边缘信息。上述对该掩码真值图像进行膨胀以及腐蚀处理，得到膨胀真值图像以及腐蚀真值图像，优选的，具体可以为：采用核参数为[5,5,2]的tensorflow的标准膨胀、腐蚀操作，对该掩码真值图像进行标准膨胀处理得到膨胀真值图像，对该掩码真值图像进行腐蚀处理得到腐蚀真值图像，具体实现可参考现有技术中的相关描述，在此不再赘述。
[0158]
在s10-d3中，根据膨胀真值图像以及腐蚀真值图像生成边界真值图像。
[0159]
在本实施例中，上述根据该膨胀真值图像以及腐蚀真值图像生成边界真值图像，具体可以为：将该膨胀真值图像以及腐蚀真值图像进行相减操作，得到边界真值图像，也即该边界真值图像为该掩码真值图像的形态学梯度处理(膨胀结果与腐蚀结果相减)后的结果，具体可参见图12，图12示出了本实施例提供的掩码真值图像以及边界真值图像的示意图，图12所示的掩码真值图像中白色部分即为人像区域，图12所示的边界真值图像中白色部分即为人像区域边缘。
[0160]
在s10-d4中，将预测概率图像包含的各个像素值、掩码真值图像包含的各个像素值以及边界真值图像包含的各个像素值输入预设的边缘损失函数进行计算，得到人像分割网络的边缘损失值。
[0161]
在本实施例中，该边缘损失函数如下：
[0162]
loss_edge＝∑{-edge_t
ij
*[y_t
ij
*ln(y_p
ij
) (1-y_t
ij
)*ln(1-y_p
ij
)]}
[0163]
其中，该loss_edge为边缘损失值；该edge_t
ij
为该边界真值图像中第i行第j列的像素值，也即该掩码真值图像中第i行第j列的像素为人像区域边缘的概率值；该y_t
ij
为该掩码真值图像中第i行第j列像素为人像像素的概率值；该y_p
ij
为该预测概率图像中第i行第j列像素为人像像素的概率值。应理解，该y_p
ij
、y_t
ij
以及edge_t
ij
的取值范围为[0,1]；该y_t
ij
的计算可参考上述s10-d中所描述的y
ij
的计算，在此不再赘述。
[0164]
应理解，在本实施例中，该网络损失值包括该边缘损失值：示例性地，该网络损失值为该边缘损失值与上述交叉熵损失值之和；示例性地，该网络损失值为该边缘损失值与上述阿尔法损失值之和。优选地，该网络损失值为该边缘损失值、上述交叉熵损失值以及各
个该解码单元之前的边缘损失值之和；参照图7，上述各个解码单元之前的边缘损失值也即该第m个上采样特征图像的损失值，将该第m个上采样特征图像的边缘损失值记为第m边缘损失值，该第m边缘损失值用于描述该人像分割网络在该第m-1个解码单元之前的部分的边缘损失。上述第m边缘损失的计算可参照本实施例中的上述边缘损失值的计算，需要说明的是，计算该第m边缘损失时，以该训练图像为输入，对该训练图像对应的第m个上采样特征图像进行一次通道调整卷积处理以及一次点卷积处理，以调整该训练图像对应的第m个上采样特征图像的通道数以及尺寸，得到通道数以及尺寸均与该人像掩码图像相同的第m损失图像；以该训练图像对应的第m损失图像代替该预测掩码图像，参照本实施例中的该边缘损失值的计算步骤，计算该第m边缘损失。
[0165]
在本实施例中，通过设计该边缘损失函数，在根据该网络损失值调整该人像分割网络的权重参数时，该网络损失值包含了该预测掩码图像中人像区域边缘的损失(该边缘损失值)，可以提高调整该人像分割网络的权重参数的效果，进一步提高该人像分割网络的输出准确度。
[0166]
图13示出了本技术一实施例提供的应用场景示意图，详述如下：
[0167]
参见图13，对比图3，图13中所示的人像分割网络的输入尺寸为304*304，通道为3，也即该人像原始图像的尺寸为304*304，通道为3，代表rgb这三个通道；该人像掩码图像的尺寸为304*304，通道为2，代表黑白两个通道，一个通道中黑为人像区域，白为背景区域，另一个通道中黑为背景区域，白为人像区域。该网络损失值为上述边缘损失值、上述交叉熵损失值以及各个所示损失图像的边缘损失值之和，也即图13所示的人像分割网络的最终输出、第一损失图像、第二损失图像、第三损失图像和第四损失图像的边缘损失值以及人像分割网络的最终输出的交叉熵损失值之和。根据该网络损失训练该人像分割网络后，采集测试图片对该人像分割网络进行测试，测试时得到预测掩码图像与真值掩码图像的平均交并比(miou)具体为0.94946，可代表该人像分割网络的效果。上述计算预测掩码图像与真值掩码图像的平均交并比miou公式为：
[0168][0169]
其中，tp为真阳性，即预测掩码图像的人像像素与真值掩码图像的人像像素位置相同的像素数目；fp为假阳性，即预测掩码图像的人像像素与真值掩码图像的背景像素位置相同的像素数目；fn为假阴性，即预测掩码图像的背景像素与真值掩码图像的人像像素位置相同的像素数目；n为测试图片的数目；miou为各个测试图片的交并比的平均值，也即上述平均交并比。
[0170]
对应于上文实施例所描述的方法，图14示出了本技术一实施例提供的装置的结构示意图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0171]
参照图14，该人像分割装置包括：
[0172]
人像原始图像获取单元，用于获取人像原始图像，人像原始图像的画面中包含人像；
[0173]
人像分割网络单元，用于将人像原始图像输入人像分割网络进行处理，输出人像掩码图像；其中，人像分割网络包括编码模块、金字塔池化模块以及解码模块；
[0174]
图像修复单元，用于将人像掩码图像以及人像原始图像输入图像修复模块进行处
理，输出图像修复掩码图像；
[0175]
人像分割三元，用于根据图像修复掩码图像将人像原始图像划分为人像图像以及背景图像。
[0176]
需要说明的是，上述装置之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0177]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将该装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0178]
图15示出了本技术一实施例提供的终端设备的结构示意图。如图15所示，该实施例的终端设备15包括：至少一个处理器150(图15中仅示出一个)处理器、存储器151以及存储在该存储器151中并可在上述至少一个处理器150上运行的计算机程序152，该处理器150执行该计算机程序152时实现上述任意各个方法实施例中的步骤。
[0179]
该终端设备15可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备15优选移动终端。该终端设备可包括，但不仅限于，处理器150、存储器151。本领域技术人员可以理解，图15仅仅是终端设备15的举例，并不构成对终端设备15的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0180]
所称处理器150可以是中央处理单元(central processing unit，cpu)，该处理器150还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0181]
该存储器151在一些实施例中可以是该终端设备15的内部存储单元，例如终端设备15的硬盘或内存。该存储器151在另一些实施例中也可以是该终端设备15的外部存储设备，例如该终端设备15上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，该存储器151还可以既包括该终端设备15的内部存储单元也包括外部存储设备。该存储器151用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如该计算机程序的程序代码等。该存储器151还可以用于暂时地存储已经输出或者将要输出的数据。
[0182]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0183]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行
时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
[0184]
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，该计算机程序包括计算机程序代码，该计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。该计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0185]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0186]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0187]
在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0188]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0189]
以上所描述的实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。