图像处理方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及影像技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着计算机技术的快速发展，电子设备(如手机、电脑、智能可穿戴设备等)对人像图像的处理方式也越来越多样化，例如，对人像图像中的人物进行美颜处理、对人像图像的人脸进行畸变校正、对人像图像进行人像分割等。目前，电子设备在对人像图像进行处理时，都是采用全图处理的方式，即对整张图像进行处理，计算量较大，影响图像处理效率。


技术实现要素：

3.本技术实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够减少图像处理的计算量，提高图像处理效率，且保证了图像处理效果。
4.本技术实施例公开了一种图像处理方法，包括：
5.确定第一图像包含的人脸信息，所述人脸信息包括人脸区域信息及所述人脸区域信息对应的头部旋转信息，其中，所述人脸区域信息用于表征人脸区域在所述第一图像中的图像位置，所述人脸区域信息对应的头部旋转信息用于表征与所述人脸区域对应的头部在三维空间中的旋转状态；
6.根据所述人脸区域信息及所述人脸区域信息对应的头部旋转信息，确定所述人脸区域对应的扩展感兴趣区域；
7.对所述扩展感兴趣区域进行图像处理，得到处理结果。
8.本技术实施例公开了一种图像处理装置，所述装置包括：
9.信息确定模块，用于确定第一图像包含的人脸信息，所述人脸信息包括人脸区域信息及所述人脸区域信息对应的头部旋转信息，其中，所述人脸区域信息用于表征人脸区域在所述第一图像中的图像位置，所述人脸区域信息对应的头部旋转信息用于表征与所述人脸区域对应的头部在三维空间中的旋转状态；
10.区域扩展模块，用于根据所述人脸区域信息及所述人脸区域信息对应的头部旋转信息，确定所述人脸区域对应的扩展感兴趣区域；
11.处理模块，用于对所述扩展感兴趣区域进行图像处理，得到处理结果。
12.本技术实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
13.本技术实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
14.本技术实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质，确定第一图像包含的人脸信息，该人脸信息包括人脸区域信息及所述人脸区域信息对应的头部旋转信息，根据该人脸区域信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应
的扩展感兴趣区域，再对扩展感兴趣区域进行图像处理，得到处理结果，不需要对整张第一图像进行图像处理，而只需要处理扩展感兴趣区域，能够减少图像处理的计算量，提高图像处理效率，而且，该扩展感兴趣区域是基于人脸区域信息及对应的头部旋转信息确定的，能够提高确定的扩展感兴趣区域的准确性，以保证图像处理的处理结果的准确性，保证了图像处理效果。
附图说明
15.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为一个实施例中图像处理方法的流程图；
17.图2为一个实施例中头部的三维空间的示意图；
18.图3为一个实施例中人脸区域及扩展感兴趣区域的示意图；
19.图4为一个实施例中根据人脸区域信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域的流程图；
20.图5a为一个实施例中人脸区域的示意图；
21.图5b为另一个实施例中人脸区域及扩展感兴趣区域的示意图；
22.图6为另一个实施例中图像处理方法的流程图；
23.图7a为一个实施例中两个发生重叠的扩展感兴趣区域的示意图；
24.图7b为一个实施例中生成新的扩展感兴趣区域的示意图；
25.图8为一个实施例中图像处理装置的框图；
26.图9为一个实施例中电子设备的结构框图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.需要说明的是，本技术实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本技术的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一前图像。第一图像和第二图像两者都是图像，但其不是同一图像。
30.如图1所示，在一个实施例中，提供一种图像处理方法，可应用于电子设备，该电子设备可包括但不限于手机，智能可穿戴庙备、车载终端、平板电脑、笔记本电脑、个人计算机
(personal computer，pc)等。该方法可包括以下步骤：
31.步骤110，确定第一图像包含的人脸信息,该人脸信息包括人脸区域信息及该人脸区域信息对应的头部旋转信息。
32.第一图像可为需要进行图像处理的图像，该第一图像可为人像图像，人像图像指的是包含有人物的图像，可选地，该第一图像中可包括至少一个人的人脸。第一图像可以是电子设备通过成像装置(如摄像头等)实时采集得到的图像，也可以是预先存储在电子设备的存储器中的图像，在此不作限定。电子设备可获取第一图像包含的人脸信息，该人脸信息可包括人脸区域信息及人脸区域信息对应的头部旋转信息。
33.其中，人脸区域信息可用于表征人脸区域在第一图像中的图像位置，例如，人脸区域信息可包括人脸区域的各个像素点的像素坐标，若人脸区域为规则四边形(如正方形、矩形等)的区域，则人脸区域信息也可包括人脸区域的四个角点的角点坐标(即四个角点的像素坐标)等，进一步地，人脸区域信息可包括人脸外接矩形框的四个角点的角点坐标。
34.人脸区域信息对应的头部旋转信息可用于表征与人脸区域对应的头部在三维空间中的旋转状态，可选地，该三维空间可以是以头部的中心点为原点所建立的三维空间系。头部旋转信息可包括头部在三维空间下的旋转角度，在一些实施例中，该头部旋转信息可采用欧拉角进行表示，该头部旋转信息可包括头部的俯仰角(pitch)、偏航角(yaw)及翻滚角(roll)。
35.图2为一个实施例中头部的三维空间的示意图。如图2所示，可以头部的中心点为原点建立三维空间坐标系，该三维空间坐标系可包括x轴、y轴及z轴，其中，俯仰角(pitch)为围绕x轴旋转的角度，偏航角(yaw)为围绕y轴旋转的角度，翻滚角(roll)为围绕z轴旋转的角度，该俯仰角(pitch)可用于描述头部前后偏转(即绕x轴旋转)的角度，偏航角(yaw)可用于描述人脸的左右偏转(即绕y轴旋转)的角度，翻滚角(roll)可用于描述头部的左右倾斜(即绕z轴旋转)的角度。通过头部旋转信息可确定头部的姿态。
36.在一些实施例中，电子设备可先获取第一图像，再对第一图像进行人脸检测，以得到第一图像中包含的人脸信息。电子设备对第一图像进行人脸检测的方式可包括但不限于基于人脸模板进行检测的方式、基于分类器进行人脸检测的方式及通过深度神经网络进行人脸检测等方式。例如，电子设备可采用卷积神经网络对第一图像进行人脸检测，该卷积神经网络可提取第一图像中的人脸特征点，并根据人脸特征点确定第一图像中的每张人脸对应的人脸检测框及头部旋转信息，每张人脸对应的人脸检测框所在的图像区域即可作为人脸区域。需要说明的是，本技术对人脸检测的方式不作具体限定。
37.在其它的实施例中，电子设备也可将第一图像上传至服务器，由服务器进行人脸检测，再将得到的第一图像中包含的人脸信息发送给电子设备。可选地，该第一图像也可以是预先就进行人脸检测的图像，电子设备的存储器中存储有该第一图像对应的人脸信息，可根据第一图像的图像标识从存储器中直接获取该第一图像对应的人脸信息，该图像标识可由数字、字母、符号等中的一种或多种组成，例如，第一图像的图像标识可为0001，则可从存储器中查找与该0001匹配的人脸信息。
38.在一些实施例中，若第一图像中包含有至少两个人脸区域(即包含至少两张人脸)，则人脸信息可包括每个人脸区域的人脸区域信息，以及每个人脸区域对应的头部旋转信息。
39.步骤120，根据人脸区域信息及该人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域。
40.电子设备可根据第一图像中人脸区域的人脸区域信息及对应的头部旋转信息，对该人脸区域进行扩展，确定该人脸区域对应的扩展感兴趣区域(region ofinterest，roi)，该扩展感兴趣区域即为进行图像处理所关注的图像区域。示例性地，图3为一个实施例中人脸区域及扩展感兴趣区域的示意图。如图3所示，第一图像300可包括人脸区域310，可根据人脸区域310的人脸区域信息及对应的头部旋转信息，对人脸区域310进行扩展，确定扩展感兴趣区域320，扩展感兴趣区域320可包含该人脸区域310，且扩展感兴趣区域320的图像面积大于人脸区域310的图像面积。
41.在一些实施例中，可先保持人脸区域的中心像素点坐标不变，按照预设倍数对人脸区域进行放大，例如，对人脸区域放大1倍、放大2倍等，即放大后的区域的中心像素点与人脸区域的中心像素点相同，再结合头部旋转信息对放大后的区域进行调整，以得到扩展感兴趣区域。作为一种具体实施方式，可根据头部旋转信息调整放大后的区域的边长，例如，放大后的区域为矩形区域，可根据头部的偏航角及翻滚角调整该放大后的区域的宽度，可根据头部的俯仰角调整该放大后的区域的高度。可选地，人脸区域的宽度可理解为大致描述人脸的宽度，人脸区域的高度可理解为大致描述人脸的高度，示例性地，如图3所示，人脸区域310的宽度w为与水平线平行的边的长度，人脸区域310的宽度w可大致描述人脸宽度，人脸区域310的高度h为与水平线垂直的边的长度，人脸区域310的高度h可大致描述人脸高度。放大后的区域的宽度可为人脸区域的宽度的预设倍数，放大后的区域的高度可为人脸区域的高度的预设倍数。
42.作为另一种实施方式，也可根据头部旋转信息调整放大后的区域的中心像素点的像素坐标，从而移动整个放大后的区域在第一图像中的图像位置。例如，可根据头部的偏航角及翻滚角将放大后的区域的中心像素点向左或向右移动，可根据头部的俯仰角将根据放大后的区域的中心像素点向上或向下移动等。需要说明的是，该实施例中提及的上、下、左、右均是以第一图像中的人物为基准进行说明的方向。根据人脸区域的人脸区域信息及对应的头部旋转信息确定人脸区域对应的扩展感兴趣区域，可保证扩展感兴趣区域更加准确地包含图像处理所关注的图像内容，使得第一图像中人像的整个头部能够完整地处于扩展感兴趣区域中，提高了扩展感兴趣区域的准确性。
43.步骤130，对扩展感兴趣区域进行图像处理，得到处理结果。
44.在本技术实施例中，电子设备在确定扩展感兴趣区域后，可仅对扩展感兴趣区域进行图像处理，得到处理结果，而不需要对整张第一图像进行图像处理，由于扩展感兴趣区域内包含了图像处理所关注的图像内容，因此既保证了处理结果的准确性，也减少了图像处理的计算量。
45.在一些实施例中，该图像处理可包括但不限于人像分割、头发区域识别、深度估计等中的一种或多种。
46.其中，对扩展感兴趣区域进行人像分割，得到人像分割结果，该人像分割结果可包括人像掩膜，该人像掩膜可用于标注扩展感兴趣区域中的人像区域。人像分割的方式可包括但不限于利用基于图论的人像分割方法、基于聚类的人像分割方法、基于语义的人像分割方法、基于实例的人像分割方法、基于deeplab系列的网络模型的人像分割方法、基于u型
网络(u
‑
net)的分割方法或者基于全卷积网络(fully convolutionalnetwork，fcn)的人像分割方法等方式。示例性地，电子设备可通过人像分割模型对扩展感兴趣区域进行人像分割，得到人像分割结果，人像分割模型可以是预先根据第一人像训练集训练得到的，该第一人像训练集可包括大量的第一人像样本图像，以及每张第一人像样本图像对应的用于标注人像区域的标注信息(如人像样本掩膜等)。
47.在一些实施例中，由于扩展感兴趣区域相较于第一图像，区域的图像尺寸较小，因此，上述的人像分割模型可为小型的分割网络，相较于处理整张第一图像的大型的分割网络来说，该小型的分割网络的通道数及网络层数均较少，从而能够进一步减少计算量，提高人像分割效率并降低电子设备的功耗。
48.示例性地，表1为一个实施例中电子设备通过大型网络分别对扩展感兴趣区域及整张第一图像进行人像区域预测，得到人像掩膜的耗时。从表1可直观看出，相较于整张第一图像进行人像分割的方式，仅对扩展感兴趣区域进行人像分割的耗时更少，能够提高人像分割效率。
49.表1
[0050][0051]
示例性地，表2为一个实施例中电子设备通对小型网络对扩展感兴趣区域进行人像区域预测的耗时，以及通过大型网络对整张第一图像进行人像区域预测的耗时。从表1及表2可直观看出，相较于整张第一图像进行人像分割的方式，通过小型网络对扩展感兴趣区域进行人像分割的耗时最少，明显降低了处理耗时，有效地提高了人像分割效率。
[0052]
表2
[0053][0054]
需要说明的是，表1及表2仅用于说明本技术实施例中对扩展感兴趣区域进行人像分割的耗时，并不用于限定本技术实施例。
[0055]
对扩展感兴趣区域进行头发区域识别，以对扩展感兴趣区域进行发丝抠图，得到发丝抠图结果，该发丝抠图结果可包括头发掩膜，头发掩膜可用于标注扩展感兴趣区域中的头发区域。发丝抠图的方式可包括但不限于泊松抠图(poisson matting)方法、基于贝叶斯理论的贝叶斯抠图(bayes matting)、基于数据驱动的机器学习抠图方法或者封闭式表
面抠图方法等不使用深度学习的传统抠图方法，或者运用诸如卷积神经网络(convolutional neutral network，cnn)等人工神经网络的基于深度学习的抠图方法。示例性地，可通过发丝抠图模型对扩展感兴趣区域进行头发区域识别，得到发丝抠图结果，该发丝抠图模型可以是预先根据第二人像训练集训练得到的，该第二人像训练集可包括大量的第二人像样本图像，以及包括每张第二人像样本图像对应的用于标注头发区域的标注信息(如每张第二人像样本图像对应的头发样本掩膜等)。
[0056]
对扩展感兴趣区域进行深度估计，得到深度估计结果，深度估计的方式可以是软件的深度估计方式，也可以是结合硬件设备计算深度信息的方式等。软件的深度估计方式可包括但不限于使用深度估计模型等神经网络进行深度估计的方式，该深度估计模型可通过深度训练集训练得到，深度训练集可包括多张样本图像及每张样本图像对应的深度图等。结合硬件设备的深度估计方式可包括但不限于利用多摄像头(例如双摄像头)进行深度估计、利用结构光进行深度估计、利用tof(time offlight，飞行时间)进行深度估计等。本技术实施例对深度估计的方式不作限定。
[0057]
在一些实施例中，电子设备在确定第一图像中的扩展感兴趣区域后，可对扩展感兴趣区域进行裁剪，得到第二图像，并对第二图像进行图像处理，得到处理结果。若第一图像中存在至少两个扩展感兴趣区域，则可分别裁剪各个扩展感兴趣区域，得到每个扩展感兴趣区域的第二图像，并分别对每张第二图像进行图像处理，得到每张第二图像的处理结果。
[0058]
可选地，在得到处理结果后，电子设备可基于该处理结果对第一图像中的扩展感兴趣区域进行进一步处理，例如，在得到人像分割结果后，可基于该人像分割结果对第一图像中的扩展感兴趣区域所包含的人像区域进行人像美颜处理(如美白处理、亮度调整、瘦脸等)、人脸畸变校正处理等，但不限于此。
[0059]
在本技术实施例中，确定第一图像包含的人脸信息，该人脸信息包括人脸区域信息及人脸区域信息对应的头部旋转信息，根据该人脸区域信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域，再对扩展感兴趣区域进行图像处理，得到处理结果，不需要对整张第一图像进行图像处理，而只需要处理扩展感兴趣区域，能够减少图像处理的计算量，提高图像处理效率，而且，该扩展感兴趣区域是基于人脸区域信息及对应的头部旋转信息确定的，能够提高确定的扩展感兴趣区域的准确性，以保证图像处理的处理结果的准确性，保证了图像处理效果。
[0060]
如图4所示，在一个实施例中，步骤根据人脸区域信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域，可包括以下步骤：
[0061]
步骤402，根据人脸区域信息确定人脸区域的尺寸信息。
[0062]
人脸区域的尺寸信息可用于描述人脸区域的大小，可选地，该人脸区域可为规则的四边形(如正方形、矩形等)，尺寸信息可包括人脸区域的第一边界的第一边长及第二边界的第二边长，进一步地，该第一边界可以是人脸区域的宽，第二边界可以是人脸区域的高，但不限于此。可选地，该尺寸信息也可包括人脸区域的图像面积等。
[0063]
在一些实施例中，人脸区域信息可包括人脸区域的至少两个角点的角点坐标，例如，可包括人脸区域的四个角点的角点坐标，也可仅包括处于人脸区域的对角线上的两个角点的角点坐标。示例性地，如图5a所示，第一图像500可包括人脸区域510，则人脸区域510
的人脸区域信息可包括角点a及角点b的角点坐标，该角点a与角点b可处于人脸区域510的对角线上。
[0064]
可选地，角点的角点坐标可为角点在第一图像中的图像坐标系下的像素坐标。该图像坐标系可以是以第一图像的任一角点为原点所建立的二维坐标系，如图5a中，以第一图像的左下角点o为原点，与水平线平行的x轴为横坐标轴，与水平线垂直的y轴为纵坐标轴的图像坐标系，该图像坐标系也可以是以第一图像中的任一像素点为原点建立的二维坐标系，如以第一图像的中心像素点为原点等。角点的角点坐标也可采用其它坐标系进行表示，在此不作限定。
[0065]
电子设备可根据人脸区域信息包含的各个角点的角点坐标，计算人脸区域的尺寸信息。以人脸区域信息包括第一角点的第一角点坐标及第二角点的第二角点坐标为例，该第一角点及第二角点可为处于人脸区域对角线上的两个角点。该第一角点坐标包括第一横坐标及第一纵坐标，第二角点坐标包括第二横坐标及第二纵坐标，第一横坐标区别于第二横坐标，第一纵坐标区别于第二纵坐标。上述的第一横坐标、第二横坐标为第一图像的图像坐标系中横坐标轴上的坐标，第一纵坐标、第二纵坐标为纵坐标轴上的坐标。
[0066]
在一个实施例中，可计算第一横坐标与第二横坐标之间差值的绝对值，得到人脸区域中第一边界的第一边长，可计算第一纵坐标与第二纵坐标之间差值的绝对值，得到人脸区域中第二边界的第二边长，其中，该第一边界可为人脸区域与第一图像的图像坐标系的横坐标轴平行的边界，第二边界可为人脸区域与该图像坐标系的纵坐标轴平行的边界。
[0067]
以图5a的角点a及角点b为例，角点a的角点坐标为(x1，y1)，角点b的角点坐标为(x2，y2)，则人脸区域中第一边界的第一边长w＝x2‑
x1，第二边界的第二边长h＝y2‑
y1。
[0068]
步骤404，根据尺寸信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域。
[0069]
可根据人脸区域的尺寸信息及对应的头部旋转信息，对该人脸区域进行扩展，确定人脸区域对应的扩展感兴趣区域。可选地，扩展感兴趣区域的图像面积与人脸区域的图像面积呈正相关关系，人脸区域的图像面积越大，扩展感兴趣区域的图像面积可越大。
[0070]
在一些实施例中，可根据尺寸信息及人脸区域信息对应的头部旋转信息，确定扩展的区域变化尺寸，该扩展的区域变化尺寸可用于描述在人脸区域的基础上所扩展的变化量。可选地，头部旋转信息中的旋转角度(俯仰角、偏航角及翻滚角)越大，则相应的扩展的区域变化尺寸可越大，以保证第一图像中的人像的头部在发生较大偏转时，扩展感兴趣区域也可准确地包含图像处理关注的图像内容，避免出现头部的部分在扩展感兴趣区域外，或是肩部大部分在扩展感兴趣区域外等不准确的情况。
[0071]
作为一种实施方式，步骤根据尺寸信息及人脸区域信息对应的头部旋转信息，确定扩展的区域变化尺寸，可包括：根据第一边长及偏航角及翻滚角，确定与横坐标轴对应的第一变化长度；根据第二边长及俯仰角，确定与纵坐标轴对应的第二变化长度。
[0072]
在本技术实施例中，该第一边界的第一边长可大致描述人脸的宽度，第二边界的第二边长可大致描述人脸的高度(也即长度)。由于头部的偏航角反映了人脸左右偏转情况，翻滚角反映头部的左右倾斜情况，因此，头部的偏航角及翻滚角会影响第一图像中检测到的人脸宽度，如在人脸向左或向右偏转的情况下，第一图像中的人脸为侧脸部分，人脸宽度较小，因此也会影响到扩展感兴趣区域的宽度(即与横坐标轴平行的边界的边长)。可计
算偏航角及翻滚角的偏转程度，再根据该偏转程度及第一边长的乘积，计算得到第一变化长度。
[0073]
作为一种具体实施方式，第一变化长度可采用公式(1)进行计算：
[0074][0075]
其中，l1表示第一变化长度，w表示第一边长，yaw表示偏航角，roll表示翻滚角，a可表示放大倍数，例如，a可为1等，但不限于此。
[0076]
同理，由于头部的俯仰角会影响第一图像中检测到的人脸高度，如在人脸前俯或后仰的时候，影响第一图像中的人脸高度，因此也会影响到扩展感兴趣区域的高度(即与纵坐标轴平行的边界的边长)。可计算俯仰角的偏转程度，再根据该偏转程度及第二边长的乘积，计算得到第二变化长度。
[0077]
作为一种具体实施方式，第二变化长度可采用公式(2)进行计算：
[0078][0079]
其中，l2表示第二变化长度，h表示第二边长，pitch表示俯仰角。
[0080]
在确定扩展的区域变化尺寸后，可根据人脸区域的至少两个角点的角点坐标及该扩展的区域变化尺寸，确定各个角点对应的扩展角点的角点坐标，并根据该扩展角点的角点坐标确定扩展感兴趣区域。在一些实施例中，人脸区域的形状与扩展感兴趣区域的形状可相同，因此，人脸区域的各个角点可与扩展感兴趣区域的各个角点一一对应。
[0081]
以上述的第一角点及第二角点为例，可根据第一角点的第一横坐标及第一变化长度，确定与第一角点对应的第一扩展角点的第三横坐标；可根据第二角点的第二横坐标及第一变化长度，确定与第二角点对应的第二扩展角点的第四横坐标；可根据第一角点的第一纵坐标及第二变化长度，确定与第一角点对应的第一扩展角点的第三纵坐标；可根据第二角点的第二纵坐标及第二变化长度，确定与第二角点对应的第二扩展角点的第四纵坐标。
[0082]
示例性地，如图5b所示，第一图像500可包括人脸区域510，则人脸区域510的人脸区域信息可包括角点a及角点b的角点坐标，其中，角点a的角点坐标为(x1，y1)，角点b的角点坐标为(x2，y2)，则与角点a对应的扩展角点a’的角点坐标可为(x3，y3)，与角点b对应的扩展角点b’的角点坐标可为(x4，y4)，则x3＝x1‑
l1，x4＝x2 l1，y3＝y1‑
l2，y4＝y2 l2。通过扩展角点a’的角点坐标及扩展角点b’的角点坐标，即可确定扩展感兴趣区域520。
[0083]
在一些实施例中，在确定第三横坐标及第四横坐标后，可判断第三横坐标与第四横坐标中较大的横坐标是否大于第一图像的第三边界的第三边长，该第三边界为第一图像与人脸区域的第一边界平行的边界，若该较大的横坐标大于该第三边长，则可将该较大的横坐标调整为该第三边长的值。可判断第三横坐标与第四横坐标中较小的横坐标是否小于0，若小于0，则可将该较小的横坐标调整为0。
[0084]
例如，可判断x4是否大于第一图像的第三边界的第三边长w，若大于，则可将该x4＝w，若不大于，则x4＝x2 l1。
[0085]
在一些实施例中，在确定第三纵坐标及第四纵坐标后，可判断第三纵坐标及第四纵坐标中较大的纵坐标是否大于第一图像的第四边界的第四边长，该第四边界为第一图像
与人脸区域的第二边界平行的边界，若该较大的纵坐标大于该第四边长，则可将该较大的纵坐标调整为第四边长的值。可判断第三纵坐标与第四纵坐标中较小的纵坐标是否小于0，若小于0，则可将该较小的纵坐标调整为0。
[0086]
例如，可判断y4是否大于第一图像的第四边界的第四边长h，若大于，则可将该y4＝h，若不大于，则y4＝y2 l2。
[0087]
需要说明的是，在角点坐标为像点坐标的情况下，上述的第一边长、第二边长、第三边长、第四边长均可用边界所包含的像素点数量进行表示，也可采用其它方式表示(如物理长度)，可根据实际的坐标表示方式进行调整。
[0088]
需要说明的是，上述的角点坐标计算均是以人脸区域的左下角点及右上角点为例进行说明，也可采用其它角点，如左上角点及右下角点，则相应扩展角点的角点坐标的计算公式可相应进行调整，在此不再重复赘述，可选地，也可直接利用人脸区域的所有角点的角点坐标，计算得到相应的各个扩展角点的角点坐标。可以理解地，上述的第一边界、第二边界与图像坐标系的坐标轴之间的关系也可以进行调整，上述的关系说明仅用于说明本技术实施例的实施方式，并不用于具体限定。
[0089]
在本技术实施例中，可根据人脸区域对应的头部旋转信息及人脸区域的尺寸信息确定相应的扩展感兴趣区域，可以提高确定的扩展感兴趣区域的准确性，从而进一步保证后续图像处理的处理结果的准确性及图像处理效果。
[0090]
如图6所示，在另一个实施例中，提供一种图像处理方法，可应用于上述的电子设备，该方法可包括以下步骤：
[0091]
步骤602，确定第一图像包含的人脸信息,该人脸信息包括n个人脸区域的人脸区域信息，以及每个人脸区域对应的头部旋转信息。
[0092]
其中，n可为大于或等于2的整数。
[0093]
步骤604，根据每个人脸区域的人脸区域信息及对应的头部旋转信息，确定每个人脸区域对应的扩展感兴趣区域，以得到n个扩展感兴趣区域。
[0094]
针对第一图像中包含的每个人脸区域，均可采用上述各实施例中描述的确定扩展感兴趣区域的方式，根据每个人脸区域的人脸区域信息及对应的头部旋转信息，确定每个人脸区域对应的扩展感兴趣区域，从而可从到n个扩展感兴趣区域。
[0095]
步骤606，若n个扩展感兴趣区域中，存在两个目标扩展感兴趣区域之间的重叠程度大于程度阈值，则根据两个目标扩展感兴趣区域生成新的扩展感兴趣区域，并用新的扩展感兴趣区域替代两个目标扩展感兴趣区域。
[0096]
其中，两个目标扩展感兴趣区域之间的重叠程度是根据两个目标扩展感兴趣区域之间的重叠区域确定的。
[0097]
可根据确定的n个扩展感兴趣区域，判断n个扩展感兴趣区域中是否存在发生重叠的扩展感兴趣区域。若存在任意两个扩展感兴趣区域发生重叠，则可确定该两个扩展感兴趣区域之间的重叠区域，进一步地，可确定该重叠区域的重叠区域面积，可选地，该重叠区域面积可用该两个扩展感兴趣区域之间包含的相同的像素点的数量表示。电子设备可根据该两个扩展感兴趣区域之间的重叠区域计算重叠程度，并判断重叠程度是否大于程度阈值，若大于程度阈值，则可将该两个扩展感兴趣区域作为目标扩展感兴趣区域，并生成新的扩展感兴趣区域。
[0098]
作为一种实施方式，两个目标扩展感兴趣区域之间的重叠程度可为两个目标扩展感兴趣区域之间的重叠区域面积与图像总面积之间的比值，该图像总面积为两个目标扩展感兴趣区域在第一图像中所占的图像面积的和。具体地，可采用公式(3)计算重叠程度：
[0099][0100]
其中，iou表示两个扩展感兴趣区域之间的重叠程度，s1表示两个扩展感兴趣区域之间的重叠区域面积，s2表示两个扩展感兴趣区域在第一图像中所占的图像面积的和。
[0101]
示例性地，图7a为一个实施例中两个发生重叠的扩展感兴趣区域的示意图。如图7a所示，第一图像700中可包括扩展感兴趣区域710及扩展感兴趣区域720，扩展感兴趣区域710及扩展感兴趣区域720之间存在重叠区域730，则扩展感兴趣区域710及扩展感兴趣区域720之间的重叠程度可为重叠区域730的面积与扩展感兴趣区域710及扩展感兴趣区域720的图像总面积的比值。在计算得到扩展感兴趣区域710及扩展感兴趣区域720之间的重叠程度后，可判断该重叠程度是否大于程度阈值，若大于程度阈值，则可根据扩展感兴趣区域710及扩展感兴趣区域720生成新的扩展感兴趣区域。其中，程度阈值可根据实际需求进行设置，或可根据实验结果进行设置，例如0.2、0.3等，但不限于此。
[0102]
在其它的实施方式中，重叠程度也可采用其它方式计算，例如，可直接将两个扩展感兴趣区域之间的重叠区域面积作为重叠程度，或是可将两个扩展感兴趣区域之间的重叠区域面积与第一图像的图像面积的比值作为重叠程度等，但不限于此。
[0103]
在一个实施例中，步骤根据两个目标扩展感兴趣区域生成新的扩展感兴趣区域，可包括：确定两个目标扩展感兴趣区域包含的扩展角点中的最大横坐标、最大纵坐标、最小横坐标及最小纵坐标，并根据该最大横坐标、最大纵坐标、最小横坐标及最小纵坐标生成新的扩展感兴趣区域。该新的扩展感兴趣区域即为两个目标扩展感兴趣区域的外接矩形框所包含的图像区域。
[0104]
可获取两个目标扩展感兴趣区域包含的各个扩展角点的角点坐标，并从中确定最大横坐标、最大纵坐标、最小横坐标及最小纵坐标，该最大横坐标、最大纵坐标、最小横坐标及最小纵坐标所组成的四边形区域即为新的扩展感兴趣区域。示例性地，图7b为一个实施例中生成新的扩展感兴趣区域的示意图。如图7b所示，可根据扩展感兴趣区域710及扩展感兴趣区域720生成新的扩展感兴趣区域740，扩展感兴趣区域710及扩展感兴趣区域720的最大横坐标、最大纵坐标为扩展感兴趣区域710的右上扩展角点的角点坐标，最小横坐标及最小纵坐标为扩展感兴趣区域720的左下扩展角点的角点坐标，可形成新的扩展感兴趣区域740。可用新的扩展感兴趣区域740替代扩展感兴趣区域710及扩展感兴趣区域720，也即删除扩展感兴趣区域710及扩展感兴趣区域720，保留新的扩展感兴趣区域740。
[0105]
在其它的实施例中，也可将两个目标扩展感兴趣区域进行合并，生成新的扩展感兴趣区域，该新的扩展感兴趣区域不一定为规则的四边形，可能为多边形或是不规则形状等。
[0106]
在一些实施例中，可计算n个扩展感兴趣区域中，所有发生重叠的两个扩展感兴趣区域之间的重叠程度，并将各个重叠程度按照从大到小的顺序进行排列，可判断最大的重叠程度是否大于程度阈值，若大于，则可根据该最大的重叠程度对应的两个目标扩展感兴趣区域生成新的扩展感兴趣区域，再继续重复执行计算发生重叠的两个扩展感兴趣区域之
间的重叠程度，并将各个重叠程度按照从大到小的顺序进行排列的步骤，直至最大的重叠程度不大于程度阈值。
[0107]
例如，第一图像包括4个扩展roi：m、n、p、q，其中，m、n发生重叠，p、n发生重叠，则可先计算m、n之间的重叠程度及p、n之间的重叠程度并进行排序，若m、n之间的重叠程度最大，且m、n之间的重叠程度大于程度阈值，则可将m、n生成新的扩展感兴趣区域y，再计算y、p、q中y和p之间的重叠程度，判断y、p的重叠程度是否大于程度阈值，若大于程度阈值，则可根据y、p生成新的扩展感兴趣区域，若不大于，则停止计算。
[0108]
步骤608，分别对各个扩展感兴趣区域进行图像处理，得到处理结果。
[0109]
电子设备可分别对保留的各个扩展感兴趣区域进行图像处理，得到各个扩展感兴趣区域对应的处理结果。图像处理的方式可参考上述各实施例中的相关描述，在此不再重复赘述。
[0110]
在本技术实施例中，在存在两个扩展感兴趣区域发生较大重叠时，直接根据该两个扩展感兴趣区域生成新的扩展感兴趣区域，并用新的扩展感兴趣区域替换原来的扩展感兴趣区域，可以避免部分图像区域出现重复计算的情况，进一步减少计算量，提高图像处理效率。
[0111]
如图8所示，在一个实施例中，提供一种图像处理装置800，可应用于上述的电子设备，该图像处理装置800可包括
[0112]
信息确定模块810，用于确定第一图像包含的人脸信息，人脸信息包括人脸区域信息及人脸区域信息对应的头部旋转信息，其中，人脸区域信息用于表征人脸区域在第一图像中的图像位置，人脸区域信息对应的头部旋转信息用于表征与人脸区域对应的头部在三维空间中的旋转状态。
[0113]
区域扩展模块820，用于根据人脸区域信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域。
[0114]
处理模块830，用于对扩展感兴趣区域进行图像处理，得到处理结果。
[0115]
在一个实施例中，处理模块830，还用于对扩展感兴趣区域进行裁剪，得到第二图像；对第二图像进行图像处理，得到处理结果；其中，图像处理包括人像分割、头发区域识别、深度估计中的一种或多种。
[0116]
在本技术实施例中，确定第一图像包含的人脸信息，该人脸信息包括人脸区域信息及人脸区域信息对应的头部旋转信息，根据该人脸区域信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域，再对扩展感兴趣区域进行图像处理，得到处理结果，不需要对整张第一图像进行图像处理，而只需要处理扩展感兴趣区域，能够减少图像处理的计算量，提高图像处理效率，而且，该扩展感兴趣区域是基于人脸区域信息及对应的头部旋转信息确定的，能够提高确定的扩展感兴趣区域的准确性，以保证图像处理的处理结果的准确性，保证了图像处理效果。
[0117]
在一个实施例中，区域扩展模块820，包括尺寸确定单元及区域确定单元。
[0118]
尺寸确定单元，用于根据人脸区域信息确定人脸区域的尺寸信息。
[0119]
区域确定单元，用于根据尺寸信息及人脸区域信息对应的头部旋转信息，确定人脸区域对应的扩展感兴趣区域。
[0120]
在一个实施例中，人脸区域信息包括人脸区域的至少两个角点的角点坐标。区域
确定单元，还用于根据尺寸信息及人脸区域信息对应的头部旋转信息，确定扩展的区域变化尺寸；以及用于根据至少两个角点的角点坐标及区域变化尺寸，确定各个角点对应的扩展角点的角点坐标，并根据扩展角点的角点坐标确定扩展感兴趣区域。
[0121]
在一个实施例中，尺寸信息包括人脸区域的第一边界的第一边长及第二边界的第二边长，第一边界与第一图像的图像坐标系的横坐标轴，第二边界与图像坐标系的纵坐标轴平行；头部旋转信息包括俯仰角、偏航角及翻滚角。
[0122]
区域确定单元，还用于根据第一边长及偏航角及翻滚角，确定与横坐标轴对应的第一变化长度；根据第二边长及俯仰角，确定与纵坐标轴对应的第二变化长度。
[0123]
在一个实施例中，人脸区域信息包括第一角点的第一角点坐标及第二角点的第二角点坐标，第一角点坐标包括第一横坐标及第一纵坐标，第二角点坐标包括第二横坐标及第二纵坐标，第一横坐标区别于第二横坐标，第一纵坐标区别于第二纵坐标；第一横坐标、第二横坐标为横坐标轴上的坐标，第一纵坐标、第二纵坐标为纵坐标轴上的坐标。
[0124]
区域确定单元，还用于根据第一横坐标及第一变化长度，确定与第一角点对应的第一扩展角点的第三横坐标；根据第二横坐标及第一变化长度，确定与第二角点对应的第二扩展角点的第四横坐标；根据第一纵坐标及第二变化长度，确定与第一角点对应的第一扩展角点的第三纵坐标；根据第二纵坐标及第二变化长度，确定与第二角点对应的第二扩展角点的第四纵坐标；根据第一扩展角点的第三横坐标、第三纵坐标，以及第二扩展角点的第四横坐标、第四纵坐标，确定扩展感兴趣区域。
[0125]
在本技术实施例中，可根据人脸区域对应的头部旋转信息及人脸区域的尺寸信息确定相应的扩展感兴趣区域，可以提高确定的扩展感兴趣区域的准确性，从而进一步保证后续图像处理的处理结果的准确性及图像处理效果。
[0126]
在一个实施例中，人脸信息包括n个人脸区域的人脸区域信息，以及每个人脸区域对应的头部旋转信息，n为大于或等于2的整数。
[0127]
区域扩展模块820，还用于根据每个人脸区域的人脸区域信息及对应的头部旋转信息，确定每个人脸区域对应的扩展感兴趣区域，以得到n个扩展感兴趣区域；以及用于若n个扩展感兴趣区域中，存在两个目标扩展感兴趣区域之间的重叠程度大于程度阈值，则根据两个目标扩展感兴趣区域生成新的扩展感兴趣区域，并用新的扩展感兴趣区域替代两个目标扩展感兴趣区域，其中，两个目标扩展感兴趣区域之间的重叠程度是根据两个目标扩展感兴趣区域之间的重叠区域确定的。
[0128]
在一个实施例中，区域扩展模块820，还用于确定两个目标扩展感兴趣区域包含的扩展角点中的最大横坐标、最大纵坐标、最小横坐标及最小纵坐标；根据最大横坐标、最大纵坐标、最小横坐标及最小纵坐标生成新的扩展感兴趣区域。
[0129]
在一个实施例中，两个目标扩展感兴趣区域之间的重叠程度为两个目标扩展感兴趣区域之间的重叠区域面积与图像总面积之间的比值，图像总面积为两个目标扩展感兴趣区域在第一图像中所占的图像面积的和。
[0130]
在本技术实施例中，在存在两个扩展感兴趣区域发生较大重叠时，直接根据该两个扩展感兴趣区域生成新的扩展感兴趣区域，并用新的扩展感兴趣区域替换原来的扩展感兴趣区域，可以避免部分图像区域出现重复计算的情况，进一步减少计算量，提高图像处理效率。
[0131]
图9为一个实施例中电子设备的结构框图。如图9所示，电子设备900可以包括一个或多个如下部件：处理器910、与处理器910耦合的存储器920，其中存储器920可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器910执行时实现如上述各实施例描述的方法。
[0132]
处理器910可以包括一个或者多个处理核。处理器910利用各种接口和线路连接整个电子设备900内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行电子设备900的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器910可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块通信芯片进行实现。
[0133]
存储器920可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory，rom)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备900在使用中所创建的数据等。
[0134]
可以理解地，电子设备900可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、wifi(wireless fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。
[0135]
本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。
[0136]
本技术实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
[0137]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、rom等。
[0138]
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括rom、可编程rom(programmable rom，prom)、可擦除prom(erasable prom，eprom)、电可擦除prom(electrically erasable prom，eeprom)或闪存。易失性存储器可包括随机存取存储器(random access memory，ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram可为多种形式，诸如静态ram(static ram，sram)、动态ram(dynamic random access memory，dram)、同步dram(synchronous dram，sdram)、双倍数据率sdram(double data rate sdram，ddr sdram)、增
强型sdram(enhanced synchronous dram，esdram)、同步链路dram(synchlink dram，sldram)、存储器总线直接ram(rambus dram，rdram)及直接存储器总线动态ram(direct rambus dram，drdram)。
[0139]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0140]
在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0141]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0142]
另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0143]
以上对本技术实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。