一种基于位置可控的人头分割方法与流程

1.本发明涉及图像处理相关技术领域，尤其是指一种基于位置可控的人头分割方法。


背景技术：

2.人头分割是目前短视频软件中比较常见的功能，其目的是为用户制作表情包、人头贴纸、换动漫身体等特效玩法提供基础。
3.目前大多数的人头分割都是基于深度学习技术开发，通常采用语义分割模型来扣取图像中的人头部分。然而在图片中存在多人的情况时，无法对单一人头进行针对性的扣取，导致可玩性大大降低。虽然还有实例分割技术能对多人场景下的人头进行有区别性的分割，但是目前实例分割技术的运行考虑不高，并且还需要复杂的后处理，不适合端侧部署。


技术实现要素：

4.本发明是为了克服现有技术中存在上述的不足，提供了一种运行效率高且灵活的基于位置可控的人头分割方法。
5.为了实现上述目的，本发明采用以下技术方案：
6.一种基于位置可控的人头分割方法，具体包括如下步骤：
7.(1)对输入图片进行预处理，将分辨率缩放到256x256，然后对其进行归一化操作，将像素点的范围控制在
‑
1到1之间；
8.(2)构建人头关键点检测模块，将步骤(1)中的输入图片输入到人头关键点检测模块，得到1x256x256的关键点特征，对关键点特征进行位置解析，得到每个人头的中心点坐标，假设n＝{n1,n2,n3,
…
}表示人头的个数，其中n
i
＝{x
i
,y
i
}表示每个人头在图片中的具体位置；
9.(3)假设用户点击位置为i＝{x,y}，并且存在用户点击位置不完全在图片中人头的情况，通过位置矫正模块通过将位置i循环的与n个人头的位置进行最近距离匹配，通过比较n个最近距离的大小来获取最接近用户点击位置的人头n
j
，并将该人头默认为用户需要从图片中扣取的人头；
10.(4)对人头n
j
的坐标进行高斯模糊来得到特定位置的条件，高斯模糊的计算公式如下：其中σ＝2，并且高斯核的大小设置为10来加大位置条件的信息范围，从而保证更好的对特定位置的人头进行分割；
11.(5)构建人头分割模块，该模块是一个全卷积神经网络，由编码和解码两个模块组成，编码模块由4个特征提取单元组成，每个特征提取单元由两个卷积层和一个下采样层组成，每个下采样层的倍数为2，因此整个编码模块共进行16倍的下采样；另外在解码模块中，利用一个卷积层和一个上采样的组合来恢复特征的尺寸，每次进行2倍的上采样，同时将该
特征与编码模块中相同尺寸的特征进行融合，按该方式进行4次操作，最终得到与原图大小一致的输出特征；最后对输出特征进行sigmoid函数激活；
12.(6)将步骤(1)中的输入图片和步骤(4)中的人头位置条件信息进行合并，然后输入到步骤(5)中人头分割网络中，得到对应位置的单独人头掩膜，完成用户需要的人头分割。
13.本方法利用先利用人头关键点检测网络以及位置矫正模块获取用户需要分割的人头位置，后利用该位置和人头分割的分割网络来精确的对该人头进行分割，忽略图片中其他人的影响，能够精确的对多人场景下的单一人头进行分割，更加灵活方法，提高运行效率，部署在手机端。
14.作为优选，在步骤(2)中，人头关键点检测模块指的是：一个全卷积神经网络，由编码和解码两个模块组成，编码模块由5个特征提取单元组成，每个特征提取单元由两个卷积层和一个下采样层组成，每个下采样层的倍数为2，因此整个编码模块共进行32倍的下采样；在解码模块中，利用两个卷积层和一个上采样的组合来恢复特征的尺寸，每次进行2倍的上采样，同时将该特征与编码模块中相同尺寸的特征进行融合，按该方式进行5次操作，最终得到与原图大小一致的输出特征图；对输出特征图中的关键点位置进行解析，每个关键点位置利用求取期望的方法来获得其在原图中的具体坐标信息。
15.作为优选，在步骤(3)中，位置i与n个人头的位置的最近距离dst计算公式如下
[0016][0017]
本发明的有益效果是：能够精确的对多人场景下的单一人头进行分割，更加灵活方法，提高运行效率，部署在手机端。
附图说明
[0018]
图1是本发明的方法流程图。
具体实施方式
[0019]
下面结合附图和具体实施方式对本发明做进一步的描述。
[0020]
如图1所述的实施例中，一种基于位置可控的人头分割方法，具体包括如下步骤：
[0021]
(1)对输入图片进行预处理，将分辨率缩放到256x256，然后对其进行归一化操作，将像素点的范围控制在
‑
1到1之间；
[0022]
(2)构建人头关键点检测模块，将步骤(1)中的输入图片输入到人头关键点检测模块，得到1x256x256的关键点特征，对关键点特征进行位置解析，得到每个人头的中心点坐标，假设n＝{n1,n2,n3,
…
}表示人头的个数，其中n
i
＝{x
i
,y
i
}表示每个人头在图片中的具体位置；人头关键点检测模块指的是：一个全卷积神经网络，由编码和解码两个模块组成，编码模块由5个特征提取单元组成，每个特征提取单元由两个卷积层和一个下采样层组成，每个下采样层的倍数为2，因此整个编码模块共进行32倍的下采样；在解码模块中，利用两个卷积层和一个上采样的组合来恢复特征的尺寸，每次进行2倍的上采样，同时将该特征与编码模块中相同尺寸的特征进行融合，按该方式进行5次操作，最终得到与原图大小一致的输出特征图；对输出特征图中的关键点位置进行解析，每个关键点位置利用求取期望的方法来获得其在原图中的具体坐标信息；
[0023]
(3)假设用户点击位置为i＝{x,y}，并且存在用户点击位置不完全在图片中人头的情况，通过位置矫正模块通过将位置i循环的与n个人头的位置进行最近距离匹配，通过比较n个最近距离的大小来获取最接近用户点击位置的人头n
j
，并将该人头默认为用户需要从图片中扣取的人头；位置i与n个人头的位置的最近距离dst计算公式如下
[0024][0025]
(4)对人头n
j
的坐标进行高斯模糊来得到特定位置的条件，高斯模糊的计算公式如下：其中σ＝2，并且高斯核的大小设置为10来加大位置条件的信息范围，从而保证更好的对特定位置的人头进行分割；
[0026]
(5)构建人头分割模块，该模块是一个全卷积神经网络，由编码和解码两个模块组成，编码模块由4个特征提取单元组成，每个特征提取单元由两个卷积层和一个下采样层组成，每个下采样层的倍数为2，因此整个编码模块共进行16倍的下采样；另外在解码模块中，利用一个卷积层和一个上采样的组合来恢复特征的尺寸，每次进行2倍的上采样，同时将该特征与编码模块中相同尺寸的特征进行融合，按该方式进行4次操作，最终得到与原图大小一致的输出特征；最后对输出特征进行sigmoid函数激活；
[0027]
(6)将步骤(1)中的输入图片和步骤(4)中的人头位置条件信息进行合并，然后输入到步骤(5)中人头分割网络中，得到对应位置的单独人头掩膜，完成用户需要的人头分割。
[0028]
整个方法包括人头关键点检测模块、位置矫正模块以及人头分割三个模块组成。通过位置矫正模块对用户点击位置进行矫正，从而匹配到人头关键点位置。利用该关键点信息和人头分割模块得到最终的人头分割结果。整个系统采用轻量化的模型设计，运行效果高。本方法利用先利用人头关键点检测网络以及位置矫正模块获取用户需要分割的人头位置，后利用该位置和人头分割的分割网络来精确的对该人头进行分割，忽略图片中其他人的影响，能够精确的对多人场景下的单一人头进行分割，更加灵活方法，提高运行效率，部署在手机端。