基于肤色检测的视频编码控制方法及装置与流程

1.本技术实施例涉及视频编码技术领域，尤其涉及一种基于肤色检测的视频编码控制方法及装置。


背景技术：

2.随着计算机、手机等智能设备与其相关技术的飞速发展，互联网已经逐渐渗透到人类生活的方方面面，切实改变了我们的生活方式。得益于此，用户可以在各种移动电子设备上看到直播、短视频等视频内容。视频在网络传输为了提高传输效率，会使用压缩算法进行视频编码压缩，如果不进行压缩，则数据量过大无法满足民用网络带宽的传输要求。
3.在进行视频编码时，由于人眼对视频不同区域的感知程度不同，针对人眼感兴趣的区域进行码率资源的倾斜，即采用相对于其它人眼不感兴趣区域采用更高的码率进行编码，而针对人眼不感兴趣区域采用相对低的码率进行视频编码能够在保证总体码率不变的情况下，给用户更好的观感。相关技术中，通常采用基于肤色检测的方式确定视频图像的感兴趣区域，在进行视频图像不同区域的区别性的编码时，由于检测单元大小固定，如16*16大小的检测单元，导致检测单元较大时，出现视频感兴趣区域检测不准的问题，进而降低了视频编码效果。


技术实现要素：

4.本技术实施例提供了一种基于肤色检测的视频编码控制方法及装置，解决了相关技术中，感兴趣区域检测准确度低、灵活性差的问题，提升了视频编码效果。
5.第一方面，本技术实施例提供了一种基于肤色检测的视频编码控制方法，该方法包括：
6.对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果；
7.根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块；
8.根据所述编码块的肤色显著度值对所述编码块进行视频编码。
9.第二方面，本技术实施例还提供了一种基于肤色检测的视频编码控制装置，包括：
10.肤色检测模块，配置为对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果；
11.编码块肤色确定模块，配置为根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块；
12.视频编码模块，配置为根据所述编码块的肤色显著度值对所述编码块进行视频编码。
13.第三方面，本技术实施例还提供了一种基于肤色检测的视频编码控制设备，该设备包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序，
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本技术实施例所述的基于肤色检测的视频编码控制方法。
17.第四方面，本技术实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本技术实施例所述的基于肤色检测的视频编码控制方法。
18.第五方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本技术实施例所述的基于肤色检测的视频编码控制方法。
19.本技术实施例中，通过对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果，根据肤色检测结果确定对应的编码块的肤色显著度值，其中，一个编码块包含多个所述检测单元，视频图像包含多个编码块，根据编码块的肤色显著度值对编码块进行视频编码，解决了相关技术中，感兴趣区域检测准确度低、灵活性差的问题，优化了肤色检测机制，提高了肤色检测的灵活性，提升了视频编码效果。
附图说明
20.图1为本技术实施例提供的一种基于肤色检测的视频编码控制方法的流程图；
21.图2为本技术实施例提供的一种具体的对视频图像进行划分并进行检测单元识别的方法的流程图；
22.图3为本技术实施例提供的一种根据多个检测单元中每个检测单元的肤色检测结果确定编码块的肤色显著度值的方法的流程图；
23.图4为本技术实施例提供的一种根据编码块的肤色显著度值对编码块进行视频编码的方法的流程图；
24.图5为本技术实施例提供的另一种基于肤色检测的视频编码控制方法的流程图；
25.图6为本技术实施例提供的一种基于肤色检测的视频编码控制装置的结构框图；
26.图7为本技术实施例提供的一种基于肤色检测的视频编码控制设备的结构示意图。
具体实施方式
27.下面结合附图和实施例对本技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术实施例，而非对本技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术实施例相关的部分而非全部结构。
28.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
29.图1为本技术实施例提供的一种基于肤色检测的视频编码控制方法的流程图，可用于视频编码过程中，该方法可以由计算设备如服务器、智能终端、笔记本、平板电脑等来执行，具体包括如下步骤：
30.步骤s101、对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果。
31.在一个实施例中，进行视频图像的编码时，针对视频图像的不同区域采用不同的编码质量。针对用户感兴趣区域进行相对高质量显示效果的编码，针对用户的非感兴趣区域，采用相对低质量的编码。其中，感兴趣区域指视频图像帧中某个块或多个块所在的像素区域，为用户关注的区域。
32.在一个实施例中，适用于直播或包含人体的视频画面，采用对肤色的检测表征用户感兴趣区域的情况。如肤色所在的区域通常为人脸或人体区域，即为用户感兴趣的区域。由此，通过对肤色的识别以确定视频图像的感兴趣区域和非感兴趣区域。
33.在一个实施例中，对视频图像中划分的多个检测单元进行检测，以得到每个检测单元的肤色检测结果。其中，检测单元为设置的固定尺寸大小的单元块，示例性的，可以是8*8尺寸大小的检测单元。一帧视频图像可包含多个8*8尺寸大小的检测单元，如1024*1024尺寸大小的图像，可划分为16384个8*8尺寸大小的检测单元。通过对每个检测单元进行识别以得到其是否为肤色块的检测结果。可选的，可通过训练的肤色检测模型来识别得到每个检测单元是否为肤色块的检测结果。
34.步骤s102、根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块。
35.在一个实施例中，进行视频编码的控制时，针对设置的固定尺寸的编码块进行。其中，编码块的尺寸大于检测单元的尺寸，即一个编码块包含多个检测单元。具体的编码块的尺寸大小可灵活设置，并非采用固定大小，且不受限于各种视频编码压缩标准，如不受限于hevc的视频编码标准。因为在hevc的视频编码标准，其编码块大小在一次编码过程中固定，而本方案中的检测单元大小和编码块大小均可灵活调节设置，仅需要保证编码块的大小不小于检测单元的大小即可。
36.在一个实施例中，得到肤色检测结果后，基于该肤色检测结果确定对应的编码块的肤色显著度值。示例性的，以检测单元的尺寸大小为8*8为例，编码块的尺寸大小示例性的为64*64，即一个编码块包含64个检测单元，即可通过该64个检测单元对应的肤色检测结果来确定出该编码块的肤色显著度值。此时，针对一帧视频1024*1024尺寸大小的视频图像而言，其包含256个编码块，针对每个编码块其肤色显著度值由各自对应的64个检测单元的肤色检测结果确定。在另一个实施例中，针对不同的场景需求，设置的编码块的尺寸大小示例性的为32*32，则此时一个编码块包含16个检测单元，针对256*256的一帧视频图像而言，其包含64个编码块，此时基于该64个编码块的肤色显著度值来确定该视频图像的感兴趣区域和非感兴趣区域。
37.其中，肤色显著度值的取值范围为区间范围，区间范围内的不同值后续对应使用不同的码控方式进行对应编码块的编码。可选的，该肤色显著度值计算过程可以是根据对应编码块中包含的检测单元为肤色单元的占比。
38.步骤s103、根据所述编码块的肤色显著度值对所述编码块进行视频编码。
39.在一个实施例中，确定编码块的肤色显著度值后，基于该肤色显著度值对编码块进行视频编码。即在针对视频图像编码过程中，针对每个编码块，依据确定出的肤色显著度值进行不同视频质量的编码。其中，以肤色显著度值越大表征越为感兴趣区域的情况，采用需要更多比特的码控方案进行视频编码。肤色显著度值越低采用相对更低比特的码控方案进行视频编码。
40.由上述方案可知，通过对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果，根据肤色检测结果确定对应的编码块的肤色显著度值，其中，一个编码块包含多个所述检测单元，视频图像包含多个编码块，根据编码块的肤色显著度值对编码块进行视频编码，在进行视频编码过程中，通过设置编码块，利用包含的检测单元来确定每个编码块的肤色检测结果，进而基于编码块实现不同的视频区域的编码，解决了相关技术中，感兴趣区域检测准确度低、灵活性差的问题，优化了肤色检测机制，提高了肤色检测的灵活性，提升了视频编码效果。
41.图2为本技术实施例提供的一种具体的对视频图像进行划分并进行检测单元识别的方法的流程图，如图2所示，具体包括：
42.步骤s201、确定输入的视频图像是否为预设格式图像，响应于所述视频图像为预设格式图像的判断结果，获取所述视频图像的尺寸参数。
43.在一个实施例中，该预设格式图像可选的为yuv格式的视频图像，如果识别到为非yuv格式的视频图像，如rgb格式的视频图像则将其转换为yuv格式的视频图像。如果为yuv格式的视频图像，响应于所述视频图像为预设格式图像的判断结果，获取所述视频图像的尺寸参数。其中，该尺寸参数可选的为视频图像的高度与宽度，如分别记为h和w。
44.步骤s202、根据所述尺寸参数和预设检测单元尺寸对所述视频图像进行划分得到多个检测单元，通过肤色检测模型对每个所述检测单元进行检测，得到每个所述检测单元的肤色检测结果。
45.其中，该预设检测单元尺寸可选的为4*4大小或8*8大小的图像尺寸。即将一帧视频图像进行划分得到多个小的检测单元。在对检测单元进行肤色识别时，采用肤色检测模型对每个所述检测单元进行检测，以输出相应的检测结果。其中，具体使用的肤色检测模型不做限定，示例性的可以是建模得到的高斯模型、椭圆模型等。
46.步骤s203、根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块。
47.步骤s204、根据所述编码块的肤色显著度值对所述编码块进行视频编码。
48.由上述可知，确定输入的视频图像是否为预设格式图像，响应于所述视频图像为预设格式图像的判断结果，获取视频图像的尺寸参数，根据尺寸参数和预设检测单元尺寸对所述视频图像进行划分得到多个检测单元，通过肤色检测模型对每个检测单元进行检测，可以实现针对设置模式的视频图像进行检测单元的划分和识别，通过使用肤色检测模型的方式效率更高，同时针对非预设格式图像，对其进行图像格式变换，提高了方案的适用性。
49.在一个可能的实施例中，可通过设置不同的编码块的编码尺寸的方式，实现不同粒度的码控方案，灵活性更强。具体的，根据肤色检测结果确定对应的编码块的肤色显著度
值，包括：获取编码块的编码尺寸，根据编码尺寸确定对应的多个检测单元，根据多个检测单元中每个检测单元的肤色检测结果确定编码块的肤色显著度值。示例性的，编码尺寸和检测单元的尺寸大小可以是固定长宽的正方形尺寸，具体编码块的尺寸参数可以是正方形的边长(记为l)，检测单元示例性的尺寸大小为8*8，通过正方形的面积(l2)除以检测单元的面积(8*8)即可得到每个编码块对应包含的多个检测单元。进一步的，后续根据多个检测单元中每个检测单元的肤色检测结果确定编码块的肤色显著度值。
50.图3为本技术实施例提供的一种根据多个检测单元中每个检测单元的肤色检测结果确定编码块的肤色显著度值的方法的流程图，如图3所示，具体包括：
51.步骤s301、对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果。
52.步骤s302、获取编码块的编码尺寸，根据所述编码尺寸确定对应的多个检测单元，对所述编码块对应的多个检测单元中，肤色检测结果为肤色标识的检测单元进行统计，得到肤色单元占比。
53.在一个实施例中，肤色检测结果包括肤色标识。即针对每个检测单元对应记录其是否为肤色，针对识别为肤色块的检测单元标记为肤色标识，相应的识别为非肤色块的检测单元标记为非肤色标识，或者不进行标记。
54.可选的，具体的记录形式可以是生成和检测单元对应的矩阵，如一帧视频图像的尺寸为h*w，检测单元的尺寸为8*8，则划分为个检测单元，通过二维矩阵xy进行肤色检测结果的存储，相应的采用xy轴方式进行坐标划分，x轴下标范围y轴下标范围x轴和y轴的取值定位一个检测单元，相应的存储该检测单元的肤色检测结果，如0代表肤色标识，其被识别为肤色块；1代表非肤色标识，被识别为非肤色块。
55.步骤s303、根据所述肤色单元占比以及设置的肤色块阈值和非肤色块阈值计算得到所述编码块的肤色显著度值。
56.在一个实施例中，在进行编码块的肤色显著度值的计算时，进一步的优化为根据肤色单元占比以及设置的肤色块阈值和非肤色块阈值计算得到编码块的肤色显著度值，示例性的，肤色块阈值记为t
skin
，非肤色块阈值记为t
non-skin
其中，肤色块阈值t
skin
的取值示例性的为18，非肤色块阈值t
non-skin
取值为1。
57.具体的，确定编码块的肤色显著度值的过程可以是：在所述肤色单元占比与所述肤色块阈值的乘积，以及所述非肤色块阈值中选取二者中的最大值作为所述编码块的肤色显著度值。示例性的，以一个编码块中包含的检测单元m中，识别结果中肤色单元记为n，则肤色单元占比记为n/m，该编码块的肤色显著度值计算结果为max(t
skin
*n/m,t
non-skin
)。
58.步骤s304、根据所述编码块的肤色显著度值对所述编码块进行视频编码。
59.由上述可知，通过确定编码块的肤色显著度值的方式进行视频图像的视频编码实现码控，在肤色显著度值计算时，在肤色单元占比与肤色块阈值的乘积，以及非肤色块阈值中选取二者中的最大值作为编码块的肤色显著度值，针对每个编码块而言，通过统计肤色单元的占比的方式实现视频图像编码方案的动态调节，而并非采用只要存在肤色单元即采用相同的视频图像编码的方式进行码控，而进一步提升视频的主观画质。
60.图4为本技术实施例提供的一种根据编码块的肤色显著度值对编码块进行视频编
码的方法的流程图，如图4所示，具体包括：
61.步骤s401、对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果。
62.步骤s402、根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块。
63.步骤s403、根据所述编码块的肤色显著度值确定所述编码块的量化参数，根据所述量化参数对所述编码块进行视频编码。
64.在一个实施例中，在基于不同的肤色显著度值进行不同的编码方式时，采用根据编码块的肤色显著度值的不同确定不同的量化参数，示例性的该量化参数为视频编码中的qp值，其用于图像视频压缩，是控制视频压缩质量的重要参数。其中，具体的计算关系本方案不做限定。二者的关系限定为：肤色显著度值越高，对应的量化参数的值越低，视频编码所需的比特数越高。可选的，可以是直接定义不同的肤色显著度值对应不同的具体的qp值，通常qp值根据不同的视频编码压缩算法，其取值范围也为设置的区间值，可针对该qp值的区间值与肤色显著度值的区间值进行映射。示例性的，假定肤色显著度值的取值范围为1至18，qp值的取值范围为1至18，则肤色显著度值1对应qp值18，肤色显著度值2对应qp值17，肤色显著度值3对应qp值16，依次类推。当然上述仅为一种示例性的表征肤色显著度值越高，述量化参数的值越低的方式，并不限于其它计算方式。
65.在另一个实施例中，针对肤色显著度值小于一定阈值的情况，不进行qp值的增加，即设置肤色显著度值小于一定阈值时，qp值保持一个相对较大的固定值，以避免视频质量差异过大。
66.由上述可知，根据编码块的肤色显著度值确定所述编码块的量化参数，其中，肤色显著度值越高，量化参数的值越低，再根据量化参数对编码块进行视频编码，其中，量化参数的值越低，视频编码使用的比特数越高，由此实现了针对每个编码块而言，进行动态的编码块的编码调整，以合理利用资源，避免码率浪费。
67.图5为本技术实施例提供的另一种基于肤色检测的视频编码控制方法的流程图，如图5所示，具体包括：
68.步骤s501、对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果。
69.步骤s502、根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块。
70.步骤s503、根据所述视频图像中每个编码块的肤色显著度值生成所述视频图像对应的肤色显著度图，对所述肤色显著度图中的每个编码块依次进行视频编码。
71.在一个实施例中，对视频图像进行编码时，根据确定出的视频图像中每个编码块的肤色显著度值生成视频图像对应的肤色显著度图，可选的，该肤色显著度图以二维矩阵的形式表征，再基于肤色显著度图中的每个编码块依次进行视频编码。具体的，针对每帧视频图像采用总码率不变的情况进行视频编码时，通过肤色显著度图统计出一帧视频图像中的肤色总体占比，基于该肤色总体占比以确定其所占的整体码率资源，以相应的设置对应的倾斜资源量。示例性的，假定一帧视频图像的编码压缩后的总大小记为a，如果其中肤色总体占比为20％，可根据设置的倾斜比率，如倾斜整体码率资源的50％用于该占比20％的
肤色区域也即感兴趣区域的编码，剩余80％非肤色区域占用剩余的50％的整体码率资源进行编码。由此，通过生成肤色显著度图的方式，确定整体的码率倾斜情况，在基于每个编码块的具体的肤色显著度值依次进行各自的编码得到最终视频图像的压缩图像，以进行传输或存储。
72.图6为本技术实施例提供的一种基于肤色检测的视频编码控制装置的结构框图，该装置用于执行上述实施例提供的基于肤色检测的视频编码控制方法，具备执行方法相应的功能模块和有益效果。如图6所示，该装置具体包括：肤色检测模块101、编码块肤色确定模块102和视频编码模块103，其中，
73.肤色检测模块101，配置为对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果；
74.编码块肤色确定模块102，配置为根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块；
75.视频编码模块103，配置为根据所述编码块的肤色显著度值对所述编码块进行视频编码。
76.由上述方案可知，通过对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果，根据肤色检测结果确定对应的编码块的肤色显著度值，其中，一个编码块包含多个所述检测单元，视频图像包含多个编码块，根据编码块的肤色显著度值对编码块进行视频编码，解决了相关技术中，感兴趣区域检测准确度低、灵活性差的问题，优化了肤色检测机制，提高了肤色检测的灵活性，提升了视频编码效果。
77.在一个可能的实施例中，所述对视频图像中划分的多个检测单元进行检测，包括：
78.确定输入的视频图像是否为预设格式图像；
79.响应于所述视频图像为预设格式图像的判断结果，获取所述视频图像的尺寸参数，根据所述尺寸参数和预设检测单元尺寸对所述视频图像进行划分得到多个检测单元；
80.通过肤色检测模型对每个所述检测单元进行检测。
81.在一个可能的实施例中，所述根据所述肤色检测结果确定对应的编码块的肤色显著度值，包括：
82.获取编码块的编码尺寸，根据所述编码尺寸确定对应的多个检测单元；
83.根据所述多个检测单元中每个检测单元的肤色检测结果确定所述编码块的肤色显著度值。
84.在一个可能的实施例中，所述肤色检测结果包括肤色标识，所述编码块肤色确定模块102，配置为：
85.对所述编码块对应的多个检测单元中，肤色检测结果为肤色标识的检测单元进行统计，得到肤色单元占比；
86.根据所述肤色单元占比以及设置的肤色块阈值和非肤色块阈值计算得到所述编码块的肤色显著度值。
87.在一个可能的实施例中，所述编码块肤色确定模块102，配置为：
88.在所述肤色单元占比与所述肤色块阈值的乘积，以及所述非肤色块阈值中选取二者中的最大值作为所述编码块的肤色显著度值。
89.在一个可能的实施例中，所述视频编码模块103，配置为：
90.根据所述编码块的肤色显著度值确定所述编码块的量化参数，其中，所述肤色显著度值越高，所述量化参数的值越低；
91.根据所述量化参数对所述编码块进行视频编码，其中，所述量化参数的值越低，视频编码使用的比特数越高。
92.在一个可能的实施例中，所述视频编码模块103，配置为：根据所述视频图像中每个编码块的肤色显著度值生成所述视频图像对应的肤色显著度图；
93.对所述肤色显著度图中的每个编码块依次进行视频编码。
94.图7为本技术实施例提供的一种基于肤色检测的视频编码控制设备的结构示意图，如图7所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图7中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图7中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术实施例中的基于肤色检测的视频编码控制方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于肤色检测的视频编码控制方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
95.本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的基于肤色检测的视频编码控制方法，其中，包括：
96.对视频图像中划分的多个检测单元进行检测，得到每个所述检测单元的肤色检测结果；
97.根据所述肤色检测结果确定对应的编码块的肤色显著度值，所述编码块包含多个所述检测单元，所述视频图像包含多个编码块；
98.根据所述编码块的肤色显著度值对所述编码块进行视频编码。
99.值得注意的是，上述基于肤色检测的视频编码控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本技术实施例的保护范围。
100.在一些可能的实施方式中，本技术提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本技术实施例所记载的基于肤色检测的视频编码控制方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。