一种涉及人像的视频打码方法、介质及设备与流程

1.本发明涉及一般的图像数据处理或产生的技术领域，特别涉及一种涉及人像的视频打码方法、介质及设备。


背景技术：

2.马赛克，又被称为“打码”，是一种常见的图像（视频）处理手段，其将影像特定区域的色阶细节劣化并造成色块打乱的效果，目的常是使图像（视频）无法被轻易辨认，通常出现在新闻报道、监控视频特殊处理中，用于遮挡人物，特别是遮挡人物面部。
3.公开号为cn114359088a 的中国专利公开了一种对视频特定目标人物进行打码处理的方法，构建目标人物人脸数据库，从视频流中提取视频帧，对其进行人脸检测，位置标记及利用训练好的模型进行人脸矫正，利用改进的残差网络从矫正的人脸图像中提取特征向量，将其与人脸数据库中目标人物的特征向量进行比对，若相似度大于预设阈值，则将该人脸图像标记为需要打码的目标人物，对标记的目标人物进行打码处理，重复并逐帧合成视频流输出。公开号为cn111898587a的中国专利公开了一种视频打码处理方法和装置，应用于预先部署的直播系统，直播系统包括摄像头、终端设备和监控设备，方法包括获取所述摄像头拍摄的视频流，视频流为摄像头分别从不同角度针对目标对象拍摄所得，提取视频流中的所有视频帧，将所述视频帧中与预置人脸数据库匹配的区域作为目标打码区域，对所述视频帧中的目标打码区域进行打码处理，并将打码处理后的所述视频流推送至监控设备。
4.现有技术中，对于视频流的马赛克处理主要存在以下缺陷：（1）在识别人像前需要先建立人脸数据库，在比对后才能实现打码，无法快速对视频流进行处理，影响视频画面打码的速度和打码于人像的完整度；（2）易出现人像跟踪不稳定，进而出现人像的全部或部分丢失马赛克，导致个人信息被泄漏，甚至是更为严重的安全问题，目前尚无一种较有效的马赛克跟随方法；（3）马赛克信息无法灵活调节，导致其或是处理不足、或是处理过当，特别是处理不足时，面对的问题往往是即便视频上设置了马赛克，还是可以通过细节等推测被打码人像的身份，而处理过当则是指其打码厚度已经过大到可能影响部分权限较高人员获取视频关联信息。


技术实现要素：

5.本发明解决了现有技术中存在的问题，提供了一种涉及人像的视频打码方法、介质及设备。
6.本发明所采用的技术方案是，一种涉及人像的视频打码方法，所述方法包括以下步骤：步骤1：输入视频，基于视频进行人像密度估计；步骤2：基于上一帧视频的人像密度估计进行人像标记；
步骤3：对已经标记的人像进行分区，对任一分区后的人像匹配打码策略；步骤4：基于当前视频查阅人的权限获取打码策略，以打码策略对视频中已经标记的人像打码后，以快速残差插值算法进行人像粗复原；步骤5：抽取若干视频帧，计算人像粗复原后与未打码人像的损失，基于损失调整打码策略，对符合预设标准的打码视频进行输出。
7.优选地，所述人像密度估计以改进后的卷积神经网络进行人像密度估计；所述改进后的卷积神经网络包括输入层、若干并置的特征提取层、特征融合层和输出层；将视频的视频图像帧分成若干图像块，标注序号后自输入层输入改进后的卷积神经网络，基于序号以若干并置的特征提取层分别对每个图像块提取人像密度特征，对提取后的特征进行特征融合，获取图像块的人像密度估计。
8.优选地，所述步骤2中，基于上一帧视频的人像密度估计，对当前帧视频图像进行人像识别，对识别后的人像设置锚框，并进行标记，对其进行跟踪。
9.优选地，对于相邻区域的视频图像进行联动，若任一人像走出视频图像框，则获取其相邻区域的视频图像，若获取人像信息，则对锚框及其标记进行更新，持续跟踪。
10.优选地，所述打码策略包括打码区域和打码图层，打码区域对人像在视线范围内进行分割，进行分区打码，打码图层为对任一分区进行一层或多层打码。
11.优选地，所述步骤4中，快速残差插值算法基于图像梯度，包括以下步骤：步骤4.1：截取任一打码后的人像，获取感兴趣区域；步骤4.2：将感兴趣区域的图像转换至rgb模式；步骤4.3：分别对图像中红色像素位置和蓝色像素位置进行绿色通道插值；步骤4.4：计算每个像素位置的绿色通道与红色通道的色差估计值，将色差估计值与红色像素值相加，得到红色像素位置的绿色像素值；同理，获得蓝色像素位置的绿色像素值；步骤4.5：以插值后的绿色通道图像作为引导图恢复红色和蓝色通道；输出人像粗复原图像。
12.优选地，所述步骤4.3中，采用线性插值方法获得绿色通道的水平插值图，以绿色通道的水平插值图为引导，以引导滤波插值方法对红色通道和蓝色通道分别进行插值，得到中间红色通道插值图和中间蓝色通道插值图，两者分别与原始红色通道图和原始蓝色通道图作差，得到红色通道水平残差图和蓝色通道水平残差图，分别进行插值补全后分别与中间红色通道插值图和中间蓝色通道插值图结合，得到红色通道水平插值图和蓝色通道水平插值图；同理通过绿色通道的垂直插值图获得红色通道垂直插值图和蓝色通道垂直插值图。
13.优选地，所述步骤4.5中，以插值后的绿色通道图像作为引导图，以引导滤波插值方法，对红色通道图和蓝色通道图分别进行插值后与红色通道图和蓝色通道图作差，获得红色通道残差图和蓝色通道残差图，对红色通道残差图和蓝色通道残差图分别进行插值后再分别与以绿色通道图像插值后的红色通道图和蓝色通道图相加，得到红色和蓝色通道的恢复图；将恢复后红色、蓝色和绿色通道合并，得到人像粗复原图像。
14.一种计算机可读存储介质，其上存储有涉及人像的视频打码程序，该程序被处理
器执行时实现上述涉及人像的视频打码方法。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述涉及人像的视频打码方法。
16.本发明提供了一种涉及人像的视频打码方法、介质及设备，基于视频进行人像密度估计后进行人像标记；对已经标记的人像进行分区，对任一分区后的人像匹配打码策略；基于当前视频查阅人的权限获取打码策略，以打码策略对视频中已经标记的人像打码后，以快速残差插值算法进行人像粗复原；抽取若干视频帧，计算人像粗复原后与未打码人像的损失，基于损失调整打码策略，对符合预设标准的打码视频进行输出；应用于计算机可读存储介质及计算机设备的配置。
17.本发明的有益效果在于：（1）基于人像密度估计可以快速获得大致的视频帧上的人像分布，有利于快速进行人像定位、识别和标记，降低算量；（2）对不同权限的视频查阅人设置不同的打码策略，保护在不同密级下视频中人像的信息安全；（3）对打码后的人像以快速残差插值算法进行人像粗复原，比对差异、调整至符合预设标准后进行输出，对机器处理进行二次复核，确保打码的准确性。
附图说明
18.图1为本发明的方法流程图；图2为本发明的改进后的卷积神经网络的结构示意图；图3为本发明的快速残差插值算法的流程图；图4为本发明中以水平插值为例对图像中红色像素位置和蓝色像素位置进行绿色通道插值的流程示意图；图5为本发明中以插值后的绿色通道图像作为引导图恢复红色和蓝色通道的流程示意图。
具体实施方式
19.下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
20.实施例1如图1所示，本发明涉及一种涉及人像的视频打码方法，所述方法包括以下步骤：步骤1：输入视频，基于视频进行人像密度估计；步骤2：基于上一帧视频的人像密度估计进行人像标记；步骤3：对已经标记的人像进行分区，对任一分区后的人像匹配打码策略；步骤4：基于当前视频查阅人的权限获取打码策略，以打码策略对视频中已经标记的人像打码后，以快速残差插值算法进行人像粗复原；步骤5：抽取若干视频帧，计算人像粗复原后与未打码人像的损失，基于损失调整打码策略，对符合预设标准的打码视频进行输出。
21.本实施例中，考虑到人员在视频中可能处于静止状态，但也很可能处于动态，故在
输入视频后对于视频帧进行人像密度估计，获得在任一视频帧中的人像分布，较传统的遍历视频帧的处理方式来说可以更快、更准确的获取人像的位置，在此基础上可以基于密度估计快速对视频帧进行人像的位置预估、识别及人像标记。
22.本实施例中，对已经标记的人像进行分区，分区一般指对人像的头部和身体进行分区，而进一步来说，也可以对人像的头部进行细节分区，用于标识人像面部的不同特征，对于打码设有打码策略，用于基于不同视频查阅人的权限对标记的人像进行不同程度的打码。
23.本实施例中，对打码后的人像以快速残差插值算法进行人像粗复原，随后计算人像粗复原后与未打码人像的损失，若打码过度或打码不足则基于损失调整打码策略，最终输出符合预设标准的打码视频。
24.实施例2如图2所示，在实施例1的基础上，所述人像密度估计以改进后的卷积神经网络进行人像密度估计；所述改进后的卷积神经网络包括输入层、若干并置的特征提取层、特征融合层和输出层；将视频的视频图像帧分成若干图像块，标注序号后自输入层输入改进后的卷积神经网络，基于序号以若干并置的特征提取层分别对每个图像块提取人像密度特征，对提取后的特征进行特征融合，获取图像块的人像密度估计。
25.所述步骤2中，基于上一帧视频的人像密度估计，对当前帧视频图像进行人像识别，对识别后的人像设置锚框，并进行标记，对其进行跟踪。
26.本实施例中，考虑到视频是动态的，以基本卷积神经网络处理视频会因为背景的变动使得无法获得较好的特征提取效果，基于此，以改进后的卷积神经网络进行处理；改进后的卷积神经网络包括输入层、若干并置的特征提取层、特征融合层和输出层，对视频的视频图像帧分成若干图像块后，标注序号后自输入层输入改进后的卷积神经网络，以若干并置的特征提取层同时提取特征，以自编码网络进行特征融合，以支持向量机输出结果；每个特征提取层与输入层、特征融合层和输出层为一个完整的卷积神经网络，进而可以同时处理多个图像块的网络结构，且最后的结果可以实现整合。
27.本实施例中，在对视频图像进行基本的预处理后进行分块，降低人群密度分布不均匀导致的人像识别困难；通过人像识别预提取每个图像块的人像数量，预判断每一区域的人群密度是稀疏还是密集，然后在每一块上根据预估计的密度情况采用不同的卷积核提取不同的特征；得到每一个图像块的特征后，对于边缘位置维度过高的情况进行特征融合，达到降维的目的；对得到的特征分类，一般以softmax进行处理，将分类后的结果输入支持向量机，获得密度的输出，最终整合为密度估计的分布。
28.本实施例中，在密度估计的指导下，可以快速对人像进行识别，完成人像标记。
29.实施例3在实施例2的基础上，对于相邻区域的视频图像进行联动，若任一人像走出视频图像框，则获取其相邻区域的视频图像，若获取人像信息，则对锚框及其标记进行更新，持续跟踪。
30.本实施例中，通过视频图像的联动，可以获得人像密度估计基础上的视频图像中人像密度变动，进而可以快速获得相邻区域的人员走动情况，进而快速对视频帧中的人像
进行标记和更新，防止出现因为算量过大而造成的马赛克短时部分或全部丢失的情况。
31.实施例4在实施例1的基础上，所述打码策略包括打码区域和打码图层，打码区域对人像在视线范围内进行分割，进行分区打码，打码图层为对任一分区进行一层或多层打码。
32.本实施例中，打码区域是指对一个被识别的人像，对其头部和身体进行分区，在特殊应用场景下，亦可以打码头部或身体的一部分，如对眼睛部分进行独立打码。
33.本实施例中，举例来说，打码图层是指对一个被识别的人像，对其某个分区打码一层、对另一个分区打码两层。
34.实施例5如图3所示，在实施例1的基础上，所述步骤4中，快速残差插值算法基于图像梯度，包括以下步骤：步骤4.1：截取任一打码后的人像，获取感兴趣区域；步骤4.2：将感兴趣区域的图像转换至rgb模式；步骤4.3：分别对图像中红色像素位置和蓝色像素位置进行绿色通道插值；如图4所示，所述步骤4.3中，采用线性插值方法获得绿色通道的水平插值图，以绿色通道的水平插值图为引导，以引导滤波插值方法对红色通道和蓝色通道分别进行插值，得到中间红色通道插值图和中间蓝色通道插值图，两者分别与原始红色通道图和原始蓝色通道图作差，得到红色通道水平残差图和蓝色通道水平残差图，分别进行插值补全后分别与中间红色通道插值图和中间蓝色通道插值图结合，得到红色通道水平插值图和蓝色通道水平插值图；同理通过绿色通道的垂直插值图获得红色通道垂直插值图和蓝色通道垂直插值图。
35.步骤4.4：计算每个像素位置的绿色通道与红色通道的色差估计值，将色差估计值与红色像素值相加，得到红色像素位置的绿色像素值；同理，获得蓝色像素位置的绿色像素值；步骤4.5：以插值后的绿色通道图像作为引导图恢复红色和蓝色通道；输出人像粗复原图像。
36.如图5所示，所述步骤4.5中，以插值后的绿色通道图像作为引导图，以引导滤波插值方法，对红色通道图和蓝色通道图分别进行插值后与红色通道图和蓝色通道图作差，获得红色通道残差图和蓝色通道残差图，对红色通道残差图和蓝色通道残差图分别进行插值后再分别与以绿色通道图像插值后的红色通道图和蓝色通道图相加，得到红色和蓝色通道的恢复图；将恢复后红色、蓝色和绿色通道合并，得到人像粗复原图像。
37.本实施例中，感兴趣区域一般为人的面部，本领域技术人员可以继续需求进行拾取。
38.本实施例中，利用插值处理方法的准确性，在残差图像中采用线性插值的去马赛克方法，重构信息较多的绿色通道信息较多，利用重构好的绿色通道辅助红色和蓝色通道重构，最后进行整合，得到相对高质量的彩色恢复图像。
39.本实施例中，对图像中红色像素位置和蓝色像素位置进行绿色通道插值的过程中需要分别处理水平方向和垂直方向的差值，最后进行拼合即可。
40.本实施例中，对红色通道残差图和蓝色通道残差图分别进行插值时，以立方卷积插值方法处理，获得更多图像细节，获得完整的残差图。
41.为了实现上述实施例，提出了一种计算机可读存储介质，其上存储有涉及人像的视频打码程序，该程序被处理器执行时实现上述涉及人像的视频打码方法，主要解决现有技术中无法快速对视频流进行处理、影响视频画面打码的速度和打码于人像的完整度、无法有效实现马赛克跟随、马赛克信息无法灵活调节，导致其或是处理不足、或是处理过当的问题。
42.为了实现上述实施例，本发明还涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述涉及人像的视频打码方法。
43.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
44.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
45.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
46.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
47.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
48.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。