视频处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机领域，具体而言，涉及一种视频处理方法、装置、电子设备及存储介质。


背景技术：

2.如今，在视频的过程中，很多主播常常会使用一些特效来为当前正在的内容提升流量。如常用加持特效包括：镜像和贴纸。其中，这里的镜像特效是将视频流中的视频画面进行左右翻转。
3.当镜像特效与贴纸组合使用时，通常在对主播端的摄像头采集到的原视频画面进行镜像翻转处理时，在视频画面上附加的贴纸也会被同时进行镜像翻转处理，但很多贴纸中都会包括对左右翻转敏感的元素(例如中英文字、数字等元素)。这样镜像翻转后的视频所呈现的展示内容，将会出现难以被观众理解接收的信息，严重影响了视频的呈现效果。
4.也就是说，在采用相关技术提供的视频处理方法时，所展示的内容中将出现难以被理解的乱码信息，导致展示元素错误的问题。
5.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本公开提供一种视频处理方法、装置、电子设备及存储介质，以至少解决相关技术提供的视频处理方法所展示的内容中将出现难以被理解的乱码信息，导致展示元素错误的问题。本公开的技术方案如下：
7.根据本公开实施例的第一方面，提供一种视频处理方法，包括：在主播端展示直播视频画面，其中，上述直播视频画面中包括上述主播端的相机输入的场景画面，及在上述场景画面上叠加的贴纸特效元素；响应于对上述直播视频画面的镜像处理指令，对从上述直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，上述候选画面为从上述直播视频画面内剔除目标贴纸特效元素后得到的视频画面，上述目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与上述目标贴纸特效元素之间的差异度大于目标阈值；将与上述镜像候选画面对应的镜像视频流数据及上述目标贴纸特效元素对应的附加特效数据推送给观众端，以使上述观众端展示对上述镜像候选画面与上述目标贴纸特效元素进行整合后得到的画面。
8.作为一种可选的实施例，在对从上述直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之前，还包括：在上述场景画面上叠加的上述贴纸特效元素包括上述目标贴纸特效元素和基础贴纸特效元素的情况下，将上述场景画面与上述基础贴纸特效元素合并，得到上述候选画面，其中，上述基础贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与上述基础贴纸特效元素之间的差异度小于或等于上述目标阈值；在上述场景画面上叠加的上述贴纸特效元素为上述目标贴纸特效元素的情况下，将上述主播端的相机输入的上述场景画面作为上述候选画面。
9.作为一种可选的实施例，在对从上述直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之后，还包括：从上述直播视频画面中呈现的人脸区域中，确定出与上述目标贴纸特效元素关联的人脸关键点位置；对上述人脸关键点位置进行特征提取，得到人脸特征信息；在上述镜像候选画面中确定出上述人脸特征信息对应的人脸画面区域；基于上述人脸画面区域生成上述镜像视频流数据。
10.作为一种可选的实施例，在对上述人脸关键点位置进行特征提取，得到人脸特征信息之后，还包括：将每个上述人脸关键点位置各自对应的像素点的坐标信息，分别存储至整数类型变量对应的各个数据位中。
11.作为一种可选的实施例，上述将每个上述人脸关键点位置各自对应的像素点的坐标信息，分别存储至整数类型变量对应的各个数据位中包括：将上述像素点的横坐标信息存储至上述整数类型变量的第一序列数据位中，并将上述像素点的纵坐标信息存储至上述整数类型变量的第二序列数据位中。
12.根据本公开实施例的第二方面，提供一种视频处理方法，包括：接收主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据，其中，上述目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与上述目标贴纸特效元素之间的差异度大于目标阈值；从上述镜像视频流数据中解析出镜像候选画面，其中，上述镜像候选画面为对候选画面进行镜像处理后得到的画面，上述候选画面为从直播视频画面内剔除上述目标贴纸特效元素后得到的视频画面；根据上述附加特效数据将上述目标贴纸特效元素渲染至上述镜像候选画面上，以得到镜像视频画面。
13.作为一种可选的实施例，上述根据上述附加特效数据将上述目标贴纸特效元素渲染至上述镜像候选画面上，以得到镜像视频画面包括：从上述附加特效数据中获取上述目标贴纸特效元素对应的第一显示区域，其中，上述第一显示区域为上述目标贴纸特效元素在上述主播端所展示的视频画面中的显示区域；确定上述第一显示区域被镜像处理后在观众端中对应的第二显示区域；在展示上述镜像候选画面时，在上述第二显示区域中渲染上述目标贴纸特效元素，以展示上述镜像视频画面。
14.作为一种可选的实施例，在展示上述镜像视频画面时，包括：在按照预设的传输帧率接收上述镜像视频流数据的情况下，对所展示的任意两帧上述镜像视频画面之间进行线性插值处理。
15.根据本公开实施例的第三方面，提供一种视频处理装置，包括：展示单元，设置为在主播端展示直播视频画面，其中，上述直播视频画面中包括上述主播端的相机输入的场景画面，及在上述场景画面上叠加的贴纸特效元素；镜像处理单元，设置为响应于对上述直播视频画面的镜像处理指令，对从上述直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，上述候选画面为从上述直播视频画面内剔除目标贴纸特效元素后得到的视频画面，上述目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与上述目标贴纸特效元素之间的差异度大于目标阈值；推送单元，设置为将与上述镜像候选画面对应的镜像视频流数据及上述目标贴纸特效元素对应的附加特效数据推送给观众端，以使上述观众端展示对上述镜像候选画面与上述目标贴纸特效元素进行整合后得到的画面。
16.作为一种可选的实施例，还包括：第一确定单元，设置为在对从上述直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之前，在上述场景画面上叠加的上
述贴纸特效元素包括上述目标贴纸特效元素和基础贴纸特效元素的情况下，将上述场景画面与上述基础贴纸特效元素合并，得到上述候选画面，其中，上述基础贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与上述基础贴纸特效元素之间的差异度小于或等于上述目标阈值；第二确定单元，设置为在上述场景画面上叠加的上述贴纸特效元素为上述目标贴纸特效元素的情况下，将上述主播端的相机输入的上述场景画面作为上述候选画面。
17.作为一种可选的实施例，还包括：第三确定单元，设置为在对从上述直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之后，从上述直播视频画面中呈现的人脸区域中，确定出与上述目标贴纸特效元素关联的人脸关键点位置；提取单元，设置为对上述人脸关键点位置进行特征提取，得到人脸特征信息；第四确定单元，设置为在上述镜像候选画面中确定出上述人脸特征信息对应的人脸画面区域；生成单元，设置为基于上述人脸画面区域生成上述镜像视频流数据。
18.作为一种可选的实施例，还包括：存储单元，设置为在对上述人脸关键点位置进行特征提取，得到人脸特征信息之后，将每个上述人脸关键点位置各自对应的像素点的坐标信息，分别存储至整数类型变量对应的各个数据位中。
19.作为一种可选的实施例，上述存储单元包括：存储模块，设置为将上述像素点的横坐标信息存储至上述整数类型变量的第一序列数据位中，并将上述像素点的纵坐标信息存储至上述整数类型变量的第二序列数据位中。
20.根据本公开实施例的第四方面，提供一种视频处理装置，包括：接收单元，设置为接收主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据，其中，上述目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与上述目标贴纸特效元素之间的差异度大于目标阈值；解析单元，设置为从上述镜像视频流数据中解析出镜像候选画面，其中，上述镜像候选画面为对候选画面进行镜像处理后得到的画面，上述候选画面为从直播视频画面内剔除上述目标贴纸特效元素后得到的视频画面；渲染单元，设置为根据上述附加特效数据将上述目标贴纸特效元素渲染至上述镜像候选画面上，以得到镜像视频画面。
21.作为一种可选的实施例，上述渲染单元包括：获取模块，设置为从上述附加特效数据中获取上述目标贴纸特效元素对应的第一显示区域，其中，上述第一显示区域为上述目标贴纸特效元素在上述主播端所展示的视频画面中的显示区域；确定模块，设置为确定上述第一显示区域被镜像处理后在观众端中对应的第二显示区域；渲染模块，设置为在展示上述镜像候选画面时，在上述第二显示区域中渲染上述目标贴纸特效元素，以展示上述镜像视频画面。
22.作为一种可选的实施例，上述渲染单元还包括：处理模块，设置为在按照预设的传输帧率接收上述镜像视频流数据的情况下，对所展示的任意两帧上述镜像视频画面之间进行线性插值处理。
23.根据本公开实施例的第五方面，还提供了一种电子设备，包括处理器；用于存储上述处理器可执行指令的存储器；其中，上述处理器被配置为执行上述指令，以实现上述的视频处理方法。
24.根据本公开实施例的第六方面，提供一种计算机可读存储介质，当上述计算机可读存储介质中的指令由电子设备中的处理器执行时，使得电子设备能够执行上述的视频处
理方法。
25.根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机程序，其特征在于，上述计算机程序被处理器执行时实现上述的视频处理方法。
26.本公开的实施例提供的技术方案至少带来以下有益效果：
27.在本发明实施例中，在主播端展示直播视频画面，其中，该直播视频画面中包括主播端的相机输入的场景画面，及该场景画面上叠加的贴纸特效元素；响应于对直播视频画面的镜像处理指令，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，这里的候选画面为剔除目标贴纸特效元素后的视频画面，目标贴纸特效元素为镜像前后差异大的贴纸特效元素。将与镜像候选画面对应的镜像视频流数据及目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示对镜像候选画面与目标贴纸特效元素进行整合后得到的画面。从而实现在镜像视频画面中正常渲染展示目标贴纸特效元素，避免对镜像敏感的目标贴纸特效元素直接进行镜像处理，导致贴纸特效元素展示错误问题。进而达到提升内容展示的准确性的效果。
28.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
29.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
30.图1是根据本公开实施例示出的一种可选的视频处理方法的应用环境的示意图；
31.图2是根据本公开实施例示出的一种可选的视频处理方法的流程图；
32.图3是根据本公开实施例示出的一种可选的视频处理方法的示意图；
33.图4是根据本公开实施例示出的另一种可选的视频处理方法的示意图；
34.图5是根据本公开实施例示出的又一种可选的视频处理方法的示意图；
35.图6是根据本公开实施例示出的又一种可选的视频处理方法的示意图；
36.图7是根据本公开实施例示出的又一种可选的视频处理方法的示意图；
37.图8是根据本公开实施例示出的另一种可选的视频处理方法的流程图；
38.图9是根据本公开实施例的一种可选的视频处理装置的结构示意图；
39.图10是根据本公开实施例的另一种可选的视频处理装置的结构示意图。
具体实施方式
40.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
41.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
42.根据本发明实施例的一个方面，提供了一种视频处理方法，可选地，上述视频处理方法可以但不限于应用于如图1所示的应用环境中的视频处理系统中，该系统包括：终端设备102、网络104及终端设备106。其中，终端设备102为主播端使用的硬件设备，运行有使用主播账号登录的客户端，在采集到所要的场景画面后，可以通过平台分享给关注该主播账号的其他观众账号。该终端设备102包括人机交互屏幕1022、处理器1024及处理器1026，该人机交互屏幕1022用于展示上述视频画面，还用于检测触控操作。处理器1024用于根据检测到的触控操作生成对应的人机交互指令，以便于按照该人机交互指令执行后台操作。存储器1026用于存储上述视频画面。终端设备106为观众端使用的硬件设备，运行有使用观众账号登录的播放客户端，用于播放主播端分享的内容。该终端设备108包括人机交互屏幕1062、处理器1064及处理器1066，该人机交互屏幕1062用于展示上述镜像视频画面。处理器1024用于在解析出的镜像候选画面上渲染目标贴纸特效元素，以生成上述镜像视频画面。存储器1026用于存储上述镜像视频画面。
43.具体通过以下步骤实现：如步骤s102，终端设备102中展示直播视频画面，如图1所示该直播视频画面中显示朝向右侧带棒球帽的目标对象，并组合显示有太阳贴纸和文本贴纸“你真棒！”终端设备102响应于对人机交互屏幕1022所展示的直播视频画面进行镜像处理的触控操作，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，如步骤s104所示。
44.在获取到基于镜像候选画面得到的镜像视频流数据和目标贴纸特效元素(如上述文本贴纸)对应的附加特效数据的情况下，执行步骤s106，将基于镜像候选画面得到的镜像视频流数据和目标贴纸特效元素对应的附加特效数据，通过网络104推送给终端设备106。在终端设备106中执行步骤s108
‑
s110，从上述镜像视频流数据中解析出的镜像候选画面，并根据附加特效数据将目标贴纸特效元素渲染至上述镜像候选画面上，以得到镜像视频画面。如图1所示该镜像视频画面中显示朝向左侧带棒球帽的目标对象，并组合显示有太阳贴纸和文本贴纸“你真棒！”其中，太阳贴纸由于镜像处理从画面左侧映射到了画面的右侧，而作为目标贴纸特效元素的文本贴纸是在终端设备106中本地完成渲染，不会被镜像处理。
45.需要说明的是，在本实施例中，在主播端展示直播视频画面，其中，该直播视频画面中包括主播端的相机输入的场景画面，及该场景画面上叠加的贴纸特效元素；响应于对直播视频画面的镜像处理指令，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，这里的候选画面为剔除目标贴纸特效元素后的视频画面，目标贴纸特效元素为镜像前后差异大的贴纸特效元素。将与镜像候选画面对应的镜像视频流数据及目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示对镜像候选画面与目标贴纸特效元素进行整合后得到的画面。从而实现在镜像视频画面中正常渲染展示目标贴纸特效元素，避免对镜像敏感的目标贴纸特效元素直接进行镜像处理，导致特效元素展示错误问题。进而达到提升内容展示的准确性的效果。
46.可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如android手机、ios手机等)、笔记本电脑、平板电脑、掌上电脑、mid(mobile internet devices，移动互联网设备)、pad、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等支持在线的客户端。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城
域网和广域网，该无线网络包括：蓝牙、wifi及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
47.可选地，作为一种可选的实施方式，如图2所示，上述视频处理方法包括：
48.s202，在主播端展示直播视频画面，其中，直播视频画面中包括主播端的相机输入的场景画面，及在场景画面上叠加的贴纸特效元素；
49.s204，响应于对直播视频画面的镜像处理指令，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
50.s206，将与镜像候选画面对应的镜像视频流数据及目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示对镜像候选画面与目标贴纸特效元素进行整合后得到的画面。
51.可选地，在本实施例中，上述视频处理方法可以但不限于在手机前置相机、短视频拍摄、视频等场景都广泛应用。这里的视频场景可以包括但不限于：在线教育、在线吃播、在线购物等等。此外，在本实施例中，上述对采集到的场景画面进行镜像处理的时机可以包括但不限于：相机采集、主播呈现、推流等。这里视频处理方法的执行主体可以为图1所示的终端设备102，作为过程中的主播端。上述所列为示例，本实施例中对此不做任何限定。
52.可选地，在本实施例中，上述目标贴纸特效元素可以但不限于为对镜像处理较为敏感的贴纸特效元素，如文本类特效，例如中英文字、数字等元素。其中，上述文本类特效可以但不限于是贴纸特效，指在屏幕特定位置额外绘制出图片或视频。因而，这里的目标贴纸特效元素对应的附加特效数据，将被作为单独的业务数据与镜像视频流数据分别推送给用于播放的观众端。
53.此外，在本实施例中，还可以但不限于结合人工智能(artificial intelligence，简称ai)技术识别出直播视频画面内人脸区域中人脸关键点位置对应的人脸特征信息，将基于上述人脸特征信息确定出的人脸画面区域生成的镜像视频流数据，及目标贴纸特效元素对应的附加特效数据，一起推送至观众端。从而便于该观众端在本地渲染上述目标贴纸特效元素时，可以将其更加精准地添加至人脸区域中的对应位置，进而在动态视频效果中，使其与脸部的各种姿态(如正脸姿态、侧脸姿态等)相适配，实现跟脸贴纸的展示效果。
54.可选地，在本实施例中，上述视频画面已配置的贴纸特效元素还可以包括基础贴纸特效元素，这里的基础贴纸特效元素是对镜像处理不敏感的元素，如本身具有对称性的贴纸特效元素，例如可以为图1所示的太阳贴纸。
55.可选地，在本实施例中，在主播端向观众端推送镜像视频流数据，及目标贴纸特效元素对应的附加特效数据时，可以但不限于基于网络情况降低传输速率，如降低到每秒5帧～10帧。这样传输数据量可以从原有的101点/帧*8bit/点*15帧/秒＝12000bit/秒，降低到5点/帧*4bit/点*10帧/秒＝200bit/秒。从而实现了接近60倍的流量优化。
56.具体结合图3所示示例进行说明：假设主播端的相机输入场景画面，并添加了基础特效(基础贴纸特效元素)和追加特效(目标贴纸特效元素)。因而在该主播端的屏幕中将呈现包括上述场景画面、基础特效和追加特效的视频画面。这里的展示效果可以如图4左侧所
示主播端对应的画面内容。
57.响应于对直播视频画面的镜像处理指令，对包括场景画面和基础特效的候选画面进行镜像处理，得到镜像候选画面。然后，将基于镜像候选画面的镜像视频流数据和上述追加特效的特效数据作为推送内容，通过网络推送给观众端。在观众端本地执行将追加特效渲染到解析出的镜像候选画面上的过程，以使该观众端的屏幕中呈现出包括上述镜像候选画面和追加特效的镜像视频画面。这里的展示效果可以如图4右侧所示观众端对应的画面内容。
58.需要说明的是，上述对候选画面进行镜像处理的时机可以结合图5所示进行说明，可以包括：
59.对于主播端：在相机输入场景画面后先对场景画面进行镜像处理，在获取到基础贴纸特效元素后且在主播端呈现前，再对基础贴纸特效元素进行镜像处理；或者，在获取到基础贴纸特效元素后且在主播端呈现前，对场景画面和基础贴纸特效元素进行一次性镜像处理。
60.对于观众端：在相机输入场景画面后先对场景画面进行镜像处理，在获取到基础贴纸特效元素后且在网络推流前，再对基础贴纸特效元素进行镜像处理；或者，在观众端呈现前，对场景画面和基础贴纸特效元素进行一次性镜像处理。
61.也就是说，在采用本实施例提供的方法后，由于主播端将镜像候选画面与目标贴纸特效元素分开传输给观众端，以使得观众端可以在本地完成对目标贴纸特效元素的渲染，而不再是将视频画面中的全部元素统一镜像处理，从而避免目标贴纸特效元素镜像处理后出现的乱码信息，进而提升视频处理的效果。
62.通过本技术提供的实施例，响应于对直播视频画面的镜像处理指令，对从该直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，该候选画面剔除了直播视频画面中的目标贴纸特效元素，这里的目标贴纸特效元素是镜像敏感元素，其被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度将大于目标阈值。将基于镜像候选画面得到的镜像视频流数据和目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示与直播视频画面对应的镜像视频画面。从而实现在镜像视频画面中正常渲染展示目标贴纸特效元素，避免对镜像敏感的目标贴纸特效元素进行镜像处理，导致特效元素展示错误问题，进而达到提升内容展示的准确性的效果。
63.作为一种可选的方案，在对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之前，还包括：
64.1)在场景画面上叠加的贴纸特效元素包括目标贴纸特效元素和基础贴纸特效元素的情况下，将场景画面与基础贴纸特效元素合并，得到候选画面，其中，基础贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与基础贴纸特效元素之间的差异度小于或等于目标阈值；
65.2)在场景画面上叠加的贴纸特效元素为目标贴纸特效元素的情况下，将主播端的相机输入的场景画面作为候选画面。
66.需要说明的是，在本实施例中，上述视频画面中可以包括摄像头采集到的场景画面，以及在主播端中配置的贴纸特效元素。其中，这里的贴纸特效元素可以但不限于是对上述场景画面额外叠加的元素，不同的贴纸特效元素可以但不限于在场景画面上分层绘制。
例如，上述基础贴纸特效元素和目标贴纸特效元素可以但不限于分不同层绘制。上述视频画面中可以包括基础贴纸特效元素，也可以不包括基础贴纸特效元素，这里的基础贴纸特效元素是对镜像不敏感的贴纸特效元素，在被镜像处理后变化差异小，不影响用户的理解和观看。
67.例如，假设主播端仍以主播端，观众端仍以观众端为例，主播端展示的视频画面中包含了：相机输入的场景画面、基础特效、追加特效(即目标贴纸特效元素)。则可以将相机输入的场景画面与基础特效合并，得到一个候选画面，然后将多个候选画面压缩得到视频流，通过网络推送到远端观众端。其中，上述追加特效是对镜像处理敏感的元素，为了避免被镜像处理，将作为推送内容的单独一部分融入到网络推流中。
68.通过本技术提供的实施例，在视频画面中基础贴纸特效元素的情况下，就将摄像头采集到的场景画面与基础贴纸特效元素合并，得到候选画面；而在视频画面中并不包括基础贴纸特效元素的情况下，就将摄像头采集到的场景画面作为候选画面。通过对候选画面进行镜像处理，而避免对镜像敏感的目标贴纸特效元素直接进行镜像处理，导致特效元素展示错误问题。进而达到提升内容展示的准确性的效果。
69.作为一种可选的方案，在对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之后，还包括：
70.s1，从直播视频画面中呈现的人脸区域中，确定出与目标贴纸特效元素关联的人脸关键点位置；
71.s2，对人脸关键点位置进行特征提取，得到人脸特征信息；
72.s3，在镜像候选画面中确定出人脸特征信息对应的人脸画面区域；
73.s4，基于人脸画面区域生成镜像视频流数据。
74.需要说明的是，虽然通过单独渲染目标贴纸特效元素的方式可以解决镜像翻转导致的乱码问题，但一些目标贴纸特效元素可能会依赖于视频画面中呈现的目标对象的人脸区域(即存在关联关系)。例如目标贴纸特效元素是一个跟脸贴纸，随着人脸姿态(如正脸、侧脸等姿态)的变化，人脸区域的显示也将随之变化，上述目标贴纸特效元素的显示位置也将随人脸区域的变化而变化，种类就需要依赖处理模块确定出渲染在人脸区域的哪个位置。
75.可选地，在本实施例中，可以但不限于从直播视频画面中呈现的人脸区域中，确定出与目标贴纸特效元素关联的人脸关键点位置，然后基于该人脸关键点位置提取的人脸特征信息确定出的人脸画面区域来生成镜像视频流数据。其中，上述与目标贴纸特效元素关联的人脸关键点位置可以但不限于是用于确定具有跟脸效果的目标贴纸特效元素的显示位置。
76.需要说明的是，人脸区域中往往包含多个人脸关键点，但本实施例中主要是要实现对目标贴纸特效元素的推送显示。因而针对这一场景，在传输过程中，可以但不限于对根据与目标贴纸特效元素关联的人脸关键点位置确定出人脸画面区域进行传输，而无需传输人脸区域内的全部内容，从而实现降低传输量的效果。
77.相关技术中的主流业务算法输出的大概有100个人脸关键点，每个人脸关键点可以但不限于使用2个浮点数分别表示其x轴、y轴坐标。
78.例如，如图6所示，在主播端(即主播端)可以但不限于采用脸部两侧(a、b)，下巴
(e)、眉心(b)、鼻头(d)五个人脸关键点来定位具有跟脸效果的目标贴纸特效元素。也就是说，获取目标贴纸特效元素与上述人脸关键点的相对位置关系，以便于在观众端(即观众端)可以基于上述五个人脸关键点来准确定位当前的人脸姿态，以及在该人脸姿态下目标贴纸特效元素对应的显示位置。如结合左右额头计算出头部宽度(ac)、眉心(b)与下下巴(e)计算出头部高度(be)、鼻头(d)与脸部两侧(a、b)的距离计算出脸部的朝向等信息(bd:de及ab:bc)。
79.此外，除了上述采用五个人脸关键点进行定位的模式之外，还可以根据业务需要传出更多或更少的关键点进行更多细致的特效制作，例如传输全部的人脸关键点，进行脸部液化美型及美妆处理等。
80.例如，如图7所示，在主播端向观众端进行网络推流时，在确定配置有目标贴纸特效元素(即追加特效)的情况下，可以从直播视频画面中呈现的人脸区域中，确定出与目标贴纸特效元素关联的人脸关键点位置，并基于该人脸关键点位置提取的人脸特征信息确定出人脸画面区域，然后将基于该人脸画面区域生成的镜像视频流数据(如图中所示的附带人脸ai数据)，推流发送给观众端。
81.通过本技术提供的实施例，在目标贴纸特效元素与直播视频画面中呈现的人脸区域存在关联关系的情况下，将对从人脸区域中确定出的与目标贴纸特效元素关联的人脸关键点位置的人脸画面区域及目标贴纸特效元素进行一起压缩，以生成镜像视频流数据。从而实现降低直播传输数据量，提高传输效率的目的。
82.作为一种可选的方案，在对人脸关键点位置进行特征提取，得到人脸特征信息之后，还包括：
83.s1，将每个人脸关键点位置各自对应的像素点的坐标信息，分别存储至整数类型变量对应的各个数据位中。
84.需要说明的是，上述关键特征点精确到像素级别的情况下，考虑到移动终端的屏幕是2000*3000的像素比例，因而，在本实施例中，可以但不限于使用单个整数类型变量int来表示一个像素点坐标。
85.通过本技术提供的实施例，通过采用整数类型变量来存储目标贴纸特效元素的坐标信息，不仅位置偏差小，而且存储占用空间小，进一步降低了数据的处理量。
86.作为一种可选的方案，将每个人脸关键点位置各自对应的像素点的坐标信息，分别存储至整数类型变量对应的各个数据位中包括：将像素点的横坐标信息存储至整数类型变量的第一序列数据位中，并将像素点的纵坐标信息存储至整数类型变量的第二序列数据位中。
87.例如，使用一个1亿以内的值来表示一个关键特征点的坐标信息，其中千万～万位用来表示x轴像素坐标，千位～个位用来表示y轴像素坐标，每个坐标分量合计有10000个细分量级，以覆盖大部分移动终端的像素方位，并避免较大的位置偏差。
88.通过本技术提供的实施例，在整数类型变量的不同序列数据位中分别存储目标贴纸特效元素的横坐标信息和纵坐标信息，从而实现利用一个变量来传输而且存储占用空间小，进一步降低了数据的处理量。
89.根据本发明实施例的另一个方面，提供了一种视频处理方法，可选地，如图8所示，上述视频处理方法包括：
90.s802，接收主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据，其中，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
91.s804，从镜像视频流数据中解析出镜像候选画面，其中，镜像候选画面为对候选画面进行镜像处理后得到的画面，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面；
92.s806，根据附加特效数据将目标贴纸特效元素渲染至镜像候选画面上，以得到镜像视频画面。
93.可选地，在本实施例中，上述视频处理方法可以但不限于在手机前置相机、短视频拍摄、视频等场景都广泛应用。这里的视频场景可以包括但不限于：在线教育、在线吃播、在线购物等等。此外，在本实施例中，上述对采集到的场景画面进行镜像处理的时机可以包括但不限于：相机采集、主播呈现、推流等。这里视频处理方法的执行主体可以为图1所示的终端设备106，作为过程中的观众端。上述所列为示例，本实施例中对此不做任何限定。
94.可选地，在本实施例中，上述目标贴纸特效元素可以但不限于为对镜像处理较为敏感的贴纸特效元素，如文本类特效，例如中英文字、数字等元素。其中，上述文本类特效可以但不限于是贴纸特效，指在屏幕特定位置额外绘制出图片或视频。因而，这里的目标贴纸特效元素对应的附加特效数据，将被作为单独的业务数据与镜像视频流数据分别推送给用于播放的观众端。
95.此外，在本实施例中，还可以但不限于结合人工智能(artificial intelligence，简称ai)技术识别出直播视频画面内人脸区域中人脸关键点位置对应的人脸特征信息，将基于上述人脸特征信息确定出的人脸画面区域生成的镜像视频流数据，及目标贴纸特效元素对应的附加特效数据，一起推送至观众端。从而便于该观众端在本地渲染上述目标贴纸特效元素时，可以将其更加精准地添加至人脸区域中的对应位置，进而在动态视频效果中，使其与脸部的各种姿态(如正脸姿态、侧脸姿态等)相适配，实现跟脸贴纸的展示效果。
96.可选地，在本实施例中，上述视频画面已配置的贴纸特效元素还可以包括基础贴纸特效元素，这里的基础贴纸特效元素是对镜像处理不敏感的元素，如本身具有对称性的贴纸特效元素，例如可以为图1所示的太阳贴纸。
97.通过本技术提供的实施例，在接收到主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据的情况下，从镜像视频流数据中解析出镜像候选画面，并根据附加特效数据将上述目标贴纸特效元素渲染至镜像候选画面上，以得到镜像视频画面，并在观众端中展示上述镜像视频画面。从而实现在镜像视频画面中正常渲染展示目标贴纸特效元素，避免对镜像敏感的目标贴纸特效元素进行镜像处理，导致特效元素展示错误问题，进而达到提升内容展示的准确性的效果。
98.作为一种可选的方案，根据附加特效数据将目标贴纸特效元素渲染至镜像候选画面上，以得到镜像视频画面包括：
99.s1，从附加特效数据中获取目标贴纸特效元素对应的第一显示区域，其中，第一显示区域为目标贴纸特效元素在主播端所展示的视频画面中的显示区域；
100.s2，确定第一显示区域被镜像处理后在观众端中对应的第二显示区域；
101.s3，在展示镜像候选画面时，在第二显示区域中渲染目标贴纸特效元素，以得到镜
像视频画面。
102.需要说明的是，由于观众端(即观众端)中所使用的播放应用客户端的类型不同，且显示分辨率不同。因而，在本实施例中，为了保证镜像视频画面不失真，可以但不限于对目标贴纸特效元素所在第一显示区域的位置进行镜像处理，但对于目标贴纸特效元素本身不做镜像处理。
103.例如，将推流时的主播端的屏幕位置等比映射到观众端的视频流展示位置，当有镜像翻转存在时，可以对x轴进行翻转操作。水平翻转坐标的公式为：xnew＝screenwidth
‑
xold。垂直翻转的计算方式可以参考上述公式构建，这里不做限定。
104.通过本技术提供的实施例，从附加特效数据中获取目标贴纸特效元素对应的第一显示区域之后，确定第一显示区域被镜像处理后在观众端中对应的第二显示区域，从而实现在展示镜像候选画面时，可以确保目标贴纸特效元素的显示位置的镜像准确性。
105.作为一种可选的方案，在展示镜像视频画面时，包括：
106.s1，在按照预设的传输帧率接收镜像视频流数据的情况下，对所展示的任意两帧镜像视频画面之间进行线性插值处理。
107.需要说明的是，在相关技术中标准视频流传输速率是每秒15帧，在本实施例中，为了节省传输资源，可以降低到每秒5帧～10帧。但由于降低了传输帧率，会导致在观众端渲染目标贴纸特效元素时，由于依赖的ai数据更新过慢产生显示卡顿、更新频率低的现象。针对该现象，本实施例将在两帧画面之间，基于时间差值进行线性差值或1/2逼近差值。
108.通过本技术提供的实施例，通过对两帧镜像视频画面进行线性插值处理，从而实现对降低传输帧率所接收到的镜像视频画面进行平滑的过渡，避免显示卡顿的问题。
109.根据本发明实施例的又一个方面，还提供了一种视频处理装置。如图9所示，该装置包括：
110.1)展示单元902，设置为在主播端展示直播视频画面，其中，直播视频画面中包括主播端的相机输入的场景画面，及在场景画面上叠加的贴纸特效元素；
111.2)镜像处理单元904，设置为响应于对直播视频画面的镜像处理指令，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
112.3)推送单元906，设置为将将与镜像候选画面对应的镜像视频流数据及目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示对镜像候选画面与目标贴纸特效元素进行整合后得到的画面。
113.需要说明的是，这里视频处理装置可以但不限于是应用主播端的主播端中，如图1所示终端设备102，其实施例可以参考上述方法实施例，这里不再赘述。
114.作为一种可选的方案，还包括：
115.第一确定单元，设置为在对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之前，在场景画面上叠加的贴纸特效元素包括目标贴纸特效元素和基础贴纸特效元素的情况下，将场景画面与基础贴纸特效元素合并，得到候选画面，其中，基础贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与基础贴纸特效元素之间的差异度小于或等于目标阈值；
116.第二确定单元，设置为在场景画面上叠加的贴纸特效元素为目标贴纸特效元素的情况下，将主播端的相机输入的场景画面作为候选画面。
117.可选地，在本实施例中上述各个模块的实施例可以参考上述方法实施例，这里不再赘述。
118.作为一种可选的方案，还包括：
119.第三确定单元，设置为在对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面之后，从直播视频画面中呈现的人脸区域中，确定出与目标贴纸特效元素关联的人脸关键点位置；
120.提取单元，设置为对人脸关键点位置进行特征提取，得到人脸特征信息；
121.第四确定单元，设置为在镜像候选画面中确定出人脸特征信息对应的人脸画面区域；
122.生成单元，设置为基于人脸画面区域生成镜像视频流数据。
123.可选地，在本实施例中上述各个模块的实施例可以参考上述方法实施例，这里不再赘述。
124.作为一种可选的方案，还包括：
125.存储单元，设置为在对人脸关键点位置进行特征提取，得到人脸特征信息之后，将每个人脸关键点位置各自对应的像素点的坐标信息，分别存储至整数类型变量对应的各个数据位中。
126.可选地，在本实施例中上述各个模块的实施例可以参考上述方法实施例，这里不再赘述。
127.作为一种可选的方案，存储单元包括：
128.存储模块，设置为将像素点的横坐标信息存储至整数类型变量的第一序列数据位中，并将像素点的纵坐标信息存储至整数类型变量的第二序列数据位中。
129.可选地，在本实施例中上述各个模块的实施例可以参考上述方法实施例，这里不再赘述。
130.根据本发明实施例的又一个方面，还提供了一种视频处理装置。如图10所示，该装置包括：
131.1)接收单元1002，设置为接收主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据，其中，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
132.2)解析单元1004，设置为从镜像视频流数据中解析出镜像候选画面，其中，镜像候选画面为对候选画面进行镜像处理后得到的画面，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面；
133.3)渲染单元1006，设置为根据附加特效数据将目标贴纸特效元素渲染至镜像候选画面上，以得到镜像视频画面。
134.需要说明的是，这里视频处理装置可以但不限于是应用主播端的观众端中，如图1所示终端设备106，其实施例可以参考上述方法实施例，这里不再赘述。
135.作为一种可选的方案，渲染单元1006包括：
136.获取模块，设置为从附加特效数据中获取目标贴纸特效元素对应的第一显示区
域，其中，第一显示区域为目标贴纸特效元素在主播端所展示的视频画面中的显示区域；
137.确定模块，设置为确定第一显示区域被镜像处理后在观众端中对应的第二显示区域；
138.渲染模块，设置为在展示镜像候选画面时，在第二显示区域中渲染目标贴纸特效元素，以得到镜像视频画面。
139.可选地，在本实施例中上述各个模块的实施例可以参考上述方法实施例，这里不再赘述。
140.作为一种可选的方案，渲染单元1006还包括：
141.处理模块，设置为在按照预设的传输帧率接收镜像视频流数据的情况下，对所展示的任意两帧镜像视频画面之间进行线性插值处理。
142.可选地，在本实施例中上述各个模块的实施例可以参考上述方法实施例，这里不再赘述。
143.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
144.在示例性实施例中，还提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器，其中处理器被配置为执行上述指令，以实现上述任一项实施例中记载的视频处理方法。
145.可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
146.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
147.s1，在主播端展示直播视频画面，其中，直播视频画面中包括主播端的相机输入的场景画面，及在场景画面上叠加的贴纸特效元素；
148.s2，响应于对直播视频画面的镜像处理指令，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
149.s3，将与镜像候选画面对应的镜像视频流数据及目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示对镜像候选画面与目标贴纸特效元素进行整合后得到的画面。
150.可选地，在本实施例中，上述处理器还可以被设置为通过计算机程序执行以下步骤：
151.s1，接收主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据，其中，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
152.s2，从镜像视频流数据中解析出镜像候选画面，其中，镜像候选画面为对候选画面进行镜像处理后得到的画面，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面；
153.s3，根据附加特效数据将目标贴纸特效元素渲染至镜像候选画面上，以得到镜像视频画面。
154.可选地，本领域普通技术人员可以理解，电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。其中，存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。此外，还可以包括但不限于上述视频处理装置中的其他模块单元，本示例中不再赘述。
155.可选地，上述电子设备中还可以包括传输装置，用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置包括一个网络适配器(network interface controller，nic)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
156.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
157.可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机指令：
158.s1，在主播端展示直播视频画面，其中，直播视频画面中包括主播端的相机输入的场景画面，及在场景画面上叠加的贴纸特效元素；
159.s2，响应于对直播视频画面的镜像处理指令，对从直播视频画面中提取出的候选画面进行镜像处理，得到镜像候选画面，其中，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
160.s3，将与镜像候选画面对应的镜像视频流数据及目标贴纸特效元素对应的附加特效数据推送给观众端，以使观众端展示对镜像候选画面与目标贴纸特效元素进行整合后得到的画面。
161.可选地，在本实施例中，上述计算机可读存储介质还可以被设置为存储用于执行以下步骤的计算机指令：
162.s1，接收主播端发送的镜像视频流数据及目标贴纸特效元素对应的附加特效数据，其中，目标贴纸特效元素被镜像处理后得到的镜像贴纸特效元素与目标贴纸特效元素之间的差异度大于目标阈值；
163.s2，从镜像视频流数据中解析出镜像候选画面，其中，镜像候选画面为对候选画面进行镜像处理后得到的画面，候选画面为从直播视频画面内剔除目标贴纸特效元素后得到的视频画面；
164.s3，根据附加特效数据将目标贴纸特效元素渲染至镜像候选画面上，以得到镜像视频画面。
165.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行
上述视频处理。
166.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
167.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。