一种视频处理方法、装置、服务端及客户端与流程

1.本发明涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、服务端及客户端。


背景技术：

2.随着移动互联网的发展，人们经常利用手机等电子设备处理日常事务，用户之间也会通过电子设备进行互动。然而，相关技术中，用户通过电子设备进行互动的方式多为语音、文字互动，例如，在观看视频时通过发布弹幕进行互动，互动方式较为单一。


技术实现要素：

3.本发明实施例提供一种视频处理方法、装置、服务端及客户端，以解决相关技术中用户通过电子设备进行互动的方式较为单一的问题。
4.第一方面，本发明实施例提供了一种视频处理方法，应用于服务端，所述方法包括：
5.获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；
6.对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；
7.在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；
8.将加载有所述用户视频的直播视频下发至第二客户端。
9.可选地，所述对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态，包括：
10.对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态。
11.可选地，所述目标情绪状态包括欢呼状态；
12.所述对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态，包括：
13.确定所述用户视频中每帧用户图像中用户的手臂与躯干之间的夹角；
14.在确定目标帧用户图像中用户的手臂与躯干之间的夹角大于预设角度的情况下，确定所述用户视频中的用户处于所述欢呼状态，其中，所述目标帧用户图像为所述用户视频中的任一帧图像。
15.可选地，所述获取用户视频，包括：
16.获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
17.所述在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中，包括：
18.在确定至少两个用户视频中的用户处于所述目标状态的情况下，确定每个用户视频中用户的动作变化幅度；
19.从所述至少两个用户视频中确定目标用户视频，其中，所述目标用户视频中的用户的动作变化幅度最大；
20.将所述至少两个用户视频加载在所述直播视频的播放画面的预设区域，其中，所述目标用户视频位于所述预设区域的中间位置。
21.可选地，所述至少两个用户视频中除所述目标用户视频外的其他用户视频以第一尺寸加载在所述直播视频的播放画面的预设区域，所述目标用户视频以第二尺寸加载在所述预设区域的中间位置，其中，所述第二尺寸大于所述第一尺寸。
22.可选地，所述从所述至少两个用户视频中确定目标用户视频之后，所述方法还包括：
23.识别所述目标用户视频中用户的动作核心部位的轮廓；
24.基于所述轮廓，从所述目标用户视频中截取所述动作核心部位的动态图像；
25.将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置，其中，所述第三尺寸大于第二尺寸，所述第二尺寸为所述目标用户视频的显示尺寸。
26.可选地，所述将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置之后，所述方法还包括：
27.识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，其中，所述第一用户视频为所述其他用户视频中的至少一个。
28.可选地，所述识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，包括：
29.获取所述动作核心部位的动态图像在所述直播视频的播放画面中的位置信息；
30.在检测到所述动作核心部位的动态图像与所述第一用户视频的位置信息存在重叠的情况下，生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，并将所述碰撞效果图加载到所述直播视频中。
31.可选地，所述生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，包括：
32.将所述第一用户视频向所述直播视频的播放画面的第一方向缩进，其中，所述第一方向与所述动作核心部位的动态图像的动作方向相关；
33.或者，基于所述动作核心部位的动态图像中所述动作核心部位的运动速度和运动方向，确定所述第一用户视频在与所述动作核心部位的动态图像碰撞后的目标运动速度和目标运动方向；按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图。
34.可选地，所述识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，包括：
35.对所述目标用户视频进行手势识别；
36.在识别到所述目标用户视频中的用户的抓取手势的情况下，确定与所述动作核心部位的动态图像存在位置信息重叠的第二用户视频，其中，所述第二用户视频为所述其他用户视频中的一个；
37.基于所述动作核心部位的动态图像在所述直播视频的播放画面中的移动轨迹，将所述第二用户视频移动至目标位置，其中，所述目标位置与所述移动轨迹的终点位置关联。
38.可选地，所述在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中，包括如下至少一项：
39.在确定所述用户视频中的用户处于所述目标状态的情况下，基于所述用户视频中的人物图像轮廓，对所述用户视频进行背景分割，确定所述用户视频中的背景区域；使用预设颜色对所述用户视频中的背景区域进行填充；将处理后的用户视频加载到所述直播视频中；
40.在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；将裁剪处理后的用户视频加载到所述直播视频中。
41.可选地，所述获取用户视频，包括：
42.获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
43.所述获取多个用户视频之后，所述方法还包括：
44.对所述多个用户视频中的声音进行识别和分类统计；
45.确定所述多个用户视频中目标类别的声音的数量占比；
46.在所述数量占比大于预设值的情况下，对所述目标类别的声音音量进行处理。
47.可选地，所述对所述目标类别的声音音量进行处理，包括：
48.基于所述数量占比，确定所述目标类别的声音音量，其中，所述目标类别的声音音量与所述数量占比正相关；
49.按照所述目标类别的声音音量，将所述目标类别的声音叠加在所述多个用户视频中。
50.可选地，所述在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中，包括：
51.在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；
52.基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；
53.将裁剪处理后的用户视频加载到所述直播视频中。
54.第二方面，本发明实施例还提供一种视频处理方法，应用于客户端，所述方法包括：
55.接收服务端下发的加载有用户视频的直播视频；
56.播放所述加载有所述用户视频的直播视频。
57.可选地，所述方法还包括：
58.在播放所述直播视频的过程中，对观看用户进行视频采集，得到第三用户视频；
59.将所述第三用户视频上传至所述服务端，以使所述服务端对所述第三用户视频进行识别。
60.第三方面，本发明实施例还提供一种视频处理装置，应用于服务端，所述视频处理装置包括：
61.第一获取模块，用于获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；
62.第一识别模块，用于对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；
63.第一处理模块，用于在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；
64.发送模块，用于将加载有所述用户视频的直播视频下发至第二客户端。
65.可选地，所述第一识别模块用于对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态。
66.可选地，所述第一识别模块包括：
67.第一确定单元，用于确定所述用户视频中每帧用户图像中用户的手臂与躯干之间的夹角；
68.第二确定单元，用于在确定目标帧用户图像中用户的手臂与躯干之间的夹角大于预设角度的情况下，确定所述用户视频中的用户处于所述欢呼状态，其中，所述目标帧用户图像为所述用户视频中的任一帧图像。
69.可选地，所述第一获取模块用于获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
70.所述第一处理模块包括：
71.第三确定单元，用于在确定至少两个用户视频中的用户处于所述目标状态的情况下，确定每个用户视频中用户的动作变化幅度；
72.第四确定单元，用于从所述至少两个用户视频中确定目标用户视频，其中，所述目标用户视频中的用户的动作变化幅度最大；
73.第一处理单元，用于将所述至少两个用户视频加载在所述直播视频的播放画面的预设区域，其中，所述目标用户视频位于所述预设区域的中间位置。
74.可选地，所述至少两个用户视频中除所述目标用户视频外的其他用户视频以第一尺寸加载在所述直播视频的播放画面的预设区域，所述目标用户视频以第二尺寸加载在所述预设区域的中间位置，其中，所述第二尺寸大于所述第一尺寸。
75.可选地，所述视频处理装置还包括：
76.第二识别模块，用于识别所述目标用户视频中用户的动作核心部位的轮廓；
77.截取模块，用于基于所述轮廓，从所述目标用户视频中截取所述动作核心部位的动态图像；
78.第二处理模块，用于将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置，其中，所述第三尺寸大于第二尺寸，所述第二尺寸为所述目标用户视频的显示尺寸。
79.可选地，所述视频处理装置还包括：
80.第七处理模块，用于识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，其中，所述第一用户视频为所述其他用户视频中的至少一个。
81.可选地，所述视频处理装置还包括：
82.第二获取模块，用于获取所述动作核心部位的动态图像在所述直播视频的播放画面中的位置信息；
83.第三处理模块，用于在检测到所述动作核心部位的动态图像与所述第一用户视频的位置信息存在重叠的情况下，生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，并将所述碰撞效果图加载到所述直播视频中。
84.可选地，所述第三处理模块用于将所述第一用户视频向所述直播视频的播放画面的第一方向缩进，其中，所述第一方向与所述动作核心部位的动态图像的动作方向相关；
85.或者，所述第三处理模块用于基于所述动作核心部位的动态图像中所述动作核心部位的运动速度和运动方向，确定所述第一用户视频在与所述动作核心部位的动态图像碰撞后的目标运动速度和目标运动方向；按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图。
86.可选地，所述视频处理装置还包括：
87.第三识别模块，用于对所述目标用户视频进行手势识别；
88.第一确定模块，用于在识别到所述目标用户视频中的用户的抓取手势的情况下，确定与所述动作核心部位的动态图像存在位置信息重叠的第二用户视频，其中，所述第二用户视频为所述其他用户视频中的一个；
89.第四处理模块，用于基于所述动作核心部位的动态图像在所述直播视频的播放画面中的移动轨迹，将所述第二用户视频移动至目标位置，其中，所述目标位置与所述移动轨迹的终点位置关联。
90.可选地，所述第一处理模块包括：
91.第二处理单元，用于在确定所述用户视频中的用户处于所述目标状态的情况下，基于所述用户视频中的人物图像轮廓，对所述用户视频进行背景分割，确定所述用户视频中的背景区域；
92.第三处理单元，用于使用预设颜色对所述用户视频中的背景区域进行填充；
93.第四处理单元，用于将处理后的用户视频加载到所述直播视频中；
94.和/或，所述第一处理模块包括：
95.识别单元，用于在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；
96.第六处理单元，用于基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；
97.第七处理单元，用于将裁剪处理后的用户视频加载到所述直播视频中。
98.可选地，所述第一获取模块用于获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
99.所述视频处理装置还包括：
100.第五处理模块，用于对所述多个用户视频中的声音进行识别和分类统计；
101.第二确定模块，用于确定所述多个用户视频中目标类别的声音的数量占比；
102.第六处理模块，用于在所述数量占比大于预设值的情况下，对所述目标类别的声音音量进行处理。
103.可选地，所述第六处理模块包括：
104.第五确定单元，用于基于所述数量占比，确定所述目标类别的声音音量，其中，所述目标类别的声音音量与所述数量占比正相关；
105.第五处理单元，用于按照所述目标类别的声音音量，将所述目标类别的声音叠加在所述多个用户视频中。
106.第四方面，本发明实施例还提供一种视频处理装置，应用于客户端，所述视频处理装置包括：
107.接收模块，用于接收服务端下发的加载有用户视频的直播视频；
108.播放模块，用于播放所述加载有所述用户视频的直播视频。
109.可选地，所述视频处理装置还包括：
110.采集模块，于在播放所述直播视频的过程中，对观看用户进行视频采集，得到第三用户视频；
111.上传模块，用于将所述第三用户视频上传至所述服务端，以使所述服务端对所述第三用户视频进行识别。
112.第五方面，本发明实施例还提供一种电子设备，包括：收发机、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的视频处理方法中的步骤，或者实现如上第二方面所述的视频处理方法中的步骤。
113.第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述的视频处理方法中的步骤；或者实现如上第二方面所述的视频处理方法中的步骤。
114.在本发明实施例中，获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；将加载有所述用户视频的直播视频下发至第二客户端。这样，用户能够在观看直播视频的过程中，通过视频进行互动，互动方式更为有趣丰富。
附图说明
115.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
116.图1是本发明实施例提供的应用于服务端的视频处理方法的流程图；
117.图2是本发明实施例提供的客户端的音视频数据采集的流程图；
118.图3是本发明实施例提供的对用户动作幅度进行识别的示意图；
119.图4是本发明实施例提供的加载用户视频后的直播视频画面示意图；
120.图5是本发明实施例提供的对目标用户视频进行放大处理后的示意图；
121.图6是本发明实施例提供的目标用户视频中的用户与其他用户视频的互动效果示意图之一；
122.图7是本发明实施例提供的目标用户视频中的用户与其他用户视频的互动效果示意图之二；
123.图8是本发明实施例提供的基于用户人脸对用户视频进行裁剪的示意图；
124.图9是本发明实施例提供的应用于客户端的视频处理方法的流程图；
125.图10是本发明实施例提供的视频处理装置的结构图之一；
126.图11是本发明实施例提供的视频处理装置的结构图之二；
127.图12是本发明实施例提供的服务端的结构图；
128.图13是本发明实施例提供的客户端的结构图。
具体实施方式
129.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
130.参见图1，图1是本发明实施例提供的视频处理方法的流程图，应用于服务端，如图1所示，该方法包括以下步骤：
131.步骤101、获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的。
132.本发明实施例中，上述用户视频可以是第一客户端在播放直播视频的过程中开启摄像头和麦克风对观看所述直播视频的用户进行视频采集得到的，所述第一客户端可以是播放所述直播视频且用户选择接入所述直播视频互动的客户端。所述直播视频可以是任意类型的直播视频，尤其可以是互动性强的直播视频，如体育赛事类直播、游戏竞技类直播等。
133.例如，当客户端用户选择接入体育赛事直播互动时，客户端启用摄像头及麦克风对用户进行视频采集。
134.上述获取用户视频可以是接收所述第一客户端上传的用户视频。
135.其中，客户端在采集用户视频时，为保证音视频数据的同步，可以对采集的音频数据和视频数据进行时间戳校验，具体流程可如图2所示，通过麦克风采集音频数据，通过摄像头采集视频数据，并记录采集时间戳，从而得到带时间戳的音频数据和视频数据，然后可将音频包对应的时间戳和视频帧对应的时间戳进行时间戳校验，当时间戳不同步，如视频帧时间戳超出音频包时间戳，或者视频帧时间戳小于音频包时间时，则进行视频帧丢帧，或者帧复制操作；对通过校验的音视频数据，即时间戳同步的音视频数据，可通过网页即时通信(web real-time communication，webrtc)等方式，传输至服务端。
136.步骤102、对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态。
137.服务端在获取所述用户视频后，可以识别用户视频中的互动信息，即对所述用户
视频进行识别，以确定所述用户视频中的用户是否处于目标状态，所述目标状态可以是根据实际需要确定的状态，例如，可以是欢呼状态、兴奋状态、愤怒状态、悲伤状态等等。在所述用户视频中的用户处于所述目标状态时，可认为所述用户视频中存在有效的用户互动信息。
138.具体地，可以根据需要识别的目标状态，对所述用户视频中的用户图像进行动作识别、情绪识别等，还可以对所述用户视频中的用户声音进行语义理解，也可以结合对用户图像的识别和对用户声音的识别，确定用户是否处于目标状态。
139.可选地，所述对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态，包括：
140.对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态。
141.即一种实施方式中，所述目标状态可以是目标情绪状态，例如，可以为欢呼、悲伤、兴奋、生气等情绪状态，具体可以根据实际需求进行目标情绪状态的设定。该实施方式中，可以通过对所述用户视频中用户的动作幅度和/或脸部表情进行识别，来确定所述用户视频中的用户是否处于目标情绪状态，具体地，可以是识别所述用户视频中用户的目标部位如手臂、腿部、嘴唇的动作幅度，判断其是否做出目标动作，如挥臂、跳跃、喊叫等，或者还可以识别用户的脸部表情的变化，判断其是否显现了目标表情，如难过、生气、高兴等，在识别到所述用户视频中用户做出目标动作或显现出目标表情的情况下，可以确定该用户处于目标情绪状态。
142.这样，通过对用户视频中用户的动作幅度和/或脸部表情进行识别，可以较为准确地识别用户的目标情绪状态，进而保证直播视频中展示的用户互动视频的质量。
143.可选地，所述目标情绪状态包括欢呼状态；
144.所述对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态，包括：
145.确定所述用户视频中每帧用户图像中用户的手臂与躯干之间的夹角；
146.在确定目标帧用户图像中用户的手臂与躯干之间的夹角大于预设角度的情况下，确定所述用户视频中的用户处于所述欢呼状态，其中，所述目标帧用户图像为所述用户视频中的任一帧图像。
147.一种实施方式中，所述目标情绪状态可以包括欢呼状态，从而所述对所述用户视频中用户的动作幅度和/或脸部表情进行识别，具体可以是对所述用户视频中的每帧用户图像中用户的手臂与躯干之间的夹角进行识别，在识别到某帧用户图像中用户的手臂与躯干之间的夹角大于预设角度时，可认为所述用户视频中的用户处于所述欢呼状态，例如，通常欢呼时用户会将手臂上举，从而可以以手臂与躯干之间的夹角大于90度、120度等时，判定用户处于欢呼状态。
148.具体地，可以使用骨骼点夹角角度计算的方式，来计算用户的手臂与躯干之间的夹角，例如，可参见图3，设左肩部、左手臂与左侧躯干的关键点分别为a、b、c，右肩部、右手臂与右侧躯干的关键点分别为a
′
、b
′
、c
′
，则手臂与躯干的夹角为∠abc和∠a
′b′c′
，当夹角∠abc或∠a
′b′c′
大于预设角度时，则认为用户处于欢呼状态。
149.这样，通过该实施方式，可以实现精准地识别用户的挥臂动作，进而识别用户的欢
呼状态。
150.需说明的是，上述互动信息即目标状态是基于用户视频数据进行识别提取的。其识别可以是在服务端进行，针对各路视频数据(不同客户端上传的视频数据)进行识别处理，也可以是在各客户端分别进行。其中服务端统一处理的兼容性要更好；而在客户端识别处理，需要对客户端处理能力有一定要求，但是可以大幅减小服务端的压力。
151.步骤103、在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中。
152.本发明实施例中，在步骤102中识别到所述用户视频中的用户处于所述目标状态的情况下，可以确定所述用户视频中存在有效互动信息，进而可以将所述用户视频加载到所述直播视频中，具体可以是将所述用户视频显示在所述直播视频中，其中，为了避免用户视频对所述直播视频的遮挡而影响用户观看效果，可以将所述用户视频以缩略视频的方式，如缩小至一定大小，显示在所述直播视频画面中的角落位置，如底部、顶部、左下角、右下角等，这样，观看所述直播视频的用户能够在直播视频画面中看到自己或其他用户的视频，实现用户在直播视频中的互动。用户也可以在观看直播视频的过程中做出目标状态，以便服务端将用户的视频展示在该直播视频画面中，增强互动趣味性。
153.可选地，所述步骤101包括：
154.获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
155.所述步骤103包括：
156.在确定至少两个用户视频中的用户处于所述目标状态的情况下，确定每个用户视频中用户的动作变化幅度；
157.从所述至少两个用户视频中确定目标用户视频，其中，所述目标用户视频中的用户的动作变化幅度最大；
158.将所述至少两个用户视频加载在所述直播视频的播放画面的预设区域，其中，所述目标用户视频位于所述预设区域的中间位置。
159.即一种实施方式中，服务端可以接收多个客户端发送的多个用户视频，播放所述直播视频的多个客户端可以分别对各自观看用户进行视频采集，并将各自采集得到的用户视频上传服务端。
160.所述服务端可以分别对每个用户视频中的用户状态进行识别，以确定各用户视频中的用户是否处于目标状态，在确定所述多个用户视频中存在至少两个用户视频中的用户处于所述目标状态的情况下，可以分别确定所述至少两个用户视频中每个用户视频中用户的动作变化幅度也即运动幅度，具体地，用户视频中用户的动作变化幅度可以是通过识别用户视频中一段时间内不同帧用户图像的动作差异值确定，例如，对于欢呼状态，可以计算不同时间的两帧用户图像中用户的手臂与躯干之间的夹角差异值，如上一秒中用户的手臂与躯干之间的夹角为90度，下一秒变为150度，则可确定用户的手臂运动幅度为60度/秒。
161.这样，在计算出每个用户视频中用户的动作变化幅度后，可以按动作变化幅度的高低，对所述至少两个用户视频进行排序，并挑选出动作变化幅度最大的用户视频为目标用户视频。
162.对于所述至少两个用户视频，可以加载在所述直播视频的播放画面的预设区域，
如播放画面的底部、顶部、左右两侧等对用户观看视觉效果影响较小的区域，并可以相对两端居中显示，当用户视频数量超过一屏显示最大数量时，以预设区域为底部为例，可以将所述至少两个用户视频在所述直播视频画面的底部循环显示。其中，所述目标用户视频作为运动幅度最大的用户视频，可以将其显示在所述预设区域的中间位置，如显示在直播视频画面的底部中间，即处于所有用户视频的中心位置。由于用户视频中用户的运动幅度是实时变化的，故可以对每个用户视频中用户的动作变化幅度进行实时监测或定时监测，在保持当前用户视频显示顺序不变的情况下(除非有新增用户视频，或减少用户视频)，将监测到的运动幅度最高的用户视频，快速移动至所述直播视频画面的底部最中间的位置。
163.例如，如图4所示，可以在直播视频的播放画面40的底部显示接入互动的多个用户视频41，并将运动幅度最大的目标用户视频42放在画面底部最中心的位置显示。其中，由于最高运动幅度的用户视频变化，会导致整个用户视频显示区域往左侧或右侧移动，但由于用户视频刚好只能铺满一屏，所以可采用循环显示的方式，当用户视频显示区域往左侧移动时，最左侧的用户视频可移动至最右侧显示。
164.这样，通过该实施方式，可以保证运动幅度最大的用户视频(互动表现最好)显示在直播画面中央，以此来提高用户的互动积极性，刺激观看用户在观看视频中进行积极互动，以抢占中心位置。
165.可选地，所述至少两个用户视频中除所述目标用户视频外的其他用户视频以第一尺寸加载在所述直播视频的播放画面的预设区域，所述目标用户视频以第二尺寸加载在所述预设区域的中间位置，其中，所述第二尺寸大于所述第一尺寸。
166.即一种实施方式中，可以对运动幅度最大的用户视频进行放大显示，以突出该用户视频的互动效果。具体地，可以将所述目标用户视频以第二尺寸显示在所述预设区域的中间位置，如所述直播视频的播放画面的底部中间，而将其他用户视频以第一尺寸显示在所述预设区域，如所述直播视频的播放画面的底部，所述第二尺寸大于所述第一尺寸，所述第二尺寸可以是所述第一尺寸的1.2至2倍，具体可以可视显示效果进行调整，所述第一尺寸可以默认尺寸，具体可以根据以不同尺寸进行显示的实验效果确定，保证用户视频显示区域不至于过小也不至于过大。
167.例如，如图5所示，可以对直播视频画面40底部中心的目标用户视频42进行放大显示，其他用户视频41保持默认尺寸显示。
168.这样，通过对运动幅度最大的用户视频进行放大显示，可以突出互动表现好的用户，刺激用户在观看过程中进行积极互动。
169.可选地，所述从所述至少两个用户视频中确定目标用户视频之后，所述方法还包括：
170.识别所述目标用户视频中用户的动作核心部位的轮廓；
171.基于识所述轮廓，从所述目标用户视频中截取所述动作核心部位的动态图像；
172.将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置，其中，所述第三尺寸大于第二尺寸，所述第二尺寸为所述目标用户视频的显示尺寸。
173.还一种实施方式中，可以对运动幅度最大的用户视频进行其他方式的突出显示效果，具体地，可以识别所述目标用户视频中用户的动作核心部位的轮廓，所述动作核心部位
可以是手臂、人脸等能够体现用户目标动作的部位。以手臂轮廓识别为例，可以使用肢体识别算法，识别出所述目标用户视频中用户的双手，再使用轮廓检测算法，检测出用户双手的轮廓；然后，可基于识别的手臂轮廓，从所述目标用户视频中截取手臂的动态图像，并将所述手臂的动态图像放大，置于所述直播视频的播放画面中与所述目标用户视频关联的位置处显示，如置于所述目标用户视频的上方位置显示，其中，所述手臂的动态图像大小可以大于为下方所述目标用户视频大小的2至5倍，即所述第三尺寸可以是所述第二尺寸的2至5倍，但需保证所述手臂的动态图像不超出直播视频画面。
174.例如，如图5所示，可以对目标用户视频42中用户的手臂动态图像进行截取后，置于目标用户视频42上方放大显示。
175.这样，可以生成更为有趣的互动效果，提高用户互动趣味性和积极性。
176.可选地，所述将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置之后，所述方法还包括：
177.识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，其中，所述第一用户视频为所述其他用户视频中的至少一个。
178.即一种实施方式中，还可以支持所述目标用户视频中的用户通过其动作核心部位的互动动作来对所述直播视频中加载的其他用户视频进行互动，具体地，在所述目标用户视频中用户通过其动作核心部位对其他用户视频(称为第一用户视频)执行互动动作，如触摸、抓取、弹指等动作时，所述服务端可以识别所述互动动作，并可基于所述互动动作，生成相应的所述第一用户视频在所述直播视频的播放画面中的交互显示效果，例如，所述互动动作为触摸时，可以生成所述第一用户视频被摸头的效果，所述互动动作为抓取时，可以生成所述第一用户视频被抓取后交换显示位置的效果，所述互动动作为弹指时，可以生成所述第一用户视频被弹飞的效果，等等。
179.这样，通过该实施方式，可以进一步增强直播中的用户互动效果，提高交互的趣味性，以及提高用户参与直播互动的积极性。
180.可选地，所述识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，包括：
181.获取所述动作核心部位的动态图像在所述直播视频的播放画面中的位置信息；
182.在检测到所述动作核心部位的动态图像与所述第一用户视频的位置信息存在重叠的情况下，生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，并将所述碰撞效果图加载到所述直播视频中。
183.即一种实施方式中，目标用户视频中对应的用户还可以通过特定动作与其他用户视频进行趣味互动，例如，用户可以通过控制手臂动作对其他用户视频进行触摸、弹射等，实现物理碰撞效果。
184.其中，所述动作核心部位的动态图像可以是对所述目标用户视频中的用户的动作核心部位进行实时截取生成的动态图像，例如，所述目标用户视频中用户控制手臂做出不同动作时，相应地在所述目标用户视频上方，会显示用户手臂的动作，从而用户可以通过手臂做出触摸其他用户视频区域(每个用户视频区域可称为用户视频头像)，将其他用户视频
头像弹飞等动作。
185.仍以动作核心部位为手臂为例，为识别这些动作，并生成相应的互动效果，服务端可以实时获取所述手臂的动态图像在所述直播视频的播放画面中的位置信息，如获取所述手臂的动态图像中各点在所述直播视频的播放画面中的坐标位置，以及获取所述至少两个用户视频中各用户视频在所述直播视频的播放画面中的坐标位置，并可以检测所述手臂的动态图像与各用户视频的坐标位置是否存在重叠，在所述手臂的动态图像与某个用户视频的坐标位置存在重叠的情况下，表明用户手臂触摸到了该用户视频，也即用户手臂与该用户视频发生了碰撞，从而可以生成所述手臂的动态图像与所述第一用户视频的碰撞效果图，例如，当用户手臂砸向其左右侧某个用户视频头像时，可以对该用户视频头像会呈现被砸落的物理碰撞效果，被碰撞后的用户视频可在一定时长如1-3s后恢复。
186.所述目标用户视频对应的用户还可以通过这种方式，将其它用户视频头像弹飞，也可以对别的用户视频进行摸头杀，相应地，所述服务端可以生成被触碰的用户视频头像被弹飞或被摸头杀的效果图。
187.这样，通过该实施方式，占据中心位置的用户可以对其他用户视频头像进行趣味互动，提高用户在观看直播视频中的互动趣味性。
188.可选地，所述生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，包括：
189.将所述第一用户视频向所述直播视频的播放画面的第一方向缩进，其中，所述第一方向与所述动作核心部位的动态图像的动作方向相关；
190.或者，基于所述动作核心部位的动态图像中所述动作核心部位的运动速度和运动方向，确定所述第一用户视频在与所述动作核心部位的动态图像碰撞后的目标运动速度和目标运动方向；按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图。
191.即一种实施方式中，上述生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，可以是结合对所述动作核心部位的动态图像中所述动作核心部位，如手臂动态图像中手臂的动作识别，在识别到用户手臂伸向某个用户视频头像时，生成该用户视频头像被摸头的效果图，具体可以是将被摸头的用户视频向所述直播视频的播放画面的第一方向如底部方向缩进，当所述动作核心部位的动态图像中所述动作核心部位，如手臂触及多个用户视频头像时，可以对多个用户视频头像均生成向下缩进的效果，且可以根据各用户视频头像与距离用户手臂手指的距离，生成高低不一致的头像缩进效果图。例如，如图6所示，当用户手部摸向左侧用户视频头像43时，这些用户视频头像43会呈现向下缩进的物理碰撞效果。
192.上述生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，还可以是结合对所述动作核心部位的动态图像中所述动作核心部位的动作识别，例如，在识别到用户手指弹射某个用户视频头像时，生成该用户视频头像被弹飞的效果图，具体地，以手臂动态图像为例，可以获取所述手臂动态图像中手臂的运动速度和运动方向，例如，可以获取手臂在所述播放画面中每秒移动的像素来确定手臂运动速度，根据手臂在所述播放画面中移动前后的像素位置，确定手臂运动方向。
193.然后可根据动能守恒定律，计算出被弹射的用户视频头像在与所述手臂动态图像
碰撞后的目标运动速度和目标运动方向，例如，可假设第一用户视频头像的质量为m1，用户手臂质量为m2，并设m1等于1，m2等于所述目标用户视频中的用户手臂头像的面积占比，即m2等于所述目标用户视频中手臂动态图像的面积除以所述目标用户视频的面积的商。设第一用户视频头像碰撞前的速度为v1，用户手臂速度为v2，则根据动能守恒定律，即m1v1 m2v2＝m1v1
′
m2v2
′
，推导后，v1'＝[(m1-m2)v1 2m2v2]/(m1 m2)，v2'＝[(m2-m1)]v2 2m1v1]/(m1 m2)，其中，v1'为碰撞后与v1的相反方向的速度，v2'为碰撞后与v2的相反方向的速度，v1和v2可以是给定的初始值，也可以是获取到的实际速度。这样，可以计算出所述第一用户视频在与所述手臂动态图像碰撞后的目标运动速度和目标运动方向即v1'，从而可按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图，即可以生成被用户手指弹射的后的用户视频头像按照所述目标运动速度和目标运动方向移动的效果图。
[0194]
另外，可以不考虑地球引力对用户视频头像移动速度的影响，但是可以设置一个全局减速度a，a可以小于1，则用户视频头像的当前速度为v1'
×
a，在该速度小于一定阈值时，弹飞效果消失，用户视频头像可按固定速度，以直线返回原来位置。至于用户视频头像弹飞的方向，可以将所述直播视频的播放画面的四边作为镜面，当用户视频头像碰到画面四边时，将用户视频头像运动方向视作光线折射方向，认为其运动方向为射线，按照镜面折射轨迹进行运动。而在识别用户摸头动作时，可按照物理碰撞，减少全局减速度a的值，使其速度能在一定范围内约束。即a的值够小，则在碰撞后用户视频头像所产生的运动距离越小。
[0195]
这样，通过该实施方式，可以生成用户动作核心部位的动态图像与用户视频的物理碰撞效果，并保证效果图的质量。
[0196]
可选地，所述识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，包括：
[0197]
对所述目标用户视频进行手势识别；
[0198]
在识别到所述目标用户视频中的用户的抓取手势的情况下，确定与所述动作核心部位的动态图像存在位置信息重叠的第二用户视频，其中，所述第二用户视频为所述其他用户视频中的一个；
[0199]
基于所述动作核心部位的动态图像在所述直播视频的播放画面中的移动轨迹，将所述第二用户视频移动至目标位置，其中，所述目标位置与所述移动轨迹的终点位置关联。
[0200]
即一种实施方式中，所述目标用户视频对应的用户还可以通过控制手臂动作对直播视频画面的预设区域的用户视频头像的显示位置进行调整，实现方式可以是，用户手指做出抓取动作，抓取某个用户视频头像后，即可改变用户视频显示顺序。
[0201]
具体地，所述动作核心部位可以为手臂，所述服务端可以通过手势识别算法，识别所述目标用户视频中用户的抓取动作，所述目标用户视频中用户在进行抓取动作时，所述目标用户视频上方的手臂动态图像中用户手指将与某个用户视频坐标存在重合，这样，可以在识别到某个用户视频与所述手臂动态图像存在位置信息重叠时，可以获取该用户视频id，并可基于所述手臂动态图像在所述直播视频的播放画面中的移动轨迹，将该用户视频按该移动轨迹移动至与所述移动轨迹的终点位置关联的目标位置，具体地，当用户手指抓
取用户视频头像放手后，可以通过被抓取视频的中间点坐标，与附近其它用户视频的中间点坐标，确定被抓取的用户视频头像的调整顺序。
[0202]
例如，如图7所示，当用户视频a被抓取至用户视频b与用户视频c之间的某位置时，通过识别用户视频a当前的中心点坐标位置，和用户视频b与用户视频c的中心点坐标位置，可以确定将用户视频a插入至用户视频b与用户视频c之间。
[0203]
这样，占据中心位置的用户可以对其他用户视频头像进行多种方式的趣味互动，提高用户在观看直播视频中的互动趣味性。
[0204]
可选地，所述步骤103包括如下至少一项：
[0205]
在确定所述用户视频中的用户处于所述目标状态的情况下，基于所述用户视频中的人物图像轮廓，对所述用户视频进行背景分割，确定所述用户视频中的背景区域；使用预设颜色对所述用户视频中的背景区域进行填充；将处理后的用户视频加载到所述直播视频中；
[0206]
在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；将裁剪处理后的用户视频加载到所述直播视频中。
[0207]
一种实施方式中，还可以对所述用户视频中的背景进行分割填色，达到统一用户互动视频中的背景，避免背景干扰的目的。
[0208]
具体地，可以使用背景分割的方式，对所述用户视频进行人物与背景的分割，即可以识别所述用户视频中的人物图像轮廓，然后基于人物图像轮廓对所述用户视频进行背景分割，确定所述用户视频中的背景区域，并使用预设颜色对所述用户视频中的背景区域进行填充，即可以使用单色系填充背景。在用户视频数量为多个时，可以分别对不同用户视频的背景区域使用不同颜色填充，避免背景过于单调。
[0209]
这样，通过对用户视频中的背景区域进行填色处理，可以减少因背景过于复杂，导致画面不清晰或观看体验差的问题。
[0210]
另一种实施方式中，还可以对所述用户视频进行裁剪处理，保证在所述直播视频的播放画面中主要显示所述用户视频的人脸区域。具体地，可以对所述用户视频进行人脸识别，确定所述用户视频中用户的脸部坐标位置，然后基于识别的人脸位置，按照一定比例如1:1比例，对所述用户视频中各帧用户图像进行裁剪处理，裁剪规则可以如图8所示，保证用户脸部80位于画面左右正中间，且位于画面上下正中到上方三分之一的位置，其中，图8中框线即为裁剪区域。最后可将裁剪处理后的用户视频加载到所述直播视频中，例如，如图4所示，裁剪处理后的用户视频41可显示在所述直播视频的播放画面40的底部。
[0211]
这样，通过对用户视频进行裁剪处理，可保证直播视频中显示的用户互动视频能够突出互动用户头像特征，保证互动视频显示效果。
[0212]
可选地，所述步骤101包括：
[0213]
获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0214]
所述步骤101之后，所述方法还包括：
[0215]
对所述多个用户视频中的声音进行识别和分类统计；
[0216]
确定所述多个用户视频中目标类别的声音的数量占比；
[0217]
在所述数量占比大于预设值的情况下，对所述目标类别的声音音量进行处理。
[0218]
即一种实施方式中，服务端可以接收多个客户端发送的多个用户视频，播放所述直播视频的多个客户端可以分别对各自观看用户进行视频采集，并将各自采集得到的用户视频上传服务端。
[0219]
所述服务端可获取当前接入本场视频互动的用户总数量，记为u，也即获取到的用户视频的数量，例如，当前有100名用户在本直播间观看比赛并接入互动，则u＝100。
[0220]
所述服务端还可以分别对每个用户视频中的用户声音进行识别和分类，确定每个用户视频中用户的声音类别，例如为欢呼声、说话声、哭声、喷嚏声还是非人声等，具体可使用基于深度学习等声音分类的算法，实时对所有接入本场直播视频互动的用户声音进行分析，确定各用户声音类别，还可将常规声音进行过滤，如对喷嚏声、非人声等进行过滤，不予统计。并对其他声音类别的数量进行统计，例如，确定当前有20名用户没有发出声音，有45名用户在小声说话，有35名用户在大声尖叫“哦～”，即为欢呼声，这样，可以确定其中目标类别的声音的数量，所述目标类别可以是根据需要识别的用户状态确定，例如，所述目标类别的声音可以是欢呼声、哭声等，例如，设当前目标类别的声音数量为s，目标类别的声音为欢呼声，则s＝35，并可以确定所述目标类别的声音的数量占比，即s/u。
[0221]
在所述目标类别的声音的数量占比大于预设值的情况下，可以识别当前氛围为目标氛围，例如，在识别到欢呼声的数量占比大于预设值的情况下，可以确定当前氛围为欢呼氛围。其中，所述预设值可以基于直播视频的类型不同而采用不同的值，例如，对于世界杯直播视频，所述预设值可以定的较高，如0.8，对于普通的直播视频，则可以设定的较低些，如设为0.3。
[0222]
在确定当前氛围为目标氛围的情况下，可以对所述目标类别的声音音量进行处理，例如，可设定所述目标类别的声音音量与当前氛围匹配，对于欢呼氛围，可以将欢呼声音量设置的较大，对于悲伤氛围，则可以将哭泣声音量设置的较小，等等。
[0223]
这样，通过对接入互动的用户视频中的声音进行识别和分类，确定目标类别的声音音量，可以保证用户互动视频的播放效果与当前氛围匹配，从而保证直播视频中的互动效果。
[0224]
可选地，所述对所述目标类别的声音音量进行处理，包括：
[0225]
基于所述数量占比，确定所述目标类别的声音音量，其中，所述目标类别的声音音量与所述数量占比正相关；
[0226]
按照所述目标类别的声音音量，将所述目标类别的声音叠加在所述多个用户视频中。
[0227]
即一种实施方式中，可以根据所述目标类别的声音数量占比，确定所述目标类别的声音音量，具体可以是所述数量占比越高，则所述目标类别的声音音量越大，并可以将确定的所述目标类别的声音音量叠加至所述多个用户视频中，达到所述目标类别的声音音量随所述目标类别的声音数量增多而逐渐增大的效果，例如，随着当前发出欢呼声的用户数越多，客户端在播放直播视频时，从所述多个用户视频中发出的欢呼声音量随之增大。
[0228]
这样，可以防止目标类别的声音瞬间变大，导致用户心理没有准备受到惊吓，起到声音音量的过度缓冲作用，并保证用户互动效果。
[0229]
步骤104、将加载有所述用户视频的直播视频下发至第二客户端。
[0230]
服务端可以将加载有所述用户视频的直播视频下发至第二客户端，第二客户端可以包括所述第一客户端，也可以包括除所述第一客户端之外的其他客户端，即对于未参与互动的用户，也可以在直播视频中看到其他用户的互动视频，当然，不参与互动的用户也可以选择不接收其他用户的互动视频，只观看所述直播视频。
[0231]
所述第二客户端在接收到加载有所述用户视频的直播视频后，可以在直播视频画面中显示所述用户视频，即所述第二客户端用户可以在观看所述直播视频的同时看到自己或其他用户的互动视频。
[0232]
本发明实施例的视频处理方法，获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；将加载有所述用户视频的直播视频下发至第二客户端。这样，用户能够在观看直播视频的过程中，通过视频进行互动，互动方式更为有趣丰富。
[0233]
参见图9，图9是本发明实施例提供的视频处理方法的流程图，应用于客户端，如图9所示，该方法包括以下步骤：
[0234]
步骤901、接收服务端下发的加载有用户视频的直播视频。
[0235]
步骤902、播放所述加载有所述用户视频的直播视频。
[0236]
其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的，且所述用户视频中的用户处于目标状态。
[0237]
可选地，所述方法还包括：
[0238]
在播放所述直播视频的过程中，对观看用户进行视频采集，得到第三用户视频；
[0239]
将所述第三用户视频上传至所述服务端，以使所述服务端对所述第三用户视频进行识别。
[0240]
需说明的是，本实施例作为与图1所示实施例对应的客户端侧的实施方式，其具体实施方式可以参见图所示实施例中的相关描述，为避免重复，此处不再赘述。
[0241]
本发明实施例的视频处理方法，接收服务端下发的加载有用户视频的直播视频；播放所述加载有所述用户视频的直播视频。这样，用户能够在观看直播视频的过程中，通过视频进行互动，互动方式更为有趣丰富。
[0242]
本发明实施例还提供了一种视频处理装置。参见图10，图10是本发明实施例提供的视频处理装置的结构图，应用于服务端。由于视频处理装置解决问题的原理与本发明实施例中视频处理方法相似，因此该视频处理装置的实施可以参见方法的实施，重复之处不再赘述。
[0243]
如图10所示，视频处理装置1000包括：
[0244]
第一获取模块1001，用于获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；
[0245]
第一识别模块1002，用于对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；
[0246]
第一处理模块1003，用于在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；
[0247]
发送模块1004，用于将加载有所述用户视频的直播视频下发至第二客户端。
[0248]
可选地，第一识别模块1002用于对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态。
[0249]
可选地，第一识别模块1002包括：
[0250]
第一确定单元，用于确定所述用户视频中每帧用户图像中用户的手臂与躯干之间的夹角；
[0251]
第二确定单元，用于在确定目标帧用户图像中用户的手臂与躯干之间的夹角大于预设角度的情况下，确定所述用户视频中的用户处于所述欢呼状态，其中，所述目标帧用户图像为所述用户视频中的任一帧图像。
[0252]
可选地，第一获取模块1001用于获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0253]
第一处理模块1003包括：
[0254]
第三确定单元，用于在确定至少两个用户视频中的用户处于所述目标状态的情况下，确定每个用户视频中用户的动作变化幅度；
[0255]
第四确定单元，用于从所述至少两个用户视频中确定目标用户视频，其中，所述目标用户视频中的用户的动作变化幅度最大；
[0256]
第一处理单元，用于将所述至少两个用户视频加载在所述直播视频的播放画面的预设区域，其中，所述目标用户视频位于所述预设区域的中间位置。
[0257]
可选地，所述至少两个用户视频中除所述目标用户视频外的其他用户视频以第一尺寸加载在所述直播视频的播放画面的预设区域，所述目标用户视频以第二尺寸加载在所述预设区域的中间位置，其中，所述第二尺寸大于所述第一尺寸。
[0258]
可选地，视频处理装置1000还包括：
[0259]
第二识别模块，用于识别所述目标用户视频中用户的动作核心部位轮廓；
[0260]
截取模块，用于基于所述轮廓，从所述目标用户视频中截取所述动作核心部位的动态图像；
[0261]
第二处理模块，用于将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置，其中，所述第三尺寸大于第二尺寸，所述第二尺寸为所述目标用户视频的显示尺寸。
[0262]
可选地，视频处理装置1000还包括：
[0263]
第七处理模块，用于识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，其中，所述第一用户视频为所述其他用户视频中的至少一个。
[0264]
可选地，视频处理装置1000还包括：
[0265]
第二获取模块，用于获取所述动作核心部位的动态图像在所述直播视频的播放画面中的位置信息；
[0266]
第三处理模块，用于在检测到所述动作核心部位的动态图像与所述第一用户视频的位置信息存在重叠的情况下，生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，并将所述碰撞效果图加载到所述直播视频中。
[0267]
可选地，所述第三处理模块用于将所述第一用户视频向所述直播视频的播放画面
的第一方向缩进，其中，所述第一方向与所述动作核心部位的动态图像的动作方向相关；
[0268]
或者，所述第三处理模块用于基于所述动作核心部位的动态图像中所述动作核心部位的运动速度和运动方向，确定所述第一用户视频在与所述动作核心部位的动态图像碰撞后的目标运动速度和目标运动方向；按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图。
[0269]
可选地，视频处理装置1000还包括：
[0270]
第三识别模块，用于对所述目标用户视频进行手势识别；
[0271]
第一确定模块，用于在识别到所述目标用户视频中的用户的抓取手势的情况下，确定与所述动作核心部位的动态图像存在位置信息重叠的第二用户视频，其中，所述第二用户视频为所述其他用户视频中的一个；
[0272]
第四处理模块，用于基于所述动作核心部位的动态图像在所述直播视频的播放画面中的移动轨迹，将所述第二用户视频移动至目标位置，其中，所述目标位置与所述移动轨迹的终点位置关联。
[0273]
可选地，第一处理模块1003包括：
[0274]
第二处理单元，用于在确定所述用户视频中的用户处于所述目标状态的情况下，基于所述用户视频中的人物图像轮廓，对所述用户视频进行背景分割，确定所述用户视频中的背景区域；
[0275]
第三处理单元，用于使用预设颜色对所述用户视频中的背景区域进行填充；
[0276]
第四处理单元，用于将处理后的用户视频加载到所述直播视频中；
[0277]
和/或，第一处理模块1003包括：
[0278]
识别单元，用于在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；
[0279]
第六处理单元，用于基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；
[0280]
第七处理单元，用于将裁剪处理后的用户视频加载到所述直播视频中。
[0281]
可选地，第一获取模块1001用于获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0282]
视频处理装置1000还包括：
[0283]
第五处理模块，用于对所述多个用户视频中的声音进行识别和分类统计；
[0284]
第二确定模块，用于确定所述多个用户视频中目标类别的声音的数量占比；
[0285]
第六处理模块，用于在所述数量占比大于预设值的情况下，对所述目标类别的声音音量进行处理。
[0286]
可选地，所述第六处理模块包括：
[0287]
第五确定单元，用于基于所述数量占比，确定所述目标类别的声音音量，其中，所述目标类别的声音音量与所述数量占比正相关；
[0288]
第五处理单元，用于按照所述目标类别的声音音量，将所述目标类别的声音叠加在所述多个用户视频中。
[0289]
本发明实施例提供的视频处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0290]
本发明实施例的视频处理装置1000，获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；将加载有所述用户视频的直播视频下发至第二客户端。这样，用户能够在观看直播视频的过程中，通过视频进行互动，互动方式更为有趣丰富。
[0291]
本发明实施例还提供了一种视频处理装置。参见图11，图11是本发明实施例提供的视频处理装置的结构图，应用于客户端。由于视频处理装置解决问题的原理与本发明实施例中视频处理方法相似，因此该视频处理装置的实施可以参见方法的实施，重复之处不再赘述。
[0292]
如图11所示，视频处理装置1100包括：
[0293]
接收模块1101，用于接收服务端下发的加载有用户视频的直播视频；
[0294]
播放模块1102，用于播放所述加载有所述用户视频的直播视频。
[0295]
其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的，且所述用户视频中的用户处于目标状态。
[0296]
可选地，视频处理装置1100还包括：
[0297]
采集模块，于在播放所述直播视频的过程中，对观看用户进行视频采集，得到第三用户视频；
[0298]
上传模块，用于将所述第三用户视频上传至所述服务端，以使所述服务端对所述第三用户视频进行识别。
[0299]
本发明实施例提供的视频处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0300]
本发明实施例的视频处理装置1100，接收服务端下发的加载有用户视频的直播视频；播放所述加载有所述用户视频的直播视频。。这样，用户能够在观看直播视频的过程中，通过视频进行互动，互动方式更为有趣丰富。
[0301]
本发明实施例还提供了一种电子设备。由于电子设备解决问题的原理与本发明实施例中视频处理方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。一种实施方式中，该电子设备可为服务端，如图12所示，该服务端，包括：
[0302]
处理器1200，用于读取存储器1220中的程序，执行下列过程：
[0303]
获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；
[0304]
对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；
[0305]
在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；
[0306]
通过收发机1210将加载有所述用户视频的直播视频下发至第二客户端。
[0307]
收发机1210，用于在处理器1200的控制下接收和发送数据。
[0308]
其中，在图12中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1200代表的一个或多个处理器和存储器1220代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这
些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1210可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器1200负责管理总线架构和通常的处理，存储器1220可以存储处理器1200在执行操作时所使用的数据。
[0309]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0310]
对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态。
[0311]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0312]
确定所述用户视频中每帧用户图像中用户的手臂与躯干之间的夹角；
[0313]
在确定目标帧用户图像中用户的手臂与躯干之间的夹角大于预设角度的情况下，确定所述用户视频中的用户处于所述欢呼状态，其中，所述目标帧用户图像为所述用户视频中的任一帧图像。
[0314]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0315]
获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0316]
在确定至少两个用户视频中的用户处于所述目标状态的情况下，确定每个用户视频中用户的动作变化幅度；
[0317]
从所述至少两个用户视频中确定目标用户视频，其中，所述目标用户视频中的用户的动作变化幅度最大；
[0318]
将所述至少两个用户视频加载在所述直播视频的播放画面的预设区域，其中，所述目标用户视频位于所述预设区域的中间位置。
[0319]
可选地，所述至少两个用户视频中除所述目标用户视频外的其他用户视频以第一尺寸加载在所述直播视频的播放画面的预设区域，所述目标用户视频以第二尺寸加载在所述预设区域的中间位置，其中，所述第二尺寸大于所述第一尺寸。
[0320]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0321]
识别所述目标用户视频中用户的动作核心部位轮廓；
[0322]
基于所述轮廓，从所述目标用户视频中截取所述动作核心部位的动态图像；
[0323]
将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置，其中，所述第三尺寸大于第二尺寸，所述第二尺寸为所述目标用户视频的显示尺寸。
[0324]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0325]
识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，其中，所述第一用户视频为所述其他用户视频中的至少一个。
[0326]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0327]
获取所述动作核心部位的动态图像在所述直播视频的播放画面中的位置信息；
[0328]
在检测到所述动作核心部位的动态图像与所述第一用户视频的位置信息存在重叠的情况下，生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，并将所述碰撞效果图加载到所述直播视频中。
[0329]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0330]
将所述第一用户视频向所述直播视频的播放画面的第一方向缩进，其中，所述第一方向与所述动作核心部位的动态图像的动作方向相关；
[0331]
或者，基于所述动作核心部位的动态图像中所述动作核心部位的运动速度和运动方向，确定所述第一用户视频在与所述动作核心部位的动态图像碰撞后的目标运动速度和目标运动方向；按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图。
[0332]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0333]
对所述目标用户视频进行手势识别；
[0334]
在识别到所述目标用户视频中的用户的抓取手势的情况下，确定与所述动作核心部位的动态图像存在位置信息重叠的第二用户视频，其中，所述第二用户视频为所述其他用户视频中的一个；
[0335]
基于所述动作核心部位的动态图像在所述直播视频的播放画面中的移动轨迹，将所述第二用户视频移动至目标位置，其中，所述目标位置与所述移动轨迹的终点位置关联。
[0336]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下至少一个步骤：
[0337]
在确定所述用户视频中的用户处于所述目标状态的情况下，基于所述用户视频中的人物图像轮廓，对所述用户视频进行背景分割，确定所述用户视频中的背景区域；使用预设颜色对所述用户视频中的背景区域进行填充；将处理后的用户视频加载到所述直播视频中；
[0338]
在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；将裁剪处理后的用户视频加载到所述直播视频中。
[0339]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0340]
获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0341]
对所述多个用户视频中的声音进行识别和分类统计；
[0342]
确定所述多个用户视频中目标类别的声音的数量占比；
[0343]
在所述数量占比大于预设值的情况下，对所述目标类别的声音音量进行处理。
[0344]
可选地，处理器1200还用于读取存储器1220中的程序，执行如下步骤：
[0345]
基于所述数量占比，确定所述目标类别的声音音量，其中，所述目标类别的声音音量与所述数量占比正相关；
[0346]
按照所述目标类别的声音音量，将所述目标类别的声音叠加在所述多个用户视频中。
[0347]
本发明实施例提供的电子设备作为服务端使用时，可以执行图1所示方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0348]
另一种实施方式中，该电子设备可为客户端，如图13所示，该客户端，包括：
[0349]
处理器1300，用于读取存储器1320中的程序，执行下列过程：
[0350]
通过收发机1310接收服务端下发的加载有用户视频的直播视频；
[0351]
播放所述加载有所述用户视频的直播视频。
[0352]
其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的，且所述用户视频中的用户处于目标状态。
[0353]
收发机1310，用于在处理器1300的控制下接收和发送数据。
[0354]
其中，在图13中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1300代表的一个或多个处理器和存储器1320代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1310可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口1330还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
[0355]
处理器1300负责管理总线架构和通常的处理，存储器1320可以存储处理器1300在执行操作时所使用的数据。
[0356]
可选地，处理器1300还用于读取存储器1320中的程序，执行如下步骤：
[0357]
在播放所述直播视频的过程中，对观看用户进行视频采集，得到第三用户视频；
[0358]
通过收发机1310将所述第三用户视频上传至所述服务端，以使所述服务端对所述第三用户视频进行识别。
[0359]
本发明实施例提供的电子设备作为客户端使用时，可以执行图9所示方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0360]
此外，本发明实施例的计算机可读存储介质，用于存储计算机程序，一种实施方式中，所述计算机程序可被处理器执行实现以下步骤：
[0361]
获取用户视频，其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的；
[0362]
对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态；
[0363]
在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中；
[0364]
将加载有所述用户视频的直播视频下发至第二客户端。
[0365]
可选地，所述对所述用户视频进行识别，确定所述用户视频中的用户是否处于目标状态，包括：
[0366]
对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态。
[0367]
可选地，所述对所述用户视频中用户的动作幅度和/或脸部表情进行识别，确定所述用户视频中的用户是否处于目标情绪状态，包括：
[0368]
确定所述用户视频中每帧用户图像中用户的手臂与躯干之间的夹角；
[0369]
在确定目标帧用户图像中用户的手臂与躯干之间的夹角大于预设角度的情况下，确定所述用户视频中的用户处于所述欢呼状态，其中，所述目标帧用户图像为所述用户视频中的任一帧图像。
[0370]
可选地，所述获取用户视频，包括：
[0371]
获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0372]
所述在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中，包括：
[0373]
在确定至少两个用户视频中的用户处于所述目标状态的情况下，确定每个用户视频中用户的动作变化幅度；
[0374]
从所述至少两个用户视频中确定目标用户视频，其中，所述目标用户视频中的用户的动作变化幅度最大；
[0375]
将所述至少两个用户视频加载在所述直播视频的播放画面的预设区域，其中，所述目标用户视频位于所述预设区域的中间位置。
[0376]
可选地，所述至少两个用户视频中除所述目标用户视频外的其他用户视频以第一尺寸加载在所述直播视频的播放画面的预设区域，所述目标用户视频以第二尺寸加载在所述预设区域的中间位置，其中，所述第二尺寸大于所述第一尺寸。
[0377]
可选地，所述从所述至少两个用户视频中确定目标用户视频之后，所述方法还包括：
[0378]
识别所述目标用户视频中用户的动作核心部位的轮廓；
[0379]
基于所述轮廓，从所述目标用户视频中截取所述动作核心部位的动态图像；
[0380]
将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置，其中，所述第三尺寸大于第二尺寸，所述第二尺寸为所述目标用户视频的显示尺寸。
[0381]
可选地，所述将所述动作核心部位的动态图像以第三尺寸加载在所述直播视频的播放画面中与所述目标用户视频关联的位置之后，所述方法还包括：
[0382]
识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，其中，所述第一用户视频为所述其他用户视频中的至少一个。
[0383]
可选地，所述识别所述动作核心部位的动态图像对第一用户视频的互动动作，并基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，包括：
[0384]
获取所述动作核心部位的动态图像在所述直播视频的播放画面中的位置信息；
[0385]
在检测到所述动作核心部位的动态图像与所述第一用户视频的位置信息存在重叠的情况下，生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，并将所述碰撞效果图加载到所述直播视频中。
[0386]
可选地，所述生成所述动作核心部位的动态图像与所述第一用户视频的碰撞效果图，包括：
[0387]
将所述第一用户视频向所述直播视频的播放画面的第一方向缩进，其中，所述第一方向与所述动作核心部位的动态图像的动作方向相关；
[0388]
或者，基于所述动作核心部位的动态图像中所述动作核心部位的运动速度和运动方向，确定所述第一用户视频在与所述动作核心部位的动态图像碰撞后的目标运动速度和目标运动方向；按照所述目标运动速度和目标运动方向，生成所述第一用户视频在所述直播视频的播放画面中的弹飞效果图。
[0389]
可选地，所述识别所述动作核心部位的动态图像对第一用户视频的互动动作，并
基于所述互动动作，生成所述第一用户视频在所述直播视频的播放画面中的交互显示效果，包括：
[0390]
对所述目标用户视频进行手势识别；
[0391]
在识别到所述目标用户视频中的用户的抓取手势的情况下，确定与所述动作核心部位的动态图像存在位置信息重叠的第二用户视频，其中，所述第二用户视频为所述其他用户视频中的一个；
[0392]
基于所述动作核心部位的动态图像在所述直播视频的播放画面中的移动轨迹，将所述第二用户视频移动至目标位置，其中，所述目标位置与所述移动轨迹的终点位置关联。
[0393]
可选地，所述在确定所述用户视频中的用户处于所述目标状态的情况下，将所述用户视频加载到所述直播视频中，包括如下至少一项：
[0394]
在确定所述用户视频中的用户处于所述目标状态的情况下，基于所述用户视频中的人物图像轮廓，对所述用户视频进行背景分割，确定所述用户视频中的背景区域；使用预设颜色对所述用户视频中的背景区域进行填充；将处理后的用户视频加载到所述直播视频中；
[0395]
在确定所述用户视频中的用户处于所述目标状态的情况下，对所述用户视频进行人脸识别，确定所述用户视频中的人脸位置；基于所述用户视频中的人脸位置，对所述用户视频进行裁剪处理；将裁剪处理后的用户视频加载到所述直播视频中。
[0396]
可选地，所述获取用户视频，包括：
[0397]
获取多个用户视频，其中，所述多个用户视频为播放直播视频的不同客户端分别对各自观看用户进行视频采集得到的；
[0398]
所述获取多个用户视频之后，所述方法还包括：
[0399]
对所述多个用户视频中的声音进行识别和分类统计；
[0400]
确定所述多个用户视频中目标类别的声音的数量占比；
[0401]
在所述数量占比大于预设值的情况下，对所述目标类别的声音音量进行处理。
[0402]
可选地，所述对所述目标类别的声音音量进行处理，包括：
[0403]
基于所述数量占比，确定所述目标类别的声音音量，其中，所述目标类别的声音音量与所述数量占比正相关；
[0404]
按照所述目标类别的声音音量，将所述目标类别的声音叠加在所述多个用户视频中。
[0405]
另一种实施方式中，所述计算机程序可被处理器执行实现以下步骤：
[0406]
接收服务端下发的加载有用户视频的直播视频；
[0407]
播放所述加载有所述用户视频的直播视频；
[0408]
其中，所述用户视频为播放直播视频的第一客户端对观看用户进行视频采集得到的，且所述用户视频中的用户处于目标状态。
[0409]
可选地，所述方法还包括：
[0410]
在播放所述直播视频的过程中，对观看用户进行视频采集，得到第三用户视频；
[0411]
将所述第三用户视频上传至所述服务端，以使所述服务端对所述第三用户视频进行识别。
[0412]
在本技术所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它
的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0413]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0414]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0415]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。