一种手势视频拼接方法及系统、计算机设备与流程

1.本发明涉及一种手势视频拼接方法及系统、计算机设备，属于视频剪辑技术领域。


背景技术：

2.现在社会有很多视频内容生成需求，现有合成视频的方法是把多个短的视频片段(例如0.5秒)合成更长的视频内容。例如为了合成一个主播说话的视频，可以把主播摊手、主播坐直、主播摇头等一系列短视频合起来。为了保证拼接的连贯性和视觉效果，需要考虑所拼接短视频之间在图像各方面因素下的连续性，现有技术中的视频拼接大多是简单的对接处理，存在诸如前景对象位置跳跃、色差突变等等问题，严重影响拼接后的视觉效果。


技术实现要素：

3.本发明所要解决的技术问题是提供一种手势视频拼接方法，针对来自同一视频、且分割所得的手势视频片段，考虑视频拼接位置之间的多种拼接因素，能够有效提高所获拼接视频的连贯性和视觉效果。
4.本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种手势视频拼接方法，针对来自目标视频、且按时序排列的各个手势视频片段，执行如下步骤a至步骤f，实现手势视频片段的拼接，其中各手势视频片段中的各视频帧均包含手势图像；
5.步骤a.针对各组前后相邻两手势视频片段，由前手势视频片段中最后预设帧数各视频帧与后手势视频片段中前第一预设帧数各视频帧组成帧组，并定义帧组中来自前手势视频片段的各视频帧为前各视频帧，以及定义帧组中来自后手势视频片段的各视频帧为后各视频帧，进而获得各组前后相邻两手势视频片段所对应的帧组；
6.步骤b.基于各个帧组中前各视频帧与后各视频帧之间的像素，丢弃不与相邻手势视频片段存在像素连续关系的各个手势视频片段，同时针对各组相邻存在像素连续关系的两手势视频片段进行拼接，构成各个第一级拼接手势视频片段；
7.步骤c.基于各个帧组中前各视频帧与后各视频帧之间的局部色差，针对各组相邻存在局部色差连续关系的两第一级拼接手势视频片段进行拼接，构成各个第二级拼接手势视频片段，同时丢弃不与相邻第一级拼接手势视频片段存在局部色差连续关系的各个第一级拼接手势视频片段；
8.步骤d.基于各个帧组中前各视频帧与后各视频帧之间的人物头部图像大小，针对各组相邻存在人物头部图像大小连续关系的两第二级拼接手势视频片段进行拼接，构成各个第三级拼接手势视频片段，同时丢弃不与相邻第二级拼接手势视频片段存在人物头部图像大小连续关系的各个第二级拼接手势视频片段；
9.步骤e.基于各个帧组中前各视频帧与后各视频帧之间的光流，针对各组相邻存在光流连续关系的两第三级拼接手势视频片段进行拼接，构成各个手势拼接视频片段，同时丢弃不与相邻第三级拼接手势视频片段存在光流连续关系的各个第三级拼接手势视频片段；
10.步骤f.分别针对各个手势拼接视频片段，结合目标视频，在手势拼接视频片段依次由各手势视频片段、各第一级拼接手势视频片段、各第二级拼接手势视频片段、各第三级拼接手势视频片段的各个拼接位置分别执行插针处理，更新手势拼接视频片段。
11.作为本发明的一种优选技术方案：所述步骤b包括如下步骤b1
‑
1 至步骤b1
‑
3；
12.步骤b1
‑
1.基于各视频片段分别所对应的手势类型，分别针对各组前后相邻、且分别对应相同手势类型的两手势视频片段，针对该两手势视频片段按前后顺序实现拼接，获得第一级拼接手势视频片段；
13.步骤b1
‑
2.基于各视频片段分别所对应的手势类型，分别针对各组前后相邻、且分别对应不同手势类型的两手势视频片段，获得该两手势视频片段所对应帧组中前各视频帧中手部检测框中心分别与后各视频帧中手部检测框中心之间的欧式距离，并判断其中最小欧式距离是否小于预设欧式距离阈值，是则以该最小欧式距离所对应的两视频帧为连接位置，针对该两手势视频片段按前后顺序在该连接位置实现拼接，获得第一级拼接手势视频片段；否则该两手势视频片段不执行拼接；
14.步骤b1
‑
3.丢弃未执行拼接操作的手势视频片段，同时针对各个第一级拼接手势视频片段，将前后存在相同手势视频片段的各第一级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第一级拼接手势视频片段。
15.作为本发明的一种优选技术方案：所述步骤b包括如下步骤b2
‑
1 至步骤b2
‑
8；
16.步骤b2
‑
1.分别针对各个手势视频片段，按如下操作，应用图像分割法，获得手势视频片段中各视频帧中的人物身体部分图像；
17.基于手势视频片段中第一帧视频帧中包围人物身体部分图像的预设框，依次分别针对手势视频片段中的各视频帧，先应用siammask视频分割网络，针对视频帧执行以人物作为前景的前景粗分割处理，再针对所获前景人物粗分割结果，应用background matting算法，执行以人物身体作为背景的背景精细分割处理，获得该视频帧中的人物身体部分图像；进而获得手势视频片段中各视频帧中的人物身体部分图像；
18.步骤b2
‑
2.分别针对各组前后相邻两手势视频片段所对应的帧组，计算获得帧组中前各视频帧中人物身体部分图像与后各视频帧中人物身体部分图像之间的交并比iou，并判断交并比iou是否大于预设交并比阈值，是则将该帧组所对应两手势视频片段，按先后顺序进行拼接，获得初级手势视频拼接片段；否则不做拼接操作；
19.步骤b2
‑
3.丢弃未执行步骤b2
‑
2中拼接操作的手势视频片段，同时针对各个初级手势视频拼接片段，将前后存在相同手势视频片段的各初级手势视频拼接片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个初级手势视频拼接片段；
20.步骤b2
‑
4.分别针对各组前后相邻两初级手势视频拼接片段所对应的帧组，基于帧组中前各视频帧中人物身体部分图像中心位置与后各视频帧中人物身体部分图像中心位置之间的位置匹配，遍历视频帧中的各个像素位置，判断帧组中前各视频帧中人物身体部分图像在像素位置的像素值是否与后各视频帧中人物身体部分图像在对应像素位置的像素值均一致，并获得前后均一致的像素位置个数，并以此像素位置个数与单帧视频帧中像素位置的总数的比值，作为该帧组所对应的人物身体像素精度；
21.步骤b2
‑
5.分别针对各组前后相邻两初级手势视频拼接片段所对应的帧组，判断帧组所对应的人物身体像素精度是否大于预设像素精度阈值，是则将该帧组所对应两初级
手势视频拼接片段，按先后顺序进行拼接，获得中级手势视频拼接片段；否则不做拼接操作；
22.步骤b2
‑
6.丢弃未执行步骤b2
‑
5中拼接操作的初级手势视频拼接片段，同时针对各个中级手势视频拼接片段，将前后存在相同初级手势视频拼接片段的各中级手势视频拼接片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个中级手势视频拼接片段；
23.步骤b2
‑
7.分别针对各组前后相邻两中级手势视频拼接片段所对应的帧组，首先获得帧组中前各视频帧中人物身体部分图像hash编码的平均hash编码，以及获得该帧组中后各视频帧中人物身体部分图像 hash编码的平均hash编码，然后获得该帧组中前各视频帧所对应平均 hash编码与后各视频帧所对应平均hash编码之间的汉明距离，最后判断汉明距离是否大于预设汉明距离阈值，是则将该帧组所对应两中级手势视频拼接片段，按先后顺序进行拼接，获得第一级拼接手势视频片段；否则不做拼接操作；
24.步骤b2
‑
8.丢弃未执行步骤b2
‑
7中拼接操作的中级手势视频拼接片段，同时针对各个第一级拼接手势视频片段，将前后存在相同中级手势视频拼接片段的各第一级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第一级拼接手势视频片段。
25.作为本发明的一种优选技术方案：所述步骤c包括如下步骤c1至步骤c2；
26.步骤c1.分别针对各组前后相邻两第一级拼接手势视频片段所对应的帧组，获得帧组中前各视频帧中无遮挡背景区域与后各视频帧中无遮挡背景区域之间所对应的局部色差，并按下述判断进行处理；
27.若局部色差小于10，则将该帧组所对应两第一级拼接手势视频片段，按先后顺序进行拼接，获得第二级拼接手势视频片段；
28.若局部色差大于或等于10、且小于或等于60，则应用colortransfer 调整该帧组所对应两第一级拼接手势视频片段的局部色差，直至满足局部色差小于10，再将该帧组所对应两第一级拼接手势视频片段，按先后顺序进行拼接，获得第二级拼接手势视频片段；
29.若局部色差大于60，则不执行拼接；
30.步骤c2.丢弃未执行步骤c1中拼接操作的第一级拼接手势视频片段，同时针对各个第二级拼接手势视频片段，将前后存在相同第一级拼接手势视频片段的各第二级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第二级拼接手势视频片段。
31.作为本发明的一种优选技术方案：按如下步骤c1
‑
1至步骤c1
‑
2，实现应用colortransfer调整该帧组所对应两第一级拼接手势视频片段的局部色差；
32.步骤c1
‑
1.针对该帧组所对应两第一级拼接手势视频片段中的各个视频帧，切割获得人物前景图像，并针对各人物前景图像，应用直方图规定化方法进行颜色迁移，并利用累计直方图概率匹配调整人物前景图像颜色；
33.步骤c1
‑
2.针对该帧组所对应两第一级拼接手势视频片段中的各个视频帧，切割获得背景图像，并针对各背景图像，利用colortransfer 库在lab颜色空间下进行颜色匹配。
34.作为本发明的一种优选技术方案：所述步骤d包括如下步骤d1 至步骤d3：
35.步骤d1.分别针对各个第二级拼接手势视频片段，按如下操作，应用图像分割法，
获得第二级拼接手势视频片段中各视频帧中的人物头部图像；
36.基于第二级拼接手势视频片段中第一帧视频帧中包围人物头部图像的预设框，依次分别针对第二级拼接手势视频片段中的各视频帧，应用siammask视频分割网络，针对视频帧执行以人物头部作为前景的前景粗分割处理，获得该视频帧中的人物头部图像；进而获得第二级拼接手势视频片段中各视频帧中的人物头部图像；
37.步骤d2.分别针对各组前后相邻两第二级拼接手势视频片段所对应的帧组，首先应用siammask网络追踪帧组中前后各视频帧中人物头部图像，获得各人物头部图像的掩膜，统计各掩膜分别所覆盖像元的个数，并获得该帧组中前各视频帧中人物头部图像掩膜分别所覆盖像元个数的平均值、以及获得该帧组中后各视频帧中人物头部图像掩膜分别所覆盖像元个数的平均值；然后计算获得该帧组中前各视频帧人物头部图像像元与后各视频帧人物头部图像像元之间的比例距离；最后按下述判断进行处理；
38.若比例距离小于0.07，则将该帧组所对应两第二级拼接手势视频片段，按先后顺序进行拼接，获得第三级拼接手势视频片段；
39.若比例距离大于或等于0.07，且比例距离小于或等于0.16，则应用scale transfer调整该帧组所对应两第二级拼接手势视频片段的人物头部图像大小，直至所述比例距离小于0.07，再将该帧组所对应两第二级拼接手势视频片段，按先后顺序进行拼接，获得第三级拼接手势视频片段；
40.若比例距离大于0.16，则不执行拼接；
41.步骤d3.丢弃未执行步骤d2中拼接操作的第二级拼接手势视频片段，同时针对各个第三级拼接手势视频片段，将前后存在相同第二级拼接手势视频片段的各第三级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第三级拼接手势视频片段。
42.作为本发明的一种优选技术方案：按如下步骤d2
‑
1至步骤d2
‑
2，实现应用scale transfer调整该帧组所对应两第二级拼接手势视频片段的人物头部图像大小；
43.步骤d2
‑
1.根据帧组所对应的比例距离，按帧组所对应前第二级拼接手势视频片段中各视频帧中的人物头部图像，针对该帧组所对应后第二级拼接手势视频片段中各视频帧中的人物头部图像进行比例缩放；
44.步骤d2
‑
2.分别针对该帧组所对应后第二级拼接手势视频片段中各视频帧，以视频帧中人物头部图像所在检测框底边的中点作为中心，针对缩放后结果截取与该视频帧同尺寸的新视频帧，替换该视频帧，进而更新该帧组所对应后第二级拼接手势视频片段中各视频帧。
45.作为本发明的一种优选技术方案：所述步骤e包括如下步骤e1至步骤e2：
46.步骤e1.分别针对各组前后相邻两第三级拼接手势视频片段所对应的帧组，获得帧组中前各视频帧中指定视频帧的各像素点的光流值、并统计其中光流值大于预设光流值阈值的像素点个数，同时获得后各视频帧中指定视频帧的各像素点的光流值、并统计其中光流值大于预设光流值阈值的像素点个数；若该帧组中前各视频帧中指定视频帧对应所获像素点个数与后各视频帧中指定视频帧对应所获像素点个数均大于预设像素点阈值，则将该帧组所对应两第三级拼接手势视频片段，按先后顺序进行拼接，获得手势拼接视频片段；反之该帧组所对应两第三级拼接手势视频片段不执行拼接；
47.步骤e2.丢弃未执行步骤e1中拼接操作的第三级拼接手势视频片段，同时针对各个手势拼接视频片段，将前后存在相同第三级拼接手势视频片段的各手势拼接视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个手势拼接视频片段。
48.相应，本发明所要解决的技术问题是提供一种手势视频拼接方法的系统，针对来自同一视频、且分割所得的手势视频片段，考虑视频拼接位置之间的多种拼接因素，能够有效提高所获拼接视频的连贯性和视觉效果。
49.本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种手势视频拼接方法的系统，包括帧组构建模块、像素筛选拼接模块、局部色差筛选拼接模块、人物头部图像筛选拼接模块、光流筛选拼接模块、插针处理模块；
50.帧组构建模块，用于针对各组前后相邻两手势视频片段，由前手势视频片段中最后预设帧数各视频帧与后手势视频片段中前第一预设帧数各视频帧组成帧组，并定义帧组中来自前手势视频片段的各视频帧为前各视频帧，以及定义帧组中来自后手势视频片段的各视频帧为后各视频帧，进而获得各组前后相邻两手势视频片段所对应的帧组；
51.像素筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的像素，丢弃不与相邻手势视频片段存在像素连续关系的各个手势视频片段，同时针对各组相邻存在像素连续关系的两手势视频片段进行拼接，构成各个第一级拼接手势视频片段；
52.局部色差筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的局部色差，针对各组相邻存在局部色差连续关系的两第一级拼接手势视频片段进行拼接，构成各个第二级拼接手势视频片段，同时丢弃不与相邻第一级拼接手势视频片段存在局部色差连续关系的各个第一级拼接手势视频片段；
53.人物头部图像筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的人物头部图像大小，针对各组相邻存在人物头部图像大小连续关系的两第二级拼接手势视频片段进行拼接，构成各个第三级拼接手势视频片段，同时丢弃不与相邻第二级拼接手势视频片段存在人物头部图像大小连续关系的各个第二级拼接手势视频片段；
54.光流筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的光流，针对各组相邻存在光流连续关系的两第三级拼接手势视频片段进行拼接，构成各个手势拼接视频片段，同时丢弃不与相邻第三级拼接手势视频片段存在光流连续关系的各个第三级拼接手势视频片段；
55.插针处理模块，用于分别针对各个手势拼接视频片段，结合目标视频，在手势拼接视频片段依次由各手势视频片段、各第一级拼接手势视频片段、各第二级拼接手势视频片段、各第三级拼接手势视频片段的各个拼接位置分别执行插针处理，更新手势拼接视频片段。
56.相应，本发明设计一种计算机设备，包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
57.本发明所述一种手势视频拼接方法及系统、计算机设备，采用以上技术方案与现有技术相比，具有以下技术效果：
58.本发明设计一种手势视频拼接方法及系统、计算机设备，针对来自目标视频、且按时序排列的各个手势视频片段，综合考虑了视频拼接位置的像素、局部色差、人物头部、图
像光流等因素，在阈值范围内或者阈值可控范围内，经图像调整，完成了视频的拼接，获得各个手势拼接视频片段，并结合插帧处理，有效提高了所获各个手势拼接视频片段的连贯性与视觉效果；整个设计方案逻辑清晰，在保证所获手势拼接视频片段质量的同时，拥有不错的执行速率，保证了视频拼接工作的综合工作效率。
附图说明
59.图1为本发明所设计手势视频拼接方法的流程示意图。
具体实施方式
60.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
61.结合附图1，本发明设计了一种手势视频拼接方法，用于针对来自目标视频、且按时序排列的各个手势视频片段，且各手势视频片段中的各视频帧均包含手势图像，实现手势视频片段的拼接。
62.实际应用当中，对于来自目标视频、且按时序排列的各个手势视频片段，且各手势视频片段中的各视频帧均包含手势图像，具体可以通过如下方法实现。
63.步骤i.分别针对目标视频中的各个视频帧，应用手势检测模型对视频帧进行手势检测，若该视频帧中手的个数大于0，则检测获得该视频帧中手势所对应预设18种手势类型中的手势类型，并获得该视频帧的帧序号，作为待处理帧序号；若该视频帧中手的个数等于0，则不对该视频帧进行处理；待完成对目标视频中全部视频帧的手势检测后，进入步骤b。
64.步骤ii.基于各待处理帧序号由小至大的排序，执行如下步骤ii1 至步骤ii6，由各待处理帧序号组成各个连续视频帧组，然后进入步骤 ii
‑
iii。
65.步骤ii1.基于各待处理帧序号由小至大的排序，初始化参数n＝1，并进入步骤ii2。
66.步骤ii2.获得第n个帧序号与第n 1个帧序号之间的帧序号差值，判断该帧序号差值是否小于预设帧序号差值阈值，是则判定第n个帧序号至第n 1个帧序号构成一个连续视频帧组，并进入步骤ii3；否则判定第n个帧序号与第n 1个帧序号之间为非连续间隔。实际应用当中，设计所述预设帧序号差值阈值等于5，即获得第n个帧序号与第n 1个帧序号之间的帧序号差值，判断该帧序号差值是否小于5。
67.步骤ii3.若n＝1，则进入步骤b6；若n>1，则进入步骤ii4。
68.步骤ii4.判断第n个帧序号至第n 1个帧序号所构连续视频帧组上游方向是否存在非连续间隔，是则进入步骤b5；否则分别针对第1 个帧序号至第n
‑
1个帧序号中的各个帧序号，由帧序号至第n 1个帧序号构成一个连续视频帧组，进而获得各个连续视频帧组，然后进入步骤 ii5。
69.步骤ii5.判断第n个帧序号至第n 1个帧序号所构连续视频帧组上游相邻非连续间隔上对应下游方向的帧序号是否为第n个帧序号，是则进入步骤b6；否则针对第n个帧序号至第n 1个帧序号所构连续视频帧组上游方向相邻非连续间隔，进一步分别针对该非连续间隔对应下游方向的帧序号至第n
‑
1个帧序号中的各个帧序号，由帧序号至第n 1 个帧
序号构成一个连续视频帧组，进而获得各个连续视频帧组，然后进入步骤ii6。
70.步骤ii
‑
iii.判断n 1是否等于待处理帧序号的个数，是则即获得全部待处理帧序号所对应的各个连续视频帧组；否则将n 1的值赋给n，并返回步骤ii2。
71.步骤ii
‑
iii.分别针对各个连续视频帧组，按如下各情况，补齐连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组，然后进入步骤 iii。
72.情况1.若连续视频帧组中第一个帧序号为1，则根据目标视频中各视频帧的帧序号，补齐该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻预设缓冲帧数的各个帧序号，即补齐该连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组；情况1中，若该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻的帧序号的数量小于预设缓冲帧数，则补齐该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻的各个帧序号，即补齐该连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组。
73.情况2.若连续视频帧组中最后一个帧序号为目标视频中各视频帧的最大帧序号，则根据目标视频中各视频帧的帧序号，补齐该连续视频帧组中第一个帧序号对应目标视频中上游方向、与其相邻预设缓冲帧数的各个帧序号，即补齐该连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组；情况2中，若该连续视频帧组中第一个帧序号对应目标视频中上游方向、与其相邻的帧序号的数量小于预设缓冲帧数，则补齐该连续视频帧组中第一个帧序号对应目标视频中上游方向、与其相邻的各个帧序号，即补齐该连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组。
74.情况3.若连续视频帧组中第一个帧序号大于1，且该连续视频帧组中最后一个帧序号小于目标视频中各视频帧的最大帧序号，则根据目标视频中各视频帧的帧序号，补齐该连续视频帧组中第一个帧序号对应目标视频中上游方向、与其相邻预设缓冲帧数的各个帧序号，以及补齐该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻预设缓冲帧数的各个帧序号，即补齐该连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组；其中，若该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻的帧序号的数量小于预设缓冲帧数，则补齐该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻的各个帧序号；情况3中，若该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻的帧序号的数量小于预设缓冲帧数，则补齐该连续视频帧组中最后一个帧序号对应目标视频中下游方向、与其相邻的各个帧序号；若该连续视频帧组中第一个帧序号对应目标视频中上游方向、与其相邻的帧序号的数量小于预设缓冲帧数，则补齐该连续视频帧组中第一个帧序号对应目标视频中上游方向、与其相邻的各个帧序号，即补齐该连续视频帧组所对应的缓冲视频帧，更新该连续视频帧组。
75.上述各情况中所涉及预设缓冲帧数，具体设计为2。
76.步骤iii.分别针对各个连续视频帧组，根据目标视频中各视频帧的帧序号，补齐连续视频帧组中各待处理帧序号之间缺失的帧序号，更新连续视频帧组，进而分别更新各个连续视频帧组，然后进入步骤iv。
77.步骤iv.分别针对各个连续视频帧组，由连续视频帧组中各帧序号分别对应的视频帧顺序组成视频片段，作为目标视频所对应的视频片段；进而获得目标视频所对应的各个视频片段，然后进入步骤v。
78.步骤v.分别针对各个视频片段，统计视频片段中各手势类型分别对应视频帧的数量，并选择最多数量视频帧所对应的手势类型，作为该视频片段所对应的手势类型；进而获得各视频片段分别所对应的手势类型，即获得目标视频所对应各个视频片段、以及各视频片段分别所对应的手势类型，然后进入步骤vi。
79.步骤vi.针对各个视频片段，调整各视频片段中前景人物的尺寸，使得各视频片段中前景人物的尺寸彼此相同，更新目标视频所对应各个视频片段。
80.实际应用当中，上述步骤vi具体执行如下步骤vi1至步骤vi2。
81.步骤vi1.分别针对各视频片段中的各视频帧，获得包围视频帧中人脸区域的人脸框，其中若相邻视频帧中人脸框的尺度距离大于预设人脸尺度阈值，则判定该相邻视频帧之间需要执行尺度缩放，然后进入步骤f2。
82.步骤vi2.分别针对需要执行尺度缩放的各视频片段，应用视频片段中起始视频帧中人脸框尺寸与相邻上一视频片段中最后一视频帧中人脸框尺寸之间缩放比例，针对该视频片段中各视频帧均采用该缩放比例进行缩放；进而针对需要执行尺度缩放的各视频片段执行操作，使得各视频片段中前景人物的尺寸彼此相同，更新目标视频所对应各个视频片段。
83.具体来说，上述步骤vi2中针对需要执行尺度缩放各视频片段中的各视频帧，进一步设计执行如下步骤vi2
‑
1至步骤vi2
‑
4，应用视频片段中起始视频帧中人脸框尺寸与相邻上一视频片段中最后一视频帧中人脸框尺寸之间缩放比例，针对该视频片段中各视频帧均采用该缩放比例进行缩放。
84.步骤vi2
‑
1.应用前景精细分割，分割获得视频帧的前景人物构成掩膜mask，并按缩放比例，应用opencv中的cv2.resize()针对该掩膜mask进行缩放，获得缩放后的掩膜mask。
85.步骤vi2
‑
2.基于该视频帧前景底部边缘中点与掩膜mask底部边缘中点的彼此对齐，由该视频帧前景底部边缘中点位置坐标乘以缩放比例，获得掩膜mask底部边缘中点位置坐标，并获得该两位置坐标之间的偏差，作为待处理位置坐标。
86.步骤vi2
‑
3.若缩放比例大于1，以待处理位置坐标为左上角点，裁剪掩膜mask至该视频帧尺寸大小，更新掩膜mask；若缩放比例小于 1，新建一个和该视频帧大小相同的空白帧，从空白帧上对应待处理位置坐标为起始，填补缩小掩膜mask到空白帧上，更新掩膜mask。
87.步骤vi2
‑
4.按透明度叠加融合掩膜mask与空白背景，完成对该视频帧的缩放。
88.基于上述来自目标视频、且按时序排列的各个手势视频片段，且各手势视频片段中的各视频帧均包含手势图像，如图1所示，进一步执行执行如下步骤a至步骤f，实现手势视频片段的拼接。
89.步骤a.针对各组前后相邻两手势视频片段，由前手势视频片段中最后预设帧数各视频帧与后手势视频片段中前第一预设帧数各视频帧组成帧组，并定义帧组中来自前手势视频片段的各视频帧为前各视频帧，以及定义帧组中来自后手势视频片段的各视频帧为后各视频帧，进而获得各组前后相邻两手势视频片段所对应的帧组。
90.步骤b.基于各个帧组中前各视频帧与后各视频帧之间的像素，丢弃不与相邻手势视频片段存在像素连续关系的各个手势视频片段，同时针对各组相邻存在像素连续关系的
两手势视频片段进行拼接，构成各个第一级拼接手势视频片段。
91.应用中，上述步骤b具体设计了两套实现方案，第一套方案具体包括如下步骤b1
‑
1至步骤b1
‑
3。
92.步骤b1
‑
1.基于各视频片段分别所对应的手势类型，分别针对各组前后相邻、且分别对应相同手势类型的两手势视频片段，针对该两手势视频片段按前后顺序实现拼接，获得第一级拼接手势视频片段。
93.步骤b1
‑
2.基于各视频片段分别所对应的手势类型，分别针对各组前后相邻、且分别对应不同手势类型的两手势视频片段，获得该两手势视频片段所对应帧组中前各视频帧中手部检测框中心分别与后各视频帧中手部检测框中心之间的欧式距离，并判断其中最小欧式距离是否小于预设欧式距离阈值15，是则以该最小欧式距离所对应的两视频帧为连接位置，针对该两手势视频片段按前后顺序在该连接位置实现拼接，获得第一级拼接手势视频片段；否则该两手势视频片段不执行拼接。
94.步骤b1
‑
3.丢弃未执行拼接操作的手势视频片段，同时针对各个第一级拼接手势视频片段，将前后存在相同手势视频片段的各第一级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第一级拼接手势视频片段。
95.第二套方案具体包括如下步骤b2
‑
1至步骤b2
‑
8。
96.步骤b2
‑
1.分别针对各个手势视频片段，按如下操作，应用图像分割法，获得手势视频片段中各视频帧中的人物身体部分图像。
97.基于手势视频片段中第一帧视频帧中包围人物身体部分图像的预设框，依次分别针对手势视频片段中的各视频帧，先应用siammask视频分割网络，针对视频帧执行以人物作为前景的前景粗分割处理，再针对所获前景人物粗分割结果，应用background matting算法，执行以人物身体作为背景的背景精细分割处理，获得该视频帧中的人物身体部分图像；进而获得手势视频片段中各视频帧中的人物身体部分图像。
98.步骤b2
‑
2.分别针对各组前后相邻两手势视频片段所对应的帧组，计算获得帧组中前各视频帧中人物身体部分图像与后各视频帧中人物身体部分图像之间的交并比iou，并判断交并比iou是否大于预设交并比阈值0.82，是则将该帧组所对应两手势视频片段，按先后顺序进行拼接，获得初级手势视频拼接片段；否则不做拼接操作。
99.步骤b2
‑
3.丢弃未执行步骤b2
‑
2中拼接操作的手势视频片段，同时针对各个初级手势视频拼接片段，将前后存在相同手势视频片段的各初级手势视频拼接片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个初级手势视频拼接片段。
100.步骤b2
‑
4.分别针对各组前后相邻两初级手势视频拼接片段所对应的帧组，基于帧组中前各视频帧中人物身体部分图像中心位置与后各视频帧中人物身体部分图像中心位置之间的位置匹配，遍历视频帧中的各个像素位置，判断帧组中前各视频帧中人物身体部分图像在像素位置的像素值是否与后各视频帧中人物身体部分图像在对应像素位置的像素值均一致，并获得前后均一致的像素位置个数，并以此像素位置个数与单帧视频帧中像素位置的总数的比值，作为该帧组所对应的人物身体像素精度。
101.步骤b2
‑
5.分别针对各组前后相邻两初级手势视频拼接片段所对应的帧组，判断帧组所对应的人物身体像素精度是否大于预设像素精度阈值0.89，是则将该帧组所对应两初级手势视频拼接片段，按先后顺序进行拼接，获得中级手势视频拼接片段；否则不做拼接
操作。
102.步骤b2
‑
6.丢弃未执行步骤b2
‑
5中拼接操作的初级手势视频拼接片段，同时针对各个中级手势视频拼接片段，将前后存在相同初级手势视频拼接片段的各中级手势视频拼接片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个中级手势视频拼接片段。
103.步骤b2
‑
7.分别针对各组前后相邻两中级手势视频拼接片段所对应的帧组，首先获得帧组中前各视频帧中人物身体部分图像hash编码的平均hash编码，以及获得该帧组中后各视频帧中人物身体部分图像 hash编码的平均hash编码，然后获得该帧组中前各视频帧所对应平均 hash编码与后各视频帧所对应平均hash编码之间的汉明距离，最后判断汉明距离是否大于预设汉明距离阈值0.7，是则将该帧组所对应两中级手势视频拼接片段，按先后顺序进行拼接，获得第一级拼接手势视频片段；否则不做拼接操作。
104.步骤b2
‑
8.丢弃未执行步骤b2
‑
7中拼接操作的中级手势视频拼接片段，同时针对各个第一级拼接手势视频片段，将前后存在相同中级手势视频拼接片段的各第一级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第一级拼接手势视频片段。
105.步骤c.基于各个帧组中前各视频帧与后各视频帧之间的局部色差，针对各组相邻存在局部色差连续关系的两第一级拼接手势视频片段进行拼接，构成各个第二级拼接手势视频片段，同时丢弃不与相邻第一级拼接手势视频片段存在局部色差连续关系的各个第一级拼接手势视频片段。
106.实际应用中，上述步骤c包括如下步骤c1至步骤c2。
107.步骤c1.分别针对各组前后相邻两第一级拼接手势视频片段所对应的帧组，获得帧组中前各视频帧中无遮挡背景区域与后各视频帧中无遮挡背景区域之间所对应的局部色差，并按下述判断进行处理。
108.若局部色差小于10，则将该帧组所对应两第一级拼接手势视频片段，按先后顺序进行拼接，获得第二级拼接手势视频片段。
109.若局部色差大于或等于10、且小于或等于60，则按如下步骤c1
‑
1 至步骤c1
‑
2，应用colortransfer调整该帧组所对应两第一级拼接手势视频片段的局部色差，直至满足局部色差小于10，再将该帧组所对应两第一级拼接手势视频片段，按先后顺序进行拼接，获得第二级拼接手势视频片段。
110.步骤c1
‑
1.针对该帧组所对应两第一级拼接手势视频片段中的各个视频帧，切割获得人物前景图像，并针对各人物前景图像，应用直方图规定化方法进行颜色迁移，并利用累计直方图概率匹配调整人物前景图像颜色。
111.步骤c1
‑
2.针对该帧组所对应两第一级拼接手势视频片段中的各个视频帧，切割获得背景图像，并针对各背景图像，利用colortransfer 库在lab颜色空间下进行颜色匹配。
112.若局部色差大于60，则不执行拼接。
113.步骤c2.丢弃未执行步骤c1中拼接操作的第一级拼接手势视频片段，同时针对各个第二级拼接手势视频片段，将前后存在相同第一级拼接手势视频片段的各第二级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第二级拼接手势视频片段。
114.步骤d.基于各个帧组中前各视频帧与后各视频帧之间的人物头部图像大小，针对各组相邻存在人物头部图像大小连续关系的两第二级拼接手势视频片段进行拼接，构成各个第三级拼接手势视频片段，同时丢弃不与相邻第二级拼接手势视频片段存在人物头部图像大小连续关系的各个第二级拼接手势视频片段。
115.实际应用中，上述步骤d具体执行如下步骤d1至步骤d3。
116.步骤d1.分别针对各个第二级拼接手势视频片段，按如下操作，应用图像分割法，获得第二级拼接手势视频片段中各视频帧中的人物头部图像。
117.基于第二级拼接手势视频片段中第一帧视频帧中包围人物头部图像的预设框，依次分别针对第二级拼接手势视频片段中的各视频帧，应用siammask视频分割网络，针对视频帧执行以人物头部作为前景的前景粗分割处理，获得该视频帧中的人物头部图像；进而获得第二级拼接手势视频片段中各视频帧中的人物头部图像。
118.步骤d2.分别针对各组前后相邻两第二级拼接手势视频片段所对应的帧组，首先应用siammask网络追踪帧组中前后各视频帧中人物头部图像，获得各人物头部图像的掩膜，统计各掩膜分别所覆盖像元的个数，并获得该帧组中前各视频帧中人物头部图像掩膜分别所覆盖像元个数的平均值、以及获得该帧组中后各视频帧中人物头部图像掩膜分别所覆盖像元个数的平均值；然后计算获得该帧组中前各视频帧人物头部图像像元与后各视频帧人物头部图像像元之间的比例距离；最后按下述判断进行处理。
119.若比例距离小于0.07，则将该帧组所对应两第二级拼接手势视频片段，按先后顺序进行拼接，获得第三级拼接手势视频片段。
120.若比例距离大于或等于0.07，且比例距离小于或等于0.16，则按如下步骤d2
‑
1至步骤d2
‑
2，应用scale transfer调整该帧组所对应两第二级拼接手势视频片段的人物头部图像大小，直至所述比例距离小于 0.07，再将该帧组所对应两第二级拼接手势视频片段，按先后顺序进行拼接，获得第三级拼接手势视频片段。
121.步骤d2
‑
1.根据帧组所对应的比例距离，按帧组所对应前第二级拼接手势视频片段中各视频帧中的人物头部图像，针对该帧组所对应后第二级拼接手势视频片段中各视频帧中的人物头部图像进行比例缩放；
122.步骤d2
‑
2.分别针对该帧组所对应后第二级拼接手势视频片段中各视频帧，以视频帧中人物头部图像所在检测框底边的中点作为中心，针对缩放后结果截取与该视频帧同尺寸的新视频帧，替换该视频帧，进而更新该帧组所对应后第二级拼接手势视频片段中各视频帧。
123.若比例距离大于0.16，则不执行拼接。
124.步骤d3.丢弃未执行步骤d2中拼接操作的第二级拼接手势视频片段，同时针对各个第三级拼接手势视频片段，将前后存在相同第二级拼接手势视频片段的各第三级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第三级拼接手势视频片段。
125.步骤e.基于各个帧组中前各视频帧与后各视频帧之间的光流，针对各组相邻存在光流连续关系的两第三级拼接手势视频片段进行拼接，构成各个手势拼接视频片段，同时丢弃不与相邻第三级拼接手势视频片段存在光流连续关系的各个第三级拼接手势视频片段。
126.步骤f.分别针对各个手势拼接视频片段，结合目标视频，在手势拼接视频片段依次由各手势视频片段、各第一级拼接手势视频片段、各第二级拼接手势视频片段、各第三级拼接手势视频片段的各个拼接位置分别执行插针处理，更新手势拼接视频片段。
127.实际应用中，上述步骤e具体执行如下步骤e1至步骤e2。
128.步骤e1.分别针对各组前后相邻两第三级拼接手势视频片段所对应的帧组，获得帧组中前各视频帧中指定视频帧的各像素点的光流值、并统计其中光流值大于预设光流值阈15值的像素点个数，同时获得后各视频帧中指定视频帧的各像素点的光流值、并统计其中光流值大于预设光流值阈值15的像素点个数；若该帧组中前各视频帧中指定视频帧对应所获像素点个数与后各视频帧中指定视频帧对应所获像素点个数均大于预设像素点阈值300，则将该帧组所对应两第三级拼接手势视频片段，按先后顺序进行拼接，获得手势拼接视频片段；反之该帧组所对应两第三级拼接手势视频片段不执行拼接。
129.步骤e2.丢弃未执行步骤e1中拼接操作的第三级拼接手势视频片段，同时针对各个手势拼接视频片段，将前后存在相同第三级拼接手势视频片段的各手势拼接视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个手势拼接视频片段。
130.针对所获各个手势拼接视频片段，实际应用中，可以针对各手势拼接视频片段中的各视频帧进行背景替换，具体首先将视频帧中人物前景转换到hsv颜色空间通道，利用预设阈值进行蓝幕抠图，将蓝色像素部分的mask赋值为0，并用mask分割人物前景；然后针对无人物的空白背景，根据其前一帧图像帧进行颜色调节，背景边缘区域形态学腐蚀 (kernel：3)后，设置透明度为0.5，mask转换为alpha；最后将人物前景与新的背景，基于alpha按权重叠加进行融合，实现视频帧的背景替换。
131.此外，对于各个手势拼接视频片段，基于手势拼接视频片段所对应的各个手势视频片段，以手势视频片段为对象，构建两两手势视频片段之间关系元素a(i，j)，即表示手势视频片段i与手势视频片段j之间是否可以拼接，以及拼接帧索引，进一步由各个关系元素a(i，j)构建邻接矩阵，应用中，即可通过深度优先搜索算法dfs来搜索所有最大路径；进一步还可设计结合音频长度复制尾帧，具体提前约束一句话对应一个最小视频片段，在基于邻接矩阵进行路径搜索后，比较所获视频长度与语音长度的差值，若差值小于现有视频长度的1/10，则按长度等比复制或删除视频帧，使其匹配语音长度，例如10s视频匹配11s 语音，每1s内10帧复制1帧；若差值大于视频长度的1/10，则放弃该路径所对应视频。
132.与上述所设计手势视频拼接方法相对应，本发明进一步设计了手势视频拼接方法的系统，具体包括帧组构建模块、像素筛选拼接模块、局部色差筛选拼接模块、人物头部图像筛选拼接模块、光流筛选拼接模块、插针处理模块。
133.帧组构建模块，用于针对各组前后相邻两手势视频片段，由前手势视频片段中最后预设帧数各视频帧与后手势视频片段中前第一预设帧数各视频帧组成帧组，并定义帧组中来自前手势视频片段的各视频帧为前各视频帧，以及定义帧组中来自后手势视频片段的各视频帧为后各视频帧，进而获得各组前后相邻两手势视频片段所对应的帧组。
134.像素筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的像素，丢弃不与相邻手势视频片段存在像素连续关系的各个手势视频片段，同时针对各组相邻存在像素连续关系的两手势视频片段进行拼接，构成各个第一级拼接手势视频片段。
135.局部色差筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的局
部色差，针对各组相邻存在局部色差连续关系的两第一级拼接手势视频片段进行拼接，构成各个第二级拼接手势视频片段，同时丢弃不与相邻第一级拼接手势视频片段存在局部色差连续关系的各个第一级拼接手势视频片段。
136.人物头部图像筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的人物头部图像大小，针对各组相邻存在人物头部图像大小连续关系的两第二级拼接手势视频片段进行拼接，构成各个第三级拼接手势视频片段，同时丢弃不与相邻第二级拼接手势视频片段存在人物头部图像大小连续关系的各个第二级拼接手势视频片段。
137.光流筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的光流，针对各组相邻存在光流连续关系的两第三级拼接手势视频片段进行拼接，构成各个手势拼接视频片段，同时丢弃不与相邻第三级拼接手势视频片段存在光流连续关系的各个第三级拼接手势视频片段。
138.插针处理模块，用于分别针对各个手势拼接视频片段，结合目标视频，在手势拼接视频片段依次由各手势视频片段、各第一级拼接手势视频片段、各第二级拼接手势视频片段、各第三级拼接手势视频片段的各个拼接位置分别执行插针处理，更新手势拼接视频片段。
139.相应，本发明设计一种计算机设备，包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
140.上述技术方案所设计手势视频拼接方法，针对来自目标视频、且按时序排列的各个手势视频片段，综合考虑了视频拼接位置的像素、局部色差、人物头部、图像光流等因素，在阈值范围内或者阈值可控范围内，经图像调整，完成了视频的拼接，获得各个手势拼接视频片段，并结合插帧处理，有效提高了所获各个手势拼接视频片段的连贯性与视觉效果；整个设计方案逻辑清晰，在保证所获手势拼接视频片段质量的同时，拥有不错的执行速率，保证了视频拼接工作的综合工作效率。
141.下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。对于本领域普通技术人员来说，根据本发明的上述实施方式所作出的任何修改、变动，在不脱离本发明宗旨的情况下，均应包含于本发明的保护范围之内。