一种手势视频拼接方法及系统、计算机设备与流程

技术特征：
1.一种手势视频拼接方法，其特征在于：针对来自目标视频、且按时序排列的各个手势视频片段，执行如下步骤a至步骤f，实现手势视频片段的拼接，其中各手势视频片段中的各视频帧均包含手势图像；步骤a.针对各组前后相邻两手势视频片段，由前手势视频片段中最后预设帧数各视频帧与后手势视频片段中前第一预设帧数各视频帧组成帧组，并定义帧组中来自前手势视频片段的各视频帧为前各视频帧，以及定义帧组中来自后手势视频片段的各视频帧为后各视频帧，进而获得各组前后相邻两手势视频片段所对应的帧组；步骤b.基于各个帧组中前各视频帧与后各视频帧之间的像素，丢弃不与相邻手势视频片段存在像素连续关系的各个手势视频片段，同时针对各组相邻存在像素连续关系的两手势视频片段进行拼接，构成各个第一级拼接手势视频片段；步骤c.基于各个帧组中前各视频帧与后各视频帧之间的局部色差，针对各组相邻存在局部色差连续关系的两第一级拼接手势视频片段进行拼接，构成各个第二级拼接手势视频片段，同时丢弃不与相邻第一级拼接手势视频片段存在局部色差连续关系的各个第一级拼接手势视频片段；步骤d.基于各个帧组中前各视频帧与后各视频帧之间的人物头部图像大小，针对各组相邻存在人物头部图像大小连续关系的两第二级拼接手势视频片段进行拼接，构成各个第三级拼接手势视频片段，同时丢弃不与相邻第二级拼接手势视频片段存在人物头部图像大小连续关系的各个第二级拼接手势视频片段；步骤e.基于各个帧组中前各视频帧与后各视频帧之间的光流，针对各组相邻存在光流连续关系的两第三级拼接手势视频片段进行拼接，构成各个手势拼接视频片段，同时丢弃不与相邻第三级拼接手势视频片段存在光流连续关系的各个第三级拼接手势视频片段；步骤f.分别针对各个手势拼接视频片段，结合目标视频，在手势拼接视频片段依次由各手势视频片段、各第一级拼接手势视频片段、各第二级拼接手势视频片段、各第三级拼接手势视频片段的各个拼接位置分别执行插针处理，更新手势拼接视频片段。2.根据权利要求1所述一种手势视频拼接方法，其特征在于：所述步骤b包括如下步骤b1
‑
1至步骤b1
‑
3；步骤b1
‑
1.基于各视频片段分别所对应的手势类型，分别针对各组前后相邻、且分别对应相同手势类型的两手势视频片段，针对该两手势视频片段按前后顺序实现拼接，获得第一级拼接手势视频片段；步骤b1
‑
2.基于各视频片段分别所对应的手势类型，分别针对各组前后相邻、且分别对应不同手势类型的两手势视频片段，获得该两手势视频片段所对应帧组中前各视频帧中手部检测框中心分别与后各视频帧中手部检测框中心之间的欧式距离，并判断其中最小欧式距离是否小于预设欧式距离阈值，是则以该最小欧式距离所对应的两视频帧为连接位置，针对该两手势视频片段按前后顺序在该连接位置实现拼接，获得第一级拼接手势视频片段；否则该两手势视频片段不执行拼接；步骤b1
‑
3.丢弃未执行拼接操作的手势视频片段，同时针对各个第一级拼接手势视频片段，将前后存在相同手势视频片段的各第一级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第一级拼接手势视频片段。3.根据权利要求1所述一种手势视频拼接方法，其特征在于：所述步骤b包括如下步骤
b2
‑
1至步骤b2
‑
8；步骤b2
‑
1.分别针对各个手势视频片段，按如下操作，应用图像分割法，获得手势视频片段中各视频帧中的人物身体部分图像；基于手势视频片段中第一帧视频帧中包围人物身体部分图像的预设框，依次分别针对手势视频片段中的各视频帧，先应用siammask视频分割网络，针对视频帧执行以人物作为前景的前景粗分割处理，再针对所获前景人物粗分割结果，应用background matting算法，执行以人物身体作为背景的背景精细分割处理，获得该视频帧中的人物身体部分图像；进而获得手势视频片段中各视频帧中的人物身体部分图像；步骤b2
‑
2.分别针对各组前后相邻两手势视频片段所对应的帧组，计算获得帧组中前各视频帧中人物身体部分图像与后各视频帧中人物身体部分图像之间的交并比iou，并判断交并比iou是否大于预设交并比阈值，是则将该帧组所对应两手势视频片段，按先后顺序进行拼接，获得初级手势视频拼接片段；否则不做拼接操作；步骤b2
‑
3.丢弃未执行步骤b2
‑
2中拼接操作的手势视频片段，同时针对各个初级手势视频拼接片段，将前后存在相同手势视频片段的各初级手势视频拼接片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个初级手势视频拼接片段；步骤b2
‑
4.分别针对各组前后相邻两初级手势视频拼接片段所对应的帧组，基于帧组中前各视频帧中人物身体部分图像中心位置与后各视频帧中人物身体部分图像中心位置之间的位置匹配，遍历视频帧中的各个像素位置，判断帧组中前各视频帧中人物身体部分图像在像素位置的像素值是否与后各视频帧中人物身体部分图像在对应像素位置的像素值均一致，并获得前后均一致的像素位置个数，并以此像素位置个数与单帧视频帧中像素位置的总数的比值，作为该帧组所对应的人物身体像素精度；步骤b2
‑
5.分别针对各组前后相邻两初级手势视频拼接片段所对应的帧组，判断帧组所对应的人物身体像素精度是否大于预设像素精度阈值，是则将该帧组所对应两初级手势视频拼接片段，按先后顺序进行拼接，获得中级手势视频拼接片段；否则不做拼接操作；步骤b2
‑
6.丢弃未执行步骤b2
‑
5中拼接操作的初级手势视频拼接片段，同时针对各个中级手势视频拼接片段，将前后存在相同初级手势视频拼接片段的各中级手势视频拼接片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个中级手势视频拼接片段；步骤b2
‑
7.分别针对各组前后相邻两中级手势视频拼接片段所对应的帧组，首先获得帧组中前各视频帧中人物身体部分图像hash编码的平均hash编码，以及获得该帧组中后各视频帧中人物身体部分图像hash编码的平均hash编码，然后获得该帧组中前各视频帧所对应平均hash编码与后各视频帧所对应平均hash编码之间的汉明距离，最后判断汉明距离是否大于预设汉明距离阈值，是则将该帧组所对应两中级手势视频拼接片段，按先后顺序进行拼接，获得第一级拼接手势视频片段；否则不做拼接操作；步骤b2
‑
8.丢弃未执行步骤b2
‑
7中拼接操作的中级手势视频拼接片段，同时针对各个第一级拼接手势视频片段，将前后存在相同中级手势视频拼接片段的各第一级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第一级拼接手势视频片段。4.根据权利要求1所述一种手势视频拼接方法，其特征在于：所述步骤c包括如下步骤c1至步骤c2；步骤c1.分别针对各组前后相邻两第一级拼接手势视频片段所对应的帧组，获得帧组
中前各视频帧中无遮挡背景区域与后各视频帧中无遮挡背景区域之间所对应的局部色差，并按下述判断进行处理；若局部色差小于10，则将该帧组所对应两第一级拼接手势视频片段，按先后顺序进行拼接，获得第二级拼接手势视频片段；若局部色差大于或等于10、且小于或等于60，则应用colortransfer调整该帧组所对应两第一级拼接手势视频片段的局部色差，直至满足局部色差小于10，再将该帧组所对应两第一级拼接手势视频片段，按先后顺序进行拼接，获得第二级拼接手势视频片段；若局部色差大于60，则不执行拼接；步骤c2.丢弃未执行步骤c1中拼接操作的第一级拼接手势视频片段，同时针对各个第二级拼接手势视频片段，将前后存在相同第一级拼接手势视频片段的各第二级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第二级拼接手势视频片段。5.根据权利要求4所述一种手势视频拼接方法，其特征在于：按如下步骤c1
‑
1至步骤c1
‑
2，实现应用colortransfer调整该帧组所对应两第一级拼接手势视频片段的局部色差；步骤c1
‑
1.针对该帧组所对应两第一级拼接手势视频片段中的各个视频帧，切割获得人物前景图像，并针对各人物前景图像，应用直方图规定化方法进行颜色迁移，并利用累计直方图概率匹配调整人物前景图像颜色；步骤c1
‑
2.针对该帧组所对应两第一级拼接手势视频片段中的各个视频帧，切割获得背景图像，并针对各背景图像，利用colortransfer库在lab颜色空间下进行颜色匹配。6.根据权利要求1所述一种手势视频拼接方法，其特征在于：所述步骤d包括如下步骤d1至步骤d3：步骤d1.分别针对各个第二级拼接手势视频片段，按如下操作，应用图像分割法，获得第二级拼接手势视频片段中各视频帧中的人物头部图像；基于第二级拼接手势视频片段中第一帧视频帧中包围人物头部图像的预设框，依次分别针对第二级拼接手势视频片段中的各视频帧，应用siammask视频分割网络，针对视频帧执行以人物头部作为前景的前景粗分割处理，获得该视频帧中的人物头部图像；进而获得第二级拼接手势视频片段中各视频帧中的人物头部图像；步骤d2.分别针对各组前后相邻两第二级拼接手势视频片段所对应的帧组，首先应用siammask网络追踪帧组中前后各视频帧中人物头部图像，获得各人物头部图像的掩膜，统计各掩膜分别所覆盖像元的个数，并获得该帧组中前各视频帧中人物头部图像掩膜分别所覆盖像元个数的平均值、以及获得该帧组中后各视频帧中人物头部图像掩膜分别所覆盖像元个数的平均值；然后计算获得该帧组中前各视频帧人物头部图像像元与后各视频帧人物头部图像像元之间的比例距离；最后按下述判断进行处理；若比例距离小于0.07，则将该帧组所对应两第二级拼接手势视频片段，按先后顺序进行拼接，获得第三级拼接手势视频片段；若比例距离大于或等于0.07，且比例距离小于或等于0.16，则应用scale transfer调整该帧组所对应两第二级拼接手势视频片段的人物头部图像大小，直至所述比例距离小于0.07，再将该帧组所对应两第二级拼接手势视频片段，按先后顺序进行拼接，获得第三级拼接手势视频片段；若比例距离大于0.16，则不执行拼接；
步骤d3.丢弃未执行步骤d2中拼接操作的第二级拼接手势视频片段，同时针对各个第三级拼接手势视频片段，将前后存在相同第二级拼接手势视频片段的各第三级拼接手势视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个第三级拼接手势视频片段。7.根据权利要求6所述一种手势视频拼接方法，其特征在于：按如下步骤d2
‑
1至步骤d2
‑
2，实现应用scale transfer调整该帧组所对应两第二级拼接手势视频片段的人物头部图像大小；步骤d2
‑
1.根据帧组所对应的比例距离，按帧组所对应前第二级拼接手势视频片段中各视频帧中的人物头部图像，针对该帧组所对应后第二级拼接手势视频片段中各视频帧中的人物头部图像进行比例缩放；步骤d2
‑
2.分别针对该帧组所对应后第二级拼接手势视频片段中各视频帧，以视频帧中人物头部图像所在检测框底边的中点作为中心，针对缩放后结果截取与该视频帧同尺寸的新视频帧，替换该视频帧，进而更新该帧组所对应后第二级拼接手势视频片段中各视频帧。8.根据权利要求1所述一种手势视频拼接方法，其特征在于：所述步骤e包括如下步骤e1至步骤e2：步骤e1.分别针对各组前后相邻两第三级拼接手势视频片段所对应的帧组，获得帧组中前各视频帧中指定视频帧的各像素点的光流值、并统计其中光流值大于预设光流值阈值的像素点个数，同时获得后各视频帧中指定视频帧的各像素点的光流值、并统计其中光流值大于预设光流值阈值的像素点个数；若该帧组中前各视频帧中指定视频帧对应所获像素点个数与后各视频帧中指定视频帧对应所获像素点个数均大于预设像素点阈值，则将该帧组所对应两第三级拼接手势视频片段，按先后顺序进行拼接，获得手势拼接视频片段；反之该帧组所对应两第三级拼接手势视频片段不执行拼接；步骤e2.丢弃未执行步骤e1中拼接操作的第三级拼接手势视频片段，同时针对各个手势拼接视频片段，将前后存在相同第三级拼接手势视频片段的各手势拼接视频片段，按相同视频片段彼此重叠方式进行拼接，更新获得各个手势拼接视频片段。9.一种执行权利要求1至8中任意一项所述一种手势视频拼接方法的系统，其特征在于：包括帧组构建模块、像素筛选拼接模块、局部色差筛选拼接模块、人物头部图像筛选拼接模块、光流筛选拼接模块、插针处理模块；帧组构建模块，用于针对各组前后相邻两手势视频片段，由前手势视频片段中最后预设帧数各视频帧与后手势视频片段中前第一预设帧数各视频帧组成帧组，并定义帧组中来自前手势视频片段的各视频帧为前各视频帧，以及定义帧组中来自后手势视频片段的各视频帧为后各视频帧，进而获得各组前后相邻两手势视频片段所对应的帧组；像素筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的像素，丢弃不与相邻手势视频片段存在像素连续关系的各个手势视频片段，同时针对各组相邻存在像素连续关系的两手势视频片段进行拼接，构成各个第一级拼接手势视频片段；局部色差筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的局部色差，针对各组相邻存在局部色差连续关系的两第一级拼接手势视频片段进行拼接，构成各个第二级拼接手势视频片段，同时丢弃不与相邻第一级拼接手势视频片段存在局部色差连续关系的各个第一级拼接手势视频片段；
人物头部图像筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的人物头部图像大小，针对各组相邻存在人物头部图像大小连续关系的两第二级拼接手势视频片段进行拼接，构成各个第三级拼接手势视频片段，同时丢弃不与相邻第二级拼接手势视频片段存在人物头部图像大小连续关系的各个第二级拼接手势视频片段；光流筛选拼接模块，用于基于各个帧组中前各视频帧与后各视频帧之间的光流，针对各组相邻存在光流连续关系的两第三级拼接手势视频片段进行拼接，构成各个手势拼接视频片段，同时丢弃不与相邻第三级拼接手势视频片段存在光流连续关系的各个第三级拼接手势视频片段；插针处理模块，用于分别针对各个手势拼接视频片段，结合目标视频，在手势拼接视频片段依次由各手势视频片段、各第一级拼接手势视频片段、各第二级拼接手势视频片段、各第三级拼接手势视频片段的各个拼接位置分别执行插针处理，更新手势拼接视频片段。10.一种计算机设备，包括计算机可读存储介质、处理器及存储在计算机可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

技术总结
本发明涉及一种手势视频拼接方法及系统、计算机设备，针对来自目标视频、且按时序排列的各个手势视频片段，综合考虑了视频拼接位置的像素、局部色差、人物头部、图像光流等因素，在阈值范围内或者阈值可控范围内，经图像调整，完成了视频的拼接，获得各个手势拼接视频片段，并结合插帧处理，有效提高了所获各个手势拼接视频片段的连贯性与视觉效果；整个设计方案逻辑清晰，在保证所获手势拼接视频片段质量的同时，拥有不错的执行速率，保证了视频拼接工作的综合工作效率。接工作的综合工作效率。接工作的综合工作效率。


技术研发人员：包英泽 舒科 冯富森 卢景熙
受保护的技术使用者：北京跳悦智能科技有限公司
技术研发日：2021.09.09
技术公布日：2021/12/11