篮球比赛视频竖屏跟踪导出方法、装置、设备、介质及程序产品与流程

本发明涉及视频处理与计算机视觉，特别涉及一种针对篮球比赛横屏视频生成竖屏跟踪导出视频的方法、装置、设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、随着移动端短视频传播方式的普及，用户常希望将篮球比赛或投篮片段从原始横屏视频导出为适合移动端浏览的 9:16 竖屏视频。现有方案通常通过固定居中裁剪、简单按目标框中心裁剪或者仅依赖逐帧检测结果进行画面重构；

2、然而，在篮球比赛场景中，球体尺寸小、运动速度快、遮挡频繁、画面中可能同时出现静止球、误检球或多个候选球体，导致现有方法在横转竖过程中容易出现如下问题：其一，因漏检或断轨造成跟踪目标丢失；其二，因把静止球误认为跟踪对象而导致镜头跟错；其三，因镜头响应滞后造成球已接近裁剪边缘甚至出框；其四，直接在带有轨迹、水印或其他图形叠加的画面上做检测，容易降低目标检测稳定性；其五，在移动终端上重复执行检测、渲染和裁剪时，计算量较高且导出成功率不稳定；

3、因此，仍需要一种更适合篮球比赛场景的竖屏跟踪导出技术方案，以在保证移动端处理性能的前提下，提高竖屏导出视频的跟球准确性、画面稳定性和导出质量。

4、要解决的技术问题

5、本发明旨在解决现有篮球比赛横屏视频导出竖屏视频时存在的目标丢失、静止球误跟踪、镜头响应滞后、检测稳定性不足以及移动端导出成功率不高等技术问题。

6、技术方案

7、为解决上述技术问题，本发明提供一种篮球比赛视频竖屏跟踪导出方法，所述方法可由移动终端、平板设备、边缘计算设备或者其他具备视频处理能力的电子设备执行，所述方法包括如下步骤：

8、步骤 s1，获取篮球比赛横屏视频、待导出片段的起止时间范围以及与所述待导出片段相关联的篮球轨迹数据。所述轨迹数据可来源于客户端已有的投篮轨迹分析结果、原生侧目标检测结果或两者的组合；

9、步骤 s2，根据所述起止时间范围对轨迹数据进行时间归一化，提取表示篮球横向位置的原始样本点，并优先采用球框中心横坐标作为样本值；当球框信息缺失时，采用轨迹点位置横坐标作为补充；

10、步骤 s3，对所述原始样本点执行静止球干扰抑制，保留起始点、结束点以及横向位移达到预设阈值的样本点，以降低静止球或误检点对竖屏裁剪中心的影响；当过滤后样本为空时，回退为使用过滤前样本集合；

11、步骤 s4，对样本点按时间排序，并对同一时刻对应的多个样本点进行融合处理，得到去重后的目标位置序列；优选地，对同一时刻的多个横坐标进行平均，以生成统一时刻的融合横向位置值；

12、步骤 s5，在整个待导出片段时间轴上按照预设时间间隔进行采样，并基于样本点插值结果生成全时间轴的横向位置序列；在轨迹开始之前维持第一目标位置，在轨迹结束之后维持最后目标位置；

13、步骤 s6，对采样后的横向位置序列执行去尖峰和动态平滑处理，生成竖屏跟踪关键帧。优选地，先基于滑动窗口中值滤波抑制单帧误检，再结合预设死区、边缘强制响应区和未来时刻预测值，动态更新裁剪窗口中心位置；

14、步骤 s7，根据所述竖屏跟踪关键帧，在横屏视频上构建随时间变化的 9:16 动态裁剪窗口，并基于所述动态裁剪窗口对视频帧进行裁剪与缩放，得到竖屏跟踪导出视频；

15、步骤 s8，在检测稳定性不足或轨迹数据不完整时，先生成不含轨迹叠加信息的临时检测片段，在该临时检测片段上执行逐帧篮球检测并生成新的关键帧，再依据新的关键帧对第一遍渲染所得视频执行第二遍竖屏裁剪导出；

16、步骤 s9，在竖屏裁剪导出完成后，根据导出策略再叠加水印、徽标或其他覆盖元素，以避免覆盖元素在裁剪缩放过程中发生尺寸失真；

17、优选地，步骤 s3 中所述预设阈值为归一化横向位移阈值，示例性地可设置为0.008；步骤 s5 中的预设时间间隔可为 33ms 左右，以兼顾移动端实时性与关键帧平滑度；

18、优选地，步骤 s6 中的未来时刻预测可通过当前时刻之后的预设领先时间对应的位置值得到，所述领先时间可为约 66ms；并且根据预测误差大小选择不同响应系数，以在减小镜头抖动的同时降低“镜头跟不上球”的现象；

19、优选地，在检测到篮球已完成关键事件后，可将裁剪窗口中心位置固定在最后有效跟踪中心，以在进球后的短时间内维持稳定画面。所述关键事件可包括投篮命中、球到达篮筐附近或轨迹高潮点等；

20、优选地，所述 9:16 动态裁剪窗口的宽度按照源视频高度乘以 9/16 确定，裁剪窗口高度保持与源视频高度一致；通过对裁剪区域进行缩放，可输出适配移动端显示的竖屏视频分辨率。

21、有益效果

22、与现有技术相比，本发明至少具有如下有益效果：

23、1. 通过对静止球干扰进行抑制，减少误跟静止球导致的裁剪中心偏移；

24、2. 通过对同一时刻多样本融合、全时间轴插值和去尖峰平滑处理，提高关键帧序列连续性；

25、3. 通过死区控制、边缘强制响应和未来位置预测，兼顾了镜头稳定性与跟球及时性；

26、4. 通过先导出无叠加的临时检测片段再生成关键帧的两阶段渲染机制，提高目标检测稳定性和竖屏导出成功率；

27、5. 通过将水印等覆盖元素延后到竖屏裁剪完成后再叠加，降低了裁剪缩放导致的尺寸失真风险；

28、6. 本发明适合在移动终端侧部署，能够在兼顾计算资源限制的情况下输出更适合短视频传播的篮球比赛竖屏跟踪视频。

技术实现思路

1.一种篮球比赛视频竖屏跟踪导出方法，其特征在于，应用于电子设备，所述方法包括：获取篮球比赛横屏视频、待导出片段的起止时间范围以及与所述待导出片段相关联的篮球轨迹数据；基于所述篮球轨迹数据提取表示篮球横向位置的原始样本点，并对所述原始样本点执行时间归一化处理；对所述原始样本点执行静止球干扰抑制和时间去重处理，得到目标位置序列；基于所述目标位置序列在所述待导出片段的时间轴上生成竖屏跟踪关键帧；根据所述竖屏跟踪关键帧，在所述篮球比赛横屏视频上构建随时间变化的9:16 动态裁剪窗口；基于所述动态裁剪窗口对所述篮球比赛横屏视频进行裁剪与缩放，得到竖屏跟踪导出视频。

2. 根据权利要求 1 所述的方法，其特征在于，所述提取表示篮球横向位置的原始样本点，包括：当轨迹点包含球框信息时，采用球框中心横坐标作为样本值；当轨迹点不包含球框信息时，采用轨迹点位置横坐标作为样本值。

3. 根据权利要求 1 所述的方法，其特征在于，所述对原始样本点执行静止球干扰抑制，包括：保留起始样本点、结束样本点以及与前一有效样本点相比横向位移达到预设阈值的样本点；当经过静止球干扰抑制后未保留任何样本点时，回退为使用抑制前的原始样本点。

4. 根据权利要求 1 所述的方法，其特征在于，所述对原始样本点执行时间去重处理，包括：对同一时刻对应的多个样本点进行融合，并采用多个样本点的横向位置平均值作为所述同一时刻的融合结果。

5. 根据权利要求 1 所述的方法，其特征在于，所述基于目标位置序列生成竖屏跟踪关键帧，包括：按照预设时间间隔对待导出片段进行全时间轴采样；基于目标位置序列的插值结果生成采样位置序列；对所述采样位置序列执行去尖峰处理和动态平滑处理，得到所述竖屏跟踪关键帧。

6. 根据权利要求 5 所述的方法，其特征在于，所述动态平滑处理至少基于以下因素中的一种或多种：预测位置是否超出死区、当前观测位置是否逼近裁剪窗口边缘、当前位置与目标位置之间的偏差大小以及与偏差大小对应的响应系数。

7. 根据权利要求 1 所述的方法，其特征在于，所述基于竖屏跟踪关键帧构建随时间变化的 9:16 动态裁剪窗口，包括：根据源视频高度确定裁剪窗口宽度，使裁剪窗口宽度与源视频高度满足 9:16 比例关系；依据不同时间点的关键帧中心位置确定裁剪窗口的横向中心；基于所述横向中心计算裁剪窗口左边界，并对所述左边界进行边界限制。

8. 根据权利要求 1 所述的方法，其特征在于，还包括：先生成不含轨迹叠加信息的临时检测片段；在所述临时检测片段上执行逐帧篮球检测，以生成检测关键帧；根据所述检测关键帧对第一遍渲染结果执行第二遍竖屏裁剪导出。

9. 根据权利要求 8 所述的方法，其特征在于，当所述逐帧篮球检测未生成有效检测关键帧时，回退为使用基于篮球轨迹数据生成的竖屏跟踪关键帧，或者回退为居中裁剪策略。

10. 根据权利要求 1 所述的方法，其特征在于，还包括：在所述竖屏跟踪导出视频生成之后，再叠加水印或徽标覆盖元素，以降低覆盖元素在裁剪缩放过程中的尺寸失真。

11. 一种篮球比赛视频竖屏跟踪导出装置，其特征在于，包括：数据获取模块，用于获取篮球比赛横屏视频、待导出片段的起止时间范围以及与所述待导出片段相关联的篮球轨迹数据；样本处理模块，用于提取表示篮球横向位置的原始样本点，并对所述原始样本点执行静止球干扰抑制和时间去重处理；关键帧生成模块，用于基于处理后的目标位置序列生成竖屏跟踪关键帧；动态裁剪模块，用于根据所述竖屏跟踪关键帧在所述篮球比赛横屏视频上构建随时间变化的 9:16 动态裁剪窗口，并基于所述动态裁剪窗口对所述篮球比赛横屏视频进行裁剪与缩放，以得到竖屏跟踪导出视频。

12. 一种电子设备，其特征在于，包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求 1 至10 任一项所述的方法。

13. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求 1 至 10 任一项所述的方法。

14. 一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1 至 10 任一项所述的方法。