一种体育直播动作分片方法及系统

本发明涉及计算机视觉与动作识别，尤其涉及一种体育直播动作分片方法及系统。

背景技术：

1、体育视频智能分析技术的发展，为赛事直播内容的自动化生产与检索提供了新的技术路径。然而，现有技术在面向真实赛事转播流时，仍难以实现从复杂直播画面到结构化动作片段的完整转化，自动化程度与工程可用性均有不足。

2、当前，业界围绕体育视频处理已形成了若干技术方向。一类方案按照预设特征类型从直播流中截取精彩片段，或依赖监控设备输出的片段抓取信号与外部硬件触发装置截取运动画面。另一类方案聚焦于体育视频中的比分数字识别与比分事件提取。此外，还有方案利用深度学习模型对已有视频片段或单帧图片进行技术动作分类，相关学术文献则多围绕动作识别模型本身的优化，或姿态估计与时序分段网络在动作定位中的应用展开研究。

3、尽管上述技术在特定环节取得了一定效果，但在面向真实赛事转播流时，其局限性日益显现。真实赛事转播流中，事实比赛画面与回放、暂停、局间休息、广告包装等画面长期混杂，现有技术缺乏有效的赛事语义判别机制，难以将事实比赛画面从转播包装内容中有效剥离，更未形成从赛事语义判别到动作级边界定位的处理流程。依赖现场额外架设监控设备或硬件触发装置的方案，部署成本较高，难以接入现有直播平台。单纯识别比分数字或按预设时长截取片段，无法解决哪些画面属于事实比赛这一根本问题。对已有片段或单帧图片进行动作分类的技术，难以在直播长流中准确定位动作起止边界。

4、因此，如何在不改变比赛现场采集条件的前提下，直接从赛事转播流中准确区分事实比赛画面与转播包装画面，并进一步实现动作级边界的精确定位与结构化索引，已成为体育视频智能分析领域亟待解决的技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种体育直播动作分片方法及系统。

2、第一方面，本发明提供一种体育直播动作分片方法，该方法的技术方案如下：

3、对实时获取的赛事直播流进行解码和抽帧处理，得到直播帧序列，并从所述直播帧序列的各帧中裁剪比分板区域，通过视觉语言模型或光学字符识别从所述比分板区域中识别比分信息和选手信息；

4、将所述比分信息和所述选手信息的帧存入有效帧缓冲队列，将未识别到所述比分信息和所述选手信息的帧存入无效帧缓冲队列；

5、根据所述比分信息构建事件状态机，当所述事件状态机检测到比分变化事件或开局事件时，触发视频分片存储；

6、响应于触发所述视频分片存储，根据所述事件状态机记录的比分状态，获取所述无效帧缓冲队列中位于当前处理位置指针之后且尚未被处理的无效帧，根据所述无效帧与相邻有效帧之间的时间戳关系对缺失视频内容进行补全，将补全后的视频内容与所述有效帧缓冲队列中的有效帧构成第一级视频分片，所述第一级视频分片对应事实比赛画面；

7、对所述第一级视频分片沿时间轴采用滑动窗口进行采样，在各窗口内的不同时间位置从所述第一级视频分片中提取帧图像，提取各帧图像的二维rgb特征并进行融合，得到窗口融合特征；

8、将所述窗口融合特征输入动作检测模型，得到各窗口的检测结果，并将各窗口的所述检测结果按所述动作类别归集，在同一动作类别内按照所述置信度进行排序，基于时序交并比执行非极大值抑制，删除重叠度超过阈值的冗余检测结果，得到第二级动作分片；

9、输出所述第二级动作分片的结构化信息，所述结构化信息包括动作类别、动作起止时间和置信度。

10、本发明的一种体育直播动作分片方法的有益效果如下：

11、本发明的方法通过对实时赛事直播流进行解码抽帧与比分板信息识别，将识别到比分信息和选手信息的帧与未识别到信息的帧分别存入不同缓冲队列，并构建事件状态机检测比分变化事件或开局事件以触发视频分片存储，结合未识别到信息的帧与相邻识别到信息的帧之间的时间戳关系对缺失视频内容进行补全，再对补全后的视频内容沿时间轴采用滑动窗口采样并提取融合二维rgb特征后输入动作检测模型并结合非极大值抑制进行动作定位，在不改变比赛现场采集条件的前提下，解决了真实赛事转播流中事实比赛画面与转播包装画面长期混杂的问题，实现了从复杂直播画面到结构化动作片段的完整转化，提升了动作级边界定位的精度与自动化程度，降低了部署成本与人工干预需求。

12、在上述方案的基础上，本发明的一种体育直播动作分片方法还可以做如下改进。

13、在一种可选的方式中，对实时获取的赛事直播流进行解码和抽帧处理，得到直播帧序列的步骤，包括：

14、通过rtmp协议或rtsp协议接入所述赛事直播流，对所述赛事直播流进行协议解析和解码，建立帧缓冲异步队列并记录各帧的时间戳，按照定步长从所述帧缓冲异步队列中抽取直播帧，得到所述直播帧序列。

15、采用上述可选方式的有益效果为：进一步通过rtmp或rtsp协议接入赛事直播流，对直播流进行协议解析与解码后建立帧缓冲异步队列并记录时间戳，再按定步长抽取帧序列，在降低解码开销的同时保证帧间时序关系，为后续比分板识别提供连续稳定的数据来源。

16、在一种可选的方式中，从所述直播帧序列的各帧中裁剪比分板区域的步骤，包括：

17、根据预设的比分板位置坐标，从所述直播帧序列中的各直播帧中截取对应坐标范围的图像区域作为所述比分板感兴趣区域。

18、采用上述可选方式的有益效果为：进一步依据预设坐标位置从直播帧中截取比分板感兴趣区域，避免对整幅画面进行无差别扫描，缩小了识别范围并减少了计算量，使比分信息与选手信息的提取过程更加直接和聚焦。

19、在一种可选的方式中，根据所述比分信息构建事件状态机，当所述事件状态机检测到比分变化事件或开局事件时，触发视频分片存储的步骤，包括：

20、将当前帧识别到的比分信息与上一次存储的比分信息进行比较，若两者不同，则判定发生所述比分变化事件，执行触发视频分片存储；若检测到当前比分为本局开局比分，则判定发生所述开局事件，执行触发视频分片存储。

21、采用上述可选方式的有益效果为：进一步将当前帧识别到的比分信息与上一次存储结果进行比对，若比分发生变化则触发分片存储，若检测到本局开局比分也触发存储，使视频分片时机与真实比赛进程紧密对应，减少因误判造成的分片偏差。

22、在一种可选的方式中，对所述第一级视频分片沿时间轴采用滑动窗口进行采样的步骤之前，还包括：

23、将多个所述第一级视频分片存入异步任务队列，通过任务调度将所述异步任务队列中的各第一级视频分片分发至多个图形处理器进行并行处理。

24、采用上述可选方式的有益效果为：进一步将多个第一级视频分片存入异步任务队列，通过任务调度分发至多个图形处理器并行处理，使计算负载分散到不同硬件单元，缩短了动作检测环节的整体处理时间，提升了直播流处理的实时响应能力。

25、在一种可选的方式中，对所述第一级视频分片沿时间轴采用滑动窗口进行采样，在各窗口内的不同时间位置从所述第一级视频分片中提取帧图像的步骤，包括：

26、按照预设的窗口时长和步长沿所述第一级视频分片的时间轴生成多个滑动窗口，相邻两个滑动窗口之间在时间轴上存在重叠部分，在各所述滑动窗口内，从所述第一级视频分片中位于窗口前段、窗口中段和窗口后段的帧位置分别提取帧图像。

27、采用上述可选方式的有益效果为：进一步按照预设窗口时长和步长沿时间轴生成重叠滑动窗口，并在各窗口内从前段、中段和后段分别提取帧图像，使动作检测模型能够捕捉不同时间位置的视觉特征，降低因单点采样造成的动作漏检风险。

28、在一种可选的方式中，提取各帧图像的二维rgb特征并进行融合，得到窗口融合特征的步骤，包括：

29、从各所述帧图像中提取二维rgb特征，将同一滑动窗口内位于前段、中段和后段的各帧图像的二维rgb特征输入分段共识模块，由所述分段共识模块对同一滑动窗口内的全部二维rgb特征进行融合，输出所述窗口融合特征。

30、采用上述可选方式的有益效果为：进一步将同一滑动窗口内位于前段、中段和后段的二维rgb特征输入分段共识模块进行融合，把分散的局部视觉信息整合为统一的窗口级表示，增强了动作检测模型对时序变化的感知能力。

31、在一种可选的方式中，所述检测结果包括动作类别及对应的置信度；将所述窗口融合特征输入动作检测模型，得到各窗口的检测结果的步骤，包括：

32、将各滑动窗口的所述窗口融合特征输入时序动作检测模型，通过所述时序动作检测模型为各滑动窗口输出动作类别及置信度，各滑动窗口输出的所述动作类别及所述置信度为top3动作类别及对应的置信度。

33、采用上述可选方式的有益效果为：进一步将各滑动窗口的融合特征输入时序动作检测模型，输出前三个动作类别及对应的置信度，为后续非极大值抑制环节提供候选集合，保留更多可能的动作识别结果以供筛选。

34、在一种可选的方式中，将各窗口的所述检测结果按所述动作类别归集，在同一动作类别内按照所述置信度进行排序，基于时序交并比执行非极大值抑制，删除重叠度超过阈值的冗余检测结果，得到第二级动作分片的步骤，包括：

35、将各滑动窗口的top3动作类别及对应的置信度按动作类别进行拆分，将属于同一动作类别的各候选检测结果归集到对应的动作类别集合中，在各动作类别集合内按照置信度降序排列，对于排序后的各候选检测结果，计算任意两个候选检测结果之间的时序交并比，当时序交并比超过预设阈值时，删除其中置信度较低的候选检测结果，将保留下来的各候选检测结果作为所述第二级动作分片；所述时序交并比按照如下公式计算：

36、

37、其中，和分别表示第一个候选检测结果在时间轴上的起始时间和终止时间，和分别表示第二个候选检测结果在时间轴上的起始时间和终止时间，分子表示两个候选检测结果在时间轴上的重叠区间长度，分母表示两个候选检测结果在时间轴上的总跨度长度。

38、采用上述可选方式的有益效果为：进一步将各滑动窗口的前三检测结果按动作类别拆分归集，在同类别内按置信度降序排列，通过时序交并比计算删除重叠度超过阈值且置信度较低的候选，使最终动作分片的边界更加清晰准确。

39、第二方面，本发明提供一种体育直播动作分片系统，该系统的技术方案如下：

40、识别模块，用于对实时获取的赛事直播流进行解码和抽帧处理，得到直播帧序列，并从所述直播帧序列的各帧中裁剪比分板区域，通过视觉语言模型或光学字符识别从所述比分板区域中识别比分信息和选手信息；

41、存储模块，用于将所述比分信息和所述选手信息的帧存入有效帧缓冲队列，将未识别到所述比分信息和所述选手信息的帧存入无效帧缓冲队列；

42、触发模块，用于根据所述比分信息构建事件状态机，当所述事件状态机检测到比分变化事件或开局事件时，触发视频分片存储；

43、处理模块，用于响应于触发所述视频分片存储，根据所述事件状态机记录的比分状态，获取所述无效帧缓冲队列中位于当前处理位置指针之后且尚未被处理的无效帧，根据所述无效帧与相邻有效帧之间的时间戳关系对缺失视频内容进行补全，将补全后的视频内容与所述有效帧缓冲队列中的有效帧构成第一级视频分片，所述第一级视频分片对应事实比赛画面；

44、融合模块，用于对所述第一级视频分片沿时间轴采用滑动窗口进行采样，在各窗口内的不同时间位置从所述第一级视频分片中提取帧图像，提取各帧图像的二维rgb特征并进行融合，得到窗口融合特征；

45、检测模块，用于将所述窗口融合特征输入动作检测模型，得到各窗口的检测结果，并将各窗口的所述检测结果按所述动作类别归集，在同一动作类别内按照所述置信度进行排序，基于时序交并比执行非极大值抑制，删除重叠度超过阈值的冗余检测结果，得到第二级动作分片；

46、输出模块，用于输出所述第二级动作分片的结构化信息，所述结构化信息包括动作类别、动作起止时间和置信度。

47、本发明的一种体育直播动作分片系统的有益效果如下：

48、本发明的系统通过对实时赛事直播流进行解码抽帧与比分板信息识别，将识别到比分信息和选手信息的帧与未识别到信息的帧分别存入不同缓冲队列，并构建事件状态机检测比分变化事件或开局事件以触发视频分片存储，结合未识别到信息的帧与相邻识别到信息的帧之间的时间戳关系对缺失视频内容进行补全，再对补全后的视频内容沿时间轴采用滑动窗口采样并提取融合二维rgb特征后输入动作检测模型并结合非极大值抑制进行动作定位，在不改变比赛现场采集条件的前提下，解决了真实赛事转播流中事实比赛画面与转播包装画面长期混杂的问题，实现了从复杂直播画面到结构化动作片段的完整转化，提升了动作级边界定位的精度与自动化程度，降低了部署成本与人工干预需求。

49、第三方面，本发明的一种电子设备的技术方案如下：

50、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的体育直播动作分片方法的步骤。

51、第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

52、计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的体育直播动作分片方法的步骤。

53、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。