一种基于行为特征识别的体育视频动作定位方法

摘要: 本发明涉及计算机视觉,尤其涉及一种基于行为特征识别的体育视频动作定位方法。背景技术:1、现有的体育视频动作定位方法通常依赖人工标注、目标跟踪或基于深度学习的时序...
一种基于行为特征识别的体育视频动作定位方法

本发明涉及计算机视觉,尤其涉及一种基于行为特征识别的体育视频动作定位方法。

背景技术:

1、现有的体育视频动作定位方法通常依赖人工标注、目标跟踪或基于深度学习的时序识别模型,对视频中的运动主体进行检测,并根据连续视频帧的特征变化确定动作开始时刻和结束时刻。此类方法能够完成一般体育场景下的动作片段提取,但在镜头运动、主体遮挡和连续动作切换时,定位精度容易下降。

2、随着计算机视觉技术的发展,基于视频时序特征的动作定位方法逐渐应用于比赛分析和训练评估。然而,现有方法多侧重运动主体自身特征,对运动主体与球类、器械等作用对象之间的行为联系利用不足,目标短时丢失或轨迹交叉时容易造成动作关系中断。

3、此外,现有时序模型通常在完整视频序列内连续传递特征,动作区间外的无关运动容易参与计算,导致相邻动作特征混入当前动作,进而出现动作边界提前、延后或错误连接的问题。

4、因此,如何提供一种基于行为特征识别的体育视频动作定位方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于行为特征识别的体育视频动作定位方法,本发明采用后继状态锚点与改进videomamba模型相结合的方法,通过运动主体与作用对象的跨帧行为关系确定锚点,并以锚点形成共同初始隐状态,沿逆时序和顺时序接续,在行为关系持续中断处锁定动作边界;在此基础上,采用murty算法生成候选接续方案并恢复局部状态写入,实现动作区间的修正与筛选,能够减少相邻动作和边界外运动干扰,具有动作边界定位准确、连续动作区分能力强以及复杂体育场景适应性好的优点。

2、根据本发明实施例的一种基于行为特征识别的体育视频动作定位方法,包括如下步骤:

3、s1、采集体育视频,校正帧时序并提取运动区域,形成体育视频时序数据;

4、s2、跟踪体育视频时序数据中的运动主体与作用对象,依据跨帧行为特征形成体育行为关系序列;

5、s3、检测体育行为关系序列由动作状态稳定转入后继状态的时刻,确定后继状态锚点;

6、s4、将体育视频时序数据转换为视频标记并接入改进videomamba模型,在后继状态锚点对应时刻形成共同初始隐状态并沿逆时序和顺时序更新隐状态,在行为关系持续中断处锁定最后连续隐状态并阻断边界外视频标记写入和双向合并,形成初始动作区间及边界锁定状态;

7、s5、检索初始动作区间外与区间内行为关系具有几何接续性的候选关系,形成带联合关联代价的候选接续关系集;

8、s6、采用murty算法处理候选接续关系集,按照联合关联代价生成联合接续方案集并转换为候选状态写入恢复方案集;

9、s7、逐一按照候选状态写入恢复方案在恢复位置恢复对应视频标记对隐状态的写入,从边界锁定状态的隐状态恢复局部接续,形成包含初始动作区间的候选动作区间集;

10、s8、依据候选动作区间内行为关系由动作状态转入后继状态的连续性确定最终动作区间,形成体育视频动作定位结果。

11、可选的,所述s1具体包括:

12、s11、读取体育视频中视频帧的时间戳,按照时间戳重排视频帧,形成时序校正帧序列;

13、s12、估计时序校正帧序列中相邻视频帧之间的全局运动变换,配准相邻视频帧并提取配准后的帧间变化区域,形成运动区域序列;

14、s13、按照视频帧顺序将运动区域序列关联至时序校正帧序列,形成体育视频时序数据。

15、可选的,所述s2具体包括:

16、s21、对体育视频时序数据中的运动区域执行目标检测,区分运动主体与作用对象并提取几何特征,形成运动目标检测结果;

17、s22、依据运动目标检测结果中的外观一致性和运动连续性执行目标关联,按关联轨迹计算几何变化,形成跨帧行为特征;

18、s23、根据跨帧行为特征计算运动主体与作用对象之间的相对几何变化,将相对几何变化按视频帧时序排列,形成体育行为关系序列。

19、可选的,所述s3具体包括:

20、s31、沿体育行为关系序列比较相邻视频帧的行为关系,定位由动作状态转入后继状态的转换时刻,形成状态转换时刻序列;

21、s32、从状态转换时刻序列中的转换时刻起沿时间顺序核验行为关系,行为关系返回动作状态时转至下一转换时刻,行为关系在连续视频帧中保持后继状态时,将对应转换时刻确定为后继状态锚点。

22、可选的,所述改进videomamba模型包括依次连接的视频标记化层、位置嵌入层、videomamba编码层和归一化与预测层;

23、所述视频标记化层采用三维卷积沿体育视频时序数据的时间维度和空间维度提取局部视频特征,按照帧时序展开为视频标记序列;

24、所述位置嵌入层向视频标记序列叠加与帧时序和空间位置对应的位置编码,依据帧时序位置编码确定后继状态锚点对应时刻的视频标记;

25、所述videomamba编码层按照锚点时刻内视频标记的空间排列执行选择性状态空间计算,以末端隐状态作为共同初始隐状态,沿逆时序和顺时序更新隐状态,体育行为关系持续中断时保留最后连续隐状态,停止边界外视频标记更新对应方向的隐状态,并阻断边界外视频标记参与锁定区间内的双向状态合并,形成边界锁定状态;

26、所述归一化与预测层对锁定区间内的隐状态执行归一化,依据逆时序和顺时序的状态接续停止位置确定动作边界,形成初始动作区间并保留边界锁定状态。

27、可选的,所述边界锁定状态的形成具体包括:

28、在videomamba编码层内,按照后继状态锚点对应时刻的视频标记空间顺序执行选择性状态空间更新,将末个视频标记对应的末端隐状态分别设为逆时序接续和顺时序接续的初始隐状态;

29、逆时序接续自后继状态锚点向前逐时刻读取视频标记并更新逆时序隐状态,顺时序接续自后继状态锚点向后逐时刻读取视频标记并更新顺时序隐状态;

30、体育行为关系保持连续时,将当前隐状态传递至下一时刻继续更新,体育行为关系在连续视频帧内均未恢复时,保留中断前最后连续隐状态并停止对应方向继续读取边界外视频标记;

31、将逆时序停止位置至后继状态锚点的逆时序隐状态按帧时序反向排列,与后继状态锚点至顺时序停止位置的顺时序隐状态按照帧时序合并,阻断边界外视频标记写入对应方向隐状态,形成边界锁定状态。

32、可选的,所述s5具体包括:

33、s51、以初始动作区间两侧边界为起点,沿对应时间方向截取体育行为关系序列,形成边界内连续关系和边界外待接续关系;

34、s52、逐帧比较边界外待接续关系与边界内连续关系的几何运动变化,筛选保持运动接续的候选接续关系;

35、s53、分别计算候选接续关系中运动主体和作用对象与边界内对应运动目标之间的几何偏差,将同一候选接续关系的几何偏差沿接续时序累加为联合关联代价,形成带联合关联代价的候选接续关系集。

36、可选的,所述s6具体包括:

37、s61、以初始动作区间内的运动主体与作用对象组合为行、候选接续关系中的运动主体与作用对象组合为列,将组合之间的联合关联代价写入对应矩阵元素,形成联合关联代价矩阵;

38、s62、采用murty算法求取联合关联代价矩阵的最低代价分配,依次固定前序关联并排除当前关联构造子分配问题,形成按总代价递增的联合接续方案集;

39、s63、将联合接续方案对应候选接续关系的起始时刻确定为状态写入恢复位置,将对应视频标记确定为恢复写入对象,形成候选状态写入恢复方案集。

40、可选的,所述s7具体包括:

41、s71、恢复位置位于初始动作区间开始边界外侧时选择逆时序边界锁定隐状态,位于结束边界外侧时选择顺时序边界锁定隐状态,并保持联合接续方案未选中视频标记的写入阻断;

42、s72、将选取的边界锁定隐状态作为初始状态,自恢复位置沿对应时间方向继续处理候选接续关系对应的视频标记,行为关系连续时逐时刻写入更新后的隐状态;

43、s73、候选接续关系结束或行为关系再次中断时停止状态接续,以最后连续时刻修正对应动作边界,未形成连续接续时保留初始动作区间,形成候选动作区间集。

44、可选的,所述s8具体包括:

45、s81、以后继状态锚点为分界,沿逆时序核验各候选动作区间内的行为关系是否连续保持动作状态,沿顺时序核验行为关系是否连续保持后继状态;

46、s82、保留逆时序核验连续至动作开始边界且顺时序核验连续至动作结束边界的候选动作区间,排除任一方向发生中断的候选动作区间;

47、s83、从保留的候选动作区间中选择对应联合关联代价最低的区间作为最终动作区间,无候选动作区间通过核验时保留初始动作区间,形成体育视频动作定位结果。

48、本发明的有益效果是:

49、本发明通过校正体育视频帧时序、提取运动区域并跟踪运动主体与作用对象,构建跨帧体育行为关系序列,能够从运动主体与作用对象之间的相对几何变化中识别动作状态向后继状态的稳定转换,并以后继状态锚点作为动作定位基准,降低镜头运动、主体遮挡和连续动作切换对动作边界判断的影响。

50、本发明对videomamba模型的状态接续方式进行改进,以锚点时刻形成的共同初始隐状态分别沿逆时序和顺时序更新,在行为关系持续中断处保留最后连续隐状态,同时阻断边界外视频标记继续写入和参与双向状态合并,减少相邻动作及无关运动特征对当前动作区间的干扰,提高动作开始边界和结束边界的定位准确性与稳定性。

51、此外,本发明采用murty算法对运动主体与作用对象的候选接续关系进行联合分配,并从边界锁定隐状态恢复局部状态接续,能够修正目标短时丢失、轨迹交叉或作用对象交接造成的动作关系中断,提升复杂体育场景下动作区间的连续识别能力和定位结果的可靠性。