一种视频流信号特征提取方法及系统

1.本发明涉及视频信号处理领域，特别是涉及一种视频流信号特征提取方法及系统。


背景技术：

2.对视频流信号的特征提取，目前常用的方法有tcnn、光流法进行特征迁移或融合、利用lstm等记忆进行特征迁移或融合等，但是现有的大部分方法都是基于端到端的深度学习建模方法，没有办法学习到关键的或者想要让其学习到的特征信息，并且如用已有网络alexnet、googlenet等提取特征会面临卷积层平移不变性问题和pooling层信息丢失问题。如何快速且准确地提取视频流信号中相关运动特征成为需要解决的问题。


技术实现要素：

3.本发明的目的是提供一种视频流信号特征提取方法及系统，以提高视频流信号特征提取的效率和准确度。
4.为实现上述目的，本发明提供了如下方案：
5.一种视频流信号特征提取方法，包括：
6.获取待提取的视频数据；
7.将所述待提取的视频数据输入至目标检测模型，得到多帧的腿脚信息；所述腿脚信息包括腿脚位置、腿脚标签和腿脚置信度；所述目标检测模型为yolo神经网络；
8.根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定运动轨迹；
9.根据所述运动轨迹和所述腿脚位置利用寻峰算法得到运动特征，所述运动特征包括速度和比值；所述比值为幅度与腿长的比值。
10.可选地，所述目标检测模型的训练过程具体包括：
11.以训练集的带标签的视频数据为输入，以训练集的腿脚位置、腿脚标签和腿脚置信度为输出，对yolo神经网络进行训练，得到目标检测模型。
12.可选地，所述根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定运动轨迹，具体包括：
13.根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定剩余腿脚信息；
14.根据相邻帧的所述剩余腿脚信息计算欧式距离；
15.根据所述欧式距离确定多个类别序列；
16.根据多个所述类别序列的长度确定运动轨迹；所述运动轨迹为同一类别序列中长度最长的类别序列。
17.可选地，所述根据所述运动轨迹和所述腿脚位置利用寻峰算法得到运动特征，具体包括：
18.根据所述运动轨迹利用寻峰算法得到峰位置和峰数；
19.根据所述峰位置、所述峰数和运动时间确定速度；
20.根据所述腿脚信息中的腿脚位置确定比值。
21.一种视频流信号特征提取系统，包括：
22.获取模块，用于获取待提取的视频数据；
23.腿脚信息确定模块，用于将所述待提取的视频数据输入至目标检测模型，得到多帧的腿脚信息；所述腿脚信息包括腿脚位置、腿脚标签和腿脚置信度；所述目标检测模型为yolo神经网络；
24.删除模块，用于根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定运动轨迹；
25.运动特征确定模块，用于根据所述运动轨迹和所述腿脚位置利用寻峰算法得到运动特征，所述运动特征包括速度和比值；所述比值为幅度与腿长的比值。
26.可选地，所述目标检测模型的训练过程具体包括：
27.以训练集的带标签的视频数据为输入，以训练集的腿脚位置、腿脚标签和腿脚置信度为输出，对yolo神经网络进行训练，得到目标检测模型。
28.可选地，所述删除模块，具体包括：
29.删除单元，用于根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定剩余腿脚信息；
30.计算单元，用于根据相邻帧的所述剩余腿脚信息计算欧式距离；
31.类别序列确定单元，用于根据所述欧式距离确定多个类别序列；
32.运动轨迹确定单元，用于根据多个所述类别序列的长度确定运动轨迹；所述运动轨迹为同一类别序列中长度最长的类别序列。
33.可选地，所述运动特征确定模块，具体包括：
34.峰位置和峰数确定单元，用于根据所述运动轨迹利用寻峰算法得到峰位置和峰数；
35.速度确定单元，用于根据所述峰位置、所述峰数和运动时间确定速度；
36.比值确定单元，用于根据所述腿脚信息中的腿脚位置确定比值。
37.根据本发明提供的具体实施例，本发明公开了以下技术效果：
38.本发明提供的一种视频流信号特征提取方法及系统，通过获取待提取的视频数据；将待提取的视频数据输入至目标检测模型，得到多帧的腿脚信息；腿脚信息包括腿脚位置、腿脚标签和腿脚置信度；目标检测模型为yolo神经网络；根据腿脚置信度对多帧的腿脚信息进行删除，确定运动轨迹；根据运动轨迹和腿脚位置利用寻峰算法得到运动特征，运动特征包括速度和比值；比值为幅度与腿长的比值。利用yolo神经网络获取腿脚信息，再对腿脚信息进行处理得到运动特征，能够提高视频流信号特征提取的效率和准确度。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明提供的视频流信号特征提取方法流程图；
41.图2为本发明提供的测试者膝关节屈曲状态下腿的灵活性评定示意图；
42.图3为本发明提供的yolo模型训练过程图；
43.图4为本发明提供的测试者膝关节屈曲状态下腿的灵活性评定目标检测结果图；
44.图5为本发明提供的yolo目标检测提取的测试者相关运动特征信息视示意图；
45.图6为yolo目标检测运动特征提取在帕金森病康复评定的特征提取分类流程图；
46.图7为寻峰算法特征提取过程图；
47.图8为随机森林分类器构建过程图；
48.图9为yolo目标检测提取运动特征在帕金森病康复评定的应用流程图；
49.图10为yolo神经网络模型结构图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
52.如图1所示，本发明提供的一种视频流信号特征提取方法，包括：
53.步骤101：获取待提取的视频数据。
54.步骤102：将所述待提取的视频数据输入至目标检测模型，得到多帧的腿脚信息；所述腿脚信息包括腿脚位置、腿脚标签和腿脚置信度；所述目标检测模型为yolo神经网络。
55.步骤103：根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定运动轨迹。步骤103，具体包括：
56.根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定剩余腿脚信息。删除腿脚置信度小于设定阈值的腿脚信息。
57.根据相邻帧的所述剩余腿脚信息计算欧式距离。
58.根据所述欧式距离确定多个类别序列。当欧式距离大于设定欧氏距离阈值时，表明此欧氏距离对应的序列为新的类别。
59.根据多个所述类别序列的长度确定运动轨迹；所述运动轨迹为同一类别序列中长度最长的类别序列。
60.步骤104：根据所述运动轨迹和所述腿脚位置利用寻峰算法得到运动特征，所述运动特征包括速度和比值；所述比值为幅度与腿长的比值。
61.步骤104，具体包括：
62.根据所述运动轨迹利用寻峰算法得到峰位置和峰数。
63.根据所述峰位置、所述峰数和运动时间确定速度。
64.根据所述腿脚信息中的腿脚位置确定比值。
65.在实际应用中，所述目标检测模型的训练过程具体包括：
66.以训练集的带标签的视频数据为输入，以训练集的腿脚位置、腿脚标签和腿脚置信度为输出，对yolo神经网络进行训练，得到目标检测模型。
67.本发明还提供一种视频流信号特征提取系统，包括：
68.获取模块，用于获取待提取的视频数据。
69.腿脚信息确定模块，用于将所述待提取的视频数据输入至目标检测模型，得到多帧的腿脚信息；所述腿脚信息包括腿脚位置、腿脚标签和腿脚置信度；所述目标检测模型为yolo神经网络。
70.删除模块，用于根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定运动轨迹。
71.运动特征确定模块，用于根据所述运动轨迹和所述腿脚位置利用寻峰算法得到运动特征，所述运动特征包括速度和比值；所述比值为幅度与腿长的比值。
72.在实际应用中，所述目标检测模型的训练过程具体包括：
73.以训练集的带标签的视频数据为输入，以训练集的腿脚位置、腿脚标签和腿脚置信度为输出，对yolo神经网络进行训练，得到目标检测模型。
74.在实际应用中，所述删除模块，具体包括：
75.删除单元，用于根据所述腿脚置信度对多帧的所述腿脚信息进行删除，确定剩余腿脚信息。
76.计算单元，用于根据相邻帧的所述剩余腿脚信息计算欧式距离。
77.类别序列确定单元，用于根据所述欧式距离确定多个类别序列。
78.运动轨迹确定单元，用于根据多个所述类别序列的长度确定运动轨迹；所述运动轨迹为同一类别序列中长度最长的类别序列。
79.在实际应用中，所述运动特征确定模块，具体包括：
80.峰位置和峰数确定单元，用于根据所述运动轨迹利用寻峰算法得到峰位置和峰数。
81.速度确定单元，用于根据所述峰位置、所述峰数和运动时间确定速度。
82.比值确定单元，用于根据所述腿脚信息中的腿脚位置确定比值。
83.针对如何快速且准确地提取视频流信号中相关运动特征，提出一种基于yolo目标检测算法提取视频流信号中运动特征的方法，该方法首先基于目标检测模型获得运动位置或轨迹信息，然后引入一系列的策略基于目标位置或轨迹进行特征提取，从而进行想要的分析、分类等任务，该方法具有较大的应用能力，如帕金森病的康复评定、脑卒中的评估等场景。本发明利用目标检测所得到的结果如位置变化等信息，经过处理实现提取相关运动特征如幅度、次数、快慢等信息。
84.如图2所示，这是本发明采用的updrs(帕金森氏病综合评分量表)的运动功能膝关节屈曲状态下腿的灵活性评定的示意图，测试者坐位时抬起脚约十公分，用后跟拍打地面。updrs中评分标准分为正常、频率较慢幅度较小、明显障碍、严重障碍、几乎不能完成共五个等级，本实验中由专业医生对测试者的表现进行打分，分成完全恢复为0、恢复情况一般为1、未恢复为2三类。某位被测试者膝关节屈曲状态下腿的灵活性yolo目标检测测试结果如图3所示。
85.为了实现端到端的快速检测，本发明的步骤如下：
86.1.对原视频数据随机取80％的视频作为训练集，剩余的作为测试集，对所有视频随机取两帧打上腿和脚的标签并保存类别label，置信度α，归一化后的框的左上角坐标x、
y，归一化后的框的长宽w、h，使用yolo神经网络对打好的腿脚标签及对应图片进行训练，得到yolo目标检测模型，yolo神经网络模型结构如图10所示。在测试集中用训练好的yolo模型检测测试者腿部和脚部所在的位置。得到类别label和对应的α、x、y、w、h。需要说明的是，理想情况下能检测出共两条腿与两只脚，但有些情况下因为某些原因如侧视情况下前腿遮挡后方运动腿等无法检测或是因为背景有除测试者外其他干扰人员的影响使检测出的腿部与脚部个数不等于2。将目标检测所有属于腿和脚类别的坐标和对应置信度进行保存，格式为[label,α,x,y,w,h]。
[0087]
2.对腿部和脚部的坐标数据进行异常筛选，即去除置信度低于0.6的类别坐标信息，对剩余的坐标数据，将每一帧的数个坐标按帧分类连接，坐标形式为x，y，w，h，分别代表以全图左上角为原点归一化后的框的左上角坐标x、y值与框的长w和宽h，对每个下一帧的同类别x、y、w、h坐标，求四维欧氏距离，对相邻帧最近距离的点进行连接，并设定距离上限threshold，当超出上限时表明该框已经是同类别另一个个体，需对其建立新序列保存，对后来帧的框坐标与所有同类别序列的最后坐标求欧氏距离，择近连接，以此构建出类别序列。以有一只腿和一只脚为例的序列表示为：
[0088]
l1＝[(x
11
,y
11
),(x
12
,y
12
)
…
.(x
1m
,y
1m
))]
[0089]
s1＝[(x
11
,y
11
),(x
12
,y
12
)
…
.(x
1n
,y
1n
))]
[0090]
其中，l表示目标检测腿部坐标序列，s表示脚部坐标序列，l和s的下标表示腿和脚的检测个数，x、y和x、y分别表示腿和脚的归一化后框的左上角坐标，m、n分别为腿和脚的初始保留帧数。
[0091]
选取腿部和脚部序列中综合考虑幅度比率较大，长度较长的序列作为该视频的腿部运动轨迹和脚部运动轨迹。对坐标数据进行特征提取，以获得速度v和幅度h特征为例的具体操作为：如对脚部运动轨迹使用寻峰算法得到所有峰的位置，然后累计得到峰数peaks，峰数即表示完成完整一次腿部运动的次数，再由峰数peaks和运动时长t相除得到速度v，再由含脚部框运动坐标y的96％数据的最小极差h1除以含腿部框h的96％数据的均值h2得到幅度和腿长的比h。
[0092]
在实际应用中，还可以利用速度v、幅度h等特征和对应的完全恢复0、恢复情况一般1、未恢复2的类别标签，通过分类器进行分类预测，分类器的结构如图8所示，采用随机森林的方法进行分类训练，随机森林由许多决策树构成，需要将输入样本输入到每棵树中进行分类。每棵决策树都是一个分类器，对于一个输入样本，n棵树会有n个分类结果，随机森林集成了所有分类投票结果，将投票次数最多的类别指定为最终的输出，即最终得到能够输入v、h等对应特征得到分类结果的训练好的分类器模型。
[0093][0094][0095]
3.对新的视频，经过该方法进行自动的特征提取得到新的v和h等特征的值，输入训练好的分类器模型得到预测结果，实验证明该方法实现了对其他视频数据具有较好泛化能力，能够快速准确地得到最终的预测结果，证明yolo目标检测提取到的相关运动特征信
息相较于现在常用的卷积神经网络方法更具针对性且更有效，该方法更快速更准确地实现了对视频流信息中运动特征的提取。
[0096]
该方法将需要医院专业医生协助的大规模的帕金森病康复评定转化为一个视频分类问题，通过yolo目标检测算法提取相关运动特征进行求解，规避了传统端到端的方法，视频流运动特征提取不准确、效果差、抓取不到想要的特征信息，同时基于目标检测的位置信息提出了一系列策略来保证该方法的准确性与快速性，从而达到提取到想要的运动特征信息如幅度、速度等的效果，实验证明使用该方法后可以更好地高效准确地评定帕金森病患者的康复情况。并且与现有人工进行判断的方法相比，通过该方法的改进后具备快速、方便等优点，可以广泛应用于医院、养老院或家中老年人自行线上进行康复评定。
[0097]
图2是yolo目标检测提取相关运动特征在帕金森病康复评定的应用示意图，为某测试者膝关节屈曲状态下腿的灵活性评定视频流，要求测试者在镜头画面中心以正面或斜45度方向面对镜头，坐位抬起脚约十公分，用后跟拍打地面，画面中不允许有其他人或物体对被测试者的身体尤其是腿部及脚部进行遮挡，视频尺寸为1080*1920，建议测试用视频尺寸应大于等于该尺寸。
[0098]
首先使用训练好的yolo神经网络检测测试者所有腿部和脚部所在的位置框，训练yolo模型的过程如图3所示，图10为yolo神经网络模型结构图。去除置信度在0.60以下的帧数据，逐帧保存框的坐标及长宽，目标检测的结果如图4所示。
[0099]
其次，对腿部和脚部的轨迹序列进行筛选，提取到的相关运动特征如图5所示，对剩余的运动特征数据进行特征处理，特征提取及处理过程如图6所示，使用寻峰算法进行特征提取的过程如图7所示，通过对轨迹数据一阶差分为0的位置再进行差分，并根据图像判断波形是否水平，分组得到每个水平波及对应的峰值点，再使用峰值检测距离筛除无效的峰值点，得到需要的峰值点。将多维特征放入分类器训练，分类器构建过程图如图8所示。
[0100]
最后得到测试结果，并根据结果给出下一步建议。yolo目标检测提取相关运动特征在帕金森病康复评定的应用全过程如图9所示，首先通过数据集处理后训练出目标检测模型，然后由目标检测得到想要部位的运动轨迹，然后通过轨迹的特征提取处理训练出分类模型，实现对新输入的轨迹可以进行分类，最后检验预测结果并给出意见。
[0101]
将视频流中相关运动特征的提取通过yolo目标检测相关算法进行求解，并引入机器学习算法来保证快速性和准确性，从而得到更为有效的想要的特征，以方便进行更深入的研究活动。
[0102]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0103]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。