一种针对视频的细粒度动作切分方法与流程

1.本发明涉及计算机视觉技术领域，具体来说，涉及一种针对视频的细粒度动作切分方法。


背景技术：

2.随着近年我国人口老龄化的问题日益凸显，伴随着人口老龄化加剧，帕金森病人在我国的数量逐渐增多。此类病症在患病初期经过药物治疗能很好的抑制病情，但基于我国医疗资源分布的情况，在患者患病初期并不能得到很好的诊断，可能会造成病患症状明显乃至严重才可确诊，但此时的治疗效果与患病初期相差甚远。基于此，提出通过采集老人做动作指定动作的视频，通过视频结合机器视觉、人工智能等技术，针对老人动作的规范性、完整性进行评判，判断其患帕金森病的概率。但拍摄的视频为完整的多个动作的视频合集，这不利于后续针对各个动作进行评判，因此需将完整视频依据动作类型进行细粒度切分。
3.传统切分视频方法，通过人工观看视频，对视频中的不同动作的时间点进行记录，最终再使用视频剪辑软件对完整视频进行切分，第一，此方法严重依赖人力，无自动化、标准化流程，且效率极低。第二，传统方法对视频剪辑人员存在一定技能要求，这使得视频切分工作的人力成本控制较为困难。第三，传统方法需工作者长时间的观看、剪辑视频会导致工作者产生疲劳，增加了出现工作失误的风险。
4.针对上述问题，提出了视频细粒度切分方法，将视频切分问题先转换成图像分类问题，再将图像分类结果序列转化成阶跃信号，再对阶跃信号进行划分，最终依据阶跃信号的划分结果进行自动的视频切分，从而准确、高效的完成视频细粒度切分


技术实现要素：

5.针对相关技术中的问题，本发明提出一种针对视频的细粒度动作切分方法，以克服现有相关技术所存在的上述技术问题。
6.为此，本发明采用的具体技术方案如下：
7.一种针对视频的细粒度动作切分方法，该细粒度动作切分方法包括以下步骤：
8.s1、对目标患者进行多角度的拍摄，并筛选出所需目标患者的全局图像；
9.s2、对所述全局图像进行特征提取及分类操作，输出病患的动作类型，并得到目标患者的动作图像；
10.s3、对所述动作图像的数据进行one-hot编码，生成目标患者的动作视频的阶跃数据，并在所述阶跃数据中对阶跃信号进行降噪，消除切分误差；
11.s4、查询所述阶跃信号中的异常拨动点，并将异常波动点删除；
12.s5、利用数据集对所述阶跃信号的跃次数及阶跃位置进行切分，输出所述阶跃信号中各个阶跃点的位置；
13.s6、利用计算机视觉技术，将所述动作视频依据各个阶跃点的位置进行逐帧读取，
进行对应动作的帧连接，并得到单动作的细粒度视频。
14.进一步的，所述对目标患者进行多角度的拍摄，并筛选出所需目标患者的全局图像还包括以下步骤：
15.s11、在患者所在的区域进行多角度的拍摄，减少背景在图像中所占比例，并增大病患所占图像的区域的比例；
16.s12、对拍摄的患者目标的图形进行预处理，得到仅包含目标病患一个人且包含病患四肢区域的动作图像。
17.进一步的，所述预处理包括对目标患者的检测结果进行非极大值抑制、病患重叠的判断及检测边缘扩充的操作。
18.进一步的，所述对所述全局图像进行特征提取及分类操作，输出病患的动作类型，并得到目标患者的动作图像还包括以下步骤：
19.s21、经过循环检测病患及病患检测项分类，得到时序数据；
20.s22、根据所述时序数据反映出随时间推进患者动作的变化，并得到目标患者的动作图像。
21.进一步的，所述查询所述阶跃信号中的异常拨动点，并将异常波动点删除还包括以下步骤：
22.s41、在信号示意图找出是异常波动点的位置信息；
23.s42、计算异常波动点的位置信息的值与左右邻域内相邻点见的差距。
24.进一步的，所述计算异常波动点的位置信息的值与左右邻域内相邻点见的差距的判断如下：
25.s421、若差距小于设置阈值，即可视忽略该点信息；
26.s422、若差距大于设置阈值，即可视为该点为噪音点，将噪音点删除即可。
27.进一步的，所述利用数据集对所述阶跃信号的跃次数及阶跃位置进行切分，输出所述阶跃信号中各个阶跃点的位置还包括以下步骤：
28.s51、从统计学角度找出阶跃信号的跃次数及阶跃位置；
29.s52、采用均方误差作为代价函数，根据函数值的大小对阶跃信号的跃次数及阶跃位置进行切分；
30.s53、输出所述阶跃信号中各个阶跃点的位置。
31.进一步的，所述从统计学角度找出阶跃信号的跃次数及阶跃位置的计算公式如下：
[0032][0033]
式中，k表示信号阶跃次数，θk表示为所有阶跃点的集合，x表示滤波后真实阶跃信号，k,θk表示生成新的阶跃信号，p(x|k,θk)表示真实阶跃信号。
[0034]
进一步的，所述根据函数值的大小对阶跃信号的跃次数及阶跃位置进行切分的判断如下：
[0035]
当x与k,θk构成阶跃信号的似然比，当似然比最大时，则为最优的切分方法。
[0036]
进一步的，所述根据函数值的大小对阶跃信号的跃次数及阶跃位置进行切分公式如下：
[0037][0038]
式中，x为滤波后真实阶跃信号，θk为(n0,n1,...n
k-1
,nk)代表为所有阶跃点的集合，k为信号阶跃次数，j代表阶跃信号x发生阶跃的次序，i为x阶跃信号的索引，n为阶跃信号x的长度，x[i]代表阶跃信号索引为i时的值，aj为第j次阶跃后信号所达到的值。
[0039]
本发明的有益效果为：
[0040]
1、本发明将包含多个动作的视频进行抽帧采样，基于采样图像的类别构建阶跃信号，再对时序信号进行降噪及划分，根据信号划分结果即可对原视频进行切分，从而得到多个细粒度视频，使用深度学习中的目标检测算法实现病患位置的确定和图像分类算法实现对病患动作类别的判断，编解码网络实现时序动作类别数据向阶跃信号的转换。
[0041]
2、本发明提出一种将需根据视频中病患动作类别将完整检查视频细分为多个单动作视频片段的问题先转化成时序数据分割问题，再将时序数据分割问题转化成对阶跃信号的划分问题，将根据视频中病患动作类别切分视频问题抽象为图片分类问题阶跃信号划分问题，解决了传统视频切分方法依赖人力、工作效率低、工作强度大等问题。
[0042]
3、本发明将判断患者动作类别的问题转化为目标检测和图像分类问题，利用轻量级目标检测算法如yolo对从病患检测视频中采样所得的图片进行检测，获取病患所做位置，再利用图像分类算法对病患当前所做动作进行分类，最终输出被检测图片的类别。
[0043]
4、本发明对初始视频抽帧采样，对所有采样图像利用轻量级目标检测算法，提取出病患所在位置，再对病患所在区域图像进行图像分类，输出时序动作类别数据，再对时序动作类别数据进行加解码，生成阶跃信号，目标检测算法的作用是减小后续图像分类网络的输入，提升分类速度，同时增大了病患在图像中的面积占比，从而提升分类网络的精度。
[0044]
5、本发明完整的视频切分需要根据患者所作的动作，每个检测项均会持续一定时间，这使得在不考虑图片分类误判的情况下，采样图片的图片分类结果会出现连续样本类别相同情况，此时，通过编解码网络，即可得到与采样数据长度一致的阶跃信号，再对阶跃信号进行划分。
[0045]
6、本发明提出一种阶跃信号的降噪算法，考虑图片分类存在一定的误判，则会导致编解码网络生成的阶跃信号存在噪音数据，可能会导致后续阶跃数据划分的不准确，降噪算法针对时序上的所有信号点，融合了上下文信息，并考虑时序间距增加会导致相关性减弱的特性，设计噪音点的判定策略及处理策略，降低阶跃信号噪音，提升阶跃信号的划分精度。
附图说明
[0046]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1是根据本发明实施例的一种针对视频的细粒度动作切分方法的流程图；
[0048]
图2是根据本发明实施例的一种针对视频的细粒度动作切分方法中视频细粒度切
分阶跃信号示意图；
[0049]
图3是根据本发明实施例的一种针对视频的细粒度动作切分方法中视频细粒度切分结果流程示意图。
具体实施方式
[0050]
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0051]
根据本发明的实施例，提供了一种针对视频的细粒度动作切分方法。
[0052]
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的针对视频的细粒度动作切分方法，该细粒度动作切分方法包括以下步骤：
[0053]
s1、对目标患者进行多角度的拍摄，并筛选出所需目标患者的全局图像；
[0054]
在一个实施例中，所述对目标患者进行多角度的拍摄，并筛选出所需目标患者的全局图像还包括以下步骤：
[0055]
s11、在患者所在的区域进行多角度的拍摄，减少背景在图像中所占比例，并增大病患所占图像的区域的比例；
[0056]
s12、对拍摄的患者目标的图形进行预处理，得到仅包含目标病患一个人且包含病患四肢区域的动作图像；
[0057]
在一个实施例中，所述预处理包括对目标患者的检测结果进行非极大值抑制、病患重叠的判断及检测边缘扩充的操作。
[0058]
在具体应用时，病患视频拍摄位置多变，为了提升后续图像分类任务的可靠性及精度，需将病患所在区域提取，此操作第一减少背景在图像中所占比例，即提升了后续图像分类的检测速度，也减小了背景对检测的影响，提高了图像分类任务的可靠性，第二增大病患所占图片区域，提升图像分类精度，在目标检测之后，会对检测结果进行后处理，因拍摄场景多变，考虑各种情况的出现，后处理包括对目标检测结果进行非极大值抑制，病患重叠等判断，检测边缘扩充等操，以确保最终输入到病患检测项分类中的图像仅仅包含病患一个人且完整包含病患四肢区域。
[0059]
s2、对所述全局图像进行特征提取及分类操作，输出病患的动作类型，并得到目标患者的动作图像；
[0060]
在一个实施例中，所述对所述全局图像进行特征提取及分类操作，输出病患的动作类型，并得到目标患者的动作图像还包括以下步骤：
[0061]
s21、经过循环检测病患及病患检测项分类，得到时序数据；
[0062]
s22、根据所述时序数据反映出随时间推进患者动作的变化，并得到目标患者的动作图像。
[0063]
s3、对所述动作图像的数据进行one-hot编码，生成目标患者的动作视频的阶跃数据，并在所述阶跃数据中对阶跃信号进行降噪，消除切分误差。
[0064]
s4、查询所述阶跃信号中的异常拨动点，并将异常波动点删除；
[0065]
在一个实施例中，如图2所示，所述查询所述阶跃信号中的异常拨动点，并将异常
波动点删除还包括以下步骤：
[0066]
s41、在信号示意图找出是异常波动点的位置信息；
[0067]
s42、计算异常波动点的位置信息的值与左右邻域内相邻点见的差距。
[0068]
在一个实施例中，所述计算异常波动点的位置信息的值与左右邻域内相邻点见的差距的判断如下：
[0069]
s421、若差距小于设置阈值，即可视忽略该点信息；
[0070]
s422、若差距大于设置阈值，即可视为该点为噪音点，将噪音点删除即可。
[0071]
s5、利用数据集对所述阶跃信号的跃次数及阶跃位置进行切分，输出所述阶跃信号中各个阶跃点的位置；
[0072]
在一个实施例中，如图3所示，所述利用数据集对所述阶跃信号的跃次数及阶跃位置进行切分，输出所述阶跃信号中各个阶跃点的位置还包括以下步骤：
[0073]
s51、从统计学角度找出阶跃信号的跃次数及阶跃位置；
[0074]
s52、采用均方误差作为代价函数，根据函数值的大小对阶跃信号的跃次数及阶跃位置进行切分；
[0075]
s53、输出所述阶跃信号中各个阶跃点的位置。
[0076]
在一个实施例中，所述从统计学角度找出阶跃信号的跃次数及阶跃位置的计算公式如下：
[0077][0078]
式中，k表示信号阶跃次数，θk表示为所有阶跃点的集合，x表示滤波后真实阶跃信号，k,θk表示生成新的阶跃信号，p(x|k,θk)表示真实阶跃信号；
[0079]
在一个实施例中，所述根据函数值的大小对阶跃信号的跃次数及阶跃位置进行切分的判断如下：
[0080]
当x与k,θk构成阶跃信号的似然比，当似然比最大时，则为最优的切分方法；
[0081]
在一个实施例中，所述根据函数值的大小对阶跃信号的跃次数及阶跃位置进行切分公式如下：
[0082][0083]
式中，x为滤波后真实阶跃信号，θk为(n0,n1,...n
k-1
,nk)代表为所有阶跃点的集合，k为信号阶跃次数，j代表阶跃信号x发生阶跃的次序，i为x阶跃信号的索引，n为阶跃信号x的长度，x[i]代表阶跃信号索引为i时的值，aj为第j次阶跃后信号所达到的值。
[0084]
在具体应用时，阶跃信号的划分有两种方式，第一种是以信号值为依据，但信息值发生改变时，即可视为阶跃点出现，对应到视频细粒度切分中，及相邻的两次信后值发生改变的时间段内即为单个动作的检查过程，但此方法对干扰能力差，且不具有通用性，本发明中采用第二种方法对阶跃信号进行切分，最终输出阶跃信号各个阶跃点的位置，保证切分的稳定性及通用性。
[0085]
s6、利用计算机视觉技术，将所述动作视频依据各个阶跃点的位置进行逐帧读取，进行对应动作的帧连接，并得到单动作的细粒度视频。
[0086]
综上所述，借助于本发明的上述技术方案，本发明将包含多个动作的视频进行抽帧采样，基于采样图像的类别构建阶跃信号，再对时序信号进行降噪及划分，根据信号划分结果即可对原视频进行切分，从而得到多个细粒度视频，使用深度学习中的目标检测算法实现病患位置的确定和图像分类算法实现对病患动作类别的判断，编解码网络实现时序动作类别数据向阶跃信号的转换；本发明提出一种将需根据视频中病患动作类别将完整检查视频细分为多个单动作视频片段的问题先转化成时序数据分割问题，再将时序数据分割问题转化成对阶跃信号的划分问题，将根据视频中病患动作类别切分视频问题抽象为图片分类问题阶跃信号划分问题，解决了传统视频切分方法依赖人力、工作效率低、工作强度大等问题；本发明将判断患者动作类别的问题转化为目标检测和图像分类问题，利用轻量级目标检测算法如yolo对从病患检测视频中采样所得的图片进行检测，获取病患所做位置，再利用图像分类算法对病患当前所做动作进行分类，最终输出被检测图片的类别；本发明对初始视频抽帧采样，对所有采样图像利用轻量级目标检测算法，提取出病患所在位置，再对病患所在区域图像进行图像分类，输出时序动作类别数据，再对时序动作类别数据进行加解码，生成阶跃信号，目标检测算法的作用是减小后续图像分类网络的输入，提升分类速度，同时增大了病患在图像中的面积占比，从而提升分类网络的精度；本发明完整的视频切分需要根据患者所作的动作，每个检测项均会持续一定时间，这使得在不考虑图片分类误判的情况下，采样图片的图片分类结果会出现连续样本类别相同情况，此时，通过编解码网络，即可得到与采样数据长度一致的阶跃信号，再对阶跃信号进行划分，本发明提出一种阶跃信号的降噪算法，考虑图片分类存在一定的误判，则会导致编解码网络生成的阶跃信号存在噪音数据，可能会导致后续阶跃数据划分的不准确，降噪算法针对时序上的所有信号点，融合了上下文信息，并考虑时序间距增加会导致相关性减弱的特性，设计噪音点的判定策略及处理策略，降低阶跃信号噪音，提升阶跃信号的划分精度。
[0087]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。