一种基于可穿戴设备的挥杆检测方法及装置、可穿戴设备与流程

1.本发明涉及智能穿戴设备技术领域，尤其涉及一种基于可穿戴设备的挥杆检测方法及装置、可穿戴设备。


背景技术：

2.在众多高尔夫技术动作中，挥杆技术是高尔夫训练的重点和难点，作为一项较为复杂的技术动作，高质量的挥杆需要中枢神经系统对人体的精确控制。行为学研究认为声音反馈是一种条件刺激物，能够清晰、及时且精确地将信息反馈给学习者，在学习过程中建立快速的信息反馈，对成功的动作具有一定的强化作用，促进技术动作的形成。
3.在高尔夫挥杆检测技术方面，也有相关挥杆检测技术的研究。比如现有市场上的可穿戴设备，在每个高尔夫球杆上均连接有光学传感器，在挥动高尔夫球杆时，通过连接外置的光学传感器完成挥杆以及是否发生击球动作的检测。但是这种方式需要在不同的球杆上都需要插接上光学传感器，不仅会增加光学传感器的个数，而且影响挥杆击球动作，降低击球准确率。


技术实现要素：

4.本发明提供了一种基于可穿戴设备的挥杆检测方法及其装置、可穿戴设备，以对高尔夫击球动作进行统计，判断是否发生击球，记录高尔夫准确击球数据，不断优化提高击球准确率水平；且利用声音反馈塑造和强化击球成功情况，提升训练效果。
5.第一方面，本发明提供了一种基于可穿戴设备的挥杆检测方法，该挥杆检测方法包括：建立分类器模型；采集高尔夫挥杆的音频信号；对音频信号进行预加重处理；采用汉明窗对音频信号进行加窗滤波，得到多个子音频信号；对多个子音频信号中的每个子音频信号进行快速傅里叶变换；提取每个子音频信号的音频特征向量；将每个子音频信号的音频特征向量均输入分类器模型，检测音频信号中发生击球动作的次数。
6.在上述的方案中，通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。
7.在一个具体的实施方式中，提取每个子音频信号的音频特征向量包括：采用梅尔滤波器组(mfcc)、线性倒谱系数(lpcc)或卷积神经网络(cnn)提取每个子音频信号的音频特征向量。
8.在一个具体的实施方式中，采用梅尔滤波器组提取每个子音频信号的音频特征向
量包括：使用梅尔滤波器组对每个子音频信号进行滤波，以模拟人耳对不同音调的响应特性，将不同频率信号分离开；对每个子音频信号进行取对数变换，以模拟人耳对音调越高的声音相应能量减弱的特性；对每个子音频信号进行离散余弦变换，获取每个子音频信号的音频特征向量，以对滤波器组滤波结果进行压缩，同时提取动态差分参数，把所有变换结果编码成一种音频特征向量，用以描述这段子音频信号，方便后续识别相关任务的进行。
9.在一个具体的实施方式中，使用梅尔滤波器组对每个子音频信号进行滤波包括：将快速傅里叶变换后每个子音频信号的普通频率变换为梅尔频率，以模拟人耳对高低频语音区分度不一样的特点，使用梅尔滤波器提取出语音感知的特征参数；对梅尔频率响应，使用三角滤波器对每个子音频信号进行滤波，由于人耳对低频的信号更为敏感，对高频的信号的响应则会更加稀疏，以提取不同频段信号。
10.在一个具体的实施方式中，对每个子音频信号进行离散余弦变换，获取每个子音频信号的音频特征向量包括：提取经过取对数变换后每个子音频信号的虚部和实部，以降低不同滤波器之间的重叠信息，压缩特征特征；提取经过取对数变换后每个子音频信号的能量，以通过虚部和实部两个分量进行合成得到能量；提取前设定个数的分量，作为每个子音频信号的音频特征向量，以便于获取每个子音频信号的音频特征向量。
11.在一个具体的实施方式中，建立分类器模型包括：建立svm(support vector machine，支持向量机)分类器模型、k均值聚类(k-means)分类器模型、决策树分类器模型、逻辑回归分类器模型、隐马尔科夫模型分类器模型、最大似然估计分类器模型或联结主义时间(ctc)分类器模型。
12.在一个具体的实施方式中，建立svm分类器模型包括：采集样本数据，建立训练模型，样本数据包括多个正样本数据和多个负样本数据，其中，正样本数据为发生击球动作的音频信号及对应的音频信号特征，负样本数据为不发生击球动作的音频信号及对应的音频信号特征；建立分类超平面；使用svm算法优化分类超平面；采用训练模型训练分类超平面，得到svm分类器模型。以利用svm分类器模型，相对于其他分类器模型具有存储空间小、分类效果好、计算复杂度低的特点，降低建立分类器模型难度，提高分类效果，节省存储空间。
13.第二方面，本发明还提供了一种基于可穿戴设备的挥杆检测装置，该挥杆检测装置包括音频信号采集模块、预加重处理模块、汉明窗滤波模块、快速傅里叶变换模块、音频特征向量提取模块及分类器模块。其中，音频信号采集模块用于采集高尔夫挥杆的音频信号；预加重处理模块用于对音频信号进行预加重处理；汉明窗滤波模块用于采用汉明窗对音频信号进行加窗滤波，获得多个子音频信号；快速傅里叶变换模块，用于对多个子音频信号中的每个子音频信号进行快速傅里叶变换处理；音频特征向量提取模块，用于提取每个子音频信号的音频特征向量；分类器模块，用于接收每个子音频信号的音频特征向量，并检查音频信号中发生击球动作的次数。
14.在上述的方案中，通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利
用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。
15.在一个具体的实施方式中，该挥杆检测装置还包括击球动作记录模块，用于记录发生击球动作的次数，以自动记录总的击球动作次数。
16.第三方面，本发明还提供了一种可穿戴设备，该可穿戴设备包括上述任意一种基于可穿戴设备的挥杆检测装置。通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。
附图说明
17.图1为本发明实施例提供的一种基于可穿戴设备的挥杆检测方法的流程图；
18.图2为本发明实施例提供的另一种基于可穿戴设备的挥杆检测方法的流程图；
19.图3为本发明实施例提供的一种在梅尔滤波器组提取音频特征向量过程中，使用三角滤波器滤波后的示意图；
20.图4为本发明实施例提供的一种基于可穿戴设备的挥杆检测装置。
21.附图标记：
22.10-音频信号采集模块20-预加重处理模块30-汉明窗滤波模块
23.40-快速傅里叶变换模块50-音频特征向量提取模块60-分类器模块
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.为了方便理解本发明实施例提供的基于可穿戴设备的挥杆检测方法，下面首先说明一下本发明实施例提供的挥杆检测方法的应用场景，该挥杆检测方法应用于可穿戴设备上，以检测挥杆过程中发生击球动作的次数。其中，该可穿戴设备可以为诸如高尔夫手表等的可穿戴在球员身体上的设备。下面结合附图对该挥杆检测方法进行详细的叙述。
26.参考图1及图2，本发明实施例提供的基于可穿戴设备的挥杆检测方法包括：
27.建立分类器模型；
28.采集高尔夫挥杆的音频信号；
29.对音频信号进行预加重处理；
30.采用汉明窗对音频信号进行加窗滤波，得到多个子音频信号；
31.对多个子音频信号中的每个子音频信号进行快速傅里叶变换；
32.提取每个子音频信号的音频特征向量；
33.将每个子音频信号的音频特征向量均输入分类器模型，检测音频信号中发生击球动作的次数。
34.在上述的方案中，通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。下面结合附图对上述各个步骤进行详细的介绍。
35.首先，如图1所示，建立分类器模型，以用于后续步骤提取到音频特征向量后，接收音频特征向量，以判断输入的音频信号中是否具有发生击球动作，来检测音频信号中发生击球动作的次数。
36.在具体建立分类器模型时，可以建立svm分类器模型、k均值聚类分类器模型、决策树分类器模型、逻辑回归分类器模型、隐马尔科夫模型分类器模型、最大似然估计分类器模型或联结主义时间分类器模型，即可以建立上述分类器模型中的任意一种分类器模型。例如，可以建立svm分类器模型。
37.在建立svm分类器模型时，首先需要采集样本数据，建立训练模型。其中，样本数据包括多个正样本数据和多个负样本数据，其中，正样本数据为发生击球动作的音频信号及对应的音频信号特征，负样本数据为不发生击球动作的音频信号及对应的音频信号特征。之后建立分类超平面。再后来，使用svm算法优化分类超平面。之后，采用训练模型训练分类超平面，得到svm分类器模型。以利用svm分类器模型，相对于其他分类器模型具有存储空间小、分类效果好、计算复杂度低的特点，降低建立分类器模型难度，提高分类效果，节省存储空间。
38.具体的，可以通过mfcc语音特征提取最终得到40维的特征序列：
39.d＝{d(1),d(2),d(3),...,d(40)}
40.即每个样本数据包含音频信号和对该音频信号进行提取的音频特征向量。
41.而svm分类器模型最终将会计算出一个最优分类超平面y＝w*
t
x b*，其中，x为输入特征。在本发明中可以令x＝d。y的输出结果为正数则标记为发生了击球，若为负数则标记为未发生击球。在输出结果中为了避免发生“饱和”情况，使用双曲函数把输出结果压缩到了(-1,1)内。具体的过程如下：
42.在采用svm算法优化分类超平面时，需要寻找最优参数w*和b*。具体的计算步骤如下：
43.(1)采集样本数据，建立训练模型。
44.可以采用1000组挥杆时产生的音频信号数据，其中500组为击球动作的音频信号数据，500组为不击球动作的音频信号数据。并计算这些音频信号数据的音频特征向量，具体可以计算mfcc音频特征向量，并为这些音频特征向量标注是否产生击球动作的标记。
45.(2)建立分类超平面。svm是一种机器学习方法，通过svm算法寻找样本之间的数
据，计算出一个超平面用以划分是否发生了击球动作。svm最终需要想得到一个分类超平面，使各类数据到平面的距离最大且软间隔最大。其分类超平面为：
46.y＝w
t
x b
47.其中，y∈{ 1,-1}用以表示是否发生击球，b是超平面的截距，w是不为零的常数，有w||≠0。
48.(3)使用svm算法优化分类超平面。svm算法的优化目标为：
[0049][0050][0051]
其中，α是拉格朗日乘子，m为样本数据量。由该方程解出最优化解：
[0052][0053]
从而计算最优超平面的参数：
[0054][0055][0056]
因此，分类超平面为：
[0057]
y＝w*
t
x b*
[0058]
另外，为了将输出结果压缩到(-1,1)内，因此决策超平面为：
[0059]
y＝tanh(w*
t
b)
[0060]
其中，tanh为双曲正切函数，其表达式为：
[0061][0062]
(4)采用训练模型训练分类超平面，得到svm分类器模型。当然，还可以使用上述训练模型测试出的p值来评估本发明的分类结果。其中，p值计算公式如下：
[0063][0064]
诸如测试结果为如下表1中的结果时，根据训练模型进行测试的p值为0.84。当然，随着不断扩充训练模型中样本数据的量，并进行训练，可以提高p值，从而使svm分类模型分类的准确度进行提高。
[0065]
表1-根据训练模型进行测试的结果
[0066]
类别实际数量标记数量击球动作500433不击球动作500407总数1000840
[0067]
接下来，参考图1及图2，采集高尔夫挥杆的音频信号。具体可以通过可穿戴设备上的麦克风实现。在球员挥杆时，可穿戴设备上的麦克风能够采集音频信号，从而获取高尔夫
挥杆的音频信号。
[0068]
接下来，如图1和图2所示，对音频信号进行预加重处理。在具体对音频信号进行预处理时，可以对音频信号进行低阶高通滤波，以加重声音信号，降低环境噪声，减少信号传输过程中产生的混叠信号。具体的，假设采集的音频信号为x(k)，则进行低阶高通滤波后的音频信号y(k)为：
[0069]
y(k)＝x(k)-ax(k-1)
[0070]
其中，a为加重系数，在本发明中，可以取a＝0.95。
[0071]
接下来，参考图1及图2，采用汉明窗对音频信号进行加窗滤波，得到多个子音频信号。由于初始采集的音频信号很长，在进行语音分析的时候，只能截其中一部分信息进行语音处理。为了方便后续的快速傅里叶变换，因此需要保持截取后的语音片段的前后一致性，因此使用汉明窗进行加窗滤波。需要解释的是，每个子音频信号为一个语言片段。其汉明窗函数可以采用如下函数：
[0072][0073]
其中，汉明窗加窗滤波后的多个子音频信号ω(k)为：
[0074][0075]
需要解释的是，其中的代表卷积操作。
[0076]
接下来，如图1及图2所示，对多个子音频信号中的每个子音频信号进行快速傅里叶变换。该步骤的目的是为了提取音频信号的频率信息，方便后续提取音频特征向量时进行不同频率信号的收集，并实现模拟人耳的特性。快速傅里叶变换操作可以采用如下公式：
[0077][0078]
接下来，参考图1及图2，提取每个子音频信号的音频特征向量。在提取每个子音频信号的音频特征向量时，可以采用多种方式实现，例如，可以采用梅尔滤波器组、线性倒谱系数或卷积神经网络提取每个子音频信号的音频特征向量。
[0079]
在采用梅尔滤波器组提取每个子音频信号的音频特征向量时，参考图2，可以先使用梅尔滤波器组对每个子音频信号进行滤波，以模拟人耳对不同音调的响应特性，将不同频率信号分离开。之后，对每个子音频信号进行取对数变换，以模拟人耳对音调越高的声音相应能量减弱的特性。再对每个子音频信号进行离散余弦变换，获取每个子音频信号的音频特征向量。以对滤波器组滤波结果进行压缩，同时提取动态差分参数，把所有变换结果编码成一种音频特征向量，用以描述这段子音频信号，方便后续识别相关任务的进行。
[0080]
其中，在使用梅尔滤波器组对每个子音频信号进行滤波时，可以先将快速傅里叶变换后每个子音频信号的普通频率变换为梅尔频率，以模拟人耳对高低频语音区分度不一样的特点，使用梅尔滤波器提取出语音感知的特征参数。具体可以采用图像公式将普通频率变换到梅尔频率上：
[0081]
[0082]
之后，对梅尔频率响应，使用三角滤波器对每个子音频信号进行滤波，以提取不同频段信号。由于人耳对低频的信号更为敏感，对高频的信号的响应则会更加稀疏，采用三角滤波器滤波后的示意图如图3所示。
[0083]
其中，在对每个子音频信号进行取对数变换时，设三角滤波器滤波后的音频信号为s(k)，则可以采用如下公式进行对数变换：
[0084]
s(k)＝ln(s(k))
[0085]
其中的s(k)为取对数变换后的音频信号。
[0086]
其中，在对每个子音频信号进行离散余弦变换，获取每个子音频信号的音频特征向量时，可以先提取经过取对数变换后每个子音频信号的虚部和实部，以降低不同滤波器之间的重叠信息，压缩特征特征。其中的离散余弦变换公式可以采用如下公式：
[0087][0088]
之后，提取经过取对数变换后每个子音频信号的能量，以通过虚部和实部两个分量进行合成得到能量。将虚部和实部进行合成可以采用如下公式：
[0089][0090]
之后，提取前设定个数的分量，作为每个子音频信号的音频特征向量，以便于获取每个子音频信号的音频特征向量。在本发明中，可以提取前40个分量，作为每个子音频信号的音频特征向量。
[0091]
接下来，参考图1及图2，将每个子音频信号的音频特征向量均输入分类器模型，检测音频信号中发生击球动作的次数。具体的，首先需要判断每个子音频信号中是否存在击球动作，如果存在，则记录击球动作增加1次，将该音频信号的所有子音频信号判断完之后，能够统计出该音频信号中的击球动作次数。在采用前述方式获得一个子音频信号的的特征音频向量之后，将该特征向量输入到分类器模型中，判断是否发生击球动作。
[0092]
具体的，在采用前述方式获得一个子音频信号的包含有40个特征分量的音频特征向量d后，将该音频特征向量d输入svm分类器模型中，采用如下方式判断是否发生击球动作：
[0093][0094]
之后，依次判断出所有子音频信号是否发生击球动作，从而检测出该音频信号中所发生的击球动作的次数，完成检测。
[0095]
通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。
[0096]
另外，参考图1、图2及图4，本发明实施例还提供了一种基于可穿戴设备的挥杆检测装置，该挥杆检测装置包括音频信号采集模块10、预加重处理模块20、汉明窗滤波模块30、快速傅里叶变换模块40、音频特征向量提取模块50及分类器模块60。其中，音频信号采集模块10用于采集高尔夫挥杆的音频信号；预加重处理模块20用于对音频信号进行预加重处理；汉明窗滤波模块30用于采用汉明窗对音频信号进行加窗滤波，获得多个子音频信号；快速傅里叶变换模块40，用于对多个子音频信号中的每个子音频信号进行快速傅里叶变换处理；音频特征向量提取模块50，用于提取每个子音频信号的音频特征向量；分类器模块60，用于接收每个子音频信号的音频特征向量，并检查音频信号中发生击球动作的次数。
[0097]
在上述的方案中，通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。
[0098]
还可以增加设置击球动作记录模块，该击球动作记录模块用于记录发生击球动作的次数，以自动记录总的击球动作次数。
[0099]
需要解释的是，上述各个功能模块即包含执行前述方法中的每个步骤的程序代码，还包括存储和运行该程序代码的硬件。且该装置中还可以存在其他的功能模块，来执行前述方法中的任意一个步骤。
[0100]
另外，本发明实施例还提供了一种可穿戴设备，该可穿戴设备包括上述任意一种基于可穿戴设备的挥杆检测装置。通过采集音频信号、获取音频特征向量，并根据音频特征向量和分类器模型检测音频信号中发生击球动作的次数，从而解决了高尔夫运动中检测高尔夫击球动作次数的问题，使得可穿戴设备具有记录球员击球次数的功能，以对高尔夫击球动作进行统计，判断是否发生击球。与现有技术在每个高尔夫球杆上外接光学传感器的方式相比，本技术中只需球员佩戴一个可穿戴设备即可，从而无需外接光学传感器，提升挥杆训练效果。本技术的方案还能够准确的记录高尔夫击球数据，不断优化提高击球准确率水平；利用声音反馈塑造和强化击球成功情况，提升训练效果。且上述方案的计算复杂度很低，使得声音识别在微控制器上就能够实现。
[0101]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。