用于感测和监测用户游泳活动的可穿戴系统和方法与流程

用于感测和监测用户游泳活动的可穿戴系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年9月9日提交的意大利专利申请no.102020000021364的权益，该申请在此通过引用并入本文。
技术领域
3.本发明总体涉及一种可穿戴系统和方法，用于感测和监测用户的游泳活动。


背景技术：

4.用于分析专业水平的游泳活动，以监测游泳动作员的表现和游泳风格的系统和方法是已知的。所使用的方法设想了视频采集和分析。这种方法由于需要安排彼此同步的多个视频摄像机并且需要进行复杂的后期处理，因此成本很高。例如，通过被放置在水上和水下的摄像机而获得的图像可以经由适当的图像处理操作来针对整个游泳过程实现信息的提取。这种方法的一些缺点涉及向教练员和动作员提供反馈的延迟，以及仅适用于专业环境(由于系统的成本和复杂性)。
5.目前，集成在可穿戴设备中的低成本动作传感器使具有相同目的的低水平设备得以使用。不幸的是，嘈杂的环境和游泳的复杂动作使数据的分析变得困难，这些数据通常是通过加速度计或其他惯性传感器来获得的；这个问题只能通过使用复杂的算法以处理获得的信号来部分地克服。通常，有必要穿戴众多传感器来补偿或减少误差，并改善性能指标的结果。此外，所使用的算法与传感器的定位密切相关。
6.robert mooney于2015年的题为"inertial sensor technology for elite swimming performance analysis:a systematic review"的文件，总结了用于把游泳活动的分析作为目标的动作传感器的使用的各种可能性。从这篇文章中可以了解到，典型的游泳分析是以提取参数为导向的，这些参数能够测量动作员的表现并提供反馈以用于持续改进。这些参数中的一些参数是教练和动作员都感兴趣的，其中包括：检测单纯的游泳活动；游泳方式的分类；划水的计数；单圈时间的持续时间；每圈的速度/速率；等等。
7.r.delgado-gonzalo等人的文件"real-time monitoring of swimming performance"，2016年，ieee医学和生物学会(embc)第38届国际年会，佛罗里达州奥兰多，2016年，第4743-4746页，提出了一种通过使用mems技术而获得的动作传感器测量上述参数中一些参数的方法。


技术实现要素：

8.本发明的实施例可以克服现有技术的一些不足之处，提供一种用于感测游泳参数(例如，划水次数和风格分析)的系统，该系统便宜但可靠，并且需要减少计算负担。
9.作为一个示例，系统可用于检测用户的游泳活动的执行。该系统包括处理单元和耦合到处理单元的静电电荷变化传感器。该传感器被配置为在执行游泳活动期间感测用户的静电电荷变化并生成相应的电荷变化信号。处理单元被配置为获取电荷变化信号，在电
荷变化信号中检测标识游泳活动基本动作的第一子部分信号，将第一子部分信号存储在第一缓冲器中。计算存储在第一缓冲器中的第一子部分信号与电荷变化信号中的第二子部分信号之间的自相关，该信号在时间上紧随第一子部分信号，并根据自相关的结果，检测第二子部分信号中基本动作的存在。
附图说明
10.为了更好地理解本发明，现在单纯通过非限制性的示例并参考附图来描述其实施例，其中：
11.图1是根据本发明的实施例的包括电或静电电荷变化传感器的用于感测游泳活动的系统的示意图；
12.图2图示了在游泳活动期间用户可穿戴的电或静电电荷变化传感器的实施例；
13.图3a和图3b图示了在被称为“爬泳”的游泳方式的情况下的在来自图2的电荷变化传感器的输出处生成的相应信号；
14.图4a和图4b图示了在被称为“仰泳”的游泳方式的情况下的在来自图2的电荷变化传感器的输出处生成的相应信号；
15.图5a和图5b图示了在被称为“蛙泳”的游泳方式的情况下的在来自图2的电荷变化传感器的输出处生成的相应信号；
16.图6利用框图图示了由图1的系统实现的方法；
17.图7a和图7b图示了用于实现图6的方法的信号；
18.图8利用框图图示了由图1的系统实现的另一方法；
19.图9a至图9e以图形方式图示了图8的方法的步骤；以及
20.图10图示了用于实现图8的方法的信号。
具体实施方式
21.图1是根据本发明的一个方面的动作感测系统1的示意图。该动作感测系统1包括电子设备或系统4的处理单元2、以及被耦合到处理单元2的静电电荷变化传感器6。在一个实施例中，静电电荷变化传感器6被集成在设备4中。处理单元2从静电电荷变化传感器6接收电荷变化信号sq，并且根据电荷变化信号sq生成感测信号sc。
22.处理单元2在使用中实现了用于识别由设备4的用户做出的手势的方法。该手势的识别导致感测信号sc的生成。
23.作为非限制性的示例，设备4是用户可穿戴(例如在他/她的手腕上)的便携式电子设备，诸如智能手表。
24.在一个实施例中，处理单元2是被集成在设备4中的微控制器。
25.动作感测系统1具有至少一个敏感元件或电极(在图2中由附图标记5来标识)，用户的身体的部分(例如，手腕)可以面向该至少一个敏感元件或电极，以传送静电电荷信号。电极5可以被集成在设备4的情况中，或以某种其他方式(例如通过有线连接或外部无线连接)连接到设备4。针对在湿的环境中的使用，更具体地，在水中的使用，电极5被插入在防水外壳内，以便在使用期间不与水直接接触。外壳具有诸如不会屏蔽在使用期间由用户的身体生成并且必须由电极5获取的静电信号的材料。例如，外壳具有电介质或绝缘材料，例如
塑料材料。
26.如对于本领域技术人员来说将明显的是，其他实施例也是可能的，使得电极5在使用期间将与用户的身体的某个区域静电接触。
27.收集外部电荷的敏感元件(电极)5可以具有金属表面，或者是完全由涂有介电材料的金属材料制成的电极，或者再次具有被设置在集成敏感元件的设备的壳体下面的金属表面。在任何情况下，在使用期间，敏感元件5被电耦合到用户(特别是用户的手臂或手腕)，用于感测电荷或静电电荷的变化。
28.动作感测设备1受到由于用户的动作而引起的静电电荷的变化的影响。来自特定动作的信号(特别是，当手臂进入水中，以及当手臂离开水时，由于在各种游泳方式期间手臂接近用户身体的其余部分以及手臂远离用户身体的其余部分而引起的信号)可以相对于其他不感兴趣的动作并且相对于在用户不活动的情况下存在的背景噪音而被隔离和标识。
29.图3还图示了通过用于从电极5获取静电电荷信号并且与电极5一起实现静电电荷变化传感器6的电路装置的非限制性示例提供的实施例。静电电荷变化传感器6包括被电耦合(连接)到电极5的输入8a；静电电荷变化传感器6还包括输入8b，通过彼此并联的电阻ro和电容co被电耦合到输入8a。连接到电极5并且被设置在两个运算放大器op1和op2的两个非反相输入之间的一对ro、co，具有积累由电极5收集的电荷和管理输入信号的频带(用于对不期望频率下的信号和噪声进行过滤)的功能。
30.电容器co的电容值和电阻器ro的电阻值可以根据要形成的滤波器的类型(例如低通滤波器，具有几十赫兹(例如20hz)的截止频率)来选择。例如电容器co的电容被选择在从20pf到20nf的范围内。例如电阻r0的电阻被选择在从10mω到100mω的范围内。电容co的电容值和电阻ro的电阻值同样可以根据它们所连接的级的阻抗、信号vd的有用频率以及要被过滤的干扰的频率(例如，干线供应频率、电力供应电路的高频电噪声等)来选择。
31.在使用中，在输入8a和8b之间设置的电压(或电势差)vd表示测量放大器12的差分输入。
32.测量放大器12包括两个运算放大器op1和op2。偏置级(缓冲器)op3用于在共模电压v
cm
下对测量放大器12进行偏置。
33.运算放大器op1和op2的反相端通过电阻器r2连接在一起。由于每个运算放大器op1、op2的两个输入必须处于相同的电势，因此输入电压vd也跨电阻r2而被施加，并通过电阻r2引起等于i2＝vd/r2的电流。该电流i2不是来自运算放大器op1、op2的输入端，并且因此穿过被连接在运算放大器op1、op2的输出之间的两个电阻r1，该两个电阻r1相对于电阻r2串联；因此，电流i2通过穿过三个电阻r
1-r
2-r1的串联，产生输出电压vd’(由vd’＝i2(2r1 r2)＝vd
·
(1 2r1/r2)给出)。因此，图3的电路的总增益是ad＝(1 2r1/r2)。差分增益取决于电阻r2的值，并且因此可以通过作用于电阻r2来修改。
34.因此与输入8a、8b之间的电势vd成比例的差分输出vd’在输入处被提供给模数转换器14，模数转换器14在输出处为处理单元2提供电荷变化信号sq。电荷变化信号sq是例如高分辨率的数字流(16位或24位)。模数转换器14是可选的，因为处理单元2可以被配置为直接在模拟信号上工作，或者本身可以包括被设计以转换信号vd’的模数转换器。
35.在下文中，将参考通过对信号vd’进行采样而得到的信号sq，但所描述的内容等效地适用于信号vd。事实上，放大级(图2的测量放大器)是有用的，但不是必须的。如果要获取
的电荷变化信号(由用户的动作引起)具有足够的振幅，或者如果模数转换器的电特性如此实现(例如，高输入阻抗、高分辨率、适合于要被转换的信号的满刻度等)，则放大级可以被省略，输入8a和8b是模数转换器的输入。
36.根据本发明的方面，设想以50hz的采样速率对电压vd’进行采样以生成信号sq。该采样速率例如等于50hz，但也可以不同，例如在10hz至1khz的范围内选择。以50hz对电压vd’进行采样意味着利用信号sq的n＝100个样本sq(1)，...，sq(n)来表示2秒的信号vd’。
37.可选择地，同样设想对信号sq进行过滤，以去除或减弱与要被检测的动作不相关的可能的频谱分量。例如，可以进行低通滤波，以减弱信号sq中高于15hz的分量，以便尽可能地减少由干线供应的电场(通常为50hz或60hz)引起的噪声。
38.图3a图示了电荷变化信号sq的示例，用于被称为“爬泳”的游泳方式。图3b的信号是图3a的信号在图3a中由虚线包围的部分25中的放大。由电荷的变化引起的在输入8a、8b之间的电势差vd的值在电荷变化信号sq的坐标轴上表示。该值在此表示为lsb(最小有效位)，即，在来自模数转换器的输出处的最小数字值，其与输入8a、8b上呈现的电势差vd成比例。典型地，1个lsb对应于被包括在一些微伏与几十微伏之间的值。比例常数(或灵敏度)取决于放大器的增益、模数转换器的分辨率以及可能的数字处理操作(例如，过采样、抽取等)。以lsb表示在本领域中是常见的，并且与物理单位的量化无关，因为其目的通常是感测相对于静止或基本状态的相对变化。
39.所获得的样本的累进数字在电荷变化信号sq的横坐标轴上表示。所出现的测量是以50hz的采样频率进行的，因此每个样本与下一个样本的时间间隔为20ms。
40.从图3a和图3b中可以注意到，为了简化表示和更加清晰，信号利用实线来表示，而不是作为连续的样本来表示。电荷变化信号sq具有多个峰值，其中只有一些在图3a和图3b中由附图标记p1至p4标识，它们在时间上相互跟随，其中振幅远大于背景噪声。正峰p1之后是多个负峰p3，接着是新的正峰p2，接着是相应的多个负峰p4。申请人已经验证了包括正峰p1和随后的负峰p3的信号的部分是由用户在爬泳期间的一次划水生成的，可以被认为是在每次划水时复制的“信号单元”；包括正峰p2和相应的负峰p4的随后的信号的部分实际上是由用户在爬泳期间的随后的、进一步的划水生成。
41.与图3a、图3b类似，图4a和图4b图示了用于被称为“仰泳”的游泳方式的电荷变化信号sq的示例，为了简化表示和更加清楚，信号利用实线来表示，而不是作为连续的样本来表示。图4b的信号是图4a的信号在图4a中由虚线包围的部分27的放大。在这种情况下，也可以区分特殊的信号特征，该特殊的信号特征来自于在仰泳期间手臂的特定动作，被图2的动作感测设备1检测为静电荷的变化。例如，区分一系列的正信号峰和负信号峰，其中包括：正峰p6紧随着负峰p5，并且然后一系列的负峰和正峰作为整体由p7来标识，该p7跟随正峰p6。
42.包括峰值p5、p6和p7的信号涉及在游泳期间穿戴动作感测设备1的用户的划水，并且可以被认为是“信号单元”，其在每次划水时复制。从图4a和图4b可以注意到，这个信号单元实际上在这里被表示的信号sq中被复制若干次。
43.以类似于图3a、图3b和图4a、图4b的方式，图5a和图5b图示了用于被称为“蛙泳”的游泳方式的电荷变化信号sq的示例，为了简化表示和更加清晰，信号利用实线来表示，而不是作为一系列样本来表示。图5b的信号是图5a的信号在图5a中由虚线包围的部分29的放大。在这种情况下，也可以区分出特殊的信号特征，该特殊的信号特征来自于在蛙泳期间手
臂的特定动作，被图2的动作感测设备1检测为静电荷的变化。事实上，可以区分一系列彼此快速连续的正信号峰和负信号峰并被及时复制，因为从物理角度来看，每次划水以类似于前一次划水的方式被复制，并且因此生成相应相似的静电电荷变化信号。
44.图6利用流程图图示了用于检测由设备1的用户进行的身体活动(这里，特别是游泳)的存在的方法。该检测是实时的，并在所考虑的每个时刻被更新。
45.参考图6，块s1-s5被实现用于计算信号sq的多个样本的平均值avg。为此，在一个实施例中，使用缓冲器b
qvar
，该缓冲器b
qvar
被配置为包含信号sq的多个(n个)样本，其中n被选择例如大于30，例如n＝50。缓冲器b
qvar
在在初始时刻(这里作为示例t＝0)和最终时刻(这里t＝n-1)之间的每个时刻“t”处被填充样本。缓冲器b
qvar
实现了fifo(先进先出)类型的队列，使得针对输入到缓冲器的每个新样本，最旧的样本被消除。
46.缓冲器b
qvar
的填充由块s1至s4表示，而块s5表示存储在缓冲器b
qvar
中的值的平均值avg的计算，该平均值avg由信号sq的样本的n个值之和除以n而获得。
47.图6的块s6至s12标识用于检测身体活动的实际存在(参数act_index(t))而进行的操作。在此背景下，身体活动的存在对应于所考虑的游泳方式的基本动作的执行(例如，经由图2的传感器检测划水)，并且身体活动的不存在对应于在基本动作和在时间上紧随其后的基本动作之间消逝的间隔(一次划水和下一次划水的检测之间消逝的时间间隔)。
48.参考块s6，根据公式s
act
＝abs((std(b
qvar
))/avg)生成活动信号s
act
，其中“abs()”标识绝对值的计算操作，而“std()”标识标准偏差的计算操作。
49.参考块s7，活动信号s
act
与固定阈值act_ths进行比较。
50.如果活动信号s
act
超过阈值act_ths，则在块s8中，对参数act_index(t)，关于所考虑的时刻t，分配值来标识活动存在的条件(例如，act_index(t)＝"1")；否则，在块s9中，对参数act_index(t)分配值来标识不存在活动的条件(例如，act_index(t)＝"0")。因此，act_index(t)实现了缓冲器(例如，作为矢量被提供)，该缓冲器存储了指示物理活动的存在的值“1”和“0”，针对所考虑的每个时刻t(其中t＝0至n)，以便在图8的操作背景下使用。
51.图7a表示相互叠加的信号sq、信号s
act
和阈值act_ths；图7b根据图7a中信号s
act
的阈值超出示出了值act_index(t)的图。
52.回到图6，当检测到身体活动的执行时，并且因此act_index＝“1”，控制进入块s10，其中时间变量“t”增加一个单位，并且信号sq的新样本(即，sq(t))进入缓冲器b
qvar
(块s11)。缓冲器b
qvar
是fifo类型的队列，其中针对输入到缓冲器b
qvar
的每个新样本，最旧的样本从缓冲器b
qvar
被消除。然后控制返回到块s6以使用刚被更新的缓冲器b
qvar
生成新的活动信号s
act
。
53.在块s7没有检测到物理活动的情况下，因此在块s9中act_index＝“0”，控制转到块s12，块s12实现了与块s5相同的功能，即计算被存储在缓冲器b
qvar
中的值的平均值avg，该平均值avg由信号sq的n个样本值之和除以n而获得。然后控制从块s12转到前面描述的块s10。因此，从已经描述的内容可以看出，只有在没有检测到动作时，才会在获取新样本的每个时刻t处计算平均值avg；否则，在动作期间，针对在块s6中计算活动信号s
act
的目的，平均值avg被保持固定。
54.图8利用框图图示了用于分析电荷变化信号sq的方法，以便检测信号的重要分量，即，独特地标识活动(游泳)的执行和活动类型(游泳方式)的信号的部分。图8的方法的操作
结果对旨在识别所执行的游泳方式的类型(爬泳、蛙泳、仰泳等)的后续操作具有作用。
55.图8的方法是与图6的方法平行执行的。可以注意的是，图8中使用的时间变量t’与图6的时间变量t无关。
56.参考图8，在块s20中对参数act_index(t')在时刻t＝0的值进行检查(因此，act_index利用变量t’＝0来索引)。因此，该操作设想值act_index(t'＝0)的获得，值act_index(t'＝0)标识在处理的初始时刻处正在进行的活动的存在。在act_index(t')＝"0"(即，没有正在进行的物理活动)的情况下，控制转到块s21，其中时间变量t’被增加一个单位，以便处理下一个样本act_index(t' 1)并对act_index(t' 1)的值进行检查以检测(块s20)物理活动是否正在进行。
57.在在块s20中检测到物理活动的存在的情况(当前参数act_index等于“1”)下，然后控制转到块s22，其中使用中间缓冲器行程(s)(stroke(s))，其中“s”索引中间缓冲器行程(s)的每个领域，用于存储信号sq(t＝t')的样本。填充中间缓冲器行程(s)的操作一直持续到(块s23和s24)达到缓冲器行程(s)的预定义大小bl_min(例如，等于100个样本)，将时间变量t'增加一个单位，并在每次迭代时验证物理活动的存在(块s20)。这些操作具有生成中间缓冲器行程(s)的功能，该中间缓冲器行程(s)包含仅在存在身体活动的情况下的信号sq的一定数目bl_min的样本(在时间上彼此跟随)。如所图示的，例如，在图4a、4b、7a、7b中针对游泳方式“仰泳”，在标识身体活动(act_index＝"1")期间所获得的信号sq的足够数目的连续样本独特地表征了活动的类型。事实上，在其中act_index＝"1"的时间间隔中，信号sq示出了特殊的趋势，独特地标识了划水的执行。在彼此不同的时间间隔中，在检测到物理活动的存在(act_index＝"1")的任何情况下，信号sq呈现出类似的趋势，因为从物理角度看，每次划水以前一次划水类似的方式被复制，并且因此生成相应类似的静电荷变化信号。
58.换句话说，中间缓冲器行程(s)存储了信号sq的子部分，该子部分由于所考虑的游泳方式的内在重复性而被假定为在时间上是重复的。因此，存储在中间缓冲器行程(s)中的信号的部分是信号sq的重复的“基本单元”。在块s25中，重复性被利用，用于计算被存储在缓冲器行程(s)中的信号的部分与信号sq的其余部分的自相关。用于计算自相关(特别是用于时间离散信号)的函数在本文中未以数学上的细节来描述。申请人发现，(例如大小等于信号sq的100个样本的)滑动窗口的使用适合计算自相关。只要自相关的计算结果保持在预定义的阈值(自相关的存在)以上，块25的操作就会进行。
59.图8的方法设想，通过沿信号sq滑动滑动窗口，在标识基本动作的子部分信号和信号sq的其余部分之间计算自相关。只要自相关函数提供指示存在相关的结果(例如，使用预定义的阈值来比较自相关函数的结果)，在其沿信号sq的时间滑动期间，由窗口界定的信号sq的部分被获取并被存储在缓冲器stroke_extr中(块s26和s28)。这样，缓冲器stroke_extr包含信号sq的部分，其中基本动作的存在已被验证。
60.然后重复上述步骤，用于在信号sq中检测其指示身体活动存在的新部分(act_index＝"1")。该(大小等于滑动窗口的)信号的新部分被存储在缓冲器行程(s)中，替换缓冲器行程(s)中存在的数据，以作为新的“基本动作”来使用，用于随后的自相关函数的计算操作。
61.图9a至图9e对上述内容进行了图示说明。
62.图9a图示了存储在缓冲器行程(s)中的信号sq的部分，这里被称为“基础部分”或“基本动作”。
63.图9b中说明的是被应用于信号sq的窗口50，该窗口50界定了用于计算与被存储在缓冲器行程(s)中的信号的部分的自相关的信号sq的相应部分。
64.在基本部分和由窗口50界定的部分之间的自相关函数的计算生成高于参考阈值的结果的情况下，如图9c所示，窗口50向前移动一个时刻(t＝t 1)，并且在基本部分和由窗口50界定的信号的新部分之间重复自相关函数的计算。只要自相关函数生成高于参考阈值的结果，这种方法就会迭代进行。缓冲器stroke_extr在窗口50的滑动期间被填充有由窗口界定的信号sq的样本。
65.当自相关函数生成低于参考阈值的结果时，缓冲器stroke_extr的填充终止。图9d是以示例的方式提供的缓冲器stroke_extr的可能内容的图例说明，该可能内容通过迭代图9b和图9c的步骤而获得。
66.然后，图9e，该程序通过标识信号sq的新的、时间上随后的部分而恢复，其中存在身体活动并且自相关具有高于参考阈值(在图9e中，由窗口51界定)的值。根据本发明的一个方面，信号sq的这个新部分被用来代替当前存在于中间缓冲器行程(s)的部分。通过这种方式，针对计算自相关的后续步骤，可以考虑到例如由于游泳方式的改变(例如，由于疲劳，或由于其他原因)而引起的用户的基本动作的可能变化，。
67.图10图示了相互叠加的信号sq和相对自相关的信号s
ac
。
68.根据本发明的另一方面，可以标识正在进行的游泳方式的类型。特别是，该操作可以通过将标识游泳方式的信号sq的子部分(例如，存储在缓冲器(s)中的子部分)与关于相应的游泳方式的多个预定义模型进行比较来进行。
69.该步骤可以通过自相关函数来进行，或者使用机器学习和/或人工智能的技术来自动标识与要被检测的手势(例如，划水)相关联的信号sq/行程(s)的特定模式，以便区分不同类型的游泳方式。
70.同样地，用于自动标识与由用户所做的基本动作相关联的模式的算法可以用于标识正在进行的身体活动。
71.根据本发明的一个方面，对基本动作的每次检测可以对应于计数器的增加，用于测量游泳者在身体活动期间的划水次数。