基于声波的人体姿态估计方法、装置、设备、系统及介质与流程

1.本发明属于智能识别技术领域，尤其涉及一种基于声波的人体姿态估计方法、装置、设备、系统及存储介质。


背景技术：

2.近年来，基于计算机视觉的人体姿态和/或人体动作估计成为一个热门研究方向，但通常需要依赖图像数据，在某些场景下，图像数据不易获取，且图像数据泄漏有一定隐私安全隐患。
3.为了提高人体姿态和/或人体动作估计的隐私性，出现了以rfid、wi
‑
fi、毫米波雷达等不需要摄像头实现的人体姿态和/或人体动作估计技术，但该方法的存在外部设备价格昂贵及部署复杂的问题。


技术实现要素：

4.本发明的目的在于提供一种基于声波的人体姿态估计方法、装置、设备、系统及存储介质，旨在解决现有技术中人体姿态和/或人体动作估计时存在的外部设备价格昂贵及部署复杂的问题。
5.一方面，本发明提供一种基于声波的人体姿态估计方法，所述方法包括下述步骤：
6.获取佩戴于人体的多个声波测距设备之间的距离数据；
7.基于所述距离数据估计当前人体姿态和/或当前人体动作。
8.优选地，获取佩戴于人体的多个声波测距设备之间的距离数据的步骤，包括：
9.通过所述声波测距设备收发的啁啾信号获取所述距离数据。
10.优选地，基于所述距离数据估计人体姿态的步骤，包括：
11.使用预设的降维算法对所述距离数据进行降维处理，得到当前人体姿态节点的二维坐标；
12.根据先验知识和所述二维坐标估计人体姿态。
13.优选地，所述降维算法为多维尺度分析算法。
14.优选地，基于所述距离数据估计人体动作状态的步骤，包括：
15.将所述距离数据输入到预先训练好的动作识别网络中，估计当前人体动作。
16.优选地，将所述距离数据输入到预先训练好的动作识别网络之前，包括：
17.对所述动作识别网络进行训练，得到所述训练好的动作识别网络；
18.对所述动作识别网络进行训练的步骤，包括：
19.通过所述声波测距设备获取多组所述距离数据，对多组所述距离数据进行拼接，得到训练数据；
20.将所述训练数据输入到所述动作识别网络中进行迭代训练，直至达到终止条件，停止训练。
21.另一方面，本发明提供了一种基于声波的人体姿态估计装置，所述装置包括：
22.距离数据获取单元，用于使用佩戴于人体的至少两个声波测距设备收发声波，获取佩戴于人体的多个声波测距设备之间的距离数据；以及
23.估计单元，用于基于所述距离数据估计当前人体姿态和/或当前人体动作。
24.另一方面，本发明提供了一种基于声波的人体姿态估计设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。
25.另一方面，本发明提供了一种基于声波的人体姿态估计系统，其特征在于，包括如上所述的基于声波的人体姿态估计设备以及至少两个声波测距设备，每个所述声波测距设备设置有扬声器和麦克风。
26.另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。
27.本发明获取佩戴于人体的多个声波测距设备之间的距离数据，基于距离数据估计当前人体姿态和/或当前人体动作，从而通过声波实现了人体姿态和/或人体动作的估计，在保证人体姿态和/或人体动作估计的隐私性的同时，降低了人体姿态和/或人体动作估计时的外部设备成本，并降低了外部设备部署的复杂度。
附图说明
28.图1是本发明实施例一提供的基于声波的人体姿态估计方法的实现流程图；
29.图2是本发明实施例二提供的基于声波的人体姿态估计装置的实现流程图；
30.图3是本发明实施例三提供的基于声波的人体姿态估计设备的结构示意图；以及
31.图4是本发明实施例四提供的基于声波的人体姿态估计系统的结构示意图。
具体实施方式
32.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
33.以下结合具体实施例对本发明的具体实现进行详细描述：
34.实施例一：
35.图1示出了本发明实施例一提供的基于声波的人体姿态估计方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
36.在步骤s101中，获取佩戴于人体的多个声波测距设备之间的距离数据。
37.本发明实施例适用于电子设备，该电子设备用于实现人体姿态和/或人体动作的估计。在本发明实施例中，该多个声波测距设备至少为两个，每个声波测距设备佩戴于人体的不同部位，例如，左、右手腕，又如，左、右脚踝，再如，左、右手腕，左、右脚踝、腰部和颈部。在人体姿态或人体动作估计过程中，可通过在多个关键的人体姿态节点分别配置声波测距设备来提高人体姿态或人体动作估计的准确性。每个声波测距设备均设置有扬声器和麦克风，声波测距设备可用于收发声波，通过计算两个或更多个到达时间之间的经过时间(etoa，elapsed time between two time of arrivals)获取声波测距设备之间的距离数据，该距离数据通常为距离矩阵，该距离矩阵为对称矩阵。
38.优选地，通过声波测距设备收发的啁啾信号获取距离数据，以在提高抗干扰性的同时，便于通过自相关计算获取更准确的距离数据。具体实现中，可以通过声波测距设备收发啁啾信号，通过自相交计算获取声波测距设备之间的距离信息。以两个声波测距设备为例，为便于说明，分别用第一声波测距设备和第二声波测距设备表示两个声波测距设备，第一声波测距设备(发送端)和第二声波测距设备(接收端)都发送出声波并同时记录下声波数据，通过自相交计算获得接收到的本体发送的声波以及对端设备发送的声波，计算两个到达时间之间的经过时间etoa
a
和etoa
b
，最终获得距离数据，距离数据的计算公式为：
39.其中，d表示获取到的距离矩阵(距离信息)，k表示声波测距设备中的麦克风和扬声器之间的距离，c为声波在空气中的传播速度，etoa
a
表示第一声波测距设备发送的声波与第二声波测距设备发送的声波到达第一声波测距设备的时间之间的经过时间，etoa
a
表示表示第一声波测距设备发送的声波与第二声波测距设备发送的声波到达第二声波测距设备的时间之间的经过时间。
40.在这里需要指出的是，每个声波测距设备中麦克风和扬声器之间的距离理论相等或近似相等。
41.在步骤s102中，基于距离数据估计当前人体姿态和/或当前人体动作。
42.在本发明实施例中，在基于距离数据估计当前人体姿态时，优选地，使用预设的降维算法对距离数据进行降维处理，得到当前人体姿态节点的二维坐标，根据先验知识和当前人体姿态节点的二维坐标估计人体姿态，以通过声波实现人体姿态的估计，从而在保证人体姿态估计的隐私性的同时，降低了人体姿态估计时的外部设备成本，并降低了外部设备部署的复杂度。
43.进一步优选地，预设的降维算法为多维尺度分析(mds，multiple dimensional scaling)算法，以在保障原始空间与低维空间样本之间距离一致的前提下，将高维数据进行降维。具体实现中，假定m个样本在原始空间(d维)中的距离矩阵为，距离矩阵d为对称矩阵，其第i行j列的元素d
ij
为样本x
i
到x
j
的距离。mds算法的目标是获得样本在低维空间(d
′
维)的正确表示d
′
≤d，且任意两个样本在d
′
维空间中的欧式距离等于原始空间中的距离，即||z
i
‑
z
j
||＝d
ij
。使用mds算法获取样本在低维空间的正确表示的过程如下：
44.令b＝z
t
z，其中，b为降维后样本的内积矩阵，
45.根据距离矩阵d计算点积，其中，tr(b)表示内积矩阵b的迹，根据点积结果获得内积矩阵b；
46.对内积矩阵b做特征值分解，b＝vλv
t
,其中λ＝diag(λ1,λ2,...λ
d
)为特征值构成的对角矩阵，v为相应的特征向量矩阵。假定有d
*
个非零特征值，它们构成对角矩阵,令v
*
表示相应的特征向量，则z可表示为
47.取λ为d
*
个最大特征值所构成的对角矩阵，vλ
1/2
中每行是一个样本的低维坐标，即人体姿态节点的二维平面坐标。之后，根据先验知识和人体姿态节点的二维平面坐标重构人体姿态。
48.在基于距离数据估计当前人体动作状态时，优选地，将距离数据输入到预先训练好的动作识别网络中，估计当前人体动作，以通过声波实现人体动作的估计，从而在保证人体动作估计的隐私性的同时，降低了人体动作估计时的外部设备成本，并降低了外部设备部署的复杂度。
49.在将距离数据输入到预先训练好的动作识别网络之前，对动作识别网络进行训练，得到训练好的动作识别网络，以实现人体动作识别的目标。由于距离数据对于不同的人体动作会有不同的距离状态，从而为深度学习网络提取数据特征提供了识别分类的可能性，在对动作识别网络进行训练时，优选地，通过声波测距设备获取多组距离数据，对多组距离数据进行拼接，得到训练数据，将训练数据输入到动作识别网络中进行迭代训练，直至达到终止条件，停止训练，从而通过对多个距离数据进行拼接整合以提供更多数据特征，提高了动作识别网络的训练效果。具体实现中，可以在设置迭代收敛目标和各类参数后开始对动作识别网络进行训练，当当前迭代等于最大迭代次数或出现过拟合时，对动作识别网络的参数进行更新，重新迭代直到达到终止条件。该终止条件可以是动作识别网络达到目标评价指标，例如，识别准确率等。
50.在本发明实施例中，获取佩戴于人体的多个声波测距设备之间的距离数据，基于距离数据估计当前人体姿态和/或当前人体动作，从而通过声波实现了人体姿态和/或人体动作的估计，在保证人体姿态和/或人体动作估计的隐私性的同时，降低了人体姿态和/或人体动作估计时的外部设备成本，并降低了外部设备部署的复杂度。
51.实施例二：
52.图2示出了本发明实施例二提供的基于声波的人体姿态估计装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
53.距离数据获取单元21，用于使用佩戴于人体的至少两个声波测距设备收发声波，获取佩戴于人体的多个声波测距设备之间的距离数据；以及
54.估计单元22，用于基于距离数据估计当前人体姿态和/或当前人体动作。
55.优选地，距离数据获取单元包括：
56.数据获取子单元，用于通过声波测距设备收发的啁啾信号获取距离数据。
57.优选地，估计单元包括：
58.降维单元，用于使用预设的降维算法对距离数据进行降维处理，得到当前人体姿态节点的二维坐标；以及
59.人体姿态估计单元，用于根据先验知识和二维坐标估计人体姿态。
60.优选地，降维算法为多维尺度分析算法。
61.优选地，估计单元还包括：
62.人体动作估计单元，用于将距离数据输入到预先训练好的动作识别网络中，估计当前人体动作。
63.优选地，估计单元还包括：
64.网络训练单元，用于对动作识别网络进行训练，得到训练好的动作识别网络；
65.网络训练单元包括：
66.训练数据获取单元，用于通过声波测距设备获取多组距离数据，对多组距离数据进行拼接，得到训练数据；以及
67.训练子单元，用于将训练数据输入到动作识别网络中进行迭代训练，直至达到终止条件，停止训练。
68.在本发明实施例中，基于声波的人体姿态估计装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。基于声波的人体姿态估计装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。
69.实施例三：
70.图3示出了本发明实施例三提供的基于声波的人体姿态估计设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
71.本发明实施例的基于声波的人体姿态估计设备3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述各方法实施例中的步骤，例如图1所示的步骤s101至s102。或者，处理器30执行计算机程序32时实现上述各装置实施例中各单元的功能，例如图2所示单元21至22的功能。
72.在本发明实施例中，获取佩戴于人体的多个声波测距设备之间的距离数据，基于距离数据估计当前人体姿态和/或当前人体动作，从而通过声波实现了人体姿态和/或人体动作的估计，在保证人体姿态和/或人体动作估计的隐私性的同时，降低了人体姿态和/或人体动作估计时的外部设备成本，并降低了外部设备部署的复杂度。
73.实施例四：
74.图4示出了本发明实施例四提供的基于声波的人体姿态估计系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
75.本发明实施例的基于声波的人体姿态估计系统4包括实施例四描述的基于声波的人体姿态估计设备41，以及至少两个声波测距设备42，每个声波测距设备设置有扬声器和麦克风。
76.其中，扬声器用于发送声波，麦克风用于接收声波，该声波测距设备通过收发声波获取声波测距设备之间的距离数据，并将获取到的距离数据发送给如上描述的基于声波的人体姿态估计设备，基于声波的人体姿态估计设备基于获取到的上述距离数据估计当前人体姿态和/或当前人体动作。
77.在本发明实施例中，获取佩戴于人体的多个声波测距设备之间的距离数据，基于距离数据估计当前人体姿态和/或当前人体动作，从而通过声波实现了人体姿态和/或人体动作的估计，在保证人体姿态和/或人体动作估计的隐私性的同时，降低了人体姿态和/或人体动作估计时的外部设备成本，并降低了外部设备部署的复杂度。
78.实施例五：
79.在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤s101至s102。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元21至22的功能。
80.在本发明实施例中，获取佩戴于人体的多个声波测距设备之间的距离数据，基于距离数据估计当前人体姿态和/或当前人体动作，从而通过声波实现了人体姿态和/或人体动作的估计，在保证人体姿态和/或人体动作估计的隐私性的同时，降低了人体姿态和/或
人体动作估计时的外部设备成本，并降低了外部设备部署的复杂度。
81.本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。
82.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。