一种肢体康复训练系统及方法与流程

本发明属于人工智能及深度学习技术领域，具体涉及到一种肢体康复训练系统及方法。

背景技术

随着科学技术的发展，深度学习的技术广泛的应用于各个领域并取得了显著的成果。深度学习技术在智能化的病房设备中的应用极大的提高了医务人员的工作效率。在传统的肢体损伤恢复训练中常采用将病人捆绑在机械设备上，通过机械设备的结构动作从而带动病人肢体的运动，此方法设备昂贵成本较高，而且在使用上不方便。另一种方法是通过医护人员搀扶病人，辅助病人抬腿、伸手等动作，此方法增加了医护人员的劳动强度且辅助抬腿等动作很难达到规定角度或高度，病人的锻炼情况不能得到及时反馈和调整。

因此需要一种新的肢体康复训练方法，能够克服设备成本高、训练情况不能量化记录和不能及时反馈的问题。

技术实现要素：

本发明的目的是提供一种成本低的肢体康复训练系统及方法，一定程度上降低了医护人员的劳动强度。

为了解决上述问题，本申请的技术方案为：

一种肢体康复训练系统，包括辅助训练设备硬件实体和数据库端及专家系统端，辅助训练设备硬件实体包括嵌入式电脑、摄像头、显示终端、训练器材和摄像头。

本发明技术方案的进一步改进在于：所述实体摄像头和嵌入式电脑连接，嵌入式电脑和显示终端连接，嵌入式电脑用网线或局域网与数据库端连接，嵌入式电脑通过网络连接专家系统端。

一种肢体康复训练方法包括下述步骤：

步骤A：搭建辅助训练设备硬件实体，包括嵌入式电脑、摄像头、显示终端和锻炼器材，摄像头的位置根据当前运动模式进行固定；

步骤B：采集骨折、糖尿病等康复训练病人数据集，并对数据集进行标注，统计整理不同类别病人的康复训练方案和数据库；

步骤C：改进人体姿态估计网络结构，采用轻量化特征提取网络为主干网络，训练采用平方差损失，缩减后处理特征提取数量，使得网络满足轻量化的需求和嵌入式平台实时的需求；

步骤D：人体姿态估计网络在训练时增加数据增强方法，提升模型的鲁棒性；采用增加预热训练模式的余弦学习率下降方式训练网络，提升模型训练时的稳定性加快模型训练速度；

步骤E：运用训练好的模型移植到嵌入式设备上，接收摄像头采集图片，进行预处理后送入人体姿态估计算法得到人体姿态信息，然后发出指令随着用户跟着屏幕画面进行动作，并对每个关键点和躯干的运动情况进行统计；

步骤F：根据医嘱和数据库进行搜索匹配，定制化康复训练方案，当病人进行训练时统计运动情况，并将锻炼情况反馈给负责医师，及时的对当前恢复训练方案进行调整反馈，遇到紧急问题可以通过摄像头及时的向专家系统取得联系并解决。

进一步的，在步骤A中，在一个空旷的室内连接好嵌入式电脑、摄像头、显示终端和健身器材，将摄像头对准用户，根据被检测人在显示器中的画面位置进行调整。

进一步的，在所述步骤B中，采集骨折、糖尿病等康复训练病人数据集，并对数据集进行标注，统计整理不同类别病人的康复训练方案和数据库，具体包括：

收集不同类别病人恢复训练方法以及肢体运动幅度数据库，用于根据医嘱计算并匹配定制化的训练方案；将所有采集的数据集进行标注用于训练人体关键点检测算法。

进一步的，在所述步骤C中，所提及的改进人体姿态估计网络结构，采用轻量化特征提取网络为主干网络，训练采用平方差损失，缩减后处理特征提取数量，使得网络满足轻量化的需求和嵌入式平台实时的需求，具体包括:

采用适合移动端部署的MobilenetV1作为特征提取网络，减少热图提取和向量场提取循环次数；训练时包含关键点热图损失和肢体向量场损失，损失函数采用L2损失函数：

其中表示预测热图与标签热图的误差值t表示当前是那个后处理阶段，表示标签值，表示预测值，j表示当前特征图属于哪个关键点图层W(p)是0和1的mask图层当为0时表示当前像素值无效，不进行损失计算反之则进行损失计算。总损失为两个损失函数累加如式子(3)所示。

网络设计中在网络输入和输出处参数量较少采用非线性好且计算复杂的h-swish激活函数，在网络中间层采用计算简单的ReLU激活函数，既能保证网络非线性特征又减少了计算量；

进一步的，在所述步骤D中，所提及的人体姿态估计网络在训练时增加数据增强方法，提升模型的鲁棒性；采用增加预热训练模式的余弦学习率下降方式训练网络，提升模型训练时的稳定性加快模型训练速度，具体包括：

训练模型是将输入图像进行数据增强，采用随机亮度、灰度和对比变换、随机裁剪、水平方向翻转和随机遮挡；经过数据增强有助于提升算法的鲁棒性和实际场景中的适用性。训练网络学习率下降采用预热训练加余弦学习率下降，计算式如(4)所示，其中ηmax表示学习率最大值，ηmin表示学习率最小值，Twarm表示预热训练的迭代次数x表示预热所处时刻，Tcur表示余弦学习率当前时刻。

进一步的，在所述步骤E中，所提及的运用训练好的模型移植到嵌入式设备上，接收摄像头采集图片，进行预处理后送入人体姿态估计算法得到人体姿态信息，然后发出指令随着用户跟着屏幕画面进行动作，并对每个关键点和躯干的运动情况进行统计，具体包括：

将训练好的模型部署到嵌入式设备上，并采用FP16对模型进行量化，提升姿态估计算法在嵌入式端的运算速度。检测到摄像头画面内有人时，经过手势交互确认后，即可开始广播动作，显示终端进行画面提示；实时监测人体位置和姿态关键点。将关键点和肢体角度信息进行统计整理得到康复训练报告。

本发明的有益效果是：

本申请一种肢体康复训练方法，方法中所用装置部分由硬件和软件算法组成，硬件部分包含嵌入式计算设备、摄像头、屏幕显示终端和健身器械部分。软件系统部分包含一些常见康复病人康复训练数据库如：糖尿病人、骨折病人等，当医生给出训练方案时，根据数据库搜索推荐定制化的康复训练方案；病人在执行康复训练的时候同时系统会通过摄像头采集图像送入深度学习算法进行人体姿态估计，从而得到当前病人的姿态及关键点位置以及每个躯干的运动幅度和角度数据，相应的在屏幕上显示病人需要做的动作；当病人进行康复训练动作时对检测到的躯干角度与给定动作计算相似度得到康复训练评估分值；当遇到一些特殊病人康复训练动作达不到训练给定的角或度幅度时可以调节降低阈值，训练完后将锻炼情况可视化反馈给负责医生，从而及时给出反馈和调整。采用计算机视觉和深度学习算法结合数据库智能化的根据病人情况制定康复训练方案，并对锻炼结果数据统计反馈给负责医师，极大降低了医务人员的劳动强度，使得康复训练反馈更加及时，提升了医生与病人的沟通效率。

采用大数据系统将医嘱作为输入即可查找匹配定制化的康复训练方案，通过与人体姿态估计算法的集合可以准确地统计和量化病人的康复训练质量，并将统计结果及时反馈给负责医师形成一个闭环，使得康复训练调整更加及时；大数据的方案推荐和深度学习算法估计统计出康复训练评估结果极大的降低了医师的劳动强度，提升了病人和医生的沟通效率。

针对人体姿态估计算法在主干网络、数据增强和训练策略上的改进使得算法在准确率得到了提高同时运算量减小，使得人体姿态估计算法部署在嵌入式端和实时的姿态估计成为了可能。

附图说明

图1为本发明执行流程；

图2为本发明硬件部署与安装；

图3为本发明程序执行流程图；

图4为本发明人体姿态关键点定义；

图5为本发明人体姿态估计网络结构；

图6为本发明人体姿态分类流程；

其中，1、训练器材，2、嵌入式电脑，3、专家系统端，4、数据库端，5、显示终端，6、摄像头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种肢体康复训练方法包括以下步骤：

步骤A：搭建辅助训练设备硬件实体，包括嵌入式电脑、摄像头、显示终端和锻炼器材，摄像头的位置根据当前运动模式进行固定；在软件上结合计算机视觉算法和大数据搜索方法实现病人康复训练的定制化方案和康复训练效果评估；

在一个空旷的室内连接好硬件设备，连接关系如图2所示，其中摄像头6和嵌入式电脑2连接，嵌入式电脑2和可视化终端5连接，嵌入式电脑2用网线或局域网与数据库端4连接，嵌入式电脑2通过网络连接专家系统端3，训练器材1设置在摄像头6的拍摄范围内，使其在显示终端居中位置。

具体地，摄像头6用UBS数据线连接嵌入式电脑2用于读取图像作为算法的输入，可视化终端5通过HDMI数据线连接嵌入式电脑2，可以将康复病人实时姿态估计信息可视化并及时的反馈给病人当前动作是否达到要求，嵌入式电脑2用网线或局域网与数据库4进行通讯读取和查找定制化康复训练数据，嵌入式电脑2通过网络连接专家系统3可以及时的联系领域专家解决棘手问题，将健身器材1调整到摄像头6采集画面中央即可实现统计康复训练病人锻炼情况；

步骤B：采集骨折、糖尿病等康复训练病人数据集，并对数据集进行标注，统计整理不同类别病人的康复训练方案和数据库；

收集不同类别病人恢复训练方法以及肢体运动幅度数据库，用于根据医嘱计算并匹配定制化的康复训练方案；将所有采集的数据集进行标注用于训练人体关键点检测算法，具体标注方式如图4所示，将人体关键点标注为18个点，连接各个躯干形成人体骨架结构。

步骤C：改进人体姿态估计网络结构，采用轻量化特征提取网络为主干网络，训练采用平方差损失，缩减后处理特征提取数量，使得网络满足轻量化的需求和嵌入式平台实时的需求；

人体姿态估计关键点的定义如图4所示，一共定义18个关键点从0到17分别为鼻子、颈部、左肩、左肘、右手腕、右肩、右肘、右手腕、左腰、左膝盖、左脚踝、右腰、右膝盖、右脚踝、左眉毛、有眉毛、左耳朵和右耳朵。特征提取网络结构如图4所示，采用适合移动端部署的MobilenetV1作为特征提取网络，调整下采样布局实现八倍下采样；提取特征后将网络分为热图分支和亲和向量场分支，两个分支共用一部分特征提取结构如图5中S2和S5所示，后特征提取网络循环两次分别表示为stage_1和stage_2训练时包含关键点热图损失和肢体向量场损失，损失函数采用L2损失函数：

其中表示预测热图与标签热图的误差值t表示当前是那个后处理阶段，表示标签值，表示预测值，j表示当前特征图属于哪个关键点图层W(p)是0和1的mask图层当为0时表示当前像素值无效，不进行损失计算反之则进行损失计算；表示标签向量场和预测向量场的损失值。总损失为两个损失函数累加如式子(7)所示。

步骤D：人体姿态估计网络在训练时增加数据增强方法，提升模型的鲁棒性；采用增加预热训练模式的余弦学习率下降方式训练网络，提升模型训练时的稳定性加快模型训练速度；

训练模型是将输入图像进行数据增强，采用随机亮度、灰度和对比变换、随机裁剪、水平方向翻转和随机遮挡；经过数据增强有助于提升算法的鲁棒性和实际场景中的适用性。训练网络学习率下降采用预热训练加余弦学习率下降，计算式如(8)所示，其中ηmax表示学习率最大值，ηmin表示学习率最小值，Twarm表示预热训练的迭代次数x表示预热所处时刻，Tcur表示余弦学习率当前时刻。

训练网络参数设置Epoch＝30,学习率Lrmax＝0.01,Lrmin＝0.0001优化器采用SGD,momentum＝0.9；

步骤E：将训练好的算法模型移植到嵌入式设备上，采用FP16进行量化，网络输出关键点用增加权值的二部图匹配得到关节点间的连接信息，同时将估计人体姿态与指令给定姿态计算相似度得出康复训练结果评估分值；嵌入式设备读取摄像头图像，进行预处理后送入量化后的人体姿态估计算法得到人体姿态信息，然后发出指令用户跟着屏幕画面进行动作，并对每个关键点、康复训练评估结果和躯干的运动情况进行统计；

将训练好的模型部署到嵌入式设备上，并采用FP16对模型进行量化，提升姿态估计算法在嵌入式端的运算速度，同时将估计人体姿态与指定姿态计算相似度得出康复训练结果评估分值。计算式如(9)所示

其中Pi表示预测的躯干对，Qi表示指令给定躯干对，n为有效躯干对的数量最大值为19，排除掉无效躯干对。

图4所示网络检测结果只含有热图信息和亲和场信息，还需对多人关键点信息进行匹配；增加权值二部图方法对关键点对进行匹配，权值来源于关键点对之间的亲和场预测值进行积分运算如式子(10)所示；

在(10)式子中和表示关键点对的坐标E表示当前关键点对的权值，Lc表示坐标位置的置信度,在(11)式子中p(u)表示关键点对之间的坐标。关键点对设置为[[c,d],[d,e],[e,f],[g,h],[i,j],[j,k],[l,m],[m,n],[o,p],[b,i],[b,l],[b,c],[b,f],[c,q],[f,r],[a,o],[a,p],[o,q],[p,r]]；正常工作时当检测到画面中有完整的人体关键点时系统进入工作状态，经过手势交互确认后，即可开始广播动作，显示终端进行画面提示；实时监测人体位置和姿态关键点。将单个人的躯干对送入相似度算法计算得到当前动作和指令动作相似度的置信度，估计的置信度和设定的阈值进行比较在一定数值范围内则判断完成当前动作；如图6所示，首先输入为康复训练图像经过姿态估计网络输出躯干对信息送入余弦相似度相似度计算得到当前训练动作和给定动作的相似度。经过部署试验在Jetson nano上实现368x368大小图像输入，推理时间为28ms，实现了嵌入式端实时的效果。

步骤F：根据医嘱和数据库进行匹配搜索，定制化康复训练方案，当病人进行训练时统计运动情况，并将锻炼情况反馈给负责医师，及时的对当前康复训练方案进行调整反馈，遇到紧急问题可以通过摄像头及时的和医师取得联系并解决。

系统整体执行流程图如图3所示，经过医嘱环节后进行康复训练方案定制，根据病人不同情况进行匹配合适的运动类型和运动量，病人执行后及时的将锻炼数据反馈给医师及时的给病人进行反馈和调整方案。

本发明提出一种肢体康复训练方法、装置及系统，通过人体姿态估计算法和大数据匹配策略相结合实现肢体康复训练的定制化和训练过程得以量化，同时将训练结果及时的反馈给医师及时调整，提升了医生和病人间的沟通效率；重新设计人体姿态估计网络，实现轻量化的特点，使得网络部署在嵌入式端成为了可能并达到实时的效果。通过人体姿态估计的深度学习算法使得肢体康复训练数据化成为了可能，康复训练更加标准化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。