基于增强现实和语义控制的医疗康复远程指导方法
本发明属于康复指导,具体涉及基于增强现实和语义控制的医疗康复远程指导方法。
背景技术:
1、随着人口老龄化加剧和慢性疾病患者数量的持续增长,医疗康复需求日益庞大。传统康复训练依赖患者定期前往医疗机构,在康复治疗师的面对面指导下完成,这种模式受限于医疗资源分布不均、患者出行不便以及康复治疗师数量不足等问题,难以满足大规模、长周期的康复训练需求。近年来,远程康复指导系统逐渐成为研究热点,其核心思路是通过信息通信技术将康复治疗师的指导能力延伸至患者家庭环境中,使患者能够在非医疗机构场所完成规范化的康复训练。
2、现有的远程康复指导系统大多以视频通话为主要交互方式,康复治疗师通过观察患者的实时视频画面,以口头语言的形式给出动作纠正建议。然而,这种方式存在明显的局限性:一方面,视频画面仅能提供二维视觉信息,康复治疗师难以准确判断患者关节的三维空间角度和运动轨迹,导致动作评估的主观性强、精度低;另一方面,患者在缺乏专业指导的情况下难以将口头语言描述转化为精确的肢体动作执行,尤其是对于关节活动度受限或认知功能下降的患者,口头指导的有效性大打折扣。
3、为提升远程指导的直观性,部分研究引入了增强现实技术,将虚拟指导信息叠加至患者的真实视野中。现有的增强现实康复指导方案通常采用预制的三维动画或静态图示作为指导内容,在患者执行动作时将标准动作模型以半透明方式叠加显示,供患者参照模仿。但这类方案的指导内容是固定的、通用的,未能根据不同患者的身体条件、康复阶段和实时动作表现进行个性化调整。不同患者在同一康复动作上的关节活动范围和运动偏差模式存在显著差异,固定的指导内容无法针对性地指出每个患者最需要纠正的关节和动作环节,导致训练效率低下。
4、在动作评估方面,现有方案多采用简单的阈值判断方式,即设定固定的角度阈值,当患者关节角度超出阈值时判定为动作不合格。这种方式忽略了动作的时序特性,无法处理患者因个体差异导致的动作速度不同但最终姿态正确的情况。动态时间规整等时序对齐方法虽在动作识别领域有所应用,但在远程康复指导场景中,如何将其时序对齐结果与个性化偏差基线相结合以生成精细化的动作质量评分,现有技术尚未给出有效方案。
5、在人机交互层面,现有远程康复系统的控制方式以触屏按钮或手势识别为主,患者在训练过程中需要中断动作去操作控制界面,不仅影响训练的连贯性,还可能因操作不当引入额外的动作偏差。语音控制虽在部分系统中有所尝试,但大多仅支持简单的启停控制,缺乏对训练流程的语义级理解能力,无法实现如调整难度、重复特定动作段落、跳过已掌握动作等精细化交互需求。现有的语音语义理解方案未与康复动作库和动作质量评分进行深度融合,无法根据患者当前的动作完成情况智能生成具有针对性的语义控制指令。
技术实现思路
1、针对现有技术中存在的问题,本发明提出基于增强现实和语义控制的医疗康复远程指导方法,该方法通过多模态数据融合感知患者动作、结合时序对齐与偏差基线实现精准评估、并利用增强现实与语义控制实现个性化交互指导,以解决现有技术中动作评估精度低、指导内容缺乏个性化以及交互中断训练连贯性的问题。
2、为实现上述目的,本发明采用如下技术方案:
3、基于增强现实和语义控制的医疗康复远程指导方法,包括以下步骤:
4、s1、采集患者康复训练过程中的多模态数据,所述多模态数据包括骨骼关节运动数据、惯性运动数据和语音指令数据;
5、对采集的多模态数据进行预处理和特征提取,得到结构化特征向量;
6、s2、将结构化特征向量传输至远程指导端;
7、s3、远程指导端接收结构化特征向量后,对骨骼关节运动数据进行运动学分析,并与标准康复动作模型进行逐帧比对,生成动作偏差信息和动作质量评分;
8、基于动作偏差信息生成增强现实叠加指导内容,基于语音指令数据和动作质量评分生成语义控制指令;
9、将增强现实叠加指导内容和语义控制指令回传至患者端;
10、s4、患者端通过增强现实设备将增强现实叠加指导内容叠加显示于患者真实视野中,并响应语义控制指令对训练过程进行交互控制;
11、s5、根据患者端每个训练周期的反馈数据对指导内容进行迭代调整。
12、进一步,s1中采集患者康复训练过程中的多模态数据,包括:
13、通过深度摄像头以预设帧率采集患者的原始深度图像序列,基于预处理后的深度图像序列,经人体骨骼关键点解算,得到骨骼关节的三维坐标序列,构成骨骼关节运动数据,其中每帧三维坐标序列包括不少于二十个骨骼关键点的三维空间位置信息;
14、通过惯性测量单元以高于深度摄像头帧率的采样频率采集三轴加速度数据和三轴角速度数据,构成惯性运动数据;
15、通过麦克风阵列采集患者的语音指令数据。
16、进一步,s1中,对采集的多模态数据进行预处理和特征提取,得到结构化特征向量;其中预处理具体包括:
17、对深度摄像头采集的原始深度图像进行背景分割,采用基于深度阈值的区域生长算法分离人体区域与背景区域,生成人体深度掩膜;对掩膜覆盖的人体区域深度图像进行双边滤波去噪,在保留人体轮廓边缘梯度信息的同时消除深度图像中的离散噪声点,得到预处理后的深度图像序列;基于预处理后的深度图像序列,经人体骨骼关键点解算,得到去噪后的骨骼关节三维坐标序列;
18、对惯性测量单元采集的原始三轴加速度数据和三轴角速度数据数据进行零偏校准;同时,采用基于四元数的互补滤波算法对三轴加速度数据和三轴角速度数据进行融合,得到漂移补偿后的姿态估计数据;
19、对去噪后的骨骼关节三维坐标序列和漂移补偿后的姿态估计数据进行时间戳对齐,以深度摄像头的帧时间为基准,将姿态估计数据通过线性插值统一至深度摄像头的时间基准上,得到时间对齐后的骨骼关节三维坐标序列和姿态估计数据;
20、特征提取具体包括:
21、从时间对齐后的骨骼关节三维坐标序列中,计算相邻两帧之间每个关节的欧氏距离变化量;并计算每个关节在三个空间轴向上的角度变化量和角速度,形成关节运动学特征序列;
22、对时间对齐后的姿态估计数据进行四元数到欧拉角的转换,提取各关节在俯仰、偏航、翻滚三个轴向上的角度时序特征;并对角度时序特征进行快速傅里叶变换,提取主频率分量和各频段能量占比作为频域特征;
23、对语音指令数据进行端点检测,基于短时能量和过零率的双门限法确定有效语音段的起止边界,对有效语音段提取梅尔频率倒谱系数,将梅尔频率倒谱系数按帧拼接形成语音特征矩阵;
24、将关节运动学特征序列、频域特征和语音特征矩阵按时间索引拼接,并对拼接后的特征向量进行最大最小归一化处理,得到归一化后的结构化特征向量。
25、进一步,s2具体包括:
26、对归一化后的结构化特征向量进行差分脉冲编码调制,计算当前帧特征向量与前一帧特征向量的差值,仅对差值超过预设阈值的维度进行编码,对未超过阈值的维度置零,以降低传输数据量;
27、将编码后的特征数据按照特征类型划分为运动特征数据包、语音特征数据包及姿态特征数据包,每个数据包携带时序索引、特征类型标识、数据长度和校验码;
28、在数据包传输层采用自适应前向纠错编码,根据当前网络带宽估算值动态选择纠错码的码率,当带宽低于预设下限时切换至高冗余纠错模式,当带宽高于预设上限时切换至低冗余模式以减少传输延迟;
29、远程指导端接收数据包后,根据校验码对每个数据包进行完整性校验;对校验失败的数据包请求重传;对校验通过的数据包按照时序索引进行重组,包括按照数据包携带的时序索引进行排序与拼接,还原为发送端编码后的差值序列;基于差值序列进行逐帧累加解码:当前帧特征向量=前一帧特征向量+当前帧差值,还原出完整的原始特征向量序列;对还原后因网络丢包导致的时序索引数据缺失的帧,采用前后帧特征向量的加权线性插值进行填补。
30、进一步,s3中,所述远程指导端接收结构化特征向量后,对骨骼关节运动数据进行运动学分析,并与标准康复动作模型进行逐帧比对,生成动作偏差信息和动作质量评分,具体包括:
31、远程指导端将重组后的关节运动学特征序列中的骨骼关节角度时序特征与标准康复动作模型中对应关节的标准角度时序进行动态时间规整对齐;
32、在动态时间规整对齐后的时序基础上,计算每个关节在每个时刻的角度偏差值,即患者实际关节角度与标准康复动作模型中对应关节标准角度之间的差值,形成关节角度偏差矩阵;
33、将关节角度偏差矩阵输入动作评估网络,所述动作评估网络以关节角度偏差矩阵和频域特征作为输入,输出每个关节的单项动作质量评分和整体动作完成度评分;所述整体动作完成度评分由所有关节的单项动作质量评分按归一化后的关节重要系数加权求和得到;
34、根据整体动作完成度评分与预设阈值的比较结果,将动作质量划分为优秀、良好、合格和不合格四个等级;
35、对连续多个训练周期的关节角度偏差矩阵进行逐元素统计,计算每个关节在每个时刻的角度偏差均值和标准差,作为患者的个性化运动偏差基线,用于后续指导信息的个性化调整。
36、进一步,s3中,所述基于语音指令数据和动作质量评分生成语义控制指令,包括:
37、对患者端采集的语音特征矩阵进行语义理解处理,将语音特征矩阵输入循环神经网络语言模型,输出语义标签序列和意图分类结果;其中,语义标签序列中的每个标签对应一个康复动作关键词或控制关键词,意图分类结果包括动作请求意图、控制调节意图和询问意图;
38、将语义标签序列与康复动作库中预存的动作标识进行字符串匹配和语义相似度计算:当匹配度高于预设阈值时确定目标动作;当匹配度低于预设阈值但意图分类结果为询问意图时,从康复动作库中检索与语义标签序列余弦相似度最高的前三个候选动作并反馈至患者端供确认;
39、当匹配度低于预设阈值且意图分类结果为动作请求意图时,先基于预存的康复动作同义词词库对语义标签序列进行同义词替换与发音纠错扩展,生成扩展语义标签序列后重新执行字符串匹配与语义相似度计算;若重新计算后的匹配度仍低于预设阈值,则从康复动作库中检索与扩展语义标签序列余弦相似度最高的前三个候选动作反馈至患者端,同时输出引导语音提示患者进行动作确认或重新表述;
40、当匹配度低于预设阈值且意图分类结果为控制调节意图时,将语义标签序列与预设控制指令集合进行二次语义匹配,所述预设控制指令集合包括暂停、重复、跳过、调整难度在内的控制指令标识;若二次匹配的匹配度仍低于预设阈值,则判定为无效控制指令,向患者端输出指令未识别的语音反馈,同时维持当前训练状态与增强现实显示内容不变,不触发训练流程跳转;
41、根据确定的目标动作和患者的个性化运动偏差基线,从标准康复动作模型中提取目标动作的标准关节角度序列,对标准关节角度序列中每个关节的角度值叠加该关节的个性化偏差基线的修正量,生成个性化动作指导参数;
42、将语义标签序列、意图分类结果和个性化动作指导参数按预设格式融合为语义控制指令,语义控制指令中包括动作名称、目标关节列表、各目标关节的目标角度范围和允许偏差范围。
43、进一步,s3中,所述基于动作偏差信息生成增强现实叠加指导内容,包括:
44、根据关节角度偏差矩阵中每个关节在当前帧的角度偏差值,确定该关节对应的颜色映射值,角度偏差值越大映射至越偏红色的色值,角度偏差值越小映射至越偏绿色的色值;
45、在患者端增强现实设备的坐标系统中,根据深度摄像头采集的患者实时深度图像序列重建患者的人体骨架模型,将关节颜色映射表中的色值赋予人体骨架模型中对应关节的渲染节点,生成彩色骨骼叠加层;
46、根据个性化动作指导参数中各目标关节的目标角度范围,在人体骨架模型的基础上生成目标姿态骨架模型,将当前姿态骨架模型与目标姿态骨架模型进行叠加显示,两者之间的差异区域以半透明高亮方式标注;
47、根据整体动作完成度评分的等级,在增强现实视野中生成对应等级的文字评分标签,文字评分标签的显示位置根据动作质量评分中单项评分最低的关节所对应的空间位置确定;
48、将彩色骨骼叠加层、目标姿态骨架模型和文字评分标签进行空间配准,确保各叠加元素与患者真实身体的相对空间位置在患者移动过程中保持一致。
49、进一步,s4具体包括:
50、患者通过语音输入语义控制指令,语义控制指令包括暂停指令、重复指令、跳过指令和调整难度指令;
51、对语义控制指令进行意图识别,将意图识别结果映射为增强现实显示控制参数和训练流程控制参数;
52、当意图识别结果为暂停指令时,冻结当前帧的增强现实叠加指导内容并记录暂停时刻的训练进度状态,所述训练进度状态包括已完成的动作周期数、当前动作阶段索引和累计训练时长;
53、当意图识别结果为重复指令时,从最近一次保存的关键帧开始重新加载增强现实叠加指导内容,所述关键帧为每个动作周期结束时自动保存的包括完整关节角度偏差矩阵和动作质量评分的数据帧;
54、当意图识别结果为调整难度指令时,解析难度等级参数,根据难度等级参数从康复动作库中检索对应难度等级的标准动作模型,并基于患者的个性化运动偏差基线重新计算个性化动作指导参数,用新的个性化动作指导参数替换当前的指导参数并更新增强现实叠加指导内容的显示。
55、进一步,s5具体包括:
56、在每个训练周期结束时,采集该周期的最终关节角度数据和最终动作完成度评分作为周期反馈数据;
57、将当前周期的周期反馈数据与上一周期的周期反馈数据进行逐关节差分计算,得到每个关节的角度改进量和整体动作完成度的变化量;
58、对所有历史周期的角度改进量进行线性回归分析,得到每个关节的改进趋势斜率;
59、当某一关节的改进趋势斜率连续两个周期为负值时,将该关节标记为停滞关节;
60、对标记为停滞关节的关节,在下一周期的个性化动作指导参数中增大该关节的目标角度调整步长,并在增强现实叠加指导内容中增大该关节对应区域的高亮标注面积;
61、对所有历史周期的整体动作完成度评分进行移动平均计算;当移动平均值连续三个周期下降时,触发指导内容重新生成流程,重新生成流程包括重新从康复动作库中检索适合当前训练阶段的标准动作模型,并基于最新的个性化运动偏差基线重新计算全部个性化动作指导参数。
62、进一步,所述方法还包括异常检测与安全保护处理,具体为:
63、在数据采集过程中,实时监测惯性测量单元的三轴加速度峰值和三轴角速度峰值,当任一轴向的加速度峰值超过预设的人体安全加速度阈值或任一轴向的角速度峰值超过预设的人体安全角速度阈值时,将该时刻前后预设时长范围内的数据标记为异常数据段;
64、对异常数据段中的深度图像序列进行运动一致性检验,计算该时段内骨骼关键点的运动轨迹与前后正常时段运动轨迹的欧氏距离;当欧氏距离超过预设的轨迹突变阈值时,判定异常原因为患者突发动作;当欧氏距离未超过轨迹突变阈值时,判定异常原因为设备抖动;
65、当判定为设备抖动时,对异常数据段中的惯性测量单元采集的加速度和角速度数据进行中值滤波平滑处理,并在后续的运动学分析中对该数据段的关节角度偏差值施加权重衰减;
66、当判定为突发动作时,立即在增强现实叠加指导内容中叠加红色警示标识,同时向远程指导端发送包括异常数据段的特征向量和异常类型标签的异常通知,远程指导端接收异常通知后暂停语义控制指令的生成,直至接收到患者端发送的安全确认语义指令后恢复指导信息的生成。
67、作为优选,所述动作评估网络为多输入融合的深度前馈神经网络,由输入层、多层全连接隐藏层与双分支输出层构成;输入层用于接收关节角度偏差矩阵与频域特征,隐藏层用于完成多维度特征的非线性融合与映射,双分支输出层分别输出各关节单项动作质量评分与整体动作完成度评分;
68、所述动作评估网络通过康复动作标注数据集预训练获得;训练样本包括不同患者的关节角度偏差矩阵、对应频域特征及康复医师标注的标准评分标签,训练过程采用均方误差损失函数进行监督迭代优化。
69、作为优选,所述循环神经网络语言模型为基于长短期记忆单元的时序语义分类模型,由特征输入层、多层 lstm 编码层与双分支输出层构成;输入层用于接收梅尔频率倒谱系数构成的语音特征矩阵,编码层用于对时序语音特征进行上下文语义编码,双分支输出层分别输出语义标签序列与意图分类结果;
70、所述循环神经网络语言模型通过康复场景语音指令数据集预训练获得;训练样本包括各类康复动作指令、控制指令的语音数据及对应标注的语义标签、意图类别,训练过程采用交叉熵损失函数进行监督迭代优化。
71、与现有技术相比,本发明的有益效果为:
72、本发明通过采集骨骼关节运动数据、惯性运动数据和语音指令数据三类多模态信息并进行深度融合分析,克服了传统视频远程指导仅依赖二维画面导致动作评估精度低的问题,实现了对患者康复动作的高精度三维运动学量化分析;
73、通过动态时间规整算法对患者动作与标准模型进行时序对齐,并结合个性化运动偏差基线生成逐项动作质量评分,使动作评估兼顾时序特性与个体差异,提升了评估结果的客观性和针对性;
74、通过差分脉冲编码调制与自适应前向纠错编码相结合的传输策略,有效降低了多模态数据的传输带宽需求,并利用加权插值填补机制保障了网络丢包场景下动作分析的连续性;
75、通过将关节角度偏差值映射为颜色编码并与目标姿态骨架模型叠加显示,生成了直观且个性化的增强现实指导内容,使患者能够精准定位自身动作偏差所在;通过语义级语音控制实现暂停、重复、跳过和难度调整等精细化交互,避免了训练过程中断;通过对历史周期反馈数据的线性回归分析识别停滞关节并自动加大训练强度,实现了训练方案的自适应迭代优化;通过异常检测与安全保护机制实时识别突发动作与设备抖动并区别处理,保障了患者居家训练的安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com