一种模型训练方法、吞咽训练口腔动作识别方法和装置与流程

摘要: 本申请涉及康复训练,特别是一种模型训练方法、吞咽训练口腔动作识别方法和装置。背景技术:1、吞咽障碍是脑卒中、帕金森病等疾病常见的并发症,我国每年新发脑卒中患者中...
一种模型训练方法、吞咽训练口腔动作识别方法和装置与流程

本申请涉及康复训练,特别是一种模型训练方法、吞咽训练口腔动作识别方法和装置。

背景技术:

1、吞咽障碍是脑卒中、帕金森病等疾病常见的并发症,我国每年新发脑卒中患者中约30%-60%伴有不同程度的吞咽功能障碍。吞咽障碍不仅会导致患者营养不良、脱水,还可能引发吸入性肺炎,严重时甚至危及生命。口腔期吞咽训练是吞咽障碍早期康复的核心环节,通过针对性训练下颌、舌头、口颊肌群的运动能力与协同性,可以有效改善患者吞咽功能。

2、目前,临床吞咽训练主要依赖人工指导与评估,存在以下显著不足:一是康复治疗师主观性强,缺乏量化标准;二是居家训练难以监管,患者自行训练时动作不规范,反而可能过度训练,将影响康复效果。

3、随着计算机视觉技术的发展,已有部分基于视觉的吞咽动作识别方案被提出,但现有技术仍存在明显缺陷:

4、第一,现有技术大多聚焦自然吞咽过程的咽期检测(如喉上抬运动),极少针对吞咽康复训练中标准化分解的口腔期动作进行设计,无法识别下颌偏移、舌头定向运动、鼓腮等核心训练动作,难以满足早期康复训练的评估需求。

5、第二,多数方案仅能识别单一部位的孤立动作,对于复合动作的实时识别能力不足,无法评估下颌、舌、口颊肌群的协同运动状态,而肌群协同性是吞咽功能恢复的关键指标。

6、因此,亟需开发一种能精准识别吞咽训练中口腔期单一动作及协同动作的识别方法,以解决现有技术的上述缺陷。

技术实现思路

1、鉴于上述问题,本申请实施例提供了一种吞咽训练口腔动作识别方法和装置,旨在对吞咽训练的目标肌群都能获得充足且不过度的训练刺激,优化训练效率与安全性。

2、第一方面,本申请实施例提供了一种模型训练方法,所述方法包括:

3、获取多名吞咽障碍患者的训练视频,并从训练视频中提取面部的关键点,构建面部关键点集和口腔外轮廓索引集;

4、基于口腔外轮廓索引集,通过凸包算法生成连续口腔边界,并基于口腔边界得到口腔区域的二值化掩膜,划分口腔感兴趣区域;

5、在口腔感兴趣区域内,利用舌体hsv动态阈值区间提取舌体像素,并通过连通域分析从舌体像素图像中筛选出面积最大的连通域,作为舌体候选区域;

6、将面部关键点集以及口腔外轮廓索引集输入至基于多分支结构的吞咽训练口腔动作识别模型,得到动作类别识别结果;

7、根据动作类别识别结果确定模型总损失,并根据模型总损失值调整基于多分支结构的吞咽训练口腔动作识别模型的模型参数,输出目标吞咽训练口腔动作识别模型。

8、第二方面,本申请实施例提供了一种吞咽训练口腔动作识别方法,所述方法包括:

9、采集待训练的吞咽障碍患者的视频;

10、将吞咽障碍患者的视频输入至目标吞咽训练口腔动作识别模型中;其中,目标吞咽训练口腔动作识别模型根据上述的一种模型训练方法得到;

11、输出目标吞咽训练口腔动作识别模型的动作类别识别结果。

12、第三方面,本申请实施例提供了一种基于多分支特征融合的吞咽训练口腔动作识别装置,基于上述的方法实现,所述装置包括:

13、采集模块,用于采集待训练的吞咽障碍患者的视频;

14、识别模块,用于将吞咽障碍患者的视频输入至目标吞咽训练口腔动作识别模型中;其中,目标吞咽训练口腔动作识别模型根据上述的一种模型训练方法得到;

15、输出模块,用于将目标吞咽训练口腔动作识别模型输出的动作类别识别结果进行可视化输出。

16、与现有技术相比,本发明具体的有益效果在于:

17、首先,本发明专门针对吞咽康复训练的口腔期核心动作设计,可精准识别下颌左右偏移、舌头上下左右运动、鼓腮等单一动作及多部位协同动作,完全覆盖早期吞咽障碍训练的评估需求,解决了现有技术聚焦自然吞咽、无法适配康复训练场景的问题。

18、其次,本发明采用四个并行分支分别提取舌头方向、舌头运动、口颊运动、下颌运动的特征,在保证识别精度的同时,避免了复杂深度学习模型的高计算量,可在手机、平板等普通边缘设备上实现实时运行,无需专用深度相机、肌电传感器等硬件,部署成本低,普适性强。

19、再次,构建基于注意力机制与时空联合编码的融合网络,其采用分层融合策略,先在特征层面进行多特征交互,再在时序层面进行动态建模,最终输出高判别性的融合特征表示。该机制不仅解决了单一分支识别鲁棒性差的问题,还实现了对多部位协同动作的精准识别,为吞咽肌群协同性评估提供了技术支撑。

20、最后,本发明还通过温度缩放校准输出置信度,能够有效避免模型过置信问题,提升预测可靠性。

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于多分支结构的吞咽训练口腔动作识别模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述通过舌头方向特征提取分支提取舌头方向特征,包括:

4.根据权利要求3所述的方法,其特征在于,通过舌头运动特征提取分支提取舌头运动特征,包括:

5.根据权利要求3所述的方法,其特征在于,通过口颊运动特征提取分支提取口颊运动特征,包括:

6.根据权利要求3所述的方法,其特征在于,通过下颌运动特征提取分支提取下颌运动特征,包括:

7.根据权利要求6所述的方法,其特征在于,所述对舌头方向特征、舌头运动特征、口颊运动特征和下颌运动特征进行融合,得到时空融合特征,包括:

8.根据权利要求4所述的方法,其特征在于,通过多任务分类输出层对时空融合特征进行分类,得到吞咽训练口腔动作的动作类别识别结果,包括:

9.一种吞咽训练口腔动作识别方法,其特征在于,所述方法包括:

10.一种吞咽训练口腔动作识别装置,其特征在于,所述装置包括: