生物电信号运动识别模型训练方法与流程

本技术涉及生物电信号处理领域，尤其涉及生物电信号运动识别模型训练方法。

背景技术：

1、生物电信号能够反映人体在运动准备、运动执行等过程中的生理活动，因此可以用于运动意图识别、动作识别以及康复训练等场景。相关技术中，可以利用多个受试对象对应的生物电信号训练运动识别模型，并利用训练得到的运动识别模型对受试对象的运动信息进行识别。

2、然而，不同受试对象在生理结构、生理状态以及信号采集条件等方面存在差异，使得相同动作对应的生物电信号可能具有不同的信号特征。因此，基于多个受试对象训练得到的运动识别模型应用于新的受试对象时，运动识别的准确性容易受到受试对象间生物电信号差异的影响。

3、因此，如何提高基于多个受试对象训练得到的运动识别模型对目标受试对象的适用性，是亟待解决的问题。

技术实现思路

1、本技术的目的在于提供生物电信号运动识别模型训练方法，有效地提高基于多个源受试对象训练得到的运动识别模型对目标受试对象的适用性。

2、本技术的目的采用以下技术方案实现：

3、第一方面，本技术实施例提供了一种生物电信号运动识别模型训练方法，包括：接收多个源受试对象对应的多个第一训练样本，第一训练样本包括第一生物电信号、第二生物电信号、动作指示信息和受试对象标识信息；利用运动识别模型处理各第一训练样本，得到对应的第一样本特征，并基于动作指示信息对运动识别模型进行动作判别训练，以及在动作指示信息的约束下，基于受试对象标识信息对运动识别模型进行受试对象差异抑制训练，得到第一运动识别模型；接收目标受试对象对应的第二训练样本，冻结第一运动识别模型的至少部分参数，并基于第二训练样本更新第一运动识别模型中的目标受试对象适配参数，得到第二运动识别模型。

4、在一些实施例中，第一生物电信号为脑电信号，第二生物电信号为表面肌电信号；各第一训练样本基于同一运动过程对应的脑电信号和表面肌电信号形成，其中，脑电信号和表面肌电信号基于动作事件信息、试次标识信息和时间信息中的至少一种建立试次级对应关系。

5、在一些实施例中，利用运动识别模型处理各第一训练样本，得到对应的第一样本特征，包括：利用运动识别模型的第一特征提取分支，对脑电信号进行空间特征提取和时序特征提取，得到脑电特征；利用运动识别模型的第二特征提取分支，对表面肌电信号进行局部时序特征提取和多通道时序特征提取，得到表面肌电特征；将脑电特征和表面肌电特征映射至统一特征空间，并基于映射后的脑电特征和表面肌电特征，得到第一样本特征。

6、在一些实施例中，基于映射后的脑电特征和表面肌电特征，得到第一样本特征，包括：确定脑电信号与表面肌电信号之间的脑-肌时延范围；针对脑电特征中的脑电局部特征，从脑-肌时延范围对应的多个表面肌电局部特征中确定候选表面肌电局部特征；利用交叉注意力机制确定脑电局部特征与各候选表面肌电局部特征之间的对应权重，并基于对应权重，对脑电特征和表面肌电特征进行跨模态关联处理，得到第一样本特征。

7、在一些实施例中，方法还包括：对脑电信号和表面肌电信号中的至少一种生物电信号的部分时间片、部分通道和部分时频区域中的至少一种进行遮蔽，得到遮蔽训练样本；利用运动识别模型处理遮蔽训练样本，基于遮蔽训练样本中的未遮蔽信息对被遮蔽信息进行重建，得到重建信息；基于重建信息和对应的被遮蔽信息确定模态内重建损失，并基于模态内重建损失更新运动识别模型。

8、在一些实施例中，基于动作指示信息对运动识别模型进行动作判别训练，以及在动作指示信息的约束下，基于受试对象标识信息对运动识别模型进行受试对象差异抑制训练，包括：基于各第一样本特征确定对应的动作预测信息，并基于动作预测信息和对应的动作指示信息确定动作判别损失；将各第一样本特征和对应的动作指示信息输入受试对象判别模块，得到对应的受试对象预测信息，并基于受试对象预测信息和对应的受试对象标识信息确定受试对象判别损失；基于动作判别损失更新运动识别模型，并基于受试对象判别损失更新受试对象判别模块，以及通过梯度反转处理，基于受试对象判别损失反向更新运动识别模型，以降低相同动作指示信息对应的不同源受试对象的第一样本特征之间的受试对象差异。

9、在一些实施例中，基于各第一样本特征确定对应的动作预测信息，并基于动作预测信息和对应的动作指示信息确定动作判别损失，包括：分别针对多个动作确定多个共享动作原型；确定各第一样本特征分别与多个共享动作原型之间的相似关系，并基于相似关系确定对应的动作预测信息和动作判别损失；方法还包括：基于不同动作对应的共享动作原型之间的距离确定动作原型分离损失，其中，响应于两个共享动作原型之间的距离小于设定类别间隔，动作原型分离损失包括针对两个共享动作原型的分离惩罚；基于动作判别损失、受试对象判别损失和动作原型分离损失，对运动识别模型进行训练。

10、在一些实施例中，分别针对多个动作确定多个共享动作原型，包括：针对各源受试对象，根据动作指示信息，从源受试对象对应的多个第一样本特征中确定分别对应多个动作的多组第一样本特征，并分别对各组第一样本特征进行聚合，得到源受试对象分别对应多个动作的多个受试对象内动作中心；针对各动作，对多个源受试对象对应于动作的多个受试对象内动作中心进行聚合，得到动作对应的候选共享动作原型；基于候选共享动作原型更新动作对应的共享动作原型，其中，共享动作原型基于指数移动平均方式进行更新。

11、在一些实施例中，冻结第一运动识别模型的至少部分参数，并基于第二训练样本更新第一运动识别模型中的目标受试对象适配参数，包括：冻结第一运动识别模型中的特征提取参数和融合参数；利用第一运动识别模型处理第二训练样本，并利用目标受试对象适配器和归一化仿射参数对基于第二训练样本得到的特征进行校正，得到第二样本特征；基于第二样本特征对第一运动识别模型进行目标受试对象适配训练，在目标受试对象适配训练过程中保持特征提取参数和融合参数冻结，并更新目标受试对象适配器的参数和归一化仿射参数。

12、在一些实施例中，第二训练样本包括动作指示信息；基于第二样本特征对第一运动识别模型进行目标受试对象适配训练，包括：基于多个第一训练样本对应的第一样本特征和动作指示信息，分别针对多个动作确定多个第一动作原型，并在目标受试对象适配训练过程中保持多个第一动作原型不变；基于多个第二训练样本对应的第二样本特征和动作指示信息，分别针对多个动作确定多个第二动作原型；针对各动作，基于动作对应的第一动作原型和第二动作原型确定锚定动作原型；基于各第二样本特征与多个锚定动作原型之间的相似关系确定目标动作判别损失，并基于目标动作判别损失更新目标受试对象适配器的参数和归一化仿射参数；利用更新后的目标受试对象适配器和归一化仿射参数重新确定多个第二样本特征，并基于重新确定的多个第二样本特征更新多个第二动作原型和多个锚定动作原型。

13、本技术实施例中，通过在动作判别训练的同时，在动作指示信息的约束下进行受试对象差异抑制训练，可以使运动识别模型在保留不同动作之间判别特征的同时，减少对特定源受试对象生物电信号特性的依赖；进一步通过冻结第一运动识别模型的至少部分参数，并基于第二训练样本更新目标受试对象适配参数，可以使模型在保留源受试对象训练阶段所学习的运动相关特征的基础上，进一步适应目标受试对象的生物电信号特性。由此，可以提高基于多个源受试对象训练得到的运动识别模型对目标受试对象的适用性。