多模态信号表征模型训练方法及装置、设备、介质、产品与流程

本申请实施例涉及生物电信号处理和模型训练，尤其涉及多模态信号表征模型训练方法及装置、设备、介质、产品。

背景技术：

1、脑电信号和表面肌电信号能够从不同角度反映人体运动过程，可用于运动识别、人机交互及康复训练等场景。相关技术可以利用多模态模型对两类信号进行联合表征。然而，两类生物电信号的标注数据获取成本较高，且难以建立准确的局部对应关系，因而相关模型的表征能力仍有改进空间。

2、基于此，本申请实施例提供了多模态信号表征模型训练方法及装置、设备、介质、产品，以改进相关技术。

技术实现思路

1、本申请实施例的目的在于提供多模态信号表征模型训练方法及装置、设备、介质、产品，在不依赖片段级对应标签的情况下学习两个模态各自的信号结构及脑肌局部互补关系。

2、第一方面，本申请实施例提供了一种多模态信号表征模型训练方法，所述方法包括：接收具有运动试次级对应关系的脑电信号数据和表面肌电信号数据，获取脑肌时延约束信息，并分别将所述脑电信号数据和所述表面肌电信号数据划分为多个局部信号单元，各所述局部信号单元具有运动试次信息和时间位置信息；在同一预训练过程中，将脑电模态和表面肌电模态中的至少一种确定为遮蔽模态，对所述遮蔽模态的部分局部信号单元进行遮蔽，形成遮蔽训练视图；利用多模态信号表征模型，基于所述遮蔽训练视图执行模态内遮蔽重建任务，得到模态内重建损失；基于所述运动试次级对应关系和所述脑肌时延约束信息，确定各被遮蔽局部信号单元在另一模态中的候选对应范围，并利用所述多模态信号表征模型在所述候选对应范围内执行跨模态软对应任务，得到跨模态学习损失；基于所述模态内重建损失和所述跨模态学习损失更新所述多模态信号表征模型，得到预训练后的多模态信号表征模型。

3、第二方面，本申请实施例提供了一种多模态信号表征模型训练装置，所述装置包括：数据处理模块，用于接收具有运动试次级对应关系的脑电信号数据和表面肌电信号数据，获取脑肌时延约束信息，并分别将所述脑电信号数据和所述表面肌电信号数据划分为多个局部信号单元，各所述局部信号单元具有运动试次信息和时间位置信息；预训练任务执行模块，用于在同一预训练过程中，将脑电模态和表面肌电模态中的至少一种确定为遮蔽模态，对所述遮蔽模态的部分局部信号单元进行遮蔽，形成遮蔽训练视图；利用多模态信号表征模型，基于所述遮蔽训练视图执行模态内遮蔽重建任务，得到模态内重建损失；基于所述运动试次级对应关系和所述脑肌时延约束信息，确定各被遮蔽局部信号单元在另一模态中的候选对应范围，并利用所述多模态信号表征模型在所述候选对应范围内执行跨模态软对应任务，得到跨模态学习损失；模型更新模块，用于基于所述模态内重建损失和所述跨模态学习损失更新所述多模态信号表征模型，得到预训练后的多模态信号表征模型。

4、第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

5、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。

6、第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。

1.一种多模态信号表征模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的多模态信号表征模型训练方法，其特征在于，所述利用多模态信号表征模型，基于所述遮蔽训练视图执行模态内遮蔽重建任务，得到模态内重建损失，包括：

3.根据权利要求1所述的多模态信号表征模型训练方法，其特征在于，所述在同一预训练过程中，将脑电模态和表面肌电模态中的至少一种确定为遮蔽模态，对所述遮蔽模态的部分局部信号单元进行遮蔽，形成遮蔽训练视图；利用多模态信号表征模型，基于所述遮蔽训练视图执行模态内遮蔽重建任务，得到模态内重建损失；基于所述运动试次级对应关系和所述脑肌时延约束信息，确定各被遮蔽局部信号单元在另一模态中的候选对应范围，并利用所述多模态信号表征模型在所述候选对应范围内执行跨模态软对应任务，得到跨模态学习损失，包括：

4.根据权利要求1所述的多模态信号表征模型训练方法，其特征在于，所述基于所述运动试次级对应关系和所述脑肌时延约束信息，确定各被遮蔽局部信号单元在另一模态中的候选对应范围，并利用所述多模态信号表征模型在所述候选对应范围内执行跨模态软对应任务，得到跨模态学习损失，包括：

5.根据权利要求4所述的多模态信号表征模型训练方法，其特征在于，所述针对各所述目标局部特征信息，基于所述运动试次级对应关系和所述脑肌时延约束信息，确定对应的被遮蔽局部信号单元在所述参照模态中的候选对应范围，并从所述候选对应范围内的多个所述参照局部特征信息中确定候选局部特征信息，包括：

6.根据权利要求1或5所述的多模态信号表征模型训练方法，其特征在于，所述获取脑肌时延约束信息，包括：

7.根据权利要求5所述的多模态信号表征模型训练方法，其特征在于，所述基于所述目标局部特征信息和各所述候选局部特征信息，确定软对应关系，包括：

8.根据权利要求4所述的多模态信号表征模型训练方法，其特征在于，所述多模态信号表征模型包括用于提取所述目标局部特征信息的在线编码器以及与所述在线编码器对应的参考目标分支；

9.根据权利要求4所述的多模态信号表征模型训练方法，其特征在于，所述多模态信号表征模型包括脑电在线编码器、表面肌电在线编码器、分别与所述脑电在线编码器和所述表面肌电在线编码器对应的两个投影层、软对应模块以及至少一个跨模态预测器；

10.根据权利要求9所述的多模态信号表征模型训练方法，其特征在于，所述方法还包括：

11.一种多模态信号表征模型训练装置，其特征在于，所述装置包括：

12.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述方法的步骤。