基于多模态数据融合的学习投入状态监测方法

技术特征：
1.一种基于多模态数据融合的学习投入状态监测方法，其特征在于，包括：获取被监测主体的音频信息及皮电、肌电生理数据；将所述音频信息输入训练好的语音情绪识别模型中，获得第一情感标识；将所述皮电、肌电生理数据输入训练好的生理情绪识别模型中，获得第一情感标识；根据所述第一情感标识、第二情感标识以及预设的阈值条件，对被监测主体的学习投入状态进行分类，获得分类结果。2.如权利要求1所述的学习投入状态监测方法，其特征在于，所述将音频信息输入训练好的语音情绪识别模型中，获得第一情感标识；包括：对所述音频信息进行转录并提取语言表示，对所述语言表示进行线性变换，得到音频信息对应的语义嵌入；将所述音频信息转换为频谱图并进行特征提取，获得有效特征向量；对所述有效特征向量进行多维特征转换和聚合，得到声学特征序列；将所述语义嵌入与声学特征序列进行融合，获得聚合特征；基于所述聚合特征预测得到被监测主体的第一情感标识。3.如权利要求2所述的学习投入状态监测方法，其特征在于，采用sigmoid激活的简单门通机制将语义嵌入与声学特征序列进行融合，获得聚合特征。4.如权利要求1或2所述的学习投入状态监测方法，其特征在于，所述将皮电、肌电生理数据输入训练好的生理情绪识别模型中，获得第一情感标识，包括：分别对皮电、肌电生理数据进行特征提取，获得各自对应的归一化表示；将皮电、肌电生理数据对应的所述归一化表示进行加权求和，基于求和结果以及皮电、肌电生理数据各自的重要性权重分别计算皮电、肌电生理数据对应的全局特征表示；将皮电、肌电生理数据对应的全局特征表示进行融合，得到融合向量；基于所述融合向量预测得到被监测主体的第二情感标识。5.如权利要求4所述的学习投入状态监测方法，其特征在于，还包括：将皮电、肌电生理数据对应的所述归一化表示转换为以时间帧和通道数表征的二维数组；将两个所述二维数组对齐并进行加权求和。6.如权利要求4所述的学习投入状态监测方法，其特征在于，所述将皮电、肌电生理数据对应的全局特征表示进行融合，得到融合向量，包括：获取一组投影矩阵，将每个所述投影矩阵分解为两个秩矩阵；将每个所述秩矩阵表示为二维矩阵，并与皮电、肌电生理数据对应的全局特征表示择一进行配对，生成两个融合矩阵；将两个所述融合矩阵作向量相乘，经池化后得到最终的融合向量。7.如权利要求1所述的学习投入状态监测方法，其特征在于，还包括：将所述音频信息进行转录，生成文本数据；对所述文本数据进行关键词提取，得到关键词标签；将所述关键词标签与预置的标准语句进行比对，计算两者的重合率；根据所述重合率、第一情感标识、第二情感标识以及预设的阈值条件，对被监测主体的学习状态进行分类，获得分类结果。8.如权利要求1所述的学习投入状态监测方法，其特征在于，所述语音情绪识别模型包
括文本嵌入模块、特征提取模块、交叉激励模块、池化层和全连接层；所述特征提取模块包括多个堆叠的cmt-s模块，每个所述cmt-s模块包含一个局部感知单元、一个轻量级多头自注意模块和一个倒置残差前馈网络。9.如权利要求1所述的学习投入状态监测方法，其特征在于，所述生理情绪识别模型包括信号编码器、注意力模块、融合模块和分类模块；所述信号编码器包括若干卷积层与一个长形网络；所述卷积层的输出增加relu激活函数和lrn函数进行响应归一化操作；所述融合模块包括投影矩阵和双线性池化，用于将皮电特征、肌电特征进行融合；所述分类模块是由全连接层与softmax函数执行分类计算。10.一种计算机设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～9任一项所述学习投入状态监测方法的步骤。

技术总结
本申请公开了一种基于多模态数据融合的学习投入状态监测方法及计算机设备，该方法包括：获取被监测主体的音频信息及皮电、肌电生理数据；将所述音频信息输入训练好的语音情绪识别模型中，获得第一情感标识；将所述皮电、肌电生理数据输入训练好的生理情绪识别模型中，获得第一情感标识；根据所述第一情感标识、第二情感标识以及预设的阈值条件，对被监测主体的学习投入状态进行分类，获得分类结果。本发明使用肌电、皮电生理信息，结合音频信息进行情绪状态分类，使得最后的情感状态分析更加真实准确；分析结果可作为衡量课堂中学生对教学内容的反馈以及积极性的重要依据。内容的反馈以及积极性的重要依据。内容的反馈以及积极性的重要依据。


技术研发人员：赵莉 刘婷婷 刘海 时俊雅 陈红 李佳雯
受保护的技术使用者：武汉东湖学院
技术研发日：2022.11.10
技术公布日：2023/2/3