基于情感信息辅助的多模态焦虑检测方法及装置

技术特征：
1.一种基于情感信息辅助的多模态焦虑检测方法，其特征在于，所述方法包括：获取被测者在焦虑检测对话中的第一文本数据集和第一语音信号集；将所述第一文本数据集中的各文本数据分别输入至训练好的文本情感数据清洗模型，得到各所述文本数据对应的情感类别，并从所述第一文本数据集中清洗掉情感类别与第一情感不一致的文本数据，得到第二文本数据集；将所述第一语音信号集中的各语音信号分别输入至训练好的语音情感数据清洗模型，得到各所述语音信号对应的情感类别，并从所述第一语音信号集中清洗掉情感类别与第一情感不一致的语音信号，得到第二语音信号集；将所述第二文本数据集输入至训练好的文本焦虑检测模型，得到文本模态特征，将所述第二语音信号集输入至训练好的语音焦虑检测模型，得到语音模态特征，将所述文本模态特征和语音模态特征进行特征融合，并基于融合后的多模态特征进行焦虑类别分类，得到所述被测者的焦虑状态分类结果。2.根据权利要求1所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，获取被测者在焦虑检测对话中的第一文本数据集和第一语音信号集，包括：获取被测者在焦虑检测对话中的语音数据；计算所述语音数据的短时能量和短时过零率；根据所述短时能量和短时过零率确定门限值，基于所述门限值确定所述语音数据中有声段的起点和终点，基于所述语音数据中的有声段语音生成第一语音信号集。3.根据权利要求1所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，所述文本情感数据清洗模型包括bert网络模型、全连接层以及第一softmax层；所述语音情感数据清洗模型包括hubert网络模型、全连接层以及第一softmax层。4.根据权利要求3所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，所述方法还包括：对初始的文本情感数据清洗模型和初始的语音情感数据清洗模型进行预训练；对所述初始的文本情感数据清洗模型进行预训练包括：获取第一训练样本集，所述第一训练样本集中的第一样本数据包括情感文本样本数据以及所述情感文本样本数据对应的情感标签；构建第一交叉熵损失函数；基于所述第一训练样本集及所述第一交叉熵损失函数对所述初始的文本情感数据清洗模型进行预训练得到所述训练好的文本情感数据清洗模型；对所述初始的语音情感数据清洗模型进行预训练包括：获取第二训练样本集，所述第二训练样本集中的第二样本数据包括情感语音样本数据以及所述情感语音样本数据对应的情感标签；构建第二交叉熵损失函数；基于所述第二训练样本集及所述第二交叉熵损失函数对所述初始的语音情感数据清洗模型进行预训练得到所述训练好的语音情感数据清洗模型。5.根据权利要求1所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，所述文本焦虑检测模型包括bert网络模型、全连接层以及第二softmax层；所述语音焦虑检测模型包括hubert网络模型、全连接层以及第二softmax层。
6.根据权利要求5所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，所述方法还包括：对初始的文本焦虑检测模型和初始的语音焦虑检测模型进行预训练；对所述初始的文本焦虑检测模型进行预训练包括：获取第三训练样本集，所述第三训练样本集中的第三样本数据包括焦虑文本样本数据以及所述焦虑文本样本数据对应的焦虑标签；构建第三交叉熵损失函数；基于所述第三训练样本集及所述第三交叉熵损失函数对所述初始的文本焦虑检测模型进行预训练得到训练好的文本焦虑检测模型；对所述初始的语音焦虑检测模型进行预训练包括：获取第四训练样本集，所述第四训练样本集中的第四样本数据包括焦虑语音样本数据以及所述焦虑语音样本数据对应的焦虑标签；构建第四交叉熵损失函数；基于所述第四训练样本集及所述第四交叉熵损失函数对所述初始的语音焦虑检测模型进行预训练得到训练好的语音焦虑检测模型。7.根据权利要求1所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，将所述文本模态特征和语音模态特征进行特征融合，包括：将所述文本模态特征和所述语音模态特征进行拼接得到拼接特征；基于注意力机制确定所述拼接特征的注意力权重；基于所述拼接特征及所述注意力权重得到特征融合后的多模态特征。8.根据权利要求1至7中任意一项所述的基于情感信息辅助的多模态焦虑检测方法，其特征在于，所述情感类别分类结果为积极情感、消极情感或中性，所述第一情感为积极情感或消极情感；所述焦虑类别分类结果为无焦虑、可能焦虑、肯定焦虑、明显焦虑或严重焦虑。9.一种基于情感信息辅助的多模态焦虑检测系统，该系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1至8中任意一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任意一项所述方法的步骤。

技术总结
本发明提供一种基于情感信息辅助的多模态焦虑检测方法及装置，该方法包括：获取文本数据集和语音信号集；将各文本数据分别输入至文本情感数据清洗模型，得到各情感类别，并清洗掉情感类别与第一情感不一致的文本数据，得到第二文本数据集；将各语音信号分别输入至语音情感数据清洗模型，得到各语音信号对应的情感类别，清洗掉情感类别与第一情感不一致的语音信号，得到第二语音信号集；将第二文本数据集输入至文本焦虑检测模型，得到文本模态特征，将第二语音信号集输入至语音焦虑检测模型，得到语音模态特征，将文本模态特征和语音模态特征进行特征融合，并基于融合后的特征得到被测者的焦虑分类结果。该方法可准确的检测被测者的焦虑状态。被测者的焦虑状态。被测者的焦虑状态。


技术研发人员：李雅 李启飞 王栋 高迎明 刘勇
受保护的技术使用者：北京邮电大学
技术研发日：2022.09.08
技术公布日：2022/12/1