多模态融合的状态辅助识别方法、系统、设备及存储介质与流程

本技术主要涉及智能医学信息处理和多模态生物信号分析，尤其涉及一种多模态融合的状态辅助识别方法、系统、设备及存储介质。

背景技术：

1、临床实践中的抑郁相关评估通常依赖量表测评、临床访谈以及医生判断完成。受试者根据量表条目进行自我报告，医生结合访谈获取的症状描述、行为表现及量表结果，对受试者的抑郁状态作出评估。

2、现有脑电抑郁识别方法通过采集受试者的脑电信号，基于频谱特征、功能连接特征、事件相关电位、脑网络指标或深度神经网络提取脑电中的判别信息，并据此完成抑郁状态识别。该类方法通常以脑电信号作为主要甚至唯一的信息来源。

3、现有语音抑郁识别方法通过采集受试者的语音信号，利用人工设计的声学特征或者预训练语音模型提取语音表示，并基于单模态语音特征进行抑郁状态识别。所提取的特征可包括语速、停顿、能量、基频及语音深度表示等。

4、现有脑电-语音多模态抑郁识别方法通常分别提取脑电特征和语音特征，再通过特征直接拼接形成融合特征向量，或者对脑电单模态识别结果和语音单模态识别结果进行平均，以融合后的信息完成抑郁状态识别。难以显式刻画两种模态之间的交互关系，也容易将模态共有信息和模态特有信息混合在同一表示空间中。

5、此外，年龄、性别和受教育年限会影响脑电活动和语音表现。现有方法通常仅在分类前将人口学信息与多模态特征拼接，人口学信息不能直接调节脑电窗口、语音片段以及模态贡献。因此，现有技术在跨模态交互、个体差异建模和受试者级特征融合方面仍有改进空间。

技术实现思路

1、本技术的一个目的是提供一种多模态融合的状态辅助识别方法、系统、设备及存储介质，解决现有技术中单一模态信息有限、简单融合难以表征脑电与语音之间的关联、模态共有信息与模态特有信息相互混杂以及人口学信息不能参与动态聚合和融合的问题。

2、根据本技术的一个方面，提供了一种多模态融合的状态辅助识别方法，该方法包括：

3、获取待识别个体的脑电信号、语音信号和人口学信息，分别进行预处理和编码，获得脑电嵌入序列、语音嵌入序列和人口学上下文向量；

4、对所述脑电嵌入序列和所述语音嵌入序列分别进行共享表示与特异表示分解，获得脑电共享表示、脑电特异表示、语音共享表示和语音特异表示；

5、根据所述人口学上下文向量分别调制所述脑电共享表示和所述语音共享表示，并通过双向跨模态注意力进行脑电与语音之间的信息交互，获得交互后脑电共享表示和交互后语音共享表示；

6、根据所述人口学上下文向量，对所述交互后脑电共享表示、所述交互后语音共享表示、所述脑电特异表示和所述语音特异表示进行注意力加权聚合，获得受试者级脑电共享表示、受试者级语音共享表示、受试者级脑电特异表示和受试者级语音特异表示；

7、对所述受试者级脑电共享表示和所述受试者级语音共享表示进行门控融合，获得融合共享表示，根据所述融合共享表示与类别原型之间的相似度获得原型引导表示；

8、将所述融合共享表示、所述受试者级脑电特异表示、所述受试者级语音特异表示、所述人口学上下文向量和所述原型引导表示进行分类，输出状态辅助识别结果。

9、可选地，所述脑电信号的预处理包括：对所述脑电信号进行带阻滤波和高通滤波，将滤波后的脑电信号划分为多个非重叠脑电窗口。

10、可选地，所述脑电信号的编码包括：将各所述脑电窗口重采样至预设采样率并划分为多个非重叠时序补丁，通过参数冻结的预训练脑电编码模型对所述时序补丁进行特征提取，再通过脑电投影模块将提取的特征映射至嵌入空间，获得所述脑电嵌入序列。

11、可选地，所述语音信号的预处理包括将所述语音信号重采样至预设采样率；

12、所述语音信号的编码包括：

13、通过预训练语音模型提取话语级深度语音特征，提取韵律特征，对语音任务类型进行编码获得语音任务标识，其中，所述韵律特征包括时长、能量分布、过零率分布、基频轮廓和清浊音特征；

14、将所述深度语音特征、所述韵律特征和所述语音任务标识分别投影或嵌入并拼接，通过语音融合投影模块获得所述语音嵌入序列。

15、可选地，所述人口学信息包括年龄、性别和受教育年限；所述人口学信息的预处理包括对年龄和受教育年限进行归一化并对性别进行编码；所述人口学信息的编码包括将归一化后的年龄、受教育年限和性别嵌入拼接并投影，获得所述人口学上下文向量。

16、可选地，所述共享表示与特异表示分解通过表示分解模块实现，所述表示分解模块包括共享投影分支和特异投影分支，各分支均由线性变换、非线性激活、随机失活和层归一化组成。

17、可选地，根据所述人口学上下文向量分别调制所述脑电共享表示和所述语音共享表示，包括：

18、将所述人口学上下文向量投影至共享表示空间，沿脑电窗口维度和语音片段维度复制后，分别与所述脑电共享表示和所述语音共享表示相加。

19、可选地，所述通过双向跨模态注意力进行脑电与语音之间的信息交互，包括：

20、以调制后的所述脑电共享表示为查询、以调制后的所述语音共享表示为键和值，执行脑电至语音注意力；

21、以调制后的所述语音共享表示为查询、以调制后的所述脑电共享表示为键和值，执行语音至脑电注意力。

22、可选地，所述注意力加权聚合包括：

23、将待聚合特征序列中的各特征向量与所述人口学上下文向量分别线性变换后相加，通过双曲正切函数和可学习投影向量计算注意力得分，对所述注意力得分执行掩码softmax归一化，并根据归一化权重加权求和。

24、可选地，所述对所述受试者级脑电共享表示和所述受试者级语音共享表示进行门控融合，获得融合共享表示，包括：

25、将所述受试者级脑电共享表示、所述受试者级语音共享表示和所述人口学上下文向量拼接后输入多层感知机，经sigmoid函数获得融合系数；

26、根据所述融合系数对所述受试者级脑电共享表示和所述受试者级语音共享表示加权求和，获得所述融合共享表示。

27、可选地，所述根据所述融合共享表示与类别原型之间的相似度获得原型引导表示，包括：

28、计算所述融合共享表示与各所述类别原型之间经温度参数缩放的余弦相似度；

29、对所述余弦相似度执行softmax归一化，根据归一化权重对所述类别原型加权求和，获得所述原型引导表示。

30、可选地，将所述融合共享表示、所述受试者级脑电特异表示、所述受试者级语音特异表示、所述人口学上下文向量和所述原型引导表示进行分类，包括：

31、将所述融合共享表示、所述受试者级脑电特异表示、所述受试者级语音特异表示、所述人口学上下文向量和所述原型引导表示拼接后输入多层分类器，所述多层分类器输出预测值并通过sigmoid函数转换为状态辅助识别概率。

32、可选地，所述方法还包括训练步骤，所述训练采用联合损失函数，所述联合损失函数包括二分类交叉熵损失、交互后脑电共享表示与交互后语音共享表示之间的余弦对齐损失、同一模态共享表示与特异表示之间的解耦损失以及融合共享表示与原型引导表示之间的原型一致性损失；训练时按照受试者划分训练集和验证集。

33、根据本技术另一个方面，还提供了一种多模态融合的状态辅助识别系统，该系统包括：

34、编码模块，用于获取待识别个体的脑电信号、语音信号和人口学信息，分别进行预处理和编码，获得脑电嵌入序列、语音嵌入序列和人口学上下文向量；

35、表示分解模块，用于对所述脑电嵌入序列和所述语音嵌入序列分别进行共享表示与特异表示分解，获得脑电共享表示、脑电特异表示、语音共享表示和语音特异表示；

36、调制及跨模态交互模块，用于根据所述人口学上下文向量分别调制所述脑电共享表示和所述语音共享表示，并通过双向跨模态注意力进行脑电与语音之间的信息交互，获得交互后脑电共享表示和交互后语音共享表示；

37、聚合模块，用于根据所述人口学上下文向量，对所述交互后脑电共享表示、所述交互后语音共享表示、所述脑电特异表示和所述语音特异表示进行注意力加权聚合，获得受试者级脑电共享表示、受试者级语音共享表示、受试者级脑电特异表示和受试者级语音特异表示；

38、融合模块，用于对所述受试者级脑电共享表示和所述受试者级语音共享表示进行门控融合，获得融合共享表示，根据所述融合共享表示与类别原型之间的相似度获得原型引导表示；

39、分类输出模块，用于将所述融合共享表示、所述受试者级脑电特异表示、所述受试者级语音特异表示、所述人口学上下文向量和所述原型引导表示进行分类，输出状态辅助识别结果。

40、根据本技术又一个方面，还包括了一种电子设备，该电子设备包括：

41、存储器，所述存储器上存储有计算机程序；

42、以及处理器，所述处理器执行所述计算机程序时实现如前述所述的状态辅助识别方法的步骤。

43、根据本技术再一个方面，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。

44、与现有技术相比，本技术同时利用脑电、语音和人口学信息，从神经生理活动、行为表达和个体背景三个方面形成受试者级表示，减少单一模态信息不足造成的影响；通过共享-特异表示分解，分别保留脑电和语音中的共有信息与模态特有信息，降低不同类型特征相互混杂造成的冗余；通过双向跨模态注意力建立脑电与语音之间的显式交互关系，并通过人口学上下文调节共享表示、序列聚合和模态融合；通过门控融合对不同受试者的脑电与语音贡献进行自适应分配，通过原型学习约束受试者级表示的结构；在受试者级别统一聚合多个脑电窗口和多个语音片段后输出识别结果，避免以窗口级或片段级预测替代受试者级决策。