一种识别处理方法、装置及电子设备与流程

摘要: 本技术涉及人工智能,更具体的说,是涉及一种识别处理方法、装置及电子设备。背景技术:1、在人工智能与传感器技术快速发展的背景下,人类行为识别已成为人机交互领域的重...
一种识别处理方法、装置及电子设备与流程

本技术涉及人工智能,更具体的说,是涉及一种识别处理方法、装置及电子设备。

背景技术:

1、在人工智能与传感器技术快速发展的背景下,人类行为识别已成为人机交互领域的重要研究方向,被广泛应用于智能家居、虚拟现实、办公辅助及智能驾驶等场景。

2、传统的人机交互方式主要局限于鼠标、键盘、触控屏等接触式或常规的动作输入、语音输入等简单的非接触式输入手段,且通常基于单一传感器的采集数据进行行为识别,存在识别精度低、鲁棒性差等问题。

技术实现思路

1、有鉴于此,本技术提供如下技术方案:

2、本技术第一方面提供了一种识别处理方法,该方法包括:

3、获得多模态数据,所述多模态数据包含不同类型的传感器采集获得的模态数据;

4、对所述多模态数据中的各个模态数据进行特征提取,得到对应的多个模态特征;

5、结合不同模态之间的关联关系确定各个模态特征对应的动态融合权重,动态融合权重随已到达模态集合的变化而更新,所述已到达模态集合为在当前时间窗内已完成特征提取的模态特征的集合;

6、基于各模态特征的动态融合权重对各个模态特征进行加权求和,得到融合特征向量;

7、采用第一模型基于所述融合特征向量进行识别处理,得到识别结果。

8、在一个可能的实现方式中,所述不同模态之间的关联关系包括互补相关和互斥相关,所述互补相关表征两个模态特征均符合目标行为,所述互斥相关表征两个模态特征中一个符合目标行为,另一个不符合所述目标行为;

9、若两个模态特征互补相关,提升两个模态特征的动态融合权重;

10、若两个模态特征互斥相关,提升所述两个模态特征中置信度高的模态特征的动态融合权重,并降低所述两个模态特征中置信度低的模态特征的动态融合权重。

11、在一个可能的实现方式中,结合不同模态之间的关联关系确定各个模态特征对应的动态融合权重,包括:

12、基于各个模态特征进行场景识别,得到场景特征;

13、对各个模态特征进行质量评估,得到对应的评估结果,所述质量评估至少基于各个模态特征对应采集信号的信号数据确定,所述信号数据至少包括信噪比和用于表征不同信号采样周期重合度的时序一致性;

14、基于所述评估结果确定各个模态对应的模态特征的置信度;

15、结合不同模态之间的关联关系、所述场景特征和所述置信度确定各个模态特征对应的动态融合权重。

16、在一个可能的实现方式中,基于各个模态特征进行场景识别,包括:

17、获取参照数据,所述参照数据包括以下至少一项:当前模态特征、历史模态特征、用户行为数据;

18、基于所述参照数据分析当前场景类型,所述场景类型包括变化场景、非变化场景和波动场景;

19、其中,所述变化场景的判定方式为:计算当前模态特征与历史模态特征的差别数据,若所述差别数据大于第一设定阈值,则判定为变化场景;

20、所述非变化场景的判定方式为:若所述差别数据小于第二设定阈值,则判定为非变化场景;

21、所述波动场景的判定方式为:若所述差别数据处于所述第一设定阈值和所述第二设定阈值之间,则结合用户行为数据进一步判定是否为变化场景。

22、在一个可能的实现方式中,结合不同模态之间的关联关系确定各个模态特征对应的动态融合权重,包括:

23、当基于视觉模态检测到用户面部朝向偏离传感器检测区域时,降低视觉模态的动态融合权重;

24、当基于听觉模态检测到当前频域信号不属于预设人声频段范围时,降低听觉模态的动态融合权重。

25、在一个可能的实现方式中,所述获得多模态数据,包括:

26、在当前时间窗内先后获得不同模态的模态数据,所述模态数据包括以下至少之一:气压数据、湿度数据和二氧化碳浓度数据;

27、对所述多模态数据中的各个模态数据进行特征提取,包括:

28、当前时间窗启动后,在持续或间断接收模态数据的过程中,对已经获得的动态数据进行特征提取,每当有一个新的模态数据完成特征提取,将其对应的模态特征加入所述已到达模态集合;

29、结合不同模态之间的关联关系确定各个模态特征对应的动态融合权重;基于各模态特征的动态融合权重对各个模态特征进行加权求和,得到融合特征向量,包括:

30、当前时间窗启动后,结合不同模态之间的关联关系确定当前已到达模态集合中各个模态特征向量对应的临时动态融合权重;

31、按照所述临时动态融合权重,对当前已到达模态集合中的模态特征进行加权求和,得到累积融合特征向量;

32、当后续模态特征向量到达时,重复上述更新过程,直至全部模态特征向量到达,将最后一次得到的累积融合特征向量作为所述融合特征向量。

33、在一个可能的实现方式中,还包括:

34、若当前时间窗内已完成特征提取的模态特征数量达到预设数量阈值,且已完成特征提取的模态特征的置信度均高于预设置信度阈值,将当前时间窗内已完成特征提取的模态特征的累积融合特征向量确定为最终的融合特征向量,且针对后续到达模态数据不再进行后续特征提取及确定动态融合权重的处理。

35、在一个可能的实现方式中,还包括:

36、基于所述模态特征动态调整当前时间窗的长度,包括:

37、若模态特征表征对应采集信号的信噪比超过第一阈值,控制调小当前时间窗的长度;

38、若模态特征表征对应采集信号的信噪比低于第二阈值,控制调大当前时间窗的长度;

39、其中,所述第一阈值大于所述第二阈值。

40、本技术第二方面提供了一种识别处理装置,包括:

41、数据获得模块,用于获得多模态数据,所述多模态数据包含不同类型的传感器采集获得的模态数据;

42、特征提取模块,用于对所述多模态数据中的各个模态数据进行特征提取,得到对应的多个模态特征;

43、权重确定模块,用于结合不同模态之间的关联关系确定各个模态特征对应的动态融合权重,所述动态融合权重随已到达模态集合的变化而更新,所述已到达模态集合为在当前时间窗内已完成特征提取的模态特征的集合;

44、特征融合模块,用于基于各模态特征的动态融合权重对各个模态特征进行加权求和,得到融合特征向量;

45、识别处理模块,用于采用第一模型基于所述融合特征向量进行识别处理,得到识别结果。

46、本技术第三方面提供了一种电子设备,包括至少一个处理器和与所述处理器连接的存储器,其中:

47、所述存储器用于存储计算机程序;

48、所述处理器用于执行所述计算机程序,以使所述电子设备能够实现:获得多模态数据,所述多模态数据包含不同类型的传感器采集获得的模态数据;对所述多模态数据中的各个模态数据进行特征提取,得到对应的多个模态特征;结合不同模态之间的关联关系确定各个模态特征对应的动态融合权重,所述动态融合权重随已到达模态集合的变化而更新,所述已到达模态集合为在当前时间窗内已完成特征提取的模态特征的集合;基于各模态特征的动态融合权重对各个模态特征进行加权求和,得到融合特征向量;采用第一模型基于所述融合特征向量进行识别处理,得到识别结果。