一种多模态融合策略自适应多用户自动识别方法及装置与流程

本发明涉及人机交互与生物特征识别，特别是涉及一种多模态融合策略自适应多用户自动识别方法、装置、设备及存储介质。

背景技术：

1、目前，多用户自动识别技术主要依赖单模态生物特征识别方法，其中以声纹识别最为常见。现有声纹识别系统通过采集用户的语音流数据，提取波长、频率、强度、节奏等基础声学参数，并将其与注册库中预存模板进行比对，从而实现身份判定。该类方法实现简单、计算开销较低，因此在诸多终端设备中得到广泛应用。然而，其固有局限性亦十分显著，难以满足复杂应用场景下对识别准确性与鲁棒性的要求。

2、首先，单一模态的识别方案高度依赖声纹质量，当环境噪声较大或信道存在干扰时，语音信号信噪比急剧下降，导致声纹特征畸变，识别率大幅降低，系统可靠性不足。其次，现有声纹特征提取手段多停留于浅层物理参数层面，未能充分利用深度神经网络等先进技术挖掘更具判别力的高阶语义特征，导致相似用户间的区分能力有限，易产生误判。再者，现有系统的“使用模式”定义过于狭隘，通常仅涉及通讯录加载或桌面应用切换等基础操作，并未将身份识别结果与系统整体交互策略的系统化自适应调整相关联，缺乏针对不同用户习惯的个性化响应机制。此外，现有方案缺少有效的兜底识别策略，当用户因嗓音变化、静音环境或设备故障导致声纹不可用时，系统完全丧失身份判定能力，无法提供备用识别通道，严重影响用户体验和系统可用性。

3、有鉴于此，亟需一种融合多模态信息、具备动态自适应调整能力且包含冗余识别机制的多用户识别方法，以克服上述现有技术的不足，提升复杂环境下身份识别的精准度与交互策略的个性化适配水平。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出了一种多模态融合策略自适应多用户自动识别方法，通过采集用户语音流、面部图像帧及含环境物理量的交互行为数据，分别提取声纹、面部及行为韵律特征并与本地注册库并行匹配，输出各模态候选用户及其置信度；根据环境物理量动态调整融合权重，加权求和得综合得分，以最高分确定目标用户并结合阈值输出身份标识；响应标识，调取个性化策略并原子性切换终端参数。本发明解决了单模态易受干扰及固定融合策略适应性差的问题，实现了精准识别与个性化交互的协同提升。

3、本发明的另一个目的在于提出一种多模态融合策略自适应多用户自动识别装置。

4、本发明的第三个目的在于提出一种计算机设备。

5、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

6、为达上述目的，本发明一方面提出一种多模态融合策略自适应多用户自动识别方法，包括：

7、采集当前用户的语音流数据、面部图像帧数据以及包含环境物理量的交互行为数据，分别从三类数据中提取声纹特征、面部特征和行为韵律特征，将各特征与本地注册库中的多用户模板进行匹配，并行输出各模态对应的候选用户及候选用户对应的置信度；

8、根据环境物理量动态调整各模态的融合权重，利用调整后的权重对各所述置信度进行加权求和，计算各候选用户的综合融合得分；

9、将所述综合融合得分最高的候选用户确定为目标用户，并根据所述综合融合得分与预设阈值的比较结果，输出用户身份标识；

10、响应于用户身份标识，从策略配置库中调取对应的个性化交互策略数据，并原子性地将终端的交互参数切换为所述个性化交互策略数据对应的目标参数，以执行后续交互响应。

11、本发明实施例的一种多模态融合策略自适应多用户自动识别方法还可以具有以下附加技术特征：

12、在本发明的一个实施例中，所述采集当前用户的语音流数据、面部图像帧数据以及包含环境物理量的交互行为数据，包括：

13、通过由至少两个麦克风组成的麦克风阵列采集用户语音，以预设采样率进行模数转换，生成语音流数据，并同步采集环境声压级数据作为环境物理量的一部分；

14、通过rgb摄像头和红外摄像头同步采集用户面部图像，并由飞行时间传感器获取用户与终端之间的距离数据，生成面部图像帧数据；

15、通过系统日志记录用户交互时刻和调用的功能类别，生成交互行为数据中的时间日志和内容日志，并将环境声压级数据和距离数据作为环境物理量的组成部分一并输出。

16、在本发明的一个实施例中，分别从语音流数据、面部图像帧数据和交互行为数据中提取声纹特征、面部特征和行为韵律特征，包括：

17、对语音流数据执行预加重、分帧和加窗处理，提取每帧语音的fbank声学特征矩阵，将所述fbank声学特征矩阵输入至基于ecapa-tdnn架构的声纹嵌入模型，经多尺度特征聚合与通道注意力加权后，输出192维声纹嵌入向量作为声纹特征；

18、对面部图像帧数据执行人脸检测，基于检测到的面部关键点进行对齐，将对齐后的人脸区域裁剪并缩放至预设像素尺寸，输入至基于mobilefacenet架构的人脸嵌入模型，输出128维面部嵌入向量作为面部特征；

19、对交互行为数据中的时间日志提取当前交互的时刻特征，对内容日志提取当前调用的功能类别特征，对距离数据提取当前用户身高估计值，并结合语音流数据提取当前交互的语速值和基频值，共同组成行为韵律统计向量作为行为韵律特征。

20、在本发明的一个实施例中，将各特征与本地注册库中的多用户模板进行匹配，并行输出各模态对应的候选用户及候选用户对应的置信度，包括：

21、以声纹特征为查询向量，分别计算相应查询向量与本地注册库中存储的各已注册用户的声纹模板向量之间的第一余弦相似度，将最大第一余弦相似度超过第一预设阈值的已注册用户确定为声纹候选用户，并将最大第一余弦相似度归一化后作为声纹置信度输出；

22、以面部特征为查询向量，分别计算相应查询向量与本地注册库中存储的各已注册用户的面部模板向量之间的第二余弦相似度，将最大第二余弦相似度超过第二预设阈值的已注册用户确定为人脸候选用户，并将最大第二余弦相似度归一化后作为人脸置信度输出；

23、以行为韵律统计向量为查询数据，分别计算相应查询数据与本地注册库中存储的各已注册用户的历史行为基线之间的时段相似度、内容相似度、身高距离相似度和韵律相似度，将各维度相似度加权融合后确定行为候选用户及候选用户对应的行为置信度输出。

24、在本发明的一个实施例中，根据环境物理量动态调整各模态的融合权重，包括：

25、对环境物理量中的环境声压级数据进行解析，当环境噪声超过第一分贝阈值时，将声纹模态的基础融合权重由第一权重值下调至第二权重值，同时将人脸模态的基础融合权重由第三权重值上调至第四权重值；

26、对环境物理量中的光照数据进行解析，当环境光照低于第一照度阈值或根据面部图像帧数据判定用户未正对摄像头时，将人脸模态的基础融合权重下调至第五权重值，同时将声纹模态的基础融合权重上调至第六权重值；

27、分别检测声纹模态和人脸模态是否处于可用状态，当声纹模态和人脸模态均被判定为不可用时，将行为模态的融合权重配置为第七权重值，以行为候选用户及行为候选用户的行为置信度作为唯一判定依据。

28、在本发明的一个实施例中，根据综合融合得分与预设阈值的比较结果，输出用户身份标识，包括：

29、当综合融合得分大于或等于高置信度阈值时，将目标用户判定为已知用户，输出相应的目标用户的已注册身份标识及对应的交互策略索引；

30、当综合融合得分大于或等于低置信度阈值且小于高置信度阈值时，将相应的目标用户判定为待确认用户，输出试探性身份标识及通用交互策略索引；

31、当综合融合得分小于低置信度阈值时，将当前用户判定为未知用户，输出新用户注册引导指令作为用户身份标识。

32、在本发明的一个实施例中，原子性地将终端的交互参数切换为所述个性化交互策略数据对应的目标参数，包括：

33、在切换执行前，将前序用户的对话上下文数据和未完成任务状态保存至临时缓存区，并获取当前交互输出的安全切换边界点；

34、在所述安全切换边界点到达时，从策略配置库中读取目标用户的个性化交互策略数据，根据所述个性化交互策略数据中的语音合成参数、界面显示参数和功能权限参数，分别更新终端语音合成引擎的语速和音色配置、界面渲染引擎的字体和主题配置以及功能调度模块的访问权限列表；

35、在切换执行完成后，根据所述个性化交互策略数据中的任务继承标识，决定恢复执行前序用户的未完成任务、将所述未完成任务转移至目标用户账户下或永久挂起所述未完成任务。

36、为达上述目的，本发明另一方面提出一种多模态融合策略自适应多用户自动识别装置，包括：

37、感知识别模块，用于采集当前用户的语音流数据、面部图像帧数据以及包含环境物理量的交互行为数据，分别从三类数据中提取声纹特征、面部特征和行为韵律特征，将各特征与本地注册库中的多用户模板进行匹配，并行输出各模态对应的候选用户及候选用户对应的置信度；

38、融合打分模块，用于根据环境物理量动态调整各模态的融合权重，利用调整后的权重对各所述置信度进行加权求和，计算各候选用户的综合融合得分；

39、裁决输出模块，用于将所述综合融合得分最高的候选用户确定为目标用户，并根据所述综合融合得分与预设阈值的比较结果，输出用户身份标识；

40、策略切换模块，用于响应于用户身份标识，从策略配置库中调取对应的个性化交互策略数据，并原子性地将终端的交互参数切换为所述个性化交互策略数据对应的目标参数，以执行后续交互响应。

41、本发明实施例的一种多模态融合策略自适应多用户自动识别方法及装置，通过融合声纹、人脸及行为韵律三模态特征，并结合环境物理量动态调整各模态融合权重，有效解决了单模态识别在复杂环境下抗干扰能力差及固定融合策略适应性不足的问题。通过综合融合得分与预设阈值的分层比较，输出已知用户、待确认用户或未知用户的多层次身份标识，并原子性切换个性化交互策略及任务继承处理，实现了从多模感知、动态融合、分层裁决到策略联动的一体化闭环流程。本发明显著提升了多用户场景下身份识别的鲁棒性与精准度，增强了方法在光照、噪声等动态环境下的自适应能力，并在交互策略的个性化切换与系统安全性方面具有显著的工程实用价值。

42、为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如第一方面实施例所述的一种多模态融合策略自适应多用户自动识别方法。

43、为达上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的一种多模态融合策略自适应多用户自动识别方法。

44、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。