手语识别方法、装置、电子设备及存储介质与流程

本申请涉及手语识别，尤其涉及一种手语识别方法、装置、电子设备及存储介质。

背景技术：

1、手语是听障人士进行日常交流的重要语言形式，基于自动识别技术将手语动作转化为文本或语音输出，对于消除听障群体与健听群体之间的沟通障碍具有重要意义。近年来，随着计算机视觉技术的发展，基于光学摄像头采集手部动作并通过模型识别相应手语语义的方案，已经成为手语自动识别领域的主流技术路径。

2、相关的手语识别方案通常依赖摄像头采集用户手部及面部的视觉信号，通过对手部骨架关键点、面部表情等视觉特征的分析，识别用户所表达的手语词条，并将识别结果转化为相应的文本或语音输出。这类方案在视觉采集条件理想的场景下能够取得较好的识别效果，但其识别效果高度依赖于视觉信号本身的质量和完整性。

3、在实际应用中，视觉信号的采集质量受到诸多环境因素的影响，导致单一视觉模态的手语识别方案在多种复杂场景下识别精度显著下降。具体而言，在强光、昏暗或光照不均匀的环境中，采集到的视觉信号噪点较多，视觉特征提取的准确性降低；在用户处于拥挤人群中或手部动作幅度较大超出摄像头视场角的场景下，手部关键点出现遮挡或丢失，导致视觉特征不完整；此外，对于一些精细的手指动作或细微的面部肌肉变化，基于远距离摄像头的视觉采集方式也难以精准捕捉。

技术实现思路

1、本申请旨在解决目前手语识别方案仅依赖单一视觉模态，在视觉信号质量受到环境因素影响时识别精度下降的技术问题。

2、第一方面，本申请提供了一种手语识别方法，包括：

3、获取用户在进行手语表达时，采集到的视觉信号和肌电信号，并从所述视觉信号中提取视觉特征，以及从所述肌电信号中提取肌电特征；

4、将所述视觉特征与所述肌电特征在时间维度上对齐，根据对齐后的视觉特征生成视觉识别结果，以及根据对齐后的肌电特征生成肌电识别结果；

5、根据所述视觉识别结果和所述肌电识别结果确定手语识别结果；

6、根据所述手语识别结果生成手语文本和/或合成语音。

7、第二方面，本申请提供了一种手语识别装置，包括：

8、获取模块，用于获取用户在进行手语表达时，采集到的视觉信号和肌电信号，并从所述视觉信号中提取视觉特征，以及从所述肌电信号中提取肌电特征；

9、识别模块，用于将所述视觉特征与所述肌电特征在时间维度上对齐，根据对齐后的视觉特征生成视觉识别结果，以及根据对齐后的肌电特征生成肌电识别结果；

10、确定模块，用于根据所述视觉识别结果和所述肌电识别结果确定手语识别结果；

11、输出模块，用于根据所述手语识别结果生成手语文本和/或合成语音。

12、第三方面，本申请提供了一种电子设备，包括：

13、至少一个处理器；

14、至少一个网络接口，所述网络接口与相应的处理器通信连接；以及，

15、与所述至少一个处理器通信连接的存储器；其中，

16、所述网络接口用于建立所述处理器与其他外界设备之间的通信连接；

17、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的手语识别方法。

18、第四方面，本申请提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被一个或多个处理器执行，可使得一个或多个处理器执行如第一方面所述的手语识别方法。

19、本申请实施例提供的手语识别方法、装置、电子设备及存储介质的至少一个优势是，针对现有手语识别方案仅依赖单一视觉模态、在视觉信号质量受环境因素影响时识别精度显著下降的问题，本申请在获取视觉信号的同时获取肌电信号，分别生成视觉识别结果和肌电识别结果并进行融合。由于肌电信号的采集不受光照、遮挡等环境因素的影响，当视觉信号质量下降时，本申请能够借助肌电识别结果对视觉识别结果进行补偿，从而避免单一视觉模态在上述场景下识别精度下降的问题，使手语识别在复杂环境下仍能保持良好的识别效果。

1.一种手语识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述视觉识别结果包括多个第一候选手语词条以及每个第一候选手语词条的概率，所述肌电识别结果包括多个第二候选手语词条以及每个第二候选手语词条的概率；

3.根据权利要求2所述的方法，其特征在于，在所述将融合概率最高的候选手语词条作为所述手语识别结果之前，还包括：

4.根据权利要求1所述的方法，其特征在于，在所述视觉信号获取的过程中，缓存所述视觉特征作为视觉历史特征；

5.根据权利要求1所述的方法，其特征在于，所述根据对齐后的肌电特征生成肌电识别结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述映射关系通过校准过程预先建立，所述校准过程包括：

7.一种手语识别装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：

9.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被一个或多个处理器执行，可使得一个或多个处理器执行如权利要求1-6任一项所述的手语识别方法。