基于表情识别的机器人交互方法、系统、设备及介质与流程

本技术涉及机器人交互的，尤其是涉及基于表情识别的机器人交互方法、系统、设备及介质。

背景技术：

1、随着人工智能技术的快速发展，服务型机器人在家庭、医疗、教育等领域的应用日益广泛。在人机交互过程中，准确理解用户的情绪状态和交互意图对于提升交互体验至关重要。

2、现有的机器人交互方法通常基于单一的语音指令或简单的面部表情识别进行响应。然而，在实际应用场景中，用户的面部表情容易受到环境光照、遮挡等因素的干扰，且仅依靠视觉信息难以准确判断用户的真实情绪强度和生理状态。此外，现有技术往往缺乏对用户个性化特征和历史交互习惯的深度挖掘，导致交互响应的适配度较低，无法满足用户在复杂场景下的个性化交互需求。因此，如何提高机器人对用户情绪状态识别的准确性，并根据用户特征和场景干扰进行自适应的交互响应，是当前亟待解决的技术问题。

技术实现思路

1、为了解决上述中的至少一个技术问题，本技术提供了基于表情识别的机器人交互方法、系统、设备及介质。

2、第一方面，本技术提供的一种基于表情识别的机器人交互方法，采用如下的技术方案：

3、一种基于表情识别的机器人交互方法，包括：

4、获取交互对象的面部图像信息、生理体征信息以及语音交互信息；

5、采集历史交互数据以及所述历史交互数据中交互对象的对象体征信息、交互反馈结果以及场景干扰等级；

6、根据所述生理体征信息以及所述对象体征信息对所述历史交互数据进行个性化筛查，得到与所述交互对象相适配的目标交互数据；

7、根据所述交互反馈结果对所述目标交互数据进行数据完善处理，并对完善处理后的目标交互数据进行多维度特征提取，得到场景特征以及与所述场景特征相对应的表情识别特征、语音特征、生理特征以及交互响应特征；

8、构建多模态融合的预设表情交互模型，所述预设表情交互模型包含表情识别分支、语音解析分支及生理特征分析分支，基于所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述预设表情交互模型进行迭代训练，得到训练完成的表情交互模型；

9、根据所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述面部图像信息、所述生理体征信息以及所述语音交互信息进行协同处理，得到所述交互对象的实时表情状态、情绪强度等级以及交互意图数据；

10、将所述实时表情状态、情绪强度等级以及交互意图数据输入至所述表情交互模型中进行多维度匹配识别，得到交互匹配结果，所述交互匹配结果包含至少一个候选交互响应方案及与至少一个候选交互响应方案对应的适配度评分；

11、判断所述交互匹配结果中是否存在所述适配度评分高于预设适配阈值的最优交互响应方案，若存在，则确定所述最优交互响应方案对应的交互模式，结合所述交互对象的历史交互偏好及当前场景干扰等级，对所述交互模式进行动态适配调整，得到适配后的交互响应方案；

12、根据所述适配后的交互响应方案，控制机器人执行对应的交互动作。

13、通过采用上述技术方案，通过获取交互对象的面部图像、生理体征及语音信息，并结合历史交互数据进行个性化筛查，构建了精准的用户画像；利用多模态融合的表情交互模型，综合处理多源信息，有效解决了单一模态识别易受环境干扰和遮挡影响的问题，显著提高了情绪识别的准确性和鲁棒性；通过协同处理实时数据，准确获取用户的实时表情状态、情绪强度及交互意图；进一步地，结合历史交互偏好和场景干扰等级对交互模式进行动态适配调整，使得交互响应方案更加符合用户的个性化需求和当前场景特征，极大地提升了人机交互的自然度和用户满意度。

14、本技术在一较佳示例中可以进一步配置为：所述基于所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述预设表情交互模型进行迭代训练，得到训练完成的表情交互模型，包括：

15、根据所述场景特征中的交互场景环境信息及所述场景干扰等级，将所述历史交互数据划分为不同场景类别，得到每个场景类别对应一组表情识别特征、语音特征、生理特征以及交互响应特征；

16、计算所述表情识别特征、所述语音特征与所述生理特征之间的关联强度，确定每个场景类别对应的协同关联关系，以及所述协同关联关系与所述交互响应特征的对应映射关系；

17、对每个场景类别的表情识别特征进行精细化分类标注，得到表情类别标签及情绪强度标签；

18、基于所述协同关联关系以及所述对应映射关系将每个场景类别下的表情识别特征、语音特征、生理特征、表情类别标签、情绪强度标签以及交互响应特征构建为特征输入与交互响应输出的训练样本组集；

19、将所述训练样本组集输入至预设表情交互模型中进行迭代训练，并根据所述场景干扰等级动态调整表情、语音、生理三个特征分支的权重，得到训练后的预设表情交互模型；

20、对所述训练后的预设表情交互模型进行验证，计算所述预设表情交互模型的表情识别准确率、交互意图匹配准确率及响应适配率，并当所述表情识别准确率、所述交互意图匹配准确率及所述响应适配率均达到预设阈值时停止训练，得到训练完成的表情交互模型。

21、本技术在一较佳示例中可以进一步配置为：所述根据所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述面部图像信息、所述生理体征信息以及所述语音交互信息进行协同处理，得到所述交互对象的实时表情状态、情绪强度等级以及交互意图数据，包括：

22、对获取的面部图像信息、生理体征信息、语音交互信息分别进行预处理，提取实时表情特征、实时生理特征、实时语音特征；

23、基于所述协同关联关系，对实时表情特征与表情识别特征进行匹配，结合所述实时生理特征交叉验证，确定实时表情类别及情绪强度等级；

24、对所述实时表情类别以及所述情绪强度等级进行跟踪特征变化处理，得到实时表情状态；

25、根据所述实时表情状以及所述实时生理特征，对所述实时语音特征进行语义解析，得到交互对象的交互意图数据。

26、本技术在一较佳示例中可以进一步配置为：所述对所述实时表情类别以及所述情绪强度等级进行跟踪特征变化处理，得到实时表情状态，包括：

27、计算所述实时表情特征与每个表情类别标签对应的表情识别特征的相似度，结合实时生理特征交叉验证，确定初步表情类别及情绪强度等级；

28、跟踪预设时间间隔内的实时表情特征、实时生理特征变化，判断所述初步表情类别及所述情绪强度等级的稳定性，确定所述交互对象的实时表情状态。

29、本技术在一较佳示例中可以进一步配置为：所述确定所述最优交互响应方案对应的交互模式，结合所述交互对象的历史交互偏好及当前场景干扰等级，对所述交互模式进行动态适配调整，得到适配后的交互响应方案，包括：

30、获取所述交互对象的历史交互偏好数据，并基于协同过滤算法挖掘所述历史交互偏好数据中的偏好规律，生成个性化偏好模型；

31、结合当前场景干扰等级调整交互响应的呈现形式，得到初始呈现形式；

32、基于个性化偏好模型、协同关联关系及对应映射关系，调整交互响应方案的内容细节、初始呈现形式及交互节奏，得到调整后的交互响应方案；

33、对调整后的交互响应方案进行合理性以及契合度校验，得到适配后的交互响应方案。

34、本技术在一较佳示例中可以进一步配置为：所述对调整后的交互响应方案进行合理性以及契合度校验，得到适配后的交互响应方案，包括：

35、提取调整后的交互响应方案的核心内容与所述交互意图数据进行语义匹配，判断所述核心内容的优先级是否合理，若所述核心内容的优先级合理且语义匹配度大于等于预设匹配阈值，则确定所述交互响应方案的语气、响应速度、肢体动作与实时表情状态、情绪强度等级是否匹配；

36、若所述交互响应方案的语气、响应速度、肢体动作与实时表情状态、情绪强度等级匹配，则对所述交互响应方案的呈现形式、内容细节与当前场景干扰等级、历史交互偏好的契合度进行校验，得到与所述调整后的交互响应方案相对应的契合度；

37、判断所述契合度是否满足预设契合度范围，若满足，则判定所述交互响应方案合理，得到适配后的交互响应方案；若任意一项不达标，则重新调整交互响应方案的内容、语气、呈现形式，直至校验项均通。

38、第二方面，本技术提供一种基于表情识别的机器人交互系统，采用如下的技术方案：

39、一种基于表情识别的机器人交互系统，包括：

40、信息获取模块，用于获取交互对象的面部图像信息、生理体征信息以及语音交互信息；

41、信息采集模块，用于采集历史交互数据以及所述历史交互数据中交互对象的对象体征信息、交互反馈结果以及场景干扰等级；

42、数据筛查模块，用于根据所述生理体征信息以及所述对象体征信息对所述历史交互数据进行个性化筛查，得到与所述交互对象相适配的目标交互数据；

43、特征提取模块，用于根据所述交互反馈结果对所述目标交互数据进行数据完善处理，并对完善处理后的目标交互数据进行多维度特征提取，得到场景特征以及与所述场景特征相对应的表情识别特征、语音特征、生理特征以及交互响应特征；

44、模型构建模块，用于构建多模态融合的预设表情交互模型，所述预设表情交互模型包含表情识别分支、语音解析分支及生理特征分析分支，基于所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述预设表情交互模型进行迭代训练，得到训练完成的表情交互模型；

45、协同处理模块，用于根据所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述面部图像信息、所述生理体征信息以及所述语音交互信息进行协同处理，得到所述交互对象的实时表情状态、情绪强度等级以及交互意图数据；

46、匹配识别模块，用于将所述实时表情状态、情绪强度等级以及交互意图数据输入至所述表情交互模型中进行多维度匹配识别，得到交互匹配结果，所述交互匹配结果包含至少一个候选交互响应方案及与至少一个候选交互响应方案对应的适配度评分；

47、适配调整模块，用于判断所述交互匹配结果中是否存在所述适配度评分高于预设适配阈值的最优交互响应方案，若存在，则确定所述最优交互响应方案对应的交互模式，结合所述交互对象的历史交互偏好及当前场景干扰等级，对所述交互模式进行动态适配调整，得到适配后的交互响应方案；

48、控制执行模块，用于根据所述适配后的交互响应方案，控制机器人执行对应的交互动作。

49、在一种可能的实现方式中，所述模型构建模块在基于所述表情识别特征、所述语音特征、所述生理特征以及所述交互响应特征，对所述预设表情交互模型进行迭代训练，得到训练完成的表情交互模型时，具体用于：

50、根据所述场景特征中的交互场景环境信息及所述场景干扰等级，将所述历史交互数据划分为不同场景类别，得到每个场景类别对应一组表情识别特征、语音特征、生理特征以及交互响应特征；

51、计算所述表情识别特征、所述语音特征与所述生理特征之间的关联强度，确定每个场景类别对应的协同关联关系，以及所述协同关联关系与所述交互响应特征的对应映射关系；

52、对每个场景类别的表情识别特征进行精细化分类标注，得到表情类别标签及情绪强度标签；

53、基于所述协同关联关系以及所述对应映射关系将每个场景类别下的表情识别特征、语音特征、生理特征、表情类别标签、情绪强度标签以及交互响应特征构建为特征输入与交互响应输出的训练样本组集；

54、将所述训练样本组集输入至预设表情交互模型中进行迭代训练，并根据所述场景干扰等级动态调整表情、语音、生理三个特征分支的权重，得到训练后的预设表情交互模型；

55、对所述训练后的预设表情交互模型进行验证，计算所述预设表情交互模型的表情识别准确率、交互意图匹配准确率及响应适配率，并当所述表情识别准确率、所述交互意图匹配准确率及所述响应适配率均达到预设阈值时停止训练，得到训练完成的表情交互模型。

56、第三方面，本技术提供一种电子设备，采用如下技术方案：

57、一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于表情识别的机器人交互方法的步骤。

58、第四方面，本技术是提供计算机存储介质，如下技术方案：

59、一种计算机可读存储介质，所述一种计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于表情识别的机器人交互方法的步骤。

60、综上所述，本技术具有以下有益技术效果：

61、通过获取交互对象的面部图像、生理体征及语音信息，并结合历史交互数据进行个性化筛查，构建了精准的用户画像；利用多模态融合的表情交互模型，综合处理多源信息，有效解决了单一模态识别易受环境干扰和遮挡影响的问题，显著提高了情绪识别的准确性和鲁棒性；通过协同处理实时数据，准确获取用户的实时表情状态、情绪强度及交互意图；进一步地，结合历史交互偏好和场景干扰等级对交互模式进行动态适配调整，使得交互响应方案更加符合用户的个性化需求和当前场景特征，极大地提升了人机交互的自然度和用户满意度。