面向老年人情感陪伴的多模态情感大模型交互方法、系统、设备及介质

摘要: 本发明涉及人工智能领域,尤其涉及一种面向老年人情感陪伴的多模态情感大模型交互方法、系统、设备及介质。背景技术:1、随着老龄化趋势加深,独居、空巢、子女长期不在身...
面向老年人情感陪伴的多模态情感大模型交互方法、系统、设备及介质

本发明涉及人工智能领域,尤其涉及一种面向老年人情感陪伴的多模态情感大模型交互方法、系统、设备及介质。

背景技术:

1、随着老龄化趋势加深,独居、空巢、子女长期不在身边的老年人数量增加。老年人在日常生活中不仅存在信息获取、提醒、健康关怀等需求,还存在更加长期和隐性的情感陪伴需求,包括日常聊天、孤独缓解、亲情连接、回忆交流、被倾听和被关注等。

2、然而,当前的智慧养老系统多关注安全报警、健康监测、定位、用药提醒等功能,且相关的智能音箱或语音助手虽然能够提供简单的问答和音乐播放,但通常依赖用户的主动唤醒和明确指令,以及,老年人的情感表达也具有特殊性,例如,有些老年人并不会直接说“我很孤独”,而是通过其他表达形式间接表现出自身的情感状态,而当前的智慧养老系统仅根据单次语言文本内容进行识别,容易忽视老年人实际表现出来的情感信号,进而导致目前针对老年人的情感陪伴的准确性和主动性较低。

技术实现思路

1、基于上述技术问题,本发明提供一种面向老年人情感陪伴的多模态情感大模型交互方法、系统、设备及介质,旨在克服上述问题或者至少部分地解决上述问题。

2、本发明第一方面提供了一种面向老年人情感陪伴的多模态情感大模型交互方法,应用于情感陪伴机器人,所述方法包括:

3、同步采集老年人的当前老年人语音和对应的当前面部视频,并获取与老年人的历史人机交互信息;

4、将当前老年人语音、当前面部视频以及当前老年人语音对应的当前老年人文本输入多模态情感大模型,得到当前文本语义线索、当前语音情绪线索以及当前表情线索;

5、根据当前文本语义线索、当前语音情绪线索、当前表情线索以及历史人机交互信息,确定老年人的情感状态;

6、根据老年人的情感状态,确定是否触发主动提问式情感陪伴;

7、在触发主动提问式情感陪伴的情况下,生成主动提问文本并作为当前机器人文本;

8、将当前机器人文本转换为当前机器人语音并播放。

9、本发明第二方面提供了一种面向老年人情感陪伴的多模态情感大模型交互系统,应用于情感陪伴机器人,所述系统包括:

10、数据采集模块,用于同步采集老年人的当前老年人语音和对应的当前面部视频,并获取与老年人的历史人机交互信息;

11、数据分析模块,用于将当前老年人语音、当前面部视频以及当前老年人语音对应的当前老年人文本输入多模态情感大模型,得到当前文本语义线索、当前语音情绪线索以及当前表情线索;

12、状态确定模块,用于根据当前文本语义线索、当前语音情绪线索、当前表情线索以及历史人机交互信息,确定老年人的情感状态;

13、主动陪伴模块,用于根据老年人的情感状态,确定是否触发主动提问式情感陪伴;

14、第一生成模块,用于在触发主动提问式情感陪伴的情况下,生成主动提问文本并作为当前机器人文本;

15、语音播放模块,用于将当前机器人文本转换为当前机器人语音并播放。

16、本发明第三方面提供了一种电子设备,所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如本发明第一方面所述的面向老年人情感陪伴的多模态情感大模型交互方法的步骤。

17、本发明第四方面提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如本发明第一方面所述的面向老年人情感陪伴的多模态情感大模型交互方法的步骤。

18、在本发明提出的面向老年人情感陪伴的多模态情感大模型交互方法中,首先,通过预先训练的多模态情感大模型,对获取到的老年人在交互过程中的当前老年人语音、当前面部视频和当前老年人文本进行处理,得到当前文本语义线索、当前语音情绪线索以及当前表情线索;然后,通过多模态情感大模型基于当前文本语义线索、当前语音情绪线索、当前表情线索以及历史人机交互信息进行推理,确定老年人的情感状态;最后,根据老年人的情感状态,确定是否触发主动提问式情感陪伴,并在触发主动提问式情感陪伴的情况下,生成主动提问文本以转换为当前机器人语音并播放,完成情感陪伴机器人与老年人的交互。如此,本发明不再仅根据单次语言文本内容进行识别,而是利用老年人的面部视频、语音、语言文本、历史交互和生活上下文等多模态信息,基于多模态信息中蕴含的语气、表情、历史交互变化、沉默时长等连续性情感信号主动识别出老年人的情感状态,提高了对老年人情感状态识别的准确性;并且,基于老年人的情感状态确定是否触发主动提问式情感陪伴,将情感识别结果进一步转化为主动问候等陪伴行为,从而无需依赖用户的主动唤醒或明确指令,能够从与老年人交互中的单次问答扩展到连续陪伴,提升了老年人情感陪伴的主动性,提升了多模态情感大模型在养老陪伴场景中的实用价值。

1.一种面向老年人情感陪伴的多模态情感大模型交互方法,应用于情感陪伴机器人,其特征在于,所述方法包括:

2.根据权利要求1所述的面向老年人情感陪伴的多模态情感大模型交互方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的面向老年人情感陪伴的多模态情感大模型交互方法,其特征在于,将当前老年人语音、当前面部视频以及当前老年人语音对应的当前老年人文本输入多模态情感大模型,得到当前文本语义线索、当前语音情绪线索以及当前表情线索,包括:

4.根据权利要求1所述的面向老年人情感陪伴的多模态情感大模型交互方法,其特征在于,根据当前文本语义线索、当前语音情绪线索、当前表情线索以及历史人机交互信息,确定老年人的情感状态,包括:

5.根据权利要求2所述的面向老年人情感陪伴的多模态情感大模型交互方法,其特征在于,所述方法还包括:

6.根据权利要求1至5任一项所述的面向老年人情感陪伴的多模态情感大模型交互方法,其特征在于,所述方法包括:

7.根据权利要求1至5任一项所述的面向老年人情感陪伴的多模态情感大模型交互方法,其特征在于,根据老年人的情感状态,确定是否触发主动提问式情感陪伴,包括:

8.一种面向老年人情感陪伴的多模态情感大模型交互系统,应用于情感陪伴机器人,其特征在于,所述系统包括:

9.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至7任一项所述的面向老年人情感陪伴的多模态情感大模型交互方法的步骤。

10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至7任一项所述的面向老年人情感陪伴的多模态情感大模型交互方法的步骤。