基于大模型的机器人交互系统、方法、介质、终端及程序产品与流程

摘要: 本申请涉及人机交互,特别是涉及一种基于大模型的机器人交互系统、方法、介质、终端及程序产品。背景技术:1、脑-机接口(braincomputerinterface...
基于大模型的机器人交互系统、方法、介质、终端及程序产品与流程

本申请涉及人机交互,特别是涉及一种基于大模型的机器人交互系统、方法、介质、终端及程序产品。

背景技术:

1、脑-机接口(brain computer interface,bci)技术旨在建立人脑与外部设备之间的直接通信通路。近年来,随着脑电采集设备的轻量化发展,可穿戴脑电设备逐渐应用于消费级场景,如注意力监测、疲劳预警等。与此同时,机器人技术已广泛应用于教育、陪伴、服务等领域。将脑电信号用于机器人交互,有望实现更加自然、免提的交互方式。

2、目前已有的脑电连接机器人方案主要分为两类:(1)基于预设规则的映射方法:例如,检测到用户眨眼则发出指令机器人前进,检测到专注度升高则机器人转向,然而,这类方法需要人工设定“脑电特征-指令”的刚性规则,交互模式固定、缺乏灵活性,且无法理解用户的情绪状态或意图变化;(2)基于传统机器学习的分类方法:通过采集大量脑电数据训练分类器,将不同脑电模式对应到有限个指令,然而,这类方法泛化能力弱,当用户状态变化或环境改变时性能会下降,且通常只能支持少量离散指令(如前、后、左、右),难以实现丰富的、拟人化的交互。

3、基于上述分析可知,现有方案普遍缺乏对用户情感状态的理解与反馈,机器人仅能执行机械指令,无法根据用户的情绪(如高兴、疲劳、紧张)做出相应的动态回应,导致交互体验生硬、不自然。

4、因此,有必要提供一种基于大模型的机器人交互系统、方法、介质、终端及程序产品,以解决现有技术中存在的上述问题。

技术实现思路

1、鉴于以上所述现有技术的缺点,本申请的目的在于提供一种基于大模型的机器人交互系统、方法、介质、终端及程序产品,用于解决现有的脑电连接机器人方案无法根据用户的情绪做出相应的动态回应,导致交互体验生硬、不自然的技术问题。

2、为实现上述目的及其他相关目的,本申请的第一方面提供一种基于大模型的机器人交互系统,包括:脑电信号获取模块,用于采集用户预设脑部区域的脑电信号,并对采集的所述脑电信号进行预处理;特征提取模块,用于对预处理后的脑电信号中提取出多维脑电特征,并将所提取的所述多维脑电特征传输至终端设备;大模型交互模块,用于调用被部署于云端的预训练的大模型,根据预设提示词和所接收到的所述终端设备传输的所述多维脑电特征生成用户情绪标签,并依据所述用户情绪标签向所述终端设备输出机器人动作指令;机器人执行模块,用于依据所接收到的所述终端设备传输的所述机器人动作指令执行相应的动作。

3、于本申请的第一方面的一些实施例中,还包括:指令生成模块,用于根据所接收到的所述大模型生成的所述用户情绪标签,基于预设的情绪与动作映射表生成相应的机器人动作指令,并将所生成的所述机器人动作指令下发至所述机器人执行模块。

4、于本申请的第一方面的一些实施例中,还包括通信模块,与所述特征提取模块通信连接,用于将所述特征提取模块提取的所述多维脑电特征传输至所述终端设备。

5、于本申请的第一方面的一些实施例中,所述多维脑电特征包括频域特征、时域特征以及事件特征。

6、于本申请的第一方面的一些实施例中,所述预设脑部区域包括前额叶左区、前额叶右区、左颞区和右颞区。

7、于本申请的第一方面的一些实施例中,所述脑电信号获取模块包括:信号采集单元,用于实时采集用户脑部前额叶左区、前额叶右区、左颞区和右颞区的脑电信号;信号预处理单元,用于对所采集的所述脑电信号进行去噪处理、伪迹去除处理,以得到预处理后的脑电信号。

8、为实现上述目的及其他相关目的,本申请的第二方面提供一种基于大模型的机器人交互方法,包括:采集用户预设脑部区域的脑电信号,并对采集的所述脑电信号进行预处理;对预处理后的脑电信号中提取出多维脑电特征,并将所提取的所述多维脑电特征传输至终端设备;调用被部署于云端的预训练的大模型,根据预设提示词和所接收到的所述终端设备传输的所述多维脑电特征生成用户情绪标签,并依据所述用户情绪标签向所述终端设备输出机器人动作指令;依据所接收到的所述终端设备传输的所述机器人动作指令执行相应的动作。

9、为实现上述目的及其他相关目的,本申请的第三方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述方法。

10、为实现上述目的及其他相关目的,本申请的第四方面提供一种计算机程序产品,所述计算机程序产品中包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机实现所述方法。

11、为实现上述目的及其他相关目的,本申请的第五方面提供一种电子终端,包括存储器、处理器及存储在存储器上的计算机程序;所述处理器执行所述计算机程序以实现所述方法。

12、如上所述,本申请的基于大模型的机器人交互系统、方法、介质、终端及程序产品,具有以下有益效果:

13、通过首先采集用户预设脑部区域的脑电信号,并对采集的脑电信号进行预处理;再对预处理后的脑电信号中提取出多维脑电特征,并将所提取的多维脑电特征传输至终端设备;然后,调用被部署于云端的预训练的大模型,根据预设提示词和所接收到的终端设备传输的多维脑电特征生成用户情绪标签,并依据用户情绪标签向终端设备输出机器人动作指令;最后,机器人依据所接收到的终端设备传输的机器人动作指令执行相应的动作,本申请能够根据用户的情绪状态做出相应的动态交互指令,使得机器人交互更加自然,提高了用户交互体验。

1.一种基于大模型的机器人交互系统,其特征在于,包括:

2.根据权利要求1所述的基于大模型的机器人交互系统,其特征在于,还包括:指令生成模块,用于根据所接收到的所述大模型生成的所述用户情绪标签,基于预设的情绪与动作映射表生成相应的机器人动作指令,并将所生成的所述机器人动作指令下发至所述机器人执行模块。

3.根据权利要求1所述的基于大模型的机器人交互系统,其特征在于,还包括通信模块,与所述特征提取模块通信连接,用于将所述特征提取模块提取的所述多维脑电特征传输至所述终端设备。

4.根据权利要求1所述的基于大模型的机器人交互系统,其特征在于,所述多维脑电特征包括频域特征、时域特征以及事件特征。

5.根据权利要求1所述的基于大模型的机器人交互系统,其特征在于,所述预设脑部区域包括前额叶左区、前额叶右区、左颞区和右颞区。

6.根据权利要求5所述的基于大模型的机器人交互系统,其特征在于,所述脑电信号获取模块包括:

7.一种基于大模型的机器人交互方法,其特征在于,包括:

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求7中所述方法。

9.一种计算机程序产品,其特征在于,所述计算机程序产品中包括计算机程序代码,当所述计算机程序代码在计算机上运行时,使得所述计算机实现如权利要求7中所述方法。

10.一种电子终端,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现如权利要求7中所述方法。