一种桌面陪伴机器人互动控制方法及芯片与流程

摘要: 本发明涉及机器人控制,尤其涉及一种桌面陪伴机器人互动控制方法及芯片。背景技术:1、现有桌面陪伴机器人大多采用一体化集成处理架构,整机内部语音感知、情感计算与反馈...
一种桌面陪伴机器人互动控制方法及芯片与流程

本发明涉及机器人控制,尤其涉及一种桌面陪伴机器人互动控制方法及芯片。

背景技术:

1、现有桌面陪伴机器人大多采用一体化集成处理架构,整机内部语音感知、情感计算与反馈执行模块高度耦合,机器人通过内置麦克风独立采集用户语音信号,集中完成语音识别、语义分析与情感分类工作,并基于单一计算结果驱动灯光、屏幕表情、肢体舵机等执行结构输出陪伴反馈动作。在传统架构下,机器人内部各类反馈执行单元无差异化独立响应,各执行单元之间无状态协同与同步机制。

2、当桌面陪伴机器人搭载多组反馈执行单元实现多维度、立体化陪伴交互场景时,现有一体化架构仍采用全模块同步运行、各执行单元独立响应的工作模式,所有反馈执行单元均需持续参与状态计算与动作判定,极易出现机器人整机内部各执行单元的陪伴反馈动作、情绪表现不一致的问题,降低人机陪伴的沉浸式与协调性。而且,传统架构需要整机持续运行语音感知、情感计算等高频计算模块,所有执行单元全程保持实时状态检测与运算,无效计算、冗余判定频次较高,导致机器人整体运行功耗居高不下。

技术实现思路

1、本发明提供一种桌面陪伴机器人互动控制方法及芯片,本发明既保障了情绪反馈的实时性与准确性,又能根据电量状态智能适配驱动强度,避免高功耗满载运行,在实现机器人多执行智能体反馈高度一致、交互体验优化的前提下,最大化降低整机整体运行功耗,适配桌面机器人长时间待机陪伴的使用场景。

2、第一方面,本技术实施例提供了一种桌面陪伴机器人互动控制方法,应用于集成有一个对话认知智能体和多个反馈执行智能体的桌面陪伴机器人多智能体系统,所述对话认知智能体仅设有对话语义感知层,各所述反馈执行智能体仅设有陪伴反馈执行层,包括以下步骤:

3、将所述对话认知智能体采集的用户语音信号输入所述对话语义感知层进行语音识别及情感分类,得到对话情绪状态值;

4、根据所述对话情绪状态值,对所述反馈执行智能体的本地情绪状态值进行一致性协同修正,得到目标情绪状态值;

5、根据所述反馈执行智能体的对话静默时长及剩余电量数值计算动态事件触发阈值,并根据所述目标情绪状态值与所述动态事件触发阈值生成事件触发判断结果;

6、当所述事件触发判断结果为满足触发条件时,将所述目标情绪状态值及所述剩余电量数值输入所述陪伴反馈执行层进行分级驱动,输出陪伴反馈执行动作,并将所述目标情绪状态值作为最近同步时刻本地情绪状态值;当所述事件触发判断结果为不满足触发条件时,维持所述陪伴反馈执行层当前输出的陪伴反馈执行动作。

7、可选的,在本发明第一方面的第一种实现方式中,所述将所述对话认知智能体采集的用户语音信号输入所述对话语义感知层进行语音识别及情感分类,得到对话情绪状态值,包括:

8、通过所述对话认知智能体采集用户语音信号,并对所述用户语音信号进行语音端点检测及语音识别,得到对话文本;

9、计算所述用户语音信号的基频、语速及能量参数,并将所述基频、所述语速及所述能量参数作为语音韵律参数;

10、根据所述语音韵律参数对所述对话文本进行情感倾向分析,得到对话情绪状态值。

11、可选的,在本发明第一方面的第二种实现方式中,所述根据所述语音韵律参数对所述对话文本进行情感倾向分析,得到对话情绪状态值,包括:

12、对所述对话文本进行情感倾向分类,得到候选情绪类别及类别置信度,并对所述语音韵律参数进行加权求和,计算得到声学情绪强度值;

13、根据所述声学情绪强度值对所述候选情绪类别的类别置信度进行修正,确定对话情绪状态值。

14、可选的,在本发明第一方面的第三种实现方式中,所述根据所述对话情绪状态值,对所述反馈执行智能体的本地情绪状态值进行一致性协同修正,得到目标情绪状态值,包括:

15、根据所述对话情绪状态值与所述反馈执行智能体的本地情绪状态值,计算所述反馈执行智能体的认知跟踪修正量,所述认知跟踪修正量用于使所述反馈执行智能体跟踪所述对话认知智能体的全局情绪状态;

16、根据所述反馈执行智能体的本地情绪状态值与各相邻反馈执行智能体的最近同步时刻本地情绪状态值计算邻居协同修正量,所述邻居协同修正量用于使多个反馈执行智能体之间的情绪状态保持一致;

17、对所述认知跟踪修正量与所述邻居协同修正量进行叠加,对所述反馈执行智能体的本地情绪状态值执行一致性协同修正,得到目标情绪状态值。

18、可选的,在本发明第一方面的第四种实现方式中,所述根据所述反馈执行智能体的本地情绪状态值与各相邻反馈执行智能体的最近同步时刻本地情绪状态值计算邻居协同修正量,包括:

19、根据所述反馈执行智能体的本地情绪状态值与每一相邻反馈执行智能体的最近同步时刻本地情绪状态值,计算多个邻居偏差值;

20、根据预设的智能体通信拓扑邻接权重,对所述多个邻居偏差值进行加权求和,得到邻居协同修正量。

21、可选的,在本发明第一方面的第五种实现方式中,所述根据所述反馈执行智能体的对话静默时长及剩余电量数值计算动态事件触发阈值,并根据所述目标情绪状态值与所述动态事件触发阈值生成事件触发判断结果,包括:

22、基于所述反馈执行智能体的对话静默时长及剩余电量数值计算阈值放大系数,并基于所述阈值放大系数调整预设基准阈值,得到动态事件触发阈值;

23、根据所述目标情绪状态值与所述反馈执行智能体的本地情绪状态值,与所述动态事件触发阈值生成事件触发判断结果。

24、可选的,在本发明第一方面的第六种实现方式中,所述根据所述目标情绪状态值与所述反馈执行智能体的本地情绪状态值,与所述动态事件触发阈值生成事件触发判断结果,包括:

25、根据所述目标情绪状态值与所述反馈执行智能体的本地情绪状态值计算情绪偏差值,并对所述情绪偏差值进行归一化处理,得到差异程度;

26、将所述差异程度与所述动态事件触发阈值进行比较,得到事件触发判断结果。

27、可选的,在本发明第一方面的第七种实现方式中,所述当所述事件触发判断结果为满足触发条件时,将所述目标情绪状态值及所述剩余电量数值输入所述陪伴反馈执行层进行分级驱动,输出陪伴反馈执行动作,并将所述目标情绪状态值作为最近同步时刻本地情绪状态值;当所述事件触发判断结果为不满足触发条件时,维持所述陪伴反馈执行层当前输出的陪伴反馈执行动作,包括:

28、当所述事件触发判断结果为满足触发条件时,根据所述反馈执行智能体的剩余电量数值匹配对应的执行功率等级;

29、根据所述目标情绪状态值及所述执行功率等级驱动所述陪伴反馈执行层,输出陪伴反馈执行动作,并将所述目标情绪状态值作为最近同步时刻本地情绪状态值;

30、当所述事件触发判断结果为不满足触发条件时,维持所述陪伴反馈执行层当前输出的陪伴反馈执行动作。

31、可选的,在本发明第一方面的第八种实现方式中,所述根据所述目标情绪状态值及所述执行功率等级驱动所述陪伴反馈执行层,输出陪伴反馈执行动作,并将所述目标情绪状态值作为最近同步时刻本地情绪状态值,包括:

32、根据所述目标情绪状态值匹配基础反馈动作参数组,并基于所述执行功率等级对所述基础反馈动作参数组进行幅值调整,得到目标反馈动作参数组;

33、将所述目标反馈动作参数组输入所述陪伴反馈执行层,输出陪伴反馈执行动作,并将所述目标情绪状态值作为最近同步时刻本地情绪状态值。

34、第二方面,本技术实施例提供了一种桌面陪伴机器人互动控制芯片,用于执行上述桌面陪伴机器人互动控制方法的步骤。

35、上述桌面陪伴机器人互动控制方法及芯片所提供的一个方案中,本发明实现了机器人认知感知与反馈执行的功能完全解耦,仅由独立的对话认知智能体搭载对话语义感知层,统一完成语音采集、语音识别与情感分类工作,生成唯一的对话情绪状态值;各反馈执行智能体仅配置陪伴反馈执行层,无需持续执行语音处理、情感计算等高负荷运算,彻底规避了传统多执行单元独立计算带来的重复运算问题,降低了机器人整机的持续计算负担,有效降低空载运行功耗。本发明构建了多反馈执行智能体的双层情绪一致性协同修正机制,结合对话认知智能体输出的对话情绪状态值偏差、以及各相邻反馈执行智能体的历史同步情绪状态偏差,对各本地情绪状态值进行加权协同修正。相较于传统各执行单元独立更新状态的方式,本发明可保证机器人内部所有反馈执行智能体的情绪状态、反馈动作高度协调统一,解决了多维度陪伴反馈表现紊乱、不一致的问题,提升人机陪伴交互的整体性与沉浸式体验。本发明采用异步事件触发的状态同步机制,各反馈执行智能体仅在触发时刻向相邻智能体传递最近同步时刻的本地情绪状态值,无需持续进行全时段状态交互与数据同步,减少了机器人内部各智能体之间的数据交互频次与协同计算量,进一步优化了整机运行能效。本发明设计了适配交互状态与电量状态的动态事件触发阈值机制,基于对话静默时长、剩余电量数值动态放大预设基准阈值,替代传统固定阈值、周期性强制触发的判定方式。能够根据机器人实际交互场景与剩余电量状态自适应调整触发灵敏度,有效规避了无交互场景下的无效状态比对、冗余动作驱动问题,进一步减少无效功耗损耗。本发明实现了反馈动作的分级驱动控制,在满足触发条件时,根据反馈执行智能体的剩余电量匹配对应执行功率等级,结合修正后情绪状态值自适应调整反馈动作参数幅值;未满足触发条件时维持原有输出状态。既保障了情绪反馈的实时性与准确性,又能根据电量状态智能适配驱动强度,避免高功耗满载运行,在实现机器人多执行智能体反馈高度一致、交互体验优化的前提下,最大化降低整机整体运行功耗,适配桌面机器人长时间待机陪伴的使用场景。