一种基于语音识别的玩具机器人交互方法及系统与流程

本发明涉及智能机器人交互，尤其涉及一种基于语音识别的玩具机器人交互方法及系统。

背景技术：

1、随着语音识别、智能机器人控制和儿童交互技术的发展，玩具机器人逐步具备语音采集、语音识别、动作执行和交互反馈能力。现有玩具机器人多对用户语音进行识别，将识别文本映射为预设意图，再调用底盘、舵机、灯光或发声执行器完成对应动作，部分方案利用历史对话记录和机器人状态信息对当前交互内容进行关联处理。

2、现有语音交互方法在用户语音存在对象、方向、动作程度或执行次序歧义时，多采用重新询问、重复识别或直接执行候选动作的方式消除歧义，缺少利用非主任务执行器表达候选语义差异并获取用户反馈的询证机制，容易在语义未确认阶段改变机器人任务状态。

3、当用户对已执行动作进行否定、修正或补充时，现有方法多重新识别当前语音并整体生成新的动作序列，缺少对修正语音、历史语义和已执行动作之间责任关系的追踪，难以确定错误语义实际影响的动作范围，也缺少区分已确认动作与可修正动作的状态约束，容易造成已正确完成动作被重复撤销、局部错误触发整体重规划和连续交互状态衔接不稳定的问题。

4、因此，如何提供一种基于语音识别的玩具机器人交互方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于语音识别的玩具机器人交互方法及系统，本发明充分利用语音识别、异构图推理和机器人执行控制技术，实现语义歧义询证、交互责任定位和局部动作修正，具备交互准确度高、错误动作影响范围小和连续交互稳定性高的优点。

2、根据本发明实施例的一种基于语音识别的玩具机器人交互方法，包括：

3、采集机器人交互数据，对玩具机器人数据执行预处理，生成标准交互数据；

4、基于标准交互数据提取语音证据、语义槽位、动作原语和状态检查点，按语义及执行关系，构建交互异构图；

5、当用户语音对应多个候选意图时，确定语义分歧项，选择非主任务执行器生成代理询证动作，采集反馈并生成修正锚定数据；

6、将交互异构图和修正锚定数据输入改进gtn模型，通过修正锚定双向图变换层、语义责任汇流核层和动作谱系责任迁徙层，生成责任迁徙结果；

7、依据责任迁徙结果确定无责任动作域、责任迁徙域和责任终止边界，生成责任动作范围；

8、将责任动作范围内的已执行动作划分为暂态动作和承诺动作，依据用户确认和交互换轮，建立交互动作双态承诺链并确定修正边界；

9、依据交互动作双态承诺链和修正边界确定待修正动作，保留已承诺动作，恢复对应机器人状态并生成局部替换动作序列，执行后更新交互异构图，生成玩具机器人交互结果。

10、可选的，所述玩具机器人数据包括用户语音数据、机器人状态数据和历史交互数据。

11、可选的，所述对玩具机器人数据执行预处理包括语音降噪、语音端点检测、语音片段识别、时间格式统一、语音时刻与动作执行时刻对齐、机器人状态时刻对齐和历史交互轮次关联。

12、可选的，所述构建交互异构图，包括：

13、从标准交互数据中的用户语音数据中提取语音识别文本、候选识别文本和语音时刻，生成语音证据并执行语义标注，生成对象槽位、动作槽位、方向槽位、程度槽位和次序槽位；

14、从标准交互数据中的机器人状态数据中提取执行器编号、动作类型、动作起止时刻、动作控制量和机器人状态，按执行器编号、动作类型和连续执行时段归并生成动作原语，以动作起止时刻的机器人状态生成状态检查点；

15、从标准交互数据中的历史交互数据中提取交互轮次编号及用户语音与机器人响应动作的关联记录，将语音证据、语义槽位、动作原语和状态检查点映射为节点，依据语义标注、关联记录和动作时序建立语义归属边、动作触发边、执行顺序边和状态到达边，构建交互异构图。

16、可选的，所述采集反馈并生成修正锚定数据，包括：

17、从交互异构图中读取当前语音证据节点及关联语义槽位节点，按同一语音证据对应的候选槽位值组合候选意图，比较对象槽位、动作槽位、方向槽位、程度槽位和次序槽位，将取值不同的槽位确定为语义分歧项；

18、从机器人状态数据中提取执行器编号和可用状态，从历史交互数据中提取动作原语与执行器的调用记录，将候选意图关联动作原语调用的执行器组成主任务执行器集合，从剩余可用执行器中选取能够将语义分歧项映射为不同输出状态的执行器作为代理执行器；

19、将语义分歧项的候选槽位值映射为代理执行器的不同输出状态，生成不调用主任务执行器集合的代理询证动作并执行；

20、从用户语音数据中提取代理询证动作执行后的用户反馈语音和反馈语音时刻并执行语义标注，根据确认反馈保留对应候选意图，根据否定反馈剔除被询证候选意图，根据修正反馈提取修正槽位值并更新语义分歧项对应候选槽位值，确定目标意图和锚定语义槽位节点；

21、将用户反馈语音编号、反馈语音时刻、反馈语义类型、锚定语义槽位节点编号、修正槽位值、目标意图编号、代理询证动作编号和交互轮次编号写入锚定记录，生成修正锚定数据。

22、可选的，所述生成责任迁徙结果，包括：

23、保留gtn模型的关系邻接矩阵软选择、元路径邻接矩阵组合和图特征传播结构，将gtn模型的图变换层改造为修正锚定双向图变换层，在修正锚定双向图变换层输出端依次设置语义责任汇流核层和动作谱系责任迁徙层，构建改进gtn模型；

24、按照交互异构图中的语义归属边、动作触发边、执行顺序边和状态到达边生成对应关系邻接矩阵，从修正锚定数据中读取用户反馈语音编号、锚定语义槽位节点编号和交互轮次编号，生成用户反馈语音节点，将用户反馈语音节点连接至锚定语义槽位节点形成锚定关系，并将锚定关系加入关系邻接矩阵集合；

25、修正锚定双向图变换层设置正向执行通道和修正追溯通道，正向执行通道对关系邻接矩阵执行软选择和加权组合，将相邻图变换层得到的关系邻接矩阵逐层组合并传播节点特征，生成由历史语音证据节点经语义槽位节点到达已执行动作原语节点的正向执行元路径图，修正追溯通道以用户反馈语音节点和锚定关系为起点，在修正锚定数据对应交互轮次内对关系邻接矩阵执行软选择、逐层组合和节点特征传播，生成经锚定语义槽位节点到达历史已执行动作原语节点的修正追溯元路径图；

26、语义责任汇流核层按照交互轮次编号、语义槽位节点编号和动作原语节点编号对齐正向执行元路径图与修正追溯元路径图，将共同经过同一历史语义槽位节点、共同到达同一已执行动作原语节点且动作执行时刻早于用户反馈语音时刻的元路径组合写入责任汇流单元，将关联同一历史语义槽位节点并连接连续实际执行动作的责任汇流单元聚合，生成语义责任汇流核；

27、动作谱系责任迁徙层以语义责任汇流核为起点，仅沿正向执行元路径图中连接实际已执行动作原语的元路径传播责任标记，当前动作原语存在由语义责任汇流核外语义槽位节点出发、不经过语义责任汇流核并到达当前动作原语节点的独立支撑元路径时终止对应责任传播，将终止前最后一个责任动作原语的结束状态检查点确定为责任停止检查点，记录责任标记经过的动作原语、传播顺序和责任停止检查点，生成责任迁徙结果。

28、可选的，所述生成责任动作范围，包括：

29、从责任迁徙结果中读取责任动作原语、传播顺序和责任停止检查点；

30、将未被责任标记经过的已执行动作和由独立支撑元路径阻断责任传播的已执行动作写入无责任动作域，将责任标记连续经过的已执行动作写入责任迁徙域，将责任停止检查点确定为责任终止边界；

31、关联无责任动作域、责任迁徙域和责任终止边界，生成动作责任划分结果。

32、可选的，所述建立交互动作双态承诺链并确定修正边界，包括：

33、从动作责任划分结果中读取责任迁徙域、动作原语编号和状态检查点编号，从用户语音数据中提取用户反馈语音，从历史交互数据中提取用户反馈语音与已执行动作的关联记录和交互轮次编号，将表示动作结果正确的用户反馈语音确定为用户确认语音，并依据交互轮次编号变化生成交互轮次切换记录；

34、将未关联用户确认语音且状态检查点未作为新交互轮次起始状态的已执行动作标记为暂态动作，将满足关联用户确认语音、状态检查点已作为新交互轮次起始状态中至少一项的已执行动作标记为承诺动作；

35、写入动作原语编号、动作状态标记、状态检查点编号、交互轮次编号及承诺动作的用户确认语音编号，按动作执行顺序连接生成交互动作双态承诺链；

36、从责任迁徙域末端逆序检索承诺动作，将距离责任迁徙域末端最近的承诺动作结束状态检查点确定为修正边界，责任迁徙域中不存在承诺动作时，将责任迁徙域起始动作的开始状态检查点确定为修正边界。

37、可选的，所述生成玩具机器人交互结果，包括：

38、依据交互动作双态承诺链和修正边界，将责任迁徙域中位于修正边界之后的暂态动作确定为待修正动作，保留无责任动作和承诺动作；

39、从机器人状态数据中提取当前机器人运动状态、姿态状态和执行器状态，与修正边界对应状态检查点中的机器人状态比较，生成恢复控制量并恢复机器人状态；

40、从修正锚定数据中读取目标意图，根据目标意图的语义槽位和交互异构图中的动作触发关系匹配替换动作原语，按照待修正动作的执行区间和执行顺序生成局部替换动作序列并执行；

41、从机器人状态数据中提取局部替换动作序列的执行状态，从用户语音数据中提取执行后的用户反馈语音，依据执行状态和用户反馈语音生成新增语音证据、语义槽位、动作原语和状态检查点并建立连接边，写回交互异构图，生成玩具机器人交互结果。

42、根据本发明实施例的一种基于语音识别的玩具机器人交互系统，包括如下模块：

43、交互数据处理模块，用于采集机器人交互数据并执行预处理，生成标准交互数据；

44、交互异构图构建模块，用于基于标准交互数据构建交互异构图；

45、代理询证模块，用于基于交互异构图和当前语音证据生成候选意图，选择代理执行器执行代理询证动作，结合用户反馈生成修正锚定数据；

46、责任推理模块，用于将交互异构图和修正锚定数据输入改进gtn模型，生成责任迁徙结果；

47、动作责任划分模块，用于基于责任迁徙结果确定无责任动作域、责任迁徙域和责任终止边界，生成动作责任划分结果；

48、双态承诺构建模块，用于从动作责任划分结果中读取责任迁徙域，划分暂态动作和承诺动作，建立交互动作双态承诺链并确定修正边界；

49、局部交互修正模块，用于依据交互动作双态承诺链、修正边界、动作责任划分结果和修正锚定数据确定待修正动作，更新交互异构图并生成玩具机器人交互结果。

50、本发明的有益效果是：

51、本发明通过采集用户语音数据、机器人状态数据和历史交互数据，生成标准交互数据，并进一步提取语音证据、语义槽位、动作原语和状态检查点，构建交互异构图，使用户语音、语义内容、机器人动作和执行状态能够形成连续关联，提升玩具机器人对交互上下文和实际动作过程的表达完整性，为语音修正和动作责任分析提供稳定的数据基础。

52、本发明在多个候选意图并存时，通过确定语义分歧项和主任务执行器集合，从剩余可用执行器中选择代理执行器，将候选槽位值转换为代理询证动作，在不调用主任务执行器集合的条件下获取用户反馈并生成修正锚定数据，使机器人能够在正式执行目标动作前利用实体输出状态确认用户意图，减少语义歧义直接转化为错误任务动作的问题，提高交互确认效率和语音意图识别准确性。

53、本发明通过包含修正锚定双向图变换层、语义责任汇流核层和动作谱系责任迁徙层的改进gtn模型，对历史执行路径和修正追溯路径进行责任汇流与责任迁徙分析，确定无责任动作域、责任迁徙域和责任终止边界，并结合暂态动作、承诺动作和交互动作双态承诺链限定修正边界，仅对待修正动作生成局部替换动作序列，使已确认动作得到保留，降低局部语义错误引起整轮动作撤销和重复执行的概率，提高连续交互稳定性、动作修正精度和机器人状态恢复效率。