一种智能终端机多模态人机交互实现方法及系统与流程

摘要: 本发明涉及人机交互设备,特别涉及一种智能终端机多模态人机交互实现方法及系统。背景技术:1、人机交互设备广泛应用于各类智能终端场景,设备交互体验直接影响用户操作效...
一种智能终端机多模态人机交互实现方法及系统与流程

本发明涉及人机交互设备,特别涉及一种智能终端机多模态人机交互实现方法及系统。

背景技术:

1、人机交互设备广泛应用于各类智能终端场景,设备交互体验直接影响用户操作效率与使用安全,多模态交互作为提升人机体验的重要手段,其运行稳定性至关重要。现有技术中,人机交互设备的多模态交互大多依赖云端大模型完成推理运算。该方式在网络条件良好环境下可以实现流畅交互,但在网络变差或断网场景下暴露出明显短板。

2、现有技术至少存在如下问题:由于网络波动、断网等情况,云端大模型失效会造成多模态交互中断沉默;离线状态模态缺失易引发误执行,缺乏有效的安全兜底机制,难以保障人机交互设备弱网、断网工况下交互的连续性与操作安全性。

技术实现思路

1、本申请提供了一种智能终端机多模态人机交互实现方法及系统,解决了智能终端在网络不稳定时,依赖网络的高复杂度交互处理能力会中断,且缺乏防误触机制的技术问题。

2、本申请的第一个方面,提供了一种智能终端机多模态人机交互实现方法,所述方法包括:由智能终端机获取当前网络质量参数,当所述网络质量参数低于预设的降级触发阈值时,将交互模态处理链路从云端大模型推理切换至本地端侧轻量模型推理,并根据所述端侧轻量模型的处理能力更新可用模态集合;基于所述可用模态集合采集用户的多模态输入信号,并基于所述端侧轻量模型对所述多模态输入信号进行置信度评估,输出当前交互意图及对应的置信度评分;当所述置信度评分低于预设的置信阈值时,则将上一轮已确认的交互意图作为当前执行意图执行,同时驱动物理指示灯以预设脉冲模式闪烁,并在显示屏上显示提示信息;在执行所述上一轮已确认的交互意图后,持续监听用户在预设的时间窗口内的撤销指令或修正输入,若接收到所述撤销指令则中止执行并恢复待机状态,若接收到所述修正输入则基于所述可用模态集合重新采集用户的多模态输入信号。

3、本申请的第二个方面,提供了一种智能终端机多模态人机交互实现系统,所述系统包括:端侧轻量模型更新模块,由智能终端机获取当前网络质量参数,当所述网络质量参数低于预设的降级触发阈值时,将交互模态处理链路从云端大模型推理切换至本地端侧轻量模型推理,并根据所述端侧轻量模型的处理能力更新可用模态集合;端侧轻量模型输出模块,基于所述可用模态集合采集用户的多模态输入信号,并基于所述端侧轻量模型对所述多模态输入信号进行置信度评估,输出当前交互意图及对应的置信度评分;预设置信阈值判定模块,用于当所述置信度评分低于预设的置信阈值时,则将上一轮已确认的交互意图作为当前执行意图执行,同时驱动物理指示灯以预设脉冲模式闪烁,并在显示屏上显示提示信息;用户指令监听模块,用于在执行所述上一轮已确认的交互意图后,持续监听用户在预设的时间窗口内的撤销指令或修正输入,若接收到所述撤销指令则中止执行并恢复待机状态,若接收到所述修正输入则基于所述可用模态集合重新采集用户的多模态输入信号。

4、本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:

5、本申请通过实时感知终端网络状态,网络劣化时切换本地推理并适配可使用的交互方式,对用户输入信息开展可信度评估,识别结果存疑时复用历史确认操作并给出外部提示,同时开放用户修正与撤回途径,网络恢复后逐步恢复完整交互能力,从而处理弱网断网下的交互异常,使智能终端在网络不稳定场景下人机交互更加连续安全可控,达到了在网络不稳定时终端仍能维持交互连续性,并在处理能力受限时通过安全回退和用户可撤销机制降低误操作风险的技术效果。

1.一种智能终端机多模态人机交互实现方法,其特征在于,所述方法包括:

2.如权利要求1所述的一种智能终端机多模态人机交互实现方法,其特征在于,所述智能终端机预存储有模态-网络质量需求的映射关系表;

3.如权利要求2所述的一种智能终端机多模态人机交互实现方法,其特征在于,根据所述端侧轻量模型的处理能力更新可用模态集合,包括:

4.如权利要求1所述的一种智能终端机多模态人机交互实现方法,其特征在于,基于所述端侧轻量模型对所述多模态输入信号进行置信度评估,包括:

5.如权利要求4所述的一种智能终端机多模态人机交互实现方法,其特征在于,所述权重系数根据所述网络质量参数动态调整,所述网络质量参数表征的网络质量越差,对应触控采集模态的权重系数越大,对应语音采集模态的权重系数越小,且所有被启用的交互模态对应的权重系数之和恒为定值。

6.如权利要求1所述的一种智能终端机多模态人机交互实现方法,其特征在于,当所述置信度评分低于预设的置信阈值时,则将上一轮已确认的交互意图作为当前执行意图执行,包括:

7.如权利要求2所述的一种智能终端机多模态人机交互实现方法,其特征在于,当所述网络质量参数低于所述映射关系表中记录的最低网络质量需求等级时,所述智能终端机禁用全部交互模态,清空所述可用模态集合,切换至纯按键应急交互模式并仅响应物理按键的单击事件、双击事件和长按事件,同时将所述显示屏的显示内容切换为极简文本菜单界面。

8.如权利要求2所述的一种智能终端机多模态人机交互实现方法,其特征在于,所述智能终端机向云端服务器周期性发送探测数据包,根据返回的往返时延和丢包率计算得到所述网络质量参数;

9.如权利要求8所述的一种智能终端机多模态人机交互实现方法,其特征在于,当所述网络质量参数恢复至不低于所述降级触发阈值时,所述智能终端机按照与所述预定义的优先级顺序相反的顺序逐一重新启用被禁用的交互模态,每启用一种交互模态后等待一个预设的稳定观察期,若在所述稳定观察期内未出现模态冲突或置信度骤降,则继续启用下一种交互模态,直至所述可用模态集合恢复为完整多模态交互状态。

10.一种智能终端机多模态人机交互实现系统,其特征在于,用于实施权利要求1-9任意一项所述的一种智能终端机多模态人机交互实现方法,所述系统包括: