一种多模态交互智能眼镜控制方法及系统与流程

摘要: 本发明涉及智能交互设备,具体为一种多模态交互智能眼镜控制方法及系统。背景技术:1、现有智能眼镜多作为被动响应设备,其工作模式高度依赖用户的明确指令,主要执行诸如...
一种多模态交互智能眼镜控制方法及系统与流程

本发明涉及智能交互设备,具体为一种多模态交互智能眼镜控制方法及系统。

背景技术:

1、现有智能眼镜多作为被动响应设备,其工作模式高度依赖用户的明确指令,主要执行诸如拍摄、接听电话、语音导航等单一、预设的任务。在典型的交互流程中,用户需通过特定的唤醒词、物理按键或触摸手势主动触发设备。为进一步提升智能眼镜的交互体验,需要一款突出现有眼镜“被动响应”局限性的眼镜。

2、上述对问题的发现过程的描述,仅用于辅助理解本发明的技术方案,并不代表上述内容是现有技术。

技术实现思路

1、本发明的目的在于提供一种多模态交互智能眼镜控制方法及系统,以解决现有技术中智能眼镜仅能被动响应单一指令的技术问题。

2、为实现上述目的,第一方面,本发明实施例提供了一种多模态交互智能眼镜控制方法,包括:获取多模态感知数据,所述多模态感知数据包括音频信息、图像信息、时间信息、地理位置信息、惯性运动信息、空间姿态信息、眼动追踪信息和生物特征信息中的至少两项信息;根据所述多模态感知数据,构建动态情境模型;根据所述动态情境模型,结合用户的历史行为习惯和/或预设偏好,输出用户潜在需要的辅助信息及所述辅助信息的优先级别;根据所述辅助信息及所述优先级别,确定信息输出方式。

3、可选地,所述获取多模态感知数据,包括:通过眼镜搭载的麦克风阵列采集所述音频信息,通过摄像头采集所述图像信息,通过惯性测量单元采集所述惯性运动信息和空间姿态信息,通过眼动追踪传感器采集所述眼动追踪信息,以及通过生物传感器采集所述生物特征信息;其中,所述麦克风阵列包括至少一个骨传导麦克风,用于拾取用户发声时产生的骨骼振动信号。

4、可选地,所述构建动态情境模型,包括:对所述多模态感知数据进行融合分析,实时识别当前环境场景类型、对话主题与关键实体、以及用户的注意力状态与认知负荷水平;基于识别结果生成包含环境上下文、社交对话流及用户内在状态三个维度的动态情境模型。

5、可选地,所述识别用户的注意力状态与认知负荷水平,包括:根据所述眼动追踪信息中的注视时长、眨眼频率和视线落点变化,结合所述惯性运动信息中的头部姿态变化,判断用户当前的注意力集中程度和认知繁忙状态。

6、可选地,所述生物特征信息包括心率信息、心率变异性信息、皮肤电活动信息、声纹特征信息中的至少一种;所述声纹特征信息通过分析所述骨传导麦克风拾取的骨骼振动信号提取获得。

7、可选地,所述输出用户潜在需要的辅助信息及所述辅助信息的优先级别,包括:根据所述动态情境模型识别出的当前场景和用户状态,结合用户的历史行为习惯和/或预设偏好,生成至少一项辅助信息;根据所述辅助信息与当前场景的关联紧密度、时间紧迫性和用户预设的重要性权重,计算所述辅助信息的优先级别。

8、可选地,所述辅助信息包括身份提示信息、对话摘要信息、任务提醒信息、生理状态预警信息、导航指引信息中的至少一种;所述历史行为习惯包括用户在不同场景下主动查询的信息类型记录、对不同类型提示的响应率记录、以及用户设定的常联系人与高频地点信息。

9、可选地,所述根据所述辅助信息及所述优先级别,确定信息输出方式,包括:根据所述优先级别,结合所述动态情境模型中用户当前的认知负荷水平和环境噪音水平,从预设的多种信息输出模态中选择至少一种;所述多种信息输出模态包括骨传导私密语音播报、视野内微光文字提示、提示音播报和静默存储至本地存储器。

10、可选地,所述确定信息输出方式,包括:若所述动态情境模型判断当前环境存在隐私泄露风险,或所述辅助信息的优先级别对应高隐私等级,则优先选择所述骨传导私密语音播报作为信息输出方式;若所述动态情境模型判断用户处于高认知负荷状态,则降低非紧急辅助信息的输出频率,或将其暂存至所述本地存储器以待用户事后查阅。

11、可选地,所述方法还包括:根据确定的所述信息输出方式,驱动对应的执行机构呈现所述辅助信息;所述执行机构包括骨传导扬声器、显示模组、提示灯和振动模块中的至少一种;其中,所述骨传导扬声器和所述骨传导麦克风集成于眼镜镜腿内侧,分别用于播放辅助信息和采集骨骼振动信号。

12、第二方面,本发明实施例提供了一种多模态交互智能眼镜控制系统,包括:信息获取模块,用于获取多模态感知数据,所述多模态感知数据包括音频信息、图像信息、时间信息、地理位置信息、惯性运动信息、空间姿态信息、眼动追踪信息和生物特征信息中的至少两项信息;数据分析模块,用于根据所述多模态感知数据,构建动态情境模型;信息生成模块,用于根据所述动态情境模型,结合用户的历史行为习惯和/或预设偏好,输出用户潜在需要的辅助信息及所述辅助信息的优先级别;信息输出模块,用于根据所述辅助信息及所述优先级别,确定信息输出方式。

13、与现有技术相比,本发明的有益效果是:

14、本发明提供的多模态交互智能眼镜控制方法,包括获取多模态感知数据,所述多模态感知数据包括音频信息、图像信息、时间信息、地理位置信息、惯性运动信息、空间姿态信息、眼动追踪信息和生物特征信息中的至少两项信息;根据所述多模态感知数据,构建动态情境模型;根据所述动态情境模型,结合用户的历史行为习惯和/或预设偏好,输出用户潜在需要的辅助信息及所述辅助信息的优先级别;根据所述辅助信息及所述优先级别,确定信息输出方式。本发明能够在恰当时机、以恰当方式为用户主动提供恰当信息。

1.一种多模态交互智能眼镜控制方法,其特征在于,包括:

2.根据权利要求1所述的多模态交互智能眼镜控制方法,其特征在于,所述获取多模态感知数据,包括:

3.根据权利要求1所述的多模态交互智能眼镜控制方法,其特征在于,所述构建动态情境模型,包括:

4.根据权利要求1所述的多模态交互智能眼镜控制方法,其特征在于,所述生物特征信息包括心率信息、心率变异性信息、皮肤电活动信息、声纹特征信息中的至少一种;

5.根据权利要求1所述的多模态交互智能眼镜控制方法,其特征在于,所述输出用户潜在需要的辅助信息及所述辅助信息的优先级别,包括:

6.根据权利要求5所述的多模态交互智能眼镜控制方法,其特征在于,所述辅助信息包括身份提示信息、对话摘要信息、任务提醒信息、生理状态预警信息、导航指引信息中的至少一种;

7.根据权利要求1所述的多模态交互智能眼镜控制方法,其特征在于,所述根据所述辅助信息及所述优先级别,确定信息输出方式,包括:

8.根据权利要求7所述的多模态交互智能眼镜控制方法,其特征在于,所述确定信息输出方式,包括:

9.根据权利要求1所述的多模态交互智能眼镜控制方法,其特征在于,所述方法还包括:

10.一种多模态交互智能眼镜控制系统,其特征在于,包括: