支持多模态交互的AI智能眼镜意图理解及反馈方法及系统与流程
本发明涉及多模态交互智能穿戴设备领域,尤其是支持多模态交互的ai智能眼镜意图理解及反馈方法及系统。
背景技术:
1、当前多模态交互智能穿戴设备领域,尤其是面向ai智能眼镜的用户意图理解系统,正逐步采用多模态感知与决策机制,以提升人机交互的准确性与自然性。主流技术路径通常将语音、视觉、眼动等多源数据作为意图理解模型的输入,通过神经网络或概率融合等方式对用户意图进行推理。近年来,伴随传感器精度提升和神经推断模型的优化,多模态意图识别系统已能在日常环境下实现较高的识别准确率与实时响应能力。这些技术多依赖于各自模态的独立概率输出,采用固定权重或基于历史表现的聚合策略进行置信度融合,进而驱动下游的智能反馈或控制决策。
2、实际应用中,面向智能眼镜的多模态意图理解模块普遍采用以下方式:一方面,通过融合语音自动识别(asr)结果与视觉物体检测输出,联合“语音意图分类”与“视觉场景判别”,提升单一模态在受限环境下的鲁棒性;另一方面,部分方案尝试引入环境推理、对话上下文或预置用户交互历史,对多模态融合结果施加修正。此外,在置信度控制方面,现有方法多采用贝叶斯模型、d-s证据理论、软max概率最大值、模型集成以及规则表决器等策略,实现对多模态输入下意图置信度的量化评估,并将其作为触发澄清、多选反馈或直接响应的依据,从而提升交互体验。
3、然而,现有技术在实际多模态意图识别中仍面临以下突出问题:首先,大多数方案仅基于独立模态的静态概率输出进行加权,未能充分考虑模态间生理与认知状态的耦合关系。例如,在嘈杂环境、用户注意力转移或语音/眼动异常等场合,单一模态分支输出的置信度并不能真实反映用户当前的实际意图范围,极易导致意图误判或低效交互。其次,依赖静态阈值或经验法则,无法针对实时交互过程中的高频波动与生理状态同步性进行动态调节,从而在捕捉用户短时犹豫、不确定或分心状态时存在明显盲区。
技术实现思路
1、本申请提供支持多模态交互的ai智能眼镜意图理解及反馈方法及系统,旨在解决上述背景技术中提到的不能真实反映用户当前的实际意图范围,极易导致意图误判或低效交互的问题。
2、本申请提供的支持多模态交互的ai智能眼镜意图理解及反馈方法,具体包括:
3、s1:获取智能眼镜采集的眼动轨迹原始数据流与语音音频原始信号并进行处理,分别得到高时序分辨率眼动序列与语音韵律段落图谱;
4、s2:根据所述高时序分辨率眼动序列提取注视稳定性序列特征与瞳孔响应瞬态特征,从而得到注视稳定性序列和瞳孔响应瞬态峰值;
5、s3:将所述注视稳定性序列、瞳孔响应瞬态峰值以及语音韵律段落图谱进行对齐和计算,生成单窗口耦合强度得分;
6、s4:基于所述单窗口耦合强度得分进行处理得到修正后耦合强度值,对修正后耦合强度值进行封装得到最终耦合调控信号;
7、s5:基于所述最终耦合调控信号,利用轻量级置信度生成器进行处理,得到意图置信度值;
8、s6:若所述意图置信度值低于预设澄清阈值则生成澄清性提问指令,若高于预设确认阈值则生成直接执行指令,从而输出多通道响应控制信号;
9、s7:依据所述多通道响应控制信号驱动智能眼镜的视觉提示单元与语音反馈单元执行相应动作,完成智能眼镜的意图理解及反馈。
10、本发明还提供支持多模态交互的ai智能眼镜意图理解及反馈系统,包括:
11、数据获取模块,用于获取智能眼镜采集的眼动轨迹原始数据流与语音音频原始信号并进行处理,分别得到高时序分辨率眼动序列与语音韵律段落图谱;
12、眼动特征提取模块,用于根据所述高时序分辨率眼动序列提取注视稳定性序列特征与瞳孔响应瞬态特征,从而得到注视稳定性序列和瞳孔响应瞬态峰值;
13、耦合强度计算模块,用于将所述注视稳定性序列、瞳孔响应瞬态峰值以及语音韵律段落图谱进行对齐和计算,生成单窗口耦合强度得分;
14、耦合强度修正与封装模块,用于基于所述单窗口耦合强度得分进行处理得到修正后耦合强度值,对修正后耦合强度值进行封装得到最终耦合调控信号;
15、置信度生成模块,用于基于所述最终耦合调控信号,利用轻量级置信度生成器进行处理,得到意图置信度值;
16、指令生成模块,用于若所述意图置信度值低于预设澄清阈值则生成澄清性提问指令,若高于预设确认阈值则生成直接执行指令,从而输出多通道响应控制信号;
17、反馈驱动模块,用于依据所述多通道响应控制信号驱动智能眼镜的视觉提示单元与语音反馈单元执行相应动作,完成智能眼镜的意图理解及反馈。
18、本申请提供的支持多模态交互的ai智能眼镜意图理解及反馈方法,具有以下有益效果:
19、本方案通过量化人类自然交互中的“眼-声协同节律”,引入跨模态耦合强度计算机制,显著提升意图识别置信度评估的生理合理性与动态适应性。具体提取毫秒级眼动的注视稳定性序列与瞳孔响应瞬态特征,结合端到端解析的语音韵律结构图谱,在时间对齐基础上构建互信息与相关性联合度量,生成独立于分类器结构的耦合强度得分,有效捕捉用户认知聚焦与生理唤醒状态,增强复杂场景下的鲁棒性。同时,设计轻量级置信度生成器与自适应阈值补偿机制协同工作,经三层全连接网络输出动态校准置信度值,替代原始softmax概率参与决策;并引入个体基线自适应阈值,低耦合时自动激活补偿通道,利用注意力权重分布熵进行辅助修正,避免误触发。该方案无需外部知识库或大规模标注数据,具备良好泛化能力。
1.支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,具体包括:
2.根据权利要求1所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述语音韵律段落图谱包括重音段落边界、基频上升速率及停顿间隙熵。
3.根据权利要求1所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述注视稳定性序列特征定义为注视点偏移量标准差与平均驻留时长的比值,所述瞳孔响应瞬态特征定义为语音重音触发后瞳孔直径变化斜率的绝对值峰值。
4.根据权利要求1所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述s1具体包括:
5.根据权利要求4所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述获取智能眼镜内的模拟电压信号流和原始声波信号流,具体是通过红外眼动传感器获取模拟电压信号流,通过微型麦克风阵列采集原始声波信号流。
6.根据权利要求4所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述对中间韵律特征张量进行处理得到语音韵律段落图谱,包括:
7.根据权利要求1所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述s3具体包括:
8.根据权利要求7所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述基于窗口互信息量估计值和窗口皮尔逊相关系数值进行计算得到单窗口耦合强度得分,包括:
9.根据权利要求1所述的支持多模态交互的ai智能眼镜意图理解及反馈方法,其特征在于,所述轻量级置信度生成器为三层全连接神经网络结构。
10.支持多模态交互的ai智能眼镜意图理解及反馈系统,其特征在于,具体包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com