一种分布式可穿戴多模态AI交互系统的制作方法
本发明涉及可穿戴智能设备、多模态大模型人机交互分布式调度,特别是一种分布式可穿戴多模态ai交互系统。
背景技术:
1、目前,现有的多模态可穿戴智能设备,存在如下问题:1、硬件架构单一,缺少分布式双穿戴协同载体;现有的多模态可穿戴智能设备一般仅采用单一眼镜/单一耳机,无法同步采集环境视觉画面、用户自然语音双路多模态信息,人机交互输入维度缺失,信息完整性差;
2、2、无线通信链路单一,依赖通用蓝牙,时延高、同步失效;现有的多模态可穿戴智能设备与手机通过单链路蓝牙通信,耳机、眼镜之间无直连通道;通用蓝牙协议无针对穿戴设备轻量化任务状态同步的定制报文,任务进度、反馈状态跨设备同步延迟高,易出现交互反馈不同步、设备状态冲突的问题;
3、3、多模态大模型推理无分布式分级调度机制;现有的多模态可穿戴智能设备融合推理全部在眼镜/手机单端执行,未根据任务类型(语音类、视觉类、融合类)动态分配执行硬件;轻量语音任务、图像识别任务、复杂多模态问答任务统一占用移动终端算力,算力资源浪费,交互响应延迟高;
4、4、工作模式固化,无法自适应单独/协同场景;现有的多模态可穿戴智能设备仅支持单机独立工作,不存在双设备协同执行同一ai任务的控制逻辑;用户单独佩戴耳机听歌、单独使用眼镜拍照识别、双耳穿戴联合实时多模态问答等场景无法自适应切换,适用场景受限。
5、5、设备组网繁琐,多穿戴设备配对成本高;耳机、眼镜需用户手动分别配对手机、互相配对,更换设备、重启后组网断开,无法自动恢复多设备组网关系,用户操作门槛高。
6、现有专利公开了一种多模态智能眼镜交互系统,仅以单眼镜作为交互载体,仅支持图像单模态输入,无语音-视觉双可穿戴设备分布式协同架构,缺少耳机、眼镜双设备直连通信链路;仅依靠眼镜本地处理或单一终端通信,不存在三无线通信链路组网,无法实现跨穿戴设备状态实时同步,不具备独立/协同双模式自适应切换机制,多模态融合推理仅在眼镜本地执行,算力分配单一,无分布式任务调度策略。
7、现有专利还公开了一种基于语音识别实现智能眼镜红外智能家居控制,交互载体局限于ai眼镜,无ai耳机作为独立语音采集入口;仅单向语音控制输出,不存在视觉+语音多模态融合大模型推理,无线通信仅采用通用蓝牙单点连接,无穿戴设备间直连专属通信协议,设备无法互相同步任务执行状态,仅支持单设备独立工作,无多穿戴设备协同任务执行逻辑。
8、因此,如何设计一种分布式可穿戴多模态ai交互系统,能够克服现有技术的缺陷,是业界亟待解决的技术问题。
技术实现思路
1、针对现有技术中,多模态可穿戴智能设备存在的缺陷,本发明提出了一种分布式可穿戴多模态ai交互系统,旨在搭建三链路专属无线通信网络,实现穿戴设备与移动终端设备、以及穿戴设备之间的高速低时延直连通信。
2、本发明的技术方案为,提出了一种分布式可穿戴多模态ai交互系统,包括:
3、ai耳机设备,其用于采集用户语音输入,并反馈音频输出,在所述ai耳机设备内置有第一无线通信模块,以用于建立与移动终端设备通信的第一通信链路;
4、ai眼镜设备,其用于采集环境视觉图像和视频视觉信息,并反馈视觉交互信息,在所述ia眼镜设备内置有第二无线通信模块,以用于建立与移动终端设备通信的第二通信链路;
5、以及移动终端设备,其内置有调度算法模块,可通过所述第一通信链路和所述第二通信链路获取所述ai耳机设备采集的用户语音输入、以及所述ai眼镜设备采集的环境视觉图像和视频视觉信息,并执行多模态融合任务、以及为所述ai耳机设备和所述ai眼镜设备分配轻量化任务;
6、在所述ai耳机设备和所述ai眼镜设备内还设置有第三无线通信模块,其用于建立ai耳机设备与所述ai眼镜设备之间双向传输的第三通信链路,所述ai耳机设备和所述ai眼镜设备可通过所述第三通信链路交换所述轻量化任务的任务状态、执行进度、以及反馈状态的报文。
7、进一步的,所述分布式可穿戴多模态ai交互系统包括可自适应切换的单独工作模式和协同工作模式;
8、当所述ai耳机设备和所述ai眼镜设备同时工作时,所述第三通信链路建立成功,所述分布式可穿戴多模态ai交互系统工作于协同工作模式;
9、当所述ai耳机设备或所述ai眼镜设备单独工作时,所述第三通信链路建立失败时,所述分布式可穿戴多模态ai交互系统工作于单独工作模式;
10、在所述单独工作模式下,若接入的可穿戴设备为ai耳机设备,则建立第一通信链路,若接入的可穿戴设备为ai眼镜设备,则建立第二通信链路。
11、进一步的,所述ai眼镜设备还集成有摄像模块、反馈模块、以及第一本地微处理器;
12、所述反馈模块至少包括微型震动单元、led阵列光学提示单元;
13、所述摄像模块用于采集视觉画面,并通过第一本地微处理器于本地完成视觉轻量化任务;
14、所述ai眼镜设备可通过所述第二通信链路将图像预处理的结果上传至所述移动终端设备,或通过所述第三通信链路将图像预处理的结果同步至所述ai耳机设备。
15、进一步的,所述ai耳机设备还集成有麦克风模块、音频输出模块、以及第二本地微处理器;
16、所述麦克风模块用于采集用户语音输入,并通过第二本地微处理器于本地完成语音轻量化任务;
17、所述ai耳机设备可通过所述第一通信链路将语音交互的结果上传至所述移动终端设备,或通过所述第三通信链路将语音交互的结果同步至所述ai眼镜设备。
18、进一步的,所示ai耳机设备为所述分布式可穿戴多模态ai交互系统的主交互触发设备,在所述ai耳机设备完成用户语音输入的采集后,触发所述移动终端设备执行多模态融合任务、以及为所述ai耳机设备和所述ai眼镜设备分配轻量化任务。
19、进一步的,所述移动终端设备的算法执行步骤包括:
20、获取所述ai耳机设备采集的用户语音输入中的时域特征、所述ai眼镜设备采集的环境视觉图像和视频视觉信息中的图像空间特征,对所述时域特征和所述图像空间特征做维度归一化处理,生成融合特征向量;
21、基于融合特征向量识别当前任务类型,将任务类型划分为语音轻量化任务、视觉轻量化任务、以及多模态融合任务;
22、将所述语音轻量化任务下发给所述ai耳机设备、将所述视觉轻量化任务下发给所述ai眼镜设备,并通过所述移动终端设备执行多模态融合任务;
23、通过所述第一通信链路、所述第二通信链路、以及所述第三通信链路获取并更新所述语音轻量化任务、视觉轻量化任务、以及多模态融合任务的任务状态、执行进度、以及反馈状态的报文。
24、进一步的,所述第三无线通信模块采用轻量化状态同步通信协议;
25、所述轻量化状态同步通信协议采用报文分层结构,且包括任务状态报文、执行进度报文、反馈控制报文,每个报文具有设备id帧、状态类型帧、数据载荷帧、校验帧,单个报文的最大长度为128字节。
26、进一步的,所述轻量化状态同步通信协议采用10ms短隙心跳包,当报文丢失时仅重传状态同步类报文;
27、在所述ai耳机设备、所述ai眼镜设备、以及所述移动终端设备通信时,所述第三通信链路的优先级高于所述第一通信链路和所述第二通信链路。
28、进一步的,所述ai耳机设备和所述ai眼镜设备绑定有唯一识别码;
29、当所述ai耳机设备和所述ai眼镜设备中任一一个连接到所述移动终端设备时,所述移动终端设备可读取所述唯一识别码,以建立所述第三通信链路。
30、与现有技术相比,本发明至少具有如下有益效果:
31、1、本发明构建了分布式双穿戴设备+三通信链路的专属通信架构,能够解决现有单设备、单链路的通信缺陷;
32、2、本发明采用分布式多模态大模型调度算法,能够对任务分级并动态分配算力,能够节省算力,降低交互响应延迟;
33、3、本发明能够实现单独工作模式与协同工作模式自动切换,能适配单穿戴设备、双穿戴设备的不同使用场景,配套完整切换缓存逻辑,交互连续性更强;
34、4、本发明设有出厂预绑定自动组网机制,能够降低用户操作门槛,解决多穿戴设备之间配对繁琐的问题;
35、5、本发明能够实现语音+视觉双模态同步融合交互,信息维度更完整,推理结构准确度更高,交互智能型更优。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com