一种脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统及方法与流程

摘要: 本技术涉及脑机接口、智能眼镜、人机交互和外部设备控制,特别是涉及一种脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统及方法。背景技术:1、脑机接口能够利用...
一种脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统及方法与流程

本技术涉及脑机接口、智能眼镜、人机交互和外部设备控制,特别是涉及一种脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统及方法。

背景技术:

1、脑机接口能够利用脑电等神经信号建立用户与外部设备之间的信息通路。稳态视觉诱发电位和编码视觉诱发电位可通过具有不同频率、相位或编码序列的视觉刺激产生可识别脑电响应,适合用于少量至中等数量离散目标的选择。智能眼镜能够将虚拟图形叠加在用户真实视野中,并可利用摄像头、姿态传感器和人工智能算法识别场景对象,为脑机接口从固定屏幕菜单扩展到真实场景提供了硬件基础。

2、现有智能眼镜产品已经具备场景拍摄、增强现实显示、无线通信和应用程序接口,可直接作为场景感知和视觉刺激终端使用,通常没有必要重新设计眼镜光学结构。然而,智能眼镜、脑电采集装置、脑电处理器以及机械臂、智能手机或智能家居控制器多为相互独立的设备,各设备采用不同的数据格式、通信链路和本地时钟。仅在智能眼镜中显示闪烁目标并单独运行脑电识别,不能保证显示目标、刺激开始时刻、脑电片段和下游控制对象之间建立唯一且稳定的对应关系。

3、例如,智能眼镜中的人工智能模型可识别门把手、按钮、水杯或手机界面控件,并在对应位置显示闪烁圆点,但脑电处理器若不能获得目标标识、实际刺激时序和显示状态,容易将脑电片段与错误刺激模板对齐;当无线链路发生延迟、丢包或时钟漂移时,还可能把上一轮刺激产生的脑电响应映射到当前目标。另一方面,脑电处理器识别出目标后,若只发送简单的目标编号,而下游设备没有对应的会话、能力和操作映射,则可能出现目标编号重复、操作语义不一致或旧指令被再次执行的问题。

4、不同外部设备对同一脑意图的执行方式也不同。机械臂需要根据目标点生成高层操作并自主规划轨迹,智能手机需要调用应用程序或系统接口,智能家居设备则可能通过局域网协议执行开关、调节或确认操作。现有方案常将场景识别、脑电解码和设备控制分别实现,缺少统一的设备注册、能力交换、时钟同步、刺激事件传输、目标映射、指令确认和状态反馈机制,难以判断各设备是否已经准备完成以及一个脑意图是否被正确接收和完成。

5、因此,需要一种机接口与智能眼镜协同的场景目标选择及外部设备控制系统,以解决现有技术中存在的上述问题。

技术实现思路

1、本发明的目的在于提供一种脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统及方法,以解决现有技术中智能眼镜显示事件与脑电采样时序难以对齐、场景目标与下游控制对象映射不稳定、多个独立设备缺少统一握手和状态反馈以及异常情况下旧指令或重复指令可能继续执行的问题。

2、为达到上述目的,本发明采用的技术方案如下:

3、一种脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统,包括智能眼镜终端、脑电采集装置、脑机接口处理装置和外部设备控制模块。智能眼镜终端可采用市场上具有摄像、增强现实显示和通信接口的现有智能眼镜,通过其应用程序接口获取场景图像和姿态数据、运行或调用人工智能场景分析,并在真实目标点处显示闪烁视觉标记。脑电采集装置采集视觉诱发脑电信号;脑机接口处理装置对智能眼镜、脑电采集装置和外部设备控制模块进行通信协调、时序对齐、脑电解码和目标映射;外部设备控制模块根据意图指令控制机械臂、智能手机、智能家居设备或其他可注册设备。

4、所述智能眼镜终端不限定具体品牌、光学方案或处理器结构,只要能够提供场景图像或环境信息、在用户视野中呈现可控图形并与脑机接口处理装置交换数据即可。人工智能场景分析可以运行于智能眼镜本地,也可以由智能眼镜将图像发送至脑机接口处理装置、边缘服务器或外部计算终端完成。系统获得可操作对象后,进一步确定适合作为交互入口的目标作用点,例如门把手中心、开关按钮、杯柄、抽屉拉手或手机界面控件,并为每个目标作用点分配在当前会话内唯一的目标标识。

5、针对每个目标作用点,智能眼镜终端生成目标描述数据。目标描述数据至少包括目标标识、二维显示坐标或三维空间坐标、目标类别和目标操作属性,还可包括目标置信度、目标边界、操作方向、设备归属和场景版本。脑机接口处理装置根据目标描述数据建立目标映射表,使智能眼镜中显示的每个视觉标记均能够映射到一个外部设备和一个或多个候选操作。可供性任务图、机器人能力模型和轨迹预检可作为机械臂应用中的扩展功能,但并非系统连接现有智能眼镜所必须改变的硬件。

6、所述视觉标记优选为显示在目标作用点处或其附近的圆点、圆环或同心圆。不同目标标记按照智能眼镜刷新率分配不同频率、相位、占空比或编码序列。智能眼镜终端在显示前向脑机接口处理装置发送刺激准备消息和刺激事件数据,所述刺激事件数据包含目标标识、刺激参数、计划起始时刻、持续时间和事件序号。智能眼镜在实际开始显示后返回显示成功标志、实际起始时刻、丢帧状态或其他显示状态,以使脑机接口处理装置获知用户实际看到的刺激,而不是仅依赖软件预设时间。

7、所述脑电采集装置包括脑电电极、放大与模数转换电路、采样时间标记单元和通信接口。脑电采集装置在会话建立后向脑机接口处理装置发送设备标识、采样率、通道列表、数据格式和通道质量,并在刺激期间连续发送带首样本时间戳和样本序号的脑电数据帧。脑机接口处理装置利用统一时间基准或估计的设备时钟偏差,将刺激事件与脑电样本对应;在网络短时抖动时,脑电采集装置可通过环形缓冲区保留共同起始时刻前后的数据,避免通信延迟直接造成脑电片段缺失。

8、脑机接口处理装置对与视觉刺激对应的脑电片段进行工频抑制、目标频带滤波、伪迹检测和质量评价,再采用典型相关分析、任务相关成分分析、滤波器组算法、编码序列匹配或神经网络识别各目标标识。解码结果不仅包含目标标识,还包括置信度、使用的时间窗、信号质量和刺激事件序号。只有目标标识仍存在于当前目标映射表、刺激事件序号与当前会话一致、脑电数据时序连续且置信度满足条件时,意图指令封装单元才生成意图指令包。

9、所述意图指令包至少包括会话标识、指令序号、目标标识、外部设备标识、目标操作和有效期限,还可包括目标位置、操作参数、场景版本、解码置信度、幂等标识和完整性校验字段。外部设备控制模块接收意图指令包后,首先验证会话、指令序号、设备状态和操作权限,再返回已接收或已拒绝确认。外部设备在执行期间继续返回执行中、执行完成、执行失败或安全停止状态,脑机接口处理装置根据同一会话标识和指令序号将状态反馈到对应视觉标记。

10、所述协同状态机用于管理多个独立设备之间的顺序关系。一个交互周期至少依次经过设备已连接、目标已建立、刺激已准备、脑电采集已准备、同步刺激、意图已识别、指令待确认和操作执行中的状态。只有智能眼镜和脑电采集装置均返回准备状态时才启动刺激;只有外部设备控制模块返回接收确认后才将指令标记为正在执行;当发生目标更新、时钟偏差超限、数据包缺失、确认超时、设备断开或外部设备拒绝时,协同状态机进入等待、重同步、重传、重新识别或取消状态,避免不同轮次的数据交叉。

11、外部设备控制模块通过设备适配器连接不同类型设备。对于机械臂,目标映射可包含目标点、操作属性和必要约束,机械臂控制器在接收到有效意图指令后自主执行可达性检查、碰撞检测和轨迹规划;对于智能手机,设备适配器可通过无障碍服务、应用程序接口或系统控制接口执行接听、拒接、播放、暂停、确认或应用切换;对于智能家居设备,设备适配器可将目标操作转换为对应网络控制命令。设备能力交换使脑机接口处理装置仅显示或启用当前设备能够执行的候选。

12、在需要较高安全性的机械臂或移动设备场景中,系统可进一步使用场景版本和动态神经确认。目标被识别时保存目标身份、目标位置和时间戳,并将其写入意图指令包;在外部设备执行前重新检查目标是否仍存在以及位置变化是否超过允许范围。对于高风险动作、低置信度结果或外部设备反馈的路径分支,可在智能眼镜中显示继续、取消、重试或停止标记,要求用户再次注视并通过脑电确认。上述场景版本、可供性任务图和动态确认作为通信协同系统的增强层,不改变智能眼镜、脑电采集装置和下游控制器之间的基本连接关系。

13、所述系统采用消息序列号、时间戳、校验字段、接收确认、有限次数重传和幂等标识保证通信可靠性。目标描述数据、刺激事件数据、脑电数据帧、意图指令包和执行状态数据采用不同消息类型。外部设备控制模块对相同会话和指令序号的重复指令只执行一次;意图指令超过有效期限、目标映射已更新或外部设备处于禁止状态时应被拒绝。由此,即使无线通信短时中断或数据重发,也不会造成一个脑意图被重复执行。

14、对于机械臂、轮椅或其他可能产生运动风险的设备,系统可设置独立急停输入单元和安全控制器。智能眼镜可持续显示固定位置的停止视觉标记,脑机接口处理装置识别到停止意图后发送停止请求;实体急停、碰撞保护和安全控制器具有高于普通意图指令的优先级。脑控停止用于提供附加的人机交互通道,不替代外部设备原有的实体急停、限速和安全认证机制。

15、一种利用上述脑机接口与智能眼镜协同的场景目标选择及外部设备控制系统实施的脑机接口与智能眼镜协同的场景目标选择及外部设备控制方法,包括以下步骤:

16、s1:启动智能眼镜终端、脑电采集装置、脑机接口处理装置和外部设备控制模块,建立通信会话,为各设备分配设备标识和会话标识,交换智能眼镜显示能力、脑电采样参数和外部设备可用操作,并完成时钟同步;

17、s2:智能眼镜获取用户视野内的图像、姿态或深度数据,由本地或外部人工智能模型识别可操作对象及目标作用点,为目标分配目标标识,并向脑机接口处理装置发送目标描述数据;

18、s3:脑机接口处理装置结合外部设备能力建立目标标识与目标操作之间的映射,智能眼镜在各目标作用点处显示具有不同频率、相位或编码序列的闪烁圆点,并发送刺激准备消息和刺激事件数据;

19、s4:脑电采集装置返回采集准备消息并连续采集脑电信号,智能眼镜和脑电采集装置在共同起始时刻进入刺激和采集状态,分别发送实际显示状态和带时间戳的脑电数据帧;

20、s5:脑机接口处理装置根据刺激事件序号、实际显示时间和脑电样本时间戳完成数据对齐,提取相应脑电片段并识别用户注视的目标标识;

21、s6:在识别置信度、脑电质量、时序一致性和目标映射均满足条件时,生成包含会话标识、指令序号、目标标识、外部设备标识、目标操作和有效期限的意图指令包;

22、s7:外部设备控制模块校验意图指令包并返回接收确认;校验通过时,根据设备类型调用机械臂控制器、智能手机接口、智能家居接口或其他设备适配器执行操作,校验不通过时返回拒绝原因;

23、s8:外部设备控制模块持续返回执行中、执行完成、执行失败或安全停止状态,脑机接口处理装置根据会话标识和指令序号更新当前交互状态,智能眼镜显示相应成功、失败、重试、取消或停止提示;

24、s9:在通信确认超时、刺激与脑电时序不一致、目标标识失效、场景变化、设备断开或安全条件不满足时,协同状态机暂停当前交互,并根据异常类型执行有限次数重传、重新同步、重新扫描、重新识别、重新确认或安全停止;

25、s10:任务完成或取消后,释放本次指令占用状态,记录刺激事件、脑电识别结果和外部设备执行结果,并保留设备会话或进入下一轮目标扫描。

26、与现有技术相比,本发明具有以下有益效果:

27、1、本技术直接利用现有智能眼镜的摄像、增强现实显示和通信能力,不以重新设计眼镜光学硬件为核心,通过标准化软件接口将智能眼镜接入脑机接口系统,便于适配不同品牌和不同形态的智能眼镜。

28、2、本技术在同一会话中传输目标标识、目标位置、刺激参数和刺激时间信息,并将带时间戳的脑电数据与刺激事件对齐,使用户在智能眼镜中看到的闪烁圆点能够与脑机接口处理装置中的参考刺激和目标操作一一对应。

29、3、本技术设置设备注册、能力交换和目标映射机制,使同一脑机接口处理装置可连接机械臂、智能手机、智能家居设备等不同下游控制器,并根据设备能力将目标标识转换为可执行的高层操作。

30、4、本技术通过协同状态机、接收确认、执行状态反馈、超时重传和会话复位协调智能眼镜、脑电采集装置、脑机接口处理装置及外部设备,能够避免设备尚未准备即开始刺激、不同轮次数据交叉以及指令发送后无法确认执行结果的问题。

31、5、本技术在意图指令包中设置会话标识、指令序号、有效期限和幂等标识,并在目标或设备状态变化时使旧指令失效,可减少无线重传、重复数据或场景更新导致的重复执行和过期执行。

32、6、本技术可在基本通信协同框架上增加可供性分析、机器人可执行性预检、场景版本锁定、动态神经确认和实际发光波形校正,兼顾系统兼容性、识别可靠性以及机械臂等高风险外部设备的操作安全。