一种基于眼动触发的AR听障辅助交互系统及方法

本发明涉及ar(augmented reality,增强现实)，具体为一种基于眼动触发的ar听障辅助交互系统及方法。

背景技术：

1、随着增强现实（augmented reality，ar）技术的日益成熟，将其应用于听觉与言语障碍人群的辅助交流领域已成为重要的研究方向。智能穿戴设备通过ar显示模组将外界语言实时转化为可视化文字字幕，或将用户手语或唇语动作反向转化为语音播报，从而搭建起听障或言障人士与健听时间之间双向、高效的沟通桥梁。

2、目前，行业内已公开了多种头戴式辅助交流设备，例如，中国专利cn202511814174.6与cn202421772927.2公开的智能眼镜系统，通过内置麦克风拾取外界语音并将其转换为可视化文本，同时通过视觉采集模块捕捉手语动作转化并以语音的形式向外播报，构建了基本的双向交互链条。如，中国专利cn202510597349.6、cn202510464428.x以及cn202510389510.0公开的方案，其在配置有光波导显示模组的智能眼镜上，利用前置图像采集器捕捉手部动作或唇部形态，配合本地或云端的3d cnn、transformer架构大模型，进行时序建模与上下文语境整合。如，中国专利cn202410751054.5和cn202410466657.0公开了基于混合现实设备、麦克风阵列以及多声源追踪单元的辅助系统，利用特定算法解算多声源位置，并在ar/mr显示屏内生成指向声音发生位置的空间指示箭头，实现环境声音的分类和声源定位可视化。中国专利cn202323067036.5公开的一种基于手语语音双向翻译的聋哑人穿戴式设备，其在ar眼镜主体顶部额外加装了专门的物理散热机构，用以应对双向翻译运行过程中的局部发热现象

3、然而，现有技术中仍然存在以下不足：（1）现有的声光转换及手语、唇语比对方案，通常采用各感知模块全时段、全场景接收的粗放式架构，这不仅导致了整机计算功耗大幅上升，同时在多发言者交叠对话的复杂社交场景下，由于系统广泛接受的控制机制，单纯依靠图像采集或常规麦克风拾音，极易将侧向非目标环境人声与动作特征一并输入处理核心，导致出现机体的识别混乱和传输误报的情况；（2）目前技术中外部移动端或云端服务器进行图像重构时，由于数据无线传输与图形渲染的具有较高延迟，且画面无法固定，当用户突然变化角度，会导致用户视场内产生严重的动态拖影、撕裂或者字符错位，极易引发用户的视觉眩晕与疲劳；（3）现有技术采用传统的并联供电，电池通常单侧集中部署于一侧镜腿，单侧电池的部署会在长期工作中持续的发热，可能产生严重的局部高热，导致用户面部灼烧；另一方面一侧的部署也会造成了明显的左右机械重心偏置，加重了鼻梁与单侧耳道的机械压迫，降低了用户的舒适度。

技术实现思路

1、本发明的目的在于提供一种基于眼动触发的ar听障辅助交互系统，该方法用以解决现有技术中多模态感知模块全时并发工作导致的整机功耗过高、场景复杂下产生信号混淆与识别迟滞、ar字幕显示依赖于外部端逐帧重构导致动态拖影与视觉眩晕和单侧电池长期工作引发局部发热的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于眼动触发的ar听障辅助交互系统，包括：控制电路、眼动捕捉模块、摄像头模块、麦克风模块；

4、所述眼动捕捉模块的数据输出端通过spi总线连接至控制电路，用于实时采集用户眼球的视线焦点数据；

5、所述摄像头模块的电源使能端（en）通过gpio引脚连接至控制电路；

6、所述麦克风模块采用多麦克风线性阵列并集成音频数字信号处理器（dsp）芯片，所述音频数字信号处理器（dsp）芯片的配置寄存器总线连接至控制电路；

7、所述控制电路系统上电后仅保持眼动捕捉模块工作，根据其输出的视线数据解算用户视线汇聚矢量；当判定该视线矢量在空间某一角度的波动方差小于预设阈值0.05且持续时长处于300ms-800ms区间时，代表视线已经注视一个方向，并且没有出现晃动，因此将其确立为目标对话方位θ；

8、通过gpio引脚拉高所述摄像头模块的使能端（en），将其硬件唤醒，驱动所述摄像头模块仅对目标对话方位θ对应的中央视场局部感兴趣区域（roi）进行唇部图像帧截取；所述局部感兴趣区域是以目标对话方位θ为几何中心、水平和垂直视角范围均为±15°的矩形区域；同时，通过总线向麦克风模块的音频数字信号处理器（dsp）写入波束成形系数，将拾音主瓣的动态延时参数锁定在目标对话方位θ的±30°夹角区间内，并关闭其他方向的音频通道。

9、优选的，所述眼动捕捉模块采用近红外全局快门图像传感器，并配合两枚波长为850nm的红外led补光灯；该模块的硬件采集帧率不低于60hz，空间追踪精度小于0.5°。

10、优选的，所述控制电路解算用户视线汇聚矢量的具体方法为：

11、所述眼动捕捉模块在红外补光下捕获用户的眼球图像，本地提取出瞳孔中心坐标(,)以及角膜普尔钦斑（红外反射点）中心坐标(,)；

12、计算瞳孔中心与角膜反射点之间的二维差分矢量。

13、所述控制电路采用二次多项式映射算法，将二维差分矢量转换为三维空间中的视线方向向量。其映射公式如下：

14、 ；

15、 ；

16、其中，(x,y)为差分矢量的分量，和分别为三维空间中的水平方位角与俯仰角，系数ai和bi（其中i∈{0,1,2,3,4,5}）由系统预先通过九点标定法校准获得。控制电路根据计算出的方位角与俯仰角，实时构建出用户视线的三维汇聚矢量。所述九点标定法在于利用9个已知空间坐标的标定点建立差分矢量与空间角度之间的映射模型，并通过最小二乘法求解最优映射系数，从而在后续实时追踪中将二维眼动特征量化为三维视线矢量。

17、优选的，所述麦克风模块的多麦克风线性阵列为四麦线性阵列，由四枚数字mems麦克风等间距直线排列组成，相邻麦克风中心间距为20mm。所述四枚数字mems麦克风等间距直线排列固设于眼镜框的前额上沿。相邻两枚麦克风的中心间距固定为20mm，整条阵列的总轴向长度为60mm。

18、优选的，所述控制电路向音频数字信号处理器（dsp）芯片写入的波束成形系数时，其核心逻辑是对所述四麦线性阵列中各个通道的采集信号进行延时补偿，使来自所述目标对话方位θ的声波信号在相位上完全对齐，随后进行全量加权求和以实现相长干涉。其频率域的时域输出响应权值计算公式如下：

19、 ；

20、其中， 为第m个麦克风采集信号的傅里叶变换响应（其中m∈{1,2,3,4}），为角频率，为波束成形后的输出信号响应。 为第m个麦克风通道对应的复数波束成形权值系数，其表达式如下：

21、 ；

22、其中，j为虚数单位， 即为第m个麦克风相对于阵列几何参考基准点的动态延时参数。

23、所述波束成形系数为基于延时累加算法生成的系数；所述动态延时参数基于到达时间差算法从目标方位θ计算得出，具体为：以所述四麦克风线性阵列中的第一枚麦克风为空间几何参考基准点，各麦克风通道相对于该基准点的到达时间差延时参数的具体数学计算公式如下：

24、；

25、其中，即为第m个麦克风相对于阵列几何参考基准点的动态延时参数， 为麦克风通道序号， 为相邻麦克风间距（固定为20mm）， 为声速（标准大气压下取340m/s）；

26、在数字信号中，通过上述计算出的连续时间延时τm(θ)通常为非整数个采样周期，为了在数字域实现高精度的时延补偿，所述控制电路采用farrow结构分数倍时延有限冲激响应滤波器，将计算出的连续时间延时逼近所述连续时间延时，生成对应的数字延时滤波器系数，并通过i2c总线写入所述音频数字信号处理器芯片的配置寄存器中，，从而将拾音主瓣死死锁定在所述目标对话方位θ的±30∘夹角区间内，并关闭其他方向的音频通道。

27、优选的，所述系统还包括有：电源模块，所述电源模块为对称内置于左、右镜腿中的第一电源和第二电源，所述第一和第二电源为同一厂家、同一批次的两组高能量密度的定制锂聚合物异形电池，所述两组电池的容量、物理质量、内阻参数完全一致，使整机重心落在眼镜中心轴线上；

28、第一mosfet开关管（q1）和第二mosfet开关管（q2），分别连接于所述第一电源、第二电源的输出端与整机主供电轨的储能电容组件之间，两路mosfet开关管的栅极分别由所述控制电路的第一gpio引脚和第二gpio引脚独立驱动；所述储能电容组件由三枚多层陶瓷电容器（mlcc）并联组成；

29、第一ntc热敏电阻（ntc1），贴装于左镜腿电池旁侧，其模拟信号输出端连接至所述控制电路的第一adc通道；第二ntc热敏电阻（ntc2），贴装于右镜腿发热区域，其模拟信号输出端连接至所述控制电路的第二adc通道；所述热敏电阻（ntc1、ntc2）均采用高精度、小封装的负温度系数贴片式。

30、优选的，所述控制电路通过第一adc通道和第二adc通道，分别通过对所述热敏电阻（ntc1、ntc2）的分压网络进行高频电压采样，利用内部集成的标定表格或steinhart-hart公式，实时解算出左镜腿温度t左与右镜腿主发热区温度t右，从而为后续温升梯度dt右/dt的精确微积分计算提供零延迟的原始数据输入；

31、当所述温升梯度达到0.5°c/s~1.5°c/s，或者左、右镜腿动态温差大于3°c时，触发供电切换时序：先将所述第一mosfet开关管（q1）完全导通，维持主供电轨电压稳定，随后关断所述第二mosfet开关管（q2），使所述第二电源进入物理冷却状态；所述第一mosfet开关管（q1）完全导通与所述第二mosfet开关管（q2）关断之间的时间间隔为10μs~50μs。

32、优选的，所述系统还包括有：imu九轴惯性传感器，优选icm-20948低功耗九轴运动跟踪芯片（采用封装为3mm×3mm×1mmqfn），其硬件中断引脚（int1）连接至所述控制电路的外部中断输入端（exint），其spi数据总线与所述控制电路的dma通道绑定；

33、lcos光机/光波导镜片模块，其驱动输入端与所述控制电路的显示数据总线相连，所述lcos光机内部集成有显示起始行地址寄存器和列偏移寄存器，内部lcos芯片优选采用jd7208硅基液晶微显示芯片；lcos芯片的硬件驱动板上集成有高速显示缓存寄存器（framebuffer），其物理地址空间内开放了显示起始行地址寄存器（start row addressregister）与列偏移寄存器（column offset register）；

34、所述控制电路被配置为：当所述imu九轴惯性传感器检测到头部角速度突变时，其硬件中断引脚触发最高优先级中断服务程序，所述控制电路借助所述dma通道读取角速度数据，直接改写所述lcos光机内部显示控制器的显示起始行地址寄存器和列偏移寄存器，实现画面像素的整体平移补偿；所述控制电路（1）内部集成有内核级的嵌套向量中断控制器（nvic）。

35、优选的，所述控制电路触发最高优先级中断服务程序的条件为：当前轴向的瞬时角速度ω＞ 0.1 rad/s（用以过滤由于人眼呼吸或心跳引起的身体微小震颤），或者角速度的时间变化率（即角加速度）dω/dt＞0.5 rad/s2（用以精准识别用户转头、行走顿步或震动引起的真实晃动）；单次硬件防抖补偿的总响应时长≤1ms；该双指标复合触发机制，既确保了对晃动的灵敏捕获，又避免了轻微背景噪声引起的中断高频误触发；

36、当触发最高优先级中断后，控制电路利用dma通道读取当前t时刻的水平轴角速度与垂直轴角速度，为了达成“大小相等、方向相反”的锚定补偿，系统采用几何声学与光学投影映射公式，计算列偏移寄存器实现画面像素的整体平移补偿；像素平移量按照与头部晃动角速度大小相等、方向相反的原则计算，具体为计算公式：

37、 ；

38、 ；

39、其中，为计算列偏移寄存器的水平像素位移量，为显示起始行地址寄存器的垂直像素位移量， 为当前防抖控制周期（固定为1ms），负号代表像素平移方向与头部晃动方向严格相反； 为lcos光机投影系统与光波导镜片的等效组合焦距（为18mm）； 和 分别为lcos显示芯片单个像素点的水平物理像元尺寸与垂直物理像元尺寸。

40、优选的，所述的基于眼动触发的ar听障辅助交互系统的交互方法，包括以下步骤：

41、s1：系统上电后，控制电路仅保持眼动捕捉模块工作，实时采集用户眼球的视线焦点数据，解算用户视线的汇聚矢量；

42、s2：当判定所述视线矢量在空间某一角度的波动方差小于预设阈值0.05且持续时间达到300ms-800ms时，所述控制电路将其确立为目标对话方位θ；

43、s3：所述控制电路通过gpio引脚拉高摄像头模块的使能端（en），将所述摄像头模块硬件唤醒，驱动所述摄像头模块仅对所述目标对话方位θ对应的中央视场局部感兴趣区域（roi）进行唇部图像帧截取；非roi区域的图像数据在本地直接丢弃，不上传云端；

44、s4：所述控制电路通过i2c总线向麦克风模块的音频数字信号处理器（dsp）写入波束成形系数，将拾音主瓣的动态延时参数锁定在所述目标对话方位θ的±30°夹角区间内，并关闭其他方向的音频通道；

45、s5：所述控制电路对采集到的唇部图像和定向语音信号进行本地边缘特征提取，生成唇部边缘二值化图像矩阵和声场波束内的梅尔倒谱系数（mfcc）音频特征包；

46、s6：无线模块将所述音频特征包和唇部边缘二值化图像矩阵上传至智能移动应用端，由所述智能移动应用端调用云端大模型进行语义识别、语境整合以及双向文本与语音合成；

47、s7：合成后的交互字符流或音频流异步回传至眼镜端，通过lcos光机/光波导镜片模块进行ar文字渲染显示，以及通过微型扬声器模块向外部对话者进行定向语音播报。

48、与现有技术相比，本发明的有益效果如下：

49、1、本发明通过眼动捕捉模块、摄像头模块、麦克风模块及其对控制电路的连接关系，以及眼动捕捉根据波动方差确定目标对话，协同摄像头模块对目标方位的唇部图像截取，同时总线向麦克风模块锁定其区间并关闭其他方向音频通道，实现了“眼动感知-目标锁定-多模态定向采集”的控机机制。从而避免了各个模块全时段、全场景的工作导致的高能耗问题，也降低了复杂环境下非目标方位带来的信号的识别混乱和传输误报问题。

50、2、本发明通过配置imu九轴惯性传感器，以硬件中断的方式防止抖动，借助dma通道读取角速度数据，并直接对关机内部寄存器进行像素平移补偿，配合用户头部晃动方向相反的像素位移补偿，从而能够在用户头部瞬间移动的时候对字幕和原目标方位中的视物进行锚定，从而消除虚拟字幕的动态拖影、撕裂和字符错位，避免了用户的视觉眩晕和疲劳。

51、3、本发明通过配置的电源模块，为对称内置于左、右镜腿中的第一电源和第二电源，第一和第二电源为同一厂家、同一批次的两组高能量密度的定制锂聚合物异形电池，配合ntc热敏电阻实时监测温度，并在镜腿温升梯度或者双侧动态温差超过阈值时触发切换功能，切断发热侧电池，避免了单侧升温带来的用户面部灼烧，同时左右完全相同的配置也避免了单侧配置带来的用户鼻梁和耳部的机械压迫，提高了用户舒适度。