一种智能眼镜及智能眼镜的控制方法与流程
本技术涉及人工智能,具体而言,涉及一种智能眼镜及智能眼镜的控制方法。
背景技术:
1、随着增强现实(ar)和人工智能技术的快速发展,智能眼镜作为一种新兴的可穿戴设备,逐渐从显示终端向具备感知与交互能力的智能平台演进。
2、表面肌电(semg)技术通过采集皮肤表面的肌肉电信号来感知肌肉活动,将semg技术应用于智能眼镜,通过检测面部肌肉的肌电信号来识别用户的微表情意图,已成为一种可行的交互方案。
3、然而,现有集成semg的智能眼镜方案仍存在诸多不足。一方面,部分方案将电极与电路设置于镜腿位置,由于颞骨区域皮肤较厚且受毛发遮挡,信号质量较差,同时镜腿内置电路导致佩戴压力增大,用户舒适度降低。另一方面,若将全部处理电路设置于镜框,又会导致镜框过重、局部发热以及难以适配不同脸型的问题。
4、因此,如何在保证信号质量的前提下实现轻便、舒适且稳定的肌电交互,是当前亟需解决的技术问题。
技术实现思路
1、本技术实施例提供一种智能眼镜及智能眼镜的控制方法,可提升智能眼镜交互的便捷性。
2、第一方面,本技术实施例提供一种智能眼镜,包括:眼镜本体、分别安装于所述眼镜本体上两个鼻托位置处的两个鼻托传感模块、以及安装于所述眼镜本体的镜腿位置的主控芯片;
3、所述鼻托传感模块至少包括:干电极阵列,所述干电极阵列用于采集鼻肌的肌电信号;
4、所述眼镜本体上所述两个鼻托位置处分别设置两个磁吸接口,两个所述鼻托传感模块分别通过两个所述磁吸接口与所述主控芯片连接;所述磁吸接口处设置有信号传输引脚,所述信号传输引脚的数量与所述干电极阵列中的干电极数量相同;
5、所述眼镜本体上还设置有模数转换器,所述信号传输引脚经所述模数转换器与所述主控芯片连接,所述模数转换器用于将所述肌电信号转换为数字肌电信号并发送至所述主控芯片,使得所述主控芯片基于所述数字肌电信号确定用户意图,并根据所述用户意图下发对应的控制指令。
6、可选地,
7、所述鼻托传感模块包括鼻托柔性电路板,所述鼻托柔性电路板上设置有所述干电极阵列和信号调理电路;
8、所述眼镜本体的镜框位置设置有中间镜框柔性电路板,所述中间镜框柔性电路板上设置有惯性测量单元和所述模数转换器,所述惯性测量单元与所述模数转换器分别连接所述主控芯片;所述信号调理电路连接所述模数转换器;
9、所述中间镜框柔性电路板分别与所述鼻托柔性电路板、第一镜腿主板和第二镜腿主板连接;
10、所述主控芯片设置于所述第一镜腿主板或所述第二镜腿主板上;
11、数字麦克风、振子马达、指示灯、触摸佩戴检测传感器分别设置于所述第一镜腿主板和/或所述第二镜腿主板上,并分别与所述主控芯片连接;
12、所述第一镜腿主板连接有第一镜腿柔性电路板,所述第一镜腿柔性电路板上设置有第一音频功放和第一扬声器;
13、所述第二镜腿主板连接第二镜腿柔性电路板,所述第二镜腿柔性电路板上设置有第二音频功放和第二扬声器;
14、所述第一音频功放、所述第一扬声器、所述第二音频功放和所述第二扬声器分别与所述主控芯片连接。
15、可选地,所述干电极阵列包括:
16、位于鼻根两侧的第一干电极,用于感应降眉间肌的肌电信号;
17、位于鼻翼中段两侧的第二干电极,用于感应鼻肌横部的肌电信号;
18、位于鼻翼下缘两侧的第三干电极,用于感应提上唇肌的肌电信号。
19、第二方面,本技术实施例还提供一种智能眼镜的控制方法,应用于上述第一方面任一项所述的智能眼镜,所述方法包括:
20、通过干电极阵列采集鼻肌的肌电信号;
21、通过信号传输引脚将所述肌电信号发送至模数转换器进行模数转换,得到数字肌电信号;
22、通过所述模数转换器将所述数字肌电信号发送至所述主控芯片;
23、通过所述主控芯片对所述数字肌电信号进行意图识别,得到意图识别结果并根据所述用户意图下发对应的控制指令。
24、可选地,所述通过所述主控芯片对所述数字肌电信号进行意图识别之前,所述方法还包括:
25、通过设置于所述眼镜本体的镜框位置的惯性测量单元采集头部运动数据;
26、通过设置于所述眼镜本体的镜腿位置的触摸佩戴检测传感器采集佩戴状态信号;
27、所述通过所述主控芯片对所述数字肌电信号进行意图识别,包括:
28、通过所述主控芯片对所述数字肌电信号提取对应的时域特征、频域特征和空域特征;
29、通过所述主控芯片基于所述时域特征、所述频域特征、所述空域特征、所述头部运动数据以及所述佩戴状态信号进行意图识别。
30、可选地,所述对所述数字肌电信号提取对应的时域特征、频域特征和空域特征之前,所述方法还包括:
31、根据所述头部运动数据获取当前俯仰角;
32、根据所述当前俯仰角确定基线偏移估计值;
33、根据所述基线偏移估计值对所述数字肌电信号进行基线校正,得到校正后的肌电信号;
34、所述对所述数字肌电信号提取对应的时域特征、频域特征和空域特征,包括:
35、对所述校正后的肌电信号提取对应的时域特征、频域特征和空域特征。
36、可选地,所述通过所述主控芯片基于所述时域特征、所述频域特征、所述空域特征、所述头部运动数据以及所述佩戴状态信号进行意图识别,包括:
37、将所述时域特征、所述频域特征、所述空域特征、所述头部运动数据和所述佩戴状态信号进行融合,得到融合特征;
38、将所述融合特征输入预训练的时空图卷积网络模型进行意图识别,得到各预设意图类别的置信度;
39、根据各所述置信度确定所述意图识别结果。
40、可选地,所述通过所述主控芯片对所述数字肌电信号进行意图识别之前,所述方法还包括:
41、对所述数字肌电信号的各通道分别进行带通滤波,得到滤波后信号;
42、监测所述滤波后信号各通道的接触阻抗,将所述接触阻抗超过预设阻抗阈值的通道数据标记为无效,得到有效通道信号;
43、计算所述有效通道信号中各所述通道之间的皮尔逊相关系数,若所有所述通道的皮尔逊相关系数均高于预设相关阈值,则将所述有效通道信号标记为机械伪影并予以剔除;
44、若所述有效通道信号未被标记为机械伪影,则对所述有效通道信号进行空域差分滤波,得到差分信号;
45、对所述差分信号中幅值超过预设幅值阈值的信号值截断,得到截断后信号;
46、对所述截断后信号进行移动窗口平滑处理,得到处理后的肌电信号,以供所述主控芯片进行意图识别。
47、可选地,所述通过信号传输引脚将所述肌电信号发送至模数转换器进行模数转换之前,所述方法还包括:
48、通过惯性测量单元持续监测头部运动数据;
49、根据所述头部运动数据计算角速度特征值和姿态变化率;
50、当所述角速度特征值或所述姿态变化率超过预设触发阈值时,开启关注窗;
51、所述通过信号传输引脚将所述肌电信号发送至模数转换器进行模数转换,包括:
52、在所述关注窗内,通过信号传输引脚将所述肌电信号发送至模数转换器进行模数转换。
53、可选地,所述通过所述干电极阵列采集鼻肌的肌电信号之前,所述方法还包括:
54、通过触摸佩戴检测传感器检测眼镜是否佩戴就位;
55、在佩戴就位后,采集用户处于面部肌肉放松状态时的肌电信号作为静息基线模板;
56、依次提示所述用户执行多个预设动作,采集各所述预设动作对应的肌电信号,并根据各所述预设动作对应的肌电信号建立个人校准表,所述个人校准表用于对所述肌电信号进行意图识别时提供比对基准;
57、在所述智能眼镜使用过程中,当检测到所述用户处于静息状态时,根据当前采集到的肌电信号更新所述静息基线模板。
58、本技术提供的一种智能眼镜及智能眼镜的控制方法,该智能眼镜包括眼镜本体、分别安装于眼镜本体上两个鼻托位置处的两个鼻托传感模块以及安装于镜腿位置的主控芯片;其中,鼻托传感模块至少包括干电极阵列,用于采集鼻肌的肌电信号;眼镜本体在两个鼻托位置处分别设置两个磁吸接口,两个鼻托传感模块分别通过两个磁吸接口与主控芯片连接,实现了鼻托传感模块的可拆卸更换与便捷连接,磁吸接口处设置有信号传输引脚,信号传输引脚的数量与干电极阵列中的干电极数量相同,确保各干电极采集到的肌电信号均具有独立的传输通道;眼镜本体上还设置有模数转换器,信号传输引脚经模数转换器与主控芯片连接,模数转换器将干电极阵列采集到的模拟肌电信号转换为数字肌电信号后发送至主控芯片,使得主控芯片能够基于数字肌电信号确定用户意图并下发对应的控制指令,实现了在鼻托端完成信号采集,在主控芯片端完成意图识别的分布式信号处理架构。采用本技术的智能眼镜,通过将干电极阵列集成于鼻托传感模块并佩戴于鼻翼两侧,采集位置避开了颞骨区域毛发与厚皮肤的遮挡,有效提升了原始肌电信号的信噪比;鼻托传感模块通过磁吸接口与眼镜本体可拆卸连接,使用户能够根据自身鼻梁形状或使用偏好快速更换适配的鼻托,降低了不同用户个体差异对采集稳定性的影响;同时磁吸接口中信号传输引脚的数量与干电极数量相同,使每一路肌电信号具备独立的传输路径,避免了多路信号共用通道引起的串扰;眼镜本体上设置模数转换器,使模拟肌电信号完成数字化转换;主控芯片基于数字肌电信号确定用户意图并下发对应的控制指令,使用户无需依赖语音或手动触摸,即可通过面部微表情完成对智能眼镜的控制,提升了交互的便捷性和隐蔽性,改善了用户在双手被占用或不便发声场景下的使用体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com