一种基于智能眼镜识别物品的方法及系统与流程

摘要: 本发明涉及智能穿戴设备领域,更具体地说,涉及一种基于智能眼镜识别物品的方法及系统。背景技术:1、增强现实与混合现实技术的发展使得智能穿戴设备在辅助交互中发挥着越...
一种基于智能眼镜识别物品的方法及系统与流程

本发明涉及智能穿戴设备领域,更具体地说,涉及一种基于智能眼镜识别物品的方法及系统。

背景技术:

1、增强现实与混合现实技术的发展使得智能穿戴设备在辅助交互中发挥着越来越重要的作用,其中物品识别是实现环境感知的基础环节。现有技术中已经出现了多种借助前置摄像头进行视觉捕捉的方案。公开号为cn109656940a的中国专利提供了一种智能学习辅助系统,其通过采集包含题目的图片并进行图像识别处理,进而寻找相应的解题方案。授权公告号为cn109086726b的中国专利则公开了一种局部图像识别方法,该方法通过获取人眼在真实场景的注视点区域,仅对注视点区域进行图像识别以降低处理压力。

2、然而,当用户在手臂可触及的近部空间内进行精细操作时,现有技术面临着难以克服的底层物理与光学干扰。用户在识别物品时通常需要用手进行抓取,当目标是玻璃烧杯或塑料水瓶这部分透明或半透明材质时,位于后方的手指会透过介质产生严重的光学折射与畸变。这种畸变的肤色纹理与透明物品本身的特征发生严重混叠,导致常规的图像处理模型无法准确剥离背景,引发极高的识别错误率。此外,近距离观察时摄像头中心与用户真实视轴之间存在固有视差,且智能设备在用户鼻梁上的微小物理滑动会导致静态的视差补偿瞬间失效,使得画面中心偏离实际注视点。同时,在用户凝视微小细节的相对静止状态下,人体心血管搏动带来的高频生理性微震颤会直接传导至头部设备,在微距成像时产生难以通过常规防抖模块消除的动态模糊,进一步破坏了微小物品边缘特征的提取质量。

技术实现思路

1、本发明要解决的技术问题是提供一种基于智能眼镜识别物品的方法及系统,以解决背景技术中提到的问题。

2、为了达到上述目的,本发明采取以下技术方案:

3、一种基于智能眼镜识别物品的方法,所述方法由处理器执行,所述方法包括:

4、获取智能眼镜的双光谱相机同步采集的可见光图像与近红外图像;

5、将所述近红外图像输入至近红外皮肤掩码提取模型,由所述近红外皮肤掩码提取模型输出掩码图像;

6、对所述掩码图像的像素值与所述可见光图像的像素值执行逐元素相乘操作,输出过滤后可见光图像;

7、将所述过滤后可见光图像输入至物品识别模型,由所述物品识别模型输出物品类别。

8、优选的,所述近红外皮肤掩码提取模型采用卷积神经网络架构,所述近红外皮肤掩码提取模型的训练过程包括:

9、获取样本近红外图像以及与所述样本近红外图像对应的真实皮肤掩码标签图像;

10、将所述样本近红外图像输入至初始近红外皮肤掩码提取模型,由所述初始近红外皮肤掩码提取模型输出预测掩码图像;

11、计算所述预测掩码图像与所述真实皮肤掩码标签图像之间的损失函数值;

12、应用梯度下降算法更新所述初始近红外皮肤掩码提取模型的网络参数,直至所述损失函数值收敛,得到所述近红外皮肤掩码提取模型。

13、优选的,所述物品识别模型采用视觉变换器架构,所述物品识别模型的训练过程包括:

14、获取样本过滤后可见光图像以及与所述样本过滤后可见光图像对应的真实物品类别标签;

15、将所述样本过滤后可见光图像输入至初始物品识别模型,由所述初始物品识别模型输出预测物品类别;

16、计算所述预测物品类别与所述真实物品类别标签之间的损失函数值;

17、应用梯度下降算法更新所述初始物品识别模型的网络参数,直至所述损失函数值收敛,得到所述物品识别模型。

18、优选的,所述掩码图像中的各个像素点的像素值分别为1或0;

19、所述对所述掩码图像的像素值与所述可见光图像的像素值执行逐元素相乘操作,输出过滤后可见光图像的步骤,包括:

20、将所述掩码图像转换为二值化掩码矩阵,并将所述可见光图像转换为图像矩阵;

21、计算所述二值化掩码矩阵与所述图像矩阵的哈达玛积,生成过滤后图像矩阵;

22、将所述过滤后图像矩阵转换为所述过滤后可见光图像。

23、优选的,所述获取智能眼镜的双光谱相机同步采集的可见光图像与近红外图像的步骤,包括:

24、获取所述智能眼镜包含的双光谱相机同步采集的初始可见光图像与初始近红外图像;

25、获取所述智能眼镜包含的眼动追踪相机采集的眼部图像,所述眼部图像中包含由所述智能眼镜包含的内侧红外点光源照射角膜形成的光斑像素点;

26、将所述眼部图像输入至光斑坐标提取模型,由所述光斑坐标提取模型输出所述光斑像素点对应的角膜反射光斑坐标;

27、将所述角膜反射光斑坐标输入至视差补偿模型,由所述视差补偿模型输出用于指示裁剪区域的裁剪窗口坐标参数;

28、以所述裁剪窗口坐标参数所指示的裁剪区域对所述初始可见光图像与所述初始近红外图像执行图像裁剪操作,将裁剪后的图像分别作为所述可见光图像与所述近红外图像。

29、优选的,所述视差补偿模型采用多层感知机架构,所述视差补偿模型的训练过程包括:

30、获取样本角膜反射光斑坐标以及与所述样本角膜反射光斑坐标对应的真实裁剪窗口坐标参数;

31、将所述样本角膜反射光斑坐标输入至初始视差补偿模型,由所述初始视差补偿模型输出预测裁剪窗口坐标参数;

32、计算所述预测裁剪窗口坐标参数与所述真实裁剪窗口坐标参数之间的损失函数值;

33、应用梯度下降算法更新所述初始视差补偿模型的网络参数,直至所述损失函数值收敛,得到所述视差补偿模型。

34、优选的,所述光斑坐标提取模型采用残差网络架构,所述光斑坐标提取模型的训练过程包括:

35、获取样本眼部图像以及与所述样本眼部图像对应的真实角膜反射光斑坐标;

36、将所述样本眼部图像输入至初始光斑坐标提取模型,由所述初始光斑坐标提取模型输出预测角膜反射光斑坐标;

37、计算所述预测角膜反射光斑坐标与所述真实角膜反射光斑坐标之间的损失函数值;

38、应用梯度下降算法更新所述初始光斑坐标提取模型的网络参数,直至所述损失函数值收敛,得到所述光斑坐标提取模型。

39、优选的,所述获取所述智能眼镜包含的双光谱相机同步采集的初始可见光图像与初始近红外图像的步骤,包括:

40、获取所述智能眼镜包含的惯性测量单元采集的连续头部加速度信号;

41、将所述连续头部加速度信号输入至生理震颤预测模型,由所述生理震颤预测模型输出用于指示下一次心脏舒张末期的目标曝光时间戳;

42、在系统时钟到达所述目标曝光时间戳对应的时刻时,向所述双光谱相机的图像信号处理器发送快门触发指令;

43、由所述双光谱相机响应所述快门触发指令执行同步曝光动作,采集得到所述初始可见光图像与所述初始近红外图像。

44、优选的,所述生理震颤预测模型采用长短期记忆网络架构,所述生理震颤预测模型的训练过程包括:

45、获取样本头部加速度信号以及与所述样本头部加速度信号对应的真实心脏舒张末期时间戳;

46、将所述样本头部加速度信号输入至初始生理震颤预测模型,由所述初始生理震颤预测模型输出预测曝光时间戳;

47、计算所述预测曝光时间戳与所述真实心脏舒张末期时间戳之间的损失函数值;

48、应用梯度下降算法更新所述初始生理震颤预测模型的网络参数,直至所述损失函数值收敛,得到所述生理震颤预测模型。

49、本发明还公开了一种基于智能眼镜识别物品的系统,所述系统包括:

50、图像获取模块,用于获取智能眼镜的双光谱相机同步采集的可见光图像与近红外图像;

51、掩码提取模块,用于将所述近红外图像输入至近红外皮肤掩码提取模型,由所述近红外皮肤掩码提取模型输出掩码图像;

52、图像过滤模块,用于对所述掩码图像的像素值与所述可见光图像的像素值执行逐元素相乘操作,输出过滤后可见光图像;

53、物品识别模块,用于将所述过滤后可见光图像输入至物品识别模型,由所述物品识别模型输出物品类别。

54、本发明相对于现有技术的优点在于,本发明从多维度融合了光学规律与生理力学特征,显著提升了复杂交互场景下的识别鲁棒性与准确度。

55、本发明通过双光谱相机同步获取可见光图像与近红外图像,并将近红外图像输入至近红外皮肤掩码提取模型以输出掩码图像,随后将掩码图像的像素值与可见光图像的像素值执行逐元素相乘操作,彻底解决了透明物品识别中的折射混叠难题。该方案利用了人体皮肤组织对特定近红外波段具有极高吸收率、而常规透明材质具有高透过率的物理规律,将复杂的非线性光学折射畸变降维转化为高对比度的物理阴影。这种直接在像素层面滤除干扰背景的机制,无需消耗庞大算力去处理畸变特征,从源头上保证了输入物品识别模型的可见光图像特征极其纯净,大幅提高了透明物品的识别成功率。

56、为进一步确保图像采集的绝对精准,本发明在获取初始图像前,通过眼动追踪相机采集包含内侧红外点光源照射角膜形成的光斑像素点的眼部图像,将其输入光斑坐标提取模型获得角膜反射光斑坐标,再通过视差补偿模型输出用于指示裁剪区域的裁剪窗口坐标参数,进而对初始图像执行图像裁剪操作。该设计利用角膜反射的几何不变性客观规律,实时解算出设备的物理滑动偏移量,有效消除了近部空间的高精度视差错位,确保掩码提取与特征识别始终紧密咬合用户的真实注视目标。

57、此外,本发明还通过惯性测量单元采集连续头部加速度信号,将其输入生理震颤预测模型输出用于指示下一次心脏舒张末期的目标曝光时间戳,并在该时间戳对应的时刻向图像信号处理器发送快门触发指令执行同步曝光动作。这种顺应生物节律的主动规避策略,跨越了传统机械防抖的滞后性限制,在心脏泵血的机械相对静止期进行数据捕捉,从物理底层彻底消除了高频生理微震颤带来的动态模糊,使得采集到的图像边缘极致锐利,为前述的像素级掩码过滤提供了最可靠的底层数据支撑。