基于显微镜的眼追踪方法以及电子设备与流程

本技术涉及眼部追踪，具体而言，涉及一种基于显微镜的眼追踪方法以及电子设备。

背景技术：

1、在眼科检查或治疗过程中，通常需要使用显微镜。其中，对于显微镜的眼追踪精度具有较高要求，以保证检查或治疗的效果。

2、现有技术中，提出了一种角膜缘血管特征匹配的追踪方法，该方法在角膜缘附近环带内提取血管纹理进行特征提取以及匹配，从而实现眼部追踪。

3、但是，现有技术的方法的特征匹配的准确度不高，难以满足眼部追踪的精度要求。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种基于显微镜的眼追踪方法以及电子设备，以解决现有技术中眼部追踪精度低的问题。

2、为实现上述目的，本技术采用的技术方案如下：

3、第一方面，本技术提供了一种基于显微镜的眼追踪方法，所述方法包括：

4、获取参考图像、当前图像、参考图像坐标系下的参考散光轴位中心点以及所述参考图像坐标系下的参考散光轴位角，所述参考图像为预先采集的图像，所述当前图像为实时采集的图像；

5、确定所述参考图像中的第一参考巩膜子区域以及第二参考巩膜子区域，并确定所述当前图像中的第一当前巩膜子区域以及第二当前巩膜子区域；

6、根据所述第一参考巩膜子区域以及所述第一当前巩膜子区域，确定第一匹配对集合，并根据所述第二参考巩膜子区域以及所述第二当前巩膜子区域，确定第二匹配对集合；

7、根据所述第一匹配对集合以及所述第二匹配对集合，确定所述当前图像相对于所述参考图像的变换矩阵；

8、根据所述变换矩阵，确定所述当前图像中散光轴位的中心点相对于所述参考散光轴位中心点的平移量，以及所述当前图像中散光轴位的轴位角相对于所述参考散光轴位角的旋转角。

9、可选地，所述确定所述当前图像中的第一当前巩膜子区域以及第二当前巩膜子区域，包括：

10、基于预先训练的语义分割网络，对所述当前图像进行语义分割，得到所述当前图像中各像素的类别标签，所述类别标签至少包括：背景类别、巩膜类别以及虹膜类别；

11、根据各像素的类别标签，确定当前巩膜类别二值掩膜以及当前虹膜类别二值掩膜；

12、根据所述当前巩膜类别二值掩膜以及当前虹膜类别二值掩膜，确定所述第一当前巩膜子区域以及所述第二当前巩膜子区域。

13、可选地，所述根据所述当前巩膜类别二值掩膜以及当前虹膜类别二值掩膜，确定所述第一当前巩膜子区域以及所述第二当前巩膜子区域，包括：

14、判断所述当前巩膜类别二值掩膜中的巩膜像素数量是否低于预设像素阈值，若是，则将当前图像标记为无效图像，并采集下一图像；

15、若否，则判断当前虹膜类别二值掩膜中的虹膜像素是否为空，若是，则将所述当前图像的垂直中线作为所述当前图像的垂直切分轴，若否，则将穿过所述虹膜类别二值掩膜中的所有虹膜像素的质心的垂直线，作为当前图像的垂直切分轴；

16、基于所述垂直切分轴，将所述当前图像中的巩膜类别二值掩膜切分为所述第一当前巩膜子区域以及所述第二当前巩膜子区域。

17、可选地，所述根据所述第一参考巩膜子区域以及所述第一当前巩膜子区域，确定第一匹配对集合，包括：

18、分别提取所述第一参考巩膜子区域的多个特征点以及所述第一当前巩膜子区域的多个特征点；

19、对所述第一参考巩膜子区域的多个特征点以及所述第一当前巩膜子区域的多个特征点进行特征匹配，得到第一候选匹配对集合；

20、对所述第一候选匹配对集合中的各第一候选匹配对进行筛选，得到第一匹配对集合。

21、可选地，所述根据所述第一匹配对集合以及所述第二匹配对集合，确定所述当前图像相对于所述参考图像的变换矩阵，包括：

22、根据所述第一匹配对集合，确定第一内点集合以及第一局部变换矩阵；

23、根据所述第二匹配对集合，确定第二内点集合以及第二局部变换矩阵；

24、根据所述第一内点集合、所述第二内点集合、所述第一局部变换矩阵以及所述第二局部变换矩阵，确定所述变换矩阵。

25、可选地，所述根据所述第一匹配对集合，确定第一内点集合以及第一局部变换矩阵，包括：

26、对所述第一匹配对集合进行鲁棒估计，得到第一候选内点集合以及第一候选变换矩阵；

27、确定当前追踪状态，所述当前追踪状态为初始化状态或者稳定状态；

28、根据所述当前追踪状态，确定预设旋转范围以及预设尺度范围；

29、若所述第一候选变换矩阵对应的旋转角度不超过所述预设旋转范围，且所述第一候选内点集合中的匹配对数量不低于预设数量阈值，并且满足以下条件之一：所述第一候选变换矩阵为刚性变换矩阵；或者，所述第一候选变换矩阵为相似变换矩阵且其对应的尺度因子不超过所述预设尺度范围，则将第一候选内点集合作为第一内点集合，并将所述第一候选变换矩阵作为所述第一局部变换矩阵。

30、可选地，所述初始化状态对应的预设旋转范围大于所述稳定状态对应的预设旋转范围；在采用相似变换模型的情况下，所述初始化状态对应的预设尺度范围大于所述稳定状态对应的预设尺度范围；

31、所述确定当前追踪状态，包括：

32、判断当前图像是否为实时采集的首帧图像，若是，则将所述当前追踪状态确定为初始化状态；

33、若否，则获取历史连续预设帧数的图像的追踪结果，所述追踪结果表征图像对应的平移量以及旋转角是否可信；

34、若所述历史连续预设帧数的图像中有预设数量图像的追踪结果为失锁状态，则将所述当前追踪状态确定为初始化状态；

35、若所述历史连续预设帧数的图像的追踪结果均为稳态锁定状态，则将所述当前追踪状态确定为稳定状态。

36、可选地，所述根据所述第一内点集合、所述第二内点集合、所述第一局部变换矩阵以及所述第二局部变换矩阵，确定所述变换矩阵，包括：

37、将所述第一内点集合以及所述第二内点集合进行合并，得到合并点集；

38、根据合并点集、所述第一局部变换矩阵以及所述第二局部变换矩阵，确定变换矩阵；

39、所述根据合并点集、所述第一局部变换矩阵以及所述第二局部变换矩阵，确定变换矩阵的方法包括：

40、对所述第一局部变换矩阵和所述第二局部变换矩阵进行融合，得到初始变换矩阵，并以所述初始变换矩阵为初值，基于所述合并点集通过最小二乘算法迭代优化求解，得到所述变换矩阵；或者，

41、构建包含数据项与正则项的目标函数，基于所述目标函数求解得到所述变换矩阵，其中所述数据项表征所述合并点集在所述变换矩阵下的配准误差，所述正则项用于基于预设权重约束所述变换矩阵分别与所述第一局部变换矩阵及所述第二局部变换矩阵的偏差；或者，

42、对所述第一局部变换矩阵和所述第二局部变换矩阵按照预设融合权重进行加权融合，得到所述变换矩阵。

43、可选地，所述方法还包括：

44、对所述第一局部变换矩阵以及所述第二局部变换矩阵进行交叉验证，确定交叉验证结果；

45、基于交叉验证结果，确定所述当前图像的变换矩阵的追踪结果；

46、若所述追踪结果指示当前图像对应的平移量以及旋转角不可信，则输出告警信号。

47、第二方面，本技术提供了一种基于显微镜的眼追踪装置，所述装置包括：

48、获取模块，用于获取参考图像、当前图像、参考图像坐标系下的参考散光轴位中心点以及所述参考图像坐标系下的参考散光轴位角，所述参考图像为预先采集的图像，所述当前图像为实时采集的图像；

49、第一确定模块，用于确定所述参考图像中的第一参考巩膜子区域以及第二参考巩膜子区域，并确定所述当前图像中的第一当前巩膜子区域以及第二当前巩膜子区域；

50、第二确定模块，用于根据所述第一参考巩膜子区域以及所述第一当前巩膜子区域，确定第一匹配对集合，并根据所述第二参考巩膜子区域以及所述第二当前巩膜子区域，确定第二匹配对集合；

51、第三确定模块，用于根据所述第一匹配对集合以及所述第二匹配对集合，确定所述当前图像相对于所述参考图像的变换矩阵；

52、第四确定模块，用于根据所述变换矩阵，确定所述当前图像中散光轴位的中心点相对于所述参考散光轴位中心点的平移量，以及所述当前图像中散光轴位的轴位角相对于所述参考散光轴位角的旋转角。

53、第三方面，本技术提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述基于显微镜的眼追踪方法的步骤。

54、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述基于显微镜的眼追踪方法的步骤。

55、本技术的有益效果是：获取参考图像、当前图像以及参考图像坐标系下的参考散光轴位中心点以及参考图像坐标系下的参考散光轴位角，确定参考图像中的第一参考巩膜子区域以及第二参考巩膜子区域，并确定当前图像中的第一当前巩膜子区域以及第二当前巩膜子区域；根据第一参考巩膜子区域以及第一当前巩膜子区域，确定第一匹配对集合，并根据第二参考巩膜子区域以及第二当前巩膜子区域，确定第二匹配对集合；根据第一匹配对集合以及第二匹配对集合，确定当前图像相对于参考图像的变换矩阵；根据变换矩阵，确定平移量以及旋转角。本实施例中，通过将巩膜区域划分为两个独立子区域，并分别确定匹配对，避免现有技术中特征匹配时强纹理侧主导几何拟合的问题，平衡了鼻颞侧特征的贡献，提升了在血管分布不对称或部分遮挡条件下的鲁棒性。同时，基于双侧匹配对共同确定变换矩阵，确保了旋转角与平移量输出的对称性与准确性，满足眼追踪的高精度需求。