一种视觉SLAM前端特征采集与语义关联方法及系统

本申请涉及医学内窥镜图像处理、计算机视觉与同步定位建图，尤其涉及一种在单目支气管镜视觉slam前端中融合息肉检测、息肉分割、掩膜约束orb特征筛选及二维-三维语义关联的方法及系统。

背景技术：

1、支气管镜机器人可用于气道检查、病灶定位和介入操作。术前计算机断层扫描能够提供静态的气道解剖先验，但难以反映术中支气管腔的实时外观变化及病灶状态。基于单目内窥镜图像的视觉slam（simultaneouslocalizationandmapping(同时定位与地图构建)）能够在线估计相机位姿并重建局部环境，因其不依赖额外定位传感器而具有较好的应用潜力。

2、现有orb-slam类方法主要围绕几何特征提取、匹配、跟踪和地图点维护展开。在弱纹理、照明变化明显、镜面反射和观测不稳定的支气管镜场景中，几何前端虽然能够提取分散的orb（orientedfastandrotatedbrief）特征，但通常不能区分特征是否来自息肉区域，因而无法直接形成面向病灶的二维特征集合与三维语义表示。

3、深度学习目标检测能够在图像层面快速给出病灶候选区域，像素级分割能够进一步描绘病灶边界，但现有检测和分割方法多作为独立的二维图像分析模块使用，与视觉slam前端的特征采集和地图点处理相互分离。若对每一帧均执行完整分割，还会对不存在息肉的图像帧引入不必要的计算开销。

4、因此，需要一种能够利用帧级检测结果按需激活分割分支、利用息肉掩膜约束orb特征采集，并将二维息肉信息关联至视觉slam三维地图点的前端处理方法，以在保留原有几何跟踪机制的同时获得病灶感知能力。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种面向支气管镜息肉感知的视觉slam前端特征采集与语义关联方法及系统，解决现有视觉slam前端缺少显式病灶语义、二维检测分割结果难以与三维地图点对应以及对无息肉图像帧重复执行语义分割的问题。

2、基于上述目的，本申请提出了一种视觉slam前端特征采集与语义关联方法，面向支气管镜息肉感知，包括：

3、步骤s1：获取当前时刻的单目支气管镜图像帧，将该图像帧输入息肉检测网络，由息肉检测网络输出当前图像帧的帧级检测标志以及息肉候选区域。

4、步骤s2：根据帧级检测标志执行分支门控。对于含息肉图像帧，在息肉候选区域约束下执行息肉分割并生成二值息肉掩膜；对于无息肉图像帧，不激活分割分支，直接执行预设orb-slam前端处理。

5、步骤s3：对当前图像帧提取orb特征，通过判断各orb特征的图像坐标是否位于二值息肉掩膜内，从全图orb特征集合中筛选得到息肉相关二维特征子集。

6、步骤s4：获取视觉slam地图中被当前图像帧观测到的三维地图点，依据当前相机位姿和相机投影模型将三维地图点投影至图像平面；通过判断投影坐标是否位于二值息肉掩膜内，为当前地图点观测赋予息肉语义标签。

7、步骤s5：将息肉相关二维特征子集和具有息肉语义标签的三维地图点观测结果提供给后续语义地图构建、病灶定位或支气管镜导航模块，同时保持视觉slam几何跟踪和地图点维护流程。

8、本申请还提供一种执行上述方法的系统，所述系统包括：

9、图像获取模块，用于获取单目支气管镜图像帧；

10、息肉检测与门控模块，用于输出帧级检测标志和息肉候选区域，并根据帧级检测标志选择语义处理分支或预设orb-slam前端分支；

11、分割与掩膜模块，用于在息肉候选区域约束下生成二值息肉掩膜；

12、特征筛选模块，用于根据所述二值息肉掩膜从orb特征集合中获得息肉相关二维特征子集；

13、视觉slam几何前端，用于执行相机姿态估计和三维地图点维护；

14、二维-三维关联模块，用于将三维地图点投影至图像平面并根据投影点与二值息肉掩膜的空间隶属关系生成息肉语义标签。

15、与现有技术相比，本申请具有以下有益效果：通过构建融合息肉检测、检测引导分割、二值掩膜约束orb特征筛选及二维-三维语义关联的视觉slam前端框架，利用帧级息肉检测结果对分割与语义处理分支进行门控，仅对含息肉图像帧执行息肉分割和掩膜生成，并根据二值息肉掩膜筛选息肉相关orb特征，同时将二维息肉区域与视觉slam三维地图点建立语义关联；对未检出息肉的图像帧继续采用常规orb-slam前端处理。由此，在保持原有几何跟踪与地图点维护机制的基础上，本申请能够为病灶区域提供显式二维特征和三维语义标记，并减少无息肉图像帧上的不必要分割计算，为病灶感知建图、息肉定位和支气管镜导航提供结构化数据基础。

1.一种视觉slam前端特征采集与语义关联方法，面向支气管镜息肉感知，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述步骤s1包括：

3.根据权利要求2所述的方法，其特征在于，所述步骤s2包括：

4.根据权利要求1所述的方法，其特征在于，所述步骤s3包括：

5.根据权利要求3所述的方法，其特征在于，所述步骤s4包括：

6.根据权利要求1所述的方法，其特征在于，所述预设orb-slam前端包括：

7.根据权利要求1所述的方法，其特征在于，所述息肉检测网络包括：

8.根据权利要求1所述的方法，其特征在于，包括：

9.一种视觉slam前端特征采集与语义关联系统，面向支气管镜息肉感知，其特征在于，包括：

10.根据权利要求9所述的系统，其特征在于，包括：