一种基于视觉图像分割的导航辅助方法、装置、终端设备及计算机可读存储介质与流程

摘要: 本发明涉及智能图像处理,尤其涉及一种基于视觉图像分割的导航辅助方法、装置、终端设备及计算机可读存储介质。背景技术:1、随着计算机视觉与人工智能技术的发展,图像分...
一种基于视觉图像分割的导航辅助方法、装置、终端设备及计算机可读存储介质与流程

本发明涉及智能图像处理,尤其涉及一种基于视觉图像分割的导航辅助方法、装置、终端设备及计算机可读存储介质。

背景技术:

1、随着计算机视觉与人工智能技术的发展,图像分割与增强现实导航已被广泛应用于微创操作等复杂场景中,成为提升目标结构识别与操作精准度的重要技术手段;

2、现有的通用图像分割与追踪方法虽然能够基于清晰的视觉特征快速输出目标的分割掩码,但在处理动态复杂的连续视频流时,难以应对浓烟、液体喷溅或器械遮挡等突发干扰,且纯视觉追踪算法在目标像素特征丢失时极易产生光流漂移与位姿预测错误,导致分割掩码频繁闪烁甚至完全丢失,造成目标分割与导航提示画面的不稳定与不可控。因此,如何在存在严重视觉遮挡与特征丢失的复杂环境下,维持连续且准确的目标图像分割与稳定追踪,成为本领域亟需解决的技术问题。

技术实现思路

1、本发明提供了一种基于视觉图像分割的导航辅助方法、装置、终端设备及计算机可读存储介质,能够解决现有纯视觉方法在面对动态遮挡时极易产生光流漂移,导致目标分割掩码丢失与导航画面不稳定的问题。

2、本发明一实施例提供了一种基于视觉图像分割的导航辅助方法,包括:获取目标区域的连续视频流图像,并提取连续视频流图像中关注区域的意图锚点; 将所述意图锚点和所述连续视频流图像中的当前帧图像输入至预先训练的分割网络中,以使分割网络输出所述当前帧图像对应的初始分割结果以及分割置信度; 当所述分割置信度低于预设阈值时,获取关联操作设备的三维机械运动学反馈数据,并根据坐标映射矩阵将所述三维机械运动学反馈数据表征的三维空间位姿变化投影至所述当前帧图像所在的二维像素坐标系中,生成运动学预测光流; 提取所述连续视频流图像中的二维视觉光流,将所述二维视觉光流与所述运动学预测光流进行融合,得到目标融合光流; 利用所述目标融合光流对所述连续视频流图像中历史帧图像的分割结果进行运动补偿,生成所述当前帧图像对应的追踪掩码; 根据所述初始分割结果和所述追踪掩码确定当前帧的目标分割掩码,并基于所述目标分割掩码输出导航提示画面。

3、进一步的,提取连续视频流图像中关注区域的意图锚点,包括: 获取操作者的眼球运动数据,从所述眼球运动数据中提取当前注视时长和当前瞳孔直径,并利用时间滑动窗口提取历史瞳孔数据,通过指数滑动平均算法动态更新得到基准瞳孔直径; 提取所述连续视频流图像中的全局亮度相对变化率,并获取关联操作设备的焦距变化量; 根据所述全局亮度相对变化率和所述焦距变化量对所述基准瞳孔直径进行补偿,生成瞳孔环境补偿特征;

4、根据所述瞳孔环境补偿特征和所述当前瞳孔直径,计算得到表征认知负荷的瞳孔变化率;

5、当所述当前注视时长大于预设的时长阈值,且所述瞳孔变化率大于预设的变化率阈值时,从所述眼球运动数据中提取对应的二维图像坐标; 调用预设的双目深度图与相机内参矩阵,将所述二维图像坐标反投影至三维空间,得到包含空间深度值的所述意图锚点。

6、进一步的,将所述意图锚点和所述连续视频流图像中的当前帧图像输入至预先训练的分割网络中,以使分割网络输出所述当前帧图像对应的初始分割结果以及分割置信度,包括: 基于所述意图锚点,生成与所述当前帧图像分辨率相同的高斯分布权重掩码;将所述高斯分布权重掩码与所述当前帧图像在通道维度进行拼接,得到多模态输入张量;将所述多模态输入张量输入至所述分割网络中提取深层语义特征,并将所述深层语义特征分别输入至并行设置的多个任务分支中,以输出目标病灶组织的概率掩码、关键脉管结构的概率掩码以及组织表面法向量; 利用预设的门控网络层对所述目标病灶组织的概率掩码、所述关键脉管结构的概率掩码以及所述组织表面法向量执行门控权重分配,得到初始加权掩码; 基于解剖互斥规则与深度一致性特征,对所述初始加权掩码中产生空间位置冲突的掩码区域进行抑制,得到融合特征图;

7、通过条件随机场对所述融合特征图进行边界像素细化,输出所述初始分割结果。

8、进一步的,输出所述当前帧图像对应的初始分割结果以及分割置信度,包括: 提取所述初始分割结果中目标掩码区域内的平均类别概率、掩码边界梯度清晰度以及基于所述意图锚点深度所生成的区域连续性特征; 计算所述初始分割结果与历史帧图像经运动补偿后得到的先验掩码之间的交并比得分; 计算所述初始分割结果的掩码质心与所述意图锚点之间的空间一致性得分; 对所述平均类别概率、所述掩码边界梯度清晰度、所述区域连续性特征、所述交并比得分以及所述空间一致性得分进行加权求和,计算得到所述分割置信度。

9、进一步的,根据坐标映射矩阵将所述三维机械运动学反馈数据表征的三维空间位姿变化投影至所述当前帧图像所在的二维像素坐标系中,生成运动学预测光流,包括: 从历史帧图像的分割结果中提取目标轮廓对应的二维边界像素集合,并根据预先获取的双目深度信息与相机外参矩阵,将所述二维边界像素集合转换为基坐标系下的第一三维空间点集; 解析所述三维机械运动学反馈数据,得到关联操作设备当前的实时位姿矩阵; 利用所述实时位姿矩阵对所述第一三维空间点集执行刚体位姿变换,预测得到对应当前帧图像时刻的第二三维空间点集; 利用相机内参投影矩阵将所述第二三维空间点集重新投影至所述二维像素坐标系中,得到预测二维像素点集; 计算所述预测二维像素点集与所述第一三维空间点集对应的原始二维像素点集之间的像素位移矢量,生成所述运动学预测光流。

10、进一步的,将所述二维视觉光流与所述运动学预测光流进行融合,得到目标融合光流,包括: 提取所述当前帧图像的纹理质量得分、图像遮挡比例以及二维视觉光流的前后向一致性得分; 根据所述纹理质量得分、所述图像遮挡比例以及所述前后向一致性得分,计算表征视觉特征可靠性的第一加权系数; 基于所述第一加权系数与预设的总权重约束规则,计算得到表征物理预测可靠性的第二加权系数; 利用所述第一加权系数对所述二维视觉光流进行乘积运算,并利用所述第二加权系数对所述运动学预测光流进行乘积运算; 将相乘后的二维视觉光流与相乘后的运动学预测光流进行矩阵加法融合,得到所述目标融合光流。

11、进一步的,基于所述目标分割掩码输出导航提示画面之后,还包括: 提取所述目标分割掩码中关键解剖结构的二维边界像素,并结合相机内参矩阵与双目深度信息对所述二维边界像素进行反投影,得到所述关键解剖结构对应的表面三维点云; 基于所述关联操作设备的机械运动学反馈数据,获取关联操作设备在三维空间中的尖端执行器坐标; 计算所述尖端执行器坐标至所述表面三维点云表面的最短物理欧氏距离; 采集所述尖端执行器在历史时间窗口内的闭合速度序列,并提取所述闭合速度序列中的预设分位数作为动态速度阈值; 当检测到所述最短物理欧氏距离小于预设的安全距离阈值,且获取的所述尖端执行器当前的闭合速度大于所述动态速度阈值时,生成碰撞预警信号; 基于所述碰撞预警信号,控制所述导航提示画面渲染视觉警示图层,并向所述关联操作设备发送力反馈震动控制指令。

12、本发明另一实施例还提供了一种基于视觉图像分割的导航辅助装置,包括:多模态感知模块、图像分割模块、时序运动补偿模块以及导航输出模块;

13、多模态感知模块,用于获取目标区域的连续视频流图像,并提取连续视频流图像中关注区域的意图锚点;

14、图像分割模块,用于将所述意图锚点和所述连续视频流图像中的当前帧图像输入至预先训练的分割网络中,以使分割网络输出所述当前帧图像对应的初始分割结果以及分割置信度;

15、时序运动补偿模块,用于当所述分割置信度低于预设阈值时,获取关联操作设备的三维机械运动学反馈数据,并根据坐标映射矩阵将所述三维机械运动学反馈数据表征的三维空间位姿变化投影至所述当前帧图像所在的二维像素坐标系中,生成运动学预测光流;提取所述连续视频流图像中的二维视觉光流,将所述二维视觉光流与所述运动学预测光流进行融合,得到目标融合光流;利用所述目标融合光流对所述连续视频流图像中历史帧图像的分割结果进行运动补偿,生成所述当前帧图像对应的追踪掩码;

16、导航输出模块,用于根据所述初始分割结果和所述追踪掩码确定当前帧的目标分割掩码,并基于所述目标分割掩码输出导航提示画面。

17、本发明另一实施例还提供了一种终端设备,包括:处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,实现本发明一种基于视觉图像分割的导航辅助方法。

18、本发明另一实施例还提供了一种计算机可读存储介质,包括:存储的计算机程序,其中,在计算机程序运行时,控制计算机可读存储介质所在的设备执行本发明一种基于视觉图像分割的导航辅助方法。

19、通过实施本发明的实施例具有如下有益效果:

20、本发明提供了一种基于视觉图像分割的导航辅助方法,通过获取目标区域的连续视频流图像,对目标区域的连续视频流图像进行特征解析得到对应当前关注区域的意图锚点;将所述意图锚点与连续视频流图像中的当前帧图像输入至预先训练的分割网络中,输出对应的初始分割结果以及分割置信度;进而在所述分割置信度低于预设阈值时,获取关联操作设备的三维机械运动学反馈数据,并根据坐标映射矩阵将该三维机械运动学反馈数据表征的三维空间位姿变化投影至二维像素坐标系中,生成运动学预测光流;随后提取二维视觉光流并与所述运动学预测光流进行融合得到目标融合光流,利用所述目标融合光流对历史帧图像的分割结果进行运动补偿,生成当前帧图像对应的追踪掩码;最后根据所述初始分割结果和追踪掩码确定目标分割掩码,并基于该目标分割掩码生成导航提示画面。

21、采用上述技术方案,本发明针对现有纯视觉分割与追踪方法在面对动态遮挡或目标特征丢失时极易产生光流漂移与分割失效的缺陷,通过在分割置信度下降时跨界引入操作设备的物理三维机械运动学反馈数据,并在算法层面利用坐标投影机制实现了三维物理运动与二维像素光流的维度对齐与融合;同时,基于融合后的目标光流对历史帧特征执行运动补偿,将遮挡场景下的目标追踪由高度依赖像素质量的纯视觉概率性推断,转变为视觉感知与物理运动学强耦合的双重校验与确定性补偿,有效克服了单一视觉特征丢失带来的遮挡干扰,防止了掩码闪烁或丢失现象的发生,实现了复杂环境下目标掩码的连续稳定追踪,提高了图像分割与导航提示画面的鲁棒性与可靠性。