消化道内镜图像的活检留图方法、装置及存储介质与流程

技术特征：
1.一种消化道内镜图像的活检留图方法，其特征在于，包括：获取消化道内镜图像序列，所述消化道内镜图像序列包括多帧消化道内镜图像；从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，其中，所述标志物区域图像序列包括多帧标志物区域图像，且一帧标志物区域图像对应一帧消化道内镜图像；对多帧所述标志物区域图像进行三维重建，得到所述标志物区域图像的三维坐标集合；基于所述标志物区域图像的三维坐标集合，计算当前相邻两帧所述标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度；对所述多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像；基于所述当前相邻两帧附着物区域图像，计算所述附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度；基于所述第一形态变化度、所述第二形态变化度及预设留图阈值，确定与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态，所述活检留图状态包括留图和不留图。2.如权利要求1所述的消化道内镜图像的活检留图方法，其特征在于，所述从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，包括：对所述消化道内镜图像进行标志物区域定位，确定标志物区域的预测框；基于所述预测框的坐标，计算各个预测框的偏移程度系数；将偏移程度系数小于预设偏移阈值的所述预测框确定为目标预测框；按照各个所述目标预测框在所述消化道内镜图像进行裁剪，得到所述标志物区域图像序列。3.如权利要求1所述的消化道内镜图像的活检留图方法，其特征在于，所述对多帧所述标志物区域图像进行三维重建，得到所述标志物区域图像的三维坐标集合，包括：将所述标志物区域图像输入训练好的三维重建模型中，输出所述标志物区域图像的三维坐标集合。4.如权利要求3所述的消化道内镜图像的活检留图方法，其特征在于，所述消化道内镜图像的活检留图方法还包括：根据所述标志物区域图像和对应的灰度掩模，预测像素点的三维坐标；基于所述像素点的三维坐标进行点云融合，得到初始三维模型；根据所述初始三维模型生成所述标志物区域图像的二维投影图；获取所述二维投影图的掩模图像对应的损失函数，得到掩模损失函数；获取所述二维投影图的深度掩模图像对应的损失函数，得到深度损失函数；基于所述深度损失函数和掩模损失函数对所述三维模型进行训练，生成所述训练好的三维重建模型。5.如权利要求1所述的消化道内镜图像的活检留图方法，其特征在于，所述基于所述标志物区域图像的三维坐标集合，计算当前相邻两帧所述标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度，包括：根据所述标志物区域图像的三维坐标集合，确定所述标志物区域图像中的标志物在z
轴上的极值点的二维坐标；确定所述标志物区域图像中的标志物所在平面的中心点的二维坐标；基于所述极值点的二维坐标和所述中心点的二维坐标确定所述第一形态变化度。6.如权利要求1所述的消化道内镜图像的活检留图方法，其特征在于，所述对所述多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像，包括：将所述标志物区域图像输入训练好的附着物识别模型进行识别，获取输出结果，所述输出结果包括附着物类型标签及所述附着物类型标签对应的附着物区域图像，所述附着物类型标签包括表面附着物和其他附着物；从所述输出结果中获取附着物类型标签为表面附着物对应的附着物区域图像作为所述附着物区域图像。7.如权利要求6所述的消化道内镜图像的活检留图方法，其特征在于，所述输出结果还包括附着物类型标签为表面附着物的非自发性出血的概率；所述基于所述当前相邻两帧附着物区域图像，计算所述附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度，包括：计算所述当前相邻两帧附着物区域图像的非自发性出血的概率的差值，将所述差值作为第二形态变化度。8.如权利要求1所述的消化道内镜图像的活检留图方法，其特征在于，所述基于所述第一形态变化度、所述第二形态变化度及预设留图阈值，确定与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态，包括：根据所述第一形态变化度、所述第二形态变化度，利用预设激活函数计算得到综合形态变化度；根据所述综合形态变化度及所述预设留图阈值，确定活检留图状态。9.一种消化道内镜图像的活检留图装置，其特征在于，包括：获取模块，用于获取消化道内镜图像序列，所述消化道内镜图像序列包括多帧消化道内镜图像；提取模块，用于从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，其中，所述标志物区域图像序列包括多帧标志物区域图像，且一帧标志物区域图像对应一帧消化道内镜图像；重建模块，用于对多帧所述标志物区域图像进行三维重建，得到所述标志物区域图像的三维坐标集合；第一计算模块，用于基于所述标志物区域图像的三维坐标集合，计算当前相邻两帧所述标志物区域图像中的粘膜形态变化程度的量化值，得到第一形态变化度；识别模块，用于对所述多帧标志物区域图像进行表面附着物识别，得到对应的多帧附着物区域图像；第二计算模块，用于基于所述当前相邻两帧附着物区域图像，计算所述附着物区域图像中的附着物变化程度的量化值，得到第二形态变化度；确定模块，用于基于所述第一形态变化度、所述第二形态变化度及预设留图阈值，确定与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态，所述活检留图状态包括留图和不留图。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述消化道内镜图像的活检留图方法的步骤。

技术总结
本申请实施例提供了一种消化道内镜图像的活检留图方法、装置及存储介质，该方法通过获取消化道内镜图像序列，从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序列，基于标志物区域图像的三维坐标集合，计算当前相邻两帧标志物区域图像中的粘膜形态变化程度的量化值，基于当前相邻两帧附着物区域图像，计算附着物区域图像中的附着物变化程度的量化值，基于第一形态变化度、第二形态变化度及预设留图阈值，确定与标志物区域图像对应的消化道内镜图像的活检留图状态，实现了消化道内镜图像序列的活检留图状态的定量分析，大大提高了消化道内镜图像序列的活检留图状态检测效率。态检测效率。态检测效率。


技术研发人员：杨振宇 胡珊
受保护的技术使用者：武汉楚精灵医疗科技有限公司
技术研发日：2022.11.23
技术公布日：2022/12/30