内窥镜图像序列筛选方法、系统、设备及介质与流程

摘要: 本发明涉及图像处理,尤其涉及一种内窥镜图像序列筛选方法、系统、设备及介质。背景技术:1、在工业内窥镜、巡检机器人和胶囊式采集设备等需要获取连续图像序列、并基于连...
内窥镜图像序列筛选方法、系统、设备及介质与流程

本发明涉及图像处理,尤其涉及一种内窥镜图像序列筛选方法、系统、设备及介质。

背景技术:

1、在工业内窥镜、巡检机器人和胶囊式采集设备等需要获取连续图像序列、并基于连续图像序列对各图像帧进行类别识别与目标检测的应用场景中,采集设备通常会按已知帧率连续输出大量图像帧,而其中真正承载有效信息、需要审阅人员重点关注的图像帧数量远小于全部图像帧数量。审阅人员若逐帧核查全部图像帧,不仅工作量繁重,且核查效率低下。

2、现有的图像处理方法通常对采集得到的图像帧进行格式转换和统一存储,或采用帧间差分、图像相似度计算等简单方法进行粗粒度的冗余帧去除。然而,上述方法仅能过滤掉完全重复或高度相似的图像帧,无法实现对图像内容的精细化筛选,导致大量包含非关键内容的图像帧仍被输出给审阅人员。因此,如何在保证关键目标不被遗漏的前提下,有效缩减人工审阅的图像帧数量,成为本领域亟待解决的技术问题。

技术实现思路

1、本发明提供一种内窥镜图像序列筛选方法、系统、设备及介质,用以解决现有内窥镜图像序列筛选方法无法实现对图像内容的精细化筛选的技术问题,实现在不漏检关键目标的基础上精简待审阅图像帧,提高审阅效率的技术效果。

2、本发明提供一种内窥镜图像序列筛选方法,包括如下步骤:

3、获取待处理图像序列,以及与所述待处理图像序列时序对齐的采集状态数据序列,所述采集状态数据序列中的每个采集状态数据均表征采集所述待处理图像序列中对应图像帧时,采集设备的姿态状态,和/或,采集对象的体位状态;

4、根据所述待处理图像序列中每个图像帧的图像质量指标和对应采集状态数据的数据质量指标,确定所述待处理图像序列中每个图像帧和对应采集状态数据的指标权重,经过加权融合后,得到所述每个图像帧的融合特征;

5、根据所述每个图像帧的融合特征,对所述每个图像帧进行类别划分,并将连续相同类别的图像帧聚类为类别子序列;

6、针对任一类别子序列,从该类别子序列中帧参数满足预设阈值条件的图像帧中,选取代表性评分最高的图像帧作为该类别子序列的代表图像帧;

7、根据该类别子序列对应类别的预训练目标检测模型,对该类别子序列中的图像帧进行目标检测,得到该类别子序列的目标检测信息;

8、根据每个类别子序列的代表图像帧和目标检测信息,生成所述待处理图像序列的图像数据处理结果。

9、进一步地,所述根据所述每个图像帧的融合特征,对所述每个图像帧进行类别划分,并将连续相同类别的图像帧聚类为类别子序列,包括:

10、将所述每个图像帧的融合特征输入预训练的图像分类模型,通过所述图像分类模型的分类分支输出所述每个图像帧的类别,并通过所述图像分类模型的分割分支输出所述每个图像帧中各区域的分割结果;

11、根据所述图像帧的类别,将连续相同类别的图像帧聚类为所述类别子序列;

12、其中,所述分割结果用于确定所述图像帧中各区域所对应的细分部位,所述目标检测信息所表征的目标关联至该目标所处区域对应的细分部位,以使所述图像数据处理结果指示所述目标与所述细分部位的对应关系。

13、进一步地,所述帧参数包括可视完整度、清洁充盈匹配度和方位一致性;所述预设阈值条件包括所述可视完整度满足预设完整度阈值;

14、所述针对任一类别子序列,从该类别子序列中帧参数满足预设阈值条件的图像帧中,选取代表性评分最高的图像帧作为该类别子序列的代表图像帧,包括:

15、将该类别子序列中所述可视完整度满足所述预设完整度阈值的图像帧集合确定为候选图像帧集合;

16、根据所述候选图像帧集合中每个图像帧的可视完整度、清洁充盈匹配度和方位一致性,结合第一预设权重,计算所述候选图像帧集合中每个图像帧的代表性评分;

17、选取所述代表性评分最高的图像帧作为所述该类别子序列的代表图像帧。

18、进一步地,所述目标检测信息至少包括目标标识;

19、在所述得到该类别子序列的目标检测信息之后,还包括:

20、将连续包含同一目标标识的图像帧确定为一个目标片段;

21、针对任一目标片段,根据该目标片段中每个图像帧的区域质量参数,确定该目标片段中每个图像帧的区域特征评分;

22、选取所述区域特征评分最高的图像帧作为该目标片段的目标代表图像帧;

23、所述根据每个类别子序列的代表图像帧和目标检测信息,生成所述待处理图像序列的图像数据处理结果,包括:

24、根据所述每个类别子序列的代表图像帧、目标检测信息和目标代表图像帧,生成所述待处理图像序列的图像数据处理结果。

25、进一步地,所述针对任一目标片段,根据该目标片段中每个图像帧的区域质量参数,确定该目标片段中每个图像帧的区域特征评分,包括:

26、在某一图像帧中存在多个目标标识的情况下,根据所述目标标识的数量,确定该图像帧对应的加成系数;

27、根据该图像帧的区域质量参数,结合第二预设权重,计算该图像帧的初始区域特征评分;

28、根据所述加成系数和所述初始区域特征评分,计算该图像帧的区域特征评分。

29、进一步地,所述该目标片段中每个图像帧的区域质量参数至少包括:区域中心度、区域特征清晰度和区域视野占比;

30、所述针对任一目标片段,根据该目标片段中每个图像帧的区域质量参数,确定该目标片段中每个图像帧的区域特征评分,包括:

31、根据所述该目标片段中每个图像帧的区域中心度、区域特征清晰度和区域视野占比,结合第三预设权重,计算所述该目标片段中每个图像帧的区域特征评分。

32、进一步地,所述该目标片段中每个图像帧的区域质量参数至少包括区域覆盖度和图像清晰度,其中,所述区域覆盖度表征:所述图像帧中所述目标标识对应类别的预设权重之和;

33、所述针对任一目标片段,根据该目标片段中每个图像帧的区域质量参数,确定该目标片段中每个图像帧的区域特征评分,包括:

34、根据所述该目标片段中每个图像帧的区域覆盖度和图像清晰度,结合第四预设权重,计算所述该目标片段中每个图像帧的区域特征评分。

35、本发明还提供一种内窥镜图像序列筛选系统,包括如下模块:

36、获取单元,用于获取待处理图像序列,以及与所述待处理图像序列时序对齐的采集状态数据序列,所述采集状态数据序列中的每个采集状态数据均表征采集所述待处理图像序列中对应图像帧时,采集设备的姿态状态,和/或,采集对象的体位状态;

37、融合单元,用于根据所述待处理图像序列中每个图像帧的图像质量指标和对应采集状态数据的数据质量指标,确定所述待处理图像序列中每个图像帧和对应采集状态数据的指标权重,经过加权融合后,得到所述每个图像帧的融合特征;

38、类别划分单元,用于根据所述每个图像帧的融合特征,对所述每个图像帧进行类别划分,并将连续相同类别的图像帧聚类为类别子序列;

39、选取单元,用于针对任一类别子序列,从该类别子序列中帧参数满足预设阈值条件的图像帧中,选取代表性评分最高的图像帧作为该类别子序列的代表图像帧;

40、目标检测单元,用于根据该类别子序列对应类别的预训练目标检测模型,对该类别子序列中的图像帧进行目标检测,得到该类别子序列的目标检测信息;

41、结果生成单元,用于根据每个类别子序列的代表图像帧和目标检测信息,生成所述待处理图像序列的图像数据处理结果。

42、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述的内窥镜图像序列筛选方法。

43、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的内窥镜图像序列筛选方法。

44、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的内窥镜图像序列筛选方法。

45、本发明提供的内窥镜图像序列筛选方法、系统、设备及存储介质,先获取待处理图像序列以及与之时序对齐的采集状态数据序列,再根据图像质量指标和数据质量指标对每个图像帧及对应采集状态数据动态加权融合,得到每个图像帧的融合特征;继而基于融合特征对每个图像帧进行类别划分并聚类为类别子序列;进一步针对每个类别子序列,从帧参数满足预设阈值条件的图像帧中选取代表性评分最高的图像帧作为代表图像帧;并通过对应类别的预训练目标检测模型对类别子序列中的图像帧进行目标检测;最终结合代表图像帧和目标检测信息生成图像数据处理结果。通过将原始大量图像帧凝练为每个类别子序列对应的代表图像帧、以及对应目标区域的关键信息,有效缩减了输出至审阅人员的图像帧数量,解决了现有内窥镜图像序列筛选方法中向审阅人员输出的图像帧数量过多、难以有效缩减审阅人员所需查看的图像帧数量的技术问题,实现在不漏检关键目标的基础上精简待审阅图像帧,提高了审阅效率。