溃疡性结肠炎内镜图像智能分级方法及其系统
本发明涉及医学图像处理,尤其涉及溃疡性结肠炎内镜图像智能分级方法及其系统。
背景技术:
1、现有的溃疡性结肠炎内镜图像分级方法通常从单帧内镜图像或内镜视频的多个视频帧中提取颜色、纹理、形态或边缘特征,并通过分类模型或多帧结果融合获得内镜图像炎症分级结果。
2、然而,预先采集的结肠内镜视频中可能记录有冲洗事件或吸引事件。受冲洗液、被吸引流体以及黏膜表面附着物变化的影响,同一黏膜部位的炎症相关图像表征可能在干预事件前后出现保持、消失、重新出现或位置移动等变化。现有方法通常侧重于各视频帧中图像特征的提取和分类结果的融合,难以将干预事件前后表征同一黏膜部位的图像区域准确对应,也难以依据相应图像表征的状态变化确定其参与后续图像分类的方式,因而可能使受干预事件影响形成的不稳定图像表征对内镜图像炎症分级结果产生干扰。
技术实现思路
1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
2、为解决上述技术问题,本发明提供如下技术方案:溃疡性结肠炎内镜图像智能分级方法,包括以下步骤:
3、获取预先采集的目标结肠内镜视频,检测其中包括冲洗事件或吸引事件的干预事件,并确定所述干预事件对应的干预前图像序列和干预后图像序列;
4、匹配所述干预前图像序列和所述干预后图像序列,确定表征同一黏膜部位的对应黏膜区域,并为相互匹配的对应黏膜区域分配相同的黏膜位置标识;
5、从所述对应黏膜区域提取局部图像区域,根据所述局部图像区域的颜色、纹理、形态或边缘特征确定证据类型,生成具有所述证据类型和黏膜位置标识的候选炎症证据对象;
6、根据所述黏膜位置标识、图像匹配结果以及候选炎症证据对象在连续视频帧中的图像位置和局部特征,对应所述干预事件前后的候选炎症证据对象,确定其保持状态、消失状态、重新出现状态或位置移动状态,并生成真实性验证结果;
7、根据所述真实性验证结果确定予以保留的候选炎症证据对象及其证据可靠度,以所保留的候选炎症证据对象作为图节点,将其证据类型、黏膜位置标识和证据可靠度设置为图节点属性,在所述图节点之间建立空间共位连接边和时间持续连接边,构建炎症证据共位图;
8、根据所述图节点的属性、空间共位连接边和时间持续连接边形成的证据组合,对所述对应黏膜区域进行图像分类,获得表征图像炎症程度的有序图像类别,作为内镜图像炎症分级结果。
9、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:所述干预事件的检测包括:
10、计算所述目标结肠内镜视频中相邻视频帧的光流场,提取流体运动区域和流体覆盖区域;
11、当所述流体运动区域中的光流矢量由扩散中心区域向外围运动且所述流体覆盖区域的面积随时间增大时,确定为冲洗事件;
12、当所述光流矢量由外围向汇聚中心区域运动且所述流体覆盖区域的面积随时间减小时,确定为吸引事件;
13、从所述干预事件前后分别选取包含可见黏膜区域的视频帧,形成所述干预前图像序列和所述干预后图像序列。
14、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:确定所述对应黏膜区域包括:
15、对干预前后的未遮挡黏膜背景区域进行亮度校正和颜色标准化,提取血管分叉、皱襞边缘和局部黏膜纹理中的至少两种特征点并进行匹配;
16、根据匹配的特征点计算非刚性形变场,将所述干预后图像序列中的黏膜区域映射至所述干预前图像序列,并为映射后重合的黏膜区域分配相同的黏膜位置标识,得到所述对应黏膜区域。
17、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:所述证据类型包括血管纹理减少、黏膜红斑、出血、渗出、糜烂和溃疡中的一种或多种;
18、所述保持状态、消失状态、重新出现状态和位置移动状态的确定包括:
19、在同一黏膜位置标识下,干预前后均存在相同证据类型的候选炎症证据对象且不满足重新出现状态的判定条件时,确定为保持状态;仅干预前存在相应候选炎症证据对象、干预后对应黏膜区域满足所述候选炎症证据对象的提取条件且不满足位置移动状态的判定条件时,确定为消失状态;所述候选炎症证据对象在干预前可见、在干预期间被遮挡或不可见并在干预后相同黏膜位置标识下再次出现时,确定为重新出现状态;
20、从所述候选炎症证据对象的实际位移中扣除根据所述非刚性形变场确定的黏膜背景预测位移,当剩余位移方向与所述流体运动区域的光流方向一致且黏膜位置标识发生变化时,确定为位置移动状态;重新出现状态与保持状态同时满足时优先确定为重新出现状态,位置移动状态与消失状态同时满足时优先确定为位置移动状态;
21、将保持状态或重新出现状态对应的真实性验证结果确定为固定黏膜来源,将位置移动状态以及干预后消失且未重新出现的出血类型或渗出类型对应的真实性验证结果确定为流体干扰,将其他候选炎症证据对象的真实性验证结果确定为待验证;保留真实性验证结果为固定黏膜来源或待验证的候选炎症证据对象,排除真实性验证结果为流体干扰的候选炎症证据对象。
22、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:所述炎症证据共位图的构建和图像分类包括:
23、在黏膜位置标识对应于同一黏膜区域或相互重叠的黏膜区域的图节点之间建立所述空间共位连接边,在不同视频帧中黏膜位置标识和证据类型均相同的图节点之间建立所述时间持续连接边;
24、从带有图像炎症等级标注的样本中确定各有序图像类别对应的证据类型、证据可靠度以及连接边组合,形成预设等级证据模式;
25、根据由固定黏膜来源的候选炎症证据对象所形成的连接子图与所述预设等级证据模式的匹配程度,将匹配程度最高的预设等级证据模式对应的有序图像类别确定为所述内镜图像炎症分级结果。
26、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:还包括:
27、从所述目标结肠内镜视频中提取局部图像放大率变化、径向光流、黏膜颜色变化、反光区域变化和失焦程度中的至少两项接触表征数据;
28、当至少两项接触表征数据在同一连续视频帧段内同步变化且相应变化区域具有共同空间中心时,确定镜头接触事件,根据所述共同空间中心的位置变化形成镜头接触轨迹,并将所述至少两项接触表征数据不再同步变化时对应的视频帧确定为镜头释放事件对应的视频帧。
29、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:还包括:
30、将所述镜头接触轨迹映射至黏膜位置标识;
31、对于镜头接触事件之前的可见黏膜区域中未提取到具有相同黏膜位置标识的出血类型候选炎症证据对象、在镜头接触事件结束后首次出现且黏膜位置标识与所述镜头接触轨迹对应的黏膜位置标识重合的出血类型候选炎症证据对象,设置接触关联标记,将其真实性验证结果确定为待验证并作为图节点予以保留。
32、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:还包括:
33、根据镜头运动方向和肠段出现顺序将所述目标结肠内镜视频划分为进镜阶段和退镜阶段;
34、根据肠段顺序、皱襞拓扑、血管分叉和局部黏膜纹理中的至少两项区域匹配特征,匹配两个阶段中表征同一黏膜部位的黏膜区域并分配相同的黏膜位置标识;
35、从匹配的黏膜区域中分别选取处于无镜头接触状态、未被遮挡、未发生饱和反光或严重失焦且满足出血类型候选炎症证据对象提取条件的视频帧,形成双程复视图像。
36、作为本发明所述溃疡性结肠炎内镜图像智能分级方法的一种优选方案,其中:还包括:
37、对设置有接触关联标记的出血类型候选炎症证据对象进行双程复视验证;
38、当在其他双程复视图像中提取到具有相同黏膜位置标识、映射后的局部图像区域相互重叠且颜色或形态相似的出血类型候选炎症证据对象时,确定为重复出现,将其真实性验证结果修改为固定黏膜来源并予以保留;
39、当进镜阶段和退镜阶段的对应黏膜区域均满足所述提取条件且未重复出现时,将其真实性验证结果修改为镜头接触相关的机械性干扰并予以排除;
40、不能从两个阶段分别获得满足所述提取条件的视频帧时,保持其真实性验证结果为待验证;
41、根据修改后的真实性验证结果更新所述炎症证据共位图并重新进行图像分类。
42、本发明还提供一种溃疡性结肠炎内镜图像智能分级系统,包括处理器和存储有计算机程序的存储器,所述计算机程序被所述处理器执行时,实现上述的溃疡性结肠炎内镜图像智能分级方法的步骤。
43、本发明的有益效果:
44、1.本发明根据干预事件前后候选炎症证据对象的响应状态生成真实性验证结果,并据此确定予以保留的候选炎症证据对象和证据可靠度,降低干预事件造成的不稳定图像表征对分级结果的影响。
45、2.本发明通过空间共位连接边和时间持续连接边限定图节点之间的空间共位关系和时间持续关系,并结合图节点的证据类型和证据可靠度形成证据组合,减少缺乏相应空间共位关系或时间持续关系的候选炎症证据对象被组合用于图像分类的情况。
46、3.本发明对镜头接触后首次出现的出血对象设置接触关联标记并进行双程复视验证,据此更新真实性验证结果和炎症证据共位图,降低镜头接触相关出血表征的干扰。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com