一种内镜图像处理方法、系统、存储介质及设备

1.本发明属于镜图像处理技术领域，尤其涉及一种内镜图像处理方法、系统、存储介质及设备。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.内镜检查过程中经常会留存内镜图像，然而消化道作为非刚性结构，经常蠕动，拍照时经常会出现伪影、模糊等图像质量不佳的情况。发明人发现，目前临床多采用同部位连续多采图的方式解决这一问题，而且这些低质量图像一方面占用了数据库存储容量，另一方面给图像审核人员带来了工作负担。


技术实现要素：

4.为了解决上述背景技术中存在的技术问题，本发明提供一种内镜图像处理方法、系统、存储介质及设备，其能够在接收到采图动作后采集到高质量清晰的内镜图像，减少同一内镜部位下连续采图带来的占用数据库存储磁盘空间问题，采图数量减少后也减轻了图像审核人员的工作负担。
5.为了实现上述目的，本发明采用如下技术方案：
6.本发明的第一个方面提供一种内镜图像处理方法，其包括：
7.在接收采图指令之后，存储当前内镜图像为第一识别帧，连续获取若干张与第一识别帧相似度超过第一预设阈值的内镜图像；
8.对获取的内镜图像进行模糊过滤处理；
9.基于预设图像质量评价模型对过滤处理后的内镜图像进行评分，选取评分质量最高的内镜图像作为第二识别帧；
10.基于预设图像质量评价模型比较第一识别帧与第二识别帧的评分质量，仅保留两者中的质量最佳者作为当前采图指令所采集的内镜图像并进行存储。
11.作为一种实施方式，所述相似度采用汉明距离来表征。
12.作为一种实施方式，基于图像模糊检测模型对获取的内镜图像进行模糊过滤处理。
13.作为一种实施方式，所述图像质量评价模型包括图像清晰度评分检测子模型和图像气泡检测子模型。
14.在一个或多个实施例中，所述内镜图像处理方法，还包括：
15.在内镜检查完毕后，过滤掉相应采图指令所采集的同一检测部位下相似度超过第二预设阈值的重复内镜图像，并存储重复过滤后的内镜图像。
16.作为一种实施方式，当获取的重复过滤后的任一内镜图像存在病灶目标时，保留并存储所有重复过滤后的内镜图像中；
17.当获取的重复过滤后的所有内镜图像均不存在病灶目标时，从重复过滤后的内镜图像中，筛选相似度超过第三预设阈值的内镜图像进行保留并存储；其中，第三预设阈值大于第二预设阈值。
18.本发明的第二个方面提供一种内镜图像处理系统，其包括：
19.对焦模块，其用于在接收采图指令之后，存储当前内镜图像为第一识别帧，连续获取若干张与第一识别帧相似度超过第一预设阈值的内镜图像；
20.模糊过滤模块，其用于对获取的内镜图像进行模糊过滤处理；
21.质量评分模块，其用于基于预设图像质量评价模型对过滤处理后的内镜图像进行评分，选取评分质量最高的内镜图像作为第二识别帧；
22.筛选存储模块，其用于基于预设图像质量评价模型比较第一识别帧与第二识别帧的评分质量，仅保留两者中的质量最佳者作为当前采图指令所采集的内镜图像并进行存储。
23.在一个或多个实施例中，所述的内镜图像处理系统，还包括：
24.重复过滤模块，其用于在内镜检查完毕后，过滤掉相应采图指令所采集的同一检测部位下相似度超过第二预设阈值的重复内镜图像，并存储重复过滤后的内镜图像。
25.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的内镜图像处理方法中的步骤。
26.本发明的第四个方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的内镜图像处理方法中的步骤。
27.与现有技术相比，本发明的有益效果是：
28.(1)本发明提供的内镜图像处理方法，通过比较内镜图像的相似度进行对应采集，再经模糊过滤处理及图像质量评价操作，接收到采图动作后实现了高质量清晰的内镜图像的采集；
29.(2)本发明还在内镜检查完毕后，通过相应采图指令所采集的同一检测部位下内镜图像的相似度比较来滤除重复内镜图像，并存储重复过滤后的内镜图像，减少了同一内镜部位下连续采图带来的占用数据库存储磁盘空间问题，采图数量减少后也减轻了图像审核人员的工作负担。
30.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
32.图1是本发明实施例一提供的内镜图像处理方法流程图；
33.图2是本发明实施例二提供的内镜图像处理方法流程图；
34.图3是本发明实施例三提供的内镜图像处理系统结构示意图；
35.图4是本发明实施例四提供的内镜图像处理系统结构示意图。
具体实施方式
36.下面结合附图与实施例对本发明作进一步说明。
37.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
38.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
39.实施例一
40.参照图1，本实施例提供了一种内镜图像处理方法，其具体包括如下步骤：
41.s101：在接收采图指令之后，存储当前内镜图像为第一识别帧，连续获取若干张与第一识别帧相似度超过第一预设阈值的内镜图像。
42.其中，第一预设阈值是人为预先设定的，根据本领域技术人员可根据实际情况进行相匹配设置，此处不再详述。
43.在本实施例中，所述相似度采用汉明距离来表征。
44.通过计算汉明距离的方法计算两幅图像的相似度。首先对采集到的内镜图像预处理，去除黑色边界只保留有效区域。对有效区域的彩色图像转换成灰度图像，再缩放到8*8图像大小，计算所有64个像素的灰度平均值，将每个像素的灰度值与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0，这样组合成了64个特征值的特征向量。再通过上述方法计算另一张图像的特征向量，计算两张图像的汉明距离，即对两幅图像的特征向量里的每一个特征值进行比较，统计不相同的个数，如果不相同个数不超过设定阈值，就认为两张图像相似度高。
45.此处需要说明的是，在其他实施例中，相似度也可采用其他特征来表征，比如像素点的欧式距离等等。
46.其中，从第一识别帧的下一帧开始检测与第一识别帧的图像相似度，相似度超过设定阈值的图像保留下来，帧数超过设定帧数后，对焦结束，等待下次采图指令后再次激活。
47.s102：对获取的内镜图像进行模糊过滤处理。
48.在步骤s102中，基于图像模糊检测模型对获取的内镜图像进行模糊过滤处理。
49.例如：所述图像模糊检测模型为cnn二分类神经网络模型。
50.当采集大量消化内镜的图像数据，将内镜图像视野是否清晰、视野是否部分受限、气泡量的大小为依据分成清晰、模糊两个类别，训练一个cnn二分类神经网络模型用于检测当前图像是否清晰。
51.当接收采图指令，完成步骤s101之后，连续采集到了n张与第一识别帧相似度高的图像，对这n张图像依次调用图像模糊检测模块，过滤掉模糊的图像，过滤后采集的图像剩下m张。
52.s103：基于预设图像质量评价模型对过滤处理后的内镜图像进行评分，选取评分质量最高的内镜图像作为第二识别帧。
53.上一步骤中实现了过滤掉模糊图像，剩余的图像中依然可能存在小的、不影响诊断的气泡，该步骤要实现留取清晰度最高的图像，因此有必要检测出气泡区域。
54.具体地，所述图像质量评价模型包括图像清晰度评分检测子模型和图像气泡检测子模型。
55.例如，图像清晰度评分检测子模型可采用气泡检测算法来实现。
56.其中，气泡检测算法的具体过程为：
57.彩色图像转灰度；平滑处理；使用hough变换查找圆形区域，得到圆形区域队列；对采集的彩色图像由rgb色彩空间转换为cie-xyz空间，计算出整张图像的平均亮度值，再计算每个圆形区域的平均亮度值，判断是否大于平均亮度值，大于即认为该区域是气泡。过滤掉气泡与气泡之间的重叠区域，计算气泡面积占整张图像的比重。
58.图像气泡检测子模型可采用图像清晰度检测算法来实现。由于清晰的图像相比较模糊的图像，它的数据之间的灰度差异应该更大，即它的方差应该较大。因此，图像清晰度检测算法是通过计算图像灰度数据的方差来衡量图像的清晰度，方差越大，表示清晰度越好。
59.s104：基于预设图像质量评价模型比较第一识别帧与第二识别帧的评分质量，仅保留两者中的质量最佳者作为当前采图指令所采集的内镜图像并进行存储。
60.本实施例的内镜图像处理方法，通过比较内镜图像的相似度进行对应采集，再经模糊过滤处理及图像质量评价操作，接收到采图动作后实现了高质量清晰的内镜图像的采集。
61.实施例二
62.参照图2，本实施例在实施例一的基础上，所述内镜图像处理方法，还包括：
63.s105：在内镜检查完毕后，过滤掉相应采图指令所采集的同一检测部位下相似度超过第二预设阈值的重复内镜图像，并存储重复过滤后的内镜图像。
64.其中，第二预设阈值是人为预先设定的，根据本领域技术人员可根据实际情况进行相匹配设置，此处不再详述。
65.在步骤s105的具体实施过程中，当获取的重复过滤后的任一内镜图像存在病灶目标时，保留并存储所有重复过滤后的内镜图像中。
66.当获取的重复过滤后的所有内镜图像均不存在病灶目标时，从重复过滤后的内镜图像中，筛选相似度超过第三预设阈值的内镜图像进行保留并存储；其中，第三预设阈值大于第二预设阈值。
67.此处需要说明的是，第三预设阈值是人为预先设定的，根据本领域技术人员可根据实际情况进行相匹配设置，此处不再详述。
68.本实施例在内镜检查完毕后，通过相应采图指令所采集的同一检测部位下内镜图像的相似度比较来滤除重复内镜图像，并存储重复过滤后的内镜图像，减少了同一内镜部位下连续采图带来的占用数据库存储磁盘空间问题，采图数量减少后也减轻了图像审核人员的工作负担。
69.当内镜检查完毕后，可通过调用预先训练完成的病变识别模型，检测采集图像是否存在病灶。对有无病灶内镜图像采用不同的过滤阈值，过滤掉相似图像，对过滤后的内镜图像存入科研数据库中。其具体实现如下：
70.采集内镜下有病灶的图像，进行标注制作训练样本数据。训练基于目标检测的神经网络模型。内镜检查完毕后，调用病灶检测模型对采集的图像进行病灶识别，判断是否存在病灶，如果检测出病灶目标，设置计算图像相似度得到的汉明距离过滤阈值为低阈值条件，保留更多采集图像；若没有检测出病灶目标，设置高阈值，过滤掉更多相似度图像，减少磁盘占用。最后将采集的图像和病灶结果存储科研数据库中。
71.实施例三
72.参照图3，本实施例提供了一种内镜图像处理系统，其具体包括如下模块：
73.对焦模块201，其用于在接收采图指令之后，存储当前内镜图像为第一识别帧，连续获取若干张与第一识别帧相似度超过第一预设阈值的内镜图像；
74.模糊过滤模块202，其用于对获取的内镜图像进行模糊过滤处理；
75.质量评分模块203，其用于基于预设图像质量评价模型对过滤处理后的内镜图像进行评分，选取评分质量最高的内镜图像作为第二识别帧；
76.筛选存储模块204，其用于基于预设图像质量评价模型比较第一识别帧与第二识别帧的评分质量，仅保留两者中的质量最佳者作为当前采图指令所采集的内镜图像并进行存储。
77.此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
78.实施例四
79.参照图4，本实施例在实施例三的基础上，还提供了一种内镜图像处理系统，其还包括：
80.重复过滤模块205，其用于在内镜检查完毕后，过滤掉相应采图指令所采集的同一检测部位下相似度超过第二预设阈值的重复内镜图像，并存储重复过滤后的内镜图像。
81.在重复过滤模块205的具体实施过程中，当获取的重复过滤后的任一内镜图像存在病灶目标时，保留并存储所有重复过滤后的内镜图像中；
82.当获取的重复过滤后的所有内镜图像均不存在病灶目标时，从重复过滤后的内镜图像中，筛选相似度超过第三预设阈值的内镜图像进行保留并存储；其中，第三预设阈值大于第二预设阈值。
83.此处需要说明的是，本实施例中的各个模块与实施例二中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
84.实施例五
85.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一或实施例二任一所述的内镜图像处理方法中的步骤。
86.实施例六
87.本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一或实施例二任一所述的内镜图像处理方法中的步骤。
88.本发明是参照本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到
通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
89.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。