胶囊内窥镜、基于胶囊内窥镜的图像采集方法和装置与流程

1.本发明涉及一种胶囊内窥镜，尤其涉及一种基于胶囊内窥镜的图像采集方法和装置。


背景技术：

2.胶囊内窥镜能够以无痛无创的方式对消化道进行检查，通过对胶囊内窥镜获取到的图像数据进行分析，可以获取消化道内的病情状况。胶囊内窥镜在胃部运动时，会存在相机的场景变化较快，曝光参数不匹配，使得得到的图像过亮或者过暗的问题。同时在持续拍摄时，会对某一区域得到多张相似的图像。由于胶囊内窥镜体积较小，其存储电量有限，功率有限，考虑到胶囊通过人体的平均时间约8小时，长时间传输这些过亮、过暗、相似的多张照片，将挤压有效内容的传输空间，使得胶囊内窥镜能获取到的有效信息减少。继而，一方面无效的图像过多增加了医生的阅片负担，另一方面更少的有效信息不利于医生诊断病情。


技术实现要素：

3.为解决上述的现有技术问题中的至少其一，本发明的目的在于提供一种图像采集质量更好、有效利用有限电量的胶囊内窥镜，以及基于胶囊内窥镜的图像采集方法和装置。
4.为实现上述发明目的，本发明一实施方式提供一种基于胶囊内窥镜的图像采集方法，包括如下步骤：
5.获取采集图像；
6.根据图像质量算法，计算所述采集图像的图像质量；
7.若所述图像质量在合格质量区间的范围内，根据图像相似度算法，计算所述采集图像与参考图像相比的图像相似度；
8.若所述图像相似度在非相似区间的范围内，将所述采集图像确定为待输出图像。
9.作为本发明的进一步改进，所述图像质量算法包括计算图像的亮度均值，所述合格质量区间包括合格亮度区间；
10.所述步骤计算所述采集图像的图像质量包括：
11.计算所述采集图像的亮度均值；
12.判断所述亮度均值是否在所述合格亮度区间内。
13.作为本发明的进一步改进，还包括步骤：
14.若所述亮度均值不在所述合格亮度区间内，丢弃所述采集图像，并重新获取新的采集图像。
15.作为本发明的进一步改进，所述图像质量算法还包括图像内容判断，所述合格质量区间包括合格占比区间；
16.所述步骤计算所述采集图像的图像质量还包括：
17.根据离散余弦变换，计算所述采集图像的非零个数占比；
18.判断所述非零个数占比是否在所述合格占比区间内；
19.若所述非零个数占比不在所述合格占比区间内，丢弃所述采集图像，并重新获取新的采集图像。
20.作为本发明的进一步改进，所述步骤计算所述采集图像与参考图像相比的图像相似度包括：
21.将所述采集图像缩小为缩小采集图像；
22.将所述参考图像缩小为缩小参考图像，所述缩小参考图像与所述缩小采集图像尺寸相同；
23.计算所述采集图像与参考图像相比的图像相似度；
24.若所述图像相似度在非相似区间的范围内，将所述采集图像替换参考图像，成为新的参考图像；
25.若所述图像相似度不在非相似区间的范围内，丢弃所述采集图像，并重新获取新的采集图像。
26.作为本发明的进一步改进，所述图像相似度算法包括计算图像的距离相似度，所述非相似区间包括距离非相似区间；
27.所述步骤计算所述采集图像与参考图像相比的图像相似度包括：
28.计算所述缩小采集图像与所述缩小参考图像的距离相似度，其中，所述距离相似度反应所述缩小采集图像与所述缩小参考图像在每个相同位置的像素值的差值的统计量；
29.判断所述距离相似度是否在所述距离非相似区间内。
30.作为本发明的进一步改进，所述图像相似度算法还包括计算图像的直方图相似度，所述非相似区间包括直方图非相似区间；
31.所述步骤计算所述采集图像与参考图像相比的图像相似度还包括：
32.计算所述采集图像的直方图与所述参考图像的直方图的直方图相似度；
33.判断所述直方图相似度是否在所述直方图非相似区间内。
34.作为本发明的进一步改进，若所述距离相似度在所述距离非相似区间内、和/或所述直方图相似度在所述直方图非相似区间内，将所述采集图像替换参考图像，成为新的参考图像；
35.若所述距离相似度不在所述距离非相似区间内、且所述直方图相似度不在所述直方图非相似区间内，丢弃所述采集图像，并重新获取新的采集图像。
36.作为本发明的进一步改进，所述步骤获取采集图像还包括：
37.获取原始图像；
38.生成采集图像，所述采集图像是与所述原始图像对应的灰度图。
39.为实现上述发明目的之一，本发明一实施例提供了一种基于胶囊内窥镜的图像采集装置，包括：
40.获取模块，用于获取采集图像；
41.图像质量计算模块，用于根据图像质量算法，计算所述采集图像的图像质量；
42.图像相似度计算模块，用于在所述图像质量在合格质量区间的范围内时，根据图像相似度算法，计算所述采集图像与参考图像相比的图像相似度；若所述图像相似度在非相似区间的范围内，将所述采集图像确定为待输出图像。
43.为实现上述发明目的之一，本发明一实施例提供了一种胶囊内窥镜，包括：
44.图像采集模块，用于采集图像；
45.数据传输模块，可用于输出图像信息；
46.存储模块，存储计算机程序；
47.处理模块，其执行所述计算机程序时可实现上述的基于胶囊内窥镜的图像采集方法中的步骤。
48.与现有技术相比，本发明具有以下有益效果：应用该图像采集方法的胶囊内窥镜，可以不对外传输其获取到的过亮、过暗等质量不好、或者相似的图像，只传输图片质量符合要求、且不相似的图像，这样使有限的电量用于传输更有效的图像，提高了利用胶囊内窥镜的诊断质量，也减少了医生耽误在无效图像上的时间，所以应用该图像采集方法的胶囊内窥镜，使医生能更好更快地对就诊者进行诊断。
附图说明
49.图1是本发明一实施例的图像采集方法的流程图；
50.图2是本发明另一实施例的图像采集方法的部分流程图；
51.图3是本发明再一实施例的图像采集方法的部分流程图；
52.图4是本发明一实施例的胶囊内窥镜的结构框图；
53.其中，100、胶囊内窥镜；10、处理模块；20、存储模块；30、图像采集模块；40、数据传输模块；50、通信总线。
具体实施方式
54.以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
55.本发明一实施例提供一种图像采集质量更好、有效利用有限电量的胶囊内窥镜，以及基于胶囊内窥镜的图像采集方法和装置。
56.如背景技术所述，本实施例的胶囊内窥镜可以在消化道内拍摄内部的图像，胶囊内窥镜包括用于拍摄图像的图像采集模块，图像采集模块可以包括摄像头和照明单元，摄像头获取照片后再向外传输，本实施例使得胶囊内窥镜能向外传输图像质量符合要求、且不相似图像。
57.下面结合图1～图3，说明本发明一实施例提供的一种基于胶囊内窥镜的图像采集方法，虽然本技术提供了如下述实施方式或流程图所示的方法操作步骤，但是基于常规或者无需创造性的劳动，所述方法在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本技术实施方式中所提供的执行顺序。例如下文的步骤s20和s40的顺序可以任意调整，即先判断图像的质量还是先判断图像的相似度可以调整或同时进行，不区分时间顺序上的先后。
58.具体地，本实施例的图像采集方法，包括如下步骤：
59.步骤s10：获取采集图像。
60.在步骤s10中，还可以包括步骤：
61.步骤s11：获取原始图像；
62.步骤s12：生成采集图像，所述采集图像是与所述原始图像对应的灰度图。
63.原始图像是摄像头直接获取到的图像，通过对灰度图进行处理，一方面可以减少运算量，提高运算速度，另一方面，在后续的比较图像的相似度的步骤中，若以彩色图像的rgb值进行比较，相似的标准过于严苛，导致很多图只是色调的变化，而内容大致相似的图，被错误当成不相似的图，从而使相似度判断的意义大大降低，而先转化为灰度图，可以将更多内容是否实质相似的图像判断出来。
64.步骤s20：根据图像质量算法，计算所述采集图像的图像质量。
65.步骤s30：判断所述图像质量是否在合格质量区间的范围内。
66.在步骤s20和步骤s30中，可包括如下两个实施例，在一个实施例中可以判断图像的亮度，在另一个实施例中可以判断图像的内容，两个实施例也可以相互结合，这两个实施例的顺序任意调整，下文以两个实施例同时实施为例进行说明，可参考图2所示。
67.所述图像质量算法包括计算图像的亮度均值和图像内容判断，所述合格质量区间包括合格亮度区间和合格占比区间；
68.步骤s20包括：
69.步骤s21：计算所述采集图像的亮度均值；
70.步骤s22：根据离散余弦变换，计算所述采集图像的非零个数占比。
71.步骤s30包括：
72.步骤s31：判断所述亮度均值是否在所述合格亮度区间内。
73.步骤s32：判断所述非零个数占比是否在所述合格占比区间内。
74.上述的没有因果关系的步骤可以任意调整，如图2所示，步骤s31可以在步骤s22之前进行。
75.根据步骤s21，计算采集图像的亮度均值，亮度均值可以分别判断全部像素的灰度值均值m以及部分像素的灰度值均值的占比r。占比r计算的是灰度值在预设范围内的有效像素，占所有像素的比例。
76.在步骤s31中，同时结合上述的m和r，判断灰度值均值m是否在范围[low,high]内，判断占比r是否大于阈值rt，其中，low、high、rt是根据多次实验，结合人眼观看舒适度来确定的，low取值为[10,70],high取值为[180,240],rt取值为[0.2,1]。
[0077]
若均值m在范围[low,high]内、且占比r大于阈值rt，则进行步骤s22和步骤s32。
[0078]
否则，当任一项不符合，例如m不在范围[low,high]内、和/或占比r小于等于阈值rt，则丢弃所述采集图像，并重新获取新的采集图像，即通过步骤s10获取新的采集图像。
[0079]
根据步骤s22，通过离散余弦变换(discrete cosine transform，dct)，计算当前图像dct非零系数占比z,将图像划分为k*k的块,块的个数为h/k*w/k,这里向上取整,也就是h与k的比值、或者w与k的比值不为整数时，如10.2，改为11。如果采集图像的大小不够，则以最临近的像素进行填充,对每个块进行k个点的dct变换，得到dct变换后的系数。
[0080]
在步骤s32中，统计上述系数中非零个数的占比是否在[d1,d2]内，若非零个数的占比小于d1，说明细节少，图像模糊；若非零个数的占比大于d2,则说明细节太多图像噪声大。根据多次实验，d1取值为[0.1,0.3]，d2取值为[0.6,0.9]。
[0081]
若非零个数占比在合格占比区间[d1,d2]内，则进行后续的步骤s40。
[0082]
若非零个数占比不在合格占比区间[d1,d2]内，则丢弃所述采集图像，并重新获取新的采集图像，即通过步骤s10获取新的采集图像。
[0083]
在上述步骤s30的判断结果为是，或者说在上述的实施例中，均值m在范围[low,high]内、且占比r大于阈值rt、且非零个数占比在合格占比区间[d1,d2]内时，继续如下步骤，参图3所示。
[0084]
步骤s40：根据图像相似度算法，计算所述采集图像与参考图像相比的图像相似度。
[0085]
步骤s50：判断所述图像相似度是否在非相似区间的范围内。
[0086]
所述图像相似度算法包括计算图像的距离相似度和/或计算图像的直方图相似度，所述非相似区间包括距离非相似区间和/或直方图非相似区间。
[0087]
在步骤s40和步骤s50中，可包括如下两个实施例，在一个实施例中可以判断图像的距离相似度，在另一个实施例中可以判断图像的直方图相似度，两个实施例也可以相互结合，这两个实施例的顺序任意调整，下文以两个实施例同时实施为例进行说明，可参考图3所示。
[0088]
参考图像是采集图像之前的关键帧图像，具体地为采集图像之前相似性图像序列的第一张，并根据采集图像判断是否更新。
[0089]
步骤s40可以包括：
[0090]
步骤s41:计算所述采集图像的直方图与所述参考图像的直方图的直方图相似度。
[0091]
步骤s42:将所述采集图像缩小为缩小采集图像。
[0092]
步骤s43:将所述参考图像缩小为缩小参考图像，所述缩小参考图像与所述缩小采集图像尺寸相同。
[0093]
步骤s44:计算所述缩小采集图像与所述缩小参考图像的距离相似度，其中，所述距离相似度反应所述缩小采集图像与所述缩小参考图像在每个相同位置的像素值的差值的统计量。
[0094]
步骤s50可以包括：
[0095]
步骤s51:判断所述直方图相似度是否在所述直方图非相似区间内。
[0096]
步骤s52:判断所述距离相似度是否在所述距离非相似区间内。
[0097]
上述的没有因果关系的步骤可以任意调整，例如步骤s51可以在步骤s42、步骤s43、步骤s44之前进行。
[0098]
在步骤s41和步骤s51中，体现了对整体的图像灰度的相似程度的判断，步骤s41的直方图相似度s1的计算公式如下：
[0099][0100]
其中，ci为采集图像的直方图的某个灰度值的统计数据，ki为参考图像的直方图的同一灰度值的统计数据，m为直方图数据的个数,s1取值范围为[0,1]。
[0101]
若直方图相似度s1越小,则采集图像和参考图像的直方图差异越大，相似性越小；反之，若直方图相似度s1越大,则采集图像和参考图像的差异越小,相似性越大。
[0102]
当s1》阈值t1时,则说明采集图像与参考图像的直方图相似程度大，直方图相似度不在所述直方图非相似区间内。否则，s1≤阈值t1，说明采集图像与参考图像的直方图的相
似程度小,直方图相似度在所述直方图非相似区间内。
[0103]
在步骤s42中，将当前图像缩放为h*w的块，其中h和w分别为缩放后图像的高度和宽度，h与w的描述也可以参上文。对采集图像整体进行缩放,缩放到h*w大小,使用现有插值算法进行缩放，如双线性双立方算法，将图像缩小。h和w的值越小，计算速度越快，图像相似性的要求越宽松；值越大，计算速度越慢，图像相似性的要求越严格，根据实验，h和w的取值范围为[4,64]。另外，参考图像缩小到与缩小采集图像相同的大小。或者说，参考图像预先缩放到h*w的大小，是将采集图像缩放到与参考图像同样的大小。
[0104]
在步骤s42和步骤s43中，将所述采集图像和参考图像缩小，一方面可以减少运算量，提高运算速度，另一方面，在后续的比较图像的相似度的步骤中，舍弃掉部分的细节，可以从整体上把握两个图像的相似程度，避免相似的标准过于严苛，导致很多图只是局部细节的变化，而内容大致相似的图，被错误当成不相似的图，从而使相似度判断的意义大大降低。先缩小图像，可以使图像相似性要求更宽松，将更多内容是否实质相似的图像判断出来。
[0105]
在步骤s44和步骤s52中，体现了对缩小后的采集图像和参考图像的每个像素的相似程度的判断，步骤s44的距离相似度的计算公式如下：
[0106][0107]
其中，ci为缩小采集图像的某个像素的灰度值，ki为缩小参考图像上的同一个像素的灰度值，m为全部像素的个数，s2取值范围为[0,1]。
[0108]
若距离相似度s2越小,则缩小采集图像和缩小参考图像的差异越大，相似性越小；反之，若距离相似度s2越大,则缩小采集图像和缩小参考图像的差异越小,相似性越大。
[0109]
当s2》阈值t2时,则说明缩小采集图像与缩小参考图像的距离相似程度大，距离相似度不在距离非相似区间内。否则，s2≤阈值t2，说明缩小采集图像与缩小参考图像的距离相似程度小,距离相似度在距离非相似区间内。
[0110]
若所述距离相似度在所述距离非相似区间内、和/或所述直方图相似度在所述直方图非相似区间内，将所述采集图像替换参考图像，成为新的参考图像；
[0111]
若所述距离相似度不在所述距离非相似区间内、且所述直方图相似度不在所述直方图非相似区间内，丢弃所述采集图像，并重新获取新的采集图像。
[0112]
结合上述的步骤s51和步骤s52的判断，可以从两个不同的维度上把握图像的相似程度，避免只从某个维度不相似就判定位图像不相似的问题。
[0113]
例如步骤s52中，由于比较的是缩小图的相似度，遗失了原始大小图像的一些细节，所以将直方图作为补充，可能在缩小图上相似，而原始图片上不相似，这样即使缩小图相似，依据直方图的不相似，也视为不相似。
[0114]
另一方面，直方图只能反应统计规律，不能反应每个像素的具体情况，所以通过距离相似度作为补充。例如可能在直方图上相似，而实际每个像素内容不同，这样即使直方图相似，依据缩小图的距离相似度不相似，也视为不相似。
[0115]
也就是说，当s1》阈值t1，且s2》阈值t2时，即直方图相似、且缩小采集图像与缩小参考图像相似时,两个相似条件同时满足才说明步骤s50的判断结果为否，将采集图像丢弃不处理,并重新获取新的采集图像，即通过步骤s10获取新的采集图像。
[0116]
否则，直方图不相似、和/或缩小采集图像与缩小参考图像不相似，或者说在上述的实施例中，直方图相似度在所述直方图非相似区间内、和/或距离相似度在所述距离非相似区间内时，两个不相似中任一条件满足时，步骤s50的判断结果都为是，继续如下步骤。
[0117]
步骤s60：将所述采集图像确定为待输出图像，以及将所述采集图像替换参考图像，成为新的参考图像。
[0118]
另外，若上述步骤s50的判断结果为否，则参考图像一直维持之前的图像，直到找到新的不相似的采集图像。
[0119]
步骤s70：压缩采集图像。
[0120]
步骤s80：将压缩后的采集图像向外输出。
[0121]
步骤s80是将符合上述要求，即图像的质量符合要求、且非相似度也符合要求的图像向外传输。
[0122]
上述的步骤s10～步骤s80可以在实时获取每一张图片后进行，也可以一次获取n张图像后一起进行。每次丢弃当前的采集图像后，即意味着不对外传输该图像，重新回到步骤s10获取新的图像。
[0123]
与现有技术相比，本实施例具有以下有益效果：
[0124]
应用该图像采集方法的胶囊内窥镜，可以不对外传输其获取到的过亮、过暗等质量不好、或者相似的图像，只传输图片质量符合要求、且不相似的图像，这样使有限的电量用于传输更有效的图像，提高了利用胶囊内窥镜的诊断质量，也减少了医生耽误在无效图像上的时间，所以应用该图像采集方法的胶囊内窥镜，使医生能更好更快地对就诊者进行诊断。
[0125]
在一个实施例中，提供了一种胶囊内窥镜100，如图4所示，胶囊内窥镜100包括图像采集模块30、数据传输模块40、存储模块20、处理模块10、以及存储在存储模块20中并可在处理模块10上运行的计算机程序，例如上述的图像采集方法程序。其中，图像采集模块30用于采集图像，数据传输模块40可用于输出图像信息，存储模块20存储计算机程序，处理模块10执行所述计算机程序时可实现上述各个基于胶囊内窥镜100的图像采集方法中的步骤，也就是说，实现上述图像采集方法中的任意一个技术方案中的步骤，例如图1～3所示的步骤。
[0126]
在处理模块10中可以集成一种基于胶囊内窥镜100的图像采集装置，该图像采集装置包括的模块、以及各模块具体功能如下：
[0127]
获取模块，用于获取采集图像；
[0128]
图像质量计算模块，用于根据图像质量算法，计算所述采集图像的图像质量；
[0129]
图像相似度计算模块，用于在所述图像质量在合格质量区间的范围内时，根据图像相似度算法，计算所述采集图像与参考图像相比的图像相似度；若所述图像相似度在非相似区间的范围内，将所述采集图像确定为待输出图像。
[0130]
需要说明的是，本发明实施例的图像采集装置中未披露的细节，请参照本发明实施例的图像采集方法中所披露的细节。
[0131]
另外，本实施例还提供了一种医疗设备，除了包括胶囊内窥镜100，医疗设备还可以包括含有记录仪的衣服、计算机、笔记本、掌上电脑及云端服务器等计算设备。计算设备用于接收胶囊内窥镜100向外传输的图像，以含有记录仪的衣服为例，可以接收图像并储
存。
[0132]
胶囊内窥镜100还可以包括数据传输模块40和通信总线50。数据传输模块40用于将数据发送至外部的计算设备，计算设备和数据传输模块40可以通过无线连接的形式传输数据，如蓝牙、wifi、zigbee等，通信总线50用于将图像采集模块30、数据传输模块40、处理模块10与存储模块20之间建立连接，通信总线50可包括一通路，在上述的图像采集模块30、数据传输模块40、处理模块10与存储模块20之间传送信息。
[0133]
处理模块10可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器，也可以是任何常规的处理器。处理模块10是胶囊内窥镜100的控制中心，利用各种接口和线路连接整个胶囊内窥镜100的各个部分。
[0134]
存储模块20可用于存储所述计算机程序和/或模块，处理模块10通过运行或执行存储在存储模块20内的计算机程序和/或模块，以及调用存储在存储模块20内的数据，实现图像采集装置的各种功能。存储模块20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储模块20可以包括高速随机存取存储器，还可以包括非易失性存储器或易失性固态存储器件。
[0135]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储模块20中，并由处理模块10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在图像采集装置中的执行过程。
[0136]
所述图像采集方法集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理模块10执行时，可实现上述各个方法实施例的步骤。
[0137]
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、∪盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0138]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0139]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。