一种腹腔镜图像增强方法及系统

1.本发明涉及图像增强领域，尤其涉及腹腔镜图像增强方法及系统。


背景技术：

2.腹腔镜已经有一百多年的历史，在发展初期，医生主要利用腹腔镜上的观察孔观察腹腔情况，随着图像技术的进步，腹腔镜采用拍摄图像的方式呈现腹腔情况，现在的腹腔镜多采用光导纤维，能够在显示器上实时显示腹腔情况。随着腹腔镜的普及，腹腔镜手术也替代了很多传统的腹腔手术，相对于普通的腹腔手术，腹腔镜手术开孔更小，对病人的创伤也更小。腹腔镜主要有冷光源、图像传感器、处理器、显示器等组成，在进行腹腔手术中，还会配备co2气腹系统、手术器械等。荧光腹腔镜是一种新型的腹腔镜，其主要是利用肿瘤细胞对荧光物质例如吲哚箐绿(indocyanine green，icg)代谢慢的特点，在进行腹腔手术前两三天，注射荧光造影剂，术中利用荧光腹腔镜即可观察到被吲哚箐绿标识的肿瘤组织。相较于，医生在术中观察肿瘤组织然后切除，利用荧光物质标识的肿瘤组织边界更为清晰，切除的更为彻底。
3.现在的腹腔镜配置的图像传感器能够达到很高的分辨率，但是由于腹腔是一个封闭区域，受到光的反射以及水汽等的影响，经常会出现曝光过度或者曝光不足，而且图像中伴随噪声。图像增强技术通过对图像的后处理，能够得到更适合人眼观察的图片，对曝光过度、曝光不足等导致的图像过亮或者过暗，以及水汽、噪声等都有很好的处理效果。然而，当使用荧光物质标记肿瘤组织的时候，有些区域肿瘤细胞比较少，荧光效果不明显，在对腹腔镜拍摄的图片和视频进行图像增强后，会导致荧光区域丢失，而且有时候在图像增强后，会出现色彩的变化，甚至正常细胞区域也会呈现和荧光区域相似的颜色。这就会出现如果进行图像增强，可能导致荧光标记肿瘤位置不准确，不进行图像增强，图像的质量又比较差的窘境。如何既可以进行图像增强，又能准确用荧光物质标记肿瘤细胞位置是急需要解决的问题。


技术实现要素：

4.为了能够增强腹腔镜图像的可视化效果，同时不影响荧光物质对肿瘤组织的标记范围，一方面，本发明提供了一种腹腔镜图像增强方法，所述方法包括以下步骤：
5.s1，获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设rgb值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
6.s2，根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的r通道图像的平均像素值pr、g通道图像的平均像素值pg、b通道图像的平均像素值pb；根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
7.s3，利用每个通道的尺度参数值和尺度权重值对每个通道进行msr增强，然后采用
msrcr的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设rgb值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
8.优选地，在步骤s1和步骤s3中，所述根据预设rgb值进行图像分割，具体为：
9.计算图像中每个像素点与预设的rgb值的欧氏距离，将所述欧式距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
10.优选地，所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
11.得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
12.优选地，所述根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
13.计算所述平均像素值pr、所述平均像素值pg、所述平均像素值pb的平均值对于每个通道，计算通道的所述平均像素值与所述平均值的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
14.优选地，所述建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，具体为：
15.以第一区域为基准，确定每个第二区域与每个第一区域的重合度，确定重合度大于预设值，且重合度最大的第二区域，建立第二区域与第一区域的对应关系；
16.若第一区域存在与之对应的第二区域，则根据第一区域和第二区域的面积的最大值，作为融合后面积，将第一区域和与第一区域对应的第二区域融合；若第一区域不存在与之对应的第二区域，将第一区域的面积作为融合后面积，将第一区域与色彩恢复后第一区域所在位置进行融合。
17.另外，本发明还提供了一种腹腔镜图像增强系统，所述系统包括以下模块：
18.图像分割模块，用于获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设rgb值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
19.参数计算模块，用于根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的r通道图像的平均像素值pr、g通道图像的平均像素值pg、b通道图像的平均像素值pb；根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
20.图像增强模块，用于利用每个通道的尺度参数值和尺度权重值对每个通道进行msr增强，然后采用msrcr的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设rgb值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
21.优选地，在步骤s1和步骤s3中，所述根据预设rgb值进行图像分割，具体为：
22.计算图像中每个像素点与预设的rgb值的欧氏距离，将所述欧式距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
23.优选地，所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
24.得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
25.优选地，所述根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
26.计算所述平均像素值pr、所述平均像素值pg、所述平均像素值pb的平均值对于每个通道，计算通道的所述平均像素值与所述平均值的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。。
27.最后，本发明还提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如上所述的方法。
28.本发明针对荧光腹腔镜图像增强中，容易对荧光标记的肿瘤位置的影响，根据荧光腹腔镜拍摄的图像的特点，在不影响图像处理速度以及肿瘤标记位置的情况下，尽可能的提高图像增强的质量。根据图像处理单元的运算能力确定多尺度msr(multi-scale retinex)尺度个数和尺度参数，并且对尺度权重值进行改进，有效提高了每个通道图像增强的效果，同时对原始图像和增强后的图像进行分割，确定出原始图像中荧光标记肿瘤的位置，然后和增强后图像进行分割的结果融合，则不缩小荧光标记区域的情况下，提高了荧光腹腔镜图像增强效果。
附图说明
29.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为实施例1的流程图；
31.图2为实施例6的示意图；
32.图3为实施例11流程图。
具体实施方式
33.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包
含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.实施例1
36.本发明提供了一种腹腔镜图像增强方法，如图1所示，所述方法包括以下步骤：
37.s1，获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设rgb值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
38.腹腔镜采用ccd或者cmos传感器拍摄腹腔图像或视频为彩色，彩色图像有三个通道，分别为r通道、g通道和b通道，当采用荧光物质标记肿瘤组织时，肿瘤组织会显示和正常组织不同的颜色，例如绿色，在对腹腔彩色图像进行分割时根据与预设rgb值的关系即可快速分割，当有多个被荧光物质标记的区域时，会得到多个第一区域。
39.s2，根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的r通道图像的平均像素值pr、g通道图像的平均像素值pg、b通道图像的平均像素值pb；根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
40.msr(multi-scale retinex)图像增强方法是对ssr(single scale retinex)图像增强方法的改进，相对于ssr图像增强方法，msr采用多个尺度参数值进行图像增强。
41.在msr图像增强中，根据公式在msr图像增强中，根据公式为高斯模糊，其中r(x,y)＝log(r(x,y))，r(x,y)为增强后图像，在ssr和msr中当得到r(x,y)后，量化到0-255即可得到增强后的图像。
42.上述公式中，k为尺度参数个数；qk为每个尺度的权重，对应的值为尺度权重值，而且σk为尺度参数，对应的值为尺度参数值；若采用三个尺度参数σ1、σ2、σ3，则k＝3，尺度权重值有三个，分别为q1、q2、q3，且q1 q2 q3＝1。
43.但是上述确定尺度参数值和尺度权重值多是根据经验确定，不同的图像传感器，甚至相同的图像传感器在不同的条件拍摄的图像，经过上述增强后，增强的效果并不相同，而且尺度参数越多，计算量越大，当计算量过大时，并不能满足实时性的要求，尤其是在利用腹腔镜进行腹腔手术时。本发明首先根据图像处理单元的处理能力确定尺度参数个数，如果图像处理单元处理能力强，采用多个尺度参数，否则，则需要减少尺度参数个数。图像处理单元为cpu和/或gpu，如果与图像传感器连接的图像处理和显示设备没有配置gpu，则
需要cpu进行图像增强，此时cpu为图像处理单元；若只使用gpu进行图像增强，则gpu为图像处理单元，也可以同时使用cpu和gpu处理图像，则图像处理单元为cpu和gpu。
44.图像处理单元的处理能力和芯片的具体型号相关，在一个具体实施例中，使用浮点计算能力作为图像处理单元处理能力的衡量指标，本发明对此不作具体限定。
45.彩色图像有rgb三个通道，按照上述公式对每个通道分别进行计算，即可得到每个通道增强后的图像，然后将每个增强后的通道进行合并即可得到彩色图像。
46.s3，利用每个通道的尺度参数值和尺度权重值对每个通道进行msr增强，然后采用msrcr的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设rgb值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
47.msr图像增强有一个明显的确定是会改变图像各个通道颜色的比值，导致出现色差，也成为了颜色漂移，msrcr(multi-scale retinex with color restore)是对msr的改进，能够恢复各个通道的比例，本发明进一步采用msrcr的色彩恢复方法，对色彩进行恢复。
48.实施例2
49.采用荧光标记的组织，有明显的区别于其他区域的颜色，通过与荧光标记颜色的差距，可以对图像进行分割，在一个具体实施例中，在步骤s1和步骤s3中，所述根据预设rgb值进行图像分割，具体为：
50.计算图像中每个像素点与预设的rgb值的欧氏距离，将所述欧式距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。例如，通过公式计算两个像素点的相似性，其中sr、sg、sb为待计算像素点的rgb值，为预设rgb值。在得到相似的像素点后，对每个像素点进行膨胀操作，膨胀是图像形态学中的操作，在另外一个实施例中，也可以采用对第一集合密集区域进行膨胀操作，本发明对此不作具体限定。
51.实施例3
52.图像处理单元的处理能力决定了图像处理速度，在使用腹腔镜进行手术等操作时，对实时性要求比较高，而msr中尺度参数越多，计算量越大，为了满足实时性的要求，在本实施例中，所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
53.得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。当只有一个尺度参数时，则msr变为了ssr。
54.在另外一个实施例中，也可以有多个尺度参数，例如4个或5个，这和图像处理单元的处理能力以及对图像质量的要求有关。若图像处理单元处理能力强，则可以采用四个尺度参数。
55.实施例4
56.尺度参数的大小直接决定了图像增强效果，尺度参数值越小，高斯模糊的范围越
小，边界越清晰，尺度参数值越大，边界越模糊，但是图像越平滑。而且rgb不同的通道下像素值越大对图像颜色的贡献越大，在进行图像增强时，一个通道的平均像素值越大，设置较大的尺度参数，更能使得增强后的图像平滑。所述根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
57.计算所述平均像素值pr、所述平均像素值pg、所述平均像素值pb的平均值对于每个通道，计算通道的所述平均像素值与所述平均值的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
58.仍以上面三个尺度参数为例，三个尺度参数的基准值为：25、100、200。
59.若在进行r通道增强时，r通道的平均像素值为100，g通道的平均像素值为60，b通道的平均像素值为200，则r通道的平均像素值与的比值为100/120＝5/6，则r通道三个尺度增强时，三个尺度参数值分别为：25
×
(5/6)、100
×
(5/6)、200
×
(5/6)。
60.若在进行g通道增强时，r通道的平均像素值为100，g通道的平均像素值为60，b通道的平均像素值为200，则g通道的平均像素值与的比值为60/120＝1/2，则g通道三个尺度增强时，三个尺度参数值分别为：25
×
(1/2)、100
×
(1/2)、200
×
(1/2)。
61.若在进行b通道增强时，r通道的平均像素值为100，g通道的平均像素值为60，b通道的平均像素值为200，则b通道的平均像素值与的比值为200/120＝5/3，则r通道三个尺度增强时，三个尺度参数值分别为：25
×
(5/3)、100
×
(5/3)、200
×
(5/3)。
62.尺度权重值确定了尺度参数对通道增强的贡献的大小，当尺度权重大时，与尺度权重对应的尺度参数贡献越大，反之越小。当只有一个尺度参数时，msr变为了ssr，对应的权重也即为1。当尺度参数的个数大于1时，在一个具体实施例中，所述计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值为：计算尺度参数基准值之间的比值，将1按所述尺度参数基准值之间的比值分配，得到与尺度参数值对应的尺度权重值。
63.本发明提供的尺度权重计算方式消除了不同尺度参数的影响，例如有三个尺度参数，其对应的三个尺度参数的基准值为：25、100、200，如果权重相同，根据上述r(x,y)的计算法公式，可知，尺度参数为200时，logs(x,y)-log[gk(x,y)*s(x,y)]计算得到的结果比尺度为50时小，其对最后r(x,y)的影响也小，为了避免这种情况，比值为1:4:8，则计算得到三个尺度权重值分别为：
[0064]
实施例5
[0065]
在得到恢复后的彩色图像后，会出现以下几种情况，第一种是第一区域的位置存在第二区域，第二种是第一区域的位置不存在第二区域，第三种是第二区域存在的位置不存在第一区域。第一种是希望得到的结果，第二种是图像增强后消除了荧光标记位置，第三种是图像增强后出现了假荧光标记位置，对于第二种需要将第一区域标记到增强后的图像，对于第三种需要将第二区域消除。在本发明的一个具体实施例中，所述建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，具体为：
[0066]
以第一区域为基准，确定每个第二区域与每个第一区域的重合度，确定重合度大于预设值，且重合度最大的第二区域，建立第二区域与第一区域的对应关系；
[0067]
若第一区域存在与之对应的第二区域，则根据第一区域和第二区域的面积的最大值，作为融合后面积，将第一区域和与第一区域对应的第二区域融合；若第一区域不存在与之对应的第二区域，将第一区域的面积作为融合后面积，将第一区域与色彩恢复后第一区域所在位置进行融合。图像的融合有多种方式，本发明对此不作具体限定。
[0068]
实施例6
[0069]
本发明还提供了一种腹腔镜图像增强系统，如图2所示，所述系统包括以下模块：
[0070]
图像分割模块，用于获取腹腔镜拍摄的腹腔彩色图像，对所述腹腔彩色图像根据预设rgb值进行图像分割，得到至少一个第一区域，并记录所述第一区域的位置；所述第一区域为被荧光造影剂标记的区域；
[0071]
参数计算模块，用于根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值；计算所述腹腔彩色图像的r通道图像的平均像素值pr、g通道图像的平均像素值pg、b通道图像的平均像素值pb；根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值；
[0072]
图像增强模块，用于利用每个通道的尺度参数值和尺度权重值对每个通道进行msr增强，然后采用msrcr的色彩恢复方法对色彩恢复；对色彩恢复后的图像根据预设rgb值进行图像分割，得到至少一个第二区域，建立第一区域和第二区域的对应关系，将第一区域和第二区域融合，得到增强后的腹腔镜图像。
[0073]
实施例7
[0074]
在步骤s1和步骤s3中，所述根据预设rgb值进行图像分割，具体为：
[0075]
计算图像中每个像素点与预设的rgb值的欧氏距离，将所述欧式距离小于阈值的像素点作为一个集合，对所述集合中的像素点进行膨胀操作，将膨胀后相连的区域作为一个区域。
[0076]
实施例8
[0077]
所述根据图像处理单元的处理能力确定尺度参数个数以及对应的尺度参数基准值，具体为：
[0078]
得到所述图像处理单元的计算能力，从小到大设置三个区间，若所述计算能力落入第一区间，则尺度参数个数为1，对应的尺度参数基准值为：100；若所述计算能力落入第二区间，则尺度参数个数为2，对应的尺度参数基准值为：30、150；若所述计算能力落入第三区间，则尺度参数个数为3，对应的尺度参数基准值为：25、100、200。
[0079]
实施例9
[0080]
所述根据所述平均像素值pr、所述平均像素值pg、所述平均像素值pb以及所述尺度参数基准值得到每个通道的尺度参数值和尺度权重值，具体为：
[0081]
计算所述平均像素值pr、所述平均像素值pg、所述平均像素值pb的平均值对于每个通道，计算通道的所述平均像素值与所述平均值的比值，根据尺度参数基准值和所述比值得到尺度参数值；计算尺度参数基准值的比值，根据尺度参数基准值的比值确定尺度权重值。
[0082]
实施例10
[0083]
本发明还提供了一种计算机可读存储介质，用于存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如实施例1-5所述的方法。
[0084]
实施例11
[0085]
本发明提供了一种电子设备，如图3所示，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如实施例1-5所述的方法。
[0086]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0087]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。