一种获取荧光图像的方法、装置及内窥镜系统与流程

1.本发明涉及图像获取技术领域，具体涉及一种获取荧光图像的方法、装置及内窥镜系统。


背景技术：

2.内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到x射线不能显示的病变，因此它对医生非常有用，例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。
3.由于癌变或病变组织的荧光强度比正常组织的荧光强度要弱，因此通过荧光剂标记肿瘤细胞来增加病变组织与正常组织的对比，但采用单一传感器对病变组织进行采集，缺陷十分明显，如分辨率、光谱等方面的不足。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供一种获取荧光图像的方法、装置及内窥镜系统。
5.第一方面，一种获取荧光图像的方法，应用于医用内窥镜，步骤包括：
6.采集被检测对象的多个荧光源图像；
7.对所述多个荧光源图像进行图像预处理，得到多个荧光样本图像；
8.将所述多个荧光样本图像进行图像融合，得到被检测对象的荧光图像。
9.进一步地，所述采集被检测对象的多个荧光源图像，具体为：
10.将激励光照射于被检测对象，以形成荧光目标对象；
11.采用多个图像传感器对所述荧光目标对象进行采集，得到被检测对象的多个荧光源图像。
12.进一步地，所述对所述多个荧光源图像进行图像预处理，得到多个荧光样本图像，具体为：
13.采用顶帽变换算法对所述多个荧光源图像分别进行降噪处理，得到所述多个荧光源图像的降噪图像；
14.对所述多个降噪图像分别进行图像增强，得到多个荧光样本图像。
15.进一步地，所述将所述多个荧光样本图像进行图像融合，得到被检测对象的荧光图像，具体为：
16.将所述多个荧光样本图像分别进行离散小波变换，以对多个荧光样本图像进行小波分解得到多个荧光样本图像的低频信息和高频信息；
17.对所述多个荧光样本图像的低频信息和高频信息采用融合规则进行融合处理，得到融合后的荧光图像分量；
18.对所述融合后的荧光图像分量进行重构，得到被检测对象的荧光图像。
19.第二方面，一种获取荧光图像的装置，包括：
20.图像采集模块：用于采集被检测对象的多个荧光源图像；
21.图像预处理模块：用于对所述多个荧光源图像进行图像预处理，得到多个荧光样本图像；
22.图像融合模块：用于将所述多个荧光样本图像进行图像融合，得到被检测对象的荧光图像。
23.进一步地，所述图像采集模块具体用于：
24.将激励光照射于被检测对象，以形成荧光目标对象；
25.采用多个图像传感器对所述荧光目标对象进行采集，得到被检测对象的多个荧光源图像。
26.进一步地，所述图像预处理模块，具体用于：
27.采用顶帽变换算法对所述多个荧光源图像分别进行降噪处理，得到所述多个荧光源图像的降噪图像；
28.对所述多个降噪图像分别进行图像增强，得到多个荧光样本图像。
29.进一步地，所述图像融合模块，具体用于：
30.将所述多个荧光样本图像分别进行离散小波变换，以对多个荧光样本图像进行小波分解得到多个荧光样本图像的低频信息和高频信息；
31.对所述多个荧光样本图像的低频信息和高频信息采用融合规则进行融合处理，得到融合后的荧光图像分量；
32.对所述融合后的荧光图像分量进行重构，得到被检测对象的荧光图像。
33.第三方面，一种获取荧光图像的装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。
34.第四方面，一种内窥镜系统，其特征在于，包括：
35.医用内窥镜，用于采集被检测对象的多个荧光源图像；
36.以及，如第三方面所述的获取荧光图像的装置，所述获取荧光图像的装置与所述医用内窥镜通讯连接，用于对所述多个荧光源图像进行图像处理融合。
37.本发明的有益效果体现在：通过多个图像传感器对被检测对象进行荧光源图像的采集，并对荧光源图像进行图像降噪和增强处理，通过小波变换进行图像融合获取得到分辨率更高、图像更清晰、融合速度快的荧光图像。
附图说明
38.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
39.图1为本发明实施例提供的一种获取荧光图像的方法的流程图；
40.图2为本发明实施例提供的一种获取荧光图像的方法的样本图像分解流程图；
41.图3为本发明实施例提供的一种获取荧光图像的装置的模块框图；
42.图4为本发明实施例提供的一种获取荧光图像的装置的结构示意图；
43.图5为本发明实施例提供的一种内窥镜系统的模块框图。
具体实施方式
44.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
45.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
46.如图1所示，一种获取荧光图像的方法，应用于医用内窥镜，步骤包括：
47.s1：采集被检测对象的多个荧光源图像；
48.具体地，荧光激发光产生一定波长的荧光和近红外线，透射穿过生物活体，激发体内荧光，将荧光激发光作为激励光照射于被检测对象，形成荧光目标对象。采用多个图像传感器对荧光目标对象进行采集，得到被检测对象的多个荧光源图像，可以更加全面地反映目标状态，改善图像质量。
49.s2：对所述多个荧光源图像进行图像预处理，得到多个荧光样本图像；
50.具体地，先构建一个结构元素，并运用结构元素对多个荧光源图像进行开运算，再对开运算后的多个荧光源图像进行顶帽变换。采用顶帽变换算法对多个荧光源图像分别进行降噪处理，得到所述多个荧光源图像的降噪图像。
51.进一步地，对多个荧光源图像分别进行顶帽变换时，采用同样的顶帽变换方法同时对每一个荧光源图像均进行顶帽变换，为方便理解荧光源图像进行顶帽算法过程，本实施例以其中一个荧光源图像f为例，设结构元素为se，其大小为m*n，荧光源图像f的大小为w*h，结构元素se的形状与荧光源图像f的形状应尽可能相似。
52.先用同一个结构元素se对荧光源图像f进行先腐蚀后膨胀，以进行开运算操作，开运算的运算公式为：
[0053][0054]
式中，f
⊙
se表示荧光源图像的腐蚀过程，用结构元素se去腐蚀荧光源图像f，当结构元素se的原点平移到荧光源图像f的某一个像素点时，若结构元素se在该像素点处，结构元素se完全被包含在荧光源图像f重叠的区域，则腐蚀后输出图像对应的像素点赋值为1，否则赋值为0，被腐蚀后的图像整体色调变暗；(f
⊙
se)
⊕
se则表示用腐蚀后输出的荧光源图像再进行膨胀处理，用结构元素se对腐蚀后的荧光源图像f进行膨胀，讲结构元素se的原点平移到荧光源图像f某一个像素点位置，若结构元素se在该像素点位置处与荧光源图像f的交集不为空，则膨胀后输出图像对应的像素点赋值为1，否则为0，被膨胀后的图像整体色调变亮。
[0055]
经过开运算后的图像像素f灰度值小于或等于原灰度值，再用原来的荧光源图像减去开运算后的荧光源图像，即为对荧光源图像进行顶帽变换，得到荧光源图像的降噪图像。故荧光源图像顶帽变换的计算公式为：
[0056][0057]
对多个荧光源图像分别进行降噪处理即对多个荧光源图像分别进行上述运算处
理，得到多个荧光源图像的降噪图像，再对多个降噪图像分别进行图像增强，得到多个荧光样本图像，图像增强的方法包括但不限于对荧光样本图像进行剪切、缩放变换、平移变换、尺度变换、对比度变换、颜色变换等一种或多种组合图像增强变换的方式。
[0058]
s3：将所述多个荧光样本图像进行图像融合，得到被检测对象的荧光图像；
[0059]
具体地，采用离散小波变换的mallat算法将多个荧光样本图像分别进行分解，得到荧光样本图像的低频信息和高频信息，本实施例以对其中一个荧光样本图像进行分解为例，分解流程如图2所示。
[0060]
由图2可知，第一次分解可得到4个荧光样本子图像：ll1、hl1、lh1以及hh1；其中，ll1为低频子图像，hl1、lh1以及hh1为高频子图像，ll1中包含水平和垂直方向的低频信息，lh1包含水平、垂直方向的低频、高频信息，hl1包含水平垂直方向的高频、低频信息，hh1包含水平、垂直方向的高频信息，下次分解则只对低频子图像ll1进行分解。
[0061]
分解得到多个荧光样本图像的低频信息和高频信息后，对低频信息和高频信息采用不同的融合规则进行融合处理，以完成对各图像分量信息的融合，得到融合后的荧光图像分量。低频信息决定荧光图像的轮廓，其采用的融合规则包括但不限于线性加权和基于区域方差的融合，高频信息反应荧光图像的边缘、曲线、纹理等细节信息，其采用的融合规则包括但不限于小波区域能量选大法、模值取大法以及区域平均梯度选大法。
[0062]
得到融合后的荧光图像分量后，再采用mallat算法通过小波逆变换进行重构，重构过程即为荧光样本图像分解的逆过程，从而得到被检测对象的荧光图像。融合得到的荧光图像视觉效果更好，可以清楚地看到图像中的目标，且相比于原始图像，荧光图像边缘细节信息得到增强。
[0063]
基于相同的发明构思，本发明实施例提供了一种获取荧光图像的装置，如图3所示，包括：
[0064]
图像采集模块：用于采集被检测对象的多个荧光源图像；
[0065]
图像预处理模块：用于对所述多个荧光源图像进行图像预处理，得到多个荧光样本图像；
[0066]
图像融合模块：用于将所述多个荧光样本图像进行图像融合，得到被检测对象的荧光图像。
[0067]
进一步地，所述图像采集模块具体用于：
[0068]
将激励光照射于被检测对象，以形成荧光目标对象；
[0069]
采用多个图像传感器对所述荧光目标对象进行采集，得到被检测对象的多个荧光源图像。
[0070]
进一步地，所述图像预处理模块，具体用于：
[0071]
采用顶帽变换算法对所述多个荧光源图像分别进行降噪处理，得到所述多个荧光源图像的降噪图像；
[0072]
对所述多个降噪图像分别进行图像增强，得到多个荧光样本图像。
[0073]
进一步地，所述图像融合模块，具体用于：
[0074]
将所述多个荧光样本图像分别进行离散小波变换，以对多个荧光样本图像进行小波分解得到多个荧光样本图像的低频信息和高频信息；
[0075]
对所述多个荧光样本图像的低频信息和高频信息采用融合规则进行融合处理，得
到融合后的荧光图像分量；
[0076]
对所述融合后的荧光图像分量进行重构，得到被检测对象的荧光图像。
[0077]
本发明通过多个图像传感器对被检测对象进行荧光源图像的采集，并对荧光源图像进行图像降噪和增强处理，通过小波变换进行图像融合获取得到分辨率更高、图像更清晰、融合速度快的荧光图像。
[0078]
可选地，在本技术另一实施例中提供了一种获取荧光图像的装置，如图4所示，该获取荧光图像的装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。
[0079]
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(central processing unit，cpu)，深度学习显卡(如：华为npu,英伟达gpu,谷歌tpu)该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0080]
输入设备102可以包括键盘等，输出设备103可以包括显示器(lcd等)、扬声器等。
[0081]
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
[0082]
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的一种获取荧光图像的方法实施例中所描述的实现方式，在此不再赘述。
[0083]
需要说明的是，本发明实施例中一种获取荧光图像的装置更为具体工作流程及相关细节，请参考前述方法实施例部分，在此不再赘述。
[0084]
可选地，在本技术的另一实施例中提供了一种内窥镜系统，如图5所示，包括：
[0085]
医用内窥镜，用于采集被检测对象的多个荧光源图像；
[0086]
以及，如上述实施例所述的获取荧光图像的装置，所述获取荧光图像的装置与所述医用内窥镜通讯连接，用于对所述多个荧光源图像进行图像处理融合。
[0087]
需要说明的是，关于内窥镜系统部分更为具体的工作流程等，请参考前述方法实施例部分，在此不再赘述。
[0088]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0089]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其
它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0090]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0091]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0092]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0093]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。