一种内窥镜成像方法及相关产品与流程

本发明涉及内窥镜成像，更具体地涉及一种内窥镜成像方法、内窥镜图像处理设备、内窥镜系统、存储介质及计算机程序产品。

背景技术：

1、内窥镜成像系统是现代医疗器械中一种常用的设备系统，用于对患者体内进行检查，其中，内窥镜图像的成像质量会直接影响检查的效果，而内窥镜图像的成像质量会受多种因素影响，例如，患者体腔的大小，器官蠕动，和镜体抖动等。一旦观测区域的观察对象超出内窥镜成像系统的有效景深范围，就会导致内窥镜图像失焦模糊，成像质量急剧下降，从而较大地影响医生的诊断准确性。

2、基于内窥镜成像系统的设计原理，有效景深范围与光圈孔径、成像分辨率存在着不可调和的矛盾。通过降低镜头光圈大小，可以提高成像系统的景深范围，但是与此同时，会导致摄像模组接收到的反射光的光强下降以及成像过程中艾里斑的扩大，进而降低图像清晰度，使成像质量较低。相关技术中，部分内窥镜系统采用步进式调焦方式获取多景深图像序列，并进行图像融合以获得景深拓展图像，然而，这种调焦方式相当于在整个可调焦范围内逐个步距进行调焦，调焦效率极低，成像延时性较高，不利于医生的观察及操作。

技术实现思路

1、考虑到上述问题而提出了本发明。本发明提供一种内窥镜成像方法、内窥镜图像处理设备、内窥镜系统、存储介质及计算机程序产品。这种方案综合成像区域内多个位置处的相位差信息确定该成像区域的合焦面数量以及每个合焦面对应的目标焦距调整量，有针对性地执行调焦操作和图像融合，可以提升获取景深拓展图像的效率和灵活性，可同时兼顾内窥镜图像的清晰度要求和实时性要求。

2、根据本发明的一个方面，提供了一种内窥镜成像方法，用于内窥镜系统，内窥镜系统包括图像采集系统，图像采集系统包括可调焦镜组和相差摄像模组，相差摄像模组包括多对相位检测像素，每对相位检测像素用于检测其所在成像位置处的相位差信息，内窥镜成像方法包括：获取图像采集系统在初始焦距下对成像区域进行成像所对应的第一相位差信息，第一相位差信息包括成像时各对相位检测像素输出的相位差信息；根据第一相位差信息，确定至少一个目标焦距调整量，其中，至少一个目标焦距调整量与成像区域中的至少一组目标子区域一一对应，对于每个目标焦距调整量，当图像采集系统根据目标焦距调整量执行调焦操作并对成像区域进行成像时，与该目标焦距调整量对应的目标子区域处于合焦状态；其中，当目标焦距调整量的数量大于1时：获取多景深图像序列，多景深图像序列包括图像采集系统在根据每个目标焦距调整量执行调焦操作并成像时采集的内窥镜图像；对多景深图像序列中的内窥镜图像进行图像融合以获取成像区域的景深拓展图像。

3、可选地，根据第一相位差信息，确定至少一个目标焦距调整量，包括：基于第一相位差信息确定相位相关性分布矩阵；统计相位相关性分布矩阵的峰值；对相位相关性分布矩阵的峰值进行聚类以确定第一组峰值中心；根据第一组峰值中心中至少部分峰值中心确定至少一个目标焦距调整量。

4、可选地，根据第一组峰值中心中至少部分峰值中心确定至少一个目标焦距调整量，包括：根据目标焦距调整量的数量阈值对第一组峰值中心中的峰值中心进行筛选以获取第二组峰值中心；根据第二组峰值中心中各峰值中心确定至少一个目标焦距调整量。

5、可选地，根据第一组峰值中心中至少部分峰值中心确定至少一个目标焦距调整量，包括：根据第一组峰值中心中至少部分峰值中心确定至少一个合焦焦距调整量，至少一个合焦焦距调整量与成像区域中的至少一组初始子区域一一对应，对于每个合焦焦距调整量，当图像采集系统根据合焦焦距调整量执行调焦操作并对成像区域进行成像时，与该合焦焦距调整量对应的初始子区域处于合焦状态；将至少一个合焦焦距调整量中满足第二预设要求的至少两个合焦焦距调整量优化为第一目标焦距调整量，其中，至少一个合焦焦距调整量中不满足第二预设要求的合焦焦距调整量作为第二目标焦距调整量，至少一个目标焦距调整量包括第一目标焦距调整量和第二目标焦距调整量；其中，第二预设要求包括：图像采集系统根据至少两个合焦焦距调整量执行调焦操作后的有效景深范围存在交集，每个第一目标焦距调整量所对应的目标子区域通过对参与该第一目标焦距调整量的优化的合焦焦距调整量所对应的初始子区域进行合并来获得。

6、可选地，根据第一相位差信息，确定至少一个目标焦距调整量，包括：根据第一相位差信息，确定至少一个合焦焦距调整量，至少一个合焦焦距调整量与成像区域中的至少一组初始子区域一一对应，对于每个合焦焦距调整量，当图像采集系统根据合焦焦距调整量执行调焦操作并对成像区域进行成像时，与该合焦焦距调整量对应的初始子区域处于合焦状态；将至少一个合焦焦距调整量中满足第二预设要求的至少两个合焦焦距调整量优化为第一目标焦距调整量，其中，至少一个合焦焦距调整量中不满足第二预设要求的合焦焦距调整量作为第二目标焦距调整量，至少一个目标焦距调整量包括第一目标焦距调整量和第二目标焦距调整量；其中，第二预设要求包括：图像采集系统根据至少两个合焦焦距调整量执行调焦操作后的有效景深范围存在交集，每个第一目标焦距调整量所对应的目标子区域通过对参与该第一目标焦距调整量的优化的合焦焦距调整量所对应的初始子区域进行合并来获得。

7、可选地，对多景深图像序列中的内窥镜图像进行图像融合以获取成像区域的景深拓展图像，包括：将多景深图像序列中的内窥镜图像对齐；确定经对齐的内窥镜图像的待融合区域，待融合区域为清晰度符合第一预设要求的区域；将待融合区域进行融合以获取景深拓展图像。

8、可选地，确定经对齐的内窥镜图像的待融合区域，包括：对于多景深图像序列中的每个内窥镜图像，获取图像采集系统在采集该内窥镜图像时所对应的第二相位差信息，第二相位差信息包括采集该内窥镜图像时各对相位检测像素输出的相位差信息；根据第二相位差信息对该内窥镜图像的局部清晰度进行评价，并根据局部清晰度的评价结果获取该内窥镜图像的特定区域，特定区域为清晰度符合第一预设要求的区域；将特定区域在经对齐操作后转换获得的对应区域作为经对齐的内窥镜图像的待融合区域。

9、可选地，在将待融合区域进行融合以获取成像区域的景深拓展图像之前，方法还包括：对待融合区域的边缘进行平滑处理。

10、可选地，当目标焦距调整量的数量为1时，内窥镜成像方法还包括：判断目标焦距调整量是否大于预设调整量阈值，若是，则控制图像采集系统根据目标焦距调整量执行调焦操作，以获取并显示图像采集系统在调焦后的焦距下所采集的内窥镜图像，若否，则显示图像采集系统在初始焦距下所采集的内窥镜图像；或者，根据第一相位差信息判断成像区域是否处于离焦状态，若是，则控制图像采集系统根据目标焦距调整量执行调焦操作，以获取并显示图像采集系统在调焦后的焦距下所采集的内窥镜图像，若否，则显示图像采集系统在初始焦距下所采集的内窥镜图像。

11、根据本发明另一方面，还提供了一种内窥镜图像处理设备，包括：处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述的内窥镜成像方法。

12、根据本发明又一方面，还提供了一种内窥镜系统，包括：图像采集系统，图像采集系统包括可调焦镜组和相差摄像模组，相差摄像模组包括多对相位检测像素，每对相位检测像素用于检测其所在成像位置处的相位差信息，以及，如上述的内窥镜图像处理设备，内窥镜处理设备分别与可调焦镜组和相差摄像模组通信连接。

13、可选地，可调焦镜组包括可变形透镜。

14、可选地，相差摄像模组包括图像传感器，图像传感器的感光面上布设有多对相位检测像素和多个成像像素，多个成像像素用于接收来自成像区域的光线以生成成像区域的内窥镜图像。

15、根据本发明再一方面，还提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述的内窥镜成像方法。

16、根据本发明再一方面，还提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令在运行时用于执行上述的内窥镜成像方法。

17、上述技术方案可以基于成像区域内多个位置处的相位差信息自适应地获取对当前成像区域的各部分区域进行清晰成像所需的目标焦距调整量，可以较为准确地将初始焦距调节至成像区域的各合焦面对应的目标焦距，并且这种具有针对性的调焦方式的调焦效率较高，能够满足内窥镜图像的实时性要求。另一方面，经调焦操作后的焦距可以对应一个有效景深范围，尤其，在多次调焦操作后，多景深图像序列中的各内窥镜图像的有效景深范围可能不同，各内窥镜图像对应的有效景深范围的并集较大。通过对图像采集系统根据目标焦距调整量进行调焦后所采集的内窥镜图像进行图像融合获取景深拓展图像，可以增大融合得到的景深拓展图像的有效景深范围，从而有助于丰富景深拓展图像的图像内容，此外，通过对内窥镜图像进行图像融合，可以尽可能地保证成像区域内的被摄对象均能在有效景深范围内进行自适应清晰成像。

18、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。