一种内窥镜摄像系统、图像处理方法及可读存储介质与流程

1.本发明涉及医疗设备技术领域，具体涉及一种内窥镜摄像系统、图像处理方法及可读存储介质。


背景技术：

2.临床医学领域普遍采用内窥镜摄像系统用于医学检查，系统主要由图像传感器、光学镜头、光源照明、机械装置等部件构成，主要由三大系统组成，分别为窥镜系统、图像显示系统和照明系统，从而使医生能直接观察到人体内脏器官的组织形态、体内病变情况，能够为临床诊断、病情跟踪和确定治疗方案提供重要依据。
3.目前，内窥镜摄像系统进行图像处理后的分辨率普遍都比较低，基本上还处于标清及标清以下的分辨率水平，而图像的成像效果是医用内窥镜摄像系统的关键参数；因此，亟需一种可提高图像质量的解决方案。


技术实现要素：

4.针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种内窥镜摄像系统、图像处理方法及可读存储介质，以克服现有技术中其图像质量不高的缺陷。
5.为实现上述目的，第一方面，本发明实施例提供了一种内窥镜摄像系统，包括手柄、镜体和图像处理单元，所述图像处理单元包括采集单元、图像处理器和图像输出接口，其中，所述采集单元采用双目相机，所述图像处理器采用超高清处理芯片；
6.所述图像处理器分别与采集单元和图像输出接口连接，被配置为对所述采集单元所采集的数据进行合成处理，以得到3d视频流；
7.所述图像输出接口，用于将所述3d视频流传输给外部显示装置；其中，所述外部显示装置采用3d显示器。
8.优选地，所述双目相机由两个cmos摄像头组成，包括左相机和右相机。
9.优选地，所述图像处理器还对所述采集单元所采集的图片进行优化处理，以提高左右图像之间的匹配精度。
10.优选地，所述优化处理采用立体校正，具体包括沿着左、右相机坐标轴分别旋转两次以进行极线校正，实现左右图像共面行对准。
11.优选地，所述的一种内窥镜摄像系统，在内窥镜的前端还设有光加热组件，所述光加热组件用于将光能转换成热能，以作用于内窥镜的前端，实现除雾。
12.第二方面，本发明实施例还提供了一种图像处理方法，应用于第一方面所述的一种内窥镜摄像系统，所述方法包括：
13.利用采集单元实现数据采集；其中，所述采集单元采用双目相机，所述双目相机由两个cmos摄像头组成，包括左相机和右相机；
14.通过图像处理器对所述采集单元所采集的数据进行合成处理，以得到3d视频流；
15.再通过图像输出接口将所述3d视频流传输给外部显示装置；其中，所述外部显示
装置采用3d显示器。
16.优选地，所述方法还包括对所述双目相机进行标定处理，具体包括：
17.调用所述双目相机，分别从不同角度拍摄从而得到棋盘格图像数据；其中，所述棋盘格图像数据包括左目图片数据集和右目图片数据集；
18.利用左目图片数据集，进行左目相机标定，得到左目内参矩阵k1、左目畸变系数向量d1；
19.利用右目图片数据集，进行右目相机标定，得到右目内参矩阵k2、右目畸变系数向量d2；
20.再将所述k1、k2、d1、d2作为输入参数，进行双目视觉标定，以得到左、右目摄像头对应的旋转矩阵r、平移向量t；
21.最后基于测量得到的k1、k2、d1、d2、r、t，进行双目视觉的图像校正。
22.优选地，所述方法还包括：通过所述图像处理器对所述采集单元所采集的图片进行优化处理，以提高左右图像之间的匹配精度；其中，所述优化处理采用立体校正。
23.优选地，所述方法还包括：
24.在内窥镜的前端还设有光加热组件，所述光加热组件用于将光能转换成热能，以作用于内窥镜的前端，实现除雾。
25.第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面中提供的所述方法的步骤。
26.实施本发明实施例，通过使用双目相机进行数据采集，再利用图像处理单元将采集的信号进行合成处理，得到对应的3d视频流，同时所述图像处理器采用超高清处理芯片，使得本方案将3d与超高清进行结合，在满足医疗工作者对图像质量要求的基础上，也实现了通过提供立体图像，强化了使用者视野上的空间感知，使得视野更清晰的效果。
附图说明
27.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
28.图1是本发明实施例提供的一种内窥镜摄像系统的结构框图；
29.图2是本发明实施例提供的一种图像处理方法的流程图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
32.第一方面，请参考图1，本发明实施例提供的一种内窥镜摄像系统，包括手柄、镜体和图像处理单元，所述图像处理单元包括采集单元、图像处理器和图像输出接口，其中，所
述采集单元采用双目相机，所述图像处理器采用超高清处理芯片；
33.所述图像处理器分别与采集单元和图像输出接口连接，被配置为对所述采集单元所采集的数据进行合成处理，以得到3d视频流；
34.所述图像输出接口，用于将所述3d视频流传输给外部显示装置；其中，所述外部显示装置采用3d显示器。
35.需要说明的是，本实施例中还有对现有医疗内窥镜系统所应用的光源、物镜、导光窗等常规应用，本领域技术人员应当知晓，在此不做赘述。
36.实施时，所述双目相机，既可输出视频流，也可输出立体图像；所述双目相机由两个cmos摄像头组成，包括左相机和右相机，双目相机是利用仿生学原理，通过标定后的双摄像头得到同步曝光图像，然后计算获取的二维图像像素点的第三维深度信息，以提供立体图像；
37.应用时，还需对所述双目相机进行标定和校准步骤；即，所述图像处理器还对所述采集单元所采集的图片进行优化处理，以提高左右图像之间的匹配精度；其中，所述优化处理采用立体校正，具体包括沿着左、右相机坐标轴分别旋转两次以进行极线校正，实现左右图像共面行对准。
38.通过校正后，可以得到极线校正后左右相机的旋转和平移关系，再将原始图像的4个顶点投影到极线校正后的坐标系中，以得到校正后的图像中心。
39.还可采用：
40.首先将两个图像的像素坐标系通过共同的内参矩阵转换到相机坐标系；
41.分别对两个相机坐标系进行旋转得到新的相机坐标系，通过左乘旋转矩阵r-l逆和r-r逆；
42.针对新的相机坐标分别进行左、右相机的去畸变操作；
43.去畸变操作结束后，分别用左、右相机的内参矩阵将左、右两个相机坐标系重新转换到左、右图像像素坐标系；
44.再并分别用左、右源图像的像素值对新左、右图像的像素点进行插值。
45.上述方案，通过使用双目相机进行数据采集，再利用图像处理单元将采集的信号进行合成处理，得到对应的3d视频流，同时所述图像处理器采用超高清处理芯片，使得本方案将3d与超高清进行结合，在满足医疗工作者对图像质量要求的基础上，也实现了通过提供立体图像，强化了使用者视野上的空间感知，使得视野更清晰的效果。
46.进一步地，考虑到实际应用过程中，因镜头起雾所产生的烟雾干扰，在另一实施例中，在上述方案的基础上，所述的一种内窥镜摄像系统，在内窥镜的前端还设有光加热组件，所述光加热组件用于将光能转换成热能，以作用于内窥镜的前端，实现除雾。
47.具体地，所述光加热组件包括光热转换层，并与内窥镜镜体内壁相贴合，从而使得热量能更加均匀的分布，避免了温差的产生，以实现除雾；同时，使用光加热也避免了电加热所可能产生的漏电风险，提升了使用的安全性。
48.基于相同的发明构思，本发明实施例还提供了一种图像处理方法，应用于前文所述的一种内窥镜摄像系统，如图2所示，所述方法包括：
49.s101，利用采集单元实现数据采集；其中，所述采集单元采用双目相机，所述双目相机由两个cmos摄像头组成，包括左相机和右相机；
50.s102，通过图像处理器对所述采集单元所采集的数据进行合成处理，以得到3d视频流；
51.s103，再通过图像输出接口将所述3d视频流传输给外部显示装置；其中，所述外部显示装置采用3d显示器。
52.通过使用双目相机进行数据采集，再利用图像处理单元将采集的信号进行合成处理，得到对应的3d视频流，同时所述图像处理器采用超高清处理芯片，使得本方案将3d与超高清进行结合，在满足医疗工作者对图像质量要求的基础上，也实现了通过提供立体图像，强化了使用者视野上的空间感知，使得视野更清晰的效果。
53.应用时，还对所述双目相机进行标定处理，具体包括：
54.调用所述双目相机，分别从不同角度拍摄从而得到棋盘格图像数据；其中，所述棋盘格图像数据包括左目图片数据集和右目图片数据集；
55.利用左目图片数据集，进行左目相机标定，得到左目内参矩阵k1、左目畸变系数向量d1；
56.利用右目图片数据集，进行右目相机标定，得到右目内参矩阵k2、右目畸变系数向量d2；
57.再将所述k1、k2、d1、d2作为输入参数，进行双目视觉标定，以得到左、右目摄像头对应的旋转矩阵r、平移向量t；
58.最后基于测量得到的k1、k2、d1、d2、r、t，进行双目视觉的图像校正。
59.进一步地，标定后，再通过所述图像处理器对所述采集单元所采集的图片进行优化处理，以提高左右图像之间的匹配精度；其中，所述优化处理采用立体校正，其校正步骤参照前文所述，在此不再赘述。
60.进一步地，为实现在除雾的基础上，也提升对应的安全性，所述方法还包括：
61.在内窥镜的前端还设有光加热组件，所述光加热组件用于将光能转换成热能，以作用于内窥镜的前端，实现除雾。
62.需要说明的是，关于处理方法更为具体的工作流程，请参考前述系统实施例部分，在此不再赘述。
63.本实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行如所述的一种图像处理方法实施例的步骤。
64.具体的，计算机可读存储介质可包括缓存(cache)、高速随机存取存储器(ram)，例如常见的双倍数据率同步动态随机存取内存(ddr sdram)，并且还可包括非易失性存储器(nvram)，诸如一个或多个只读存储器(rom)、磁盘存储设备、闪存(flash)存储器设备、或其他非易失性固态存储器设备例如光盘(cd-rom，dvd-rom)，软盘或数据磁带等。
65.本领域普通技术人员可以意识到，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
66.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其
它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
67.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。