偏振光内窥镜装置的制作方法

1.本发明涉及内窥镜技术领域，具体涉及一种偏振光内窥镜装置。


背景技术：

2.内窥镜是一种可插入人体体腔和脏器内腔内进行直接观察、诊断、治疗的医用电子光学仪器，它采用尺寸极小的光学镜头将所要观察的腔内物体通过微小的物镜成像系统进行光学成像，然后将光学成像发送到图像处理主机上，最后在显示屏上输出图像处理后的观察图像，供医生观察和诊断。
3.目前内窥镜主要有超高清的4k内窥镜、三晶片内窥镜、荧光内窥镜、窄带光内窥镜、3d内窥镜等，这些内窥镜在各自的领域均具有很好的功能和性能。其中，4k内窥镜具有超高清的分辨率，细节还原好；三晶片内窥镜有三个图像传感器分别采集rgb中的一种单色光信号，可获得每个像素的rgb颜色值，其色彩还原度精度高，其性能比普通单晶片内窥镜好；荧光内窥镜是在特殊光谱环境中利用荧光分子成像是一种新的成像技术,其原理是通过荧光剂标记肿瘤细胞来增加病变组织与正常组织的对比，可更早发生癌症和肿瘤；窄带光内窥镜是利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱用于精确观察消化道黏膜上皮形态，如上皮腺凹结构，还可以观察上皮血管网的形态；3d内窥镜显示的摄像场景具有深度信息，医生在手术中可以更加精准的对病灶处进行手术和治疗。
4.虽然以上的内窥镜的功能和性能都很好，但是在有血水、浑浊水、组织小屑末、雾气的手术环境下均不能输出清晰的成像，不清晰的成像会使得医生在手术时受到干扰，有时候要清理掉干扰环境(血水、浑浊水、组织屑末、雾气)后才能进行手术，导致手术效率较低。


技术实现要素：

5.本发明主要解决的技术问题是能够使内窥镜装置输出更清晰的图像，实现在水下环境(血水、浑浊、组织屑末、雾气)中能够清晰成像的功能。
6.根据第一方面，一种实施例中提供一种偏振光内窥镜装置，包括摄像头和图像处理系统，其中，还包括：
7.设置于所述摄像头内的光学棱镜，用于将光学镜头输出的一路光束分为两路光束；
8.设置于所述摄像头内的rgb图像传感器，用于采集所述光学棱镜输出的其中一路光束的rgb光信号，并将所述rgb光信号转换为rgb像素数据；
9.设置于所述摄像头内的偏振光图像传感器，用于采集所述光学棱镜输出的另一路光束的偏振光信号，并将所述偏振光信号转换为偏振信息像素数据；
10.设置于所述图像处理系统内且连接于所述摄像头的图像处理器，用于同步对rgb像素数据进行图像处理以及对所述偏振信息像素数据进行清晰化处理，获取rgb图像和偏
振信息图像，输出所述rgb图像和偏振信息图像进行显示。
11.在一实施例中，所述对所述偏振信息像素数据进行清晰化处理，包括：
12.对所述偏振信息像素数据中的当前帧图像数据进行分层处理，得到当前帧图像数据对应的基础层图像数据和细节层图像数据；
13.分别对所述基础层图像数据和细节层图像数据进行去噪处理；
14.对去噪处理后的所述基础层图像数据和细节层图像数据进行重构处理，获取当前帧图像数据对应的偏振信息图像。
15.在一实施例中，所述对所述偏振信息像素数据中的当前帧图像数据进行分层处理，得到当前帧图像数据对应的基础层图像数据和细节层图像数据，包括：
16.从所述偏振信息像素数据中提取连续帧数的图像数据，所述连续帧数的图像数据包括当前帧图像数据；
17.利用连续帧数的所述图像数据的预设偏振角度计算斯托克斯矢量；其中，所述预设偏置角度为偏振光图像传感器的偏振角度；
18.根据所述斯托克斯矢量确定所述图像数据中偏振光光强最大值对应的偏振角度和偏振光光强最小值对应的偏振角度；
19.根据偏振光光强最大值对应的偏振角度和偏振光光强最小值对应的偏振角度，将当前帧图像数据分离为基础层图像数据和细节层图像数据。
20.在一实施例中，所述分别对所述基础层图像数据和细节层图像数据进行去噪处理，包括：
21.对细节层图像数据进行小波变换，得到多个频域数据，其中每个频域数据对应于不同的小波变换系数；
22.对多个频域数据进行双边滤波处理，以对多个频域数据进行去噪；
23.对去噪后的多个频域数据进行重构，得到去噪后的细节层图像数据；
24.对基础层图像数据进行空间域和变换域双边滤波，以对基础层图像数据进行去噪；
25.对双边滤波处理后的基础层图像数据迭代优化处理，得到去噪后的基础层图像数据。
26.在一实施例中，所述偏振光图像传感器为具有4个偏振角度的偏振光图像传感器，所述偏振角度包括0
°
、45
°
、90
°
和135
°
。
27.在一实施例中，还包括：
28.设置于所述摄像头内且分别连接于所述偏振光图像传感器和rgb图像传感器的图像发送模块，用于发送所述rgb像素数据和所述偏振信息像素数据；
29.设置于所述图像处理系统内的图像接收模块，用于接收所述rgb像素数据和所述偏振信息像素数据并转发至图像处理器。
30.在一实施例中，还包括：
31.第一显示器，用于显示所述rgb图像；
32.第二显示器，用于显示所述偏振信息图像；
33.设置于图像处理系统中且连接于图像处理器的显示接口电路，用于接收所述图像处理器输出的rgb图像和偏振信息图像，并分别将rgb图像和偏振信息图像的数据格式编码
转换为预设数据格式，输出预设数据格式的rgb图像至第一显示器，输出预设数据格式的偏振信息图像至第二显示器。
34.在一实施例中，还包括：
35.设置于图像处理系统中且连接于图像处理器的无线传输电路，用于图像处理器与外部移动终端进行数据交互，并将rgb图像和偏振信息图像传输至外部移动终端进行显示和/或存储。
36.在一实施例中，还包括：
37.设置于所述摄像头内且分别连接于所述rgb图像传感器和偏振光图像传感器的时钟电路，用于产生同步时钟信号，并将所述同步时钟信号发送至所述rgb图像传感器和偏振光图像传感器；
38.设置于所述摄像头内且连接于所述图像处理器的功能选择模块，所述功能选择模块包括按键组件，用于在所述按键组件的触发下，输出至少一个功能选择信号至所述图像处理器，以控制所述偏振光内窥镜装置完成对应的至少一种功能。
39.在一实施例中，还包括：
40.设置于所述图像处理系统内且分别连接于所述rgb图像传感器和偏振光图像传感器的曝光同步信号产生电路，用于输出同步曝光信号至所述rgb图像传感器和偏振光图像传感器；其中，所述rgb图像传感器和偏振光图像传感器具体用于在所述同步曝光信号的触发下，分别同步采集所述rgb光信号和偏振光信号；
41.设置于所述图像处理系统内的面板输入电路，用于供用户对所述偏振光内窥镜装置的至少一种功能进行选择和切换；
42.设置于所述图像处理系统内的外设接口电路，用于提供外部设备接入所述偏振光内窥镜装置的接口；
43.设置于所述图像处理系统内的电源电路，用于对所述偏振光内窥镜装置的各个模块、电路进行供电。
44.依据上述实施例的偏振光内窥镜装置，光学棱镜将光学镜头输出的将一路光束分为两路光束，其中一路光束输出至rgb图像传感器，另一路光束输出至偏振光图像传感器；rgb图像传感器采集光学镜头输出的rgb光信号并将rgb光信号转换为rgb像素数据；偏振光图像传感器采集光学镜头输出的偏振光信号并将偏振光信号转换为偏振信息像素数据；图像处理器同步对rgb像素数据进行图像处理和对偏振信息像素数据进行清晰化处理，输出所得到的rgb图像和偏振信息图像进行显示，使得在手术环境中出现血水、组织屑末、雾气等情况时，通过对偏振信息像素数据的清晰化处理，解决了内窥镜装置输出图像不清晰的问题。
附图说明
45.图1为一种实施例的偏振光内窥镜装置的结构示意图；
46.图2为图1所示偏振光内窥镜装置的具体结构示意图；
47.图3为一种实施例的用于内窥镜装置的数据处理方法流程图；
48.图4为图3所示用于内窥镜装置的数据处理方法的具体流程图。
具体实施方式
49.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
50.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
51.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
52.请参考图1，图1为一种实施例的偏振光内窥镜装置的结构示意图，所述的内窥镜装置在电学上包括用于采集目标物的像素数据的摄像头100和用于对像素数据进行处理的图像处理系统200，摄像头100和图像处理系统200通过传输线缆300进行信号传输。
53.请参考图2，图2为图1所示偏振光内窥镜装置的具体结构示意图。摄像头100包括光学镜头101、光学棱镜102、rgb图像传感器103、偏振光图像传感器104、图像发送模块105和功能选择模块106。图像处理系统200包括图像接收模块201、图像处理器202、显示接口电路203、无线传输电路204、曝光同步信号产生电路205、面板输入电路206、外设接口电路207和电源电路208。
54.光学镜头101为多种光学镜组成的光路系统，其为光源产生的白光提供了射向目标物的光路，白光射向目标物后会形成返回光，上述光路系统同时提供了返回光的光路，其能够将返回光引导至光学棱镜102，光学棱镜102将返回光分为两路白光，一路白光传输至rgb图像传感器103采集rgb光信号的光场范围内，另一路白光传输至偏振光图像传感器104采集偏振光信号的光场范围内。
55.rgb图像传感器103用于采集rgb光信号，并将rgb光信号转换为rgb像素数据。
56.本实施例中的rgb图像传感器103能够同时采集红(r)、绿(g)、蓝(b)三种颜色的光信号，并将三种颜色的光信号转换为rgb像素数据。本实施例中的rgb图像传感器为具有4k分辨率的rgb图像传感器，例如ccd图像传感器和cmos图像传感器。此外，rgb图像传感器最终输出的rgb像素数据具有4k分辨率，而三晶片内窥镜中为三个独立的单色图像传感器，其分别采集红(r)、绿(g)、蓝(b)三种颜色的光信号，并分别转换为r像素数据、g像素数据和b像素数据，再将r像素数据、g像素数据和b像素数据合成为rgb像素数据，虽然三晶片内窥镜最终输出的也是rgb像素数据，但是其输出的rgb像素数据分辨率较低，一般为1080p的分辨率。
57.偏振光图像传感器104用于采集偏振光信号，并将偏振光信号转换为偏振信息像素数据。
58.在本实施例中，偏振光图像传感器104能够从上述返回光中采集偏振光信号，并将偏振光信号转换为偏振信息像素数据，即将光信号(偏振光)转换为电信号(偏振信息像素数据)。
59.图像发送模块105用于发送rgb像素数据和偏振信息像素数据至传输线缆300，传输线缆300中包含有用于各种信号数据传输的传输线。本实施例中图像发送模块105的输入端与rgb图像传感器103和偏振光图像传感器104的输出端连接，图像发送模块105的输出端与传输线缆300连接。
60.功能选择模块106设置在摄像头内且与图像处理器202连接，功能选择模块108包括设置在摄像头壳体外部的按键组件，功能选择模块108用于在按键组件的触发下，输出至少一个功能选择信号至图像处理器202，图像处理器202根据功能选择信号控制内窥镜装置完成对应的至少一种功能，例如可以对所采集处理后的实时图像数据进行截图、冻结、录像等功能，按键组件上的各个按钮在被按压时触发内窥镜装置完成对应的功能。
61.本实施例中的图像发送模块105通过传输线缆300中的串行传输数据线将rgb像素数据和偏振信息像素数据发送至图像接收模块201。
62.图像接收模块201用于接收rgb像素数据和偏振信息像素数据。本实施例中，图像接收模块201的输入端与传输线缆300连接，输出端与图像处理器202的输入端连接。
63.在一实施例中，图像接收模块201用于接收上述两路串行数据(rgb像素数据和偏振信息像素数据)，并将每路串行数据转换为并行信号，以便图像处理器202进行图像处理
64.图像处理器202用于同步对rgb像素数据进行图像处理和对偏振信息像素数据进行清晰化处理，获取rgb图像和偏振信息图像，输出rgb图像和偏振信息图像进行显示。本实施例中图像处理器202的输出端与显示接口电路203的输入端连接。
65.图像处理器202对图像接收模块201输出的rgb像素数据和偏振信息像素数据可先通过现有的图像处理算法进行处理，例如线性纠正、坏点去除、白平衡、伽马、自动曝光控制，以及还对输出图像数据的亮度、饱合度、对比度、锐度等参数进行调整。此外，本实施例还采用一种数据处理方法对偏振信息像素数据进行清晰化处理，以此来实现内窥镜装置在水下环境(血水、浑浊水、组织屑末、雾气等)输出清晰偏振信息图像的效果，经过图像处理器202处理后获取的rgb图像和偏振信息图像发送至显示接口电路203以在显示器上进行显示。
66.显示接口电路203同步接收rgb图像和偏振信息图像，将rgb图像和偏振信息图像的数据格式编码转换为预设数据格式，该预设数据格式与显示接口协议相关，例如sdi、dvi、dp等。
67.在一实施例中，采用两根显示线缆分别将显示接口电路203与第一显示器和第二显示器连接，第一显示器用于显示rgb图像，第二显示器用于显示偏振信息图像，本实施例将显示rgb图像的第一显示器作为主屏，将显示偏振信息图像的第二显示器作为副屏。由于本实施例所采用的rgb图像传感器的分辨率为4k，因此第一显示器上显示的是4k rgb图像。
68.在另一实施例中，还可以采用一个显示线缆将显示接口电路203与一显示器连接，在该显示器中采用分屏显示的方式对rgb图像和偏振信息图像进行分区域显示，具体地，显示器中的显示界面包括第一显示框和第二显示框，第一显示框用于显示rgb图像，第二显示框用于显示偏振信息图像。可选地，第一显示框和第二显示框可以是套框方式，即屏内分
屏，如第一显示框为与显示器屏幕匹配的方屏，第二显示框为设于第一显示框内预设区域的圆屏。
69.无线传输电路204与图像处理器202的输出端连接，无线传输电路204用于图像处理器与外部移动终端进行数据交互，并将rgb图像和偏振信息图像传输至外部移动终端进行显示和/或存储。这样，可通过移动终端直接查看内窥镜装置输出的图像，本实施例中的移动终端包括但不限于：智能手机、平板电脑等。
70.曝光同步信号产生电路205与摄像头100内的rgb图像传感器103和偏振光图像传感器104连接，同步曝光信号产生电路205用于输出同步曝光信号至rgb图像传感器和偏振光图像传感器；其中，rgb图像传感器和偏振光图像传感器在所述同步曝光信号的触发下，同步采集所述rgb光信号和偏振光信号。
71.面板输入电路206用于供用户对内窥镜装置的至少一种功能进行选择和切换，例如供用户输入内窥镜的参数信息以控制内窥镜装置实现一种功能。本实施例中的输入电路可以为面板按键，与可以为具有交互功能的显示屏等。
72.外设接口电路207用于提供外部设备接入偏振光内窥镜装置的接口，其中外部设备可包括鼠标键盘、usb移动存储设备、互联网网口、串口设备等。
73.电源电路208用于对内窥镜装置的各个模块、电路进行供电。
74.在一实施例中，图像处理器202对偏振信息像素数据进行清晰化处理，包括：
75.对偏振信息像素数据中的当前帧图像数据进行分层处理，得到当前帧图像数据对应的基础层图像数据和细节层图像数据。其中，基础层图像数据具有较高的对比度，细节层图像数据具有较低的对比度。
76.分别对基础层图像数据和细节层图像数据进行去噪处理。
77.对去噪处理后的基础层图像数据和细节层图像数据进行重构处理，获取当前帧图像数据对应的偏振信息图像。这样最终得到的偏振信息图像能够清晰的展示水下环境(血水、浑浊水、组织屑末、雾气等)情况下的清晰场景图像。
78.在一实施例中，图像处理器202对偏振信息像素数据中的当前帧图像数据进行分层处理，包括：
79.从偏振信息像素数据中提取连续帧数的图像数据，连续帧数的图像数据包括当前帧图像数据，其中当前帧图像数据也就是当前帧偏振图片。
80.利用连续帧数的图像数据的预设偏振角度计算斯托克斯矢量(stokes矢量)；其中，预设偏置角度为偏振光图像传感器的偏振角度。本实施例提供的偏振光图像传感器为具有4个偏振角度的偏振光图像传感器，偏振角度包括0
°
、45
°
、90
°
和135
°
。因此，对于本实施例提供的4偏振角度图像传感器，从偏振信息像素数据中提取连续4帧图像数据，也就是连续4帧偏振图片，通过连续4帧偏振图片的偏振角度0
°
、45
°
、90
°
和135
°
计算斯托克斯矢量。斯托克斯矢量能够体现偏振图片的偏振光光强度。
81.根据斯托克斯矢量确定图像数据中偏振光光强最大值对应的偏振角度和偏振光光强最小值对应的偏振角度。
82.根据偏振光光强最大值对应的偏振角度和偏振光光强最小值对应的偏振角度，将当前帧图像数据分离为基础层图像数据和细节层图像数据。本实施例采用联合双域滤波方法将当前帧图像数据分离为基础层图像数据和细节层图像数据。
83.在一实施例中，分别对基础层图像数据和细节层图像数据进行去噪处理，得到当前帧图像数据对应的基础层图像数据和细节层图像数据，包括：
84.对细节层图像数据进行小波变换，得到多个频域数据，其中每个频域数据对应于不同的小波变换系数。
85.对多个频域数据进行双边滤波处理，以对多个频域数据进行去噪。
86.对去噪后的多个频域数据进行重构，得到去噪后的细节层图像数据。
87.对基础层图像数据进行空间域和变换域双边滤波，以对基础层图像数据进行去噪。
88.对双边滤波处理后的基础层图像数据迭代优化处理，得到去噪后的基础层图像数据。
89.在本发明实施例中，光学镜头和光学棱角将反射的白光分别传送至rgb图像传感器和偏振光图像传感器，rgb图像传感器采集rgb光信号并输出rgb像素数据，偏振光图像传感器采集偏振光信号并输出偏振信息像素数据，图像处理器同步对rgb像素数据和偏振光像素数据进行处理，其中采用本发明实施例提供的数据处理方法对偏振光像素数据进行处理，其将偏置光像素数据分离为细节层图像数据和基础层图像数据，并分别对细节层图像数据和基础层图像数据进行去噪处理，能够在不同维度对偏振光信息像素数据中的噪声进行去除，最后将去噪后的细节层图像数据和基础层图像数据重构为偏振信息图像，以获取清晰的偏振信息图像，实现了内窥镜装置在水下环境(血水、浑浊、组织屑末、雾气)中能够清晰成像的功能。
90.请参考图3，图3为一种实施例的用于内窥镜装置的数据处理方法流程图，该数据处理方法应用于图像处理系统中的图像处理器，所述的数据处理方法包括以下步骤：
91.步骤10，获取rgb图像传感器采集的rgb像素数据，以及偏振光图像传感器采集的偏振信息像素数据。在本实施例中rgb图像传感器采集rgb像素数据、偏振光图像传感器采集偏振信息像素数据的具体方式已在上述实施例中进行了具体说明，此处不再赘述。
92.步骤20，同步对rgb像素数据进行图像处理和对偏振信息像素数据进行清晰化处理，获取rgb图像和偏振信息图像，输出rgb图像和偏振信息图像进行显示。
93.请参考图4，图4为图3所示用于内窥镜装置的数据处理方法的具体流程图。在一实施例中，步骤20中对偏振信息数据进行清晰化处理，包括以下步骤：
94.步骤21，对偏振信息像素数据中的当前帧图像数据进行分层处理，得到当前帧图像数据对应的基础层图像数据和细节层图像数据。
95.步骤22，分别对所述基础层图像数据和细节层图像数据进行去噪处理。
96.步骤23，对去噪处理后的所述基础层图像数据和细节层图像数据进行重构处理，获取当前帧图像数据对应的偏振信息图像。
97.在一实施例中，步骤21中对偏振信息像素数据中的当前帧图像数据进行分层处理，包括以下步骤：
98.步骤211，从所述偏振信息像素数据中提取连续帧数的图像数据，所述连续帧数的图像数据包括当前帧图像数据。
99.步骤212，利用连续帧数的图像数据的预设偏振角度计算斯托克斯矢量；其中，所述预设偏置角度为偏振光图像传感器的偏振角度。
100.步骤213，根据斯托克斯矢量确定图像数据中偏振光光强最大值对应的偏振角度和偏振光光强最小值对应的偏振角度。
101.步骤214，根据偏振光光强最大值对应的偏振角度和偏振光光强最小值对应的偏振角度，将当前帧图像数据分离为基础层图像数据和细节层图像数据。
102.在一实施例中，步骤22中分别对所述基础层图像数据和细节层图像数据进行去噪处理，包括以下步骤：
103.步骤221，对细节层图像数据进行小波变换，得到多个频域数据，其中每个频域数据对应于不同的小波变换系数。
104.在本实施例中，通过改变小波变换的尺度因子和反应因子来获取多个频域数据，其中多个频域数据是指不同频率、不同带宽和不同时刻的细节层图像数据。
105.步骤222，对多个频域数据进行双边滤波处理，以对多个频域数据进行去噪。本实施例通过控制双边滤波的核函数尺寸对多个频域数据进行去噪处理。
106.步骤223，对去噪后的多个频域数据进行重构，得到去噪后的细节层图像数据。
107.步骤224，对基础层图像数据进行空间域和变换域双边滤波，以对基础层图像数据进行去噪。本实施例通过控制双边滤波的内核函数变换域和空间域的尺寸变化来对基础层图像数据进行去噪，以获取精度高、噪声低的基础层图像数据。
108.步骤225，对双边滤波处理后的基础层图像数据迭代优化处理，得到去噪后的基础层图像数据。
109.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
110.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。