眼底图像处理系统的制作方法

1.本发明属于眼底照相技术领域，具体涉及一种眼底图像处理系统。


背景技术：

2.眼底照相设备广泛应用于眼科疾病筛查中，其成像的质量直接影响对眼科疾病的准确诊断，目前眼底照相设备主要存在下述问题：一是成像质量受照明光源反射光影响，二是成像质量受眼动影响。其中，成像质量受照明光源角膜反射影响，主要表现在照明光源会被角膜反射，最终在相片上形成高亮区，这些高亮区会遮掩实际的眼底图像，其次，照明光源会在镜头的表面反射，导致鬼影（杂散光）的产生。另外，成像质量受眼动的影响主要表现在运动模糊，其实质上是眼球运动时，眼底图像移动曝光叠加所致，进而影响成像质量。
3.然而，目前为了消除杂散光对眼底照片的影响，大多采用对眼底相机进行改进，例如，将照明光源与固视光源同轴设置，照明光源与固视灯光源经过入射偏振片后均变为线偏振光，出射偏振片会将入射到接，目镜、角膜上的杂散光均挡在后续成像光路之外，避免了杂散光进入至后续的成像光路中。再例如，在眼底相机中设置多个偏振片、定位装置等结构，通过调节焦组与偏振片的距离，以减少拍摄时眼角膜产生的杂散光。上述方案均需要在眼底相机内添加光学元件以实现减少杂散光，但并未达到消除杂散光，由此得到的眼底照片中仍存在一定杂散光的影响。
4.因此，针对上述技术问题，在不添加额外的光学元件前提下，本发明提出一种新的眼底图像处理系统。


技术实现要素：

5.本发明旨在至少解决现有技术中存在的技术问题之一，提供一种眼底图像处理系统。
6.本发明提供一种眼底图像处理系统，包括：多组照明光源，所述多组照明光源间隔分布且在不同时间段依次进行启闭；拍照单元，用于对不同组照明光源下的眼底进行拍照，以得到多组眼底照片，每组所述眼底照片上具有每组照明光源产生的杂散光和反射光对应的第一区域；图像处理单元，用于检测所述多组眼底照片的特征点，并基于所述特征点对所述多组眼底照片进行匹配，以获得各组眼底照片之间的单应矩阵；还用于获取其中一组眼底照片上第一区域的位置，以及根据所述单应矩阵获取其他组眼底照片与所述第一区域对应的第二区域位置，将所述第二区域的像素值覆盖至所述第一区域，以得到目标眼底照片。
7.可选的，所述图像处理单元包括：位置获取模块与合成模块；其中，所述位置获取模块，用于获取其中一组所述眼底照片的第一区域的第一坐标，以及根据单应矩阵获取其他组所述眼底照片中与所述第一区域第一坐标对应的第二坐标；所述合成模块，用于对所述第二坐标的像素值进行双线性插值处理，并将处理后
的第二坐标的像素值与第一坐标的像素值按照权重进行混叠融合，以将其他组眼底照片的所述第二区域像素值覆盖至所述第一区域上。
8.可选的，所述第一区域包括杂散光和反射光分布区域以及该杂散光和反射光分布区域的相邻区域；以及，所述第一坐标为所述第一区域的四个顶点坐标。
9.可选的，所述图像处理单元还包括第一权重计算模块、第二权重计算模块以及第三权重计算模块中的至少一者；其中，所述第一权重计算模块，用于根据其中一组所述眼底照片的第一区域像素值与其他组所述眼底照片第二区域的像素值相减除以最大最小值之差，以获取混叠时的权重；所述第二权重计算模块，用于根据所述眼底照片的每个像素亮度减去预设标定板成像的亮度，以获得混叠时的权重；所述第三权重计算模块，用于根据其中一组所述眼底照片的第一区域中的相邻区域像素亮度值与其他组所述眼底照片第二区域中的相邻区域像素亮度值的比值，以获取混叠时的权重。
10.可选的，所述第三权重计算模块采用下述关系式计算得到混叠的权重：w(x,y) = sigma(i1(x,y) / i2(x1,y1))/n式中：w(x,y)是指在x，y坐标上的像素的权重系数；n是指相邻区域像素的个数；i1(x,y)是指被融合的其中一组眼底照片的第一区域中相邻区域的坐标x,y的像素亮度；i2(x1,y1)是指融合的其他组眼底照片对应相邻区域的坐标x1,y1的像素亮度。
11.可选的，所述图像处理单元还包括检测模块和匹配模块；其中，所述检测模块采用orb算法或sift算法对所述特征点进行检测；所述匹配模块采用knn算法或ransac算法对所述特征点进行匹配。
12.可选的，所述系统还包括与所述多组照明光源相对应的多组调制开关，所述多组调制开关还与所述拍照单元连接；所述调制开关，用于调制所述照明光源的启闭，并同步触发所述拍照单元启闭。
13.可选的，每组所述照明光源包括多个子光源，所述多个子光源呈等间隔环形分布。
14.可选的，不同组的所述多个子光源交替间隔设置。
15.可选的，所述照明光源包括可见光光源和红外光源。
16.本发明提供一种眼底图像处理系统，通过设置多组照明光源以进行不同时间不同空间频率的调制，使得照明光能量分散，再基于图像处理单元将调制后所得的多组眼底照片进行合成，将其中一组眼底照片上的发射光与杂散光区域进行混叠融合，得到目标眼底照片，以消除角膜反射光对眼底成像质量的影响。
附图说明
17.图1为本发明一实施例的眼底图像处理系统的结构示意图；图2为本发明一实施例的多组照明光源的空间分布示意图；图3为本发明一实施例的第一组眼底照片示意图；
图4为本发明一实施例的第二组眼底照片示意图；图5为本发明一实施例的两组眼底照片中根据匹配的特征点计算单应矩阵的示意图；图6为本发明一实施例的第一组眼底照片中第一区域示意图；图7为本发明一实施例的第二组眼底照片中与第一组眼底照片第一区域相对应的第二区域示意图；图8为本发明一实施例的第一组眼底照片中第一区域中混叠融合部分的示意图；图9为本发明一实施例的眼底图像处理系统的处理过程示意图。
具体实施方式
18.为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护范围。
19.除非另外具体说明，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等既不限定所提及的形状、数字、步骤、动作、操作、构件、原件和/或它们的组，也不排除出现或加入一个或多个其他不同的形状、数字、步骤、动作、操作、构件、原件和/或它们的组。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示技术特征的数量与顺序。
20.如图1至图9所示，本发明提供一种眼底图像处理系统100，包括：多组照明光源110、拍照单元120、图像处理单元130；其中，多组照明光源110间隔分布且在不同时间段依次进行启闭；拍照单元120，用于对不同组照明光源下的眼底进行拍照，以得到多组眼底照片，每组眼底照片上具有每组照明光源产生的杂散光和反射光对应的第一区域；图像处理单元130，用于检测多组眼底照片的特征点，并基于特征点对多组眼底照片进行匹配，以获得各组眼底照片之间的单应矩阵；还用于获取其中一组眼底照片上第一区域的位置，以及根据单应矩阵获取其他组眼底照片与第一区域对应的第二区域位置，将第二区域的像素值覆盖至第一区域，以得到目标眼底照片。
21.本实施例通过对多组照明光源不同时间不同空间频率的调制，使得照明光能量分散，再基于图像处理单元将调制后所得的多组眼底照片进行合成，以消除角膜反射光以及运动模糊对眼底成像质量的影响，无需额外在眼底照相设备中增加光学元件。
22.具体的，本实施例为了对眼底的不同区域进行成像，每组照明光源包括多个子光源，多个子光源呈等间隔环形分布，使其在照明空间分布上相隔开，以得到具有不同反射光区域的眼底照片。
23.进一步的，每组照明光源包括多个子光源时，不同组的多个子光源交替间隔设置，以将各组照明光源进行不同空间的调制。
24.在一些优选实施例中，多组照明光源的数量为两组，每组照明光源均包括三个子光源，如图2所示，将照明光源110空间排布分为两组，每组均包括三个子光源，圆圈表示第一组照明光源111，方块表示第二组照明光源112。当然，还可以设置三组、四组或更多组的
照明光源，以及每组照明光源还包括其他数目的子光源，不同组的多个子光源交替间隔排布。
25.本实施例通过将多组照明光源在照明空间上间隔分布且在不同时间段依次启闭，这样，在不同光源照射下，得到的多组眼底照片上形成的杂散光和反射光区域位置不同，便于对不同组眼底照片合成处理，以消除杂散光和反射光影响。
26.需要说明的是，本实施例的照明光源包括可见光光源和红外光源，也就是说，照明光源同时也可以选择红外光源，以起到人眼瞳孔自动对准和工作距定位的作用，且红外光源对瞳孔收缩及眼球（避光）运动影响非常小，可以在黑暗情况下，无需散瞳获取眼底照片。
27.进一步的，本实施例将多组照明光源的总照明时间控制在0.1秒以内，即本实施例的照明时间短，成像速度较快，采用高速摄像，以避免拍照时间太长眼球运动使图像模糊，提高帧率来消除运动模糊，并确保不同照明光源下获取的眼底照片相一致，增加图像的清晰度。
28.更进一步的，如图1所示，本实施例还包括与多组照明光源110相对应的多组调制开关140，每组调制开关的一端与每组照明光源连接，另一端与拍照单元连接，拍照单元还与图像处理单元连接，其中，各组调制开关用于调制对应组照明光源110的启闭，并同步触发拍照单元120在不同组照明光源下进行拍照。
29.需要说明的是，由于拍照时眼球会出现运动，眼底图像也会在不同组眼底照片上出现位置变化，这就需要对齐各组眼底照片的位置，可基于各眼底照片上的特征点进行对齐，具体过程可由图像处理单元实现。
30.具体的，图像处理单元包括：特征点检测模块、匹配模块、位置获取模块以及合成模块；其中，特征点检测模块，用于对多组眼底照片的特征点进行检测；匹配模块，用于对各个眼底照片的特征点进行匹配，并根据匹配的点计算出各个眼底照片之间的单应矩阵；位置获取模块，用于获取其中一组眼底照片的第一区域的第一坐标，以及根据单应矩阵获取其他组眼底照片中与所述第一区域第一坐标对应的第二坐标；合成模块，用于对第二坐标的像素值进行双线性插值处理，并将处理后的第二坐标的像素值与第一坐标的像素值按照权重进行混叠，以将其他组眼底照片的第二区域像素值覆盖至所述第一区域上，以消除杂散光和反射光得到目标眼底照片。
31.应当理解的是，受照明光源反射光的影响，在每组眼底照片上均形成有杂散光和发射光对应的第一区域，为了获取更准确的目标眼底照片，该第一区域可包括杂散光和反射光分布区域以及该杂散光和反射光分布区域的相邻区域（如图6所示，方块为第一区域，方块中的圆圈代表杂散光和反射光分布区域，圆圈以外方块以内的区域为相邻区域），也就是说，对该杂散光和反射光分布区域进行了扩大处理，将扩大后形成的整个区域作为第一区域，而第一区域的四个顶点作为第一坐标。
32.需要说明的是，由于杂散光及照明角膜反射光在照片坐标系中是固定位置的，因此在选取特征点时可排除该组照明光源所产生的杂散光及照明角膜反射光区域的特征点，并且，特征点应选取平移旋转不变性及缩放不变性的特征点算法，例如，该特征点查找算法有orb算法或sift算法等多种算法。
33.进一步需要说明的是，本实施例的匹配模块可采用knn算法或ransac算法对所述特征点进行匹配，通常的匹配算法是ransac。
34.具体地，将其中一组眼底照片定义为第一组眼底照片时，通过第一组眼底照片与其他组眼底照片的单应矩阵可以获得第一组眼底照片的四个顶点在其他组眼底照片上的对应位置，即获取其他组眼底照片上与第一组眼底照片上的杂散光和反射光区域的对应区域，将这些高质量的眼底照片的对应区域覆盖至第一组眼底照片上，以获得目标眼底照片。
35.应该理解的是，本实施例的目标眼底照片实质上仍为第一组眼底照片，仅是将其他组眼底照片与第一组眼底照片产生杂散光和发射光的位置的对应区域融合至第一组眼底照片上，以融合第一组眼底照片产生杂散光和反射光的区域，即相当于将其他组眼底照片的第二区域替换第一组眼底照片的第一区域，以实现多组眼底照片的合成，进而消除第一组眼底照片产生的杂散光和角膜反射光。
36.更进一步的，本实施例的图像处理单元还包括第一权重计算模块、第二权重计算模块以及第三权重计算模块中的至少一者；其中，第一权重计算模块，用于根据其中一组眼底照片的第一区域像素值与其他组眼底照片第二区域的像素值相减除以最大最小值之差，以获取混叠时的权重，第二权重计算模块，用于根据眼底照片的每个像素亮度减去预设标定板成像的亮度，以获得混叠时的权重。第三权重计算模块，用于根据其中一组眼底照片的第一区域中的相邻区域像素亮度值与其他组眼底照片第二区域中的相邻区域像素亮度值的比值，以获取混叠时的权重。也就是说，对于权重的计算方法不作具体限定，可以对相机进行预先标定，也可以根据点光源的特性采用其他方式获得混叠权重，可以采用上述任一种方法计算混叠权重，也可以将上述方法混合使用得到混叠时的权重。
37.具体地，第二权重计算模块，是对相机进行预先标定，包括：相机前方放置均匀亮度的标定板，调制照明光源，并同步拍摄多组眼底照片，用于明确杂散光或角膜反射光在照片上的分布情况，并能根据每个像素的杂散光的亮度分布情况减去正常标定板成像的亮度，获得此像素与高质量像素进行混叠时的权重。
38.进一步地，第一权重计算模块获得权重的过程，包括：采用第一组眼底照片中的第一区域的像素值与第二组眼底照片所得对应的第二区域的像素值相减除以最大最小值之差，也可获得对应的权重。
39.需要说明的是，具有反射光与杂散光的第一组眼底照片在被融合处理时，需要考虑被融合组眼底照片的光照条件和融合组照片的光照条件是不一致的，因此会产生最终图像像补丁一样凸显示出来，因此，还需要估算被融合区域周边像素的曝光强度信息，以及需融合区域周边像素的曝光强度信息，以此作为融合的权重。
40.由此，alpha混叠的权重还可采用如下算法完成，即第三权重计算模块获取权重的过程，包括：将以第一组眼底照片中紧邻产生杂散光和反射光分布区域周围的相邻区域像素（如图8阴影处），以及与第二组眼底照片对应该相邻区域的像素亮度的比值来估算其亮度之比，然后，将第二组眼底照片对应位置的亮度调整成与第一组眼底照片亮度一致，具体关系式如下：w(x,y) = sigma(i1(x,y) / i2(x1,y1))/n式中：w(x,y)是指在x，y坐标上的像素的权重系数；n是指相邻区域像素的个数；i1(x,y)是指其中一组被融合的眼底照片在第一区域（被融合区域）第一坐标x,y的像素亮度；
i2(x1,y1)是指其他组融合的眼底照片对应第二区域（融合区域）的第二坐标x1,y1的像素亮度。
41.本实施例采用的alpha融合可以根据标定情况，赋予每个像素不同的权重，经过这种处理，可以将融合的其他组眼底照片亮度信息与被融合的第一组眼底照片亮度一致，不会产生补丁现象。
42.本实施例通过单应矩阵可以获得其他组眼底照片的四个顶点的对应位置，这些眼底照片由于没有其中一组眼底照明产生的杂散光和角膜反射光，可以认为是高质量的眼底成像像素。将这些高质量的图像区域通过warp仿射算法，并使用alpha融合，合成目标眼底照片，可以消除其中一组眼底照片产生的杂散光和角膜反射光，进一步提高成像质量。
43.更进一步地，本实施例的拍照单元可以为相机，图像处理单元可以采用硬件的形式实现，也可以采用软件功能单元的形式实现，例如，图像处理单元可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置(或诸如cpu 或mpu 等的设备) 的计算机。
44.需要说明的是，在本发明所描述的系统实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
45.下面将结合具体实施例进一步说明眼底图像处理系统的结构及处理方法：实施例 1本示例的眼底图像处理系统包括两组照明光源，每组包括三个子光源，多组调制开关，拍照单元以及图像处理单元，如图1至图9所示。
46.具体的，如图2所示，照明光源空间排布分为两组，圆圈表示为第一组照明光源111的排布情况，方块表示为第二组照明光源112的排布情况，将两组照明光源在不同时间段上进行调制时，先方块表示的第二组照明光源112关闭，开启圆圈表示的第一组照明光源111，并同步触发拍照单元拍照，保证拍照单元能同步获得第一组照明光源下的第一组眼底照片a，如图3所示。然后关闭第一组照明光源111，开启第二组照明光源112，并同步触发拍照单元拍照，保证拍照单元能同步获得第二组照明光源下的第二组眼底照片b，如图4所示。
47.具体的，如图3所示，第一组眼底照片a中，第一组照明光源111产生以圆形表示对应位置的角膜反射光（图中的圆形只表示反射光的位置，不是反射光的形状）。
48.进一步的，如图4所示，第二组眼底照片b中，第二组照明光源112产生以方形表示对应位置的角膜反射光（图中的方形只表示反射光的位置，不是反射光的形状）。
49.需要说明的是，由于眼球运动，会导致眼底成像位置不同，需要计算两个眼底照片之间的像素映射，具体采用图像处理单元进行计算，以将两组眼底照片合成为目标眼底照片。
50.具体的，基于图像处理单元分别对上述第一组眼底照片a和第二组眼底照片b进行特征点检测，再将两组眼底照片的特征点进行匹配，根据匹配的特征点计算两组眼底照片的单应矩阵，如图5所示。
51.更进一步的，在第一组眼底照片a中，将事先标定的角膜反射光的位置稍微扩大一
下形成第一区域，然后取其四个顶点的在第一组眼底照片中的坐标位置，即第一坐标，请参考图6所示，图中第一组眼底照片a中三个角膜反射点外的方框为第一区域，第一区域对应的四个顶点为第一坐标，即第一组照明光源111包括的三个子光源对应于第一组眼底照片上的三个第一区域，再根据单应矩阵对第一区域的四个顶点坐标进行运算，可得到第二组眼底照片b中与第一区域对应的第二区域四个顶点的位置，即第二坐标，第二组眼底照片b的第二区域像素正好对应第一组眼底照片a中被反射灯光遮掩的第一区域图像内容，如图7中箭头所示区域，即箭头所示的三个较大方块为三个第二区域。
52.应当理解的是，只要将第二组眼底照片b上述形成的第二区域的像素内容通过仿射变换覆盖至第一组眼底照片的第一区域上，就可以将第一组眼底照片a中角膜反射的高亮区域消除掉，即将图7中第二组眼底照片上箭头所指的三个第二区域覆盖至图6中第一组眼底照片上的三个第一区域。
53.具体的，消除分两个部分，首先取第一组眼底照片a的第一区域中逐个获取像素的第一坐标，通过单应矩阵计算该第一坐标在第二组眼底照片b对应的第二坐标，该坐标可能含小数部分，因此，需要将第二组眼底照片b对应第二坐标周围的4个像素值进行双线性插值，才能将结果对应到第一组眼底照片a的该像素值中去。
54.需要说明的是，由于双线性插值的结果不能直接覆盖第一组眼底照片a中对应像素的值，否则会产生拼缝现象，由此，本实施例还对上述双线性插值采用alpha混叠，以避免产生拼缝现象以及亮度不一致现象，其中，拼缝现象，可以根据距离配接矩形的远近从一组眼底照片的完全权重1过渡到另一组眼底照片的完全权重。混叠的权重可以来自于通过对相机标定的标定结果，当然，也可以根据点光源的特性采用其他方式获得多种混叠权重，例如，可采用第一组眼底照片a中的区域的像素值与第二组眼底照片b所得的对应位置的像素值相减除以最大最小值之差，也可获得对应的权重。当然，还可以采用其他方法获取混叠权重。
55.具体地，将第一组眼底照片a产生杂散光和反射光区域的像素和第二组眼底照片b对应区域没有杂散反射的像素进行alpha混叠，覆盖至第一组眼底照片a中，以得到目标眼底照片。
56.其中alpha混叠的权重可采用如下算法完成，将以第一组眼底照片a紧邻产生杂散光和反射光分布区域外的相邻区域的像素（如图8阴影处），以及与第二组眼底照片b对应上述相邻区域的像素亮度的比值来估算其亮度之比，然后，将第二组眼底照片b对应位置的亮度调整成与第一组眼底照片a的亮度一致，从而得到目标眼底照片，即可消除第一组眼底照片a中角膜反射导致的高亮区及杂散光。
57.本发明提供一种眼底图像处理系统，具有以下有益效果：第一、本发明通过设置间隔分布的多组照明光源以进行不同时间不同空间频率的调制，使得照明光能量分散，杂散光被消除或减弱；第二、本发明的系统通过单应矩阵可保证合成的目标眼底照片的图像位置一致不会产生畸变；第三、本发明基于图像处理单元采用高质量像素与低质量像素按照其质量权重进行混叠融合，提升图像的质量，消除照明光源的角膜反射，无需额外添加光学元件；第四、本发明的系统总拍照时间短，成像速率高，可消除运动模糊。
58.可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。