一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种具有快速处理图像功能的眼底拍摄系统的制作方法

2021-10-24 11:51:00 来源:中国专利 TAG:
1.本发明涉及眼底照相领域,具体涉及一种具有快速处理图像功能的眼底拍摄系统。
背景技术
::2.视网膜眼底图像是观察视网膜和诊断眼底疾病的一种重要影像手段。很多的眼底疾病,比如青光眼,年龄性黄斑退化,糖尿病性视网膜病变等都会导致不可挽回的视力损伤甚至失明。但是受限于光学镜头分辨率不足、存在电子系统噪声、图像采集环境不理想等状况,因此所采集的眼底图像数据可能存在大量噪声干扰。近年来,随着基于神经网络的深度学习算法的发展,深度学习模型在医疗影像领域,从高级识别,语义分割到低级去噪,超分辨率,去模糊,修复和恢复来自压缩图像的原始图像得到了广泛的应用。3.例如,北京工业大学在专利cn104835157a《基于改进pde图像修补的眼底图像视杯自动分割方法》公布了一种利用形态学增强、中值滤波去噪的方法,实现了图像的去噪增强调节,但是中值滤波后图像细节损失,而且未给出在移动端适用的解决方案;电子科技大学在专利cn109919873a《一种基于图像分解的眼底图像增强方法》中通过对颜色通道进行图像分解,获得结构层图像和噪声层图像;对结构层图像进行图像分解,获得基底层图像和细节层图像;从基底层图像中提取亮度通道进行光照矫正;最后将矫正后的基底层图像与细节层图像进行加权融合,获得去除噪声增强的眼底图像;但是由于通道分解只能有限去除噪声,且未给出在移动端适用的解决方案。4.由于眼底图像的噪声的多样性以及受移动端性能的限制,基于移动端眼底图像的去噪增强依然是一个很具有挑战性的任务,基于目前的深度学习模型仍然存在时效性不高、图像模糊、以及图像处理的时间过长的问题。技术实现要素:5.鉴于上述问题,有必要提供一种具有快速处理图像功能的眼底拍摄系统,以解决上述技术问题。6.有鉴于此,本发明提供了一种具有快速处理图像功能的眼底拍摄系统,至少包括:成像模块,所述成像模块用以获取眼底初始图像;自动调焦模块,所述自动调焦模块用以调节成像模块的焦距;图像处理模块,所述图像处理模块用以对所述眼底初始图像进行处理;所述图像处理模块包括处理器,被配置为对所述眼底初始图像执行图像处理方法;以及图像显示模块,所述图像显示模块用以显示经图像处理模块处理后的图像。7.所述图像处理方法包括以下步骤:s1:获取初始图像数据,所述初始图像数据具有第一图像分辨率;s2:将所述初始图像数据通过第一图像处理模型进行训练,获得具有第二图像分辨率的图像数据;所述第二图像分辨率大于第一图像分辨率;其中,所述第一图像处理模型至少包括:特征提取层:所述特征提取层用于提取初始图像的特征信息,获得第一特征图;所述初始图像的通道数为n1;所述第一特征图的通道数为n2;n2>n1;像素重排层:所述像素重排层用于将提取到的特征进行像素重新排列,像素重新排列所使用的公式为:;ps为重新排列元素的周期性改组运算符;r为上采样的倍数;x,y为图像像素;c为通道数,为重排后的x的取值;为重排后的y的取值;、为求余函数;c=n2;s3:将上述具有第二图像分辨率的图像数据通过第二图像处理模型进行训练,获得处理后的图像数据;所述第二图像处理模型为非局部均值算法。优选地,所述的处理过程还包括s4步骤:将所述处理后的图像数据再次经过第三图像处理模型进行处理,所述第三图像处理模型为:;最终图像数据计算方法为:;其中,k为锐化尺度因子,k=5。8.所述第二图像处理模型本发明的第二个方面提供了一种快速处理图像系统,所述快速处理图像系统包括:图像获取单元,所述图像获取单元用以获取初始图像数据,所述初始图像数据具有第一图像分辨率;第一图像处理单元,所述第一图像处理单元用以将所述初始图像数据通过第一图像处理模型进行训练,获得具有第二图像分辨率的图像数据;所述第二图像分辨率大于第一图像分辨率;其中,所述第一图像处理模型至少包括:特征提取层:所述特征提取层用于提取初始图像的特征信息,获得第一特征图;所述初始图像的通道数为n1;所述第一特征图的通道数为n2;n2>n1;像素重排层:所述像素重排层用于将提取到的特征进行像素重新排列,像素重新排列所使用的公式为:;ps为重新排列元素的周期性改组运算符;r为上采样的倍数;x,y为图像像素;c为通道数,为重排后的x的取值;为重排后的y的取值;、为求余函数;c=n2;第二图像处理单元,所述第二图像处理单元用以将具有第二图像分辨率的图像数据通过第二图像处理模型进行训练,获得处理后的图像数据;所述第二图像处理模型为非局部均值算法;对于非局部均值算法中,处理后的图像数据像素点x1,y1的计算过程如下:;其中,权重w((x1,y1),(x2,y2))表示像素点(x1,y1)和(x2,y2)间的相似度,它的值由以(x1,y1)和(x2,y2)为中心的矩形邻域v(x1,y1),v(x2,y2)间的距离‖v(x1,y1)‑v(x2,y2)‖2决定:;其中,z(x)为归一化系数,h为平滑系数。9.本发明的第三个方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被存储单元执行上述快速处理图像系统。10.本发明根据第四个方面提供了一种计算机设备,包括存储器、存储单元及存储在存储器上并可在存储单元上运行的计算机程序,所述计算机程序被存储单元执行上述快速处理图像系统。11.相比较于现有技术中,本技术的技术方案尤其适用于移动端的眼底拍摄系统,在现有的一些眼底拍摄系统中,若要兼具图像处理能力快,基本上需要集合pc端进行处理,对于本技术的方案适用于移动端降低了对处理器的要求,而且移动端产品具有便携、重量轻、易于携带等优点。在移动端的眼底拍摄系统中具有较快的图像处理能力,图像处理的时间明显降低,能够实现在即时拍摄即时显示的效果,节省了使用者的时间。附图说明12.图1为具有快速处理图像功能的眼底拍摄系统的结构示意图。13.图2为眼底初始图像(局部放大图)。14.图3为眼底初始图像(局部放大图)仅经过s2步骤处理后的效果图。15.图4为眼底初始图像(局部放大图)经过s2和s3步骤处理后的效果图。16.图5为眼底初始图像(局部放大图)经过预先处理、s2、s3和s4步骤处理后的效果图。17.图6为眼底初始图像(整图)经过预先处理、s2、s3和s4步骤处理后的效果图(整图中的框细节放大即为图2‑图5)。[0018]1‑眼底拍摄系统;11‑自动调焦模块;12‑成像模块;13‑图像处理模块;14‑图像显示模块。具体实施方式[0019]为了使本发明的技术方案更加清楚,以下结合附图,对本发明的技术方案进一步详细的说明。应当理解,此处所描述的具体实施例仅用以解释本发明并不用于限定本发明。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。[0020]在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。[0021]应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。[0022]值得说明本技术中,具有快速处理图像功能的眼底拍摄系统可以是指眼底照相机、共焦激光造影仪、光学相干断层扫描仪等能够拍摄眼底的图像的装置。现有技术中,对于能够拍摄眼底的移动端装置通常去噪效果不佳,当能够具有较好的去噪效果时,其图像处理的时间较长,往往使用该装置系统的为眼科医生,当图像处理时间过长时,极大的降低了医生的工作效率,本发明旨在提供一种能够在提升图像质量的同时,又能够降低图像处理的时间,进而提升了医生的工作效率。[0023]如图1所示,图1是本公开根据一示例性实施例示出的一种具有快速处理图像功能的眼底拍摄系统,至少包括:成像模块,所述成像模块用以获取眼底初始图像;自动调焦模块,所述自动调焦模块用以调节成像模块的焦距;图像处理模块,所述图像处理模块用以对所述眼底初始图像进行处理;所述图像处理模块包括处理器,被配置为对所述眼底初始图像执行图像处理方法;以及图像显示模块,所述图像显示模块用以显示经图像处理模块处理后的图像。[0024]成像模块本技术中,所述的成像模块用以获取眼底初始图像;对于成像模块并没有过多的限制,可以是与系统匹配的相机,也可以是透镜系统,例如透镜系统包括物镜、扫描透镜、扫描振镜、像镜、针孔、成像探测组件、与成像探测组件相连接的模数转换模块以及激光源,激光源发出的光经扫描振镜、扫描透镜、物镜后进入眼底;从所述眼底出射的光经所述物镜、扫描透镜、扫描振镜、像镜、针孔后进入所述成像探测组件,模数转换模块对成像探测组件进行采样,生成眼底初始图像。[0025]自动调焦模块自动调焦模块,所述自动调焦模块用以调节成像模块的焦距;本技术中,所述的自动调焦模块包括调焦机构和驱动机构,驱动机构用以驱动调焦机构进行对焦。[0026]在一种优选的实施方式中,自动调焦模块被配置为以下自动对焦方法,包括如下步骤:s1:通过成像模块获取眼底初始图像,并计算眼底初始图像的质量评价系数。其中,质量评价系数的计算方法可以是β=∑x,y(|f(x,y)‑f(x,y‑1)*f(x,y)‑f(x 1,y)。[0027]s2:获取标准质量评价系数βstable,并计算判据r=fabs(βcur‑βstable)/βstable。所述标准质量评价系数βstable可以是上次对焦后所获取图像的质量评价系数。[0028]s3:如果判据r不小于预设阈值,则启动自动调焦。所述预设阈值为0.1。[0029]具体内容可参考cn111358425a。如此设置可以自动调节焦距,以获取质量较佳的眼底初始图像。[0030]图像处理模块图像处理模块,所述图像处理模块用以对所述眼底初始图像进行处理;所述图像处理模块包括处理器,被配置为对所述眼底初始图像执行图像处理方法。[0031]在一种优选的实施方式中,图像处理方法包括以下步骤:s1:获取初始图像数据,所述初始图像数据具有第一图像分辨率;本技术中,所使用的初始图像数据为含有噪音的图像。[0032]对于获取的初始图像数据具有第一图像分辨率;第一图像分辨率可以列举的有:256×256、256×480、480×480、640×640、480×640、1024×1024、1024×2048、2048×2048、2160×2160、4096×4096、4096×2160等。[0033]s2:将所述初始图像数据通过第一图像处理模型进行训练,获得具有第二图像分辨率的图像数据;所述第二图像分辨率大于第一图像分辨率。[0034]值得说明的是,对于第一图像处理模型的作用是将初始图像数据由第一图像分辨率处理成第二图像分辨率,凡是能起到该作用的处理方法、算法等方式均与本技术的技术特征构成等同。[0035]在一种优选的实施方式中,第一图像处理模型至少包括:特征提取层:所述特征提取层用于提取初始图像的特征信息,获得第一特征图;所述初始图像的通道数为n1;所述第一特征图的通道数为n2;n2>n1;可以理解的是,获取初始图像,初始图像为采用眼底照相机拍摄的眼底图像,初始图像的像素为2048*2048,初始图像的通道数为1;使用激活函数为tanh函数;卷积核为7×7;卷积后输出卷积输出7×s2特征图像,s为步长。通道数越多,说明能够描述一个像素点的特征数越多。[0036]像素重排层:所述像素重排层用于将提取到的特征进行像素重新排列,像素重新排列所使用的公式为:;ps为重新排列元素的周期性改组运算符;r为上采样的倍数;x,y为图像像素;c为通道数,为重排后的x的取值;为重排后的y的取值;、为求余函数;对于本技术中,c=n2。可以理解的是,训练前先将图像置于rgb颜色空间,卷积使用7×7的卷积核共7×s2个,卷积输出3×s2特征图像,然后通过像素重新排列还原图像,获得具有第二图像分辨率的图像。[0037]在一种更优选的实施方式中,所述的初始图像数据预先经过一定的处理,处理过程如下:(1)计算裁剪尺寸,确保具有第一图像分辨率的图像在采样时能被整除;例如采样倍数为2时,需要裁剪的crop_size为2*n,n可以取值为1、2、3…n。[0038](2)对具有第一图像分辨率的图像利用crop_size进行中心有效裁剪,然后再选择双线性采样或者双三次采样进行下采样变换;(3)对目标图像利用crop_size进行中心有效裁剪;(4)对训练数据进行水平/垂直翻转扩充样本;(5)对训练数据进行归一化处理为[0,1]。[0039]经过上述的图像处理后,能够提升图像的精度,为后续的图像处理做好准备。[0040]s3:将上述具有第二图像分辨率的图像数据通过第二图像处理模型进行训练,获得处理后的图像数据;所述第二图像处理模型为非局部均值算法。[0041]对于非局部均值算法中,处理后的图像数据像素点x1,y1的计算过程如下:;其中,权重w((x1,y1),(x2,y2))表示像素点(x1,y1)和(x2,y2)间的相似度,它的值由以(x1,y1)和(x2,y2)为中心的矩形邻域v(x1,y1),v(x2,y2)间的距离‖v(x1,y1)‑v(x2,y2)‖2决定:;其中,z(x)为归一化系数,h为平滑系数。[0042]对于非局部均值算法的去噪效果较好,但是其处理时间较长,计算复杂度太高,程序耗时,例如在256*256的处理过程中耗时高达33.913968s,限制了其在移动端产品的使用。通过本技术的使用方法既可以提升图像的质量又可以达到缩短处理时间,使其在移动端具有广泛的应用前景。[0043]通过该眼底拍摄系统对眼底进行拍摄测试,当处理2048*2048分辨率的图像时,处理时间约为1.829s;具体的10次实验的数据如表1所示;说明本技术的技术方案具有较好的时效性,缩短了图像处理的时间,同时提升了图像处理的质量。[0044]表1实验处理数据在一种更优选的实施方式中,所述的处理过程还包括s4步骤:将所述处理后的图像数据再次经过第三图像处理模型进行处理,所述第三图像处理模型为:;最终图像数据计算方法为:;其中,k为锐化尺度因子,k=5。[0045]在处理方法中,通过引入第三图像处理模型进行处理,能够增强图像的细节信息,进一步增强图像质量。[0046]图6为眼底初始图像经过预先处理、s2、s3和s4步骤处理后的效果图,为了进一步展示处理的细节部分,截取图像中框中的部分进行放大处理,从原始图像中,图2可以看出,原始图像中,右侧的血管处有较多的毛刺,经过s2步骤处理后,右侧的血管处的毛刺明显减少,依次经过s3步骤处理后,图像的噪音明显减少,最后经过s4步骤处理后,血管部分得到了增强。因而,经过本技术的方案进行处理后能够明显增强图像质量。[0047]图像显示模块图像显示模块,所述图像显示模块用以显示经图像处理模块处理后的图像。[0048]所述图像显示模块用于显示处理后的图像,可以为平板电脑显示。[0049]优选地,所述快速处理图像的方法,包括以下步骤:s1:获取初始图像数据,所述初始图像数据具有第一图像分辨率;本技术中,所使用的初始图像数据为含有噪音的图像。[0050]对于获取的初始图像数据具有第一图像分辨率;第一图像分辨率可以列举的有:256×256、256×480、480×480、640×640、480×640、1024×1024、1024×2048、2048×2048、2160×2160、4096×4096、4096×2160等。[0051]s2:将所述初始图像数据通过第一图像处理模型进行训练,获得具有第二图像分辨率的图像数据;所述第二图像分辨率大于第一图像分辨率;值得说明的是,对于第一图像处理模型的作用是将初始图像数据由第一图像分辨率处理成第二图像分辨率,凡是能起到该作用的处理方法、算法等方式均与本技术的技术特征构成等同。[0052]在一种优选的实施方式中,第一图像处理模型至少包括:特征提取层:所述特征提取层用于提取初始图像的特征信息,获得第一特征图;所述初始图像的通道数为n1;所述第一特征图的通道数为n2;n2>n1;可以理解的是,获取初始图像,初始图像为采用眼底照相机拍摄的眼底图像,初始图像的像素为2048*2048,初始图像的通道数为1;使用激活函数为tanh函数;卷积核为7×7;卷积后输出卷积输出7×s2特征图像,s为步长。通道数越多,说明能够描述一个像素点的特征数越多。[0053]像素重排层:所述像素重排层用于将提取到的特征进行像素重新排列,像素重新排列所使用的公式为:;ps为重新排列元素的周期性改组运算符;r为上采样的倍数;x,y为图像像素;c为通道数,为重排后的x的取值;为重排后的y的取值;、为求余函数;c=n2;可以理解的是,训练前先将图像置于rgb颜色空间,卷积使用7×7的卷积核共7×s2个,卷积输出3×s2特征图像,然后通过像素重新排列还原图像,获得具有第二图像分辨率的图像。[0054]在一种更优选的实施方式中,所述的初始图像数据预先经过一定的处理,处理过程如下:(1)计算裁剪尺寸,确保具有第一图像分辨率的图像在采样时能被整除;例如,采样倍数为2时,需要裁剪的crop_size为2*n,n可以取值为1、2、3…n。[0055](2)对具有第一图像分辨率的图像利用crop_size进行中心有效裁剪,然后再选择双线性采样或者双三次采样进行下采样变换;(3)对目标图像利用crop_size进行中心有效裁剪;(4)对训练数据进行水平/垂直翻转扩充样本;(5)对训练数据进行归一化处理为[0,1]。[0056]经过上述的图像处理后,能够提升图像的质量,为后续的图像处理做好准备。[0057]s3:将上述具有第二图像分辨率的图像数据通过第二图像处理模型进行训练,获得处理后的图像数据;所述第二图像处理模型为非局部均值算法。[0058]对于非局部均值算法中,处理后的图像数据像素点x1,y1的计算过程如下:;其中,权重w((x1,y1),(x2,y2))表示像素点(x1,y1)和(x2,y2)间的相似度,它的值由以(x1,y1)和(x2,y2)为中心的矩形邻域v(x1,y1),v(x2,y2)间的距离‖v(x1,y1)‑v(x2,y2)‖2决定:;其中,z(x)为归一化系数,h为平滑系数。[0059]本发明的第二个方面提供了一种快速处理图像系统,所述快速处理图像系统包括:图像获取单元,所述图像获取单元用以获取初始图像数据,所述初始图像数据具有第一图像分辨率;第一图像处理单元,所述第一图像处理单元用以将所述初始图像数据通过第一图像处理模型进行训练,获得具有第二图像分辨率的图像数据;所述第二图像分辨率大于第一图像分辨率;第二图像处理单元,所述第二图像处理单元用以将具有第二图像分辨率的图像数据通过第二图像处理模型进行训练,获得处理后的图像数据;所述第二图像处理模型为非局部均值算法;对于非局部均值算法中,处理后的图像数据像素点x1,y1的计算过程如下:;其中,权重w((x1,y1),(x2,y2))表示像素点(x1,y1)和(x2,y2)间的相似度,它的值由以(x1,y1)和(x2,y2)为中心的矩形邻域v(x1,y1),v(x2,y2)间的距离‖v(x1,y1)‑v(x2,y2)‖2决定:;其中,z(x)为归一化系数,h为平滑系数。[0060]在一种优选的实施方式中,第一图像处理模型至少包括:特征提取层:所述特征提取层用于提取初始图像的特征信息,获得第一特征图;所述初始图像的通道数为n1;所述第一特征图的通道数为n2;n2>n1;像素重排层:所述像素重排层用于将提取到的特征进行像素重新排列,像素重新排列所使用的公式为:;ps为重新排列元素的周期性改组运算符;r为上采样的倍数;x,y为图像像素;c为通道数,为重排后的x的取值;为重排后的y的取值;、为求余函数;c=n2。[0061]本发明的第三个方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被存储单元执行上述快速处理图像系统。[0062]本发明根据第四个方面提供了一种计算机设备,包括存储器、存储单元及存储在存储器上并可在存储单元上运行的计算机程序,存储单元执行计算机程序时实现上述任一快速处理图像系统。[0063]相比较于现有技术中,本技术的技术方案尤其适用于移动端的眼底拍摄系统,在现有的一些眼底拍摄系统中,若要兼具图像处理能力快,基本上需要集合pc端进行处理,对于本技术的方案适用于移动端降低了对处理器的要求,而且移动端产品具有便携、重量轻、易于携带等优点。在移动端的眼底拍摄系统中具有较快的图像处理能力,图像处理的时间明显降低,能够实现在即时拍摄即时显示的效果,节省了使用者的时间。[0064]注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜