一种基于深度学习的医学图像增强方法及系统与流程

1.本发明属于图像处理领域，尤其涉及一种基于深度学习的医学图像增强方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.当图像对比度不理想时，可增强其对比度扩大像素的动态范围以呈现细节。对比于传统方法，基于卷积神经网络的一些方法极大地改善了图像增强的质量。现有的方法大多是有监督的学习，对于一张原始图像和一张目标图像，学习它们之间的映射关系，来得到增强后的图像。但是这样的数据集比较少，很多都是人为调整的。
4.许多医学图像也是如此，需要通过对比度增强来呈现感兴趣区域的视觉信息，以方便疾病诊断等其它后续工作，能更好地挖掘出尽可能多的决策信息。大多数对比度增强方法是不可逆的，会导致图像在增强后发生永久性的变化。当对比度增强的图像不能满足应用需求时，无法完整地恢复出原始图像。通过使用可逆数据隐藏(rdh)技术将恢复原始图像所需的所有信息隐藏在增强的图像中，诸如认证信息之类的其他数据也可以隐藏在增强图像中。而传统的医学图像增强算法具有噪声和模糊性的缺点，


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种基于深度学习的医学图像增强方法及系统，其能够实现图像增强。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种基于深度学习的医学图像增强方法。
8.一种基于深度学习的医学图像增强方法，包括：
9.获取原始医学图像，将原始医学图像分解为原始反射图像和原始入射图像；
10.将原始入射图像经过直方化处理，得到原始入射图像的灰度直方图矩阵；
11.基于原始入射图像的灰度直方图矩阵，采用训练好的enhancenet卷积神经网络，得到增强后的入射图像；
12.将原始反射图像与增强后的入射图像相乘，得到增强后的医学图像。
13.本发明的第二个方面提供一种基于深度学习的医学图像增强系统。
14.一种基于深度学习的医学图像增强系统，包括：
15.图像分解模块，其被配置为：获取原始医学图像，将原始医学图像分解为原始反射图像和原始入射图像；
16.处理模块，其被配置为：将原始入射图像经过直方化处理，得到原始入射图像的灰度直方图矩阵；
17.增强模块，其被配置为：基于原始入射图像的灰度直方图矩阵，采用训练好的
enhancenet卷积神经网络，得到增强后的入射图像；
18.输出模块，其被配置为：将原始反射图像与增强后的入射图像相乘，得到增强后的医学图像。
19.本发明的第三个方面提供一种计算机可读存储介质。
20.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于深度学习的医学图像增强方法中的步骤。
21.本发明的第四个方面提供一种计算机设备。
22.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于深度学习的医学图像增强方法中的步骤。
23.与现有技术相比，本发明的有益效果是：
24.本发明能够将医学图像进行增强，优化后的图像明显优于未经优化的图像数据。
25.相较于传统的增强手段，本发明提出的方法计算复杂度低、处理效率高。
26.本发明提出的方法有较高的精确率、召回率和准确率。
附图说明
27.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
28.图1是本发明示出的基于深度学习的医学图像增强方法的流程图。
具体实施方式
29.下面结合附图与实施例对本发明作进一步说明。
30.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
31.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
32.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
33.实施例一
34.如图1所示，本实施例提供了一种基于深度学习的医学图像增强方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
35.获取原始医学图像，将原始医学图像分解为原始反射图像和原始入射图像；
36.将原始入射图像经过直方化处理，得到原始入射图像的灰度直方图矩阵；
37.基于原始入射图像的灰度直方图矩阵，采用训练好的enhancenet卷积神经网络，得到增强后的入射图像；
38.将原始反射图像与增强后的入射图像相乘，得到增强后的医学图像。
39.具体地，本实施例可以采用以下步骤实现，如图1所示：
40.步骤1：将原始图像s(x,y)可以分解为两个不同的图像：反射图像r(x,y)和入射图像(也有人称之为亮度图像)l(x,y)。
41.我们看到的图像s(x,y)，实际上是由入射图像l(x,y)与反射图像r(x,y)结合得到。复原的目标就是从s(x,y)中分离出r(x,y)。
42.入射光l(x,y)通常在照射面上的强度变化比较缓慢(具体来说，图像上各个像素位置的入射光强度差异不会很大)，而反射图像r(x,y)由于跟物体性质关系密切，它的变化会比较陡峭。因此，入射图像l(x,y)是一种低频量，而反射图像r(x,y)是高频量。这样，本实施例就可以通过滤波的方法来恢复出。
43.最基础的解决方法：
44.r＝log s-log(f*s)
45.其中，f*s是用于获取低频量(也就是入射光)，通常f是高斯函数，上式表示对看到的图像s(x,y)进行高斯模糊，这样就得到了低频量。通过logs减去log(f*s)就能滤除低频量。
46.步骤2：将图像l(x,y)的灰度直方图表示为矩阵，将矩阵进行归一化处理，得到归一化后的灰度直方图t(x,y)。
47.步骤3：将归一化的直方图数据t(x,y)，输入改进的enhancenet卷积神经网络，得到数据g(x,y)。
48.具体地，网络结构采用全卷积的方式，使得输入图像可以是任意尺寸。受到vgg网络的启发，卷积核全部采用3*3的尺寸，在保持一定量参数的情况下构建更深的网络。网络的输入是低分辨率图像，在网络末端采用最近邻的方法上采样达到高分辨率图像的尺寸，这样有利于降低计算复杂度，参数的初始化采用xavier，网络的学习目标是原始t(x,y)直方图数据与清晰的t(x,y)直方图数据。将进行提前训练，然后训练结束后获得训练好的网络模型。
49.与原始enhancenet网络相比，新的改进网络对输入图像进行小尺度连续下采样，
使网络能够了解大尺度的光照分布情况，这给网络带来了自适应调节能力。利用大尺度光照信息，进行上采样重建局部光照分布。
50.为了实现光照的分层调整，即在保持全局光照一致性的同时调整局部光照分布的多样性，提出了一种多尺度连接方法。如果有m个上采样块，每个块都提取一个c通道的特征图，通过最近邻插值在不同尺度上调整这些特征的大小到最终的尺度，并将它们连接到c
×
m通道的特征图。然后，通过1
×
1卷积层，将级联特征还原为c个通道，最后使用3
×
3卷积层重建光照图。
51.一个下采样块由一个步长为2的conv relu组成。在上采样块中，使用了resize-convolutional(由一个最近邻插值操作，一个步长为1的conv relu组成)。enhance-net的损失函数由两部分组成：重建损失函数和光照平滑损失函数。
52.其中重建损失：
[0053][0054]
对此公式的理解：其中λ
ij
是经验值常数，圆圈是复合函数，ri为反射图像，ij为入射图像，sj为原始图像。
[0055]
首先，将以下四部分的绝对值按权重累加，得到一对训练图像的重建损失：
[0056]
①
低光照图的反射图和低光照图的光照图的合成图像与低光照的原始图像之差；
[0057]
②
低光照图的反射图和正常光照图的光照图的合成图像与正常光照的原始图像之差；
[0058]
③
正常光照图的反射图和低光照图的光照图的合成图像与低光照的原始图像之差；
[0059]
④
正常光照图的反射图和正常光照图的光照图的合成图像与正常光照的原始图像之差；
[0060]
最后，1-范式用来求全部训练图像的重建损失。
[0061]
光照平滑损失函数：
[0062][0063]
其中为水平和垂直方向上的梯度，λg′
为经验值常数，ri为反射图像，ii为入射图像。
[0064]
在这种信息的架构中，每层的输入由所有之前层的特征映射组成，其输出将传输给每个后续层，这些热证映射通过深度级联聚合，提升了神经网络的深度。
[0065]
步骤4：将经过网络的直方图数据g(x,y)进行还原，复原出经过增强优化后的光照数据g(x,y)，然后与原始图像的反射图像r(x,y)，进行乘积运算，获取最终优化后的图像数据s(x,y)。
[0066]
经过实验得知，在使用普通pc主机上进行测试，该方法能够实现医学图像的增强，优化后的图像明显优于未经优化的图像数据。相较于传统的增强手段，计算复杂度低，处理效率高。此外，本实施例所提的方法有较高的精确率、召回率和准确率。
[0067]
实施例二
[0068]
本实施例提供了一种基于深度学习的医学图像增强系统。
[0069]
一种基于深度学习的医学图像增强系统，包括：
[0070]
图像分解模块，其被配置为：获取原始医学图像，将原始医学图像分解为原始反射图像和原始入射图像；
[0071]
处理模块，其被配置为：将原始入射图像经过直方化处理，得到原始入射图像的灰度直方图矩阵；
[0072]
增强模块，其被配置为：基于原始入射图像的灰度直方图矩阵，采用训练好的enhancenet卷积神经网络，得到增强后的入射图像；
[0073]
输出模块，其被配置为：将原始反射图像与增强后的入射图像相乘，得到增强后的医学图像。
[0074]
此处需要说明的是，上述图像分解模块、处理模块、增强模块和输出模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0075]
实施例三
[0076]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于深度学习的医学图像增强方法中的步骤。
[0077]
实施例四
[0078]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于深度学习的医学图像增强方法中的步骤。
[0079]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0080]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0081]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0082]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0083]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0084]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。