图像矫正方法、装置、显微镜图像的矫正方法及电子设备与流程

1.本公开涉及人工智能技术领域，具体而言，涉及一种图像矫正方法、图像矫正装置、显微镜图像的矫正方法、计算机可读介质及电子设备。


背景技术：

2.由于光源不均匀和相机成像原因，拍摄的图片经常会有明暗不均匀的现象，造成图像的亮度失真，同时由于光源冷暖色的差异，造成色彩失真。例如对于显微镜拍摄的图像，由于光源不均匀、冷暖色差异以及成像原因，拍摄得到的显微镜图像都会存在明暗不均匀以及色彩失真，如图1所示的显微镜图像，在其四角存在较深的阴影区域，同时整个图像的色彩较深，这对于显微镜图像的分析结果的准确性会有较大影响。
3.目前，为了对图像中的背景和阴影进行矫正，通常会采用相关的图像矫正工具进行图像矫正，例如采用basic工具等等，但是这种矫正方式需要多张同样拍摄条件的不同图像来估算背景场，不能对单一图像进行矫正。当然还有通过机器学习模型对存在明暗不均匀以及色彩失真的图像进行矫正的方式，但通常都是采用不存在明暗不均匀以及色彩失真的标准图像样本和对应的存在明暗不均匀以及色彩失真的图像样本对模型进行训练，然后通过训练后的模型对待处理的存在明暗不均匀以及色彩失真的图像进行处理，直接获取与其对应的矫正图像，但是由于训练样本的数量不够大导致训练后的模型的稳定性较差，进而导致矫正图像仍然存在明暗不均匀以及色彩失真的情况，矫正效果较差。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的实施例提供了一种图像矫正方法、图像矫正装置、显微镜图像的矫正方法、计算机可读介质及电子设备，进而至少在一定程度上可以同步实现图像的背景光场矫正和图像白平衡，进一步提高图像质量。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.根据本公开实施例的一个方面，提供了一种图像矫正方法，包括：获取一待矫正图像，通过光场预测模型对所述待矫正图像进行特征提取，以获取与所述待矫正图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息；根据所述三通道背景光场图像对所述待矫正图像进行矫正，以获取与所述待矫正图像对应的矫正图像；其中，所述光场预测模型是基于多个非标准模拟图像样本和与各所述非标准模拟图像样本对应的三通道背景光场图像样本训练而成的。
8.根据本公开实施例的一个方面，提供了一种显微镜图像的矫正方法，包括：获取一待矫正显微镜图像，通过光场预测模型对所述待矫正显微镜图像进行特征提取，以获取与所述待矫正显微镜图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信
息和白平衡信息；根据所述三通道背景光场图像对所述待矫正显微镜图像进行矫正，以获取与所述待矫正显微镜图像对应的矫正图像；其中，所述光场预测模型是基于多个非标准模拟显微镜图像样本和与各所述非标准模拟显微镜图像样本对应的三通道背景光场图像样本训练而成的。
9.根据本公开实施例的一个方面，提供了一种图像矫正装置，包括：模型处理模块，用于获取一待矫正图像，通过光场预测模型对所述待矫正图像进行特征提取，以获取与所述待矫正图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息；图像矫正模块，用于根据所述三通道背景光场图像对所述待矫正图像进行矫正，以获取与所述待矫正图像对应的矫正图像；其中，所述光场预测模型是基于模拟图像样本和与所述模拟图像样本对应的三通道背景光场图像样本训练而成的。
10.在本公开的一些实施例中，基于上述方案，所述模型处理模块配置为：通过端到端的全卷积神经网络模型对所述待矫正图像中三个颜色通道的背景光场图像信息进行提取，以根据所提取的三个颜色通道的背景光场图像信息确定所述三通道背景光场图像。
11.在本公开的一些实施例中，基于上述方案，所述图像矫正模块包括：矫正单元，用于根据所述三通道背景光场图像分别对所述待矫正图像中三个颜色通道对应的图像信息进行矫正，以获取与所述待矫正图像对应的矫正图像。
12.在本公开的一些实施例中，所述待矫正图像包括r通道图像信息、g通道图像信息和b通道图像信息；所述三通道背景光场图像包括r通道预测背景光场信息、g通道预测背景光场信息和b通道预测背景光场信息；基于上述方案，所述矫正单元配置为：采用所述r通道图像信息除以所述r通道预测背景光场信息，以获取r通道矫正图像信息；采用所述g通道图像信息除以所述g通道预测背景光场信息，以获取g通道矫正图像信息；采用所述b通道图像信息除以所述b通道预测背景光场信息，以获取b通道矫正图像信息；根据所述r通道矫正图像信息、所述g通道矫正图像信息和所述b通道矫正图像信息获取所述矫正图像。
13.在本公开的一些实施例中，基于上述方案，所述图像矫正装置还包括：信息获取模块，用于获取包含多个标准图像的标准图像集，并获取光场亮度变化范围和白平衡系数取值范围；参数确定模块，用于基于所述光场亮度变化范围确定模拟光场，同时根据所述白平衡系数取值范围确定白平衡样本信息，其中所述模拟光场与所述标准图像的大小相同；三通道背景光场图像样本生成模块，用于根据所述模拟光场和所述白平衡样本信息确定所述三通道背景光场图像样本；训练模块，用于根据所述三通道背景光场图像样本对所述标准图像集中的标准图像进行叠加处理，以获取所述非标准模拟图像样本，并根据所述非标准模拟图像样本和所述三通道背景光场图像样本对待训练光场预测模型进行训练。
14.在本公开的一些实施例中，基于上述方案，所述模拟光场为随机生成的中心位置不固定且方差不固定的类高斯分布的图像；所述白平衡样本信息包括与三个颜色通道对应的白平衡系数样本，且各所述白平衡系数样本为符合均匀分布且相互独立的随机数。
15.在本公开的一些实施例中，所述白平衡样本信息包括r通道白平衡系数、g通道白平衡系数和b通道白平衡系数；基于上述方案，所述三通道背景光场图像样本生成模块配置为：将所述模拟光场中与各像素对应的亮度信息分别与所述r通道白平衡系数、所述g通道白平衡系数和所述b通道白平衡系数相乘以获取r通道背景光场信息、g通道背景光场信息和b通道背景光场信息；基于所述r通道背景光场信息、所述g通道背景光场信息和所述b通
道背景光场信息确定所述三通道背景光场图像样本。
16.在本公开的一些实施例中，基于上述方案，所述训练模块配置为：将所述非标准模拟图像样本输入至所述待训练光场预测模型，通过所述待训练光场预测模型对所述非标准模拟图像样本进行特征提取，以获取预测三通道背景光场图像；根据所述预测三通道背景光场图像和与所述非标准模拟图像样本对应的三通道背景光场图像样本确定第一损失函数；基于所述第一损失函数对所述待训练光场预测模型的参数进行优化，以获取所述光场预测模型。
17.在本公开的一些实施例中，基于上述方案，所述图像矫正装置还配置为：根据所述预测三通道背景光场图像中与各像素的三个颜色通道对应的图像信息构建第二损失函数；基于所述第一损失函数和所述第二损失函数对所述待训练光场预测模型的参数进行优化，以获取所述光场预测模型。
18.在本公开的一些实施例中，基于上述方案，所述第一损失函数根据公式(1)计算得到：
[0019][0020]
其中，i为rgb三通道，i＝1,2,3，(x，y)为所述非标准模拟图像样本或所述预测三通道背景光场图像中的任一像素的位置坐标，m为所述非标准模拟图像样本或所述预测三通道背景光场图像的横坐标最大值，n为所述非标准模拟图像样本或所述预测三通道背景光场图像的纵坐标最大值，f
i
(x,y)为与所述非标准模拟图像样本对应的三通道背景光场图像样本，f
′
i
(x,y)为所述预测三通道背景光场图像。
[0021]
在本公开的一些实施例中，基于上述方案，所述第二损失函数根据公式(2)计算得到：
[0022][0023]
其中，i为rgb三通道，i＝1,2,3，(x，y)为所述非标准模拟图像样本或所述预测三通道背景光场图像中的任一像素的位置坐标，m为所述非标准模拟图像样本或所述预测三通道背景光场图像的横坐标最大值，n为所述非标准模拟图像样本或所述预测三通道背景光场图像的纵坐标最大值，f
′
i
(x,y)为所述预测三通道背景光场图像，为差分运算符。
[0024]
在本公开的一些实施例中，基于上述方案，所述图像矫正装置还配置为：通过所述光场预测模型对所述矫正图像进行特征提取，以获取与所述矫正图像对应的三通道背景光场图像；根据与所述矫正图像对应的三通道背景光场图像对所述矫正图像进行再矫正，以获取优化矫正图像；重复上述步骤，对所述优化矫正图像进行迭代矫正，直至获取最优矫正图像。
[0025]
根据本公开实施例的一个方面，提供了一种显微镜图像的矫正装置，包括：特征提取模块，用于获取一待矫正显微镜图像，通过光场预测模型对所述待矫正显微镜图像进行特征提取，以获取与所述待矫正显微镜图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息；显微镜图像矫正模块，用于根据所述三通道背景光场图像对所述待矫正显微镜图像进行矫正，以获取与所述待矫正显微镜图像对应的矫正图
像；其中，所述光场预测模型是基于多个非标准模拟显微镜图像样本和与各所述非标准模拟显微镜图像样本对应的三通道背景光场图像样本训练而成的。
[0026]
根据本公开实施例的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述的可选实现方式中提供的图像矫正方法或显微镜图像矫正方法。
[0027]
根据本公开实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的可选实现方式中提供的图像矫正方法或显微镜图像矫正方法。
[0028]
根据本公开实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的可选实现方式中提供的方法。
[0029]
在本公开的一些实施例所提供的技术方案中，首先对待训练的光场预测模型进行训练，以得到稳定的光场预测模型；接着通过光场预测模型对存在亮度失真以及色彩失真的单张待矫正图像进行特征提取，以获得与其对应的三通道背景光场图像，相应地，该三通道背景光场图像包括亮度信息和白平衡信息；最后根据三通道背景光场图像对待矫正图像进行矫正，即可获取与待矫正图像对应的矫正图像。本公开的技术方案能够实现对单张图像进行同步地背景光场矫正和色彩白平衡，提高了图像质量。
[0030]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0031]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0032]
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图；
[0033]
图2示意性示出了根据本公开的一个实施例的图像矫正方法的流程示意图；
[0034]
图3示意性示出了根据本公开的一个实施例的光场预测模型的结构示意图；
[0035]
图4示意性示出了根据本公开的一个实施例的获取矫正图像的流程示意图；
[0036]
图5示意性示出了根据本公开的一个实施例的对待训练光场预测模型进行训练的流程示意图；
[0037]
图6示意性示出了根据本公开的一个实施例的根据非标准模拟图像样本和三通道背景光场图像样本对待训练光场预测模型进行训练的流程示意图；
[0038]
图7示意性示出了根据本公开的一个实施例的显微镜图像的矫正方法的流程示意图；
[0039]
图8示意性示出了根据本公开的一个实施例的显微镜图像的矫正方法的界面示意图；
[0040]
图9a
‑
9c示意性示出了根据本公开的一个实施例的基于标准玻片图像生成的非标准模拟显微镜图像样本和三通道背景光场图像样本的界面示意图；
[0041]
图10a
‑
10c示意性示出了根据本公开的一个实施例的矫正前和矫正后的显微镜图像的界面示意图；
[0042]
图11示意性示出了根据本公开的一个实施例的本公开中的矫正方法与相关技术中的矫正方法矫正后的显微镜图像的界面示意图；
[0043]
图12示意性示出了根据本公开的一个实施例的图像矫正装置的框图；
[0044]
图13示意性示出了根据本公开的一个实施例的显微镜图像的矫正装置的框图；
[0045]
图14示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0046]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
[0047]
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
[0048]
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0049]
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0050]
图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。
[0051]
如图1所示，系统架构100可以包括终端设备101、网络102以及服务器103。其中，上述终端设备101可以是智能手机、便携式计算机、平板电脑、摄像机、照相机、可拍照显微镜等具有拍摄单元的终端设备；网络102用以在终端设备101和服务器103之间提供通信链路的介质，网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等，在本公开实施例中，终端设备101和服务器103之间的网络102可以是无线通信链路，具体地可以是移动网络。
[0052]
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。值得说明的是，本公开中的服务器可以是独立的服务器或者是多个服务器形成的服务器集群。
[0053]
在本公开的一个实施例中，用户通过终端设备101中的拍摄单元对目标场景进行拍摄后，可以获得相应的图像，由于在拍摄过程中可能会存在光源不均匀、光源冷暖色以及终端设备的相机成像原因，因此拍摄得到的图像或多或少都会存在亮度失真以及色彩失真的问题。针对存在该问题的待矫正图像，可以将其通过网络102从终端设备101发送至服务
的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
[0060]
机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
[0061]
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
[0062]
本公开实施例提供的方案涉及人工智能的图像处理技术，具体通过如下实施例进行说明：
[0063]
本公开实施例首先提供了一种图像矫正方法，以下对本公开实施例的技术方案的实现细节进行详细阐述：
[0064]
图2示意性示出了根据本公开的一个实施例的图像矫正方法的流程图，该图像矫正方法可以由服务器来执行，该服务器可以是图1中所示的服务103。参照图2所示，该图像矫正方法至少包括步骤s210至步骤s220，详细介绍如下：
[0065]
在步骤s210中，获取一待矫正图像，通过光场预测模型对所述待矫正图像进行特征提取，以获取与所述待矫正图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息。
[0066]
在本公开的一个实施例中，在拍摄图像的时候，无论是室内场景还是室外场景，均会存在由于光源亮度不均匀和相机成像原因使得拍摄出来的图像存在明暗不均匀的现象，造成图像的亮度失真，即背景光场的异常，同时由于光源冷暖色的差异，造成图像存在色彩失真，即白平衡异常。在本公开的实施例中，将存在亮度失真和色彩失真的图像命名为待矫正图像，待矫正图像不仅具有低图像质量，影响观感，还有可能存在其它方面的弊端，例如当待矫正图像为病理图像、器材损伤图像等图像时，可能会由于图像中所存在的亮度失真和色彩失真导致最终的病理分析结果、损伤检测结果存在较大误差，进而导致最终的诊断结论、检测结果错误。因此对于存在亮度失真和色彩失真的图像有必要进行矫正。
[0067]
在本公开的一个实施例中，对待矫正图像的矫正可以分为两步：第一步：提取待矫正图像中的三通道背景光场图像；第二步：根据三通道背景光场图像对待矫正图像进行矫正。针对第一步，本公开实施例中采用光场预测模型进行三通道背景光场图像的提取，该光场预测模型可以是具有任意网络结构的端到端的全卷积网络模型，例如u
‑
net、linknet等
等，其中，端到端指的是输入待矫正图像，输出与之对应且具有相同图像大小的三通道背景光场图像，而不是预测分类等信息。
[0068]
在将待矫正图像输入至光场预测模型中后，光场预测模型能够对待矫正图像进行特征提取，以获取其中三个颜色通道的背景光场图像信息，即r、g、b三个通道的背景光场图像信息，进而根据所提取的r、g、b三个通道的背景光场图像信息确定要输出的三通道背景光场图像。接下来，以linknet作为光场预测模型为例，对光场预测模型的结构及工作原理进行说明。
[0069]
图3示出了光场预测模型的结构示意图，如图3所示，光场预测模型包括卷积层301、最大池化层302、编码层303、解码层304、全卷积层305、卷积层306和全卷积层307，其中编码层303包含多个编码块(编码块1、编码块2、编码块3和编码块4)，解码层304包含与编码块数量相同的解码块(解码块1、解码块2、解码块3和解码块4)，并且每个编码块与解码块相连接，编码块的输入连接到对应解码块的输出上。另外，图3中还示出了卷积层301、最大池化层302、全卷积层305、卷积层306和全卷积层307中的参数，值得说明的是，该参数设置仅为示例性说明，还可以将其设置为其它参数值，本公开实施例对此不做具体限定。
[0070]
在采用如图3所示的光场预测模型对待矫正图像进行特征提取时，首先通过卷积层301对待矫正图像进行特征提取并下采样，接着通过最大池化层302对卷积层301输出的特征图进行池化并下采样，然后通过编码层303对输入的池化后特征图进行编码压缩，得到维度较低的低层语义特征信息，如色彩信息和亮度信息等。编码层303完成对池化后特征图的编码压缩后，可以将低层语义特征信息输入至解码层304中，以使解码层304对低层语义特征信息行解码运算，并通过全卷积层305、卷积层306和全卷积层307依次对解码层304输出的特征信息进行特征提取和上采样，其中上采样和下采样的倍数相同，以输出与待矫正图像原尺寸一样的三通道背景光场图像。由于每个编码块与解码块相连接，编码块的输入连接到对应解码块的输出上，因此编码块可以将低层语义特征信息融入到解码块中，使得解码块融合了低层语义特征信息和高层语义特征信息，可有效减少下采样操作时丢失的空间信息，而且解码块是共享从编码块的每一层学习到的参数，因此可有效减少解码块的参数。
[0071]
通过对本公开实施例所采用的光场预测模型的结构和工作原理进行分析可知，本公开实施例中对输入的待矫正图像进行下采样后，预测下采样图像的三通道背景光场信息，然后再进行上采样恢复到原始大小，并基于上采样后的三通道背景光场信息对待矫正图像进行矫正，由于三通道背景光场信息是平滑渐变的，因此即使在模型处理的过程中存在下采样和上采样，根据上采样后的三通道背景光场图像对待矫正图像进行矫正所得的矫正图像也具有较高的图像质量。
[0072]
在步骤s220中，根据所述三通道背景光场图像对所述待矫正图像进行矫正，以获取与所述待矫正图像对应的矫正图像。
[0073]
在本公开的一个实施例中，在获取三通道背景光场图像后，可以根据该三通道背景光场图像对待矫正图像进行矫正，以获取矫正了亮度失真和色彩失真的矫正图像。具体地，在对待矫正图像进行矫正时，可以根据三通道背景光场图像分别对待矫正图像中三个颜色通道对应的图像信息进行矫正，以获取与待矫正图像对应的矫正图像。
[0074]
在本公开的实施例中，三通道背景光场图像是由光场预测模型根据待矫正图像预
测得到的，其中包含有与r、g、b三个颜色通道对应的预测背景光场图像信息，即r通道预测背景光场信息、g通道预测背景光场信息和b通道预测背景光场信息，在根据三通道背景光场图像分别对待矫正图像中三个颜色通道对应的图像信息进行矫正时，根据r通道预测背景光场信息、g通道预测背景光场信息和b通道预测背景光场信息对待矫正图像中相对应的颜色通道的图像信息进行矫正即可。
[0075]
亮度不均匀和明暗变化通常是线性变换关系，如公式(1)所示：
[0076]
i
成像
(x,y)＝i
真实
(x,y)
×
s(x,y) d(x,y)
ꢀꢀꢀ
(1)
[0077]
其中，i
成像
为拍摄到的光场不均匀的图像，i
真实
为理想的亮度均匀图像，s为乘性光照强度，d为加性暗场，(x,y)为图像中位于坐标(x,y)处的像素。
[0078]
由于图像处理是逐像素点处理的，从线性变换角度而言，对i
真实
(x,y)进行乘、加操作均可以转化成乘的关系，因此公式(1)可以褪化为由一个统一的背景光场(亮度信息)m控制，如公式(2)所示：
[0079]
i
成像
(x,y)＝i
真实
(x,y)
×
m(x,y)
ꢀꢀꢀ
(2)
[0080]
将公式(2)和公式(1)对比可知，拍摄到的光场不均匀的图像和理想的亮度均匀图像之间的变换依然是线性关系。
[0081]
上述公式仅考虑了亮度失真的情况，也就是针对单一的灰度图像，拍摄到的光场不均匀的图像和理想的亮度均匀图像之间存在如公式(1)、(2)所示的数学关系，要想获取i
真实
(x,y)，只需根据i
成像
(x,y)/m(x,y)计算即可。
[0082]
由于亮度变化是随着像素的不同而不同，因此每个像素都对应自己特定的线性变换系数m(x)。同时色彩失真与白平衡是相关的，白平衡是指不管在任何光源下，都能将白色物体还原为白色。在相机拍摄明场图像时，白色通常是指反射到人眼中的光线由于蓝、绿、红三种色光比例相同，且具有一定的亮度所形成的视觉反应。对应在rgb彩色图像上，即rgb图像的三个通道r、g、b的灰度值大小相近，比如当r、g、b三个通道的灰度值都为255时，图像则呈现纯白色。从上述描述可知，白平衡的差异主要是每个像素对应不同颜色通道的系数差异，因此可以认为对于图像中的任一像素而言，r、g、b三个通道的背景光场(亮度信息)是统一的，仅存在白平衡系数的差异，因而在同时存在亮度失真和色彩失真时，拍摄图像(待矫正图像)与理想图像(矫正图像)之间仍然是线性相关的。
[0083]
当同时考虑亮度失真和色彩失真的情况时，就需要根据与三个颜色通道相关的背景光场信息来对待矫正图像中的三个颜色通道对应的图像信息进行矫正，以获取矫正图像。在本公开的实施例中，由光场预测模型对待矫正图像进行处理所输出的三通道背景光场图像中包含r通道预测背景光场信息、g通道预测背景光场信息和b通道预测背景光场信息，同时，待矫正图像包括r通道图像信息、g通道图像信息和b通道图像信息，因此可以基于公式(2)的线性关系得到各颜色通道的矫正图像信息，进而根据各颜色通道的矫正图像信息确定矫正图像。经过矫正得到的矫正图像相对于待矫正图像，矫正了其中亮度不均匀和色彩失真的部分，使得图像的质量更高，更符合真实理想的图像效果。
[0084]
图4示出了获取矫正图像的流程示意图，如图4所示，在步骤s401中，采用r通道图像信息除以r通道预测背景光场信息，以获取r通道矫正图像信息；在步骤s402中，采用g通道图像信息除以g通道预测背景光场信息，以获取g通道矫正图像信息；在步骤s403中，采用b通道图像信息除以b通道预测背景光场信息，以获取b通道矫正图像信息；在步骤s404中，
根据r通道矫正图像信息、g通道矫正图像信息和b通道矫正图像信息获取矫正图像。
[0085]
从上述实施例可以看出，本公开实施例中在进行图像矫正时，只需向光场预测模型中输入一张存在亮度失真和色彩失真的待矫正图像，即可得到与待矫正图像对应的三通道背景光场图像，进而根据该三通道背景光场图像对待矫正图像进行矫正得到矫正图像，相比于相关技术中需要获取多张同样拍摄条件的不同图像来估算背景场，并根据背景场对图像进行矫正的方法而言，本公开实施例中的图像矫正方法更便捷，效率更高，图像质量更好。
[0086]
在本公开的一个实施例中，在使用光场预测模型对待矫正图像进行特征提取之前，还需要对待训练光场预测模型进行训练，以获取稳定的光场预测模型。在本公开的实施例中，图5示出了对待训练光场预测模型进行训练的流程示意图，如图5所示，在步骤s501中，获取包含多个标准图像的标准图像集，并获取光场亮度变化范围和白平衡系数取值范围；在步骤s502中，基于光场亮度变化范围确定模拟光场，同时根据白平衡系数取值范围确定白平衡样本信息，其中模拟光场与标准图像的大小相同；在步骤s503中，根据模拟光场和白平衡样本信息确定三通道背景光场图像样本；在步骤s504中，根据三通道背景光场图像样本对标准图像集中的标准图像进行处理，以获取非标准模拟图像样本，并根据非标准模拟图像样本和三通道背景光场图像样本对待训练光场预测模型进行训练。
[0087]
其中，步骤s501中的光场亮度变化范围和白平衡系数取值范围可以根据实际需要进行设定，在本公开的实施例中，可以将光场亮度变化范围设定为[0.5,1]，白平衡系数取值范围设定为[0.7,1.2]，当然还可以是其它的数值范围，本公开对此不作具体限定。步骤s502中，在基于光场亮度变化范围确定模拟光场时，可以根据光场亮度变化范围中的值随机生成中心位置不固定、尺度(方差)不固定的类高斯分布的图像作为模拟光场，在根据白平衡系数取值范围确定白平衡样本信息时，可以从白平衡系数取值范围中任意确定三个不同的随机数作为三个颜色通道的白平衡系数样本，进而根据三个颜色通道的白平衡系数样本得到白平衡样本信息，值得注意的是，白平衡系数样本为符合均匀分布且相互独立的随机数。在确定模拟光场和白平衡样本信息后，可以根据模拟光场和白平衡样本信息确定三通道背景光场图像样本，进而根据三通道背景光场图像样本对标准图像进行处理，以获取非标准模拟图像样本。
[0088]
上述实施例中有提到，对于图像中的任一像素而言，r、g、b三个通道的背景光场(亮度信息)是统一的，仅存在白平衡系数的差异，因而在同时存在亮度失真和色彩失真时，拍摄图像(待矫正图像)与理想图像(矫正图像)之间仍然是线性相关的。鉴于此，在构建三通道背景光场图像样本时，可以基于r、g、b通道的白平衡系数和各像素对应的亮度信息得到r、g、b通道的背景光场信息，再根据r、g、b通道的背景光场信息得到三通道背景光场图像样本。具体地，可以将模拟光场中与各像素对应的亮度信息分别与白平衡样本信息中的r通道白平衡系数、g通道白平衡系数和b通道白平衡系数相乘以获取r通道背景光场信息、g通道背景光场信息和b通道背景光场信息，具体计算方法如公式(3)
‑
(5)所示：
[0089]
m
r
(x,y)＝a1
×
m(x,y)
ꢀꢀꢀ
(3)
[0090]
m
g
(x,y)＝a2
×
m(x,y)
ꢀꢀꢀ
(4)
[0091]
m
b
(x,y)＝a3
×
m(x,y)
ꢀꢀꢀ
(5)
[0092]
其中，m
r
(x,y)为r通道背景光场信息，m
g
(x,y)为g通道背景光场信息，m
b
(x,y)为b
通道背景光场信息，a1为r通道白平衡系数，a2为g通道白平衡系数，a3为b通道白平衡系数，m(x,y)为统一的背景光场，即亮度信息。
[0093]
接着，基于计算得到的r通道背景光场信息、g通道背景光场信息和b通道背景光场信息即可确定三通道背景光场图像样本。
[0094]
训练待训练光场预测模型的目的是为了让模型能够提取待矫正图像中的三通道背景光场图像，也就是说，待矫正图像是存在亮度失真及色彩失真的非标准图像，因此在训练待训练光场预测模型时，有必要对标准图像进行处理生成非标准模拟图像样本，以便对待训练光场预测模型进行训练。在本公开的实施例中，可以根据三通道背景光场图像样本对标准图像集中的标准图像进行处理，以获取非标准模拟图像样本，在根据三通道背景光场图像样本对标准图像集中的标准图像进行处理时，首先可以基于三通道背景光场图像样本中的r通道背景光场信息、g通道背景光场信息和b通道背景光场信息分别对标准图像中的r通道图像信息、g通道图像信息和b通道图像信息进行处理，以得到与r、g、b通道对应的非标准模拟图像信息，然后再根据与r、g、b通道对应的非标准模拟图像信息得到包含亮度失真和色彩失真的非标准模拟图像样本。具体地，获取r、g、b通道对应的非标准模拟图像信息的数学表达公式如公式(6)
‑
(8)所示：
[0095]
i
r成像
(x,y)＝i
r真实
(x,y)
×
m
r
(x,y)＝i
r真实
(x,y)
×
(a1
×
m(x,y))
ꢀꢀꢀ
(6)
[0096]
i
g成像
(x,y)＝i
g真实
(x,y)
×
m
g
(x,y)＝i
g真实
(x,y)
×
(a2
×
m(x,y))
ꢀꢀꢀ
(7)
[0097]
i
b成像
(x,y)＝i
b真实
(x,y)
×
m
b
(x,y)＝i
b真实
(x,y)
×
(a3
×
m(x,y))
ꢀꢀꢀ
(8)
[0098]
其中，i
r真实
(x,y)为标准图像中的r通道图像信息，i
g真实
(x,y)为标准图像中的g通道图像信息，i
b真实
(x,y)为标准图像中的b通道图像信息，i
r成像
(x,y)为r通道非标准模拟图像信息，i
g成像
(x,y)为g通道非标准模拟图像信息，i
b成像
(x,y)为b通道非标准模拟图像信息。
[0099]
最后，将i
r成像
(x,y)、i
g成像
(x,y)和i
b成像
(x,y)进行整合，即可得到非标准模拟图像样本。
[0100]
从上述描述可以看出，在对待矫正图像进行矫正时，正是采用了公式(6)
‑
(8)的反向变换，该矫正方法亦与图4所示的获取矫正图像的流程示意图相对应，即采用待矫正图像中r、g、b通道的图像信息除以与待矫正图像对应的三通道背景光场图像中的r、g、b通道预测背景光场信息即可，具体数学表达公式如公式(9)
‑
(11)所示：
[0101]
i
r矫正
(x,y)＝i
r待矫正
(x,y)/m
r’(x,y)＝i
r待矫正
(x,y)/(a1
’×
m’(x,y))
ꢀꢀꢀ
(9)
[0102]
i
g矫正
(x,y)＝i
g待矫正
(x,y)/m
g’(x,y)＝i
g待矫正
(x,y)/(a2
’×
m’(x,y))
ꢀꢀꢀ
(10)
[0103]
i
b矫正
(x,y)＝i
b待矫正
(x,y)/m
b’(x,y)＝i
b待矫正
(x,y)/(a3
’×
m’(x,y))
ꢀꢀꢀ
(11)
[0104]
其中，i
r待矫正
(x,y)为待矫正图像中的r通道图像信息，i
g待矫正
(x,y)为待矫正图像中的g通道图像信息，i
b待矫正
(x,y)为待矫正图像中的b通道图像信息，m
r’(x,y)为r通道预测背景光场信息，m
g’(x,y)为g通道预测背景光场信息，m
b’(x,y)为b通道预测背景光场信息，a1’为待矫正图像中的r通道白平衡系数，a2’为待矫正图像中的g通道白平衡系数，a3’为待矫正图像中的b通道白平衡系数，m’(x,y)为亮度信息。
[0105]
值得说明的是，为了减少模型训练时的数据量，对于尺寸较大的标准图像可以对其进行剪裁，减小图像尺寸，进而减少数据处理量。另外，本公开中的类高斯分布可以是高斯分布，还可以是多峰缓和高斯分布，当然模拟光场还可以是其它渐变的分布，本公开实施例在此不再赘述。
[0106]
图6示出了根据非标准模拟图像样本和三通道背景光场图像样本对待训练光场预测模型进行训练的流程示意图，如图6所示，在步骤s601中，将非标准模拟图像样本输入至待训练光场预测模型，通过待训练光场预测模型对非标准模拟图像样本进行特征提取，以获取预测三通道背景光场图像；在步骤s602中，根据预测三通道背景光场图像和与非标准模拟图像样本对应的三通道背景光场图像样本确定第一损失函数；在步骤s603中，基于第一损失函数对待训练光场预测模型的参数进行优化，以获取光场预测模型。
[0107]
在训练待训练光场预测模型的时候，可以采用adam优化方法，根据预设学习率进行训练。该学习率可以任意设定，例如设定为0.001，等等。在本公开的实施例中，第一损失函数具体可以是最小均方误差，具体表达式如式(12)所示：
[0108][0109]
其中，i为rgb三通道，i＝1,2,3，(x，y)为非标准模拟图像样本或预测三通道背景光场图像中的任一像素的位置坐标，m为非标准模拟图像样本或预测三通道背景光场图像的横坐标最大值，n为非标准模拟图像样本或预测三通道背景光场图像的纵坐标最大值，f
i
(x,y)为与非标准模拟图像样本对应的三通道背景光场图像样本，f
′
i
(x,y)为预测三通道背景光场图像。
[0110]
在本公开的一个实施例中，由于模拟光场是类高斯分布，光场变化是渐变的，即使是不均匀光场也应当是渐变的，而不是跳变的，因此为了防止光场跳变，可以在输出三通道背景光场图像前，对三通道背景光场图像增加平滑约束，平滑约束可以通过控制三通道背景光场图像的临近像素差分最小化的方式实现。如果所有像素对应的光场变化一致，即为一常量时，差分结果为0，说明三通道背景光场图像最为平滑；如果临近像素有突变，差分结果过大，说明三通道背景光场图像不平滑。在本公开的实施例中，可以通过设置差分系数c作为，以便通过差分系数c控制光场变化。差分系数c的优化值可以通过对待训练光场预测模型进行训练而确定，具体地，可以根据预测三通道背景光场图像中与各像素的三个颜色通道对应的图像信息构建第二损失函数；然后基于第一损失函数和第二损失函数对待训练光场预测模型的参数进行优化，以获取光场预测模型。第二损失函数的表达式如式(13)所示：
[0111][0112]
其中，i为rgb三通道，i＝1,2,3，(x，y)为非标准模拟图像样本或预测三通道背景光场图像中的任一像素的位置坐标，m为非标准模拟图像样本或预测三通道背景光场图像的横坐标最大值，n为非标准模拟图像样本或预测三通道背景光场图像的纵坐标最大值，f
′
i
(x,y)为预测三通道背景光场图像，为差分运算符。
[0113]
进一步地，公式(12)
‑
(13)中的f
′
i
(x,y)是基于根据公式(3)
‑
(5)所确定的r、g、b通道背景光场信息所确定的。
[0114]
值得说明的是，本公开实施例中除了采用简单的相邻像素进行差分的方式进行平滑约束，还可以采用sobel算子进行平滑约束，当然还可以采用其它方法进行平滑约束，本公开实施例对此不作具体限定。
[0115]
通过对待训练光场预测模型进行迭代训练后，可以获取优化后的模型参数，基于具有优化后的模型参数的光场预测模型能够准确提取待矫正图像中的三通道背景光场图像，进而保证了矫正图像的质量。
[0116]
在本公开的一个实施例中，当通过一轮矫正获取的矫正图像并未达到理想效果时，还可以继续对矫正图像进行矫正，矫正的次数可以是一次，也可以是多次，直至获取最优矫正图像。具体地，可以通过光场预测模型对矫正图像进行特征提取，以获取与矫正图像对应的三通道背景光场图像；然后根据与矫正图像对应的三通道背景光场图像对矫正图像进行再矫正，以获取优化矫正图像；判断优化矫正图像是否达到理想效果，如果未达到理想效果，则重复上述步骤，对优化矫正图像进行迭代矫正，直至获取最优矫正图像。
[0117]
本公开实施例中的图像矫正方法可以应用到多个领域，凡是存在亮度失真和色彩失真的图像均可以采用该方法进行矫正。特别地，该图像矫正方法可用于对显微镜图像进行矫正，例如病理分析师将病理组织制作成病理玻片后，可以通过可拍照显微镜对病理玻片进行拍摄，并对获取的病理玻片图像进行分析，以获取病理分析结果。如果病理玻片图像中存在亮度失真和色彩失真的话，病理分析结果可能存在偏差，这对最终的诊断结果的正确性的影响很大，因此有必要获取高质量的病理玻片图像，以保证诊断结果的正确性。
[0118]
本公开实施例还提供了一种显微镜图像的矫正方法，该矫正方法的流程与上述实施例中的图像矫正方法的流程相同，区别仅在于分析对象为待矫正显微镜图像。图7示出了显微镜图像的矫正方法的流程示意图，如图7所示：
[0119]
在步骤s710中，获取一待矫正显微镜图像，通过光场预测模型对所述待矫正显微镜图像进行特征提取，以获取与所述待矫正显微镜图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息；
[0120]
在步骤s720中，根据所述三通道背景光场图像对所述待矫正显微镜图像进行矫正，以获取与所述待矫正显微镜图像对应的矫正图像；
[0121]
其中，所述光场预测模型是基于多个非标准模拟显微镜图像样本和与各所述非标准模拟显微镜图像样本对应的三通道背景光场图像样本训练而成的。
[0122]
在对显微镜图像进行矫正时，可以采用训练好的光场预测模型对待矫正显微镜图像进行特征提取，以获取与待矫正显微镜图像对应的三通道背景光场图像，该三通道背景光场图像包括亮度信息和白平衡信息；最后根据三通道背景光场图像对待矫正显微镜图像进行矫正，便可获取与待矫正显微镜图像对应的矫正图像，如图8所示，图像a是存在亮度失真和色彩失真的待矫正显微镜图像，通过光场预测模型对其进行特征提取后，可以得到三通道背景光场图像b，最后从待矫正显微镜图像a中抠除三通道背景光场图像b，即可得到矫正图像c，可以看出，图像c相对于图像a亮度更均匀，色彩也达到了统一。
[0123]
在本公开的一个实施例中，对待矫正显微镜图像进行矫正的具体方法和细节与上述实施例中对待矫正图像进行矫正的具体方法和细节均相同，在此不再赘述。不过，对于不同的矫正对象，模型训练阶段所采用的训练样本会有所不同。在训练用于对显微镜图像进行矫正的光场预测模型时，可以通过仿真数据构建成对的非标准模拟显微镜图像样本和三通道背景光场图像样本进行训练。在构建非标准模拟显微镜图像样本时，首先通过扫描仪对玻片进行扫描以获取标准玻片图像，该扫描仪具有图像成像性能稳定、光场均匀的特点，因此可以认为扫描仪扫描得到的玻片图像不存在亮度失真和色彩失真，可以认为是理想的
标准玻片图像；接着通过计算机仿真数据构建成对的亮度不均匀图像和其对应的背景光场，并随机生成三通道对应的白平衡系数(a1、a2和a3)，根据背景光场以及随机生成的三通道对应的白平衡系数可以确定三通道背景光场；然后对标准玻片图像和三通道背景光场进行叠加，即可获取存在亮度失真和色彩失真的非标准模拟显微镜图像样本，同时根据亮度不均匀图像和三通道对应的白平衡系数可以生成三通道背景光场图像样本；最后根据非标准模拟显微镜图像样本和三通道背景光场图像样本对待训练光场预测模型进行训练即可。
[0124]
图9a
‑
9c示出了基于标准玻片图像生成的非标准模拟显微镜图像样本和三通道背景光场图像样本的界面示意图，如图9a所示，其中的图a
‑
1为标准玻片图像，其中不存在亮度失真和色彩失真，图b
‑
1为模拟生成的三通道背景光场图像样本，图c
‑
1是根据模拟生成的三通道背景光场对标准玻片图像a
‑
1进行处理生成的非标准模拟显微镜图像样本；如图9b所示，其中的图a
‑
2是与图a
‑
1相同的标准玻片图像，图b
‑
2为模拟生成的三通道背景光场图像样本，图b
‑
2与图b
‑
1的区别仅在于白平衡系数的不同，图c
‑
2是根据模拟生成的三通道背景光场对标准玻片图像a
‑
2进行处理生成的非标准模拟显微镜图像样本；如图9c所示，其中的图a
‑
3是与图a
‑
1、图a
‑
2相同的标准玻片图像，图b
‑
3为模拟生成的三通道背景光场图像样本，图b
‑
3与图b
‑
1、图b
‑
2的区别仅在于白平衡系数的不同，图c
‑
3是根据模拟生成的三通道背景光场对标准玻片图像a
‑
3进行处理生成的非标准模拟显微镜图像样本。值得说明的是，在模拟生成三通道背景光场图像样本的时候，可以选择不同的亮度变化范围、不同的中心位置、不同的尺寸，并且在随机生成三通道的白平衡系数时也可以随机选择，因此基于不同的参数组合可以生成不同的三通道背景光场图像样本，并针对同一标准玻片图像生成不同的非标准模拟显微镜图像样本。进一步地，在根据大量的非标准模拟显微镜图像样本和三通道背景光场图像样本对模型进行训练时，并非严格采用非标准模拟显微镜图像样本和与其相对应的三通道背景光场图像样本进行模型训练，可以打乱配对进行训练，这样可以提高模型的性能。
[0125]
经过训练后的光场预测模型可用于对任意的显微镜图像进行矫正，图10a
‑
10c示出了矫正前和矫正后的显微镜图像的界面示意图，如图10a所示，其中左侧的图像为矫正前的显微镜图像，其四角存在较深的阴影，另外图像整体的色度不一致，中间的图像为光场预测模型从矫正前的显微镜图像中提取的三通道背景光场图像，右侧的图像为矫正后的显微镜图像，即根据三通道背景光场图像对矫正前的显微镜图像进行处理后得到的矫正图像，从图中可以看出，矫正后的显微镜图像的四角的阴影变浅变少，几乎可以忽略不计，并且整个图像的色度趋于一致，其中的细胞核等物质更清晰；同样地，图10b和图10c也分别示出了一组矫正前的显微镜图像、与其对应的三通道背景光场图像和矫正后的显微镜图像，与图10a相同，经过本公开实施例中的显微镜图像的矫正方法矫正后的显微镜图像的图像质量更高，亮度失真和色彩失真的程度都很低，几乎可忽略不计。
[0126]
本公开中的显微镜图像的矫正方法能够对存在亮度失真和色彩失真的待矫正显微镜图像进行矫正，相比于现有技术中通过机器学习模型对待矫正显微镜图像直接处理输出矫正后的显微镜图像，本公开中的图像矫正方法、显微镜图像的矫正方法的效果更好。图11示出了本公开中的矫正方法与相关技术中的矫正方法矫正后的显微镜图像的界面示意图，如图11所示，其中左侧的图像为待矫正的显微镜图像，中间的图像为采用相关技术中的矫正方法矫正后的显微镜图像，右侧为采用本公开中的方法矫正后的显微镜图像，通过对
三幅图像进行对比可以发现，采用本公开实施例中的显微镜图像的矫正方法矫正后的显微镜图像的亮度更均匀，色彩更一致，图像质量优于采用相关技术中的矫正方法矫正后的显微镜图像。
[0127]
本公开实施例中的图像矫正方法或者显微镜图像的矫正方法，首先待训练的光场预测模型进行训练，以得到稳定的光场预测模型；接着通过光场预测模型对存在明暗不均匀以及色彩失真的待矫正图像进行特征提取，以获得与其对应的三通道背景光场图像，相应地，该三通道背景光场图像包括亮度信息和白平衡信息；最后根据三通道背景光场图像对待矫正图像进行矫正，即可获取与待矫正图像对应的矫正图像。从本公开的技术方案分析可知，只要输入一张存在亮度失真和色彩失真的图像，都可以采用本公开中的图像矫正方法对其进行矫正，以获取矫正了亮度失真和色彩失真的标准图像，也就是说，本公开的技术方案能够实现对单张图像进行同步地背景光场矫正和色彩白平衡，提高了图像质量。另外本公开实施例中在模型训练时，无需采集光场数据，全部通过三通道模拟背景光场图像和非标准模拟图像即可完成模型训练，节省了人力物力。
[0128]
以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的图像矫正方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的图像矫正方法的实施例。
[0129]
图12示意性示出了根据本公开的一个实施例的图像矫正装置的框图。
[0130]
参照图12所示，根据本公开的一个实施例的图像矫正装置1200，包括：模型处理模块1201和图像矫正模块1202。
[0131]
其中，模型处理模块1201，用于获取一待矫正图像，通过光场预测模型对所述待矫正图像进行特征提取，以获取与所述待矫正图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息；图像矫正模块1202，用于根据所述三通道背景光场图像对所述待矫正图像进行矫正，以获取与所述待矫正图像对应的矫正图像；其中，所述光场预测模型是基于模拟图像样本和与所述模拟图像样本对应的三通道背景光场图像样本训练而成的。
[0132]
在本公开的一些实施例中，所述模型处理模块1201配置为：通过端到端的全卷积神经网络模型对所述待矫正图像中的三个颜色通道的背景光场图像信息进行提取，以根据所提取的三个颜色通道的背景光场图像信息确定所述三通道背景光场图像。
[0133]
在本公开的一些实施例中，所述图像矫正模块1202包括：矫正单元，用于根据所述三通道背景光场图像分别对所述待矫正图像中三个颜色通道对应的图像信息进行矫正，以获取与所述待矫正图像对应的矫正图像。
[0134]
在本公开的一些实施例中，所述待矫正图像包括r通道图像信息、g通道图像信息和b通道图像信息；所述三通道背景光场图像包括r通道预测背景光场信息、g通道预测背景光场信息和b通道预测背景光场信息；所述矫正单元配置为：采用所述r通道图像信息除以所述r通道预测背景光场信息，以获取r通道矫正图像信息；采用所述g通道图像信息除以所述g通道预测背景光场信息，以获取g通道矫正图像信息；采用所述b通道图像信息除以所述b通道预测背景光场信息，以获取b通道矫正图像信息；根据所述r通道矫正图像信息、所述g通道矫正图像信息和所述b通道矫正图像信息获取所述矫正图像。
[0135]
在本公开的一些实施例中，所述图像矫正装置1200还包括：信息获取模块，用于获取包含多个标准图像的标准图像集，并获取光场亮度变化范围和白平衡系数取值范围；参
数确定模块，用于基于所述光场亮度变化范围确定模拟光场，同时根据所述白平衡系数取值范围确定白平衡样本信息，其中所述模拟光场与所述标准图像的大小相同；三通道背景光场图像样本生成模块，用于根据所述模拟光场和所述白平衡样本信息确定所述三通道背景光场图像样本；训练模块，用于根据所述三通道背景光场图像样本对所述标准图像集中的标准图像进行处理，以获取所述非标准模拟图像样本，并根据所述非标准模拟图像样本和所述三通道背景光场图像样本对待训练光场预测模型进行训练。
[0136]
在本公开的一些实施例中，所述模拟光场为随机生成的中心位置不固定且方差不固定的类高斯分布的图像；所述白平衡样本信息包括与三个颜色通道对应的白平衡系数样本，且各所述白平衡系数样本为符合均匀分布且相互独立的随机数。
[0137]
在本公开的一些实施例中，所述白平衡样本信息包括r通道白平衡系数、g通道白平衡系数和b通道白平衡系数；所述三通道背景光场图像样本生成模块配置为：将所述模拟光场中与各像素对应的亮度信息分别与所述r通道白平衡系数、所述g通道白平衡系数和所述b通道白平衡系数相乘以获取r通道背景光场信息、g通道背景光场信息和b通道背景光场信息；基于所述r通道背景光场信息、所述g通道背景光场信息和所述b通道背景光场信息确定所述三通道背景光场图像样本。
[0138]
在本公开的一些实施例中，所述训练模块配置为：将所述非标准模拟图像样本输入至所述待训练光场预测模型，通过所述待训练光场预测模型对所述非标准模拟图像样本进行特征提取，以获取预测三通道背景光场图像；根据所述预测三通道背景光场图像和与所述非标准模拟图像样本对应的三通道背景光场图像样本确定第一损失函数；基于所述第一损失函数对所述待训练光场预测模型的参数进行优化，以获取所述光场预测模型。
[0139]
在本公开的一些实施例中，所述图像矫正装置1200还配置为：根据所述预测三通道背景光场图像中与各像素的三个颜色通道对应的图像信息构建第二损失函数；基于所述第一损失函数和所述第二损失函数对所述待训练光场预测模型的参数进行优化，以获取所述光场预测模型。
[0140]
在本公开的一些实施例中，所述第一损失函数根据公式(1)计算得到：
[0141][0142]
其中，i为rgb三通道，i＝1,2,3，(x，y)为所述非标准模拟图像样本或所述预测三通道背景光场图像中的任一像素的位置坐标，m为所述非标准模拟图像样本或所述预测三通道背景光场图像的横坐标最大值，n为所述非标准模拟图像样本或所述预测三通道背景光场图像的纵坐标最大值，f
i
(x,y)为与所述非标准模拟图像样本对应的三通道背景光场图像样本，f
′
i
(x,y)为所述预测三通道背景光场图像。
[0143]
在本公开的一些实施例中，所述第二损失函数根据公式(2)计算得到：
[0144][0145]
其中，i为rgb三通道，i＝1,2,3，(x，y)为所述非标准模拟图像样本或所述预测三通道背景光场图像中的任一像素的位置坐标，m为所述非标准模拟图像样本或所述预测三通道背景光场图像的横坐标最大值，n为所述非标准模拟图像样本或所述预测三通道背景
光场图像的纵坐标最大值，f
′
i
(x,y)为所述预测三通道背景光场图像，为差分运算符。
[0146]
在本公开的一些实施例中，所述图像矫正装置1200还配置为：通过所述光场预测模型对所述矫正图像进行特征提取，以获取与所述矫正图像对应的三通道背景光场图像；根据与所述矫正图像对应的三通道背景光场图像对所述矫正图像进行再矫正，以获取优化矫正图像；重复上述步骤，对所述优化矫正图像进行迭代矫正，直至获取最优矫正图像。
[0147]
图13示意性示出了根据本公开的一个实施例的显微镜图像的矫正装置的框图。
[0148]
参照图13所示，根据本公开的一个实施例的显微镜图像的矫正装置1300，包括：特征提取模块1301和显微镜图像矫正模块1302。
[0149]
其中，特征提取模块1301，用于获取一待矫正显微镜图像，通过光场预测模型对所述待矫正显微镜图像进行特征提取，以获取与所述待矫正显微镜图像对应的三通道背景光场图像，所述三通道背景光场图像包括亮度信息和白平衡信息；显微镜图像矫正模块1302，用于根据所述三通道背景光场图像对所述待矫正显微镜图像进行矫正，以获取与所述待矫正显微镜图像对应的矫正图像；其中，所述光场预测模型是基于多个非标准模拟显微镜图像样本和与各所述非标准模拟显微镜图像样本对应的三通道背景光场图像样本训练而成的。
[0150]
在本公开的一些实施例中，基于上述方案，所述特征提取模块1301配置为：通过端到端的全卷积神经网络模型对所述待矫正显微镜图像中三个颜色通道的背景光场图像信息进行提取，以根据所提取的三个颜色通道的背景光场图像信息确定所述三通道背景光场图像。
[0151]
在本公开的一些实施例中，基于上述方案，所述显微镜图像矫正模块1302包括：矫正单元，用于根据所述三通道背景光场图像分别对所述待矫正显微镜图像中三个颜色通道对应的图像信息进行矫正，以获取与所述待矫正显微镜图像对应的矫正图像。
[0152]
在本公开的一些实施例中，所述待矫正显微镜图像包括r通道图像信息、g通道图像信息和b通道图像信息；所述三通道背景光场图像包括r通道预测背景光场信息、g通道预测背景光场信息和b通道预测背景光场信息；基于上述方案，所述矫正单元配置为：采用所述r通道图像信息除以所述r通道预测背景光场信息，以获取r通道矫正图像信息；采用所述g通道图像信息除以所述g通道预测背景光场信息，以获取g通道矫正图像信息；采用所述b通道图像信息除以所述b通道预测背景光场信息，以获取b通道矫正图像信息；根据所述r通道矫正图像信息、所述g通道矫正图像信息和所述b通道矫正图像信息获取所述矫正图像。
[0153]
在本公开的一些实施例中，基于上述方案，所述显微镜图像的矫正装置1300还包括：信息获取模块，用于获取包含多个标准显微镜图像的标准显微镜图像集，并确定光场亮度变化范围和白平衡系数取值范围；参数确定模块，用于基于所述光场亮度变化范围确定模拟光场，同时根据所述白平衡系数取值范围确定白平衡样本信息，其中所述模拟光场与所述标准显微镜图像的大小相同；三通道背景光场图像样本生成模块，用于根据所述模拟光场和所述白平衡样本信息确定所述三通道背景光场图像样本；训练模块，用于根据所述三通道背景光场图像样本对所述标准显微镜图像集中的标准显微镜图像进行处理，以获取所述非标准模拟显微镜图像样本，并根据所述非标准模拟显微镜图像样本和所述三通道背景光场图像样本对待训练光场预测模型进行训练。
[0154]
在本公开的一些实施例中，基于上述方案，所述模拟光场为随机生成的中心位置
不固定且方差不固定的类高斯分布的图像；所述白平衡样本信息包括与三个颜色通道对应的白平衡系数样本，且各所述白平衡系数样本为符合均匀分布且相互独立的随机数。
[0155]
在本公开的一些实施例中，所述白平衡样本信息包括r通道白平衡系数、g通道白平衡系数和b通道白平衡系数；所述三通道背景光场图像样本生成模块配置为：将所述模拟光场中与各像素对应的亮度信息分别与所述r通道白平衡系数、所述g通道白平衡系数和所述b通道白平衡系数相乘以获取r通道背景光场信息、g通道背景光场信息和b通道背景光场信息；基于所述r通道背景光场信息、所述g通道背景光场信息和所述b通道背景光场信息确定所述三通道背景光场图像样本。
[0156]
在本公开的一些实施例中，基于上述方案，所述训练模块配置为：将所述非标准模拟显微镜图像样本输入至所述待训练光场预测模型，通过所述待训练光场预测模型对所述非标准模拟显微镜图像样本进行特征提取，以获取预测三通道背景光场图像；根据所述预测三通道背景光场图像和与所述非标准模拟显微镜图像样本对应的三通道背景光场图像样本确定第一损失函数；基于所述第一损失函数对所述待训练光场预测模型的参数进行优化，以获取所述光场预测模型。
[0157]
在本公开的一些实施例中，基于上述方案，所述显微镜图像的矫正装置1300还配置为：根据所述预测三通道背景光场图像中与各像素的三个颜色通道对应的图像信息构建第二损失函数；基于所述第一损失函数和所述第二损失函数对所述待训练光场预测模型的参数进行优化，以获取所述光场预测模型。
[0158]
在本公开的一些实施例中，基于上述方案，所述第一损失函数根据公式(1)计算得到：
[0159][0160]
其中，i为rgb三通道，i＝1,2,3，(x，y)为所述非标准模拟显微镜图像样本或所述预测三通道背景光场图像中的任一像素的位置坐标，m为所述非标准模拟显微镜图像样本或所述预测三通道背景光场图像的横坐标最大值，n为所述非标准模拟显微镜图像样本或所述预测三通道背景光场图像的纵坐标最大值，f
i
(x,y)为与所述非标准模拟显微镜图像样本对应的三通道背景光场图像样本，f
′
i
(x,y)为所述预测三通道背景光场图像。
[0161]
在本公开的一些实施例中，基于上述方案，所述第二损失函数根据公式(2)计算得到：
[0162][0163]
其中，i为rgb三通道，i＝1,2,3，(x，y)为所述非标准模拟显微镜图像样本或所述预测三通道背景光场图像中的任一像素的位置坐标，m为所述非标准模拟显微镜图像样本或所述预测三通道背景光场图像的横坐标最大值，n为所述非标准模拟显微镜图像样本或所述预测三通道背景光场图像的纵坐标最大值，f
′
i
(x,y)为所述预测三通道背景光场图像，为差分运算符。
[0164]
在本公开的一些实施例中，基于上述方案，所述显微镜图像的矫正装置1300还配置为：通过所述光场预测模型对所述矫正图像进行特征提取，以获取与所述矫正图像对应
的三通道背景光场图像；根据与所述矫正图像对应的三通道背景光场图像对所述矫正图像进行再矫正，以获取优化矫正图像；重复上述步骤，对所述优化矫正图像进行迭代矫正，直至获取最优矫正图像。
[0165]
图14示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
[0166]
需要说明的是，图14示出的电子设备的计算机系统1400仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0167]
如图14所示，计算机系统1400包括中央处理单元(central processing unit，cpu)1401，其可以根据存储在只读存储器(read
‑
only memory，rom)1402中的程序或者从存储部分1408加载到随机访问存储器(random access memory，ram)1403中的程序而执行各种适当的动作和处理，实现上述实施例中所述的搜索串处理方法。在ram 1403中，还存储有系统操作所需的各种程序和数据。cpu 1401、rom 1402以及ram 1403通过总线1404彼此相连。输入/输出(input/output，i/o)接口1405也连接至总线1404。
[0168]
以下部件连接至i/o接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至i/o接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
[0169]
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(cpu)1401执行时，执行本公开的系统中限定的各种功能。
[0170]
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程
序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0171]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0172]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0173]
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0174]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0175]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
[0176]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
[0177]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。