显微图像分析方法、装置、存储介质及电子设备与流程

1.本技术涉及微生物分析技术领域，具体涉及一种显微图像分析方法、装置、存储介质及电子设备。


背景技术：

2.显微图像是指在显微镜里观察到的图像。目前，对微生物的研究和分析主要是通过显微图像进行的。
3.显微图像的观察分析工作较为复杂繁琐，并且专业性较强，现有的显微图像分析判断方法耗费人力，分析判断效率低，准确性差，并且人工成本和时间成本较高。


技术实现要素：

4.本技术实施例的目的是提供一种显微图像分析方法、装置、存储介质及电子设备，以至少解决现有显微图像分析判断方法耗费人力，分析判断效率低，准确性差，并且人工成本和时间成本较高的问题。
5.本技术的技术方案如下：
6.根据本技术实施例的第一方面，提供一种显微图像分析方法，方法可以包括：
7.获取显微图像；
8.将显微图像输入到训练好的机器学习模型的特征提取网络中，得到显微图像特征；
9.将显微图像特征输入训练好的机器学习模型的全连接层中，得到微生物分析结果和对微生物分析结果的不确定性估计，其中，训练好的机器学习模型为引入不确定性估计并通过迭代训练的机器学习模型。
10.进一步地，当不确定性估计大于预设值时，在将显微图像输入到训练好的机器学习模型中，得到微生物分析结果和对微生物分析结果的不确定性估计之后，方法还包括：
11.发出对显微图像进行人工核查的提醒信息。
12.进一步地，机器学习模型包括：特征提取网络、全连接层和判别器，训练好的机器学习模型是通过下述方法训练得到的：
13.获取显微图像训练数据集，显微图像训练数据集中每个训练图像均有对应的标签；
14.将显微图像训练数据集中的训练图像输入全连接层中，得到预测结果；
15.利用判别器根据训练图像对应的标签对预测结果进行判断；
16.当判断结果小于或等于预设值时，得到训练好的机器学习模型。
17.进一步地，获取显微图像训练数据集包括：
18.获取显微训练图像；
19.对显微训练图像进行标注，得到带标注图像数据；
20.对带标注图像数据进行数据增广，得到显微图像训练数据集。
21.进一步地，数据增广包括：图像平移、图像旋转、图像镜像变换、改变图像对比度及改变图像亮度。
22.进一步地，将显微图像训练数据集中的训练图像输入全连接层中，得到预测结果，包括：
23.将显微图像训练数据集中的训练图像输入特征提取网络中，提取训练图像的图像特征；
24.将图像特征分别输入两个全连接层中，得到预测均值和预测方差；
25.根据预测均值与预测方差生成预测结果。
26.进一步地，当判断结果超过预设值时，方法还包括：
27.计算损失值与机器学习模型的网络参数之间梯度关系；
28.通过利用显微图像训练数据集迭代训练机器学习模型，根据梯度关系调整网络参数以使损失值减小。
29.根据本技术实施例的第二方面，提供一种显微图像分析装置，该装置可以包括：
30.获取模块，用于获取显微图像；
31.特征提取模块，用于将显微图像输入到训练好的机器学习模型的特征提取网络中，得到显微图像特征；
32.预测模块，用于将显微图像特征输入训练好的机器学习模型的全连接层中，得到微生物分析结果和对微生物分析结果的不确定性估计，其中，训练好的机器学习模型为引入不确定性估计并通过迭代训练的机器学习模型。
33.根据本技术实施例的第三方面，提供一种电子设备，该电子设备可以包括：
34.处理器；
35.用于存储处理器可执行指令的存储器；
36.其中，处理器被配置为执行指令，以实现如第一方面的任一项实施例中所示的显微图像分析方法。
37.根据本技术实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现以实现如第一方面的任一项实施例中所示的显微图像分析方法。
38.本技术的实施例提供的技术方案至少带来以下有益效果：
39.本技术实施例通过对机器学习模型引入不确定性估计，并进行了迭代训练，从而利用该训练好的机器学习模型进行显微图像的分析，可以高效地获得分析结果及对对结果的不确定性估计，节省了人工成本和时间成本，不确定性估计能更好地帮助理解分析结果。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限值本技术。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理，并不构成对本技术的不当限定。
42.图1是根据一示例性实施例示出的显微图像分析流程示意图；
43.图2是根据一示例性实施例示出的卷积神经网络中不确定性估计的引入示意图；
44.图3是根据一示例性实施例示出的显微图像分析装置结构示意图；
45.图4是根据一示例性实施例示出的电子设备结构示意图；
46.图5是根据一示例性实施例示出的电子设备的硬件结构示意图。
具体实施方式
47.为了使本领域普通人员更好地理解本技术的技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
48.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
49.在显微图像分析中，例如，医学领域的微生态分析、生物领域的微生物检验、以及其他各种领域的显微图像内容分析等。显微图像分析过程大多是通过人工观察显微镜的目镜，对包含的主题进行辨识和统计得到；也可以借助摄像软件通过密集采点和拍摄得到显微图像后，再做人工分析。但是分析过程完全依靠人工很耗费时间和精力，而且会因眼睛疲惫有误判和漏掉的情况。该过程人工成本和时间成本消耗巨大，并且分析结果的准确性无从判断，为此发明人提出一种显微图像分析方法、装置、存储介质及电子设备，以至少解决现有显微图像分析判断方法耗费人力，分析判断效率低，准确性差，并且人工成本和时间成本较高的问题。
50.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的显微图像分析方法进行详细地说明。
51.如图1所示，在本技术实施例的第一方面，提供一种显微图像分析方法，方法可以包括：
52.s110：获取显微图像；
53.s120：将显微图像输入到训练好的机器学习模型的特征提取网络中，得到显微图像特征；
54.s130：将显微图像特征输入训练好的机器学习模型的全连接层中，得到微生物分析结果和对微生物分析结果的不确定性估计，其中，训练好的机器学习模型为引入不确定性估计并通过迭代训练的机器学习模型。
55.上述实施例方法通过对机器学习模型引入不确定性估计，并进行了迭代训练，从而利用该训练好的机器学习模型进行显微图像的分析，可以高效地获得分析结果及对对结果的不确定性估计，节省了人工成本和时间成本，不确定性估计能更好地帮助理解分析结果。
56.上述各步骤的具体实现方式将在下文中进行详细描述。
57.首先介绍步骤s110，获取显微图像。
58.本步骤中的显微图像是借助于显微镜和摄像软件，通过密集采点、对焦和拍摄，得到的显微图像。
59.接下来介绍一下步骤s120，将显微图像输入到训练好的机器学习模型的特征提取网络中，得到显微图像特征和步骤s130，将显微图像特征输入训练好的机器学习模型的全连接层中，得到微生物分析结果和对微生物分析结果的不确定性估计。
60.本步骤中的训练好的机器学习模型是通过下述方法训练得到的。
61.示例性的，机器学习模型包括：特征提取网络、全连接层和判别器，训练好的机器学习模型得训练方法包括：
62.s121：获取显微图像训练数据集，显微图像训练数据集中每个训练图像均有对应的标签。
63.具体的，采集显微图像随机采样m(m＜n)张进行人工标注，得到有标签的数据集d
l
[0064][0065]
其中，是对应标签，这个数据集就是卷积神经网络的训练集，会对训练集做数据增广，该数据增广可以包括平移、旋转、镜像变换、改变对比度、调整亮度等，得到数据集d
l
。
[0066]
上述方法得到的数据集增加数据量和多样性，从而加强算法的鲁棒性。
[0067]
s122：将显微图像训练数据集中的训练图像输入全连接层中，得到预测结果。
[0068]
可选的，在步骤中使用卷积神经网络，并且在卷积神经网络中引入不确定性估计。
[0069]
该过程整个卷积神经网络(cnn)可用f表示，图像经过cnn得到特征cnn的架构根据分析的内容而定，可以将f拆分为k个模块，即：
[0070][0071]
第k个模块的输出是图像的特征：
[0072][0073]
不确定性估计可以插入到任意特征之后，不确定性的引入可以在特征提取的任意阶段，不限于最后一层。最简单、最好理解的方式是在整个网络特征的后面，如图2所示。f
k
之后的特征为feat
k
一般会经过全连接层(fc)这样的映射函数得到最后结果。根据贝叶斯理论，特征可由均值和方差组合而成，在神经网络中，可以当作分别经两个fc层同时预测均值μ(feat
k
)和方差∑(feat
k
)，最后特征表示为：
[0074]
μ(feat
k
) α∑(feat
k
)。
[0075]
这样这个特征就可以像正常的特征一样使用，例如，后面接判别器用来判别主体类型。
[0076]
s123：利用判别器根据训练图像对应的标签对预测结果进行判断；
[0077]
s124：当判断结果小于或等于预设值时，得到训练好的机器学习模型。
[0078]
其中，本实施例中的机器学习模型可以是卷积神经网络也可以是其他神经网络模型、或者机器学习领域的其他提取特征的模型。
[0079]
具体的，卷积神经网络的训练基本流程如图2所示，先对网络参数进行初始化，图
像输入网络得到feat
k
，再经fc层得到μ(feat
k
) α∑(feat
k
)，进一步预测出目标形式的结果y
j
。根据分析任务目标的不同选择合适的损失函数l(
·
，
·
)，计算预测结果与标签之间的差异为了使均值和方差服从正态分布，可以加约束，令均值接近1，方差接近0，惩罚差距过大的情况：
[0080][0081]
整个训练的优化目标为
[0082][0083]
根据链式法则和反向传播算法，可计算出损失值关于网络每个参数的梯度，为了减小损失，利用优化算法，通过更新迭代，在一定迭代次数后，可以训出比较好的网络参数，使预测的分析结果更加准确。
[0084]
利用上述方法训练好的机器学习模型进行显微图像分析，具体可以包括：
[0085]
将显微图像i
u
输入到训练好的卷积神经网络中，网络在给出预测结果的同时，还能得到对预测结果的不确定性∑(feat
k
)。这个不确定性∑(feat
k
)值越低，说明网络对自己输出的结果比较确定；这个不确定性∑(feat
k
)值越大，说明对结果越不确定，可以交给人工核查。
[0086]
上述实施例方法有助于提升显微图像分析的速度和准确性，有效地解决了显微图像自动分析过程中的不确定性问题，节约人工成本。
[0087]
利用上述显微图像分析方法可以得到图像中所有微生物的类型、位置、尺寸和状态等信息。并且该方法是快速且较为准确的分析算法。对于难度比较大的图像，自动化分析算法也会有不确定的情况，如果能同时给出不确定性估计，可以将不确定的结果给人工核查，以增加分析结果的准确性。
[0088]
在本技术的一些可选实施例中，当不确定性估计大于预设值时，在将显微图像输入到训练好的机器学习模型中，得到微生物分析结果和对微生物分析结果的不确定性估计之后，方法还包括：
[0089]
发出对显微图像进行人工核查的提醒信息。
[0090]
本实施例方法在对微生物分析不准确时可以使用者进行人工核查，也就是在不确定性∑(feat
k
)值超过预设值时，可以交给人工核查。其中，预设值可以根据经验设置，在此不做限定。
[0091]
在本技术的一些可选实施例中，机器学习模型包括：全连接层和判别器，训练好的机器学习模型是通过下述方法训练得到的：
[0092]
获取显微图像训练数据集，显微图像训练数据集中每个训练图像均有对应的标签；
[0093]
将显微图像训练数据集中的训练图像输入全连接层中，得到预测结果；
[0094]
利用判别器根据训练图像对应的标签对预测结果进行判断；
[0095]
当判断结果小于或等于预设值时，得到训练好的机器学习模型。
[0096]
本实施例方法通过对机器学习模型引入不确定性估计，并进行了训练，根据判别器的判别结果判断该机器学习模型是否符合要求，当判断结果小于或等于预设值时，利用
该训练好的机器学习模型进行显微图像的分析，可以高效地获得分析结果及对对结果的不确定性估计，节省了人工成本和时间成本，不确定性估计能更好地帮助理解分析结果。其中，预设值可以根据经验设置，再此不做限定。
[0097]
在本技术的一些可选实施例中，获取显微图像训练数据集包括：
[0098]
获取显微训练图像；
[0099]
对显微训练图像进行标注，得到带标注图像数据；
[0100]
对带标注图像数据进行数据增广，得到显微图像训练数据集。
[0101]
在本技术的一些可选实施例中，数据增广包括：图像平移、图像旋转、图像镜像变换、改变图像对比度及改变图像亮度。
[0102]
本实施例方法得到的数据集增加数据量和多样性，从而加强算法的鲁棒性。利用本实施例方法得到的数据集训练的模型进行显微图像分析助于提升显微图像分析的速度和准确性，有效地解决了显微图像自动分析过程中的不确定性问题，节约人工成本。
[0103]
在本技术的一些可选实施例中，将显微图像训练数据集中的训练图像输入全连接层中，得到预测结果，包括：
[0104]
将显微图像训练数据集中的训练图像输入特征提取网络中，提取训练图像的图像特征；
[0105]
将图像特征分别输入两个全连接层中，得到预测均值和预测方差；
[0106]
根据预测均值与预测方差生成预测结果。
[0107]
本实施例方法是根据贝叶斯理论，特征可由均值和方差组合而成，在神经网络中，可以当作分别经两个fc层同时预测均值μ(feat
k
)和方差∑(feat
k
)，最后特征表示为
[0108]
μ(feat
k
) α∑(feat
k
)。
[0109]
这样这个特征就可以像正常的特征一样使用，例如，后面接判别器用来判别主体类型。利用本实施例方法训练的模型进行显微图像分析助于提升显微图像分析的速度和准确性，有效地解决了显微图像自动分析过程中的不确定性问题，节约人工成本。
[0110]
在本技术的一些可选实施例中，当判断结果超过预设值时，方法还包括：
[0111]
计算损失值与机器学习模型的网络参数之间梯度关系；
[0112]
通过利用显微图像训练数据集迭代训练机器学习模型，根据梯度关系调整网络参数以使损失值减小。
[0113]
具体的，根据链式法则和反向传播算法，可计算出损失值关于网络每个参数的梯度，为了减小损失，利用常见的优化算法，通过更新迭代，在一定迭代次数后，可以训出比较好的网络参数，使预测的分析结果更加准确。
[0114]
利用本实施例方法训练的模型进行显微图像分析助于提升显微图像分析的速度和准确性，有效地解决了显微图像自动分析过程中的不确定性问题，节约人工成本。
[0115]
需要说明的是，本技术实施例提供的显微图像分析方法，执行主体可以为显微图像分析装置，或者该显微图像分析装置中的用于执行显微图像分析的方法的控制模块。本技术实施例中以显微图像分析装置执行显微图像分析的方法为例，说明本技术实施例提供的显微图像分析的装置。
[0116]
如图3所示，在本技术实施例的第二方面，提供一种显微图像分析装置，该装置可以包括：
[0117]
获取模块310，用于获取显微图像；
[0118]
特征提取模块320，用于将显微图像输入到训练好的机器学习模型的特征提取网络中，得到显微图像特征；
[0119]
预测模块330，用于将显微图像特征输入训练好的机器学习模型的全连接层中，得到微生物分析结果和对微生物分析结果的不确定性估计，其中，训练好的机器学习模型为引入不确定性估计并通过迭代训练的机器学习模型。
[0120]
上述实施例装置利用获取模块310获取显微图像，利用特征提取模块320将显微图像输入到训练好的机器学习模型的特征提取网络中，得到显微图像特征，并利用预测模块330将显微图像特征输入训练好的机器学习模型的全连接层中，得到微生物分析结果和对微生物分析结果的不确定性估计，该装置利用该训练好的机器学习模型进行显微图像的分析，可以高效地获得分析结果及对对结果的不确定性估计，节省了人工成本和时间成本，不确定性估计能更好地帮助理解分析结果，有助于提升显微图像分析的速度和准确性，有效地解决了显微图像自动分析过程中的不确定性问题。
[0121]
本技术实施例中的显微图像分析装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra
‑
mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0122]
本技术实施例中的显微图像分析装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0123]
本技术实施例提供的显微图像分析装置能够实现图1和图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0124]
可选地，如图4所示，本技术实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述显微图像分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0125]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
[0126]
图5为实现本技术实施例的一种电子设备的硬件结构示意图。
[0127]
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
[0128]
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布
置，在此不再赘述。
[0129]
上述实施例设备通过对机器学习模型引入不确定性估计，并进行了迭代训练，从而利用该训练好的机器学习模型进行显微图像的分析，可以高效地获得分析结果及对对结果的不确定性估计，节省了人工成本和时间成本，不确定性估计能更好地帮助理解分析结果。该设备助于提升显微图像分析的速度和准确性，有效地解决了显微图像自动分析过程中的不确定性问题。
[0130]
应理解的是，本技术实施例中，输入单元504可以包括图形处理器(graphics processing unit，gpu)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
[0131]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述显微图像分析方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0132]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
[0133]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述显微图像分析该设备方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0134]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0135]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0136]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下
前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0137]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。