一种检测血细胞的方法、装置、设备及可读存储介质与流程

1.本发明涉及细胞检测技术领域，具体而言，涉及检测血细胞的方法、装置、设备及可读存储介质。


背景技术：

2.在用显微镜观察血细胞的实验考试中，存在交互答题的步骤，要求考生在指定显微镜倍数下观察到清晰物像并截图，再根据此截图分别标注出一处红细胞与白细胞的位置，判断其标注结果是否正确。因此，需要提出一种算法能够自动对考生所提交截图各种细胞位置自动定位，以此作为考生交互答题的结果的判据。
3.然而要判断考生提交的截图是否符合要求，排除模糊，倍数使用错误的情况。传统的图像处理方式为hog 模糊判断：hog主要是提取图像特征判断其是否符合指定倍数图像的特征；模糊判断主要对图像梯度进行计算并分析，设立相应阈值，计算结果大于相应阈值，说明图像轮廓清晰可见；未超过阈值，说明图像不能检测出明显得轮廓，存在一定程度的模糊。
4.而对于符合要求的截图，还需要将图像中红细胞，白细胞，细胞间隙彼此区分开。传统的图像处理方式往往是通过颜色来区分，具体过程为：把图像从rgb颜色空间转换到hsv颜色空间，通过红细胞，白细胞，细胞间隙之间hsv颜色数值的固有差异区分三者。


技术实现要素：

5.本发明的目的在于提供一种检测血细胞的方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：第一方面，本技术提供了一种检测血细胞的方法，包括：获取血细胞图像；所述血细胞图像通过电子显微镜得到，所述血细胞图像中包括至少一组红细胞和白细胞；判断所述血细胞图像是否在指定倍数下清晰；将所述在指定倍数下清晰的血细胞图样中的白细胞和红细胞分别进行识别，得到识别结果，所述识别结果包括所述白细胞的识别结果和所述红细胞的识别结果。
6.可选地,判断所述血细胞图像是否在指定倍数下清晰，包括：获取图像清晰度判断标准，所述图像清晰度判断标准包括至少两个清晰度分类；根据图像分类模型将所述血细胞图像进行清晰度分类计算，得到清晰度分类结果；判断所述清晰度分类结果是否为预设的清晰度分类类型；若是，则所述血细胞图像在指定倍数下清晰；若不是，则所述血细胞图像在指定倍数下不清晰。
7.可选地,得到所述白细胞的识别结果，包括：将所述在指定倍数下清晰的血细胞图像调整到预设的图像尺寸；将调整过后的所述血细胞图像输入至目标检测网络中，得到至少一个框形区域，
所述框形区域中包括至少一个白细胞。
8.可选地,得到所述红细胞的识别结果，包括：用第一向量将所述在指定倍数下清晰的血细胞图像中的红细胞部分的初始聚类中心进行表征，用第二向量将所述在指定倍数下清晰的血细胞图像中的间隙部分的初始聚类中心进行表征，所述间隙部分为所述血细胞图像中不包括红细胞和白细胞的部分；将所述第一向量和所述第二向量输入至k均值聚类模型中进行计算得到聚类结果图像，所述聚类结果图像包括两种不同颜色的区域；所述两种不同颜色的区域分别为红细胞区域和间隙部分区域。
9.第二方面，本技术还提供了一种检测血细胞的装置，包括：获取模块、判断模块和识别模块：获取模块：用于获取血细胞图像；所述血细胞图像通过电子显微镜得到，所述血细胞图像中包括至少一组红细胞与白细胞；判断模块：用于判断所述血细胞图像是否在指定倍数下清晰；识别模块：用于将所述在指定倍数下清晰的血细胞图样中的白细胞和红细胞分别进行识别，得到识别结果，所述识别结果包括所述白细胞的识别结果和所述红细胞的识别结果。
10.可选地,所述判断模块还包括获取单元、第一计算单元和判断单元：获取单元：用于获取图像清晰度判断标准，所述图像清晰度判断标准包括至少两个清晰度分类；第一计算单元：用于根据图像分类模型将所述血细胞图像进行清晰度分类计算，得到清晰度分类结果；判断单元：用于判断所述清晰度分类结果是否为预设的清晰度分类类型；若是，则所述血细胞图像在指定倍数下清晰；若不是，则所述血细胞图像在指定倍数下不清晰。
11.可选地,所述识别模块还包括调整单元和检测单元：调整单元：用于将所述在指定倍数下清晰的血细胞图像调整到预设的图像尺寸；检测单元：用于将调整过后的所述血细胞图像输入至目标检测网络中，得到至少一个框形区域，所述框形区域中包括至少一个白细胞。
12.可选地,所述识别模块还包括表征单元和第二计算单元：表征单元：用于用第一向量将所述在指定倍数下清晰的血细胞图像中的红细胞部分的初始聚类中心进行表征，用第二向量将所述在指定倍数下清晰的血细胞图像中的间隙部分的初始聚类中心进行表征，所述间隙部分为所述血细胞图像中不包括红细胞和白细胞的部分；第二计算单元：用于将所述第一向量和所述第二向量输入至k均值聚类模型中进行计算得到聚类结果图像，所述聚类结果图像包括两种不同颜色的区域；所述两种不同颜色的区域分别为红细胞区域和间隙部分区域。
13.第三方面，本技术还提供了一种检测血细胞的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述检测血细胞的方法的步骤。
14.第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算
机程序，所述计算机程序被处理器执行时实现上述基于检测血细胞的方法的步骤。
15.本发明的有益效果为：加入了卷积神经网络进行图像识别的任务，与传统方法相比，卷积神经网络能够兼顾图像特征提取能力和处理速度，同时对模糊检测更具鲁棒性；加入了目标检测模型对白细胞进行识别定位，与传统识别方法相比，其处理速度与定位精度更高；加入了带先验的k
‑
means聚类算法对细胞间隙和红细胞进行分离，与传统方法相比，带先验的k
‑
means包含图像统计特征，对光照和色调不敏感，聚类更具鲁棒性。
16.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
18.图1为本发明实施例中所述的检测血细胞的方法流程示意图;图2为本发明实施例中所述的检测血细胞的装置结构示意图；图3为本发明实施例中所述的检测血细胞的设备结构示意图。
19.图中:701、获取模块；702、判断模块；703、识别模块；7021、获取单元；7022、第一计算单元；7023、判断单元；7031、调整单元；7032、检测单元；7033、表征单元；7034、第二计算单元；801、处理器；802、存储器；803、多媒体组件；804、输入/输出(i/o)接口；805、通信组件。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
22.现有技术中存在的主要缺点有以下几点：1、hog特征提取的表达能力有限，而实验环境的光照，色调多变，对hog的判断能力影响极大；2、传统的模糊检测方法对运动模糊检测效果较好，但是本实验中由于使用到了显微镜，还存在传统方法所不适应的对焦模糊的情况；
3、hsv颜色检测对色调以及光照强度极具敏感，不具有鲁棒性。
23.而本技术通过加卷积神经网络，能够有效的提高图像特征提取能力和处理速度，同时对模糊检测更具有鲁棒性，通过目标检测模型对白细胞进行识别定位，其处理速度与定位精度更高。通过带图像统计特征先验的k
‑
means聚类算法对细胞间隙和红细胞进行分离，降低光照和色调的影响，聚类更具鲁棒性。
24.实施例1：本实施例提供了一种检测血细胞的方法,所述血细胞可以是人血细胞,也可以是动物血细胞。
25.参见图1，图中示出了本方法包括步骤s100、步骤s200和步骤s300。
26.s100、获取血细胞图像；血细胞图像通过电子显微镜得到，血细胞图像中包括至少一组红细胞和白细胞。
27.可以理解的是，在本实施例中，可以铺设一个场景，比如在考生交互答题的过程中，考生通过不断调整准焦螺旋与物镜倍数，直至观察到符合要求的指定倍数下清晰的物像，进行截图提交，从而获取到血细胞图像。
28.s200、判断血细胞图像是否在指定倍数下清晰。
29.可以理解的是，在本步骤中包括三个步骤s201、s202和s203，分别进行陈述：s201、获取图像清晰度判断标准，图像清晰度判断标准包括至少两个清晰度分类。
30.在本发明中，可以通过mobilev2模型对图像进行分类，图像分属正确的类别后，进行后续处理操作；否则，判定考生提交图像不符合要求，不得分。
31.其中，需要说明的是，mobilev2模型是一种图像分类的卷积神经网络，可以利用深度可分离卷积结构对血细胞图像的特征进行提取，得到第一特征图像，第一特征图像包括血细胞图像的每一个区域里的至少一组红细胞与白细胞的纹理、颜色和形状；将第一特征图像输入至全连接神经网络，计算得到图像清晰度分类结果。
32.具体地，制定了4个类别，分别为“物像不在图像中心”，“物像模糊”，“物像不在指定倍数下”，“物像在指定倍数下清晰”， mobilev2网络会对血细胞图像进行识别后会输出，4个类别的的概率（概率和为1），概率最高的那个类别将作为输出类别。
33.应当理解的是，本发明的一个实施例中所使用的mobilev2模型是图像分类模型的一种，选择mobilev2的理由在于相同精度情况下，其处理速度较优，但该步骤的处理不仅限于mobilev2，类似的其他图像分类网络，诸如resnet，densenet和googlenet等也能达到相应的效果，过程不再赘述。
34.s202、根据图像分类模型将血细胞图像进行清晰度分类计算，得到清晰度分类结果。
35.其中，清晰度分类计算，得到清晰度分类结果包括：使用图像分类模型提取血细胞图像中的图像特征；将图像特征输入全连接神经网络中，得到血细胞图像的每一个清晰度分类的概率；比较每一个清晰度分类的概率的值，得到清晰度分类结果，清晰度分类结果为清晰度分类的概率的值最高的清晰度分类。
36.s203、判断清晰度分类结果是否为预设的清晰度分类类型；若是，则血细胞图像在
指定倍数下清晰；若不是，则血细胞图像在指定倍数下不清晰。
37.需要说明的是，如果在指定倍数下清晰的话就会对其进行识别后输出，如果不清晰的话就不会输出，并且会输出概率最高的那个类别。
38.s300、将在指定倍数下清晰的血细胞图样中的白细胞和红细胞分别进行识别，得到识别结果，识别结果包括白细胞的识别结果和红细胞的识别结果。
39.得到识别结果之后，还包括：获取血细胞图像中的细胞标记信息，细胞标记信息包括白细胞的标记信息和红细胞的标记信息；将细胞标记信息与识别结果进行比对，判断细胞标记信息是否正确。
40.可以理解的是，在本步骤中，有两个步骤，分别为s301和s302。
41.其中，s301为：将在指定倍数下清晰的血细胞图像调整到预设的图像尺寸；将调整过后的血细胞图像输入至目标检测网络中，得到至少一个框形区域，框形区域中包括至少一个白细胞。
42.在本实施例中，根据yolov4模型对血细胞图像的特征进行提取，得到第二特征图像，第二特征图像包括主干网络的选择信息、非极大值抑制的阈值和先验框信息；需要说明的是，其中yolo(you only look once)是一种基于anchor的神经网络目标检测算法，采用cutmix、mosaic、self
‑
adversarial等方法进行训练。具体地，可将图片调整到预设尺寸，如416*416后输入训练好的yolov4目标检测模型，得到边界为x1、y1、x2、y2的矩形框，然后将矩形框所包围的区域视作白细胞区域。
43.应当理解的是，发明的一个实施例中所使用的yolov4只是目标检测模型中的一种，目标检测算法可以分为one
‑
stage算法，例如yolo算法、ssd算法等，和two
‑
stage算法，例如r
‑
cnn系算法等。在多次实际环境的测试中，yolov4已足以应对物理实验中的复杂场景检测，而yolov4中例如特征提取主干网络的选择、非极大值抑制的阈值、先验框等具体参数可由实验人员自行调节至理想值，这里不做具体要求。
44.根据第二特征图像通过计算得到白细胞区域，将每个白细胞区域进行标记。
45.其中，s302为：用第一向量将在指定倍数下清晰的血细胞图像中的红细胞部分的初始聚类中心进行表征，用第二向量将在指定倍数下清晰的血细胞图像中的间隙部分的初始聚类中心进行表征，间隙部分为血细胞图像中不包括红细胞和白细胞的部分；将第一向量和第二向量输入至k均值聚类模型中进行计算得到聚类结果图像，聚类结果图像包括两种不同颜色的区域；两种不同颜色的区域分别为红细胞区域和间隙部分区域。
46.在本实施例中，在聚类之前，会先计算出一些先验统计量，计算公式如下：
式中，表示待处理的图像；分别表示图像的宽和高；图像是一个三维的张量，其中表示图像在宽度为高度为通道为处的像素值（）；分别为计算最大值和最小值函数；分别统计了图像通道像素的最大值；分别统计了图像通道像素的最小值；其中，为之前的统计量构成的向量，分别表征了在指定倍数下清晰的血细胞图像中的间隙部分的初始聚类中心以及在指定倍数下清晰的血细胞图像中的红细胞部分的初始聚类中心，也就是第一向量和第二向量。
47.将第一向量和第二向量带入到k
‑
mean算法中，作为算法中的初始化条件，然后再执行k
‑
means算法分离，得到聚类结果图像，聚类结果图像包括两种不同颜色的区域；两种不同颜色的区域分别为红细胞区域和间隙部分区域。
48.在本实施例中，红细胞区域和间隙部分区域以两种不同颜色区分，其中白色部分为间隙部分区域，黑色部分为红细胞区域。
49.最后在场景化实施例中，可以获取考生的标注，对比在其指定的标注位置，可以查看标注类型（红细胞或者是白细胞）是否正确；若正确了，将得分并结束；若是不正确，则不得分，结束。
50.实施例2：如图2所示，本实施例提供了一种检测血细胞的装置，参见图2装置包括获取模块701、判断模块702和识别模块703：获取模块701：用于获取血细胞图像；血细胞图像通过电子显微镜得到，血细胞图像中包括至少一组红细胞和白细胞。
51.其中，需要说明的是，mobilev2模型是一种图像分类的卷积神经网络，可以利用深度可分离卷积结构对血细胞图像的特征进行提取，得到第一特征图像，第一特征图像包括血细胞图像的每一个区域里的至少一组红细胞与白细胞的纹理、颜色和形状；将第一特征图像输入至全连接神经网络，计算得到图像清晰度分类结果。
52.具体地，制定了4个类别，分别为“物像不在图像中心”，“物像模糊”，“物像不在指定倍数下”，“物像在指定倍数下清晰”， mobilev2网络会对血细胞图像进行识别后会输出，4个类别的的概率（概率和为1），概率最高的那个类别将作为输出类别。
53.应当理解的是，本发明的一个实施例中所使用的mobilev2模型是图像分类模型的一种，选择mobilev2的理由在于相同精度情况下，其处理速度较优，但该步骤的处理不仅限于mobilev2，类似的其他图像分类网络，诸如resnet，densenet和googlenet等也能达到相应的效果，过程不再赘述。
54.判断模块702：用于判断血细胞图像是否在指定倍数下清晰。
55.优选地，判断模块702还包括获取单元7021、第一计算单元7022和判断单元7023；其中，获取单元7021：用于获取图像清晰度判断标准，图像清晰度判断标准包括至少两个清晰度分类；第一计算单元7022：用于根据图像分类模型将血细胞图像进行清晰度分类计算，得到清晰度分类结果；其中包括使用图像分类模型提取血细胞图像中的图像特征；将图像特征输入全连接神经网络中，得到血细胞图像的每一个清晰度分类的概率；比较每一个清晰度分类的概率的值，得到清晰度分类结果，清晰度分类结果为清晰度分类的概率的值最高的清晰度分类。
56.其中，清晰度分类计算，得到清晰度分类结果包括：使用图像分类模型提取血细胞图像中的图像特征；将图像特征输入全连接神经网络中，得到血细胞图像的每一个清晰度分类的概率；比较每一个清晰度分类的概率的值，得到清晰度分类结果，清晰度分类结果为清晰度分类的概率的值最高的清晰度分类。
57.判断单元7023：用于判断清晰度分类结果是否为预设的清晰度分类类型；若是，则血细胞图像在指定倍数下清晰；若不是，则血细胞图像在指定倍数下不清晰。
58.识别模块703：用于将在指定倍数下清晰的血细胞图样中的白细胞和红细胞分别进行识别，得到识别结果，识别结果包括白细胞的识别结果和红细胞的识别结果。
59.优选地，识别模块703还包括调整单元7031、检测单元7032、表征单元7033和第二计算单元7034：其中，调整单元7031：用于将在指定倍数下清晰的血细胞图像调整到预设的图像尺寸；在本实施例中，根据yolov4模型对血细胞图像的特征进行提取，得到第二特征图像，第二特征图像包括主干网络的选择信息、非极大值抑制的阈值和先验框信息；检测单元7032：用于将调整过后的血细胞图像输入至目标检测网络中，得到至少一个框形区域，框形区域中包括至少一个白细胞；表征单元7033：用于用第一向量将在指定倍数下清晰的血细胞图像中的红细胞部分的初始聚类中心进行表征，用第二向量将在指定倍数下清晰的血细胞图像中的间隙部分的初始聚类中心进行表征，间隙部分为血细胞图像中不包括红细胞和白细胞的部分；第二计算单元7034：用于将第一向量和第二向量输入至k均值聚类模型中进行计算得到聚类结果图像，聚类结果图像包括两种不同颜色的区域；两种不同颜色的区域分别为红细胞区域和间隙部分区域。
60.在本实施例中，在聚类之前，会先计算出一些先验统计量，其中v_1,v_2为之前的统计量构成的向量，分别表征了在指定倍数下清晰的血细胞图像中的间隙部分的初始聚类中心以及在指定倍数下清晰的血细胞图像中的红细胞部分的初始聚类中心，也就是第一向
量和第二向量。
61.将第一向量和第二向量带入到k
‑
mean算法中，作为算法中的初始化条件，然后再执行k
‑
means算法分离，得到聚类结果图像，聚类结果图像包括两种不同颜色的区域；两种不同颜色的区域分别为红细胞区域和间隙部分区域。
62.在本实施例中，红细胞区域和间隙部分区域以两种不同颜色区分，其中白色部分为间隙部分区域，黑色部分为红细胞区域。
63.需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
64.实施例3：相应于上面的方法实施例，本实施例中还提供了一种检测血细胞的设备，下文描述的一种检测血细胞的设备与上文描述的一种检测血细胞的方法可相互对应参照。
65.图3是根据示例性实施例示出的一种检测血细胞的设备800的框图。如图3所示，该检测血细胞的设备800可以包括：处理器801，存储器802。该检测血细胞的设备800还可以包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。
66.其中，处理器801用于控制该检测血细胞的设备800的整体操作，以完成上述的检测血细胞的方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该检测血细胞的设备800的操作，这些数据例如可以包括用于在该检测血细胞的设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read
‑
only memory，简称eprom)，可编程只读存储器(programmable read
‑
only memory，简称prom)，只读存储器(read
‑
only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该检测血细胞的设备800与其他设备之间进行有线或无线通信。无线通信，例如wi
‑
fi，蓝牙，近场通信(near fieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：wi
‑
fi模块，蓝牙模块，nfc模块。
67.在一示例性实施例中，检测血细胞的设备800可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digitalsignal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的检测血细胞的方法。
68.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该
程序指令被处理器执行时实现上述的检测血细胞的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由检测血细胞的设备800的处理器801执行以完成上述的检测血细胞的方法。
69.实施例4：相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种检测血细胞的方法可相互对应参照。
70.一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的检测血细胞的方法的步骤。
71.该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
72.综上所述，本发明首先使用特征提取能力更强的轻量级神经网络对所截取的图像进行分类，所涉及的类别包含观察对象不在视野中心，显微镜倍数错误，物像模糊，物像清晰。如此做法可以兼顾处理速度，特征提取能力，模糊检测鲁棒性三个问题；并且本发明首先统计图像中颜色分布情况，然后利用此先验分布作为初始化条件，再利用kmeans聚类将红细胞与细胞间隙分割开。最终，将聚类结果与目标检测结果合并到一起形成最终的细胞分割结果。
73.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。