一种生物样品的数字显微成像系统及镜检方法与流程

1.本发明属于显微成像领域，具体涉及一种生物样品的数字显微成像系统及镜检方法，生物样品包括例如血液、血液寄生虫、动植物组织切片、口腔上皮细胞等。


背景技术：

2.显微镜检查(镜检)是进行样本分析的常见方法，在疾病诊断中具有重要作用。由于多数生物样本，例如血细胞、宫颈细胞、脑脊液等，是透明或半透明样本，使用传统的显微成像方法无法观测。镜检中通常需要使用染料(化学染料、荧光染料等)染色样品，对样品结果进行标记。然后由专业领域人士在显微镜下对染色样品进行目视镜检。由此也带来以下几个局限性：
3.1、染色步骤繁琐，耗时长；
4.2、染色操作专业性较强，需要依赖经过训练的专业技术人员；
5.3、染料以及不同人员的技术水平差异都会导致染色差异，对样本的显微镜检查造成影响；
6.4、样本镜检由专业领域人士，通过显微镜目视的方式实现，十分耗时与耗费精力；且显微镜检查结果受专业领域人士的主观判断影响；
7.5、染色、人工镜检对专业人员的高度依赖限制了其在紧急救助场景以及医疗匮乏资源地区的应用。
8.目前主要有两类途径用于解决上述局限性。
9.1、为解决镜检依赖专业领域人士，且耗时、耗力的问题，现有公开技术通过发展基于机器学习的算法对染色样本图像进行智能检测与分析。cn106248559b提出一种基于深度学习的白细胞五分类方法、cn108257124a提出一种基于自适应模糊聚类计数的白细胞自动分割技术方法、cn112070772a提出一种基于unet 和resnet的白细胞自动分割方法。
10.但这类途径还是需要样本的染色步骤，没有解决染色耗时、耗力、染色结果受染料本身以及染色人员专业水平影响等问题；且样品染色风格差异也会导致基于样本染色图像的智能检测和分析结果产生错误。
11.2、为解决染色方法带来的局限性，现有公开技术通过发展了用于透明或半透明生物样本的无标记成像方法。cn1553166a提出了一种基于骨髓和外周血细胞显微多光谱图像的自动分析方法、另外，还有基于光学模型，计算重建样品三维折射率的方法。cn107958475b提出了一种基于亥姆霍兹方程等光学模型，重建样本的三维折射率分布的方法、cn109580457b提出一种基于led编码照明调制，实现物体三维折射层析定量折射率反卷积重构的方法。
12.但现有公开的用于透明或半透明生物样本的无标记成像方法，需要通过采集或重建样本的三维特征参数，导致较长的数据采集时间。
13.此外，泽尼克显微镜和dic显微镜是两种常见的可用于透明或者半透明生物样本成像的显微镜，但其光学系统结构精密，使用前需要进行光学系统的矫正，操作复杂。而对
于一些需要显微镜检查的场景，其对样本数据的获取时间和系统的操作复杂性均有较高的要求。例如临床血涂片镜检，通常由血液科医生在显微镜目镜下观察大范围的血细胞形态、数量，才给出最终的检测结果，对数据获取速度具有较高需求；且血液科医生通常习惯使用的是传统的显微成像系统，需要复杂光学系统矫正的系统不符合医生的使用习惯。
14.因此，需要一种符合大多数领域专业人士使用习惯且容易实现的成像方式，在不染色的条件下，直接对透明或半透明样本的成像，或者即使染色也不影响样本的成像。
15.同时，为解决人工镜检依赖专业领域人士，耗时、耗力，且镜检结果受专业领域人士主观判断影响等问题，该成像方法需要结合基于机器学习的智能算法，用于对该方法采集到的数字图像进行自动的数据处理与分析。
16.另外，为给专业领域人士提供其习惯阅读的样品染色之后的图像，还需要实现将该成像方式采集到的样本图像的颜色变换成经过真实染色之后的样本图像的颜色。


技术实现要素：

17.针对现有技术以上缺陷或改进需求中的至少一种，本发明提供了一种生物样品的数字显微成像系统及镜检方法，镜检方法包括基于机器学习的显微数字图像模式识别的方法和基于机器学习的显微数字图像的数字染色方法。
18.为实现上述目的，按照本发明的一个方面，提供了一种生物样品的数字显微成像系统，包括：
19.数字显微镜，其包括物镜和数字相机，用于获取样品的显微数字图像；
20.照明模块，为样品成像提供透射照明条件；
21.对焦机构，用于调整样品面与数字显微镜物方对焦面之间的距离d；
22.其中还包括：
23.自动对焦计算单元，该自动对焦计算单元控制对焦机构，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内后，数字显微镜获取样品的显微数字图像，其中n代表物方折射率，λ代表照明波长，na代表所述数字显微镜的物镜的数值孔径。
24.优选地，该自动对焦计算单元控制对焦机构，使得样品面与数字显微镜物方焦面之间的距离d调整缩小到指定范围内。
25.优选地，所述生物样品是透明或半透明样本，进一步优选为不经过真实染色条件下的生物样品。当然，如果染色不影响样本的成像的生物样品也可以适用于此，比如如果是荧光染料，其实染色之后，在样品的颜色上也不会有所改变，也能用本系统成像；如果是化学染料，当染色比较浅的时候，也可以用本系统和方法来增加结构对比度。对于其他常规染色的样品，通过这种成像方式，也可以获得更多的图像细节或者额外的一些图像细节。
26.优选地，所述照明模块的照明波长范围为400～420nm；相比于其他可见光波段，基于此波长范围可以实现更高的空间分辨率。
27.优选地，所述照明模块使用小角度透射照明，所述小角度透射照明是指其所提供的照明归一化强度分布峰值的半高位置对应的照明角度的绝对值θ
ill
和所述物镜的孔径角
θ
obj
满足如下关系：θ
ill
《θ
obj
；所述小角度透射照明有利于提高采集到的样品的显微数字图像的对比度。
28.优选地，所述照明模块的照明是暗场照明。
29.优选地，生物样品为透明或者半透明样本，包括不经过真实染色的条件下，例如血液、血液寄生虫、动植物组织切片、口腔上皮细胞等。血液例如为不经过真实染色的人血涂片，所述样品面指的是所述不经过真实染色的人血涂片中红细胞的清晰的对焦面。
30.需要说明的是，所述红细胞中包含红色血红蛋白，属于强度型样本；其经染色后、在现有的普通明场显微镜下成像，具有唯一的一个清晰的对焦面，必须在d＝0、样品面与数字显微镜物方焦面重合时，才能有清晰成像。
31.本发明所述的显微成像系统，采用的是基于离焦的相衬成像方法，其原理在于：透明或者半透明样本属于相位型样本，使用传统的成像方式，难以采集到样品内部结构图像。其中当照明模块采用的是小角度照明时，经过透明或者半透明样品的光场波前可以携带样品的内部相位信息。若所述步骤1的照明模块为样本提供准直光照明，其中准直光照明指的是照明角度为0
°
。图1是采用准直光为样品提供透射照明时的示意图，其中示出了准直光入射样品前的波前分布100，样品的等相位面110，准直光透过样品后的波前分布101，其包含样品的相位分布信息。
32.在不考虑光学系统衍射受限的情形下，假设样品分布满足函数s(x)。仅考虑光学系统离焦像差的情形下，根据光学系统的傅里叶变换性质，像面处的光场分布满足u
image
＝f-1
(f(s(x))a(w))，其中x是空间变量，s(x)代表样本空间分布，f(
·
)代表傅里叶变换，w是频谱向量。代表光学系统的离焦像差函数；其中λ代表照明波长，d所述样品面与数字显微镜物方对焦面之间的距离。像面处强度分布满足：将上述样品分布和离焦像差函数带入，得到：样本的数字显微图像强度分布和离焦距离d的关系：i(x)＝|(1 ikd)s(x) iπλdδs(x)|2。根据公式，离焦获取样品相位的本质是产生干涉，物体波前和弱衍射波前(物体二阶偏导数)干涉，将样本相位引入强度分布中。根据公式，若离焦距离d＝0,成像系统只能获取样本的强度信息。若所述样品是纯相位型样本，且样品的相位分布满足正弦型光栅分布：φ(x)＝c1sin(2πu0x)，其中c1是代表样本相移大小的常数，u0代表样品相位分布的空间频率。则该样品分布满足：s(x)＝e
iφ(x)
≈1 iφ(x)。根据前述数字显微图像的强度分布的计算方法，在小离焦限制的条件下，此时强度分布满足：
33.根据此公式，当离焦距离d≠0时，强度分布是样品相位分布的线性函数。并且根据此公式，当d》0，样品所在区域的强度大于背景强度，样品呈现
‘
亮’分布；当d《0时，样品所在区域的强度小于背景强度，样品呈现
‘
暗’分布；对于一般的相位型样品，使用本发明所述的显微成像系统，样品在像面的强度分布的公式推导与前述关于满足正弦型光栅分布的相位型样品的分布推导类似。为达到更高的相位成像对比度，离焦距离d与物方折射率n、物镜数值孔径na、照明波长λ，应该满足所述关系：在考虑光学系统衍射受限的情形下，样品在像面的强度分布也
满足上述规律；相关仿真见图2a-f，集中示出了采用小角度照明时，在衍射受限光学系统下，仿真的纯相位型样本在不同焦面的成像结果对照，其中示出了，仿真物体的振幅分布(常数)；仿真的小角度照明条件下，照明角度绝对值θ
ill
和物镜孔径角θ
obj
比值是0.2时，照明孔径对应的频域范围与物镜数值孔径对应的频域范围；在焦条件下，物体的仿真数字显微图像；仿真物体的相位分布；正离焦条件下，物体的仿真数字显微图像；负离焦条件下，物体的仿真数字显微图像。
34.本发明提出的一种生物样品的数字显微成像系统，至少可以实现以下几个有益效果：
35.a结合本发明所述的自动对焦计算单元，所述显微成像系统可以实现对不经过真实染色的透明或半透明样品的直接成像；显微镜镜检是很多病理检测的重要手段，但由于其通常需要复杂的样品制备，需要经过训练的专业技术人员操作完成。将该显微成像系统用于显微镜镜检工作，可以解决传统镜检方法中样品染色带来的染色步骤多、耗时、专业性强、染色质量依赖技术人员水平等局限性，简化镜检步骤、缩短镜检时间。同时，和其他的用于透明样品的成像方法，例如泽尼克、dic、数字全息显微镜等比较，本发明提出的显微成像系统操作简单，更符合病理学家、生物学家等的使用习惯。
36.b在让所述样品面与数字显微镜物方对焦面之间的距离d满足：的条件下，有利于提高样品显微数字图像中样品内部结构的对比度。
37.为实现上述目的，按照本发明的另一个方面，还提供了一种基于机器学习的显微数字图像模式识别的方法，其中，包括如下步骤：
38.s1、采集样品的数字显微图像；
39.其中，采集样品的数字显微图像时，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内，其中n代表物方折射率，λ代表照明波长，na代表数字显微镜的物镜的数值孔径；
40.s2、使用机器学习图像模式识别模块，检测步骤s1采集的数字显微图像中的预定目标。
41.这一方法对于不经过真实染色条件下的生物样品和染色不影响样本的成像的生物样品都适用。
42.同时，这一方法中的机器学习图像模式识别模块，可以是基于传统算法，也可以是基于深度学习算法，而前者是不需要经过训练的，后者则需要；无论是前者还是后者，上述两类生物样品都适用，下面仅做示例性说明。
43.为实现上述目的，按照本发明的另一个方面，还提供了一种基于机器学习的显微数字图像模式识别的方法，其中，包括如下步骤：
44.s1、在生物样品不经过真实染色的条件下，采集样品的数字显微图像；
45.其中，采集样品的数字显微图像时，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内，其中n代表物方折射率，λ代表照明波长，na代表数字显微镜的物镜的数值孔径；调节的手段不限，可以采用所述的生物样品的数字显微成像
系统，也可以采用其他调节设备，还可以手动调节等调节方式；
46.s2、训练机器学习图像模式识别模块；
47.其中，用于训练机器学习图像模式识别模块的训练集包括样品面与显微物镜对焦面之间的距离d在指定范围内的、不经过真实染色的样品的数字显微图像；
48.s3、使用经过训练后的机器学习图像模式识别模块，检测步骤s1采集的不经过真实染色的样品的数字显微图像中的感兴趣目标(预定目标)。
49.优选地，步骤s2包括如下步骤：
50.s21、将步骤s1中的样品进行染色，获取真实染色样品；
51.s22、使用明场显微镜采集所述染色样品的在焦显微图像，获取不经过真实染色的样品的数字显微图像中的预定目标的标签；
52.s23、使用步骤s1采集的不经过真实染色的样品的数字显微图像以及上述标签，训练机器学习图像模式识别模块。
53.优选地，步骤s1中所述照明模块的照明波长范围为400～420nm。相比于其他可见光波段，基于所述波长范围进行成像，可以实现更高的空间分辨率。
54.优选地，步骤s1中所述照明模块采用的是小角度照明。其中小角度照明指的是所述照明模块的数值孔径小于所述显微成像系统所带物镜的数值孔径；其特征还在于其所提供的照明归一化强度分布的半高位置对应的角度的绝对值θ
ill
和所述物镜孔径角θ
obj
满足如下关系：θ
ill
《θ
obj
。
55.优选地，步骤s1中所述照明模块的照明是暗场照明。
56.优选地，步骤s2中，所述机器学习图像模式识别模块是目标检测或目标分割机器学习图像模式识别模块。
57.优选地，步骤s2中，所述机器学习图像模式识别模块是基于深度学习的目标检测器，为r-cnn、fast r-cnn、rpn、yolo/v2/v3/v4/v5中的任一个。
58.优选地，步骤s3中所述的感兴趣目标(预定目标)包含癌细胞、病变细胞等不同类型的细胞，以及病变组织、细胞亚结构(细胞核、细胞质颗粒等细胞内部的结构)、病原体等。
59.优选地，步骤s1中所述样品面与所述数字显微镜物方对焦面之间的距离d调整缩小到指定范围内。
60.本发明提出的一种基于机器学习的显微数字图像模式识别的方法，至少实现以下几个有益效果：
61.a显微镜镜检是很多病理检测的重要手段，但由于其通常需要复杂的样品制备以及专业领域人士在显微镜下镜检，导致目前镜检几乎只能在有基础医疗设施的实施场所，由经过训练的专业技术人员以及专业领域人士共同完成。对于医疗资源稀缺的地区，镜检工作通常难以展开。采用本发明所述的方法,可以在没有经过训练专业技术人员以及染色条件的场所，完成样本制备；同时结合基于机器学习模式识别方法，可以在一定程度上降低对专业领域人士的依赖，用于医疗资源稀缺地区的镜检工作。同时本发明所述机器学习图像模式识别模块检测的感兴趣区域可以作为远程医疗的诊断依据。
62.b和传统的依赖专业领域人士目视镜检样品显微图像的方法相比，本方法可以实现基于机器学习图像模式识别模块的样品感兴趣目标的自动检测。该自动检测可以减轻相
关专业领域人士镜检工作负担，提高镜检效率；同时，降低专业领域人士主观判断对显微镜检查结果的影响。
63.c步骤s1所述调整样品面与所述数字显微镜物方对焦面之间的距离d调整到可以实现对不经过真实染色的透明或半透明样品的直接成像。解决传统镜检方法中样品染色带来的染色步骤多、耗时、专业性强、染色质量依赖技术人员水平等局限性，简化镜检步骤、缩短镜检时间。和其他的用于透明样品的成像方法，例如泽尼克、dic、数字全息显微镜等比较，本发明提出的显微成像系统操作简单，更符合病理学家、生物学家等专业领域人士的使用习惯。
64.d在所述步骤s1中提及的让所述样品面与数字显微镜物方对焦面之间的距离d调整到的条件下，有利于获得更大的所述样品显微数字图像中样品内部结构对比度。
65.为实现上述目的，按照本发明的另一个方面，还提供了一种基于机器学习的显微数字图像的数字染色方法，其中，包括如下步骤：
66.s1、采集生物样品的数字显微图像；
67.其中，采集样品的数字显微图像时，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内，其中n代表物方折射率，λ代表照明波长，na代表数字显微镜的物镜的数值孔径；
68.s2、使用基于机器学习的图像数字染色模块，对步骤s1采集的数字显微图像进行数字染色。
69.这一方法对于不经过真实染色条件下的生物样品和染色不影响样本的成像的生物样品都适用。
70.同时，这一方法中的基于机器学习的图像数字染色模块，可以是基于传统算法，也可以是基于深度学习算法，而前者是不需要经过训练的，后者则需要；无论是前者还是后者，上述两类生物样品都适用，下面仅做示例性说明。
71.为实现上述目的，按照本发明的另一个方面，还提供了一种基于机器学习的显微数字图像的数字染色方法，其中，包括如下步骤：
72.s1、在生物样品不经过真实染色的条件下，采集不经过真实染色的样品的数字显微图像；
73.其中，采集样品的数字显微图像时，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内，其中n代表物方折射率，λ代表照明波长，na代表数字显微镜的物镜的数值孔径；调节的手段不限，可以采用所述的生物样品的数字显微成像系统，也可以采用其他调节设备，还可以手动调节等调节方式；
74.s2、训练基于机器学习的图像数字染色模块；
75.其中，用于训练基于机器学习的图像数字染色模块的训练集包括样品面与显微物镜对焦面之间的距离d在指定范围内的、不经过真实染色的样品的数字显微图像，以及步骤
s1中所述样品在经过真实染色之后，使用明场显微镜采集的在焦图像；
76.s3、使用经过训练后的基于机器学习的图像数字染色模块，对步骤s1采集的不经过真实染色的样品的数字显微图像进行数字染色。数字染色的作用在于改变步骤s1中所述样品的数字显微图像的颜色。
77.优选地，步骤s2包括如下步骤：
78.s21、将步骤s1中的样品进行染色，获取真实染色样品；
79.s22、使用明场显微镜采集所述染色样品的在焦显微图像；
80.s23、配准步骤s1采集的不经过真实染色的样品的数字显微图像与步骤s22采集的染色样品的在焦显微图像；
81.s24、使用所述配准的步骤s1采集的不经过真实染色的样品的数字显微图像与步骤s22采集的染色样品的在焦显微图像，训练基于机器学习的图像数字染色模块。
82.优选地，步骤s1中所述照明模块的照明波长范围为400～420nm。相比于其他可见光波段，基于所述波长范围进行成像，可以实现更高的空间分辨率。
83.优选地，步骤s1中所述照明模块采用的是小角度照明。其中小角度照明指的是所述照明模块的数值孔径小于所述显微成像系统所带物镜的数值孔径；其特征还在于其所提供的照明归一化强度分布的半高位置对应的角度的绝对值θ
ill
和所述物镜孔径角θ
obj
满足如下关系：θ
ill
《θ
obj
。
84.优选地，步骤s1中所述照明模块的照明是暗场照明。
85.优选地，步骤s2中的所述基于机器学习的图像数字染色模块是gan系列的网络模块，为cycle gan、pix2pix gan中的任一个。
86.优选地，所述步骤s3中数字染色的作用在于改变所述步骤1中数字显微图像的颜色，使之与所述步骤1中样品经过he染色后，再使用传统数字显微镜采集到的数字显微图像的颜色相同。
87.优选地，所述步骤s3中数字染色的作用在于改变所述步骤1中数字显微图像的颜色，使之与所述步骤1中样品经过瑞氏吉姆萨染色后，再使用传统数字显微镜采集到的数字显微图像的颜色相同。
88.优选地，所述步骤s3中数字染色的作用在于改变所述步骤1中数字显微图像的颜色，使之与所述步骤1中样品经过荧光染料，例如pi、dapi、hoechst、吖啶橙等，标记后，再使用荧光数字显微镜采集到的数字显微图像的颜色相同。
89.本发明提出的一种基于机器学习的显微数字图像的数字染色方法，至少可以实现以下几个有益效果：
90.a结合本发明所述基于机器学习的显微数字图像的数字染色方法可以将所述显微成像系统采集的样品的数字显微图像改变成相关专业领域人士习惯看的染色样品的的数字显微图像，包括例如瑞氏吉姆萨染色图像、he染色图像、dapi、hoechst等荧光染色图像。该方法有利于相关专业领域人士基于已有的专业领域知识，使用本发明所述的基于机器学习的显微数字图像的数字染色方法完成对应的工作。
91.b结合本发明所述的基于机器学习的数字显微图像的数字染色方法可以在没有或缺少经过训练的专业技术人员以及染色设施的场所，轻松完成样本制备；并且通过机器学习数字染色方法，获得和样品经过物理染色之后采集到的数字显微图像几乎一致的图像。
基于上述原因，本发明所述方法有利于需要显微镜镜检的病理检测在医疗资源稀缺的地区的应用。同时，在缺乏专业领域人士的条件下，还能将数字染色的结果用于远程会诊，辅助医生进行疾病诊断。
92.c所述步骤s1中所述的数字显微成像系统通过对焦机构调整样品面与所述数字显微镜物方对焦面之间的距离d调整到可以实现对透明或半透明样品的直接成像，不需要样本染色步骤，突破真实染色带来的局限性，简化镜检步骤，缩短镜检时间。同时，和其他的用于透明样品的成像方法，例如泽尼克、dic、数字全息显微镜等比较，本发明提出的显微成像系统兼容传统显微成像系统、操作简单，更符合病理学家、生物学家等专业领域人士的使用习惯。
93.d在所述步骤1中提及的让所述样品面与数字显微镜物方对焦面之间的距离d调整到的条件下，有利于增大所述数字显微成像系统采集的样品的显微数字图像中包含的样品结构图像的对比度。
附图说明
94.图1是准直光以透射的方式，透过样品之后，照明波前变化示意图；
95.图2a是仿真物体的振幅分布(常数)的示意图；
96.图2b是仿真的小角度照明条件下，照明角度绝对值θ
ill
和物镜孔径角θ
obj
比值是0.2时，照明孔径对应的频域范围与物镜数值孔径对应的频域范围的示意图；
97.图2c是在焦条件下，物体的仿真数字显微图像的示意图；
98.图2d是仿真物体的相位分布的示意图；
99.图2e是正离焦条件下，物体的仿真数字显微图像的示意图；
100.图2f是负离焦条件下，物体的仿真数字显微图像的示意图；
101.图3是本发明实施例的生物样品的数字显微成像系统的示意图；
102.图4a是不经过真实染色的人血涂片在明场照明下的数字显微图像的示意图；
103.图4b是不经过真实染色的人血涂片在本发明所述显微成像系统下的成像结果的示意图；
104.图4c是本发明基于机器学习的显微数字图像模式识别的方法检测的以白细胞为目标的图像的示意图；
105.图4d是本发明基于机器学习的显微数字图像模式识别的方法检测的以红细胞为目标的图像的示意图；
106.图5a是采用本发明所述显微成像系统采集的不经过真实染色的人血涂片样本的显微数字图像的示意图；
107.图5b是采用本发明基于机器学习的显微数字图像的数字染色方法对图5a的数字显微图像进行数字染色后的结果的示意图；
108.图5c是采用传统显微成像方法采集的瑞氏吉姆萨染色后的人血涂片的数字显微图像的示意图。
具体实施方式
109.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。
110.作为本发明的一种较佳实施方式，如图3所示，本发明提供一种生物样品的数字显微成像系统3001，包括：
111.数字显微镜，其包括数字相机301和至少一个物镜300，用于获取样品的显微数字图像；
112.照明模块310，为样品成像提供透射照明条件；
113.对焦机构320，用于调整样品面与数字显微镜物方对焦面之间的距离d；
114.载物台341，用于支撑包含生物样品的切片340，数字相机301将生物样品切片340通过物镜300成像之后，转换成数字显微图像。
115.在本实施例中，物镜300选用40x，0.95na的显微物镜，数字相机301分辨率1920x 1200像素,其图像传感器的每个像元边长是4.8μm。照明模块310为led灯珠，其照明中心在物镜光轴302所在直线上；该led所提供的中心波长是415nm。该led灯珠为样品提供透射照明。照明模块310上表面到生物样品的切片340下表面之间的距离是85cm。根据物镜300和数字相机301的选型，采用该显微成像系统采集到的数字显微图像对应样品面视野大小是230.4μmx 144um；照明模块310上表面到生物样品的切片340下表面之间的距离远大于该视野大小，因此，该led灯珠近似的为样品提供0
°
照明。在此照明模式下，根据图1，准直光入射样品前的波前分布100透过样品面后，由于受到样品波前的调制，准直光透过样品后的波前分布101，其包含样品的等相位面110的样品相位分布信息。
116.所述生物样品的数字显微成像系统，其中：
117.所述生物样品是不经过真实染色条件下的生物样品；
118.所述显微成像系统还包括：
119.自动对焦计算单元330，该自动对焦计算单元330可以通过输出指令，控制对焦机构320运动；对焦机构320接收指令后带动物镜300运动，从而调整样品面与数字显微镜物方焦面之间的距离d；自动对焦计算单元320的作用在于计算距离d，使之调整到指定范围内后，数字显微镜获取不经过真实染色的样品的显微数字图像，其中n代表物方折射率，λ代表照明波长，na代表所述数字显微镜的物镜的数值孔径。
120.在本实施例中，n＝1,λ＝415nm,na＝0.95,n＝2.5,d满足以下关系：0.15μm《|d|《5.98μm。在本实施例中，离焦距离d＝1μm。在此离焦距离下，不仅可以实现透明样本的结构成像，同时还可以提高采集到的样品数字显微图像的样品内部结构的对比度。
121.所述显微成像系统可以采集不经过真实染色的透明或半透明样品的结构以及内部结构信息。
122.图2a-f集中示出了采用小角度照明时，在衍射受限光学系统下，仿真的纯相位型样本在不同焦面的成像结果对照，其中示出了，仿真物体的振幅分布(常数)200；仿真的小角度照明条件下，照明角度绝对值θ
ill
和物镜孔径角θ
obj
比值是0.2时，照明孔径221对应的
频域范围201与物镜数值孔径对应的频域范围220；在焦条件下，物体的仿真数字显微图像202；仿真物体的相位分布211；正离焦条件下，物体的仿真数字显微图像212；负离焦条件下，物体的仿真数字显微图像213。
123.图4a-b中示出了：不经过真实染色的人血涂片在明场照明下的数字显微图像501；不经过真实染色的人血涂片在本发明所述显微成像系统下的成像结果502，其中白细胞520的内部结构，包括核结构，清晰可见。
124.将该显微成像系统用于显微镜镜检工作，可以解决传统镜检方法中样品染色带来的染色步骤多、耗时、专业性强、染色质量依赖技术人员水平等局限性，简化镜检步骤、缩短镜检时间。同时，和其他的用于透明样品的成像方法，例如泽尼克、dic、数字全息显微镜等比较，该显微成像系统操作简单，更符合病理学家、生物学家等的使用习惯。
125.本发明还提供了一种基于机器学习的显微数字图像模式识别的方法，使用机器学习模式识别模块检测采集的样品的数字显微图像中的感兴趣区域。
126.图像模式识别指的是根据图像特征，包括颜色特征、几何特征、边缘特征、高维特征等，对图像中包含的对象进行检测和分类。机器学习图像模式模块的作用是提取输入图像的图像特征，从而根据提取的图像特征检测和识别图像中的感兴趣目标。感兴趣目标可以是不同细胞类型、细胞结构等。
127.在本实施例中，用于分析的样品是不经过真实染色的人血涂片，机器学习图像模式识别模块(识别器)是目标检测神经网络fast-rcnn，检测的感兴趣目标包括：白细胞、五类白细胞亚型、异常红细胞、正常红细胞、血小板数量、血液寄生虫等。
128.该方法包括如下步骤：
129.s1、在生物样品不经过真实染色的条件下，使用所述的生物样品的数字显微成像系统(仅为示例)，采集样品的数字显微图像；
130.其中，采集样品的数字显微图像时，自动对焦计算单元控制对焦机构(仅为示例)，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内，其中n代表物方折射率，λ代表照明波长，na代表数字显微镜的物镜的数值孔径。
131.具体地说，在本实施例中，选用40x,0.95na的显微物镜。所述显微成像系统的照明模块采用的是小角度照明，其中小角度照明由照明模块310提供。在本实施例中照明是单色led灯珠，其中心波长是415nm。照明模块310上表面到样品340下表面之间的距离是85cm，其近似可为样品340提供0
°
的透射照明。照明数值孔径小于物镜300的数值孔径。和图1展示的原理相同，透过样品的照明波前受样品调制，可携带样品信息。
132.采集样品的显微数字图像时，所述d分别等于-0.3μm、-0.6μm、-0.9μm、0.3μm、0.6μm、0.9μm，所选的距离d有利于提高样品成像内部结构的图像对比度。
133.s2、训练目标检测神经网络fast-rcnn；
134.其中，用于训练目标检测神经网络fast-rcnn的训练集包括样品面与显微物镜对焦面之间的距离d分别等于-0.3μm、-0.6μm、-0.9μm、0.3μm、0.6μm、0.9μm时，不经过真实染色的样品的数字显微图像。
135.具体地，步骤s2包括如下步骤：
136.s21、将步骤s1中的样品进行染色，获取真实染色样品；具体地，使用瑞氏吉姆萨染
料染色人血涂片，获取染色血涂片；
137.s22、使用普通明场显微镜采集所述染色血涂片的在焦显微图像，获取不经过真实染色的样品的数字显微图像中的感兴趣目标(预定目标)的标签，包括白细胞亚型、红细胞、血小板、血液寄生虫等的标签；
138.s23、使用步骤s1采集的不经过真实染色的样品的数字显微图像以及上述标签，训练目标检测神经网络fast-rcnn。
139.s3、使用经过训练后的目标检测神经网络fast-rcnn，检测步骤s1采集的不经过真实染色的人血涂片样品的数字显微图像中的感兴趣目标(预定目标)。
140.图4a-d中示出了：不经过真实染色的人血涂片在明场照明下的数字显微图像501；不经过真实染色的人血涂片在本发明所述显微成像系统下的成像结果502，其中白细胞520的内部结构，包括核结构，清晰可见；使用训练完成的fast-rcnn检测的以白细胞520为目标的图像503；使用训练完成的fast-rcnn检测的以红细胞510为目标的图像504。将不经过真实染色的人血涂片在本发明所述显微成像系统下的成像结果502输入到训练完成的fast-rcnn可以检测出其中的白细胞520即中间黑色大方框区域，将不经过真实染色的人血涂片在本发明所述显微成像系统下的成像结果502输入到训练完成的fast-rcnn也可以检测出其中的红细胞510即多个黑色小方框区域。本实例中检测的红细胞、白细胞亚型，血小板，可以实现临床血液分析中的红细胞计数、白细胞分类计数和血小板计数。
141.将本方法用于血液样本的镜检，至少可以实现以下几个有益效果：
142.a和传统的依赖专业血液科医生目视检查的血液镜检方法相比，本方法可以实现基于机器学习图像目标检测算法的血细胞自动识别、检测、计数；辅助血液科医生镜检，减轻医生镜检负担，提高镜检效率；同时降低血液科医生主观判断的血液镜检结果的影响。
143.b和其他的用于透明样品的成像方法，例如泽尼克、dic、数字全息显微镜等比较，本发明提出的显微成像系统操作简单，更符合血液科医生的镜检习惯。同时，将该显微成像系统用于血液镜检工作，可以解决传统血液镜检需要使用瑞氏吉姆萨染料染色血涂片，带来的染色步骤多、耗时、专业性强、染色质量依赖技术人员水平、染色质量影响诊断结果等问题，简化血液镜检步骤、缩短镜检时间。
144.c传统的血涂片镜检中，血涂片需要由经过训练的专业技术人员用瑞氏吉姆萨染色之后，再由专业的血液科医生在显微镜下镜检。基于本发明所述的方法,可以在缺少经过训练专业技术人员以及染色条件的场所，完成血液样本制备；同时结合基于机器学习模式识别方法，可以在一定程度上降低对专业领域人士的依赖，用于医疗资源稀缺地区(热带、亚热带地区等)的镜检工作。同时本发明所述方法的模式识别结果还可作为远程医疗的诊断依据。
145.本发明还提供了一种基于机器学习的显微数字图像的数字染色方法，采集样品的数字显微图像，并使用基于机器学习的数字染色模块对所述显微成像系统3001采集样品的数字显微图像进行数字染色。在本实施例中，用于成像的样品是不经过染色的人血涂片，所述机器学习图像模式识别模块是循环生成对抗网络cycle gan，所述数字染色指的是将所述不经过染色的人血涂片样品的数字显微图像的颜色转换为所述人血涂片样品的瑞氏吉姆萨染色的显微数字图像的颜色。该数字染色方法，包括如下步骤：
146.s1、在生物样品不经过真实染色的条件下，使用所述的生物样品的数字显微成像
系统(仅为示例)，采集不经过真实染色的样品的数字显微图像；
147.其中，采集样品的数字显微图像时，自动对焦计算单元控制对焦机构(仅为示例)，使得样品面与数字显微镜物方焦面之间的距离d调整到指定范围内，其中n代表物方折射率，λ代表照明波长，na代表数字显微镜的物镜的数值孔径。
148.具体地，在本实施例中，选用40x,0.95na的显微物镜。所述显微成像系统的照明模块采用的是小角度照明。其中小角度照明由照明模块310提供。在本实施例中照明模块310是单色led灯珠，其中心波长是415nm。照明模块310上表面到生物样品的切片340下表面之间的距离是90cm，其近似可为样品340提供0
°
的透射照明。照明数值孔径小于物镜300的数值孔径，透过样品的照明波前受样品调制，可携带人血涂片中血细胞的结构信息。采集样品的显微数字图像时，d＝1.20μm，此离焦距离有利于所述不经过染色的人血涂片样品的内部结构成像。
149.s2、训练cycle gan网络；
150.其中，用于训练cycle gan网络的训练集包括样品面与显微物镜对焦面之间的距离d在指定范围内的、不经过真实染色的样品的数字显微图像，以及步骤s1中所述样品在经过真实染色之后，使用明场显微镜采集的在焦图像。
151.具体地，步骤s2包括如下步骤：
152.s21、将步骤s1中的样品进行染色，获取真实染色样品；具体地，用瑞氏吉姆萨染料染色步骤s1中不经过真实染色的人血涂片；
153.s22、使用传统明场显微镜采集经过瑞氏吉姆萨染色之后的人血涂片的在焦显微图像；
154.s23、配准步骤s1采集的不经过真实染色的人血涂片的数字显微图像与步骤s22采集的人血涂片的瑞氏吉姆萨染色的在焦显微图像；
155.s24、使用所述配准的步骤s1采集的不经过真实染色的人血涂片的数字显微图像与步骤s22采集的人血涂片的瑞氏吉姆萨染色的在焦显微图像，训练cycle gan网络。
156.s3、使用经过训练后的cycle gan网络，对步骤s1采集的不经过真实染色的人血涂片的数字显微图像进行数字染色。数字染色的作用在于改变步骤s1中所述样品的数字显微图像的颜色，使之与人血涂片经过瑞氏吉姆萨染料染色之后的得到的显微数字图像基本一致。
157.图5a-c集中展示了本发明基于机器学习的显微数字图像的数字染色方法的对照结果(上下三行，每一行横向对比)，其中示出了：采用本发明所述显微成像系统采集的不经过真实染色的人血涂片样本的显微数字图像700；采用本发明基于机器学习的显微数字图像的数字染色方法对图5a的数字显微图像进行cycle gan网络数字染色后的结果701；采用传统显微成像方法采集的瑞氏吉姆萨染色后的人血涂片的数字显微图像702。
158.本发明提出的一种基于机器学习的显微数字图像的数字染色方法，至少可以实现以下几个有益效果：
159.a结合基于cycle gan的数字染色的方法可以将显微成像系统3001采集的不经过真实染色的人血涂片的显微数字图像转换成血液科医生习惯看的瑞氏吉姆萨染色血图谱。有利于帮助血液科医生基于已有的血液知识，使用本发明所述显微成像系统采集的所述不
经过真实染色的人血涂片的显微数字图像，完成对应血液镜检工作。
160.b结合基于cycle gan的数字染色的方法可以突破当前血液镜检需要对血涂片进行瑞氏吉姆萨染色的局限性,简化当前血液镜检的步骤，缩短镜检的时间。并且能实现在不染色的条件下，通过机器学习数字染色方法，获得和样品经过物理染色之后采集到的数字显微图像几乎一致的图像。
161.c传统血涂片镜检中，血涂片的染色需要依赖专业的技术人员，基于本方法可以摆脱染色对于专业技术人员的依赖。同时也有利于将该方法应用于缺乏专业技术人员等的医疗资源稀缺的地区(热带、亚热带地区等)；同时数字染色结果也可作为远程医疗的诊断依据。
162.可以理解的是，以上所描述的系统的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
163.另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
164.本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
165.然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明实施例的单独实施例。
166.最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。