数字切片扫描仪的自动分层对焦方法及装置与流程

数字切片扫描仪的自动分层对焦方法及装置
【技术领域】
1.本技术涉及一种数字切片扫描仪的自动分层对焦方法及装置，涉及光学设备技术领域。


背景技术：

2.在数字切片扫描仪分层扫描中，对特定样品层的对焦质量决定了后期分层扫描的图像质量，因此自动分层对焦非常重要。
3.传统的基于清晰度算法的自动对焦方法无法对焦到特定层，另外也可能出现对焦到非样品层(如盖玻片的上层或载玻片下层)，虽然清晰度较高，但并非所需要的样品的对焦位置，从而发生扫描仪扫描结果部分或全部不可用的后果。
4.申请号为201910923558.x的发明专利《一种基于ai的工业图像检测装置及方法》公开了如下内容：检测装置包括嵌入式图像采集端，上位机图像接收端和集成的目标检测网络图像处理部分；嵌入式端将摄像头采集的图像通过以太网接口传输给pc端上位机，上位机端对图像原始数据分析后提取出有效图像帧并进行预处理后送入目标检测网络，随后由神经网络进行预测输出划痕的位置信息，上位机接收到网络输出信息后将其附加在原图上显示。
5.然而，上位机仅能检测划痕位置，若将该方法应用于对切片的扫描图像进行检测，无法检测出是否准确对焦到特定样本层。
6.另外，申请号为201911378594.9的发明专利《显微图像质量分析方法、训练方法、系统、设备及介质》公开了如下内容：根据拍摄方向依次拍摄病理显微图像中各区域的局部图像；采用预先训练得到的一个或多个图像质量分析模型对每次输入的至少一个局部图像进行质量分析；在满足预设质量异常输出条件时，输出显示异常质量分析结果，并控制停止拍摄病理显微图像中的局部图像。目标类型异常质量为失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑、镜头脏污中的任一种。
7.然而，图像质量分析模型仅能对失焦、细胞堆叠、染色过浅、染色过深、气泡、灰尘、树胶、反射光斑和镜头脏污进行检测，同样无法检测出是否准确对焦到特定的样本层。
8.综上，现有的使用ai方式进行图像检测的方式中主要集中于基于图像清晰度高低和有无杂质划痕的判断，均没有考虑到对焦到特定样品层的问题，对于清晰度类似的不同层的图像无法区分。


技术实现要素：

9.本技术提供了数字切片扫描仪的自动分层对焦方法及装置，本技术提出的基于人工智能(artificial intelligence，ai)的自动分层对焦的方法，可以提高自动分层对焦质量，聚焦扫描特定的样品层；还可以随用户使用的增多而不断学习，优化效果。本技术提供如下技术方案：
10.第一方面，提供一种数字切片扫描仪的自动分层对焦方法，所述方法包括：
11.按照特定扫描路径，获取所述数字切片扫描仪对样品不同层扫描得到的扫描图像；所述的扫描路径可以是直线，曲线或折线；
12.将按照特定扫描路径得到的所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像，并将所述符合特定层样本标准的图像的对焦值确定为该层的参考对焦点；所述ai模型是使用样本不同层切片图像和所述样本不同层切片图像的标注信息训练得到的，所述样本不同层切片图像的标注信息包括样本对焦所在层的位置信息；所述符合特定层样本标准的图像是指正确对焦到特定层的图像；
13.按照各层的参考对焦点进行分层扫描。
14.可选地，所述样本对焦所在层的位置信息为盖玻片上层、样品贴盖玻片层、和/或样品层的位置信息；所述特定层与所述样本对焦所在层的位置信息相对应。
15.可选地，所述样本对焦所在层的位置信息为z轴位移传感器获取的位置信息；所述特定层与所述样本对焦所在层的位置信息相对应。
16.可选地，将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之后，还包括：
17.在所述ai模型的分类结果出现错误的情况下，通过人工标注获取所扫描图像的正确标注；
18.使用所述扫描图像和所述正确标注，再次对所述ai模型进行训练，训练后的ai模型用于对后续获取到的扫描图像进行分层预测。
19.可选地，所述将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之前，还包括：
20.获取所述样本不同层切片图像和所述样本不同层切片图像的标注信息；
21.将所述样本不同层切片图像和所述样本不同层切片图像的标注信息使用ai算法训练得到多个模型，并统计不同模型阈值下的分类准确度；
22.将分类准确度符合准确度预期的模型阀值作为模型参数，得到用于分类的所述ai模型。
23.第二方面，提供一种数字切片扫描仪的自动分层对焦装置，所述装置包括：
24.图像获取模块，用于获取所述数字切片扫描仪对样品不同层扫描得到的扫描图像；
25.分层预测模块，用于将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像，并将所述符合特定层样本标准的图像的对焦值确定为该层的参考对焦点；所述ai模型是使用样本不同层切片图像和所述样本不同层切片图像的标注信息训练得到的，所述样本不同层切片图像的标注信息包括样本对焦所在层的位置信息；所述符合特定层样本标准的图像是指正确对焦到特定层的图像；
26.对焦扫描模块，用于按照各层的参考对焦点进行分层扫描。
27.可选地，所述样本对焦所在层的位置信息为盖玻片上层、样品贴盖玻片层、和/或样品层的位置信息；所述特定层与所述样本对焦所在层的位置信息相对应。
28.可选地，所述样本对焦所在层的位置信息为z轴位移传感器获取的位置信息；所述特定层与所述样本对焦所在层的位置信息相对应。
29.可选地，所述装置还包括：
30.图像标注模块，用于在将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之后，在所述ai模型的分类结果出现错误的情况下，通过人工标注获取所扫描图像的正确标注；
31.再次训练模块，用于使用所述扫描图像和所述正确标注，再次对所述ai模型进行训练，训练后的ai模型用于对后续获取到的扫描图像进行分层预测。
32.可选地，所述装置还包括：
33.样本获取模块，用于将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之前，获取所述样本不同层切片图像和所述样本不同层切片图像的标注信息；
34.模型训练模块，用于将所述样本不同层切片图像和所述样本不同层切片图像的标注信息使用ai算法训练得到多个模型，并统计不同模型阈值下的分类准确度；
35.模型选择模块，用于将分类准确度符合准确度预期的模型阀值作为模型参数，得到用于分类的所述ai模型
36.本技术的有益效果至少包括：通过获取数字切片扫描仪对样品不同层扫描得到的扫描图像；将对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像，并将符合特定层样本标准的图像的对焦值确定为该层的参考对焦点；ai模型是使用样本不同层切片图像和样本不同层切片图像的标注信息训练得到的，样本不同层切片图像的标注信息包括样本对焦所在层的位置信息；符合特定层样本标准的图像是指正确对焦到特定层的图像；按照各层的参考对焦点进行分层扫描；可以解决扫描仪无法扫描特定层的样本的问题；通过对扫描对象各层进行分类，筛选出符合特定层样本标准的图像，并按照该图像的参考对焦点进行分层扫描，可以得到特定层样本的扫描图像。
37.另外，由于特定层样本标准的图像是指正确对焦到特定层的图像，因此，可以将未对焦到特定样品层的图像对应的对焦点筛除，可以解决现有的使用ai方式进行图像检测的方式无法检测出是否对焦到特定样品层的问题，聚焦于样品的特定层进行扫描。
38.另外，通过对ai模型不断学习和训练，可以提高自动分层对焦的准确性。
39.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，并可依照说明书的内容予以实施，以下以本技术的较佳实施例并配合附图详细说明如后。
【附图说明】
40.图1是本技术一个实施例提供的数字切片扫描仪的自动分层对焦方法的流程图；
41.图2是本技术另一个实施例提供的数字切片扫描仪的自动分层对焦方法的流程图；
42.图3是本技术一个实施例提供的各个层之间的位置关系和符合特定层样本标准的图像的示意图；
43.图4是本技术一个实施例提供的数字切片扫描仪的自动分层对焦装置的框图。
【具体实施方式】
44.下面结合附图和实施例，对本技术的具体实施方式做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
45.首先，对本技术实施例涉及的若干名词进行介绍。
46.数字切片(即虚拟切片)：是利用全自动显微镜扫描系统，结合虚拟切片软件系统，把传统玻璃切片进行扫描、无缝拼接，生成一整张全视野(whole slide image，wsi)的数字切片。数字切片并非一张静态图片，它是包含了玻璃切片上的所有病变信息，数字切片(超大空间、高分辨率图片)可以在电脑上进行任意的放大和缩小，利用数字切片可以观测到玻璃切片上的任何一个位置，也可以将相应的位置放大到5倍、10倍、20倍、40倍等，如同在显微镜上的放大缩小一样。
47.数字切片是利用数字切片扫描仪(或称数字切片扫描系统)，将玻璃切片进行数字化成一张完整切片后得到的。
48.数字切片扫描仪是一种集光学、机械、电子、计算机等多种技术为一体的精密仪器。通过控制显微成像系统和切片以一定的规则运动，采集多张连续的高分辨率显微图像，再无缝拼接生成一张高分辨率的全切片图像。传统切片变成一张高分辨率的数字图片后，用户可以脱离显微镜随时随地在计算机或移动设备上浏览切片，这种数字图片具有永不褪色、易于保存、管理、分享以及可随意放大缩小全方位观看等优点。
49.数字切片扫描仪在扫描过程中，需要控制显微成像系统对载物台上切片进行对焦，实际应用中往往需要显微镜对焦到特定层来实现。基于此，本技术提供了一种数字切片扫描仪的自动分层对焦方法，下面对该方法进行详细介绍。
50.可选地，本技术以各个实施例提供的数字切片扫描仪的自动分层对焦方法用于数字切片扫描仪中为例进行说明。
51.图1是本技术一个实施例提供的数字切片扫描仪的自动分层对焦方法的流程图，该方法至少包括以下几个步骤：
52.步骤101，获取数字切片扫描仪对样品不同层扫描得到的扫描图像。
53.扫描图像是数字切片扫描仪对传统的玻璃切片进行扫描得到的图像。由于在扫描过程中可能会存在图像对焦到样品不同层的情况，因此，需要对扫描图像的自动对焦情况进行分层对焦控制。后续仅使用对焦特定层的对焦结果进行对焦。
54.具体地，数字切片扫描仪按照特定扫描路径，该扫描路径可以是直线，曲线或折线，本实施例不对扫描路径的形状作限定。
55.步骤102，将对样品不同层扫描图像输入预先训练的ai模型进行分类，得到符合特定层样本标准的图像，并将符合特定层样本标准的图像的对焦值确定为参考对焦点；ai模型是使用样本不同层切片图像和样本不同层切片图像的标注信息训练得到的，样本不同层切片图像的标注信息包括样本对焦所在层的位置信息；符合特定层样本标准的图像是指正确对焦到特定层的图像。
56.在一个示例中，样本对焦所在层的位置信息为盖玻片上层、样品贴盖玻片层、和/或样品层的位置信息；特定层与样本对焦所在层的位置信息相对应。即，特定层为盖玻片上层、样品贴盖玻片层、和/或样品层。参考图3所示的样品不同层的示意图，根据图3可知，各个层包括载玻片层、位于载玻片层之上的样品层、位于样品层之上的样品贴盖玻片层、以及与位于样品贴盖玻片层之上的盖玻片上层。其中，样品层对应的符合特定层样本标准的图像、样品贴盖玻片层对应的符合特定层样本标准的图像、以及盖玻片上层对应的符合特定层样本标准的图像参考图3所示。
57.在又一个示例中，样本对焦所在层的位置信息为z轴位移传感器获取的位置信息；特定层与样本对焦所在层的位置信息相对应。
58.本实施例中，通过将分层对焦标注进行分类，可以使得ai模型能够识别出样品的不同层的图像，并聚焦特定层进行扫描。
59.可选地，将对样品不同层扫描图像输入预先训练的ai模型进行分类，得到符合特定层样本标准的图像之前，还包括：获取样本不同层切片图像和样本不同层切片图像的标注信息；将样本不同层切片图像和样本不同层切片图像的标注信息使用ai算法训练得到多个模型，并统计不同模型阈值下的分类准确度；将分类准确度符合准确度预期的模型阀值作为模型参数，得到用于分类的ai模型。
60.其中，ai算法包括但不限于：反向传播算法、或者遗传算法等，本实施例不对训练ai模型的算法类型作限定。
61.可选地，本实施例中的ai模型可以为决策树模型、神经网络模型、支持向量机模型等，本实施例不对ai模型的模型结构作限定。
62.本实施例中，将对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之后，还包括：在ai模型的分类结果出现错误的情况下，通过人工标注获取所扫描图像的正确标注；使用扫描图像和正确标注，再次对ai模型进行训练，训练后的ai模型用于对后续获取到的扫描图像进行分层预测。这样，可以使模型不断学习改进，提高自动分层对焦的精度。
63.步骤103，按照各层的参考对焦点进行分层扫描。
64.综上所述，本实施例提供的数字切片扫描仪的自动分层对焦方法，通过获取数字切片扫描仪对样品不同层扫描得到的扫描图像；将对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像，并将符合特定层样本标准的图像的对焦值确定为该层的参考对焦点；ai模型是使用样本不同层切片图像和样本不同层切片图像的标注信息训练得到的，样本不同层切片图像的标注信息包括样本对焦所在层的位置信息；符合特定层样本标准的图像是指正确对焦到特定层的图像；按照各层的参考对焦点进行分层扫描；可以解决扫描仪不能扫描样品特定层的问题；通过对扫描对象进行分层，筛选出符合特定层样本标准的图像，并按照该图像的参考对焦点进行分层扫描，可以提高扫描图像的图像质量。
65.另外，由于特定层样本标准的图像是指正确对焦到特定层的图像，因此，可以将未对焦到特定样品层的图像的对焦点筛除，可以解决现有的使用ai方式进行图像检测的方式无法检测出是否对焦到特定样品层的问题，聚焦到样品的特定层进行扫描。
66.另外，通过对错误预测的重新标注并加入新的训练，ai模型可以不断学习和训练，可以提高自动分层对焦的准确性。
67.为了更清楚地理解本技术提供的数字切片扫描仪的自动分层对焦方法，下面对该方法举一个实例进行说明，参考图2，该方法至少包括以下几个步骤：
68.步骤21，获取样本不同层切片图像和样本不同层切片图像的标注信息；
69.步骤22，将样本不同层切片图像和样本不同层切片图像的标注信息使用ai算法训练得到多个模型，并统计不同模型阈值下的分类准确度；
70.步骤23，将分类准确度符合准确度预期的模型阀值作为模型参数，得到用于分类
的ai模型；
71.步骤24，获取数字切片扫描仪对样品不同层扫描得到的扫描图像；
72.步骤25，将对样品不同层扫描图像输入预先训练的ai模型进行分类，得到符合特定层样本标准的图像，并将符合特定层样本标准的图像的对焦值确定为参考对焦点；
73.步骤26，按照各层的参考对焦点进行分层扫描；
74.步骤27，在ai模型的分类结果出现错误的情况下，获取所扫描图像的正确标注；使用扫描图像和正确标注，再次对ai模型进行训练，训练后的ai模型用于对后续获取到的扫描图像进行分层预测。
75.本实施例中，通过对扫描对象进行分类，筛选出符合特定层样本标准的图像，并按照该图像的参考对焦点进行分层扫描，可以扫描特定层的样本。同时，通过对ai模型不断学习和训练，可以提高自动分层对焦的准确性。
76.图4是本技术一个实施例提供的数字切片扫描仪的自动分层对焦装置的框图。该装置至少包括以下几个模块：图像获取模块410、分层预测模块420和对焦扫描模块430。
77.图像获取模块410，用于获取所述数字切片扫描仪对样品不同层扫描得到的扫描图像；
78.分层预测模块420，用于将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像，并将所述符合特定层样本标准的图像的对焦值确定为参考对焦点；所述ai模型是使用样本不同层切片图像和所述样本不同层切片图像的标注信息训练得到的，所述样本切片的标注信息包括样本对焦所在层的位置信息；所述符合特定层样本标准的图像是指正确对焦到特定样品层的图像；
79.对焦扫描模块430，用于按照各层的参考对焦点进行扫描。
80.可选地，所述样本对焦所在层的位置信息为盖玻片上层、样品贴盖玻片层、和/或样品层的位置信息；所述特定层与所述样本对焦所在层的位置信息相对应。
81.可选地，所述样本对焦所在层的位置信息为z轴位移传感器获取的位置信息；所述特定层与所述样本对焦所在层的位置信息相对应。
82.可选地，所述装置还包括：图像标注模块440和再次训练模块450。
83.图像标注模块440，用于在将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之后，在所述ai模型的分类结果出现错误的情况下，获取所扫描图像的正确标注；
84.再次训练模块450，用于使用所述扫描图像和所述正确标注，再次对所述ai模型进行训练，训练后的ai模型用于对后续获取到的扫描图像进行分层预测。
85.可选地，所述装置还包括：样本获取模块460、模型训练模块470和模型选择模块480。
86.样本获取模块460，用于将所述对样品不同层扫描图像输入预先训练的人工智能ai模型进行分类，得到符合特定层样本标准的图像之前，获取所述样本不同层切片图像和所述样本不同层切片图像的标注信息；
87.模型训练模块470，用于将所述样本不同层切片图像和所述样本不同层切片图像的标注信息使用ai算法训练得到多个模型，并统计不同模型阈值下的分类准确度；
88.模型选择模块480，用于将分类准确度符合准确度预期的模型阀值作为模型参数，
得到用于分类的所述ai模型。
89.相关细节参考上述方法实施例。
90.需要说明的是：上述实施例中提供的数字切片扫描仪的自动分层对焦装置在进行数字切片扫描仪的自动分层对焦时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将数字切片扫描仪的自动分层对焦装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数字切片扫描仪的自动分层对焦装置与数字切片扫描仪的自动分层对焦方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
91.可选地，本技术还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的数字切片扫描仪的自动分层对焦方法。
92.可选地，本技术还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的数字切片扫描仪的自动分层对焦方法。
93.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
94.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。