细胞病理图像的标注坐标转换方法、系统、设备及介质与流程

1.本公开涉及基于机器学习的图像处理领域，具体涉及一种细胞病理图像的标注坐标转换方法、系统、设备及介质。


背景技术：

2.随着机器学习技术的广泛应用，越来越多的基于机器学习的图像处理技术被应用到细胞病理图像筛查中。在这种情况下，在对细胞病理图像进行筛查的筛查系统中，常常需要预先标注出细胞病理图像中的目标区域(也即，包括目标的区域)，利用标注出目标区域的细胞病理图像对筛查系统中涉及的模型(例如神经网络)进行训练，以使经训练模型能够对没有标注的细胞病理图像进行识别、或提取局部或整体的图像特征。
3.目前，对于同一病理玻片，不同采集设备(例如扫描仪)获取细胞病理图像后，由于采集设备的光学性能和成像技术不同，一般需要进行多次标注后，再用于机器学习，以提高模型的泛化性。然而，细胞病理图像具有高分辨率，对单张细胞病理图像进行标注，难度已经较高且耗费时间长。因此，对同一病理玻片的多张细胞病理图像进行标注亟需更好的解决方案。


技术实现要素：

4.本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够提高同一病理玻片的多张细胞病理图像的标注效率的细胞病理图像的标注坐标转换方法、系统、设备及介质。
5.为此，本公开第一方面提供了一种细胞病理图像的标注坐标转换方法，包括：获取同一病理玻片对应的基准图像和待配准图像，其中，所述基准图像具有标注坐标；基于比所述基准图像分辨率小的第一图像的有效区域获取所述基准图像的第一有效区域，基于比所述待配准图像分辨率小的第二图像的有效区域获取所述待配准图像的第二有效区域；从所述第一有效区域选取多个第一预设大小的图像块并获取各个图像块的关键点；从所述第二有效区域选取与各个图像块对应的第二预设大小的待匹配区域，利用滑窗法获取各个待匹配区域与对应的图像块的关键点的匹配度最高的目标滑窗和对应的关键点对，其中，所述第二预设大小大于所述第一预设大小；根据多个所述目标滑窗对应的关键点对获取单应变换关系矩阵；并且利用所述单应变换关系矩阵将所述基准图像的标注坐标映射至所述待配准图像以获取所述待配准图像的标注坐标。
6.在本公开中，从具有标注坐标的基准图像中获取多个图像块和对应的关键点，从不具有标注坐标的待配准图像中获取多个与图像块对应且比图像块大的待匹配区域，从待匹配区域中获取与对应的图像块的关键点匹配度最高的匹配区域和对应的关键点对，进而利用关键点对对基准图像的标注坐标进行单应变换处理以得到待配准图像的标注坐标。在这种情况下，针对高分辨率的细胞病理图像，通过图像块和待匹配区域能够快速地获取关键点对，进而能够利用关键点对将来源同一病理玻片的多张细胞病理图像中的任意一张的
标注坐标迁移至其他细胞病理图像。由此，能够提高同一病理玻片的多张细胞病理图像的标注效率。另外，还基于滑窗法从待匹配区域中获取与对应的图像块的关键点匹配度最高的匹配区域，能够灵活地调整窗口的步长以尽可能地遍历待匹配区域中的图像数据，进而能够获取匹配度相对高的匹配区域。由此，能够提高匹配的准确度。另外，还利用低分辨率的细胞病理图像的有效区域获取基准图像和待配准图像的有效区域，并从有效区域中选取图像块或待匹配区域。在这种情况下，能够减少一些无效的运算。由此，能够进一步提高同一病理玻片的多张细胞病理图像的标注效率。
7.另外，在本公开第一方面所涉及的标注坐标转换方法中，可选地，将所述第一图像的有效区域映射至所述基准图像以确定所述第一有效区域；将所述第二图像的有效区域映射至所述待配准图像以确定所述第二有效区域。由此，能够确定第一有效区域和第二有效区域。
8.另外，在本公开第一方面所涉及的标注坐标转换方法中，可选地，利用以下至少一种方式从所述第一有效区域大致均匀地选取所述第一预设大小的图像块：从所述第一有效区域的上部和下部按预设间隔选取所述图像块，并且从所述第一有效区域的中部选取中心位于所述预设间隔的图像块之间的中心线上的图像块；从所述第一有效区域选取分布大致为矩形阵列的图像块；从所述第一有效区域选取分布大致为环形阵列的图像块。在这种情况下，后续获取的关键点对能够大致均匀地分布在第一有效区域中。由此，能够提高单应变换的准确度。
9.另外，在本公开第一方面所涉及的标注坐标转换方法中，可选地，利用sift、surf、hog、haar和orb中的至少一种方式获取各个图像块的关键点。由此，能够支持多种方式获取图像块的关键点。
10.另外，在本公开第一方面所涉及的标注坐标转换方法中，可选地，利用所述滑窗法获取各个待匹配区域与对应的图像块的关键点的匹配度最高的目标滑窗和对应的关键点对进一步包括：基于所述滑窗法获取各个待匹配区域的多个滑窗；获取各个滑窗内的关键点；将各个滑窗内的关键点分别与对应的图像块的关键点进行匹配，获取各个滑窗的匹配度和对应的关键点对；并且从所述多个滑窗中选择匹配度最高的滑窗作为所述目标滑窗并获取所述目标滑窗对应的关键点对。在这种情况下，能够灵活地调整滑窗的步长以尽可能地遍历待匹配区域中的图像数据，进而能够获取匹配度相对高的匹配区域。
11.另外，在本公开第一方面所涉及的标注坐标转换方法中，可选地，获取各个滑窗的匹配度和对应的关键点对进一步包括：获取由各个滑窗内的关键点组成的第一关键点列表和由各个滑窗对应的图像块的关键点组成的第二关键点列表；测量所述第二关键点列表中的各个关键点分别与所述第一关键点列表中的各个关键点之间的距离以确定多对匹配关键点对，其中，各个匹配关键点对包括所述第二关键点列表的关键点和所述第一关键点列表中与所述第二关键点列表的关键点的距离最近的关键点；并且从所述多对匹配关键点对中筛选距离小于预设距离的匹配关键点对作为各个滑窗对应的关键点对，各个滑窗的关键点对的平均距离作为各个滑窗的匹配度。由此，能够获取各个滑窗的匹配度和对应的关键点对。
12.另外，在本公开第一方面所涉及的标注坐标转换方法中，可选地，根据多个所述目标滑窗对应的关键点对获取所述单应变换关系矩阵为：从每个目标滑窗中获取预设数量的
关键点对作为目标关键点对，根据所述目标关键点对和单应变换关系，并使用最小二乘法获取所述单应变换关系矩阵。在这种情况下，能够使用于获取单应变换关系矩阵的关键点对分布较均匀。由此，能够提高单应变换的准确度且能够利用最小二乘法获取单应变换关系矩阵。
13.本公开第二方面提供了一种电子设备，该电子设备包括，至少一个处理电路，所述至少一个处理电路被配置为执行本公开第一方面所述的标注坐标转换方法的步骤。
14.本公开第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现本公开第一方面所述的标注坐标转换方法的步骤。
15.本公开第四方面提供了一种细胞病理图像的标注坐标转换系统，包括获取模块、预处理模块、关键点提取模块和配准模块；所述获取模块用于获取同一病理玻片对应的基准图像和待配准图像，其中，所述基准图像具有标注坐标；所述预处理模块基于比所述基准图像分辨率小的第一图像的有效区域获取所述基准图像的第一有效区域，基于比所述待配准图像分辨率小的第二图像的有效区域获取所述待配准图像的第二有效区域；所述关键点提取模块用于从所述第一有效区域选取多个第一预设大小的图像块并获取各个图像块的关键点，从所述第二有效区域选取与各个图像块对应的第二预设大小的待匹配区域，利用滑窗法获取各个待匹配区域与对应的图像块的关键点的匹配度最高的目标滑窗和对应的关键点对，其中，所述第二预设大小大于所述第一预设大小；以及所述配准模块用于根据多个所述目标滑窗对应的关键点对获取单应变换关系矩阵，利用所述单应变换关系矩阵将所述基准图像的标注坐标映射至所述待配准图像以获取所述待配准图像的标注坐标。
16.根据本公开，提供一种能够提高同一病理玻片的多张细胞病理图像的标注效率的细胞病理图像的标注坐标转换方法、系统、设备及介质。
附图说明
17.现在将通过参考附图的例子进一步详细地解释本公开，其中：
18.图1是示出了本公开示例所涉及的坐标转换环境的示例的示意图。
19.图2是示出了本公开示例所涉及的细胞病理图像的标注坐标转换方法的示例的流程图。
20.图3是示出了本公开示例所涉及的基于第一图像的有效区域获取基准图像的第一有效区域的示意图。
21.图4是示出了本公开示例所涉及的图像块在基准图像中分布的示例的示意图。
22.图5是示出了本公开示例所涉及的图像块在基准图像中大致为环形阵列分布的示例的示意图。
23.图6是示出了本公开示例所涉及的待匹配区域和匹配区域的示意图。
24.图7是示出了本公开示例所涉及的基于滑窗法获取目标滑窗和对应的关键点对的示例的流程图。
25.图8是示出了本公开示例所涉及的获取各个滑窗的匹配度和对应的关键点对的示例的流程图。
26.图9是示出了本公开示例所涉及的细胞病理图像的标注坐标转换系统的示例的框
图。
具体实施方式
27.以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。
28.本公开示例所涉及的细胞病理图像可以为病理玻片数字图像中的一种。因此，除非特别说明，本公开示例涉及的方案同样适用于病理玻片数字图像。病理玻片数字图像可以为通过采集设备(例如病理扫描仪)采集到的病理图像，病理玻片数字图像可以是具有不同分辨率的金字塔图像(也即，病理玻片数字图像可以包括多种分辨率的图像)。例如，病理玻片数字图像可以具有缩略图。另外，病理玻片数字图像一般非常大，例如全片切片图像(whole slide image，wsi，也可以称为全视野数字切片)，wsi图像的大小可以为600mb至10gb，因此传统的图像处理方法一般不适用于病理玻片数字图像的处理且病理玻片数字图像的处理常常耗时较长。
29.一般而言，病理玻片数字图像可以反映组织所发生的病变，因此通过对病理玻片数字图像进行分析可以辅助医生对组织病变进行分析。例如，在辅助对宫颈癌进行分析中，可以对宫颈细胞病理图像中的病变细胞进行分析以对宫颈细胞病理图像进行分类，进而利用分类结果作为中间结果辅助医生对宫颈癌进行分析。
30.以下以病理玻片数字图像为细胞病理图像为例描述本公开的示例，并且这样的描述并不限制本公开的范围，对于本领域技术人员而言，可以使用其它的病理玻片数字图像而没有限制。
31.如上文所简要提及的，现有方案中缺少有效地对来源同一病理玻片的多张细胞病理图像进行标注的方法。在实践中，由于细胞病理图像具有高分辨率，对细胞病理图像进行标注本身就是耗时耗力的工作。另外，对细胞病理图像进行图像处理也具有挑战。由此可见，对来源同一病理玻片的多张细胞病理图像进行标注的效率还有待提高。
32.发明人发现，针对细胞病理图像这种具有高分辨率的图像，通过对细胞病理图像进行分区域处理(也即，下文提到从细胞病理图像选取图像块和待匹配区域的方式)并利用单应变换关系能够高效地将来源同一病理玻片的多张细胞病理图像中的任意一张的标注坐标迁移至其他细胞病理图像。因此，本公开的示例提出了一种标注坐标转换的方案，以解决上述问题和/或其他潜在问题中的一个或多个。
33.在该方案中，对于来源同一病理玻片的多张细胞病理图像，从基准图像(也即，具有标注坐标的细胞病理图像)中获取多个图像块和对应的关键点，从待配准图像(也即，不具有标注坐标的细胞病理图像)中获取多个与图像块对应且比图像块大的待匹配区域，从待匹配区域中获取与对应的图像块的关键点匹配度最高的匹配区域和对应的关键点对，进而利用关键点对对基准图像的标注坐标进行单应变换处理以得到待配准图像的标注坐标。
在这种情况下，能够快速地基于基准图像的标注坐标获取待配准图像的标注坐标。也即，能够快速地将来源同一病理玻片的多张细胞病理图像中的任意一张的标注坐标迁移至其他细胞病理图像。由此，能够提高同一病理玻片的多张细胞病理图像的标注效率。
34.在一些示例中，可以基于滑窗法从待匹配区域中获取与对应的图像块的关键点匹配度最高的匹配区域。在这种情况下，能够灵活地调整滑窗的步长以尽可能地遍历待匹配区域中的图像数据，进而能够获取匹配度相对高的匹配区域。
35.在一些示例中，在从基准图像选取图像块之前，可以利用低分辨率的细胞病理图像的有效区域获取基准图像的有效区域，然后从基准图像的有效区域中选取图像块。同样地，在从待配准图像选取待匹配区域之前，可以利用低分辨率的细胞病理图像的有效区域获取待配准图像的有效区域，然后从待配准图像的有效区域中选取待匹配区域。在这种情况下，能够基于低分辨率的细胞病理图像快速地获取高分辨率的细胞病理图像的有效区域，且从有效区域中选取图像块或待匹配区域能够减少一些无效的运算，进而能够提高高分辨的细胞病理图像的处理效率。
36.如上所述，病理玻片数字图像可以是具有不同分辨率的金字塔图像。也即，一张病理玻片经由采集设备一次采集可以获取多种分辨率的图像。在这种情况下，低分辨率的细胞病理图像可以是来源于与基准图像或待配准图像同一次采集，且分辨率比对应的基准图像或待配准图像低的图像(例如，缩略图)。
37.本公开的示例涉及的细胞病理图像的标注坐标转换方法(有时也可以称为标注坐标转换方法、坐标转换方法、转换方法或坐标迁移方法，以下可以简称为转换方法)。本公开的示例涉及的转换方法能够提高同一病理玻片的多张细胞病理图像的标注效率。需要说明的是，本公开的示例涉及的转换方法同样适用于其他图像的标注坐标的迁移。
38.本公开的示例涉及的单应变换是二维平面中一种重要的变换，原本共线的三个点在单应变换后仍旧共线。通过多对关键点可以求取单应变换关系矩阵。另外，一对关键点能产生两个方程，因此至少需要4对关键点求取单应变换关系矩阵，若超过4对关键点，可以通过最小二乘法或随机抽样一致算法(ransac，random sample consensus)求取最优参数作为单应变换关系矩阵。
39.以下将结合附图来详细描述本公开的示例。图1是示出了本公开示例所涉及的坐标转换环境100的示例的示意图。
40.如图1所示，坐标转换环境100可以包括计算设备150。计算设备150可以是具有计算能力的任何设备。例如，计算设备150可以为云服务器、个人计算机、大型机和分布式计算系统等。计算设备150可以通过执行计算机程序指令以实现本公开示例涉及的坐标转换方法，该坐标转换方法可以将细胞病理图像的标注坐标迁移到其他细胞病理图像。
41.计算设备150可以基于同一病理玻片110经由不同采集设备120采集获得的多张细胞病理图像130中的任意一张的标注坐标获得其他细胞病理图像130的标注坐标。具体地，如图1所示，同一病理玻片110可以分别经由采集设备120a、采集设备120b和采集设备120c采集获得的细胞病理图像130a、细胞病理图像130b和细胞病理图像130c，操作员140可以对多张细胞病理图像130中的细胞病理图像130a进行标注以获得具有标注坐标的细胞病理图像130a'，计算设备150可以基于细胞病理图像130a'获取与细胞病理图像130b和细胞病理图像130c分别对应的具有标注坐标的细胞病理图像130b'和具有标注坐标的细胞病理图像
130c'。
42.在一些示例中，采集设备120(例如病理扫描仪)可以基于不同倍率(例如20倍率或40倍率)对病理玻片110进行高分辨率扫描以采集细胞病理图像130。在一些示例中，操作员140可以为标注医生。
43.下文结合附图详细描述根据本公开示例的方法。图2是示出了本公开示例所涉及的细胞病理图像的标注坐标转换方法的示例的流程图。例如，转换方法可以由计算设备150来执行。
44.如图2所示，转换方法可以包括步骤s102。在步骤s102中，可以获取同一病理玻片对应的基准图像和待配准图像。另外，基准图像和待配准图像可以分别是同一病理玻片经由不同的采集设备采集获得的细胞病理图像。
45.在一些示例中，细胞病理图像可以具有背景区域。在一些示例中，一张病理玻片在一次采集获得的多种分辨率的细胞病理图像可以按分辨率排序以形成金字塔形式的图像。一般而言，金字塔的最底层的细胞病理图像的分辨率最大的，金字塔的最顶层的细胞病理图像的分辨率最小。在一些示例中，细胞病理图像可以具有缩略图。其中，缩略图可以是对病理玻片进行采集时，与细胞病理图像同时获得的。也即，缩略图和细胞病理图像可以来源对同一张病理玻片的同一次采集。基准图像和待配准图像可以为一张病理玻片对应的多种分辨率的细胞病理图像中的任意分辨率的图像。具体可以根据人工智能模型的训练要求进行选择。
46.另外，基准图像可以具有标注坐标，待配准图像可以是待进行配准以获取标注坐标的细胞病理图像。也即，待配准图像不具有标注坐标。在后续的处理中，可以基于基准图像的标注坐标进行单应变换以获取待配准图像的标注坐标。
47.另外，标注坐标可以用于标识细胞病理图像中的目标(例如，各种类型的病变区域)。标注坐标的数量可以为多个。多个标注坐标组成的形状可以是任意形状。例如，圆形、矩形或其他与目标的轮廓相匹配的任意形状。在一些示例中，在医疗领域的机器学习中，标注坐标可以是医生通过标注工具对细胞病理图像进行标注获得的。
48.在一些示例中，具有标注坐标的细胞病理图像可以用于人工智能模型的训练。由此，能够使人工智能模型识别细胞病理图像中目标、提取细胞病理图像的局部和全局的特征、或对细胞病理图像进行分类。另外，用于训练的细胞病理图像一般是高分辨率的图像，现有的图像处理方法并不适用。因此，本公开示例的方案具有重大的意义。
49.如图2所示，转换方法可以包括步骤s104。在步骤s104中，可以获取基准图像的第一有效区域和待配准图像的第二有效区域。在这种情况下，后续能够从有效区域中选取图像块或待匹配区域。由此，能够减少计算量。
50.在一些示例中，在步骤s104中，可以利用低分辨率的第一图像的有效区域获取基准图像的第一有效区域。同样地，可以利用低分辨率的第二图像的有效区域获取待配准图像的第二有效区域。在这种情况下，能够基于低分辨率的细胞病理图像快速地获取高分辨率的细胞病理图像的有效区域。由此，能够提高分辨率较大的细胞病理图像获取有效区域的效率。
51.在一些示例中，第一图像和第二图像可以是分辨率比各自对应的图像(基准图像或待配准图像)低的细胞病理图像。另外，第一图像和第二图像可以是来源于同一张病理玻
片的同一次采集，且分辨率比各自对应的图像低的图像。在一些示例中，第一图像和第二图像可以分别是基准图像和待配准图像的缩略图。
52.在一些示例中，可以基于第一图像的有效区域获取基准图像的第一有效区域，基于第二图像的有效区域获取待配准图像的第二有效区域，其中，第一图像的分辨率可以比基准图像的分辨率小，第二图像的分辨率可以比待配准图像的分辨率小。在一些示例中，可以将第一图像的有效区域映射至基准图像以确定第一有效区域，将第二图像的有效区域映射至待配准图像以确定第二有效区域。由此，能够确定第一有效区域和第二有效区域。
53.以下以基准图像为例描述基于低分辨率的细胞病理图像的有效区域获取高分辨率的细胞病理图像的有效区域。待配准图像类似，不再赘述。
54.在一些示例中，可以获取第一图像的有效区域，并基于第一图像相对于基准图像的缩小倍数(例如，40倍率或20倍率)获取基准图像的有效区域。
55.在一些示例中，可以获取第一图像的有效区域的外接矩形，基于第一图像相对于基准图像的缩小倍数获取基准图像的有效区域对应的基准外接矩形，然后将该基准外接矩形直接作为基准图像的第一有效区域、或可以将该基准外接矩形增大5％至10％后作为基准图像的第一有效区域。
56.图3是示出了本公开示例所涉及的基于第一图像p1的有效区域a1获取基准图像p2的第一有效区域a2的示意图。其中，第一图像p1只示出了包括有效区域a1的局部部分。
57.作为示例，图3示出了基于第一图像p1为缩略图时的有效区域a1获取基准图像p2的第一有效区域a2的示意，其中，第一图像p1的有效区域a1的形状为圆形，第一有效区域a2为基准外接矩形，区域a2'为基准图像p2中与第一图像p1的有效区域a1对应的区域(也即，基准图像p2实际的有效区域)。需要说明的是，图3中第一图像p1和基准图像p2的比例大小并不表示实际的比例大小，只是为了方便描述获取基准图像p2的第一有效区域a2。
58.但本公开的示例不限于此，在另一些示例中，可以获取第一图像的有效区域的内接矩形，基于第一图像的有效区域的内接矩形获取基准图像的第一有效区域。
59.在一些示例，可以利用二值化阈值分割算法(例如大律法(otsu))，获取第一图像的有效区域。具体地，可以将第一图像转换为灰度模式的灰度图像，利用二值化阈值分割算法对灰度图像进行自适应阈值分割和颜色反转以获取二值化图像，对二值化图像进行膨胀和腐蚀处理以获取白色的区域，将白色的区域作为第一图像的有效区域。由此，能确定第一图像的有效区域。
60.在一些示例中，对二值化图像进行膨胀和腐蚀处理可以获取包含白色的区域和黑色的区域的二值分割图像。例如，可以对二值化图像进行2次膨胀和2腐蚀操作以获取包含白色的区域和黑色的区域的二值分割图像。在一些示例中，黑色的区域可以为第一图像的背景区域。在一些示例中，在对灰度图像进行自适应阈值分割前，可以对灰度图像进行去噪处理(例如中值模糊处理)。
61.需要说明的是，步骤s104也可以不是必须的，后续步骤可以直接从基准图像和待配准图像选取图像块或待匹配区域。
62.返回参考图2，转换方法可以包括步骤s106。在步骤s106中，可以从第二有效区域获取与第一有效区域中的图像块匹配的匹配区域和对应的关键点对。另外，关键点对可以为图像块和匹配区域中的对应的点。也即，一个关键点对可以包括图像块中的一个关键点
和与该图像块对应的匹配区域中的一个关键点。
63.在一些示例中，可以从第一有效区域选取多个图像块并获取各个图像块的关键点。另外，图像块的大小可以远小于基准图像的大小。在一些示例中，图像块的大小可以为第一预设大小。例如，第一预设大小(也即，分辨率大小)可以为1024*1024。在另外一些示例中，图像块的大小也可以不相同。
64.图4是示出了本公开示例所涉及的图像块在基准图像p2中分布的示例的示意图。
65.在一些示例中，可以从第一有效区域大致均匀地选取第一预设大小的图像块。在这种情况下，后续获取的关键点对能够大致均匀地分布在第一有效区域中。由此，能够提高单应变换的准确度。作为示例，图4示出了一种图像块大致均匀地分布在基准图像p2的示意图。其中，可以从基准图像p2的第一有效区域a2中选取5个图像块，5个图像块分别包括图像块p2a、图像块p2b、图像块p2c、图像块p2d和图像块p2e。
66.另外，大致均匀地选取地图像块方式可以包括但不限于以下几种方式：
67.第一种方式，可以分别从第一有效区域上部、中部和下部选取图像块。在一些示例中，可以从第一有效区域的上部和下部按预设间隔选取图像块，并且从第一有效区域的中部选取中心位于预设间隔的图像块之间的中心线上的图像块(例如，图像块可以像图4那样分布)。
68.第二种方式，可以从第一有效区域选取分布大致为矩形阵列的图像块。也即，图像块在第一有效区域中可以以行列的形式排列。
69.图5是示出了本公开示例所涉及的图像块在基准图像p2中大致为环形阵列分布的示例的示意图。
70.第三种方式，可以从第一有效区域选取分布大致为环形阵列的图像块(例如，图像块可以像图5那样分布，需要说明的是，图5只是环形阵列分布的示意，实际应用中，优选地，图像块之间的间距可以为能够使对应的待匹配区域之间不重叠的任意间距)。在一些示例中，以环形阵列分布的图像块可以包括位于第一有效区域的中心的图像块。例如，可以先从第一有效区域选取位于第一有效区域的中心的图像块，基于该中心的图像块选取围绕该中心的图像块大致均匀分布的图像块。
71.但本公开的示例不限于此，在另一些示例中，根据实际需要可以设置一些位于第一有效区域的特定位置(例如关键位置)的图像块。由此，能够提高关键位置的单应变换的准确度。
72.在一些示例中，可以从第一有效区域中选取预设个数的图像块。例如，预设个数可以为5、6、7、8、9或10等。预设个数可以根据计算设备150的性能进行调整。在这种情况下，在满足计算设备150的性能要求下，选取的图像块越多，后续获取的关键点对越多，单应变换越准确。
73.如上所述，在一些示例中，可以从第一有效区域选取多个图像块并获取各个图像块的关键点。在一些示例中，可以利用sift(scale invariant feature transform，尺度不变特征变换)、surf(speeded up robust features，加速稳健特征)、hog(histogram of oriented gradient，方向梯度直方图)、haar和orb(oriented fast and rotated brief)中的至少一种方式获取各个图像块的关键点。由此，能够支持多种方式获取图像块的关键点。
74.如上所述，在步骤s106中，可以从第二有效区域获取与第一有效区域中的图像块的关键点匹配的匹配区域和对应的关键点对。一般而言，第二有效区域中的子区域对应的病理玻片位置与图像块对应的病理玻片位置越相近，可以认为图像块与该子区域越匹配。在一些示例中，可以通过计算图像块的关键点和相应子区域的关键点的距离(例如，归一化的欧几里德距离，也可以称为norm_l2)以确定相应子区域与图像块的匹配度，进而获取匹配的子区域作为匹配区域。
75.图6是示出了本公开示例所涉及的待匹配区域和匹配区域的示意图。
76.在一些示例中，可以从第二有效区域选取与各个图像块对应的第二预设大小的待匹配区域，并从各个待匹配区域获取与对应的图像块的关键点匹配的匹配区域和对应的关键点对。在一些示例中，匹配区域的大小可以等于图像块的大小。
77.具体地，可以利用各个图像块的关键点从各个待匹配区域获取与对应的图像块的关键点匹配的匹配区域，并获得对应的关键点对。另外，选取待匹配区域可以与选取图像块类似，具体内容参照选取图像块的相关描述，此处不再赘述。作为示例，图6示出了一种与图4中的图像块对应的待匹配区域，以及待匹配区域中匹配区域的示意图。其中，可以从待配准图像p3的第二有效区域a3中选取5个待匹配区域，5个待匹配区域可以分别包括待匹配区域a3a、待匹配区域a3b、待匹配区域a3c、待匹配区域a3d和待匹配区域a3e。基于5个待匹配区域可以获得对应的5个匹配区域，5个匹配区域可以分别包括匹配区域p3a、匹配区域p3b、匹配区域p3c、匹配区域p3d和匹配区域p3e。
78.另外，第二预设大小可以大于第一预设大小。由此，能够提高待匹配区域对应的病理玻片位置包含图像块对应的病理玻片位置的概率。在一些示例中，第二预设大小可以为能够使待匹配区域对应的病理玻片位置包含图像块对应的病理玻片位置的任意大小。在一些示例中，第二预设大小也可以是固定值(例如经验值)。在一些示例中，第二预设大小可以不小于第一预设大小的5倍。例如，第二预设大小可以为第一预设大小的5倍、5.5倍、6倍、6.8倍、7倍、7.3倍、8倍、8.2倍、9倍、9.6倍、或10倍等。例如，若第一预设大小可以为1024*1024，则第二预设大小(也即，分辨率大小)可以为8192*8192或10240*10240。在这种情况下，能够基本确定待匹配区域对应的病理玻片位置包含图像块对应的病理玻片位置。由此，能够提高匹配成功的概率。
79.在一些示例中，可以利用滑窗法从各个待匹配区域获取与第一有效区域中的图像块的关键点匹配的匹配区域和对应的关键点对，其中，匹配区域可以为与第一有效区域中的图像块的关键点匹配度最高的滑窗。另外，匹配度最高的滑窗可以简称为目标滑窗。也即，可以利用滑窗法获取各个待匹配区域与对应的图像块的关键点的匹配度最高的目标滑窗和对应的关键点对。在这种情况下，能够灵活地调整滑窗的步长以尽可能地遍历待匹配区域中的图像数据，进而能够获取匹配度相对高的匹配区域。
80.图7是示出了本公开示例所涉及的基于滑窗法获取目标滑窗和对应的关键点对的示例的流程图。
81.具体地，如图7所示，基于滑窗法获取目标滑窗和对应的关键点对可以包括：
82.步骤s202，可以基于滑窗法获取各个待匹配区域的多个滑窗。
83.在一些示例中，在步骤s202中，可以将第三预设大小的窗口，按照预设步长，在各个待匹配区域内滑动，以获取多个滑窗。在一些示例中，可以沿着各个待匹配区域的横向和
纵向，按照预设步长滑动窗口。在另一些示例中，也可以随机滑动窗口。另外，多个滑窗之间可以部分重叠或完全不重叠。另外，第三预设大小可以等于第一预设大小。由此，能够使最终获得的目标滑窗的大小与图像块的大小一致。
84.步骤s204，可以获取各个滑窗内的关键点。具体内容参照获取各个图像块的关键点的相关描述，此处不再赘述。
85.步骤s206，可以将各个滑窗内的关键点分别与对应的图像块的关键点进行匹配，获取各个滑窗的匹配度和对应的关键点对。
86.在一些示例中，在步骤s206中，可以通过各个滑窗内的关键点与对应的图像块的关键点的距离获取各个滑窗的匹配度和对应的关键点对。
87.在一些示例中，可以基于各个滑窗内的关键点和对应的图像块中与各个滑窗内的关键点距离最近的关键点组成的匹配关键点对获取各个滑窗的匹配度和对应的关键点对。在一些示例中，距离的测量方法可以采用norm_l2(也可以称为归一化的欧几里德距离)。
88.图8是示出了本公开示例所涉及的获取各个滑窗的匹配度和对应的关键点对的示例的流程图。
89.在一些示例中，如图8所示，在步骤s206中，获取各个滑窗的匹配度和对应的关键点对可以包括：
90.步骤s302，可以获取由各个滑窗内的关键点组成的第一关键点列表和由各个滑窗对应的图像块的关键点组成的第二关键点列表。
91.步骤s304：可以测量第二关键点列表中的各个关键点分别与第一关键点列表中的各个关键点之间的距离以确定多对匹配关键点对。其中，各个匹配关键点对可以包括第二关键点列表的关键点和第一关键点列表中与第二关键点列表的关键点的距离最近的关键点。
92.步骤s306：可以基于多对匹配关键点对获取各个滑窗的匹配度和对应的关键点对。
93.在一些示例中，步骤s306中，可以从多对匹配关键点对中筛选距离小于预设距离的匹配关键点对作为各个滑窗对应的关键点对。另外，各个滑窗的关键点对的平均距离可以作为各个滑窗的匹配度。也即，平均距离越小，匹配度越高。另外，预设距离可以为固定值(例如经验值)。
94.在一些示例中，可以对各个滑窗对应的关键点对进行比例测试，并保留通过测试的关键点对。在一些示例中，比例测试可以为测试各个滑窗对应的关键点对中第一个点到第二个点的距离与第二个点到第一个点的距离的比值是否小于预设比例(例如75％)，若是，则可以表示通过测试，否则为未通过测试。由此，能够获得匹配更严格的关键点对。
95.但本公开的示例不限于此，在另一些示例中，也可以基于第一关键点列表中的各个关键点分别与第二关键点列表中的各个关键点之间的距离以确定多对匹配关键点对，进而确定各个滑窗对应的关键点对。
96.返回参考图7，步骤s208，可以从多个滑窗中选择匹配度最高的滑窗作为目标滑窗并获取目标滑窗对应的关键点对。
97.返回参考图2，转换方法可以包括步骤s108。在步骤s108中，可以基于多个匹配区域对应的关键点对将基准图像的标注坐标映射至待配准图像以获取待配准图像的标注坐
标。另外，若基于滑窗法获取匹配区域，则匹配区域也可以称为目标滑窗。
98.在一些示例中，可以根据多个匹配区域对应的关键点对获取单应变换关系矩阵。例如，若从第一有效区域中选取5个图像块与第二有效区域对应的5个待匹配区域进行匹配，可以获取5个匹配区域，若每个匹配区域对应100对关键点对，则可以利用500对关键点对获取单应变换关系矩阵。
99.在一些示例中，可以根据多个匹配区域对应的关键点对和单应变换关系获取单应变换关系矩阵。在一些示例中，单应变换关系可以表示为如下公式：
[0100][0101]
其中，(x1，y1)和(x2，y2)可以分别表示关键点对的两个坐标，(x1，y1)可以表示基准图像中图像块的坐标，(x2，y2)可以表示待配准图像中匹配区域内的坐标，h可以表示单应变换关系矩阵。
[0102]
如上所述，若超过4对关键点，可以通过最小二乘法或随机抽样一致算法(ransac，random sample consensus)求取最优参数作为单应变换关系矩阵。在一些示例中，可以根据多个匹配区域对应的关键点对和单应变换关系获取单应变换关系矩阵，并使用最小二乘法获取单应变换关系矩阵。由此，能够利用最小二乘法获取单应变换关系矩阵。
[0103]
在一些示例中，可以从每个匹配区域中获取预设数量的关键点对作为目标关键点对，并根据多个匹配区域对应的目标关键点对获取单应变换关系矩阵。在这种情况下，能够使用于获取单应变换关系矩阵的关键点对分布较均匀。由此，能够提高单应变换的准确度。另外，预设数量例如可以为100、120、150、160、180或200等。
[0104]
在一些示例中，可以从每个匹配区域中获取预设数量的关键点对作为目标关键点对，根据多个匹配区域对应的目标关键点对和单应变换关系，并使用最小二乘法获取单应变换关系矩阵。由此，能够利用最小二乘法获取单应变换关系矩阵。
[0105]
在一些示例中，在根据多个匹配区域对应的关键点对获取单应变换关系矩阵后，可以利用单应变换关系矩阵将基准图像的标注坐标映射至待配准图像以获取待配准图像的标注坐标。由此，能够快速地将基准图像的标注坐标映射至待配准图像。在实际应用中，若医生只对同一病理玻片在任一采集设备上获得的细胞病理图像进行标注，利用上述转换方法就可以将该细胞病理图像上的标注点直接映射到由其它采集设备得到的任意的细胞病理图像上。
[0106]
以下结合图9描述本公开涉及的细胞病理图像的标注坐标转换系统200(有时也可以称为标注坐标转换系统200、坐标转换系统、转换系统200或坐标迁移系统，以下可以简称为转换系统200)。转换系统200可以用于实施上述的转换方法。需要说明的是，除非特别说明，上述的转换方法的相关描述同样适用于转换系统200。图9是示出了本公开示例所涉及的细胞病理图像的标注坐标转换系统200的示例的框图。
[0107]
在一些示例中，如图9所示，转换系统200可以包括获取模块202、预处理模块204、关键点提取模块206和配准模块208。
[0108]
在一些示例中，获取模块202可以用于获取同一病理玻片对应的基准图像和待配
准图像。另外，基准图像和待配准图像可以分别是同一病理玻片经由不同的采集设备采集获得的细胞病理图像。另外，基准图像可以具有标注坐标，待配准图像可以是待进行配准以获取标注坐标的图像。具体内容参见步骤s102中的相关描述，此处不再赘述。
[0109]
在一些示例中，预处理模块204可以用于获取基准图像的第一有效区域和待配准图像的第二有效区域。预处理模块204可以利用低分辨率的第一图像的有效区域获取基准图像的第一有效区域。同样地，预处理模块204可以利用低分辨率的第二图像的有效区域获取待配准图像的第二有效区域。在一些示例中，第一图像和第二图像可以是分辨率比各自对应的图像(基准图像或待配准图像)低的细胞病理图像。在一些示例中，可以基于第一图像的有效区域获取基准图像的第一有效区域，基于第二图像的有效区域获取待配准图像的第二有效区域，其中，第一图像的分辨率可以比基准图像的分辨率小，第二图像的分辨率可以比待配准图像的分辨率小。具体内容参见步骤s104中的相关描述，此处不再赘述。需要说明的是，预处理模块204也可以不是必须的，后续模块可以直接从基准图像和待配准图像选取图像块或待匹配区域。
[0110]
在一些示例中，关键点提取模块206可以用于从第二有效区域获取与第一有效区域中的图像块匹配的匹配区域和对应的关键点对。在一些示例中，关键点提取模块206可以从第一有效区域选取多个图像块并获取各个图像块的关键点。另外，图像块的大小可以为第一预设大小。在一些示例中，关键点提取模块206可以从第二有效区域选取与各个图像块对应的第二预设大小的待匹配区域，并从各个待匹配区域获取与对应的图像块的关键点匹配的匹配区域和对应的关键点对。具体地，关键点提取模块206可以利用各个图像块的关键点从各个待匹配区域获取与对应的图像块的关键点匹配的匹配区域，并获得对应的关键点对。另外，第二预设大小可以大于第一预设大小。具体内容参见步骤s106中的相关描述，此处不再赘述。
[0111]
在一些示例中，关键点提取模块206可以利用滑窗法从各个待匹配区域获取与第一有效区域中的图像块的关键点匹配的匹配区域和对应的关键点对，其中，匹配区域可以为与第一有效区域中的图像块的关键点匹配度最高的滑窗。另外，匹配度最高的滑窗可以简称为目标滑窗。也即，关键点提取模块206可以利用滑窗法获取各个待匹配区域与对应的图像块的关键点的匹配度最高的目标滑窗和对应的关键点对。具体内容参见步骤s106中滑窗法的相关描述，此处不再赘述。
[0112]
在一些示例中，配准模块208可以基于多个匹配区域对应的关键点对将基准图像的标注坐标映射至待配准图像以获取待配准图像的标注坐标。另外，若基于滑窗法获取匹配区域，则匹配区域也可以称为目标滑窗。在一些示例中，可以根据多个匹配区域对应的关键点对获取单应变换关系矩阵。在一些示例中，在根据多个匹配区域对应的关键点对获取单应变换关系矩阵后，可以利用单应变换关系矩阵将基准图像的标注坐标映射至待配准图像以获取待配准图像的标注坐标。具体内容参见步骤s108中的相关描述，此处不再赘述。
[0113]
本公开还涉及电子设备(未图示)，电子设备可以包括至少一个处理电路。至少一个处理电路被配置为执行上述的转换方法中的一个或多个步骤。
[0114]
本公开还涉及计算机可读存储介质，该计算机可读存储介质可以存储有至少一个指令，至少一个指令被处理器执行时实现上述的转换方法中的一个或多个步骤。
[0115]
本公开示例所涉及的细胞病理图像的标注坐标转换方法、系统、设备及介质，从具
有标注坐标的基准图像中获取多个图像块和对应的关键点，从不具有标注坐标的待配准图像中获取多个与图像块对应且比图像块大的待匹配区域，从待匹配区域中获取与对应的图像块的关键点匹配度最高的匹配区域和对应的关键点对，进而利用关键点对对基准图像的标注坐标进行单应变换处理以得到待配准图像的标注坐标。在这种情况下，针对高分辨率的细胞病理图像，通过图像块和待匹配区域能够快速地获取关键点对，进而能够利用关键点对将来源同一病理玻片的多张细胞病理图像中的任意一张的标注坐标迁移至其他细胞病理图像。由此，能够提高同一病理玻片的多张细胞病理图像的标注效率。另外，还基于滑窗法从待匹配区域中获取与对应的图像块的关键点匹配度最高的匹配区域，能够灵活地调整窗口的步长以尽可能地遍历待匹配区域中的图像数据，进而能够获取匹配度相对高的匹配区域。由此，能够提高匹配的准确度。另外，还利用低分辨率的细胞病理图像的有效区域获取基准图像和待配准图像的有效区域，并从有效区域中选取图像块或待匹配区域。在这种情况下，能够减少一些无效的运算。由此，能够进一步提高同一病理玻片的多张细胞病理图像的标注效率。
[0116]
但本公开的示例不限于此，在另外一些示例中，转换方法和转换系统200也可以不基于图像块和待匹配区域获取关键点对。例如，可以对基准图像和待配准图像的全图进行匹配。在这种情况下，能够简化分辨率较小的基准图像和待配准图像的标注坐标的配准。
[0117]
虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。