病理图像的处理方法、装置、电子设备与存储介质与流程

1.本发明涉及病理图像的处理领域，尤其涉及一种病理图像的处理方法、装置、电子设备与存储介质。


背景技术：

2.由于人工智能技术的发展，用人工智能技术来解决复杂的医学图像识别问题具有巨大的临床应用价值。利用机器分析病理图像具有较高的可重复性，能定量或半定量分析结果，且能减少病理医生的重复工作，辅助病理医生提高结果的准确性和可靠性。其中，若需通过深度学习方法对病理图像中的组织和细胞进行分类，则需要大量的已标注过的图像作为训练集，以此训练深度学习的模型。
3.其中，人工标注、分类的工作繁复，现有相关技术中，可基于一定量的标注结果训练一个用于标注、分类的模型，然后用训练好的模型对新输入的图像进行自动化的标注、分类。然而，该过程中，标注的准确性难以得到保障，同时，依旧需要专业的人员(例如医生)参与到完整的、大量的标注、分类工作中，这也导致了参与标注分类工作的门槛较高。


技术实现要素：

4.本发明提供了一种病理图像的处理方法、装置、电子设备与存储介质，以解决现有技术存在的缺陷。
5.根据本发明的第一方面，提供了一种病理图像的处理方法，包括：
6.获取病理图像的k组标注分类信息，所述标注分类信息表征了：记载至少一个标注区域的标注图像，以及每个标注区域所添加的分类标签；所述标注区域是针对于所述病理图像而划出的；
7.评估所述k组标注分类信息的一致性，得到表征所述一致性的评估信息；
8.若所述评估信息所表征的一致性高于预设标准，则向指定用户反馈标注分类结果，其中，所述标注分类结果是根据所述k组标注分类信息确定的。
9.可选的，评估所述k组标注分类信息的一致性，得到表征所述一致性的评估信息，包括：
10.针对于每一组标注分类信息中的每个标注区域，形成一个矩阵；在所述矩阵中，矩阵元素的分布匹配于所述标注图像中像素点的分布，并且，所述标注区域内像素点对应的矩阵元素取第一数值，所述标注区域外像素点对应的矩阵元素取第二数值；
11.基于所有矩阵与所述分类标签，计算所述评估信息。
12.可选的，所述k组标注分类信息包括第一组标注分类信息与第二组标注分类信息；
13.基于所有矩阵与所述分类标签，计算所述评估信息，包括：
14.确定所述第一组标注分类信息的每个矩阵与所述第二组标注分类信息的每个矩阵间的重合区域、所述重合区域的面积，以及所述重合区域所对应的两个分类标签；
15.其中，所述重合区域表征了两个矩阵间位置、数值相同且均为所述第一数值的矩
阵元素的集合，所述面积表征了所述重合区域的矩阵元素的数量；
16.计算其中同类重合区域的面积的总和，得到第一面积参数；所述同类重合区域指：所对应的两个分类标签为相同分类标签的重合区域；
17.计算其中异类重合区域的面积的总和，得到第二面积参数；所述异类重合区域指：所对应的两个分类标签为不同分类标签的重合区域；
18.根据所述第一面积参数与所述第二面积参数，计算所述评估信息。
19.可选的，根据所述第一面积参数与所述第二面积参数，计算所述评估信息之前，还包括：
20.计算所述第一组标注分类信息中标注区域的面积总和，得到第三面积参数；
21.计算所述第二组标注分类信息中标注区域的面积总和，得到第四面积参数；
22.其中，所述标注区域的面积总和表征了对应一组标注分类信息的所有标注区域内像素点或其对应矩阵元素的总数量；
23.根据所述第一面积参数与所述第二面积参数，计算所述评估信息，具体包括：
24.根据所述第一面积参数、所述第二面积参数、所述第三面积参数与所述第四面积参数，计算所述评估信息。
25.可选的，所述评估信息包括第一评估信息和/或第二评估信息；
26.所述第一评估信息匹配于第一比值；
27.其中，所述第一比值为：s
s
/(s
a
s
b
‑
s
s
‑
s
d
)；
28.所述第二评估信息匹配于第二比值；
29.其中，所述第二比值为：s
d
/(s
a
s
b
‑
s
s
‑
s
d
)；
30.s
d
表征了所述第二面积参数；
31.s
s
表征了所述第一面积参数；
32.s
a
表征了所述第三面积参数；
33.s
b
表征了所述第四面积参数。
34.可选的，若所述评估信息包括所述第一评估信息，则：向指定用户反馈标注分类结果之前，还包括：确定所述第一评估信息高于对应的第一指定阈值；
35.若所述评估信息包括所述第二评估信息，则：向指定用户反馈标注分类结果之前，还包括：确定所述第二评估信息低于对应的第二指定阈值。
36.可选的，在所述矩阵中，所述第一数值为1，所述第二数值为0；
37.确定所述第一组标注分类信息的每个矩阵与所述第二组标注分类信息的每个矩阵间重合区域、所述重合区域的面积，以及所述重合区域所对应的两个分类标签，包括：
38.将所述两个矩阵相乘，得到哈达玛积矩阵；其中，所述哈达玛积矩阵中数值为1的矩阵元素的区域为所述重合区域；
39.计算所述哈达玛积矩阵中数值为1的矩阵元素的数量作为所述重合区域的面积；
40.以两个矩阵的标注区域所添加的分类标签作为所述重合区域所对应的两个分类标签。
41.可选的，所反馈的标注分类结果表征了至少部分重合区域在所述病理图像中的位置与范围，以及所述重合区域对应的标签。
42.可选的，获取病理图像的k组标注分类信息，包括：
43.在第一权限的第一用户针对于所述病理图像划出标注区域后，得到记载标注区域的标注图像；
44.获取n个第二权限的第二用户针对于所述标注区域添加的分类标签，并基于标注图像与每个第二用户所添加的分类标签，形成一组标注分类信息，得到所述k组标注分类信息。
45.可选的，所述的处理方法，还包括：
46.响应于所述第二用户的修改操作，对所述标注区域进行修改，以使得：所述标注分类信息中的标注区域为修改后的标注区域。
47.可选的，所述指定用户为具有复核权限的复核用户；所述标注分类结果为待复核的标注分类结果。
48.根据本发明的第二方面，提供了一种病理图像的处理装置，包括：
49.获取模块，用于获取病理图像的k组标注分类信息，所述标注分类信息表征了：记载至少一个标注区域的标注图像，以及每个标注区域所添加的分类标签；所述标注区域是针对于所述病理图像而划出的；不同组标注分类信息是不同用户确定的；
50.评估模块，用于评估所述k组标注分类信息的一致性，得到表征所述一致性的评估信息；
51.反馈模块，用于若所述评估信息所表征的一致性高于预设标准，则向指定用户反馈标注分类结果，其中，所述标注分类结果是根据所述k组标注分类信息确定的。
52.根据本发明的第三方面，提供了一种电子设备，包括处理器与存储器，
53.所述存储器，用于存储代码；
54.所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法。
55.根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选方案涉及的方法。
56.本发明提供的病理图像的处理方法、装置、电子设备与存储介质中，可先由用户确定标注分类信息，再向具有复核权限的用户发送对应的标注分类结果，实现了标注、分类过程与复核过程的分工，进一步的可选方案中，还可细化标注区域的划出过程与分类打标过程(可以含修改过程)的分工，从而便于匹配不同权限的用户进行处理，在此基础上，可通过合理的分工和流转，避免标注工作的管理混乱，还可通过标注分类结果的复核，保障标注分类的质量，同时，基于分工的机制，各用户可以更专注于自己的分工，用户无需参与所有流程，具体应用本方案时，还可分配不同专业能力、经验的人参与到不同分工中，提高人力资源分配的合理性，本发明为这种合理分配提供了技术基础，通过该分工机制，也有助于提高整个工作过程的效率与标注分类的质量。
57.并且，本发明中，由于实现了分工，本发明可基于多个用户标注分类的成果进行复核，相较于仅基于一个用户的一组标注分类信息进行复核的方案，可有效提高标注分类结果的准确性。
58.在此基础上，本发明创造性地引入了评估的机制，其中，可对不同用户所确定的k组标注分类信息的一致性进行评估，避免了将一致性较差的标注分类信息直接作为复核的依据，既可节约复核权限的用户(例如医生)的工作量，避免产生不必要的、繁复的工作量，
还可有助于保障标注分类结果的准确性。
附图说明
59.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
60.图1是本发明一实施例中病理图像的处理方法的流程示意图；
61.图2是本发明一实施例中步骤s11的流程示意图；
62.图3是本发明一实施例中步骤s12的流程示意图；
63.图4是本发明一实施例中步骤s122的流程示意图一；
64.图5是本发明一实施例中步骤s122的流程示意图二；
65.图6是本发明一实施例中标记图像、矩阵的示意图；
66.图7是本发明一实施例中矩阵n1与矩阵m1相乘的示意图；
67.图8是本发明一实施例中矩阵n1与矩阵m2相乘的示意图；
68.图9是本发明一实施例中矩阵n2与矩阵m1相乘的示意图；
69.图10是本发明一实施例中矩阵n2与矩阵m2相乘的示意图；
70.图11是本发明一实施例中重合区域整合后的矩阵的示意图；
71.图12是本发明一实施例中病理图像的处理装置的程序模块示意图；
72.图13是本发明一实施例中电子设备的构造示意图。
具体实施方式
73.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
74.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
75.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
76.请参考图1，本发明实施例提供的病理图像的处理方法，包括：
77.s11：获取病理图像的k组标注分类信息；
78.其中，n≥2；
79.s12：评估所述k组标注分类信息的一致性，得到表征所述一致性的评估信息；
80.s13：若所述评估信息所表征的一致性高于预设标准，则向指定用户反馈标注分类结果；
81.其中，所述标注分类结果是根据所述k组标注分类信息确定的。
82.其中，所述标注分类信息表征了：记载至少一个标注区域的标注图像，以及每个标注区域所添加的分类标签；所述标注区域可以是针对于所述病理图像而划出的，其划出的过程可以是一次就划出，也可以是先划出再调整的，所添加的分类标签可以是在一开始划出标注区域时就一通添加的，还可以是在调整过程中添加的，也可以是在划出之后添加的。
83.当标注区域的数量为2个时，以图6为例，其中的图像i1与图像i2可视作以上所提及的标注图像，图像i1中的两个标注区域分别为标注了分类标签c1与分类标签c2的标注区域，图像i2中的两个标注区域分别为标注了分类标签c1与分类标签c3的标注区域。其他举例中，标注区域的数量也可以大于或等于3个。
84.其中一种实施方式中，不同组标注分类信息可以是不同用户确定的(例如是不同用户划定标定区域和/或添加标签的)，其中的不同用户，可理解为：若确定单组标注分类信息的过程中只需经一个用户确定(例如由一个用户划定标定区域并添加标签)，那么，针对于不同组标注分类信息，可经由完全不同的用户确定；若确定单组标注分类信息的过程需经不止一个用户(例如两个用户，或至少三个用户)确定，那么，针对不同组标注分类信息，可经由完全不同的用户确定，也可经由部分不同的用户确定。其他实施方式中，不同组标注分类信息也可能是同一用户确定的。
85.其中，所述指定用户可以为具有复核权限的复核用户；对应的，所述标注分类结果为待复核的标注分类结果。其他举例中，指定用户也可能是具有其他权限或许完成其他目的的用户。
86.以上方案中，可先由用户确定标注分类信息，再向具有复核权限的用户发送对应的标注分类结果，实现了标注、分类过程与复核过程的分工。并且，本发明实施例中，由于实现了分工，本发明可基于多个用户标注分类的成果进行复核，相较于仅基于一个用户的一组标注分类信息进行复核的方案，可有效提高标注分类结果的准确性。
87.在此基础上，本发明实施例创造性地引入了评估的机制，其中，可对不同用户所确定的k组标注分类信息的一致性进行评估，避免了将一致性较差的标注分类信息直接作为复核的依据，既可节约复核权限的用户(例如医生)的工作量，避免产生不必要的、繁复的工作量，还可有助于保障标注分类结果的准确性。
88.针对于步骤s11，其中一种实施方式中，请参考图2，步骤s11可以包括：
89.s111：在第一权限的第一用户针对于所述病理图像划出标注区域后，得到记载标注区域的标注图像；
90.s112：获取n个第二权限的第二用户针对于所述标注区域添加的分类标签，并基于标注图像与每个第二用户所添加的分类标签，形成一组标注分类信息，得到所述k组标注分类信息。
91.其中第一权限的用户，可理解为有权限对病理图像进行区域划分从而划出标注区域的用户，具体的，第一权限的用户可以为初级标注人员；
92.其中第二权限的用户，可理解为能够对标注图像中的标注区域添加标注的用户，进一步的方案中，第二权限的用户的权限还可以进一步包括：对标注区域的尺寸和/或形状
进行调整；具体的，第二权限的用户可以为高级标注人员；
93.第一权限的用户、第二权限的用户，以及指定用户可在同一终端上完成相应的交互，也可在不同终端上完成相应的交互。
94.其中，各用户的权限可通过绑定于用户的信息来体现，该信息可表征为权限信息，也可不限于此，例如还可以为身份信息、职务信息等等。
95.其中的病理图像，可理解为能够对病理进行描述的任意图像，基于所采用的设备和机理，所涉及的病理图像可以是任意的，即：本发明实施例可适于对各种病理图像进行处理。
96.其中的标注图像，可理解为其中形成标注区域的任意图像，其可以是独立于病理图像而呈现的图像或图层，也可以是与病理图像集成在一起而呈现的。
97.其中过一种实施方式中，步骤s11，还可包括：
98.s113：响应于所述第二用户的修改操作，对所述标注区域进行修改，以使得：所述标注分类信息中的标注区域为修改后的标注区域。
99.具体举例中，终端可通过标注工具与用户交互；例如，可向用户显示病理图像，用户可通过标注工具对病理图像进行标注，从而形成标注图像，该标注工具可以为线上标注工具，进而，连接到网络的终端均可能用于实施以上步骤s111至s113；其中：
100.步骤s111中，用户(例如第一权限的用户)可通过标注工具中配置的矩形、圆形、椭圆形或多边形的图形对病理图像进行标注，以标出标注区域。例如：初级标注人员可基于病理图像对其中的病理组织区域进行人工标注，即：通过使用标注工具将目标组织勾勒出来。经步骤s111划出标注区域后的标注图像可例如为图6所示的图像i0；
101.步骤s112、s113中，用户(例如第二权限的用户)可通过标注工具中的区域标签功能对标注区域添加标签，达到对标注区域的分类目的。例如：高级标注人员对已标注并生成的标注区域人工添加标签，达到对标注分类的目的；其中，经步骤s112、s113添加标注、调整后的标注图像可例如为图6所示的图像i1、图像i2。
102.可见，进一步的可选方案中，还可细化标注区域的划出过程与分类打标过程(可以含修改过程)的分工，从而便于匹配不同权限的用户进行处理，在此基础上，可通过合理的分工和流转，避免标注工作的管理混乱，还可通过标注分类结果的复核，保障标注分类的质量，同时，基于分工的机制，各用户可以更专注于自己的分工，用户无需参与所有流程，具体应用本方案时，还可分配不同专业能力、经验的人参与到不同分工中，提高人力资源分配的合理性，本发明为这种合理分配提供了技术基础，通过该分工机制，也有助于提高整个工作过程的效率与标注分类的质量。
103.其中一种实施方式中，请参考图3，步骤s12可以包括：
104.s121：针对于每一组标注分类信息中的每个标注区域，形成一个矩阵；
105.在所述矩阵中，矩阵元素的分布匹配于所述标注图像中像素点的分布，并且，所述标注区域内像素点对应的矩阵元素取第一数值(例如为1)，所述标注区域外像素点对应的矩阵元素取第二数值(例如为0)；其他举例中，第一数值也可能为0，第二数值也可能为1，第一数值、第二数值还可能取其他数值(例如为数字数值，也可以为利用字母、符号表征的数值)。
106.s122：基于所有矩阵与所述分类标签，计算所述评估信息。
107.其中，通过矩阵的形成，可实现标注图像中标注区域分类及标签添加结果进行量化，从而为评估信息的量化计算提供可供计算的依据，并且，由于矩阵中矩阵元素的分布匹配于像素点的分布，可使得量化的结果准确匹配标注图像。
108.其中，由于每个矩阵与一个标注区域相对应的，可使得：每个标注区域在整个标注图像中的分布结果可体现为一个矩阵，可有助于更细化、精确地体现出标注分类信息的一致性。
109.进一步的举例中，针对于每一个标注分类信息，可形成一个.csv文件，进而可基于对应的.csv文件形成相应的矩阵。
110.进一步的方案中，以图6所示的添加标签后的标注图像(例如图像i1与图像i2)，可以针对于图像i1的标注文件a(即.csv文件)中每一类标注区域单独生成矩阵n_i,i＝1,2,3,
…
,矩阵规格与图像像素一致。标注区域内的每个像素点赋值为1，标注区域以外的区域以0填充；所形成的矩阵可例如矩阵n1与矩阵n2；
111.还可以针对于图像i2的标注文件b(即.csv文件)中每一类标注区域单独生成举证矩阵m_i,i＝1,2,3,
…
,矩阵规格与图像像素一致。标注区域内的每个像素点赋值为1，标注区域以外的区域以0填充；所形成的矩阵可例如矩阵m1与矩阵m2。
112.若所述k组标注分类信息包括第一组标注分类信息与第二组标注分类信息(对应的矩阵标注图像可例如为图像i1与图像i2)；其中一种实施方式中，步骤s122可以包括：
113.s1221：确定所述第一组标注分类信息的每个矩阵与所述第二组标注分类信息的每个矩阵间的重合区域、所述重合区域的面积，以及所述重合区域所对应的两个分类标签；
114.s1222：计算其中同类重合区域的面积的总和，得到第一面积参数；
115.s1223：计算其中异类重合区域的面积的总和，得到第二面积参数；
116.s1224：根据所述第一面积参数与所述第二面积参数，计算所述评估信息。
117.其中，所述重合区域表征了两个矩阵间位置、数值相同且均为所述第一数值(例如为1)的矩阵元素的集合，所述面积表征了所述重合区域的矩阵元素的数量；
118.在图6、图7所示的举例中，矩阵n1中的12个数值为1的矩阵元素、矩阵m1中的12个数值为1的矩阵元素的区域即为重合区域，对应的，重合区域的面积即为12。同时，矩阵n1与矩阵m2的重合区域的面积即为0，矩阵n2与矩阵m1的重合区域的面积即为0，矩阵n2与矩阵m2的重合区域的面积即为6。可见，在步骤s1221中，即可得到矩阵n1与矩阵m1之间的重合区域及其面积、矩阵n1与矩阵m2之间的重合区域及其面积、矩阵n2与矩阵m1之间的重合区域及面积、矩阵n2与矩阵m2之间的重合区域及面积。
119.其中的同类重合区域指：所对应的两个分类标签为相同分类标签的重合区域，例如图像i1中标签为c1的标注区域的矩阵与图像i2中标签为c1的标注区域的矩阵之间的重合区域即为同类重合区域。
120.其中的异类重合区域指：所对应的两个分类标签为不同分类标签的重合区域，例如图像i1中标签为c2的标注区域的矩阵与图像i2中标签为c3的标注区域的矩阵之间的重合区域即为异类重合区域。
121.在图6、图7所示的举例中：
122.矩阵n1与矩阵m1的重合区域的面积为12，且为相同分类区域重合(即矩阵n1与矩阵m1的同类重合区域的面积为12)；矩阵n1与矩阵m1所代表的标注均为c1分类；
123.矩阵n1与矩阵m2的重合区域的面积为0；矩阵n2与矩阵m1的重合区域的面积为0；矩阵n2与矩阵m2的重合区域的面积为9，且为不同分类重合(即矩阵n1与矩阵m2的异类重合区域的面积为9)；矩阵n2、矩阵m2所代表的标注分别为c2和c3分类。
124.此外，在图示的举例中，图像i1中标签为c1的标注区域的矩阵与图像i2中标签为c3的标注区域的矩阵之间未形成重合，故而其未形成同类重合区域或异类重合区域，在其他举例中，若形成重合，也可能形成部分异类重合区域。
125.其中一种实施方式中，所述第一数值为1，所述第二数值为0的情况下，1与1相乘的结果为1，1与0、0与0相乘的结果为0，故而，可通过矩阵的相乘体现出重合区域。
126.故而，请参考图5，步骤s1221可以包括：
127.s12211：将所述两个矩阵相乘，得到哈达玛积矩阵；其中，所述哈达玛积矩阵中数值为1的矩阵元素的区域为所述重合区域；
128.s12212：计算所述哈达玛积矩阵中数值为1的矩阵元素的数量作为所述重合区域的面积；
129.s12213：以两个矩阵的标注区域所添加的分类标签作为所述重合区域所对应的两个分类标签。
130.具体方案中，可以将矩阵n_i，i＝1,2,3,
…
,与矩阵m_i，i＝1,2,3,
…
逐个进行相乘，计算哈达玛积，并记录所有哈达玛积矩阵中非0像素点的数量并根据其具体值(非0部分即为重合部分，具体取值代表重合对象)得到n_i与m_i中各类型标注的重合部分面积。记录各类型标注重合面积所对应的分类。
131.在图7、图8、图9与图10中，分别示意了矩阵n1与矩阵m1的哈达玛积、矩阵n1与矩阵m2的哈达玛积、矩阵n2与矩阵m1的哈达玛积，以及矩阵n2与矩阵m2的哈达玛积。
132.以上所涉及的第一面积参数可表征为s
s
，以上所涉及的第二面积参数可表征为s
d
；部分方案中，可以第一面积参数和/或第二面积参数本身作为评估信息，进而，比较第一面积参数s
s
与相应的标准，和/或：比较第二面积参数s
d
与相应的标准，从而判断一致性是否高于预设标准，部分方案中，还可比较s
s
/s
s
s
d
和/或s
d
/s
s
s
d
作为评估信息，进而，比较s
s
/s
s
s
d
与相应的标准，和/或：s
d
/s
s
s
d
与相应的标准，从而判断一致性是否高于预设标准；例如，可在s
s
/s
s
s
d
大于某值和/或：s
d
/s
s
s
d
小于某值时判断为评估信息高于预设标准。
133.另部分方案中，还可引入第三面积参数与第四面积参数计算评估信息，例如，请参考图5，步骤s122还可以包括：
134.s1225：计算所述第一组标注分类信息中标注区域的面积总和，得到第三面积参数；
135.s1226：计算所述第二组标注分类信息中标注区域的面积总和，得到第四面积参数；
136.对应的，步骤s1224可以包括：
137.s12241：根据所述第一面积参数、所述第二面积参数、所述第三面积参数与所述第四面积参数，计算所述评估信息。
138.其中，所述标注区域的面积总和表征了对应一组标注分类信息的所有标注区域内像素点或其对应矩阵元素的总数量，以图6为例：
139.图像i1的标签为c1的标注区域的总和为矩阵n1的标注区域的矩阵元素的总数量，
即12；
140.图像i1的标签为c2的标注区域的总和为矩阵n2的标注区域的矩阵元素的总数量，即15；
141.图像i2的标签为c1的标注区域的总和为矩阵n2的标注区域的矩阵元素的总数量，即12；
142.图像i2的标签为c3的标注区域的总和为矩阵n2的标注区域的矩阵元素的总数量，即15。
143.对应的，图像i1(即一组标注分类信息)的第三面积参数为27，图像i2(即一组标注分类信息)的第三面积参数为27。
144.一种具体的举例中，所述评估信息包括第一评估信息和/或第二评估信息；
145.所述第一评估信息匹配于第一比值；
146.其中，所述第一比值为：s
s
/(s
a
s
b
‑
s
s
‑
s
d
)；
147.所述第二评估信息匹配于第二比值；
148.其中，所述第二比值为：s
d
/(s
a
s
b
‑
s
s
‑
s
d
)；
149.s
d
表征了所述第二面积参数；
150.s
s
表征了所述第一面积参数；
151.s
a
表征了所述第三面积参数；
152.s
b
表征了所述第四面积参数。
153.与之对应的，
154.若所述评估信息包括所述第一评估信息，则：向指定用户反馈标注分类结果之前，还包括：确定所述第一评估信息高于对应的第一指定阈值；
155.若所述评估信息包括所述第二评估信息，则：向指定用户反馈标注分类结果之前，还包括：确定所述第二评估信息低于对应的第二指定阈值。
156.一种举例中，第一指定阈值可例如为95％，第二指定阈值可例如为5％。部分方案中，可将评估信息与预设标准的评估规则配置为：两项评估信息的评估中，只要有一项不达标，一致性评分不达标，反之，只有在两项均达标的情况下，才满足：评估信息所表征的一致性高于预设标准。此外，用户可自行设定一致性评分达标的标准(例如可自行设置第一指定阈值、第二指定阈值)。
157.以图6、图7所示的矩阵为例，则：
158.第一比值
159.第二比值
160.此时，因为r
s
≤90％且r
d
≥5％，可认为评估信息未达标，系统可将病理图像状态更新为“未通过”，待对相应的标注分类信息进行更改后再次进行评估。该方案中，可直接以第一比值、第二比值作为第一评估信息、第二评估信息，其他举例中，也可基于第一比值、第二比值结合其他计算而形成第一评估信息、第二评估信息，例如可对其进行校正，也在此基础上进行进一步计算(例如加、减、乘、除某些数值)。
161.以图6、图7所示为例，若一致性的预设标准在一开始被用户所重设，且根据重设后
的标准一致性评分达标，则可生成第一组标注分类信息和第二组标注分类信息重合区域的矩阵(如图11所示)并保留标注轮廓坐标，生成.csv文件后提交供复核。
162.可见，所反馈的标注分类结果表征了至少部分重合区域在所述病理图像中的位置与范围，以及所述重合区域对应的标签。例如：
163.可将各重合区域整合在一起(整合后的矩阵可例如图11所示)，结合相应的标签，可生成对应的标注图像的.csv文件，在需要复核时，可调取并向指定用户反馈该.csv文件。
164.若复核不通过，部分方案中，可回到步骤s11重新确定、调整标注分类信息，进而执行后续步骤，重新提交复核，另部分方案中，也可由指定用户自行重新确定标注分类信息，从而生成标注分类结果。
165.可见，本发明实施例的具体方案中，可将重复性强的，工作量大的任务分配给区域标注子模块，令医生复核子模块从事耗时相对较少但专业性强的工作，使人力资源的分配更加合理。区域标注子模块、区域分类子模块和医生复核子模块产生各自的分工，有效避免因为标注工作量大而导致的管理混乱、标注质量参差不齐等问题。逐层把关的模式和质控评分算法的存在保证了标注质量。
166.此外，若标注分类信息的数量为至少三组，则：一种举例中，可参照前文的方式计算每两组之间的评估信息(例如第一评估信息、第二评估信息)，然后基于统计学的方式整合各评估信息，得到用于评估一致性的最终的评估信息，然后在步骤s3的过程中基于该最终的评估信息进行计算；例如：可计算每两组之间的第一评估信息(或第二评估信息)，得到多个待统计的第一评估信息(或第二评估信息)，然后计算各待统计的第一评估信息(或第二评估信息)的平均值最为最终的第一评估信息(或第二评估信息)。
167.请参考图12，本发明实施例还提供了一种病理图像的处理装置2，包括：
168.获取模块201，用于获取病理图像的k组标注分类信息，所述标注分类信息表征了：记载至少一个标注区域的标注图像，以及每个标注区域所添加的分类标签；所述标注区域是针对于所述病理图像而划出的；不同组标注分类信息是不同用户确定的；
169.评估模块202，用于评估所述k组标注分类信息的一致性，得到表征所述一致性的评估信息；
170.反馈模块203，用于若所述评估信息所表征的一致性高于预设标准，则向具有复核权限的用户反馈标注分类结果，其中，所述标注分类结果是根据所述k组标注分类信息确定的。
171.可选的，所述评估模块202，具体用于：
172.针对于每一组标注分类信息中的每个标注区域，形成一个矩阵；在所述矩阵中，矩阵元素的分布匹配于所述标注图像中像素点的分布，并且，所述标注区域内像素点对应的矩阵元素取第一数值，所述标注区域外像素点对应的矩阵元素取第二数值；
173.基于所有矩阵与所述分类标签，计算所述评估信息。
174.可选的，所述k组标注分类信息包括第一组标注分类信息与第二组标注分类信息；
175.可选的，所述评估模块202，具体用于：
176.确定所述第一组标注分类信息的每个矩阵与所述第二组标注分类信息的每个矩阵间的重合区域、所述重合区域的面积，以及所述重合区域所对应的两个分类标签；
177.其中，所述重合区域表征了两个矩阵间位置、数值相同且均为所述第一数值的矩
阵元素的集合，所述面积表征了所述重合区域的矩阵元素的数量；
178.计算其中同类重合区域的面积的总和，得到第一面积参数；所述同类重合区域指：所对应的两个分类标签为相同分类标签的重合区域；
179.计算其中异类重合区域的面积的总和，得到第二面积参数；所述异类重合区域指：所对应的两个分类标签为不同分类标签的重合区域；
180.根据所述第一面积参数与所述第二面积参数，计算所述评估信息。
181.可选的，所述评估模块202，具体用于：
182.计算所述第一组标注分类信息中标注区域的面积总和，得到第三面积参数；
183.计算所述第二组标注分类信息中标注区域的面积总和，得到第四面积参数；
184.其中，所述标注区域的面积总和表征了对应一组标注分类信息的所有标注区域内像素点或其对应矩阵元素的总数量；
185.根据所述第一面积参数与所述第二面积参数，计算所述评估信息，具体包括：
186.根据所述第一面积参数、所述第二面积参数、所述第三面积参数与所述第四面积参数，计算所述评估信息。
187.可选的，所述评估信息包括第一评估信息和/或第二评估信息；
188.所述第一评估信息匹配于第一比值；
189.其中，所述第一比值为：s
s
/(s
a
s
b
‑
s
s
‑
s
d
)；
190.所述第二评估信息匹配于第二比值；
191.其中，所述第二比值为：s
d
/(s
a
s
b
‑
s
s
‑
s
d
)；
192.s
d
表征了所述第二面积参数；
193.s
s
表征了所述第一面积参数；
194.s
a
表征了所述第三面积参数；
195.s
b
表征了所述第四面积参数。
196.可选的，若所述评估信息包括所述第一评估信息，则：向指定用户反馈标注分类结果之前，还包括：确定所述第一评估信息高于对应的第一指定阈值；
197.若所述评估信息包括所述第二评估信息，则：向指定用户反馈标注分类结果之前，还包括：确定所述第二评估信息低于对应的第二指定阈值。
198.可选的，在所述矩阵中，所述第一数值为1，所述第二数值为0；
199.所述评估模块，具体用于：
200.将所述两个矩阵相乘，得到哈达玛积矩阵；其中，所述哈达玛积矩阵中数值为1的矩阵元素的区域为所述重合区域；
201.计算所述哈达玛积矩阵中数值为1的矩阵元素的数量作为所述重合区域的面积；
202.以两个矩阵的标注区域所添加的分类标签作为所述重合区域所对应的两个分类标签。
203.可选的，所反馈的标注分类结果表征了至少部分重合区域在所述病理图像中的位置与范围，以及所述重合区域对应的标签。
204.可选的，所述获取模块201，具体用于：
205.在第一权限的第一用户针对于所述病理图像划出标注区域后，得到记载标注区域的标注图像；
206.获取n个第二权限的第二用户针对于所述标注区域添加的分类标签，并基于标注图像与每个第二用户所添加的分类标签，形成一组标注分类信息，得到所述k组标注分类信息。
207.可选的，所述获取模块201，还用于：
208.响应于所述第二用户的修改操作，对所述标注区域进行修改，以使得：所述标注分类信息中的标注区域为修改后的标注区域。
209.请参考图13，提供了一种电子设备30，包括：
210.处理器31；以及，
211.存储器32，用于存储所述处理器的可执行指令；
212.其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
213.处理器31能够通过总线33与存储器32通讯。
214.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
215.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
216.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。