一种图像处理方法、装置、设备及存储介质

1.本发明实施例涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.随着医疗科技的发展以及医学图像拍摄的普及，目前医生普遍通过医学图像来了解患者身体当前的状态。为了对细胞形态进行微观研究，相关技术将生物组织置于固定剂中，并采用染色试剂对生物组织进行染色，获得可以在显微镜下观察的病理切片。然后利用全自动显微镜扫描装置，对病理切片进行扫描并拼接，获得病理图像。
3.对于同一个患者的病灶组织，需要采用多种染色法对病灶组织进行多次染色，获得多种不同的病理图像，然后检测不同病理图像中的病理参数，以确定合理有效的治疗方案。
4.然而，制作一套完整的不同染色的病理图像需要花费大量的时间，进而导致检测病理图像中的病理参数的效率较低。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置、设备及存储介质，用以提高检测病理图像中的病理参数的效率。
6.一方面，本技术实施例提供了一种图像处理方法，该方法包括：
7.获取目标对象在初始染色状态下的初始病理图像，并将所述初始病理图像，划分为多个病理区域图像；
8.基于所述多个病理区域图像的图像特征，分别预测所述多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值；
9.基于获得的多个候选病理参数值，确定所述目标对象在所述目标染色状态下的目标病理参数值。
10.一方面，本技术实施例提供了一种图像处理装置，该装置包括：
11.获取模块，用于获取目标对象在初始染色状态下的初始病理图像，并将所述初始病理图像，划分为多个病理区域图像；
12.预测模块，用于基于所述多个病理区域图像的图像特征，分别预测所述多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值；
13.汇总模块，用于基于获得的多个候选病理参数值，确定所述目标对象在所述目标染色状态下的目标病理参数值。
14.可选地，所述预测模块具体用于：
15.分别将所述多个病理区域图像，输入目标预测模型；
16.通过所述目标预测模型，基于所述多个病理区域图像的图像特征，分别预测所述多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值。
17.可选地，还包括模型训练模块；
18.所述模型训练模块具体用于：
19.分别将所述多个病理区域图像，输入目标预测模型之前，获取多个第一样本区域图像以及对应的样本病理参数值，其中，第一样本区域图像为样本对象在初始染色状态下的病理区域图像，样本病理参数值为第一样本区域图像中的病理区域在目标染色状态下的病理参数值；
20.采用所述多个第一样本区域图像以及对应的样本病理参数值，对待训练的预测模型进行迭代训练，直到满足迭代停止条件，获得所述目标预测模型。
21.可选地，所述模块训练模块具体用于：
22.在每次迭代过程中执行以下步骤：
23.基于第一样本区域图像的图像特征，预测所述第一样本区域图像中的病理区域在目标染色状态下的预测病理参数值；
24.基于所述第一样本区域图像对应的样本病理参数值和所述预测病理参数值，确定目标损失值，并通过所述目标损失值对所述待训练的预测模型进行参数调整。
25.可选地，所述模块训练模块具体用于：
26.获取第一样本图像和第二样本图像，其中，所述第一样本图像为样本对象在初始染色状态下的病理图像，所述第二样本图像为样本对象在目标染色状态下的病理图像；
27.对所述第一样本图像和所述第二样本图像进行配准，获得第一配准结果图像和第二配准结果图像；
28.按照相同划分规则，将所述第一配准结果图像划分为多个第一样本区域图像，以及将所述第二配准结果图像划分为多个第二样本区域图像；
29.将所述多个第二样本区域图像对应的病理参数值，作为相应的多个第一样本区域图像对应的样本病理参数值。
30.可选地，所述模块训练模块还用于：
31.将所述多个第二样本区域图像对应的病理参数值，作为相应的多个第一样本区域图像对应的样本病理参数值之前，针对所述多个第二样本区域图像，分别执行以下步骤：
32.对一个第二样本区域图像进行病灶区域检测，获得所述一个第二样本区域图像中的目标病灶区域；
33.在所述目标病灶区域中，检测第一病变细胞的数量和第二病变细胞的数量；
34.基于所述第一病变细胞的数量和所述第二病变细胞的数量，确定所述一个第二样本区域图像的病理参数值。
35.可选地，所述模块训练模块具体用于：
36.对所述第一样本图像进行前景分割获得第一前景区域，以及对所述第二样本图像进行前景分割获得第二前景区域；
37.对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示配准时所述第二前景区域对应的调整方式；
38.将所述第一样本图像作为第一配准结果图像，以及基于所述配准参数对所述第二样本图像进行调整，获得第二配准结果图像。
39.可选地，所述获取模块具体用于：
40.通过目标滑动窗口，依次从所述初始病理图像中，提取多个病理区域图像。
41.可选地，所述汇总模块具体用于：
42.将所述多个候选病理参数值，按照从大到小的顺序进行排序，获得参数值排序结果；
43.基于参数值排序结果，从所述多个候选病理参数值中选取预设数量的候选病理参数值；
44.将预设数量的候选病理参数值的平均值，作为所述目标对象在所述目标染色状态下的目标病理参数值。
45.一方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像处理方法的步骤。
46.一方面，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述图像处理方法的步骤。
47.一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述图像处理方法的步骤。
48.本技术实施例中，将目标对象在初始染色状态下的初始病理图像划分为多个病理区域图像，然后基于病理区域图像的图像特征，直接预测病理区域图像中的病理区域在目标染色状态下的候选病理参数值，而不需要对目标对象漂染和重新着色，获得目标对象在目标染色状态下的病理图像，从而提高了检测目标对象的病理参数值的效率。其次，由于病理区域图像可以保留更多细节的图像特征，因此，对病理区域图像进行病理参数预测后可以获得的准确性更高的候选病理参数值，故结合获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值时，可有效提高检测目标病理参数值的准确性和效率。
附图说明
49.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
50.图1为本技术实施例提供的一种系统架构的结构示意图；
51.图2为本技术实施例提供的一种病理参数预测结果的示意图；
52.图3为本技术实施例提供的一种图像处理方法的流程示意图；
53.图4为本技术实施例提供的一种提取病理区域图像的方法的流程示意图；
54.图5为本技术实施例提供的一种图像配准方法的流程示意图；
55.图6为本技术实施例提供的一种提取病理区域图像的方法的流程示意图；
56.图7为本技术实施例提供的第二样本区域图像的示意图；
57.图8为本技术实施例提供的一种图像处理方法的流程示意图；
58.图9为本技术实施例提供的一种图像处理装置的流程示意图；
59.图10为本技术实施例提供的一种计算机设备的流程示意图。
具体实施方式
60.为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
61.为了方便理解，下面对本发明实施例中涉及的名词进行解释。
62.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
63.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
64.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。比如，本技术实施例中采用机器学习技术预测目标对象在目标染色状态下的病理图像，以及在目标染色状态下的目标病理参数值。
65.病理图像：用于呈现机体器官、组织或细胞的病理形态的图像。基于病理图像，可以探究病变产生的原因、发病机理、病变的发展过程等。病理图像包括病灶切片图像(为了观察病灶改变，而切取一定大小的病灶组织所形成的图像)、内镜图像等。
66.全视野数字切片(whole slide images，wsi)：是利用全自动显微镜扫描系统，结合虚拟切片软件系统，把传统玻璃切片进行扫描、无缝拼接，生成的一张全视野的数字切片。数字切片在病理学研究中具有不褪色、随时打开等优点。
67.imagenet：用于视觉对象识别软件研究的大型可视化数据库。
68.he染色：hematoxylin-eosin staining，苏木精-伊红染色法，石蜡切片技术里常用的染色法之一。
69.ihc染色：免疫组织化学(immunohistochemistry，简称ihc)染色，是多种染色法的统称，通常包括ki67染色、er染色、pr染色、her2染色、pd-l1染色等。
70.inceptionv3模型：一种卷积神经网络模型。
71.rmsprop：root mean square prop，均方根算法，一种模型优化算法，可以加快梯度下降速度。
72.下面对本技术实施例的设计思想进行介绍。
73.病理学是细胞形态的微观研究，能够补充原位分子信息。具体实施过程中，将生物组织从体内取出置于固定剂中，固定剂用于稳定生物组织以防止腐烂。然后采用染色试剂对生物组织进行染色，获得可以在显微镜下观察的病理切片，生物组织的不同成分用不同的染色剂染色。
74.对于同一个患者的病灶组织，需要采用多种染色法对病灶组织进行多次染色，获得多种不同的病理图像。比如，乳腺癌患者通常需要制作he染色、ki67染色、er染色、pr染色、her2染色等不同染色的病理切片，并扫描获得相应的病理图像。然后检测不同病理图像中的病理参数，以确定合理有效的治疗方案。
75.然而，制作一套完整的不同染色的病理图像需要花费大量的时间，进而导致检测病理图像中的病理参数的效率较低。
76.鉴于此，本技术实施例提供了一种图像处理方法，该方法包括：
77.获取目标对象在初始染色状态下的初始病理图像，并将初始病理图像，划分为多个病理区域图像，然后基于多个病理区域图像的图像特征，分别预测多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值。再基于获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值。
78.本技术实施例中，将目标对象在初始染色状态下的初始病理图像划分为多个病理区域图像，然后基于病理区域图像的图像特征，直接预测病理区域图像中的病理区域在目标染色状态下的候选病理参数值，而不需要对目标对象漂染和重新着色，获得目标对象在目标染色状态下的病理图像，从而提高了检测目标对象的病理参数值的效率。其次，由于病理区域图像可以保留更多细节的图像特征，因此，对病理区域图像进行病理参数预测后可以获得的准确性更高的候选病理参数值，故结合获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值时，可有效提高检测目标病理参数值的准确性和效率。
79.参考图1，其为本技术实施例提供的图像处理方法的系统架构图。该架构至少包括终端设备101以及服务器102。
80.终端设备101中安装有目标应用，其中，目标应用可以是客户端应用、网页版应用、小程序应用等。目标应用用于预测目标对象在不同染色状态下的病理参数值。终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能家电、智能语音交互设备、智能车载设备等，但并不局限于此。
81.服务器102可以是目标应用的后台服务器，为目标应用提供相应的服务，服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101与服务器102可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
82.本技术实施例中的图像处理方法可以是终端设备101执行，也可以是服务器102执行，还也可以由终端设备101与服务器102交互执行。
83.以服务器102执行本技术实施例中的图像处理方法举例来说，包括以下步骤：
84.终端设备101将目标对象在初始染色状态下的初始病理图像发送至服务器102，服务器102将初始病理图像，划分为多个病理区域图像，然后基于多个病理区域图像的图像特征，分别预测多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值。再基于获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值。
85.在实际应用中，本技术实施例中的图像处理方法可以应用于任意预测目标对象在不同染色状态下的病理参数值的场景。
86.以乳腺癌举例来说，如图2所示，获取患者的病灶组织在he染色状态下的初始病理图像，并将初始病理图像，划分为多个病理区域图像。
87.基于多个病理区域图像的图像特征，分别预测多个病理区域图像中的病理区域，在ki67染色状态下的区域ki67读数。再基于获得的多个区域ki67读数，确定病灶组织在ki67染色状态下的ki67读数。采用上述相同的步骤获得病灶组织在er染色状态下的er读数，病灶组织在pr染色状态下的pr读数，病灶组织在her2染色状态下的her2读数。之后再综合ki67读数、er读数、pr读数和her2读数，确定患者的治疗方案。
88.本技术实施例中，将目标对象在初始染色状态下的初始病理图像划分为多个病理区域图像，然后基于病理区域图像的图像特征，直接预测病理区域图像中的病理区域在目标染色状态下的候选病理参数值，再结合获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值，而不需要对目标对象漂染和重新着色，获得目标对象在目标染色状态下的病理图像，再对病理图像进行病理参数检测，从而提高了检测目标对象的病理参数值的效率和准确性。
89.基于图1所示的系统架构图，本技术实施例提供了一种图像处理方法的流程，如图3所示，该方法的流程可以由图1所示的终端设备101和/或服务器102执行，包括以下步骤：
90.步骤s301，获取目标对象在初始染色状态下的初始病理图像，并将初始病理图像，划分为多个病理区域图像。
91.具体地，目标对象可以是任意生物组织，对于患者来说，目标对象具体可以是病灶组织。初始染色状态可以是采用至少一种染色法对目标对象染色后的状态，染色法包括但不限于he染色、ki67染色、er染色、pr染色、her2染色。初始病理图像是利用全自动显微镜扫描装置，对病理切片进行扫描并拼接获得的wsi图像。
92.举例来说，将病灶组织至于固定剂中，并采用he染色法对病灶组织进行染色，获得可以在显微镜下观察的病理切片。然后利用全自动显微镜扫描装置，对病理切片进行扫描并拼接，获得初始病理图像。
93.可选地，多个病理区域图像为尺寸相同的病理区域图像，通过目标滑动窗口，依次从初始病理图像中，提取多个病理区域图像。
94.举例来说，如图4所示，设定初始病理图像的像素尺寸为0.2mpp，目标滑动窗口的尺寸为1536x1536。从初始病理图像的左上角(对应图4中的目标滑动窗口401)开始，逐行通过目标滑动窗口，从初始病理图像中提取病理区域图像，直到目标滑动窗口到达初始病理图像的右下角(对应图4中的目标滑动窗口402)时结束，获得多个病理区域图像，其中，每个目标滑动窗口内的图像为提取的一个病理区域图像。在提取结束之后，将每个病理区域图像的尺寸调整为1024x1024，此时，病理区域图像的像素尺寸为0.3mpp。
95.由于相较于整个初始病理图像来说，病理区域图像可以保留更多细节的图像特
征，因此，通过目标滑动窗口，依次从初始病理图像中，提取多个病理区域图像进行后续病理参数预测，可以有效提高病理参数预测的准确性。
96.步骤s302，基于多个病理区域图像的图像特征，分别预测多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值。
97.具体地，初始染色状态和目标染色状态为采用不同染色法获得的染色状态。目标染色状态对应的染色法包括但不限于he染色、ki67染色、er染色、pr染色、her2染色。比如，初始染色状态为he染色状态，目标染色状态为ki67染色状态；又比如，初始染色状态为ki67染色状态，目标染色状态为er染色状态。
98.一种可能的实施方式，可以先基于多个病理区域图像的图像特征，分别预测多个病理区域图像中的病理区域，在目标染色状态下的目标病理区域图像，然后对多个目标病理区域图像进行病理参数预测，分别获得多个目标病理区域图像对应的候选病理参数值。
99.具体地，目标病理区域图像在不同的染色状态下对应不同的病理参数值。比如，目标病理区域图像在ki67染色状态下对应的候选病理参数值为ki67读数；目标病理区域图像在er染色状态下对应的候选病理参数值为er读数；目标病理区域图像在pr染色状态下对应的候选病理参数值为pr读数；目标病理区域图像在her2染色状态下对应的候选病理参数值为her2读数。
100.步骤s303，基于获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值。
101.具体地，可以直接将获得的多个候选病理参数值的平均值，作为目标对象在目标染色状态下的目标病理参数值，也可以将多个候选病理参数值，按照从大到小的顺序进行排序，获得参数值排序结果。然后基于参数值排序结果，从多个候选病理参数值中选取预设数量的候选病理参数值。再将预设数量的候选病理参数值的平均值，作为目标对象在目标染色状态下的目标病理参数值。
102.举例来说，获取患者的病灶组织在he染色状态下的初始病理图像，并将初始病理图像，划分为100个病理区域图像。
103.针对每个病理区域图像，基于病理区域图像的图像特征，预测病理区域图像中的病理区域，在ki67染色状态下的区域ki67读数。再按照读数从大到小的顺序对获得的100个区域ki67读数进行排序，获得参数值排序结果。将参数值排序结果中排在前30的区域ki67读数的平均值，作为病灶组织在ki67染色状态下的ki67读数。
104.本技术实施例中，将目标对象在初始染色状态下的初始病理图像划分为多个病理区域图像，然后基于病理区域图像的图像特征，直接预测病理区域图像中的病理区域在目标染色状态下的候选病理参数值，而不需要对目标对象漂染和重新着色，获得目标对象在目标染色状态下的病理图像，从而提高了检测目标对象的病理参数值的效率。其次，由于病理区域图像可以保留更多细节的图像特征，因此，对病理区域图像进行病理参数预测后可以获得的准确性更高的候选病理参数值，故结合获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值时，可有效提高检测目标病理参数值的准确性和效率。
105.可选地，在上述步骤s302中，分别将多个病理区域图像，输入目标预测模型。然后通过目标预测模型，基于多个病理区域图像的图像特征，分别预测多个病理区域图像中的
病理区域，在目标染色状态下的候选病理参数值。
106.具体地，目标预测模型可以是卷积神经网络模型、全卷积网络模型、支持向量机模型等。可选地，本技术实施例中训练获得的目标预测模型可保存于区块链上。
107.本技术实施例中，通过训练获得的目标预测模型，直接预测病理区域图像中的病理区域，在目标染色状态下的候选病理参数值，而不需要对初始病理图像进行漂染和多次染色后再检测病理参数，从而提高获得不同染色状态下的病理区域图像的效率，进而提高病理参数检测的效率。
108.可选地，在通过目标预测模型，预测多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值之前，需要对预测模型进行训练，下面具体介绍训练预测模型的过程：
109.首先，本技术实施例至少采用以下方式获得训练样本：
110.获取第一样本图像和第二样本图像，其中，第一样本图像为样本对象在初始染色状态下的病理图像，第二样本图像为样本对象在目标染色状态下的病理图像。然后对第一样本图像和第二样本图像进行配准，获得第一配准结果图像和第二配准结果图像。按照相同划分规则，将第一配准结果图像划分为多个第一样本区域图像，以及将第二配准结果图像划分为多个第二样本区域图像。之后再将多个第二样本区域图像对应的病理参数值，作为相应的多个第一样本区域图像对应的样本病理参数值。
111.具体地，样本对象可以是任意生物组织。对第一样本图像和第二样本图像进行配准时，可以以其中一个样本图像为基准，然后对另一个样本图像进行平移调整、旋转调整、缩放调整、翻转调整、拉伸调整等校准操作，获得第一配准结果图像和第二配准结果图像。
112.采用相同尺寸的滑动窗口以及相同的提取规则，从第一配准结果图像中提取多个第一样本区域图像，以及从第二配准结果图像中提取多个第二样本区域图像，其中，一个第一样本区域图像均对应一个尺寸相同的第二样本区域图像，且第一样本区域图像和第二样本区域图像包含的病理区域相同。之后再检测每个第二样本区域图像对应的病理参数值，并将第二样本区域图像对应的病理参数值，作为相应的第一样本区域图像对应的样本病理参数值。多个第一样本区域图像以及对应的样本病理参数值经过医生审核后，可作为训练样本。
113.需要说明的是，训练样本并不限于从一个第一样本图像中提取的多个第一样本区域图像以及对应的样本病理参数值，也可以是从多个第一样本图像中提取的，对此，本技术不做具体限定。另外，在获得多个第一样本区域图像之后，还可以对多个第一样本区域图像进行数据增强，以实现训练样本扩充，其中，数据增强的方法除了翻转、旋转、裁剪等方法之外，也可以进行色彩通道变换等颜色扰动增强，为了保证输入图像的像素尺寸基本一致，数据增强时不能使用大幅度的图像放缩处理。
114.举例来说，参见图5，设定第一样本图像为样本对象在he染色状态下的病理图像，第二样本图像为样本对象在ki67染色状态下的病理图像。对第一样本图像和第二样本图像进行图像配准，获得第一配准结果图像和第二配准结果图像。
115.参见图6，第一配准结果图像和第二配准结果图像的像素尺寸均为0.2mpp，滑动窗口的尺寸为1536x1536。从第一配准结果图像的左上角(对应图6中的滑动窗口601)开始，逐行通过滑动窗口，从第一配准结果图像中提取第一样本区域图像，直到滑动窗口到达第一
配准结果图像的右下角(对应图6中的滑动窗口602)时结束，获得多个第一样本区域图像。
116.相应地，从第二配准结果图像(对应图6中的滑动窗口603)的左上角开始，逐行通过滑动窗口，从第二配准结果图像中提取第二样本区域图像，直到滑动窗口到达第二配准结果图像的右下角(对应图6中的滑动窗口604)时结束，获得多个第二样本区域图像。
117.在第一配准结果图像中，每个滑动窗口内的图像为提取的一个第一样本区域图像。在第二配准结果图像中，每个滑动窗口内的图像为提取的一个第二样本区域图像。第一配准结果图像中的多个第一样本区域图像与第二配准结果图像中的多个第二样本区域图像之间是一一对应的关系。比如，滑动窗口601内的第一样本区域图像与滑动窗口603内的第二样本区域图像对应。
118.在提取结束之后，分别将各个第一样本区域图像和各个第二样本区域图像的尺寸调整为1024x1024，此时，第一样本区域图像和第二样本区域图像的像素尺寸均为0.3mpp。再检测每个第二样本区域图像对应的病理参数值，并将第二样本区域图像对应的病理参数值，作为相应的第一样本区域图像对应的样本病理参数值。
119.本技术实施例中，通过对第一样本图像和第二样本图像进行配准，获得第一配准结果图像和第二配准结果图像，而不需要采用漂染技术获得完全对应的第一样本图像和第二样本图像，简化了获得训练样本的复杂度，同时提高了获得训练样本的效率。
120.可选地，本技术实施例至少采用以下实施方式对第一样本图像和第二样本图像进行配准：
121.对第一样本图像进行前景分割获得第一前景区域，以及对第二样本图像进行前景分割获得第二前景区域。然后对第一前景区域和第二前景区域进行配准预测，得到第二前景区域相对于第一前景区域的配准参数，配准参数用于以矩阵的形式指示配准时第二前景区域对应的调整方式。之后再将第一样本图像作为第一配准结果图像，以及基于配准参数对第二样本图像进行调整，获得第二配准结果图像。
122.具体地，可以采用前景分割模型对第一样本图像进行前景分割，获得第一前景区域，也可以对第一样本图像进行灰度处理，并将符合灰度要求的区域作为第一前景区域。对应的，采用相同的方式，对第二样本图像进行前景分割获得第二前景区域。调整方式包括平移调整、旋转调整、缩放调整、翻转调整、拉伸调整等调整方式中的至少一种。
123.其中，针对平移调整，配准参数用于指示第二前景区域在第二样本图像上的平移方向以及平移距离；针对旋转调整，配准参数用于指示第二前景区域在第二样本图像上旋转中心以及旋转角度；针对缩放调整，配准参数用于指示第二前景区域在第二样本图像上的缩放比例；针对拉伸调整，配准参数用于指示第二前景区域在第二样本图像上的拉伸比例。
124.本技术实施例中，对第一样本图像进行前景分割获得第一前景区域，以及对第二样本图像进行前景分割获得第二前景区域后，直接通过配准预测的形式确定第二前景区域相对于第一前景区域的配准参数，从而通过配准参数对第二样本图像进行调整，得到配准结果图像，而不需要采用漂染技术获得完全对应的第一样本图像和第二样本图像，简化了获得训练样本的复杂度，同时提高了获得训练样本的效率。
125.可选地，本技术实施例至少采用以下方式检测多个第二样本区域图像对应的病理参数值，具体地，针对多个第二样本区域图像，分别执行以下步骤：
126.对一个第二样本区域图像进行病灶区域检测，获得该第二样本区域图像中的目标病灶区域。在目标病灶区域中，检测第一病变细胞的数量和第二病变细胞的数量。然后基于第一病变细胞的数量和第二病变细胞的数量，确定该第二样本区域图像的病理参数值。
127.具体实施中，病变细胞可以指癌症细胞等异常细胞。先检测出目标病灶区域中的所有病变细胞，然后通过对每个病变细胞进行分类，确定病变细胞中的第一病变细胞和第二病变细胞，再分别统计第一病变细胞的数量和第二病变细胞的数量。将第一病变细胞的数量和第二病变细胞的数量求和，获得总病变细胞的数量。
128.可以将第一病变细胞的数量与总病变细胞的数量的比值，作为第二样本区域图像的病理参数值，也可以将第二病变细胞的数量与总病变细胞的数量的比值，作为第二样本区域图像的病理参数值，还可以将第一病变细胞的数量或者第二病变细胞的数量作为第二样本区域图像的病理参数值，对此，本技术不做具体限定。
129.举例来说，参见图7，为本技术实施例提供的一种第二样本区域图像的示意图，第二样本区域图像为病理区域在ki67染色状态下对应的病理区域图像。
130.对第二样本区域图像进行病灶区域检测，获得目标病灶区域701、目标病灶区域702和目标病灶区域703。分别检测出上述三个目标病灶区域中的癌症细胞，然后通过对每个癌症细胞进行分类，确定癌症细胞中的阴性癌症细胞和阳性癌症细胞，在图7中，圆形表示阴性癌症细胞，正方形表示阳性癌症细胞。
131.分别对阴性癌症细胞的数量和阳性癌症细胞的数量进行统计，获得阴性癌症细胞的数量为30个，阳性癌症细胞的数量为10个，则总病变细胞的数量为40个。将阳性癌症细胞的数量与总病变细胞的数量的比值，作为第二样本区域图像的ki67读数，即第二样本区域图像的ki67读数为25％。
132.本技术实施例中，检测每个第二样本区域图像对应的病理参数值，并将第二样本区域图像对应的病理参数值，作为相应的第一样本区域图像对应的样本病理参数值，故采用第一样本区域图像以及对应的样本病理参数值训练目标预测模型后，通过目标预测模型可以直接预测初始染色状态下的病理图像在目标染色状态下对应的病理参数，从而提高病理参数检测的效率。
133.可选地，在获得多个第一样本区域图像以及对应的样本病理参数值之后，采用多个第一样本区域图像以及对应的样本病理参数值，对待训练的预测模型进行迭代训练，直到满足迭代停止条件，获得目标预测模型。
134.具体地，第一样本区域图像为样本对象在初始染色状态下的病理区域图像，样本病理参数值为第一样本区域图像中的病理区域在目标染色状态下的病理参数值。在训练之前，采用随机初始化方式对待训练的预测模型进行初始化。迭代停止条件可以是迭代训练次数达到预设阈值，或者损失函数满足收敛条件。在每次迭代训练过程中，采用放回或不放回的方式随机选取至少一个第一样本区域图像进行训练。
135.由于样本病理图像的数量有限，因此，相应获得的样本区域图像的数量也是有限的，为了在有限训练样本的情况下获得好的训练效果，本技术实施例采用迁移学习的方式训练预测模型。
136.具体地，采用imagenet数据集对预测模型进行预训练，在预训练结束之后，采用本技术实施例中获得的多个第一样本区域图像以及对应的样本病理参数值，对预测模型进行
微调训练，获得目标预测模型。当然，本技术实施例也可以直接采用多个第一样本区域图像以及对应的样本病理参数值对预测模型进行迭代训练，获得目标预测模型，对此，本技术不做具体限定。
137.具体实施中，每次迭代过程包括以下步骤：
138.基于第一样本区域图像的图像特征，预测第一样本区域图像中的病理区域在目标染色状态下的预测病理参数值。然后基于第一样本区域图像对应的样本病理参数值和预测病理参数值，确定目标损失值，并通过目标损失值对待训练的预测模型进行参数调整。
139.具体地，对第一样本区域图像进行特征提取，获得第一样本区域图像的图像特征，然后预测基于获得的图像特征，预测第一样本区域图像中的病理区域在目标染色状态下的预测病理参数值。通过损失函数，基于第一样本区域图像对应的样本病理参数值和预测病理参数值，确定目标损失值。当样本病理参数值与预测病理参数值越接近时，目标损失值越小，说明预测模型的准确性越高。
140.本技术实施例中，通过训练获得的目标预测模型，直接预测病理区域图像中的病理区域，在目标染色状态下对应的候选病理参数值，而不需要对初始病原图像进行漂染和多次染色后再检测病理参数，从而提高获得不同染色状态下的病理区域图像的效率，进而提高病理参数检测的效率。
141.为了更好地解释本技术实施例，下面以乳腺癌诊断作为具体实施场景，介绍本技术实施例提供的一种图像处理方法，该方法由计算机设备执行。在对乳腺癌进行诊断治疗时，需要获得病灶组织在ki67染色状态、er染色状态、pr染色状态、her2染色状态下的病理参数，上述几种染色状态下的病理参数均可以采用本技术实施例中的方法获得，下面以获得ki67染色状态下的病理参数为例介绍具体过程，如图8所示，该过程主要分为两个阶段：目标预测模型训练阶段810和病理参数预测阶段820。
142.在目标预测模型训练阶段810中，具体包括以下步骤：
143.步骤8101，获取样本wsi1图像和样本wsi2图像。
144.具体地，获取同一样本病灶组织的样本wsi1图像和样本wsi2图像，其中，样本wsi1图像为样本病灶组织在he染色状态下的病理图像，样本wsi2图像为样本病灶组织在ki67染色状态下的病理图像。
145.步骤8102，wsi图像配准。
146.步骤8103，得到配准wsi1图像和配准wsi2图像。
147.具体地，对样本wsi1图像和样本wsi2图像进行图像配准，获得配准wsi1图像和配准wsi2图像。
148.步骤8104，提取样本区域图像。
149.步骤8105，获得配准wsi1图像中的多个第一样本区域图像。
150.步骤8106，获得配准wsi2图像中的多个第二样本区域图像。
151.其中，多个第一样本区域图像与多个第二样本区域图像存在一一对应的关系，且第一样本区域图像与第二样本区域图像的尺寸相同。
152.步骤8107，预测每个第二样本区域图像中的ki67读数。
153.步骤8108，医生审核。
154.具体地，医生对预测得到的ki67读数进行审核，若审核无误，则将预测得到的ki67
读数添加至训练数据集，若审核不通过，则丢弃预测得到的ki67读数。
155.步骤8109，得到用于训练的ki67读数。
156.步骤8110，训练预测模型。
157.具体地，由于第一样本区域图像与第二样本区域图像之间存在一一对应关系，因此，可以将第二样本区域图像中预测获得的ki67读数，作为一样本区域图像相应的ki67读数，然后将第一样本区域图像以及相应的ki67读数作为训练样本对预测模型进行训练。采用多组样本wsi1图像和样本wsi2图像，提取获得一定数量的第一样本区域图像以及相应的ki67读数，然后对第一样本区域图像以及相应的ki67读数进行数据增强，实现训练数据集扩充，其中，数据增强方式包括翻转、旋转、裁剪、色彩通道变换等。
158.预测模型为inceptionv3模型，预先对预测模型进行初始化，预先设置输入图像大小为512*512，像素尺寸为0.3mpp，批处理大小为64，初始学习率为0.01，最大迭代次数为1000000，下降算法使用rmsprop算法。
159.在训练过程中，采用imagenet数据集对预测模型进行预训练，在预训练结束之后，采用本技术实施例中获得的训练数据集，对预测模型进行微调训练，获得目标预测模型。
160.步骤8111，得到目标预测模型。
161.在获得目标预测模型之后，采用目标预测模型进行病理参数预测，具体在病理参数预测阶段820中，包括以下步骤：
162.步骤8201，获取初始wsi图像。
163.初始wsi图像为目标病灶组织在he染色状态下的病理图像。
164.步骤8202，提取多个病理区域图像。
165.从初始wsi图像中提取多个病理区域图像，其中，病理区域图像的尺寸与第一样本区域图像和第二样本区域图像的尺寸相同。
166.步骤8203，预测每个病理区域图像的ki67读数。
167.步骤8204，结果汇总。
168.对多个病理区域图像的ki67读数，按照从大到小的顺序进行排序，并选取排在前30位的ki67读数。然后对排在前30位的ki67读数求平均，得到目标病灶组织的ki67读数。
169.步骤8205，得到目标病灶组织的ki67读数。
170.需要说明的是，本技术实施例中还可以采用上述相同步骤分别获得目标病灶组织的er读数、pr读数、her2读数，然后基于ki67读数、er读数、pr读数、her2读数共同确定乳腺癌患者的治疗方案。
171.本技术实施例中，将目标对象在初始染色状态下的初始病理图像划分为多个病理区域图像，然后基于病理区域图像的图像特征，直接预测病理区域图像中的病理区域在目标染色状态下的候选病理参数值，而不需要对目标对象漂染和重新着色，获得目标对象在目标染色状态下的病理图像，从而提高了检测目标对象的病理参数值的效率。其次，由于病理区域图像可以保留更多细节的图像特征，因此，对病理区域图像进行病理参数预测后可以获得的准确性更高的候选病理参数值，故结合获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值时，可有效提高检测目标病理参数值的准确性和效率。
172.基于相同的技术构思，本技术实施例提供了一种图像处理装置的结构示意图，如
图9所示，该图像处理装置900包括：
173.获取模块901，用于获取目标对象在初始染色状态下的初始病理图像，并将所述初始病理图像，划分为多个病理区域图像；
174.预测模块902，用于基于所述多个病理区域图像的图像特征，分别预测所述多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值；
175.汇总模块903，用于基于获得的多个候选病理参数值，确定所述目标对象在所述目标染色状态下的目标病理参数值。
176.可选地，所述预测模块902具体用于：
177.分别将所述多个病理区域图像，输入目标预测模型；
178.通过所述目标预测模型，基于所述多个病理区域图像的图像特征，分别预测所述多个病理区域图像中的病理区域，在目标染色状态下的候选病理参数值。
179.可选地，还包括模型训练模块904；
180.所述模型训练模块904具体用于：
181.分别将所述多个病理区域图像，输入目标预测模型之前，获取多个第一样本区域图像以及对应的样本病理参数值，其中，第一样本区域图像为样本对象在初始染色状态下的病理区域图像，样本病理参数值为第一样本区域图像中的病理区域在目标染色状态下的病理参数值；
182.采用所述多个第一样本区域图像以及对应的样本病理参数值，对待训练的预测模型进行迭代训练，直到满足迭代停止条件，获得所述目标预测模型。
183.可选地，所模型训练模块904具体用于：
184.在每次迭代过程中执行以下步骤：
185.基于第一样本区域图像的图像特征，预测所述第一样本区域图像中的病理区域在目标染色状态下的预测病理参数值；
186.基于所述第一样本区域图像对应的样本病理参数值和所述预测病理参数值，确定目标损失值，并通过所述目标损失值对所述待训练的预测模型进行参数调整。
187.可选地，所述模型训练模块904具体用于：
188.获取第一样本图像和第二样本图像，其中，所述第一样本图像为样本对象在初始染色状态下的病理图像，所述第二样本图像为样本对象在目标染色状态下的病理图像；
189.对所述第一样本图像和所述第二样本图像进行配准，获得第一配准结果图像和第二配准结果图像；
190.按照相同划分规则，将所述第一配准结果图像划分为多个第一样本区域图像，以及将所述第二配准结果图像划分为多个第二样本区域图像；
191.将所述多个第二样本区域图像对应的病理参数值，作为相应的多个第一样本区域图像对应的样本病理参数值。
192.可选地，所述模型训练模块904还用于：
193.将所述多个第二样本区域图像对应的病理参数值，作为相应的多个第一样本区域图像对应的样本病理参数值之前，针对所述多个第二样本区域图像，分别执行以下步骤：
194.对一个第二样本区域图像进行病灶区域检测，获得所述一个第二样本区域图像中的目标病灶区域；
195.在所述目标病灶区域中，检测第一病变细胞的数量和第二病变细胞的数量；
196.基于所述第一病变细胞的数量和所述第二病变细胞的数量，确定所述一个第二样本区域图像的病理参数值。
197.可选地，所述模型训练模块904具体用于：
198.对所述第一样本图像进行前景分割获得第一前景区域，以及对所述第二样本图像进行前景分割获得第二前景区域；
199.对所述第一前景区域和所述第二前景区域进行配准预测，得到所述第二前景区域相对于所述第一前景区域的配准参数，所述配准参数用于以矩阵的形式指示配准时所述第二前景区域对应的调整方式；
200.将所述第一样本图像作为第一配准结果图像，以及基于所述配准参数对所述第二样本图像进行调整，获得第二配准结果图像。
201.可选地，所述获取模块901具体用于：
202.通过目标滑动窗口，依次从所述初始病理图像中，提取多个病理区域图像。
203.可选地，所述汇总模块903具体用于：
204.将所述多个候选病理参数值，按照从大到小的顺序进行排序，获得参数值排序结果；
205.基于参数值排序结果，从所述多个候选病理参数值中选取预设数量的候选病理参数值；
206.将预设数量的候选病理参数值的平均值，作为所述目标对象在所述目标染色状态下的目标病理参数值。
207.本技术实施例中，将目标对象在初始染色状态下的初始病理图像划分为多个病理区域图像，然后基于病理区域图像的图像特征，直接预测病理区域图像中的病理区域在目标染色状态下的候选病理参数值，而不需要对目标对象漂染和重新着色，获得目标对象在目标染色状态下的病理图像，从而提高了检测目标对象的病理参数值的效率。其次，由于病理区域图像可以保留更多细节的图像特征，因此，对病理区域图像进行病理参数预测后可以获得的准确性更高的候选病理参数值，故结合获得的多个候选病理参数值，确定目标对象在目标染色状态下的目标病理参数值时，可有效提高检测目标病理参数值的准确性和效率。
208.基于相同的技术构思，本技术实施例提供了一种计算机设备，该计算机设备可以是图1所示的终端设备和/或服务器，如图10所示，包括至少一个处理器1001，以及与至少一个处理器连接的存储器1002，本技术实施例中不限定处理器1001与存储器1002之间的具体连接介质，图10中处理器1001和存储器1002之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
209.在本技术实施例中，存储器1002存储有可被至少一个处理器1001执行的指令，至少一个处理器1001通过执行存储器1002存储的指令，可以执行上述图像处理方法的步骤。
210.其中，处理器1001是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器1002内的指令以及调用存储在存储器1002内的数据，从而实现图像处理。可选的，处理器1001可包括一个或多个处理单元，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界
面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。在一些实施例中，处理器1001和存储器1002可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
211.处理器1001可以是通用处理器，例如中央处理器(cpu)、数字信号处理器、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
212.存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1002可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器1002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机设备存取的任何其他介质，但不限于此。本技术实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
213.基于同一发明构思，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行上述图像处理方法的步骤。
214.基于同一发明构思，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述图像处理方法的步骤。
215.本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
216.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
217.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
218.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
219.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
220.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。