图像处理、图像处理模型的训练方法、装置、设备及介质与流程

1.本技术实施例涉及人工智能技术领域，特别涉及一种图像处理、图像处理模型的训练方法、装置、设备及介质。


背景技术：

2.随着人工智能技术的发展，对图像进行处理的应用场景越来越多。其中，一种应用场景为：根据参考对象的图像获取目标对象的图像，以利用目标对象的图像执行配准以及图像标注等任务。其中，目标对象为参考对象对应的满足参考条件的对象，例如，满足参考条件是指轮廓上未附有异物且内部不存在孔洞。
3.目前，获取目标对象的图像的过程需要人工参与，效率较低，受人工的主观因素影响较大，获取的目标对象的图像的精度较差。


技术实现要素：

4.本技术实施例提供了一种图像处理、图像处理模型的训练方法、装置、设备及介质，可用于提高获取目标对象的图像的效率以及提高获取的目标对象的图像的精度。所述技术方案如下：
5.一方面，本技术实施例提供了一种图像处理方法，所述方法包括：
6.获取参考对象的待处理图像和目标图像处理模型，所述目标图像处理模型基于所述参考对象的样本图像和所述样本图像对应的标签训练得到，所述样本图像对应的标签用于指示所述样本图像中的第一样本像素点，所述第一样本像素点对应的对象类别为所述参考对象对应的满足参考条件的目标对象；
7.调用所述目标图像处理模型对所述待处理图像的表征图像进行概率预测，得到第一概率图，所述第一概率图中的像素点的像素值用于指示所述像素点对应的对象类别为所述目标对象的概率；
8.基于所述第一概率图，获取所述目标对象的图像。
9.还提供了一种图像处理模型的训练方法，所述方法包括：
10.获取参考对象的样本图像和所述样本图像对应的标签，所述样本图像对应的标签用于指示所述样本图像中的第一样本像素点，所述第一样本像素点对应的对象类别为所述参考对象对应的满足参考条件的目标对象；
11.调用初始图像处理模型对所述样本图像的表征图像进行概率预测，得到样本概率图，所述样本概率图中的像素点的像素值用于指示所述像素点对应的对象类别为所述目标对象的概率；
12.基于所述样本概率图和所述样本图像对应的标签，对所述初始图像处理模型进行训练，得到目标图像处理模型。
13.另一方面，提供了一种图像处理装置，所述装置包括：
14.第一获取单元，用于获取参考对象的待处理图像和目标图像处理模型，所述目标
图像处理模型基于所述参考对象的样本图像和所述样本图像对应的标签训练得到，所述样本图像对应的标签用于指示所述样本图像中的第一样本像素点，所述第一样本像素点对应的对象类别为所述参考对象对应的满足参考条件的目标对象；
15.第一处理单元，用于调用所述目标图像处理模型对所述待处理图像的表征图像进行概率预测，得到第一概率图，所述第一概率图中的像素点的像素值用于指示所述像素点对应的对象类别为所述目标对象的概率；
16.第二获取单元，用于基于所述第一概率图，获取所述目标对象的图像。
17.在一种可能实现方式中，所述装置还包括：
18.第二处理单元，用于根据所述参考对象的轮廓对应的轮廓阈值，对所述待处理图像进行二值化处理，得到所述待处理图像对应的阈值分割图像；
19.第三获取单元，用于基于所述阈值分割图像，获取所述待处理图像的表征图像。
20.在一种可能实现方式中，所述第三获取单元，用于获取所述待处理图像对应的辅助图像；对所述阈值分割图像和所述辅助图像进行拼接，得到所述表征图像。
21.在一种可能实现方式中，所述辅助图像包括第一图像和第二图像中的至少一个，所述第一图像根据所述参考对象的轮廓对应的成像值范围对所述待处理图像进行处理得到，所述第二图像根据所述参考对象的内部的参考元素对应的成像值范围对所述待处理图像进行处理得到。
22.在一种可能实现方式中，所述装置还包括：
23.确定单元，用于确定所述参考对象的轮廓对应的参考阈值范围；在所述参考阈值范围内确定所述轮廓阈值。
24.在一种可能实现方式中，所述第二获取单元，用于基于所述第一概率图，获取与所述待处理图像尺寸相同的第二概率图；根据概率阈值对所述第二概率图进行二值化处理，得到所述目标对象的图像。
25.在一种可能实现方式中，所述装置还包括：
26.配准单元，用于基于所述目标对象的图像，构建所述目标对象的虚拟模型；获取所述参考对象的点云数据，所述点云数据通过对所述参考对象进行扫描得到；将所述点云数据与所述虚拟模型进行配准，显示配准结果。
27.在一种可能实现方式中，所述待处理图像为原始图像中的兴趣区域的图像，所述目标对象的图像与所述待处理图像的尺寸相同，所述装置还包括：
28.标注单元，用于根据所述目标对象的图像对所述原始图像进行标注，显示标注后的原始图像。
29.在一种可能实现方式中，所述待处理图像为头部医学影像，所述参考对象为轮廓上未附有异物且内部存在孔洞，或轮廓上附有异物且内部存在孔洞的头部，所述满足参考条件的目标对象为满足轮廓上未附有异物或内部不存在孔洞中的至少一项的头部。
30.还提供了一种图像处理模型的训练装置，所述装置包括：
31.获取单元，用于获取参考对象的样本图像和所述样本图像对应的标签，所述样本图像对应的标签用于指示所述样本图像中的第一样本像素点，所述第一样本像素点对应的对象类别为所述参考对象对应的满足参考条件的目标对象；
32.处理单元，用于调用初始图像处理模型对所述样本图像的表征图像进行概率预
测，得到样本概率图，所述样本概率图中的像素点的像素值用于指示所述像素点对应的对象类别为所述目标对象的概率；
33.训练单元，用于基于所述样本概率图和所述样本图像对应的标签，对所述初始图像处理模型进行训练，得到目标图像处理模型。
34.在一种可能实现方式中，所述获取单元，用于获取参考对象的初始图像；对所述初始图像进行数据增强，得到参考尺寸的所述样本图像。
35.另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现上述任一所述的图像处理方法或图像处理模型的训练方法。
36.另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现上述任一所述的图像处理方法或图像处理模型的训练方法。
37.另一方面，还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或所述计算机指令由处理器加载并执行，以使计算机实现上述任一所述的图像处理方法或图像处理模型的训练方法。
38.本技术实施例提供的技术方案至少带来如下有益效果：
39.本技术实施例提供的技术方案，调用目标图像处理模型，自动获取了目标对象的图像，获取目标图像的过程无需人工参见，获取目标图像的效率较高。此外，目标图像处理模型是基于样本图像对应的用于指示样本图像中的对应的对象类别为目标对象的像素点的标签训练得到的，具有较为精准地识别出图像中的对应的对象类别为目标对象的像素点的功能，调用目标图像处理模型获取的第一概率图的可靠性较高，从而使得最终获取的目标对象的图像的精度较高。
附图说明
40.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本技术实施例提供的一种实施环境的示意图；
42.图2是本技术实施例提供的一种图像处理方法的流程图；
43.图3是本技术实施例提供的一种待处理图像的示意图；
44.图4是本技术实施例提供的一种获取目标对象的图像的过程的示意图；
45.图5是本技术实施例提供的一种对比结果的示意图；
46.图6是本技术实施例提供的一种对比结果的示意图；
47.图7是本技术实施例提供的一种对比结果的示意图；
48.图8是本技术实施例提供的一种对比结果的示意图；
49.图9是本技术实施例提供的一种对比结果的示意图；
50.图10是本技术实施例提供的一种配准过程的示意图；
51.图11是本技术实施例提供的一种图像标注过程的示意图；
52.图12是本技术实施例提供的一种图像处理模型的训练方法的流程图；
53.图13是本技术实施例提供的一种图像处理装置的示意图；
54.图14是本技术实施例提供的一种图像处理模型的训练装置的示意图；
55.图15是本技术实施例提供的一种终端的结构示意图；
56.图16是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
57.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
58.在示例性实施例中，本技术实施例提供的图像处理方法和图像处理模型的训练方法能够应用于人工智能技术领域。接下来对人工智能技术进行介绍。
59.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
60.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。本技术实施例提供的图像处理方法和图像处理模型的训练方法涉及计算机视觉技术和机器学习技术。
61.计算机视觉(computer vision，cv)技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d(three dimensional，三维)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
62.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
63.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如
常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
64.在示例性实施例中，本技术实施例中提供的图像处理方法和图像处理模型的训练方法在区块链系统中实现，本技术实施例提供的图像处理方法中涉及的待处理图像、目标对象的图像等，以及图像处理模型的训练方法中涉及的样本图像、样本图像对应的标签以及目标图像处理模型等均保存在区块链系统中的区块链上，供区块链系统中的各个节点设备应用，以保证数据的安全性和可靠性。
65.图1示出了本技术实施例提供的实施环境的示意图。该实施环境包括：终端11和服务器12。
66.本技术实施例提供的图像处理方法可以由终端11执行，也可以由服务器12执行，还可以由终端11和服务器12共同执行，本技术实施例对此不加以限定。对于本技术实施例提供的图像处理方法由终端11和服务器12共同执行的情况，服务器12承担主要计算工作，终端11承担次要计算工作；或者，服务器12承担次要计算工作，终端11承担主要计算工作；或者，服务器12和终端11二者之间采用分布式计算架构进行协同计算。
67.本技术实施例提供的图像处理模型的训练方法可以由终端11执行，也可以由服务器12执行，还可以由终端11和服务器12共同执行，本技术实施例对此不加以限定。对于本技术实施例提供的图像处理模型的训练方法由终端11和服务器12共同执行的情况，服务器12承担主要计算工作，终端11承担次要计算工作；或者，服务器12承担次要计算工作，终端11承担主要计算工作；或者，服务器12和终端11二者之间采用分布式计算架构进行协同计算。
68.本技术实施例提供的图像处理方法和图像处理模型的训练方法可以由相同的设备执行，也可以由不同的设备执行，本技术实施例对此不加以限定。
69.在一种可能实现方式中，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如pc(personal computer，个人计算机)、手机、智能手机、pda(personal digital assistant，个人数字助手)、可穿戴设备、ppc(pocket pc，掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、车载终端等。服务器12可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
70.本领域技术人员应能理解上述终端11和服务器12仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本技术，也应包含在本技术保护范围以内，并在此以引用方式包含于此。
71.基于上述图1所示的实施环境，本技术实施例提供一种图像处理方法，该图像处理方法由计算机设备执行，该计算机设备可以为服务器12，也可以为终端11，本技术实施例对此不加以限定。如图2所示，本技术实施例提供的图像处理方法包括如下步骤201至步骤203。
72.在步骤201中，获取参考对象的待处理图像和目标图像处理模型，目标图像处理模型基于样本图像和样本图像对应的标签训练得到，样本图像对应的标签用于指示样本图像中的第一样本像素点，第一样本像素点对应的对象类别为参考对象对应的满足参考条件的目标对象。
73.参考对象的待处理图像是参考对象对应的需要进行处理的图像，参考对象是指需要关注的对象。示例性地，参考对象的待处理图像中包括参考对象的子图像。本技术实施例对待处理图像的类型不加以限定，示例性地，待处理图像为医学影像，利用不同的医学影像采集设备能够获取得到不同模态的医学影像，各种模态的医学影像均可以用来作为待处理图像。
74.待处理图像的类型与参考对象的类型有关，本技术实施例对此不加以限定。在示例性实施例中，参考对象的类型为人体的头部，待处理图像是指对人体的头部进行图像采集得到的头部医学影像，如，对人体的头部进行图像采集得到的ct(computed tomography，计算机断层扫描)影像、对人体的头部进行图像采集得到的mri(magnetic resource imaging，核磁共振成像)影像等。在示例性实施例中，参考对象的类型为人体的腹部，待处理图像是指对人体的腹部进行图像采集得到的腹部医学影像。在示例性实施例中，参考对象的类型为人体的胸部，待处理图像是指对人体的胸部进行图像采集得到的胸部医学影像。
75.当然，待处理图像还可以是指对人体的其他部位进行图像采集得到的医学影像或者其他需要进行处理的图像，本技术实施例对此不加以限定。需要说明的是，待处理图像可以是指二维(2d)图像(也可称为平面图像)，也可以是指三维(3d)图像(也可称为立体图像)，本技术实施例对此不加以限定。
76.在示例性实施例中，参考对象的待处理图像中除包括参考对象的子图像外，还可能包括与参考对象的轮廓不相连的对象的子图像，本技术实施例对此不加以限定。在对待处理图像进行处理的过程中，与参考对象的轮廓不相连的对象为无需关注的对象。在示例性实施例中，与参考对象的轮廓不相连的对象包括但不限于检查床或固定架中的至少一个。示例性地，对于待处理图像为ct影像的情况，检查床是指ct检查床，由于ct环形扫描，ct检查床在影像中成板状结构。再如，对于待处理图像为mri影像的情况，检查床是指mri检查床。需要说明的是，在一些情况下，检查床可能与参考对象的轮廓相连，此种情况下，将检查床作为附在参考对象的轮廓上的一种异物。
77.在示例性实施例中，参考对象满足内部存在孔洞或轮廓上附有异物中的至少一项。也就是说，参考对象可能为内部存在孔洞的对象，也可能为轮廓上附有异物的对象，还可能为内部存在孔洞且轮廓上附有异物的对象。在示例性实施例中，待处理图像为头部医学影像，由于头部内部是存在孔洞的，所以参考对象为轮廓上未附有异物且内部存在孔洞的头部，或轮廓上附有异物且内部存在孔洞的头部。
78.对于参考对象内部存在孔洞的情况，参考对象的内部除孔洞外，还包括一些实体元素。本技术实施例对参考对象的内部的孔洞的类型、数量以及尺寸等均不加以限定，与参考对象的类型以及实际情况有关。示例性地，在参考对象为内部存在孔洞的对象的情况下，待处理图像如图3中的(a)和(b)所示，图3中的(a)所示的为内部存在孔洞的参考对象的3d图像，图3中的(b)所示的为内部存在孔洞的参考对象的2d图像。
79.对于参考对象的轮廓上附有异物的情况，本技术实施例对参考对象的轮廓上的附有异物的位置、附有的异物的类型、附有的异物的尺寸等均不加以限定，与参考对象的类型以及实际情况有关。在示例性实施例中，参考对象的类型为人体的某个部位或者某个解剖结构，附在参考对象的轮廓上的异物包括但不限于输液管、输气管、手术绷带中的至少一
个。
80.示例性地，在参考对象的轮廓上附有异物的情况下，待处理图像如图3中的(c)和(d)所示。在图3中的(c)所示的待处理图像中，参考对象的类型为人体的头部，参考对象的轮廓上附有的异物包括检查床；在图3中的(d)所示的待处理图像中，参考对象的类型为人体的头部，参考对象的轮廓上附有的异物包括手术绷带等。
81.在示例性实施例中，参考对象内部存在的孔洞以及参考对象的轮廓上附有的异物会干扰下游任务的执行效果，下游任务包括但不限于配准任务、图像标注任务等。下游任务的执行过程所依据的是参考对象对应的满足参考条件的目标对象。参考对象对应的目标对象可视为对参考对象进行优化后的虚拟对象。
82.满足参考条件根据应用需求确定，本技术实施例对此不加以限定。在示例性实施例中，满足参考条件包括轮廓上未附有异物或内部不存在孔洞中的至少一项。也就是说，目标对象可能是指参考对象对应的轮廓上未附有异物的对象，也可能是指参考对象对应的内部不存在孔洞的对象，还可能是指参考对象对应的轮廓上未附有异物且内部不存在孔洞的对象。示例性地，以待处理图像为头部医学影像为例，满足参考条件的目标对象为满足轮廓上未附有异物或内部不存在孔洞中的至少一项的头部。
83.本技术实施例以满足参考条件是指轮廓上未附有异物且内部不存在孔洞、目标对象为参考对象对应的轮廓上未附有异物且内部不存在孔洞的对象为例进行说明。此种情况下，对于参考对象为轮廓上未附有异物且内部不存在孔洞的对象的情况，目标对象为参考对象本身；对于参考对象为轮廓上未附有异物且内部存在孔洞的对象的情况，目标对象为填充参考对象内部存在的孔洞后得到的对象；对于参考对象为轮廓上附有异物且内部不存在孔洞的对象的情况，目标对象为去除参考对象的轮廓上附有的异物后得到的对象；对于参考对象为轮廓上附有异物且内部存在孔洞的对象的情况，目标对象为去除参考对象的轮廓上附有的异物且填充参考对象内部存在的孔洞后得到的对象。
84.本技术实施例对待处理图像的获取方式不加以限定。在示例性实施例中，计算机设备获取参考对象的待处理图像的方式包括但不限于：计算机设备从图像库中提取参考对象的待处理图像；与计算机设备建立有通信连接的图像采集设备将采集的参考对象的待处理图像发送至计算机设备；计算机设备获取人为上传的参考对象的待处理图像等。
85.在示例性实施例中，参考对象的待处理图像为原始图像的兴趣区域的图像。也就是说，计算机设备将人工或计算机设备本身在原始图像中指示的兴趣区域的图像剪裁出来，得到参考对象的待处理图像。兴趣区域是指人工或者计算机设备感兴趣的区域，通常为原始图像的全部区域中的局部区域。在不同的应用场景下，兴趣区域的尺寸以及兴趣区域在原始图像的全部区域中所处的位置可能有所不同，本技术实施例对此不加以限定。在示例性实施例中，若原始图像为3d图像，则兴趣区域的图像同样为3d图像，此种情况下的兴趣区域可称为voi(volume of interest，感兴趣体积)；若原始图像为2d图像，则兴趣区域的图像同样为2d图像，此种情况下的兴趣区域可称为roi(region of interest，感兴趣区域)。
86.在示例性实施例中，计算机设备获取参考对象的待处理图像的方式还可以为：计算机设备基于参考对象的候选图像获取参考尺寸的待处理图像。参考对象的候选图像从图像库中提取或者由人工上传等。此种方式能够保证待处理图像的尺寸为参考尺寸。参考尺
寸根据经验设置，或者根据实际的应用场景灵活调整，本技术实施例对此不加以限定。示例性地，待处理图像为3d图像，参考尺寸为192
×
192
×
160(像素)。示例性地，待处理图像为2d图像，参考尺寸为192
×
192(像素)。
87.在示例性实施例中，基于参考对象的候选图像获取参考尺寸的待处理图像的方式与候选图像的尺寸和参考尺寸之间的大小关系有关，示例性地，若候选图像的尺寸小于参考尺寸，则对候选图像进行上采样，得到参考尺寸的待处理图像；若候选图像的尺寸大于参考尺寸，则对候选图像进行下采样，得到参考尺寸的待处理图像；若候选图像的尺寸与参考尺寸相同，则直接将候选图像作为待处理图像。上采样是指放大图像尺寸的操作，下采样是指缩小图像尺寸的操作，本技术实施例对上采样以及下采样的实现方式不加以限定，示例性地，上采样的实现方式包括但不限于最近邻插值、双线性插值、均值插值等；下采样的实现方式包括但不限于最大值采样、平均值采样等。
88.目标图像处理模型为训练好的用于对待处理图像的表征图像进行概率预测，以获取第一概率图的模型。目标图像处理模型基于参考对象的样本图像以及样本图像对应的标签训练得到。其中，样本图像对应的标签用于指示样本图像中的第一样本像素点，第一样本像素点对应的对象类别为参考对象对应的目标对象。获取目标图像处理模型的方式可以是指通过实时训练的方式得到目标图像处理模型，也可以是指提取预先训练得到并存储的目标图像处理模型，本技术实施例对此不加以限定。训练得到目标图像处理模型的过程参见图12所示的实施例，此处暂不赘述。
89.本技术实施例对目标图像处理模型的模型结构不加以限定。在示例性实施例中，目标图像处理模型为卷积神经网络模型，示例性地，目标图像处理模型为用于分割的卷积神经网络模型，如，unet(u型网络)模型、fcn(fully convolutional networks，全卷积神经网络)模型、dsn(deeply-supervised networks，深度监督网络)模型等。在示例性实施例中，目标图像处理模型还可以为根据经验设置的轻量级的模型，以便于提高模型的处理效率。在示例性实施例中，在不同的应用场景下，可以采用不同模型结构的目标图像处理模型，如，在待处理图像的尺寸较小、任务较为简单的情况下，采用模型结构更为精简的目标图像处理模型，以达到快速处理的目的。
90.在步骤202中，调用目标图像处理模型对待处理图像的表征图像进行概率预测，得到第一概率图，第一概率图中的像素点的像素值用于指示像素点对应的对象类别为目标对象的概率。
91.在获取目标图像处理模型以及待处理图像之后，调用目标图像处理模型对待处理图像的表征图像进行概率预测，得到第一概率图。待处理图像的表征图像用于对待处理图像进行表征，待处理图像的表征图像是基于待处理图像获取得到的。在执行步骤202之前，需要先获取待处理图像的表征图像。
92.在一种可能实现方式中，获取待处理图像的表征图像的过程包括以下步骤2021和步骤2022：
93.步骤2021：根据参考对象的轮廓对应的轮廓阈值，对待处理图像进行二值化处理，得到待处理图像对应的阈值分割图像。
94.参考对象的轮廓对应的轮廓阈值是对待处理图像进行二值化处理所依据的阈值，参考对象的轮廓对应的轮廓阈值是通过考虑参考对象的轮廓的特征确定的，能够较大程度
上将参考对象与其他对象分割开，以便于得到能够携带一定轮廓信息的阈值分割图像。
95.轮廓阈值用于对待处理图像中的各个像素点的像素值进行约束，也就是说，轮廓阈值以及待处理图像中的各个像素点的像素值的物理含义是相同的。示例性地，不同类型的待处理图像中的像素点的像素值的物理含义可能不同，例如，若待处理图像为ct影像，则待处理图像中的像素点的像素值是指ct值，ct值是测定人体某一局部组织或器官密度大小的一种计量单位，此种情况下，轮廓阈值同样是指ct值；若待处理图像为mri影像，则待处理图像中的像素点的像素值是指磁共振信号强度值，此种情况下，轮廓阈值同样是指磁共振信号强度值。示例性地，具有不同像素值的像素点利用不同的灰度呈现，像素点的像素值还可称为像素点的灰度值。
96.参考对象的轮廓对应轮廓阈值根据经验设置，或者根据参考对象的类型以及实际的应用场景灵活调整，本技术实施例对此不加以限定。在一种可能实现方式中，确定参考对象的轮廓对应的轮廓阈值的方式为：确定参考对象的轮廓对应的参考阈值范围；在参考阈值范围内确定轮廓阈值。参考对象的轮廓对应的参考阈值范围为能够一定程度上将参考对象与其他对象分割开的阈值构成的范围，参考对象的轮廓对应的参考阈值范围由人工根据经验设定，或者通过分割试验确定，本技术实施例对此不加以限定，例如，示例性地，以参考对象的类型为人体的某部位、待处理图像为ct影像为例，参考对象的轮廓可视为人体的某部位的皮肤，皮肤对应的参考阈值范围为[-490,290]。
[0097]
在示例性实施例中，在对待处理图像进行处理的过程中，参考对象的轮廓对应的轮廓阈值为参考阈值范围内的某一固定阈值，以便于待处理图像的处理过程的稳定性。也就是说，对不同的待处理图像进行二值化处理所利用的轮廓阈值相同。将参考阈值范围内的哪个阈值作为轮廓阈值根据经验设置，本技术实施例对此不加以限定。示例性地，将参考阈值范围中的下限值和上限值的平均值作为轮廓阈值。示例性地，将参考阈值范围中的根据经验指定的能够实现较为精准的轮廓分割的阈值作为轮廓阈值。在示例性实施例中，以参考对象的轮廓为人体的某部位的皮肤为例，皮肤对应的参考阈值范围为[-490,290]，皮肤对应的轮廓阈值为-390，-390即为参考阈值范围中的根据经验指定的能够实现较为精准的皮肤分割的阈值。
[0098]
在示例性实施例中，根据参考对象的轮廓对应的轮廓阈值，对待处理图像进行二值化处理的过程为：对于第一像素点，若第一像素点的像素值不小于轮廓阈值，则将该第一像素点的像素值变换为第一值；若第一像素点的像素值小于轮廓阈值，则将该第一像素点的像素值置变换第二值；将具有变换后的像素值的像素点构成的图像作为阈值分割图像。其中，第一像素点为待处理图像中的各个像素点中的任一像素点。
[0099]
第一值和第二值根据经验设置，或者根据实际的应用场景灵活调整，本技术实施例对此不加以限定。示例性地，第一值为0，第二值为255；或者，第一值为255，第二值为0等。示例性地，对于第一值和第二值中的一个值为0，另外一个值为255的情况，根据轮廓阈值对待处理图像进行二值化处理的过程就是根据轮廓阈值将待处理图像上的像素点的像素值设置为0或255，使整个待处理图像呈现出明显的黑白效果的过程，该呈现出明显的黑白效果的图像即为阈值分割图像。
[0100]
在示例性实施例中，待处理图像为医学影像，在医学影像中，大部分解剖结构以及人体的部位等在图像上边界分割明显，根据轮廓阈值能够分割出较为精细的边界，通过获
取阈值分割图像，能够在后续的处理过程中，在保留较为精细的边界的基础上，进一步去除和任务不相关的假阳分割区域等，以进一步提高边界的精细度。示例性地，假阳分割区域包括但不限于轮廓上附有的异物所在的区域以及其他不相连的对象所在的区域等。
[0101]
步骤2022：基于阈值分割图像，获取待处理图像的表征图像。
[0102]
在获取阈值分割图像后，基于阈值分割图像获取待处理图像的表征图像。由于阈值分割图像是根据轮廓阈值对待处理图像进行二值化处理后得到的，能够携带一定的轮廓信息，所以基于阈值分割图像获取的待处理图像的表征图像，能够至少对待处理图像的轮廓方面的特征进行表征，有利于提高模型对轮廓的识别精度，提高第一预测图的可靠性。
[0103]
在一种可能实现方式中，基于阈值分割图像，获取待处理图像的表征图像的实现过程为：直接将阈值分割图像作为待处理图像的表征图像。此种方式下，无需获取其他图像即可获取待处理图像的表征图像，获取待处理图像的表征图像的效率较高。阈值分割图像能够让模型更好的学习填充孔洞和去除异物。
[0104]
在另一种可能实现方式中，基于阈值分割图像，获取待处理图像的表征图像的实现过程为：获取待处理图像对应的辅助图像；对阈值分割图像和辅助图像进行拼接，得到表征图像。辅助图像用于在阈值分割图像的基础上提供更多的信息，本技术实施例对辅助图像的类型以及数量不加以限定，可以根据实际的应用场景灵活调整。
[0105]
在示例性实施例中，辅助图像包括第一图像和第二图像中的至少一个，第一图像根据参考对象的轮廓对应的成像值范围对待处理图像进行处理得到，第二图像根据参考对象的内部的参考元素对应的成像值范围对待处理图像进行处理得到。第一图像能够提供轮廓方面的信息，由于第一图像是根据轮廓的成像值范围对待处理图像进行处理得到的，所以能够比阈值分割图像提供更为全面的轮廓方面的信息。
[0106]
第二图像能够提供参考对象的内部的参考元素方面的信息。参考元素是指参考对象内部需要关注的元素，参考元素与参考对象的类型以及应用场景等有关，本技术实施例对此不加以限定。示例性地，参考对象的类型为人体的头部，参考元素是指人体的头部中的脑组织。示例性地，参考对象的类型为人体的腹部，参考元素是指人体的腹部中的腹部组织。在示例性实施例中，参考对象的内部除包括参考元素外，还可能包括其他元素(如，孔洞等)，本技术实施例对此不加以限定。
[0107]
参考对象的轮廓对应的成像值范围是指参考对象的轮廓涉及的像素点的像素值的范围，也是较为可靠地使参考对象的轮廓成像的像素值的范围。参考对象的轮廓对应的成像值范围与待处理图像的成像方式有关。参考对象的轮廓对应的成像值范围由第一下限值和第一上限值构成。在示例性实施例中，对于待处理图像为ct影像的情况，参考对象的轮廓对应的成像值范围是指参考对象的轮廓对应的成像窗。示例性地，参考对象的轮廓是指人体的皮肤，人体的皮肤对应的成像窗为[-390,2000]，也即人体的皮肤对应的下限ct值为-390，人体的皮肤对应的上限ct值为2000，该成像窗[-390,2000]为较为精确地显示人体的皮肤的ct值范围。
[0108]
在一种可能实现方式中，根据参考对象的轮廓对应的成像值范围对待处理图像进行处理得到第一图像的方式为：基于待处理图像中的各个像素点在待处理图像中具有的像素值，获取各个像素点的更新像素值；基于第一下限值、第一上限值和各个像素点的更新像素值，确定各个像素点的处理像素值，将具有处理像素值的各个像素点构成的图像作为第
一图像。
[0109]
在一种可能实现方式中，基于待处理图像中的各个像素点在待处理图像中具有的像素值，获取各个像素点的更新像素值的过程包括：对于第一像素点，响应于该第一像素点在待处理图像中具有的像素值大于第一上限值，将第一上限值作为该第一像素点的更新像素值；响应于第一像素点在待处理图像中具有的像素值小于第一下限值，将第一下限至作为该第一像素点的更新像素值；响应于第一像素点在待处理图像中具有的像素值不小于第一下限值且不大第一上限值，将该第一像素点在待处理图像中具有的像素值作为该任一像素点的更新像素值。其中，第一像素点为待处理图像中的各个像素点中的任一像素点。
[0110]
在示例性实施例中，基于第一下限值、第一上限值和各个像素点的更新像素值，确定各个像素点的处理像素值的过程为利用第一下限值和第一上限值对各个像素点的更新像素值进行约束的过程。以第一像素点为例，在示例性实施例中，基于第一下限值、第一上限值和第一像素点的更新像素值，确定第一像素点的处理像素值的过程为：计算第一像素点的更新像素值与第一下限值的差值；将差值与第一上限值的比值作为第一像素点的处理像素值。
[0111]
在示例性实施例中，获取各个像素点的处理像素值的过程基于公式1实现：
[0112][0113]
其中，w
min
表示第一下限值；w
max
表示第一上限值；i
in
表示像素点在待处理图像中具有的像素值；i
out
表示像素点的处理像素值；clip函数用于将在待处理图像中具有的像素值小于w
min
的所有像素点的像素值置为w
min
，将在待处理图像中具有的像素值大于w
max
的所有像素点的像素值置为w
max
。将具有i
out
的各个像素点构成的图像作为第一图像。
[0114]
参考对象的内部的参考元素对应的成像值范围是指参考对象的内部的参考元素涉及的像素点的像素值的范围，也是较为可靠地使参考对象的内部的参考元素成像的像素值的范围。参考对象的内部的参考元素对应的成像值范围与待处理图像的成像方式有关。在示例性实施例中，对于待处理图像为ct影像的情况，参考对象的内部的参考元素对应的成像值范围是指参考对象的内部的参考元素对应的成像窗。示例性地，参考对象的内部的参考元素是指人体的头部中的脑组织，人体的头部中的脑组织对应的成像窗为[0,80]，也即人体的头部中的脑组织对应的下限ct值为0，人体的皮肤对应的上限ct值为80，该成像窗[0,80]为较为精确地显示人体的头部中的脑组织的ct值范围。根据参考对象的内部的参考元素对应的成像值范围对待处理图像进行处理得到第二图像的原理与根据参考对象的轮廓对应的成像值范围对待处理图像进行处理得到第一图像的原理相同，此处不再赘述。
[0115]
在一种可能实现方式中，辅助图像包括第一图像和第二图像中的至少一个，也就是说，辅助图像可能仅包括第一图像，也可能仅包括第二图像，还可能包括第一图像和第二图像。在确定辅助图像的具体情况后，可以根据上述介绍的第一图像以及第二图像的获取方式获取辅助图像。需要说明的是，辅助图像还可以包括其他图像，本技术实施例并不局限于此。
[0116]
在获取辅助图像后，将阈值分割图像和辅助图像进行拼接，得到表征特征。在示例性实施例中，辅助图像仅包括第一图像，则对阈值分割图像和第一图像这两个图像进行拼接，得到待处理图像的表征图像。在示例性实施例中，辅助图像仅包括第二图像，则对阈值
分割图像和第二图像这两个图像进行拼接，得到待处理图像的表征图像。在示例性实施例中，辅助图像包括第一图像和第二图像，则对阈值分割图像、第一图像和第二图像这三个图像进行拼接，得到待处理图像的表征图像。
[0117]
在示例性实施例中，阈值分割图像和辅助图像为相同尺寸、相同维度的图像。对阈值分割图像和辅助图像进行拼接是指对阈值分割图像和辅助图像在通道维度进行拼接。在示例性实施例中，对阈值分割图像和辅助图像进行拼接的过程可以在输入目标图像处理模型之前通过编写程序或者代码等实现，也可以在输入目标图像处理模型之后由目标图像处理模型实现，本技术实施例对此不加以限定。
[0118]
需要说明的是，以上所述的步骤2021和步骤2022仅为获取待处理图像的表征图像的一种示例性实现方式，本技术实施例并不局限于此。在示例性实施例中，还可以直接将待处理图像本身作为待处理图像的表征图像。
[0119]
无论哪种方式，在获取待处理图像的表征图像后，调用目标图像处理模型对待处理图像的表征图像进行概率预测，以得到第一概率图。在示例性实施例中，对于表征图像是指待处理图像的情况，直接将待处理图像输入目标图像处理模型；对于表征图像是指待处理图像对应的阈值分割图像的情况，直接将阈值分割图像输入目标图像处理模型；对于表征图像是指待处理图像对应的拼接图像的情况，将构成拼接图像的各个图像输入目标图像处理模型。
[0120]
示例性地，构成拼接图像的各个图像可能是指阈值分割图像和第一图像这两个图像，也可能是指阈值分割图像和第二图像这两个图像，还可能是指阈值分割图像、第一图像和第二图像这三个图像。示例性地，对于构成拼接图像的各个图像是指阈值分割图像、第一图像和第二图像这三个图像的情况，输入目标图像处理模型的可视为三通道的图像，以便于目标图像处理模型从三通道的图像提供的信息中获取第一概率图。此种方式能够使目标图像处理模型更好的适应待处理图像的变化和阈值分割图像的变化。
[0121]
调用目标图像处理模型对待处理图像的表征图像进行概率预测的过程为目标图像处理模型的内部处理过程，具体的实现方式与目标图像处理模型的模型结构有关，不同结构的目标图像处理模型的内部处理过程可能不同，本技术实施例对此不加以限定。在示例性实施例中，目标图像处理模型的最后一层为激活层，第一概率图为经过激活层激活后输出的概率图。本技术实施例对激活层的类型不加以限定，例如，激活层为sigmoid(s型)激活层、relu(rectified linear unit，线性整流函数)激活层等。
[0122]
在示例性实施例中，若待处理图像为3d图像，则待处理图像对应的阈值分割图像以及辅助图像均为3d图像，目标图像处理模型为处理3d图像的3d处理模型；若待处理图像为2d图像，则待处理图像对应的阈值分割图像以及辅助图像均为2d图像，目标图像处理模型为处理2d图像的2d处理模型。
[0123]
第一概率图中的像素点的像素值用于指示像素点对应的对象类别为参考对象对应的目标对象的概率，也就是说，第一概率图是根据各个像素点对应的对象类别为参考对象对应的目标对象的概率而呈现出的图像。根据第一概率图能够得知第一概率图中的各个像素点对应的对象类别为参考对象对应的目标对象的概率。第一概率图的维度与待处理图像的维度相同。在示例性实施例中，第一概率图的尺寸可能与待处理图像的尺寸相同，也可能与待处理图像的尺寸不同，本技术实施例对此不加以限定，这与目标图像处理模型的模
型结构有关。
[0124]
在步骤203中，基于第一概率图，获取目标对象的图像。
[0125]
第一概率图的像素点的像素值用于指示像素点对应的对象类别为参考对象对应的目标图像的概率，基于第一概率图，能够获取目标对象的图像。目标对象的图像是指去除其他对象仅保留目标对象的图像。示例性地，目标对象的图像与待处理图像的尺寸相同，以便于将目标对象的图像与待处理图像进行比对查看。
[0126]
在一种可能实现方式中，基于第一概率图，获取目标对象的图像的方式为：基于第一概率图，获取与待处理图像尺寸相同的第二概率图；根据概率阈值对第二概率图进行二值化处理，得到目标对象的图像。在示例性实施例中，基于第一概率图获取与待处理图像尺寸相同的第二概率图的方式为：响应于第一概率图与待处理图像尺寸相同，则将第一概率图作为第二概率图；响应于第一概率图与待处理图像尺寸不相同，对第一概率图进行采样得到第二概率图。对第一概率图进行采样的方式与第一概率图的尺寸和待处理图像的尺寸的大小关系有关，示例性地，若第一概率图的尺寸小于待处理图像的尺寸，则对第一概率图进行上采样；若第一概率图的尺寸大于待处理图像的尺寸，则对第一概率图进行下采样。由于第二概率图是基于第一概率图得到的，所以第二概率图中的像素点的像素值同样用于指示像素点对应的对象类别为目标对象的概率。
[0127]
概率阈值用于对第二概率图中的像素点的像素值进行约束，概率阈值根据经验设置，或者根据应用场景灵活调整，本技术实施例对此不加以限定，例如，概率阈值为0.5。示例性地，根据概率阈值对第二概率图进行二值化处理的方式为：响应于第二像素点的像素值小于概率阈值，将该第二像素点的像素值转换为第三值；响应于第二像素点的像素值不小于概率阈值，将该第二像素点的像素值转换为第四值，将具有转换后的像素值的各个像素点构成的图像作为目标对象的图像。其中，第二像素点为第二概率图中的各个像素点中的任一像素点。
[0128]
在示例性实施例中，获取目标对象的图像的过程如图4所示。获取候选图像401，将候选图像401采样到参考尺寸(如，192
×
192
×
160(像素))，得到待处理图像。根据待处理图像的轮廓对应的成像值范围(如，[-390,2000])对待处理图像进行处理，得到第一图像；根据待处理图像的内部的参考元素对应的成像值范围(如，[0,80])对待处理图像进行处理，得到第二图像；根据从参考阈值范围(如，[-490,290])内确定的轮廓阈值对待处理图像进行二值化处理，得到阈值分割图像。将第一图像、第二图像和阈值分割图像这三个图像输入目标图像处理模型402，得到目标图像处理模型402输出的第一概率图。将第一概率图调整成与待处理图像尺寸相同的第二概率图，利用概率阈值对第二概率图进行二值化处理，得到目标对象的图像403。此种先采样概率图再利用阈值二值分割的方式有利于提升目标对象的图像的平滑性。
[0129]
示例性地，将利用本技术实施例提供的方法获取的目标对象的图像与利用相关技术提供的方法获取的目标对象的图像进行比对，以验证本技术实施例提供的方法的有效性。比对结果如图5所示。图5中，参考对象的类型为人体的头部，目标对象为人体的头部对应的轮廓上未附有异物且内部不存在孔洞的虚拟头部。需要说明的是，图5中的各个图中存在一些辅助线，这些辅助线用于对人体的头部的朝向进行定位，不会对目标对象的图像的精度产生影响。图5中的第一列图像为手工对阈值分割图像进行孔洞填充后得到的目标对
象的图像，图5中的第二列图像为利用本技术实施例提供的方法获取的目标对象的图像，图5中的第三列图像为利用填充工具(如，3d slicer(一种开源医学图像处理软件))对阈值分割图像进行孔洞填充后得到的目标对象的图像。
[0130]
根据图5可知，手工填充得到的目标对象的图像的细节清晰，但是存在耗时较长的问题。利用本技术实施例提供的方法得到的目标对象的图像的细节也比较清晰，能够一键执行，充分利用gpu(graphics processing unit，图形处理器)，速度较快。填充工具中的参数较多，难以控制，利用填充工具填充得到的目标对象的图像中，存在损害轮廓分割的情况。
[0131]
示例性地，以参考对象的类型为人体的头部为例，本技术实施例能应用在多种情形下，如，待处理图像中包括检查床的子图像、人体的头部的耳朵与检查床连接、人体的头部的鼻子位置存在输液管等，这些情形很难通过简单的分析(如，最大连通域分析)获取目标对象的图像，而利用本技术实施例提供的方法能够在这些较为复杂的情形下获取较为精准的目标对象的图像。
[0132]
示例性地，通过简单的分析获取的图像与利用本技术实施例提供的方法获取的目标对象的图像的比对结果如图6至图9所示。图6中的左图为阈值分割图像，该阈值分割图像中存在检查床的子图像；图6中的右图为利用本技术实施例提供的方法获取的目标对象的图像，在该目标对象的图像中，检查床的子图像被去除。
[0133]
图7和图8中的左图为阈值分割图像或者为手动去除阈值分割图像中的检查床的子图像后的图像，在图7和图8中的左图中，人体的头部的轮廓上附有较多异物；图7和图8中的右图为利用本技术实施例提供的方法获取的目标对象的图像，在该目标对象的图像中，人体的头部的轮廓上附有的异物被去除。图9为对厚层ct采集的待处理图像进行处理的结果，图9中的左图为阈值分割图像或者为手动部分去除阈值分割图像中的部分未与人体的头部相连的检查床的子图像后的图像，在图9中的左图中，存在与人体的头部相连的部分检查床的子图像；图9中的右图为利用本技术实施例提供的方法获取的目标对象的图像，在该目标对象的图像中，与人体的头部相连的部分检查床的子图像被去除。
[0134]
目标对象的图像为执行后续任务所依据的图像。本技术实施例对利用目标对象的图像执行的后续任务的类型不加以限定，可以根据经验设置，也可以根据实际的应用场景灵活调整。本技术实施例以利用目标对象的图像执行配准任务以及图像标注任务为例进行说明。
[0135]
在基于ct和mri等图像的头部手术导航应用中，需要预先分割头部并重建头部的虚拟模型，将手术导航实时获取的头部的点云数据和重建的虚拟模型配准，从而将术前影像和实时画面结合，达到导航的功能。本技术实施例提供了一种快速、高精度、自动填充头部内部的孔洞的全自动图像处理方法，可以有效去除ct图像中的检查床的子图像以及头部的皮肤上的附着异物，还能够自动填充头部内部存在的孔洞，从而提高重建的虚拟模型的精度，提高基于点云数据的配准的效率以及配准精度。
[0136]
在利用目标对象的图像执行配准任务的应用场景下，在获取目标对象的图像之后，还包括：基于目标对象的图像，构建目标对象的虚拟模型；获取参考对象的点云数据，点云数据通过对参考对象进行扫描得到；将点云数据与虚拟模型进行配准，显示配准结果。
[0137]
目标对象的图像可能是2d图像，也可能是3d图像，无论哪种情况，在获取目标对象
的图像之后，均能够基于目标对象的图像，构建目标对象的虚拟模型。目标对象的虚拟模型为目标对象的立体模型，本技术实施例对基于目标对象的图像，构建目标对象的虚拟模型的方式不加以限定，示例性地，可以利用虚拟模型重建工具实现基于目标对象的图像，构建目标对象的虚拟模型的过程。示例性地，基于目标对象的图像，利用网格生成(mesh generation)技术构建目标对象的虚拟模型。需要说明的是，目标对象的虚拟模型为参考对象对应的优化对象的虚拟模型，用于与参考对象的实际点云数据进行配准。
[0138]
参考对象的点云数据通过对参考对象进行扫描得到，为参考对象的实际数据。需要说明的是，此处获取的参考对象的点云数据是能够用来与目标对象的虚拟模型进行配准的数据，参考对象的点云数据和待处理图像是针对同一参考对象而言的，可以是针对处于不同时刻的同一参考对象而言的，以保证配准的可靠性。例如，待处理图像是对第一时刻(如，术前时刻)的参考对象进行图像采集得到的图像，点云数据是对第二时刻(如，术中时刻)的同一参考对象进行扫描得到的点云数据。
[0139]
对参考对象进行扫描的设备根据经验选定，或者根据实际的应用场景灵活调整，本技术实施例对此不加以限定。在示例性实施例中，对参考对象进行扫描的设备包括但不限于深度相机、点云扫描器等。
[0140]
在获取点云数据和虚拟模型之后，将点云数据与虚拟模型进行配准，以得到配准结果，配置结果用于指示点云数据与虚拟模型之间的匹配关系。在示例性实施例中，计算机设备具有显示功能，在得到配准结果之后，显示配准结果，该配准结果能够为手术提供导航。本技术实施例对将点云数据与虚拟模型进行配准的方式不加以限定，可以利用任意一种配准方式实现，例如，配准方式包括但不限于icp(iterative closest point，迭代最近点算法)配准算法、ndt(normal distribution transform，正态分布变换)配准算法等。
[0141]
在示例性实施例中，将点云数据与虚拟模型进行配准可以是指将点云数据直接与虚拟模型进行配准。在示例性实施例中，点云数据可能是在某个方位对参考对象的进行扫描得到的，此种情况下，在将点云数据与虚拟模型进行配准之前，可以先对虚拟模型进行剪裁，得到某个方位对应的子虚拟模型，然后将点云数据与子虚拟模型进行配准，此种方式能够加快配准效率。
[0142]
在手术导航应用中，使用深度相机扫描人脸、腹部、胸部的点云数据，然后利用icp等配准算法将获取的点云数据与利用本技术实施例获取的参考对象对应的目标对象的虚拟模型进行配准，能够将术前的扫描影像和肿瘤目标等与真实场景结合，达到ar(augmented reality，增强现实)手术导航的应用。
[0143]
示例性地，配准过程如图10所示。获取待处理图像1001，然后利用本技术实施例提供的图像处理方法获取目标对象的图像1002；在目标对象的图像1002的基础上，利用网格生成技术构建目标对象的虚拟模型1003。利用点云扫描器/深度相机等从某个方位对参考对象进行扫描，得到点云数据1004。利用配准算法将点云数据1004与对目标对象的虚拟模型进行剪裁得到的子虚拟模型进行配准。
[0144]
图像标注是指先人工在图像中指定一个兴趣区域，然后对兴趣区域的图像进行标注。在图像标注场景中存在很多自然图像和医学图像，常常需要选定一个感兴趣区域，然后做局部的阈值分割，获得初始分割，由于初始分割内部存在孔洞，常常需要填充孔洞，本技术实施例提供的图像处理方法同样能够应用在图像标注工程中，作为孔洞填充的智能方
案。
[0145]
在示例性实施例中，在图像标注的应用场景下，待处理图像为原始图像中的兴趣区域的图像，目标对象的图像与待处理图像的尺寸相同。需要说明的是，原始图像中的兴趣区域的图像为包括参考对象的子图像的图像。此种情况下，在获取目标对象的图像之后，还包括：根据目标对象的图像对原始图像进行标注。通过根据目标对象的图像对原始图像进行标注，能够在原始图像的兴趣区域中标注出参考对象对应的目标对象所在的区域。在示例性实施例中，根据目标对象的图像对原始图像进行标注的方式为：将目标对象的图像拷贝到原始图像中的兴趣区域的图像处，从而实现利用目标对象的图像对原始图像的标注。
[0146]
在示例性实施例中，计算机设备具有显示功能，在根据目标对象的图像对原始图像进行标注后，显示标注后的原始图像，以便于直观查看原始图像的兴趣区域中标注出的目标对象所在的区域。
[0147]
示例性地，图像标注过程如图11所示。获取原始图像，手动在原始图像中选择兴趣区域；从原始图像中剪裁出兴趣区域的图像，将兴趣区域的图像作为待处理图像1101；根据轮廓阈值对待处理图像1101进行二值化处理，得到阈值分割图像1102；根据本技术实施例提供的图像处理方法，获取目标对象的图像1103；将目标对象的图像1103拷贝到原始图像中，实现利用目标对象的图像对原始图像的标注。
[0148]
基于本技术实施例提供的图像处理方法，能够使用卷积神经网络精细分割ct和mri等医学影像中的参考对象的细节，并自动去除图像中的检查床的子图像，以及参考对象的轮廓上附有的输液管、绷带等异物，形成一个光滑的轮廓结构，用于提高基于人脸、人头、胸部等多种人体部位的配准算法精度，从而帮助提升手术导航定位精度。
[0149]
本技术实施例提供的方法包括但不限于如下应用：1、去除ct图像中的检查床的子图像，并提高基于图像的刚体和非刚体配准精度；2、自动分割精细的人脸，并重建人脸的虚拟模型；3、自动提取ct和mri等影像中的有效区域；4、去除影像中人脸附着的异物；5、提升虚拟模型和点云数据的配准精度；6、在手术导航术前规划系统中，用于提取目标对象以及配准和定位算法；7、自动填充阈值分割图像中的孔洞，替代传统的孔洞填充算法，可以用于一些图像标注软件，如itk-snap等。
[0150]
本技术实施例提供的技术方案，调用目标图像处理模型，自动获取了目标对象的图像，获取目标图像的过程无需人工参见，获取目标图像的效率较高。此外，目标图像处理模型是基于样本图像对应的用于指示样本图像中的对应的对象类别为目标对象的像素点的标签训练得到的，具有较为精准地识别出图像中的对应的对象类别为目标对象的像素点的功能，调用目标图像处理模型获取的第一概率图的可靠性较高，从而使得最终获取的目标对象的图像的精度较高。
[0151]
基于上述图1所示的实施环境，本技术实施例提供一种图像处理模型的训练方法，该图像处理模型的训练方法由计算机设备执行，该计算机设备可以为服务器12，也可以为终端11，本技术实施例对此不加以限定。如图12所示，本技术实施例提供的图像处理模型的训练方法包括如下步骤1201至步骤1203。
[0152]
在步骤1201中，获取参考对象的样本图像和样本图像对应的标签，样本图像对应的标签用于指示样本图像中的第一样本像素点，第一样本像素点对应的对象类别为参考对象对应的满足参考条件的目标对象。
[0153]
参考对象的样本图像是指训练初始图像处理模型所需的图像，示例性地，参考对象的样本图像包括参考对象的子图像。示例性地，样本图像与图2所示的实施例中的待处理图像为相同类型的图像以及相同尺寸的图像，以保证训练得到的图像处理模型的对待处理图像的处理效果。需要说明的是，本技术实施例中提到的样本图像是指对初始图像处理模型训练一次所依据的样本图像，样本图像的数量可以为一个，也可以为多个，本技术实施例对此不加以限定。示例性地，样本图像的数量为多个，以保证模型训练效果。
[0154]
在示例性实施例中，计算机设备获取参考对象的样本图像的方式包括但不限于：计算机设备从图像库中提取参考对象的样本图像；计算机设备将某公开数据集中的训练图像作为参考对象的样本图像。
[0155]
在示例性实施例中，计算机设备获取参考对象的样本图像的方式为：获取参考对象的初始图像；对初始图像进行数据增强，得到参考尺寸的样本图像。初始图像从图像库中提取，或者由人工上传等，本技术实施例对此不加以限定。对初始图像进行数据增强的方式包括但不限于随机翻转、各向异性的随机沿着不同轴缩放图像、随机的剪裁和填充等方式中的至少一种。无论哪种数据增强方式，只要能够保证数据增强后得到的是参考尺寸的图像即可，该参考尺寸的图像即为样本图像。参考尺寸用于对样本图像的尺寸进行限制，参考尺寸根据经验设置，或者根据应用场景灵活调整，本技术实施例对此不加以限定，示例性地，对于样本图像为3d图像的情况，参考尺寸为192
×
192
×
160(像素)；对于样本图像为2d图像的情况，参考尺寸为192
×
192(像素)。
[0156]
在示例性实施例中，在不同的应用场景下，样本图像的准备策略有所不同。示例性地，在配准任务的应用场景下，可以获取涉及的场景较少以及模态较少的样本图像；在图像标注任务的应用场景下，由于要应对更为复杂的场景，样本图像通常包括多种常见场景下、多种模态的医学影像的不同的局部图像。对于样本图像为局部图像的情况，样本图像还可以对应有用于指示样本图像来源的图像以及在来源的图像中所处的位置的标注信息。
[0157]
样本图像对应的标签用于为模型的训练过程提供监督信息，样本图像对应的标签用于指示样本图像中的对应的对象类别为参考对象对应的目标对象的第一样本像素点。也就是说，根据样本图像对应的标签，能够得知样本图像中的哪个或哪些样本像素点对应的对象类别为目标对象。示例性地，样本图像中的一个样本像素点可能对应的对象类别包括目标对象、参考对象以及其他对象等。
[0158]
在示例性实施例中，样本图像对应的标签的获取方式为：根据轮廓阈值对样本图像进行二值化处理，得到样本阈值分割图像；人工对样本阈值分割图像进行精修，得到精修图像，该精修图像中利用不同的显示方式显示对应的对象类别为目标对象的样本像素点以及对应的对象类别不为目标对象的其他像素点；将该精修图像作为样本图像对应的标签。以参考对象的类型为人体的某一部位为例，由于人体的某一部位的轮廓上可能附有绷带、输液管、固定架等异物，所以根据轮廓阈值进行二值化处理得到的阈值分割图像的边界可能不太干净，人工使用标注软件手动去除异物，以及填充内部孔洞，得到精修图像，该精修图像用于作为训练模型的金标准。
[0159]
在步骤1202中，调用初始图像处理模型对样本图像的表征图像进行概率预测，得到样本概率图，样本概率图中的像素点的像素值用于指示像素点对应的对象类别为目标对象的概率。
[0160]
在获取样本图像后，进一步获取样本图像的表征图像，以便于调用初始图像处理模型对样本图像的表征图像进行概率预测，得到样本概率图，样本概率图中的像素点的像素值用于指示像素点对应的对象类别为目标对象的概率。
[0161]
初始图像处理模型为待训练的图像处理模型，初始图像处理模型的模型结构的介绍参见图2所示的实施例中对目标图像处理模型的模型结构的介绍，此处不再赘述。获取样本图像的表征图像以及调用初始图像处理模型对样本图像的表征图像进行概率预测，得到样本概率图的过程与图2所示的实施例中的步骤202的原理相同，此处不再赘述。
[0162]
在示例性实施例中，与图2所示的实施例中的步骤202不同的是，用于对样本图像进行二值化处理的轮廓阈值为在轮廓对应的参考阈值范围内随机选取的一个阈值，以提高模型的输入信息的多样性。例如，参考阈值范围为[-490.290]，用于对待处理图像进行二值化处理的轮廓阈值为该参考阈值范围内的一个固定阈值(如，-390)，但是用于对样本图像进行二值化处理的轮廓阈值为该参考阈值范围内的随机一个阈值。对于样本图像的数量为多个的情况，用于对不同的样本图像进行二值化处理的轮廓阈值可能相同，也可能不同。
[0163]
在步骤1203中，基于样本概率图和样本图像对应的标签，对初始图像处理模型进行训练，得到目标图像处理模型。
[0164]
在得到样本概率图后，基于样本概率图以及样本图像对应的标签对初始图像处理模型进行训练，以得到训练好的目标图像处理模型。样本概率图中的像素点的像素值用于指示像素点对应的对象类别为目标对象的概率，样本图像对应的标签用于指示样本图像中的对应的对象类别为目标对象的像素点，基于样本概率图和样本图像对应的标签对初始图像处理模型进行训练，有利于使模型通过学习样本概率图与样本图像对应的标签之间的差异提高处理性能。
[0165]
在一种可能实现方式中，基于样本概率图和样本图像对应的标签，对初始图像处理模型进行训练的过程为：基于样本概率图和样本图像对应的标签，获取损失函数；利用损失函数对初始图像处理模型进行训练。
[0166]
样本图像的数量为一个或多个，对于样本图像的数量为一个的情况，样本概率图的数量为一个，则直接基于样本概率图以及样本图像对应的标签，获取损失函数。对于样本图像的数量为多个的情况，样本概率图的数量也为多个。此种情况下，获取损失函数的方式为：基于每个样本概率图和对应的样本图像对应的标签，均获取一个子损失函数；将获取的全部子损失函数的平均值作为目标损失函数。样本图像的数量为多个的情况下获取一个子损失函数的方式与样本图像的数量为一个的情况下获取损失函数的方式相同。本技术实施例以样本图像的数量为一个为例进行说明。
[0167]
在示例性实施例中，样本概率图的尺寸可能与样本图像的尺寸相同，也可能与样本图像的尺寸不同。若样本概率图的尺寸与样本图像的尺寸相同，直接基于样本概率图和样本图像对应的标签之间的差异，获取损失函数；若样本概率图的尺寸与样本图像的尺寸不同，则需要先将样本概率图采样成与样本图像相同尺寸的概率图，然后再基于采样得到的概率图与样本图像对应的标签之间的差异，获取损失函数。
[0168]
本技术实施例对基于与样本图像相同尺寸的概率图与样本图像对应的标签之间的差异，获取损失函数的方式不加以限定，示例性地，基于与样本图像相同尺寸的概率图与样本图像对应的标签之间的差异，获取交叉熵损失函数；示例性地，基于与样本图像相同尺
寸的概率图与样本图像对应的标签之间的差异，获取dice(骰子)损失函数。
[0169]
示例性地，获取dice损失函数的过程基于公式2实现：
[0170][0171]
其中，l
dice
表示dice损失函数；x表示与样本图像相同尺寸的概率图；y表示样本图像对应的标签。
[0172]
在获取损失函数之后，利用目标损失函数对初始图像处理模型进行训练，得到目标图像处理模型。在示例性实施例中，利用损失函数对初始图像处理模型进行训练的过程为迭代过程：利用损失函数反向更新初始图像处理模型的模型参数；每更新一次参数，则判断一次训练过程是否满足训练终止条件；若训练过程满足训练终止条件，则停止迭代过程，将训练得到的模型作为训练好的目标图像处理模型。
[0173]
若训练过程不满足训练终止条件，则根据步骤1201至步骤1203的方式获取新的损失函数，并利用新的损失函数反向更新图像处理模型的参数。以此类推，直至训练过程满足训练终止条件，得到训练好的目标图像处理模型。需要说明的是，在根据步骤1201至步骤1203的方式获取新的损失函数的过程中，依据的样本图像可以发生变化也可以不变，本技术实施例对此不加以限定。
[0174]
本技术实施例利用卷积神经网络，自动分割完全填充孔洞的目标对象。核心思想是在医学影像中，大部分解剖结构在图像上边界分割明显，根据轮廓阈值分割的阈值分割图像的边界非常精细，只是在阈值分割图像的内部存在大量的孔洞需要填充，将阈值分割图像作为图像处理模型的部分输入，让图像处理模型学习如下目标：保留精细的边界；填充阈值分割图像中的孔洞；去除和任务不相关的假阳分割区域。从而能够得到参考对象对应的轮廓上未附有异物且内部不存在孔洞的目标对象的图像。
[0175]
本技术实施例提供的技术方案，基于样本图像对应的标签对初始图像处理模型进行训练，其中，样本图像对应的标签用于指示样本图像中的对应的对象类别为目标对象的像素点。此种训练过程能够提高图像处理模型对图像中的对应的对象类别为目标对象的像素点的识别精度，从而训练得到具有较为精准地识别出图像中的对应的对象类别为目标对象的像素点的功能的目标图像处理模型，为实现调用目标图像处理模型自动获取目标对象的图像，以提高获取目标对象的图像的效率以及提高获取的目标对象的图像的精度的过程奠定了基础。
[0176]
接下来，介绍本技术实施例在一个实际的应用场景中的示例性应用。在示例性实施例中，待处理图像为头部医学影像，参考对象的类型为人体的头部，参考对象为轮廓上未附有异物且内部存在孔洞，或轮廓上附有异物且内部存在孔洞的头部，目标对象为轮廓上未附有异物且内部不存在孔洞的虚拟头部。此种情况下，图像处理的过程包括以下步骤1至步骤3：
[0177]
步骤1：获取头部医学影像和目标图像处理模型。
[0178]
步骤2：调用目标图像处理模型对头部医学影像的表征图像进行概率预测，得到第一概率图，第一概率图中的像素点的像素值用于指示像素点对应的对象类别为轮廓上未附有异物且内部不存在孔洞的虚拟头部的概率。
[0179]
步骤3：基于第一概率图，获取轮廓上未附有异物且内部不存在孔洞的虚拟头部的
图像。
[0180]
上述步骤1至步骤3的实现原理与图2所示的实施例中的步骤201至步骤203的实现原理相同，此处不再赘述。
[0181]
参见图13，本技术实施例提供了一种图像处理装置，该装置包括：
[0182]
第一获取单元1301，用于获取参考对象的待处理图像和目标图像处理模型，目标图像处理模型基于参考对象的样本图像和样本图像对应的标签训练得到，样本图像对应的标签用于指示样本图像中的第一样本像素点，第一样本像素点对应的对象类别为参考对象对应的满足参考条件的目标对象；
[0183]
第一处理单元1302，用于调用目标图像处理模型对待处理图像的表征图像进行概率预测，得到第一概率图，第一概率图中的像素点的像素值用于指示像素点对应的对象类别为目标对象的概率；
[0184]
第二获取单元1303，用于基于第一概率图，获取目标对象的图像。
[0185]
在一种可能实现方式中，该装置还包括：
[0186]
第二处理单元，用于根据参考对象的轮廓对应的轮廓阈值，对待处理图像进行二值化处理，得到待处理图像对应的阈值分割图像；
[0187]
第三获取单元，用于基于阈值分割图像，获取待处理图像的表征图像。
[0188]
在一种可能实现方式中，第三获取单元，用于获取待处理图像对应的辅助图像；对阈值分割图像和辅助图像进行拼接，得到表征图像。
[0189]
在一种可能实现方式中，辅助图像包括第一图像和第二图像中的至少一个，第一图像根据参考对象的轮廓对应的成像值范围对待处理图像进行处理得到，第二图像根据参考对象的内部的参考元素对应的成像值范围对待处理图像进行处理得到。
[0190]
在一种可能实现方式中，该装置还包括：
[0191]
确定单元，用于确定参考对象的轮廓对应的参考阈值范围；在参考阈值范围内确定轮廓阈值。
[0192]
在一种可能实现方式中，第二获取单元1303，用于基于第一概率图，获取与待处理图像尺寸相同的第二概率图；根据概率阈值对第二概率图进行二值化处理，得到目标对象的图像。
[0193]
在一种可能实现方式中，该装置还包括：
[0194]
配准单元，用于基于目标对象的图像，构建目标对象的虚拟模型；获取参考对象的点云数据，点云数据通过对参考对象进行扫描得到；将点云数据与虚拟模型进行配准，显示配准结果。
[0195]
在一种可能实现方式中，待处理图像为原始图像中的兴趣区域的图像，目标对象的图像与待处理图像的尺寸相同，该装置还包括：
[0196]
标注单元，用于根据目标对象的图像对原始图像进行标注，显示标注后的原始图像。
[0197]
在一种可能实现方式中，待处理图像为头部医学影像，参考对象为轮廓上未附有异物且内部存在孔洞，或轮廓上附有异物且内部存在孔洞的头部，满足参考条件的目标对象为满足轮廓上未附有异物或内部不存在孔洞中的至少一项的头部。
[0198]
本技术实施例提供的技术方案，调用目标图像处理模型，自动获取了目标对象的
processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以集成有gpu，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0210]
存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行，以使该终端实现本技术中方法实施例提供的图像处理方法或图像处理模型的训练方法。
[0211]
在一些实施例中，终端还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、显示屏1505、摄像头组件1506、音频电路1507、定位组件1508和电源1509中的至少一种。
[0212]
外围设备接口1503可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。射频电路1504用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。显示屏1505用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。摄像头组件1506用于采集图像或视频。
[0213]
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。定位组件1508用于定位终端的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。电源1509用于为终端中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。
[0214]
在一些实施例中，终端还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
[0215]
加速度传感器1511可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。陀螺仪传感器1512可以检测终端的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端的3d动作。压力传感器1513可以设置在终端的侧边框和/或显示屏1505的下层。当压力传感器1513设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在显示屏1505的下层时，由处理器1501根据用户对显示屏1505的压力操作，实现对ui界面上的可操作性控件进行控制。
[0216]
指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。光学传感器1515用于采集环境光强度。接近传感器1516，也称距离传感器，通常设置在终端的前面板。接近传感器1516用于采集用户与终端的正面之间的距离。
[0217]
本领域技术人员可以理解，图15中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0218]
图16是本技术实施例提供的一种服务器的结构示意图，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(central processing units，cpu)1601和一个或多个存储器1602，其中，该一个或多个存储器1602中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器1601加载并执行，以使该服务器实现上述各个方法实施例提供的图像处理方法或图像处理模型的训练方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0219]
在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并执行，以使计算机实现上述任一种图像处理方法或图像处理模型的训练方法。
[0220]
在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cd-rom)、磁带、软盘和光数据存储设备等。
[0221]
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，该计算机程序或计算机指令由处理器加载并执行，以使计算机实现上述任一种图像处理方法或图像处理模型的训练方法。
[0222]
需要说明的是，本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以上示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0223]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0224]
以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。