一种基于人工智能的图像预测方法、相关装置及存储介质与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种基于人工智能的图像预测方法、相关装置及存储介质。


背景技术：

2.随着人工智能的不断推进，计算机视觉是深度学习领域最热门的研究领域之一。其中，计算机视觉是一个跨领域的交叉学科，包括计算机科学、数学、工程学、物理学、生物学和心理学等。基于计算机视觉对图像进行分析和处理的应用也越来越广泛。
3.无论是在自然界中，还是在专业领域中，了解事物的发展方向对于人们而言是非常重要的，通过预测出的事物发展情况，人们可以更加及时地做出反应，在一定程度上能够降低危害风险。目前，对于事物的预判需要专业人员根据经验，对图像进行观察和分析之后得出预判的结果。
4.然而，预判事物发展是一个非常复杂的过程，仅凭借经验进行观察和分析，一方面需要耗费较多的时间和精力，另一方面，由于经验的缺乏等问题，还可以出现预判结果和实际结果偏差较大的情况，导致图像预测的准确度较低。


技术实现要素：

5.本技术实施例提供了一种基于人工智能的图像预测方法、相关装置及存储介质，一方面能够提升图像分析的效率，节省时间成本和人力成本，另一方面，基于人工智能模型对图像进行识别，能够在一定程度上提升图像预测的准确性。
6.有鉴于此，本技术一方面提供一种基于人工智能的图像预测方法，包括：
7.获取待预测图像，其中，待预测图像对应于目标图像尺寸；
8.基于待预测图像，通过区域分割模型获取第一掩膜图像，其中，第一掩膜图像对应于目标图像尺寸，且第一掩膜图像包括目标对象所对应的第一分割区域；
9.基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，其中，第二掩膜对应于目标图像尺寸，且第二掩膜图像包括目标对象所对应的第二分割区域；
10.根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，其中，图像预测结果用于表示目标对象在预设时间内的变化情况。
11.本技术另一方面提供一种图像预测装置，包括：
12.获取模块，用于获取待预测图像，其中，待预测图像对应于目标图像尺寸；
13.获取模块，还用于基于待预测图像，通过区域分割模型获取第一掩膜图像，其中，第一掩膜图像对应于目标图像尺寸，且第一掩膜图像包括目标对象所对应的第一分割区域；
14.获取模块，还用于基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，其中，第二掩膜对应于目标图像尺寸，且第二掩膜图像包括目标对象所对应的第二分割区域；
15.生成模块，用于根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，其中，图像预测结果用于表示目标对象在预设时间内的变化情况。
16.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括训练模块；
17.获取模块，还用于基于待预测图像，通过区域分割模型获取第一掩膜图像之前，获取训练样本图像对，其中，训练样本图像对来源于同一个训练对象，训练样本图像对包括原始样本图像以及原始标注样本图像，原始标注样本图像为对原始样本图像进行分割区域标注后得到的图像，原始样本图像与原始标注样本图像均对应于目标图像尺寸；
18.获取模块，还用于基于原始样本图像，通过待训练区域分割模型获取第一预测掩膜图像；
19.训练模块，用于根据原始样本图像所对应的第一预测掩膜图像以及原始标注样本图像，对待训练区域分割模型的模型参数进行更新；
20.获取模块，还用于若满足模型训练条件，则将已更新的模型参数作为区域分割模型的模型参数，以得到区域分割模型。
21.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括训练模块；
22.获取模块，还用于基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像之前，获取训练样本图像对，其中，训练样本图像对来源于同一个训练对象，训练样本图像对包括原始样本图像、原始标注样本图像以及目标标注样本图像，原始标注样本图像为对原始样本图像进行分割区域标注后得到的图像，目标标注样本图像为对目标样本图像进行分割区域标注后得到的图像，目标样本图像与原始样本图像之间的采样间隔时间小于或等于预设时间；
23.获取模块，还用于基于原始样本图像以及原始标注样本图像，通过待训练区域预测模型获取第二预测掩膜图像；
24.训练模块，用于根据第二预测掩膜图像以及目标标注样本图像，对待训练区域预测模型的模型参数进行更新；
25.获取模块，还用于若满足模型训练条件，则将已更新的模型参数作为区域预测模型的模型参数，以得到区域预测模型。
26.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
27.获取模块，具体用于在第一时刻采集训练对象所对应的原始样本图像；
28.获取针对于原始样本图像的分割区域标注结果，以得到训练对象所对应的原始标注样本图像；
29.在第二时刻采集训练对象所对应的目标样本图像，其中，第二时刻与第一时刻之间的时间间隔为目标样本图像与原始样本图像之间的采样间隔时间，且第二时刻出现与第一时刻之后；
30.获取针对于目标样本图像的分割区域标注结果，以得到训练对象所对应的目标标注样本图像；
31.根据原始样本图像、原始标注样本图像以及目标标注样本图像，获取训练样本图像对。
32.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括处理模块；
33.获取模块，具体用于在第一时刻采集训练对象所对应的待处理原始样本图像；
34.对待处理原始样本图像进行裁剪处理，得到原始样本图像；
35.获取模块，具体用于在第二时刻采集训练对象所对应的待处理目标样本图像；
36.对待处理目标样本图像进行裁剪处理，得到目标样本图像；
37.处理模块，用于基于图像配准、图像重采样以及图像归一化中的至少一种方式，对原始样本图像与目标样本图像进行处理。
38.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，区域分割模型为第一三维u型网络3d
‑
unet模型，区域预测模型为第二3d
‑
unet模型；
39.获取模块，具体用于基于待预测图像，通过第一3d
‑
unet模型所包括的卷积层和池化层进行下采样处理，得到第一特征数据；
40.基于第一特征数据，通过第一3d
‑
unet模型所包括的卷积层和池化层进行上采样处理，得到第一掩膜图像；
41.获取模块，具体用于基于第一掩膜图像以及待预测图像，通过第二3d
‑
unet模型所包括的卷积层和池化层进行下采样处理，得到第二特征数据；
42.基于第二特征数据，通过第二3d
‑
unet模型所包括的卷积层和池化层进行上采样处理，得到第二掩膜图像。
43.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，区域分割模型为第一u型网络unet模型，区域预测模型为第二unet模型；
44.获取模块，具体用于基于待预测图像，通过第一unet模型所包括的卷积层和池化层进行下采样处理，得到第一特征图；
45.基于第一特征图，通过第一unet模型所包括的卷积层和池化层进行上采样处理，得到第一掩膜图像；
46.获取模块，具体用于基于第一掩膜图像以及待预测图像，通过第二unet模型所包括的卷积层和池化层进行下采样处理，得到第二特征图；
47.基于第二特征图，通过第二unet模型所包括的卷积层和池化层进行上采样处理，得到第二掩膜图像。
48.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括确定模块；
49.获取模块，还用于基于待预测图像，通过区域分割模型获取第一掩膜图像之后，基于第一掩膜图像，通过对象分类模型获取类别概率分布；
50.确定模块，用于根据类别概率分布确定目标类别；
51.获取模块，还用于若目标类别用于指示目标对象处于变化状态，则执行基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像的步骤。
52.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括训练模块；
53.获取模块，还用于基于第一掩膜图像，通过对象分类模型获取类别概率分布之前，获取原始样本图像，其中，原始样本图像对应于标注分类结果；
54.获取模块，还用于获取针对于原始样本图像的分割区域标注结果，以得到训练对象所对应的原始标注样本图像；
55.获取模块，还用于基于原始标注样本图像，通过待训练对象分类模型获取预测类别概率分布；
56.训练模块，用于根据预测类别概率分布以及标注分类结果，对待训练对象分类模型的模型参数进行更新；
57.获取模块，还用于若满足模型训练条件，则将已更新的模型参数作为对象分类模型的模型参数，以得到对象分类模型。
58.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括处理模块；
59.获取模块，还用于获取待预测对象的对象关联信息，其中，对象关联信息包括年龄、性别、身高、体重以及病史信息中的至少一种；
60.处理模块，用于对对象关联信息进行信息特征化处理，得到对象关联特征；
61.获取模块，具体用于基于第一掩膜图像、待预测图像以及对象关联特征，通过区域预测模型以及全连接层获取第二掩膜图像。
62.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，图像预测装置还包括处理模块以及显示模块；
63.处理模块，用于基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像之后，对第二掩膜图像以及待预测图像进行图像对齐处理，得到已对齐的第二掩膜图像以及已对齐的待预测图像；
64.处理模块，还用于将已对齐的第二掩膜图像覆盖于已对齐的待预测图像之上，得到合成图像，其中，已对齐的第二掩膜图像中除去第二分割区域的部分为透明区域；
65.显示模块，用于显示合成图像，或，向终端设备发送合成图像，以使终端设备显示合成图像。
66.在一种可能的设计中，在本技术实施例的另一方面的另一种实现方式中，
67.生成模块，具体用于根据第一掩膜图像所包括的第一分割区域，确定第一分割面积以及第一位置信息，其中，第一位置信息表示第一分割位置在第一掩膜图像中所处的位置；
68.根据第二掩膜图像所包括的第二分割区域，确定第二分割面积以及第二位置信息，其中，第二位置信息表示第二分割位置在第二掩膜图像中所处的位置；
69.根据第一分割面积以及第二分割面积，确定面积变化结果；
70.根据第一位置信息以及第二位置信息，确定位置变化结果；
71.根据面积变化结果以及位置变化结果，确定图像预测结果。
72.本技术另一方面提供一种计算机设备，包括：存储器、处理器以及总线系统；
73.其中，存储器用于存储程序；
74.处理器用于执行存储器中的程序，处理器用于根据程序代码中的指令执行上述各方面的方法；
75.总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。
76.本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储
有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
77.本技术的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。
78.从以上技术方案可以看出，本技术实施例具有以下优点：
79.本技术实施例中，提供了一种基于人工智能的图像预测方法，首先获取待预测图像，然后基于待预测图像，通过区域分割模型获取第一掩膜图像，第一掩膜图像包括目标对象所对应的第一分割区域，再基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，第二掩膜图像包括目标对象所对应的第二分割区域，最后根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，图像预测结果用于表示目标对象在预设时间内的变化情况。通过上述方式，可利用训练好的区域预测模型来预判目标对象的发展情况，一方面能够提升图像分析的效率，节省时间成本和人力成本，另一方面，基于人工智能模型对图像进行识别，能够在一定程度上提升图像预测的准确性。
附图说明
80.图1为本技术实施例中基于自然图像实现图像预测的一个应用场景示意图；
81.图2为本技术实施例中基于医学图像实现图像预测的一个应用场景示意图；
82.图3为本技术实施例中图像预测系统的一个架构示意图；
83.图4为本技术实施例中图像预测方法的一个实施例示意图；
84.图5为本技术实施例中通过区域分割模型输出第一掩膜图像的一个示意图；
85.图6为本技术实施例中通过区域预测模型输出第二掩膜图像的一个示意图；
86.图7为本技术实施例中训练区域分割模型的一个训练样本图像对示意图；
87.图8为本技术实施例中训练区域预测模型的一个训练样本图像对示意图；
88.图9为本技术实施例中三维u型网络的一个网络结构示意图；
89.图10为本技术实施例中u型网络的一个网络结构示意图；
90.图11为本技术实施例中结合关联信息输出第二掩膜图像的一个示意图；
91.图12为本技术实施例中展示图像预测结果的一个界面示意图；
92.图13为本技术实施例中图像预测装置的一个实施例示意图；
93.图14为本技术实施例中计算机设备的一个结构示意图。
具体实施方式
94.本技术实施例提供了一种基于人工智能的图像预测方法、相关装置及存储介质，一方面能够提升图像分析的效率，节省时间成本和人力成本，另一方面，基于人工智能模型对图像进行识别，能够在一定程度上提升图像预测的准确性。
95.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任
何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
96.无论是在自然界中，还是在专业领域中，了解事物的发展方向对于人们而言是非常重要的，通过预测出的事物发展情况，人们可以更加及时地做出反应，在一定程度上能够降低危害风险。基于此，本技术提供了一种基于人工智能的图像预测方法，可根据当前时刻采集到的图像预测在一段时间之后，图像中某个对象的发展情况。下面将结合场景对本技术提供的图像预测方法进行介绍。
97.示例性地，请参阅图1，图1为本技术实施例中基于自然图像实现图像预测的一个应用场景示意图，如图1中(a)所示，在2021年3月6日18点48分50秒拍摄一张自然图像，该自然图像中包括一棵树，树干出现了一个坏死部分。将该自然图像输入至训练好的区域分割模型，通过区域分割模型输出第一掩膜图像，然后将第一掩膜图像和自然图像输入至区域预测模型，通过区域预测模型输出第二掩膜图像，将第二掩膜图像覆盖于原本的自然图像之上，由此得到如图1中(b)图所示的合成图像，可见，未来的一周该坏死部分会继续扩大。
98.示例性地，请参阅图2，图2为本技术实施例中基于医学图像实现图像预测的一个应用场景示意图，如图2中(a)所示，病人甲在2021年3月6日18点48分50秒照了一张脑部电子计算机断层扫描(computed tomography，ct)图像，该脑部ct图像中包括一个血肿部分。将该脑部ct图像输入至训练好的区域分割模型，通过区域分割模型输出第一掩膜图像，然后将第一掩膜图像和脑部ct图像输入至区域预测模型，通过区域预测模型输出第二掩膜图像，将第二掩膜图像覆盖于原本的自然图像之上，由此得到如图2中(b)图所示的合成图像，可见，未来24小时该血肿部分会继续扩大。
99.为了在上述场景中实现图像预测，本技术提出了一种基于人工智能的图像预测方法，该方法应用于图3所示的图像预测系统，如图所示，本技术涉及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能电视、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。服务器和终端设备的数量也不做限制。结合图3所示的图像预测系统，可以分为在线图像预测以及离线图像预测，下面将结合这两种预测方式进行介绍。
100.一、在线图像预测；
101.图像预测系统可包括服务器和终端设备，终端设备采集待预测图像，然后将待预测图像上传至服务器，服务器采用训练好的区域分割模型和区域预测模型对待预测图像进行处理，再将处理后的掩膜图像(或合成图像)反馈至终端设备，由终端设备显示掩膜图像(或合成图像)。
102.二、离线图像预测；
103.图像预测系统可包括终端设备，终端设备采集待预测图像，然后采用训练好的区域分割模型和区域预测模型对待预测图像进行处理，得到掩膜图像(或合成图像)，然后由
终端设备显示掩膜图像(或合成图像)。
104.可以理解的是，深度学习被应用于图像预测任务中，其中，深度学习属于人工智能的一个分支，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
105.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
106.利用区域分割模型和区域预测模型进行图像预测，涉及到计算机视觉技术(computer vision,cv)技术。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像预测、图像预测、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
107.训练区域分割模型和区域预测模型涉及到机器学习(machine learning，ml)技术，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
108.结合上述介绍，下面将对本技术中基于人工智能的图像预测方法进行介绍，请参阅图4，本技术实施例中图像预测方法的一个实施例包括：
109.101、获取待预测图像，其中，待预测图像对应于目标图像尺寸；
110.本实施例中，图像预测装置获取待预测图像，其中，目标图像尺寸可以是512
×
512个像素，或者1024
×
1024个像素，还可以是其他的尺寸，此处不做限定。
111.需要说明的是，待预测图像可以是医学图像，也可以是自然图像，在本技术中以图像为医学图像为例进行介绍。医学图像包含但不仅限于ct图像、磁共振成像(magnetic resonance imaging，mri)、数字减影血管造影(digital subtraction angiography，dsa)、计算机x射线(computed radiography，cr)图像以及数字x线摄影术(digital radiography，dr)。医学图像所检测的对象包含但不仅限于头部、胸部、脊柱、骨骼以及腹部等，本技术以检测头部为例进行介绍，然而这不应理解为本技术的限定。
112.需要说明的是，图像预测装置可部署于终端设备，也可以部署于服务器，还可以部署于由终端设备和服务器组成的图像预测系统中，本技术不做限定。
113.102、基于待预测图像，通过区域分割模型获取第一掩膜图像，其中，第一掩膜图像
对应于目标图像尺寸，且第一掩膜图像包括目标对象所对应的第一分割区域；
114.本实施例中，图像预测装置调用区域分割模型对待预测图像进行分割处理，其中，输入的待预测图像与输出的第一掩膜图像具有相同的图像尺寸，在输出的第一掩膜图像中包括第一分割区域，第一分割区域即为基于目标对象分割出来的区域。以脑部ct图像为例，目标对象可以是脑部中的血块。以树木图像为例，目标对象可以是树干处的坏死部分。
115.具体地，为了便于理解，请参阅图5，图5为本技术实施例中通过区域分割模型输出第一掩膜图像的一个示意图，如图所示，将待预测图像输入至训练好的区域分割模型，由此输出第一掩膜图像，其中，第一掩膜图像中白色的区域可理解为是第一分割区域。假设待预测图像是脑部ct图像，且脑部有一个血块，为了能够更好地表达出血块的形状、大小和位置，即通过区域分割模型输出对应的第一掩膜图像，在第一掩膜图像中仅标识出第一分割区域，其他脑部组织无需标注出来。
116.103、基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，其中，第二掩膜对应于目标图像尺寸，且第二掩膜图像包括目标对象所对应的第二分割区域；
117.本实施例中，图像预测装置将第一掩膜图像以及待预测图像进行拼接(concat)处理之后，输入至训练好的区域预测模型，由此输出第二掩膜图像，其中，输出的第二掩膜图像与待预测图像具有相同的图像尺寸，在输出的第二掩膜图像中包括第二分割区域，第二分割区域即为基于目标对象分割出来的区域。需要说明的是，第二掩膜图像是预测未来一段时间之后得到的图像。例如，待识别图像是当前时刻采集到的，那么第二掩膜图像可以是24小时之后的掩膜图像。又例如，待识别图像是2021年3月7日15点采集到的，那么第二掩膜图像可以是2021年3月8日15点所对应的掩膜图像。
118.具体地，为了便于理解，请参阅图6，图6为本技术实施例中通过区域预测模型输出第二掩膜图像的一个示意图，如图所示，将第一掩膜图像以及待预测图像输入至训练好的区域预测模型，由此输出第二掩膜图像，其中，第二掩膜图像中白色的区域可理解为是第二分割区域。假设待预测图像是脑部ct图像，且脑部有一个血块，为了预测血块在预设时间内的变化情况，即通过区域预测模型输出对应的第二掩膜图像，在第二掩膜图像中仅标识出第二分割区域，其他脑部组织无需标注出来。
119.104、根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，其中，图像预测结果用于表示目标对象在预设时间内的变化情况。
120.本实施例中，图像预测装置根据实际获取到的第一掩膜图像，以及预测得到的第二掩膜图像，生成相应的图像预测结果，该图像预测结果能够直观地体现出目标对象在预设时间内的变化情况，例如，目标对象的尺寸发生了变化(如变大、变小或者未变化)，又例如，目标对象的位置发生了变化，又例如，目标对象的形状发生了变化等，此处不做限定。
121.需要说明的是，预设时间与训练模型时所采用的样本采集时间具有一致性，假设样本采集时间间隔小于或等于24小时，那么预设时间即为24小时。假设样本采集时间间隔小于或等于72小时，那么预设时间即为72小时。以“脑出血”为例，通常选择24小时作为预设时间。在实际应用中，急性脑出血患者通常会拍摄头部ct图像，用于观察出血部位、出血量大小、血肿形态、是否破入脑室以及血肿周围有无低密度水肿带和占位效应等。除了当前状态，医生还需要对病人病情发展有一个预判从而针对性的制定治疗方案，其中一个重要的
预测就是出血形态如何变化，因为该点与是否采取手术，以及如何进行手术相关。本技术提供的方法能够基于病人当前时间采集的ct图像，预测血肿未来发展状态，从而辅助医生制定治疗方案。本技术中，借助计算机，从医学图像中挖掘出大量的定量影像特征，使用统计学或机器学习的方法，筛选最有价值的影像组学特征，用以解析临床信息，疾病的定性，肿瘤分级分期，疗效评估和预后预测等。
122.本技术实施例中，提供了一种基于人工智能的图像预测方法，首先获取待预测图像，然后基于待预测图像，通过区域分割模型获取第一掩膜图像，第一掩膜图像包括目标对象所对应的第一分割区域，再基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，第二掩膜图像包括目标对象所对应的第二分割区域，最后根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，图像预测结果用于表示目标对象在预设时间内的变化情况。通过上述方式，可利用训练好的区域预测模型来预判目标对象的发展情况，一方面能够提升图像分析的效率，节省时间成本和人力成本，另一方面，基于人工智能模型对图像进行识别，能够在一定程度上提升图像预测的准确性。
123.可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，基于待预测图像，通过区域分割模型获取第一掩膜图像之前，还可以包括：
124.获取训练样本图像对，其中，训练样本图像对来源于同一个训练对象，训练样本图像对包括原始样本图像以及原始标注样本图像，原始标注样本图像为对原始样本图像进行分割区域标注后得到的图像，原始样本图像与原始标注样本图像均对应于目标图像尺寸；
125.基于原始样本图像，通过待训练区域分割模型获取第一预测掩膜图像；
126.根据原始样本图像所对应的第一预测掩膜图像以及原始标注样本图像，对待训练区域分割模型的模型参数进行更新；
127.若满足模型训练条件，则将已更新的模型参数作为区域分割模型的模型参数，以得到区域分割模型。
128.本实施例中，介绍了一种训练得到区域分割模型的方式。在训练区域分割模型的任务中，需要大量的训练样本图像对，为了便于说明，本技术以一个训练样本图像对为例进行介绍，然而这不应理解为对本技术的限定。
129.具体地，以原始样本图像为脑部ct图像作为示例，为了便于理解，请参阅图7，图7为本技术实施例中训练区域分割模型的一个训练样本图像对示意图，如图7中(a)图所示，将训练对象(例如，某位患者)第一次采集到的脑部ct图像作为原始样本图像(即ct1)，其中，该原始样本图像复合录入条件，例如，具有的出血类型为脑实质出血，图像没有明显伪影等。基于此，标注人员可采用一些标注工具对a1所指示的脑出血区域分割出来，并进行相应标注。如图7中(b)图所示，原始标注样本图像(即ct1 mask)包括分割处理的脑出血区域。其中，原始样本图像与原始标注样本图像均对应于目标图像尺寸。
130.可以理解的是，本技术所采用的标注工具包含但不仅限于医学图像标注工具(itk
‑
snap)，医学图像处理、分析和可视化(medical image processing analysis and visualization，mipav)工具，以及基于爪哇(java)的公共的图像处理软件(image j)等，此处不做限定。
131.在实际训练中，可以根据需要设置批处理大小，学习率和最大迭代次数。下面将以原始样本图像为例进行介绍，首先将原始样本图像输入至待训练区域分割模型，通过待训
练区域分割模型输出原始样本图像所对应的第一预测掩膜图像，该第一预测掩膜图像即为预测图像。原始样本图像具有已经过标注的原始标注样本图像，因此，原始标注样本图像即为真实图像。于是，采用如下均方误差(mean
‑
square error，mse)损失函数，计算原始样本图像所对应的第一预测掩膜图像与原始标注样本图像之间的损失值：
[0132][0133]
其中，mse表示真实图像与预测图像之间的损失值，n表示图像中的像素点总数，i表示图像中的第i个像素点，y
i
表示预测图像(即第一预测掩膜图像)中第i个像素点的图像数据，表示真实图像(即原始标注样本图像)中第i个像素点的图像数据。
[0134]
需要说明的是，在实际训练过程中，还可以采用其他类型的损失函数计算图像之间的损失值，例如，交叉熵损失函数，平均绝对误差(mean absolute error，mae)或者交叉熵损失等。
[0135]
在得到第一预测掩膜图像以及原始标注样本图像之间的损失值之后，可采用反向传播算法对待训练区域分割模型的模型参数进行更新。当满足模型训练条件时，即可结束训练，并将已更新的模型参数作为区域分割模型的模型参数。可以理解的是，在一个示例中，当损失值收敛到一定程度时，即满足模型训练条件。在另一个示例中，预先设定最大迭代次数，当训练迭代次数达到最大迭代次数时，即满足模型训练条件。
[0136]
其次，本技术实施例中，提供了一种训练得到区域分割模型的方式，通过上述方式，将原始样本图像以及原始标注样本图像作为一个训练样本图像对，由此对待训练区域分割模型进行训练，训练完成之后，即可实现对待识别图像的分割，并且采用人工智能模型对图像进行分割，从而提升图像分割的准确性。
[0137]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像之前，还可以包括：
[0138]
获取训练样本图像对，其中，训练样本图像对来源于同一个训练对象，训练样本图像对包括原始样本图像、原始标注样本图像以及目标标注样本图像，原始标注样本图像为对原始样本图像进行分割区域标注后得到的图像，目标标注样本图像为对目标样本图像进行分割区域标注后得到的图像，目标样本图像与原始样本图像之间的采样间隔时间小于或等于预设时间；
[0139]
基于原始样本图像以及原始标注样本图像，通过待训练区域预测模型获取第二预测掩膜图像；
[0140]
根据第二预测掩膜图像以及目标标注样本图像，对待训练区域预测模型的模型参数进行更新；
[0141]
若满足模型训练条件，则将已更新的模型参数作为区域预测模型的模型参数，以得到区域预测模型。
[0142]
本实施例中，介绍了一种训练得到区域预测模型的方式。在训练区域预测模型的任务中，需要大量的训练样本图像对，为了便于说明，本技术以一个训练样本图像对为例进行介绍，然而这不应理解为对本技术的限定。
[0143]
具体地，以原始样本图像为脑部ct图像作为示例，为了便于理解，请参阅图8，图8为本技术实施例中训练区域预测模型的一个训练样本图像对示意图，如图8中(a)图所示，将训练对象(例如，某位患者)第一次采集到的脑部ct图像作为原始样本图像(即ct1)，其中，该原始样本图像复合录入条件，例如，具有的出血类型为脑实质出血，图像没有明显伪影等。基于此，标注人员可采用一些标注工具对b1所指示的脑出血区域分割出来，并进行相应标注。如图8中(b)图所示，原始标注样本图像(即ct1 mask)包括分割处理的脑出血区域。
[0144]
如图8中(c)图所示，将该训练对象(例如，某位患者)第二次采集到的脑部ct图像作为目标样本图像(即ct2)，其中，该目标样本图像复合录入条件，例如，具有的出血类型为脑实质出血，图像没有明显伪影等。基于此，标注人员可采用一些标注工具对b2所指示的脑出血区域分割出来，并进行相应标注。如图8中(d)图所示，目标标注样本图像(即ct2 mask)包括分割处理的脑出血区域。
[0145]
可以理解的是，原始样本图像、原始标注样本图像、目标样本图像和目标标注样本图像均对应于目标图像尺寸。且同一个训练样本图像对来源于同一个训练对象，目标样本图像与原始样本图像之间的采样间隔时间小于或等于预设时间(例如，24小时)，目标样本图像与原始样本图像均为手术之前采集的，而目标样本图像提供的未来血肿形态作为模型训练的目标。本技术所采用的标注工具包含但不仅限于itk
‑
snap，mipav工具以及image j等，此处不做限定。
[0146]
在实际训练中，可以根据需要设置批处理大小，学习率和最大迭代次数。下面将以原始样本图像为例进行介绍，首先将原始样本图像与原始标注样本图像进行拼接之后输入至待训练区域预测模型，通过待训练区域预测模型输出原始样本图像所对应的第二预测掩膜图像，该第二预测掩膜图像即为预测图像。原始样本图像在经过一段时间之后变化为目标样本图像，因此，具有已经过标注的目标标注样本图像，因此，目标标注样本图像即为真实图像。于是，采用如下mse损失函数，计算原始样本图像所对应的第二预测掩膜图像与目标标注样本图像之间的损失值：
[0147][0148]
其中，mse表示真实图像与预测图像之间的损失值，n表示图像中的像素点总数，i表示图像中的第i个像素点，y
i
表示预测图像(即第二预测掩膜图像)中第i个像素点的图像数据，表示真实图像(即目标标注样本图像)中第i个像素点的图像数据。
[0149]
需要说明的是，在实际训练过程中，还可以采用其他类型的损失函数计算图像之间的损失值，例如，交叉熵损失函数、mae或者交叉熵损失等。
[0150]
在得到第二预测掩膜图像以及目标标注样本图像之间的损失值之后，可采用反向传播算法对待训练区域预测模型的模型参数进行更新。当满足模型训练条件时，即可结束训练，并将已更新的模型参数作为区域预测模型的模型参数。可以理解的是，在一个示例中，当损失值收敛到一定程度时，即满足模型训练条件。在另一个示例中，预先设定最大迭代次数，当训练迭代次数达到最大迭代次数时，即满足模型训练条件。
[0151]
其次，本技术实施例中，提供了一种训练得到区域预测模型的方式，通过上述方式，将原始样本图像、原始标注样本图像以及目标标注样本图像作为一个训练样本图像对，
由此对待训练区域预测模型进行训练，训练完成之后，即可实现对待识别图像的预测和分割，并且采用人工智能模型对图像进行预测和分割，从而提升图像预测的准确性。
[0152]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，获取训练样本图像对，具体可以包括：
[0153]
在第一时刻采集训练对象所对应的原始样本图像；
[0154]
获取针对于原始样本图像的分割区域标注结果，以得到训练对象所对应的原始标注样本图像；
[0155]
在第二时刻采集训练对象所对应的目标样本图像，其中，第二时刻与第一时刻之间的时间间隔为目标样本图像与原始样本图像之间的采样间隔时间，且第二时刻出现与第一时刻之后；
[0156]
获取针对于目标样本图像的分割区域标注结果，以得到训练对象所对应的目标标注样本图像；
[0157]
根据原始样本图像、原始标注样本图像以及目标标注样本图像，获取训练样本图像对。
[0158]
本实施例中，介绍了一种采集训练样本图像对的方式。在训练区域预测模型的任务中，需要大量的训练样本图像对，为了便于说明，本技术以一个训练样本图像对为例进行介绍，然而这不应理解为对本技术的限定。
[0159]
具体地，假设预设时间为24小时，在第一时刻采集训练对象(例如，患者)的原始样本图像(例如，脑部ct图像)，然后在第二时刻采集该训练对象所对应的目标样本图像，第二时刻与第一时刻之间的时间间隔即为采样间隔时间，且该采样间隔时间小于或等于预设时间(例如，小于24小时)。基于此，标注人员可对原始样本图像，得到相应的分割区域标注结果(即使用标注工具标注的分割结果)，由此获取原始标注样本图像，原始标注样本图像中被分割的区域可表现为白色区域，剩余区域则表现为黑色区域。类似地，标注人员可对目标样本图像，得到相应的分割区域标注结果(即使用标注工具标注的分割结果)，由此获取目标标注样本图像，目标标注样本图像中被分割的区域可表现为白色区域，剩余区域则表现为黑色区域。
[0160]
再次，本技术实施例中，提供了一种采集训练样本图像对的方式，通过上述方式，在采集用于训练的样本图像时，不仅需要对采集到的原始样本图像和目标样本图像进行标注，而且还需要考虑到两次图像采样的时间，从而使得训练时所采用的数据具有较高的可靠性和准确性，有利于训练得到预测效果更好的模型。
[0161]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，在第一时刻采集训练对象所对应的原始样本图像，具体可以包括：
[0162]
在第一时刻采集训练对象所对应的待处理原始样本图像；
[0163]
对待处理原始样本图像进行裁剪处理，得到原始样本图像；
[0164]
在第二时刻采集训练对象所对应的目标样本图像，具体可以包括：
[0165]
在第二时刻采集训练对象所对应的待处理目标样本图像；
[0166]
对待处理目标样本图像进行裁剪处理，得到目标样本图像；
[0167]
还可以包括：
[0168]
基于图像配准、图像重采样以及图像归一化中的至少一种方式，对原始样本图像
与目标样本图像进行处理。
[0169]
本实施例中，介绍了一种对样本图像进行预处理的方式。在训练区域预测模型的任务中，需要大量的训练样本图像对，为了便于说明，本技术以一个训练样本图像对为例进行介绍，然而这不应理解为对本技术的限定。
[0170]
具体地，以原始样本图像为脑部ct图像作为示例，由前述实施例可知，在第一时刻采集可以训练对象的待处理原始样本图像，其中，待处理原始样本图像是未经过处理的图像，类似地，在第二时刻采集训练对象的待处理目标样本图像，其中，待处理目标样本图像也是未经过处理的图像。基于此，首先，利用图像裁剪方法将待处理原始样本图像以及待处理目标样本图像中除脑组织以外的区域去除，例如，去除头部以外的区域，以及去除头骨部分。
[0171]
在得到原始样本图像和目标样本图像之后，还可以进行一系列处理，例如，图像配准处理、图像重采样处理以及图像归一化处理等，处理完成后，再对处理后的图像进行标注。其中，图像配准处理将原始样本图像与目标样本图像配准至同一角度，使得图中的目标对象(例如，病灶或者血块等)位置对齐。此外，对于ct图像而言，还需要将图像重采样至同一层厚，并通过末端填零和剪裁的方式将图像固定到统一尺寸。为了便于训练和处理，还可以对图像进行标准化，并将其值域映射至一个固定范围(例如，0至1，或者
‑
1或1)。
[0172]
需要说明的是，对图像进行配准的方式包含但不仅限于多视图配准、多时相配准以及多模态配准等，其中，多视图配准表示同一物体在同一场景不同视角下的图像配准，从多个视角捕获相似对象或场景的图像，以便获得扫描对象或场景的更好表示。多时相配准表示同一物体在同一场景同视角不同时间的图像配准，例如，运动追踪，肿瘤生长情况跟踪等。多模态配准常见于医学图像领域，故以多模医学图像配准为例，由于医学成像设备可以提供关于患者不同信息不同形式的图像(ct和mri等)，因此，基于单种或多种模态图像的配准，可划分为单模态和多模态。
[0173]
进一步地，本技术实施例中，提供了一种对样本图像进行预处理的方式，通过上述方式，对采集到的样本图像需要进行一系列预处理，从而提升训练的可靠性。以ct图像为例，由于ct设备不同以及医生操作带来的差异，原始样本图像与目标样本图像可能会有不同的层数、层厚、扫描区域和角度等，因此，需要将原始样本图像与目标样本图像尽可能对齐，并去除非病灶本身发展对图像引起的变化。
[0174]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，区域分割模型为第一三维u型网络3d
‑
unet模型，区域预测模型为第二3d
‑
unet模型；
[0175]
基于待预测图像，通过区域分割模型获取第一掩膜图像，具体可以包括：
[0176]
基于待预测图像，通过第一3d
‑
unet模型所包括的卷积层和池化层进行下采样处理，得到第一特征数据；
[0177]
基于第一特征数据，通过第一3d
‑
unet模型所包括的卷积层和池化层进行上采样处理，得到第一掩膜图像；
[0178]
基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，包括：
[0179]
基于第一掩膜图像以及待预测图像，通过第二3d
‑
unet模型所包括的卷积层和池化层进行下采样处理，得到第二特征数据；
[0180]
基于第二特征数据，通过第二3d
‑
unet模型所包括的卷积层和池化层进行上采样
处理，得到第二掩膜图像。
[0181]
本实施例中，介绍了一种基于三维u型网络(3d
‑
unet)模型对图像进行分割的方式。本技术可采用3d
‑
unet模型作为区域分割模型或者区域预测模型，下面将结合图9介绍对图像进行图像分割和预测的方式。
[0182]
具体地，请参阅图9，图9为本技术实施例中三维u型网络的一个网络结构示意图，3d
‑
unet模型可看作是一个对称结构，3d
‑
unet模型的左侧可视为编码网络，图中所示的编码网络包括3个编码器，每个编码器包括两个卷积层，卷积层后使用批标准化(batch normalization，bn)层和线性整流函数(rectified linear unit，relu)，然后连接一个通过最大池化实现的下采样层。经过最后一个编码器之后得到特征数据。3d
‑
unet模型的右侧可视为解码网络，图中所示的解码网络包括3个解码器，解码器通过上采样操作依次提升特征数据，最后一个解码器输出掩膜图像。
[0183]
3d
‑
unet模型采用了不同的特征融合方式，即3d
‑
unet模型将特征在通道维度上拼接在一起，形成更厚的特征。需要说明的是，3d
‑
unet模型的输入图像和输出图像的尺寸可能不一致，因此，还需要对掩膜图像进行尺寸调整，得到的掩膜图像与待预测图像具有相同的尺寸。
[0184]
在本技术中，区域分割模型可以是第一3d
‑
unet模型，基于图9所示的网络结构，通过第一3d
‑
unet模型所包括的卷积层和池化层，对待预测图像进行下采样处理，得到第一特征数据，再对第一特征数据进行上采样处理，从而得到第一掩膜图像。区域预测模型可以是第二3d
‑
unet模型，基于图9所示的网络结构，通过第二3d
‑
unet模型所包括的卷积层和池化层，对第一掩膜图像以及待预测图像进行下采样处理，得到第二特征数据，再对第二特征数据进行上采样处理，从而得到第二掩膜图像。
[0185]
其次，本技术实施例中，提供了一种基于3d
‑
unet模型对图像进行分割的方式，通过上述方式，利用3d
‑
unet模型能够实现图像的分割，实现网络对图像特征的多尺度特征识别。进一步地，对于医学图像而言，其边界模糊，梯度复杂，需要较多的高分辨率信息用于精准分割，而生物内部结构相对固定，分割目标具有一定规律性，因此，低分辨率信息能够提供该信息用于物体识别。基于此，3d
‑
unet模型结合低分辨信息以及高分辨率信息，能够提升医学图像分割的准确性。最后，三维图像无需单独输入每个切片进行训练，而是可以采用整张图像作为3d
‑
unet的输入。
[0186]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，区域分割模型为第一u型网络unet模型，区域预测模型为第二unet模型；
[0187]
基于待预测图像，通过区域分割模型获取第一掩膜图像，具体可以包括：
[0188]
基于待预测图像，通过第一unet模型所包括的卷积层和池化层进行下采样处理，得到第一特征图；
[0189]
基于第一特征图，通过第一unet模型所包括的卷积层和池化层进行上采样处理，得到第一掩膜图像；
[0190]
基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，包括：
[0191]
基于第一掩膜图像以及待预测图像，通过第二unet模型所包括的卷积层和池化层进行下采样处理，得到第二特征图；
[0192]
基于第二特征图，通过第二unet模型所包括的卷积层和池化层进行上采样处理，
得到第二掩膜图像。
[0193]
本实施例中，介绍了一种基于u型网络(unet)模型对图像进行分割的方式。本技术可采用unet模型作为区域分割模型或者区域预测模型，下面将结合图10介绍对图像进行图像分割和预测的方式。
[0194]
具体地，请参阅图10，图10为本技术实施例中u型网络的一个网络结构示意图，如图所示，unet模型可看作是一个对称结构，unet模型的左侧可视为编码网络，图中所示的编码网络包括4个编码器，每个编码器包括两个卷积层，每个编码器之后连接一个通过最大池化实现的下采样层。经过最后一个编码器之后得到特征图。unet模型的右侧可视为解码网络，图中所示的解码网络包括4个解码器，解码器通过上采样操作依次提升特征图的分辨率，也就是说，将特征图输入至解码网络中的第一个解码器，通过解码网络中的最后一个解码器输出掩膜图像。
[0195]
unet模型采用了不同的特征融合方式，即unet模型将特征在通道维度上拼接在一起，形成更厚的特征。需要说明的是，unet模型的输入图像和输出图像的尺寸可能不一致，因此，还需要对掩膜图像进行尺寸调整，得到的掩膜图像与待预测图像具有相同的尺寸。
[0196]
需要说明的是，区域分割模型或区域预测模型具体可以是深度全卷积网络(fully convolutional networks，fcn)，或者，连接网络(linknet)，或者，高效神经网络(efficient neural network，enet)等。
[0197]
在本技术中，区域分割模型可以是第一unet模型，基于图10所示的网络结构，通过第一unet模型所包括的卷积层和池化层，对待预测图像进行下采样处理，得到第一特征图，再对第一特征图进行上采样处理，从而得到第一掩膜图像。区域预测模型可以是第二unet模型，基于图10所示的网络结构，通过第二unet模型所包括的卷积层和池化层，对第一掩膜图像以及待预测图像进行下采样处理，得到第二特征图，再对第二特征图进行上采样处理，从而得到第二掩膜图像。
[0198]
其次，本技术实施例中，提供了一种基于u
‑
net模型对图像进行分割的方式，通过上述方式，利用u
‑
net模型能够实现图像的分割，实现网络对图像特征的多尺度特征识别。进一步地，对于医学图像而言，其边界模糊，梯度复杂，需要较多的高分辨率信息用于精准分割，而生物内部结构相对固定，分割目标具有一定规律性，因此，低分辨率信息能够提供该信息用于物体识别。基于此，u
‑
net模型结合低分辨信息以及高分辨率信息，能够提升医学图像分割的准确性。
[0199]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，基于待预测图像，通过区域分割模型获取第一掩膜图像之后，还可以包括：
[0200]
基于第一掩膜图像，通过对象分类模型获取类别概率分布；
[0201]
根据类别概率分布确定目标类别；
[0202]
若目标类别用于指示目标对象处于变化状态，则执行基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像的步骤。
[0203]
本实施例中，介绍了一种使用对象分类模型进行图像分析的方式。如前述实施例所描述的内容可知，首先获取待预测图像，然后将待预测图像输入至区域分割模型之后，得到第一掩膜图像。然后基于第一掩膜图像，判断未来一段时间的发展趋势，简而言之，可以将发展趋势看作为一个“二分类”的问题。
[0204]
具体地，将第一掩膜图像输入至训练好的对象分类模型，假设对象分类模型为二分类的网络，则输出的类别概率分布为(a,b)，其中，a表示第一类别的概率，b表示第二类别的概率，且a和b之和为1。在本技术中，第一类别可表示目标对象处于变化状态的类别，第二类别可表示目标对象未处于变化状态的类别。假设a为0.7，b为0.3，则确定目标类别为第一类别，由此，能够判定目标对象在未来一段时间会发生变化，于是接入下一个模型(即区域预测模型)，对第一掩膜图像和待预测图像进行处理。假设a为0.2，b为0.8，则确定目标类别为第二类别，由此，能够判定目标对象在未来一段时间会不会生变化，于是可根据设定的规则，选择是否还需要进行进一步地预测。
[0205]
可以理解的是，本技术采用的对象分类模型可以是密接卷积网络(densely connected convolutional network，densenet)，或者，残差网络(residual network，resnet)，或者，视觉几何组网络(visual geometry group network，vgg network)等，此处不做限定。
[0206]
其次，本技术实施例中，提供了一种使用对象分类模型进行图像分析的方式，通过上述方式，预测第二掩膜图像之前，还可以通过对象分类模型先判断目标对象是否发生变化，如果处于变化状态，则进一步进行图像预测。如果未处于变化状态，则可以选择不进行后续的图像预测，从而节省图像处理资源，也可以选择进行后续的图像处理，从而进一步提升图像预测的准确性。
[0207]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，基于第一掩膜图像，通过对象分类模型获取类别概率分布之前，还可以包括：
[0208]
获取原始样本图像，其中，原始样本图像对应于标注分类结果；
[0209]
获取针对于原始样本图像的分割区域标注结果，以得到训练对象所对应的原始标注样本图像；
[0210]
基于原始标注样本图像，通过待训练对象分类模型获取预测类别概率分布；
[0211]
根据预测类别概率分布以及标注分类结果，对待训练对象分类模型的模型参数进行更新；
[0212]
若满足模型训练条件，则将已更新的模型参数作为对象分类模型的模型参数，以得到对象分类模型。
[0213]
本实施例中，介绍了一种训练得到对象分类模型的方式。在训练对象分类模型的任务中，需要大量的原始标注样本图像及其对应的标注分类结果，为了便于说明，本技术以一个原始标注样本图像对为例进行介绍，然而这不应理解为对本技术的限定。
[0214]
具体地，以原始样本图像为脑部ct图像作为示例，首先将训练对象(例如，某位患者)第一次采集到的脑部ct图像作为原始样本图像(即ct1)，其中，该原始样本图像复合录入条件，例如，具有的出血类型为脑实质出血，图像没有明显伪影等。基于此，标注人员可采用一些标注工具对所指示的脑出血区域分割出来，并进行相应标注，得到原始标注样本图像(即ct1 mask)。将该训练对象(例如，某位患者)第二次采集到的脑部ct图像作为目标样本图像(即ct2)，其中，该目标样本图像复合录入条件，例如，具有的出血类型为脑实质出血，图像没有明显伪影等。标注人员通过观察原始样本图像和目标样本图像中分割对象(例如，血块)的变化情况，标注其对应的分类的结果，例如，如果血块发生变化，则标注分类结果为“1”，如果血块没有发生变化，则标注分类结果为“0”。
[0215]
可以理解的是，目标样本图像与原始样本图像之间的采样间隔时间小于或等于预设时间(例如，24小时)，目标样本图像与原始样本图像均为手术之前采集的，而目标样本图像提供的未来血肿形态作为模型训练的目标。本技术所采用的标注工具包含但不仅限于itk
‑
snap，mipav工具以及image j等，此处不做限定。
[0216]
在实际训练中，可以根据需要设置批处理大小，学习率和最大迭代次数。下面将以原始标注样本图像为例进行介绍，首先将原始标注样本图像输入至待训练对象分类模型，通过待训练对象分类模型输出预测类别概率分布，该预测类别概率分布即为预测值，而标注分类结果即为真实值，于是，采用如下交叉熵损失函数，计算原始样本图像所对应的标注分类结果与预测类别概率分布之间的损失值：
[0217][0218]
其中，loss表示真实值与预测值之间的损失值，y表示真实值(即标注分类结果)，表示预测值(即预测类别概率分布)属于正例的概率，也就是说，如果属于正例，则取值为1，反之，则取值为0。
[0219]
需要说明的是，在实际训练过程中，还可以多分类的交叉熵损失函数，上述示例是以二分类损失函数为例进行介绍的，然而这不应理解为对本技术的限定。
[0220]
在得到标注分类结果与预测类别概率分布之间的损失值之后，可采用反向传播算法对待训练对象分类模型的模型参数进行更新。当满足模型训练条件时，即可结束训练，并将已更新的模型参数作为对象分类模型的模型参数。可以理解的是，在一个示例中，当损失值收敛到一定程度时，即满足模型训练条件。在另一个示例中，预先设定最大迭代次数，当训练迭代次数达到最大迭代次数时，即满足模型训练条件。
[0221]
其次，本技术实施例中，提供了一种训练得到对象分类模型的方式，通过上述方式，将原始标注样本图像和标注分类结果作为一组训练样本，由此对待训练区域预测模型进行训练，训练完成之后，即可实现对待识别图像中目标对象的发展情况进行预测，从而提升图像预测的准确性。
[0222]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，还可以包括：
[0223]
获取待预测对象的对象关联信息，其中，对象关联信息包括年龄、性别、身高、体重以及病史信息中的至少一种；
[0224]
对对象关联信息进行信息特征化处理，得到对象关联特征；
[0225]
基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，具体可以包括：
[0226]
基于第一掩膜图像、待预测图像以及对象关联特征，通过区域预测模型以及全连接层获取第二掩膜图像。
[0227]
本实施例中，介绍了一种增加关联信息用于实现预测的方式。在预测第二掩膜图像之前，还可以获取待预测对象的对象关联信息，这些对象关联信息也可以作为预测第二掩膜图像的依据。
[0228]
具体地，以待预测对象为患者作为示例，获取到的对象关联信息包含但不仅限于年龄、性别、身高、体重以及病史信息。接下来，可基于特征工程对对象关联信息进行处理，
例如，采用独热(one
‑
hot)编码方式对性别进行编码，采用计数编码的方式对身高和体重进行编码等，此处不一一列举。在对象关联信息均进行特征化处理之后，即可得到对象关联特征。基于此，将第一掩膜图像、待预测图像以及对象关联特征输入至区域预测模型以及全连接层，即可输出第二掩膜图像。
[0229]
为了便于理解，请参阅图11，图11为本技术实施例中结合关联信息输出第二掩膜图像的一个示意图，如图所示，将待预测图像和第一掩膜图像输入至区域预测模型，并将对象关联特征输入至全连接层，基于区域预测模型和全连接层输出的结果预测出得到第二掩膜图像。
[0230]
其次，本技术实施例中，提供了一种增加关联信息用于实现预测的方式，通过上述方式，在预测第二掩膜图像的过程中，还可以加入与待预测对象相关的信息，这些对象关联信息能够辅助图像预测，从而提升图像预测的准确性。
[0231]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像之后，还可以包括：
[0232]
对第二掩膜图像以及待预测图像进行图像对齐处理，得到已对齐的第二掩膜图像以及已对齐的待预测图像；
[0233]
将已对齐的第二掩膜图像覆盖于已对齐的待预测图像之上，得到合成图像，其中，已对齐的第二掩膜图像中除去第二分割区域的部分为透明区域；
[0234]
显示合成图像，或，向终端设备发送合成图像，以使终端设备显示合成图像。
[0235]
本实施例中，介绍了一种基于待预测图像生成合成图像的方式。如前述实施例所描述的内容，通过区域预测模型可输出第二掩膜图像，在实际应用中，还可以进一步对第二掩膜图像和待预测图像进行合成，下面将结合示例进行介绍。
[0236]
具体地，首先需要对第二掩膜图像以及待预测图像进行图像对齐处理，对齐处理的方式有多种，例如，在预测图像的右下角打一个标记，假设该标记为星型标记，那么在输出的第二掩膜图像中也可以显示和这个星型标记，将两个星型标记重合在一起之后，即表示第二掩膜图像与待预测图像已对齐，即得到已对齐的第二掩膜图像以及已对齐的待预测图像。可选地，还可以采用其他方式对齐两张图像，例如，采用图像配准方式，或者采用特征点匹配方式等，此处不做赘述。
[0237]
然后，将已对齐的第二掩膜图像覆盖于已对齐的待预测图像之上，得到合成图像。考虑到第二掩膜图像包括非第二分割区域，这部分区域如果覆盖在待预测图像之上，会导致待预测图像中的其他脑组织部分看不到。因此，将已对齐的第二掩膜图像中除去第二分割区域的部分设置为透明，再覆盖于已对齐的待预测图像之上，即可得到合成图像。
[0238]
以待预测图像为脑部ct图像为例，采用本技术提供的图像预测方法，输出第二掩膜图像，经过进一步处理后得到合成图像。如果图像预测装置部署于终端设备，则直接显示合成图像。如果图像预测装置部署于服务器，则将合成图像发送至终端设备，由终端设备进行显示。为了便于理解，请参阅图12，图12为本技术实施例中展示图像预测结果的一个界面示意图，如图所示，左侧为患者甲在2021年3月7日15点24分拍摄的脑部ct图像，右侧则是合成图像，进一步地，还可以显示目标对象(例如，血块)的面积变化结果和位置变化结果等。
[0239]
其次，本技术实施例中，提供了一种基于待预测图像生成合成图像的方式，通过上
述方式，可将输出的第二掩膜图像与待预测图像进行叠加，这样就能够合成一张预测后的图像，便于相关人员更直观地了解目标对象的发展情况，增加方案的实用性。
[0240]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的另一个可选实施例中，根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，具体可以包括：
[0241]
根据第一掩膜图像所包括的第一分割区域，确定第一分割面积以及第一位置信息，其中，第一位置信息表示第一分割位置在第一掩膜图像中所处的位置；
[0242]
根据第二掩膜图像所包括的第二分割区域，确定第二分割面积以及第二位置信息，其中，第二位置信息表示第二分割位置在第二掩膜图像中所处的位置；
[0243]
根据第一分割面积以及第二分割面积，确定面积变化结果；
[0244]
根据第一位置信息以及第二位置信息，确定位置变化结果；
[0245]
根据面积变化结果以及位置变化结果，确定图像预测结果。
[0246]
本实施例中，介绍了一种图像预测结果的生成方式。在得到第一掩膜图像和第二掩膜图像之后，还可以分析两者之间的变化，从而得到面积变化结果和位置变化结果，面积变化结果和位置变化结果均属于图像预测结果。下面将结合两个示例进行介绍。
[0247]
示例性地，第一掩膜图像和第二掩膜图像均具有相同的尺寸(即目标图像尺寸)。基于第一掩膜图像确定第一分割面积，基于第二掩膜图像确定第二分割面积，根据第一分割面积以及第二分割面积，确定面积变化结果。例如，第一分割区域的第一分割面积为150个像素点，第二分割区域的第二分割面积为250个像素点，那么面积变化结果为目标对象(例如，血块)变大100个像素点。又例如，第一分割区域的第一分割面积为250个像素点，第二分割区域的第二分割面积为150个像素点，那么面积变化结果为目标对象(例如，血块)缩小100个像素点。
[0248]
示例性地，第一掩膜图像和第二掩膜图像均具有相同的尺寸(即目标图像尺寸)。基于第一掩膜图像确定第一位置信息，基于第二掩膜图像确定第二位置信息，根据第一位置信息以及第二位置信息，确定位置变化结果。例如，第一位置信息可以是第一分割区域的边缘像素点位置信息，第二位置信息可以是第二分割区域的边缘像素点位置信息。又例如，第一位置信息可以是第一分割区域的中心像素点的位置信息，第二位置信息可以是第二分割区域的中心像素点的位置信息。
[0249]
其次，本技术实施例中，提供了一种图像预测结果的生成方式，通过上述方式，根据第一掩膜图像确定第一分割面积以及第一位置信息，并且根据第二掩膜图像确定第二分割面积以及第二位置信息，由此，能够从面积变化和位置变化共同用于评价图像预测结果，从而提升方案的可行性和可操作性。进一步地，对于脑出血问题，相比于现有方法仅预测出血是否扩大，本技术还可以预测血肿未来的形态，从而提供更加丰富全面的信息，辅助医生制定治疗方案。
[0250]
下面对本技术中的图像预测装置进行详细描述，请参阅图13，图13为本技术实施例中图像预测装置的一个实施例示意图，图像预测装置20包括：
[0251]
获取模块201，用于获取待预测图像，其中，待预测图像对应于目标图像尺寸；
[0252]
获取模块201，还用于基于待预测图像，通过区域分割模型获取第一掩膜图像，其中，第一掩膜图像对应于目标图像尺寸，且第一掩膜图像包括目标对象所对应的第一分割区域；
[0253]
获取模块201，还用于基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像，其中，第二掩膜对应于目标图像尺寸，且第二掩膜图像包括目标对象所对应的第二分割区域；
[0254]
生成模块202，用于根据第一掩膜图像以及第二掩膜图像，生成图像预测结果，其中，图像预测结果用于表示目标对象在预设时间内的变化情况。
[0255]
本技术实施例中，提供了一种图像预测装置，采用上述装置，可利用训练好的区域预测模型来预判目标对象的发展情况，一方面能够提升图像分析的效率，节省时间成本和人力成本，另一方面，基于人工智能模型对图像进行识别，能够在一定程度上提升图像预测的准确性。
[0256]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括训练模块203；
[0257]
获取模块201，还用于基于待预测图像，通过区域分割模型获取第一掩膜图像之前，获取训练样本图像对，其中，训练样本图像对来源于同一个训练对象，训练样本图像对包括原始样本图像以及原始标注样本图像，原始标注样本图像为对原始样本图像进行分割区域标注后得到的图像，原始样本图像与原始标注样本图像均对应于目标图像尺寸；
[0258]
获取模块201，还用于基于原始样本图像，通过待训练区域分割模型获取第一预测掩膜图像；
[0259]
训练模块203，用于根据原始样本图像所对应的第一预测掩膜图像以及原始标注样本图像，对待训练区域分割模型的模型参数进行更新；
[0260]
获取模块201，还用于若满足模型训练条件，则将已更新的模型参数作为区域分割模型的模型参数，以得到区域分割模型。
[0261]
本技术实施例中，提供了一种图像预测装置，采用上述装置，将原始样本图像以及原始标注样本图像作为一个训练样本图像对，由此对待训练区域分割模型进行训练，训练完成之后，即可实现对待识别图像的分割，并且采用人工智能模型对图像进行分割，从而提升图像分割的准确性。
[0262]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括训练模块203；
[0263]
获取模块201，还用于基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像之前，获取训练样本图像对，其中，训练样本图像对来源于同一个训练对象，训练样本图像对包括原始样本图像、原始标注样本图像以及目标标注样本图像，原始标注样本图像为对原始样本图像进行分割区域标注后得到的图像，目标标注样本图像为对目标样本图像进行分割区域标注后得到的图像，目标样本图像与原始样本图像之间的采样间隔时间小于或等于预设时间；
[0264]
获取模块201，还用于基于原始样本图像以及原始标注样本图像，通过待训练区域预测模型获取第二预测掩膜图像；
[0265]
训练模块203，用于根据第二预测掩膜图像以及目标标注样本图像，对待训练区域预测模型的模型参数进行更新；
[0266]
获取模块201，还用于若满足模型训练条件，则将已更新的模型参数作为区域预测模型的模型参数，以得到区域预测模型。
[0267]
本技术实施例中，提供了一种图像预测装置，采用上述装置，将原始样本图像、原始标注样本图像以及目标标注样本图像作为一个训练样本图像对，由此对待训练区域预测模型进行训练，训练完成之后，即可实现对待识别图像的预测和分割，并且采用人工智能模型对图像进行预测和分割，从而提升图像预测的准确性。
[0268]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，
[0269]
获取模块201，具体用于在第一时刻采集训练对象所对应的原始样本图像；
[0270]
获取针对于原始样本图像的分割区域标注结果，以得到训练对象所对应的原始标注样本图像；
[0271]
在第二时刻采集训练对象所对应的目标样本图像，其中，第二时刻与第一时刻之间的时间间隔为目标样本图像与原始样本图像之间的采样间隔时间，且第二时刻出现与第一时刻之后；
[0272]
获取针对于目标样本图像的分割区域标注结果，以得到训练对象所对应的目标标注样本图像；
[0273]
根据原始样本图像、原始标注样本图像以及目标标注样本图像，获取训练样本图像对。
[0274]
本技术实施例中，提供了一种图像预测装置，采用上述装置，在采集用于训练的样本图像时，不仅需要对采集到的原始样本图像和目标样本图像进行标注，而且还需要考虑到两次图像采样的时间，从而使得训练时所采用的数据具有较高的可靠性和准确性，有利于训练得到预测效果更好的模型。
[0275]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括处理模块204；
[0276]
获取模块201，具体用于在第一时刻采集训练对象所对应的待处理原始样本图像；
[0277]
对待处理原始样本图像进行裁剪处理，得到原始样本图像；
[0278]
获取模块201，具体用于在第二时刻采集训练对象所对应的待处理目标样本图像；
[0279]
对待处理目标样本图像进行裁剪处理，得到目标样本图像；
[0280]
处理模块204，用于基于图像配准、图像重采样以及图像归一化中的至少一种方式，对原始样本图像与目标样本图像进行处理。
[0281]
本技术实施例中，提供了一种图像预测装置，采用上述装置，对采集到的样本图像需要进行一系列预处理，从而提升训练的可靠性。以ct图像为例，由于ct设备不同以及医生操作带来的差异，原始样本图像与目标样本图像可能会有不同的层数、层厚、扫描区域和角度等，因此，需要将原始样本图像与目标样本图像尽可能对齐，并去除非病灶本身发展对图像引起的变化。
[0282]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，区域分割模型为第一三维u型网络3d
‑
unet模型，区域预测模型为第二3d
‑
unet模型；
[0283]
获取模块201，具体用于基于待预测图像，通过第一3d
‑
unet模型所包括的卷积层和池化层进行下采样处理，得到第一特征数据；
[0284]
基于第一特征数据，通过第一3d
‑
unet模型所包括的卷积层和池化层进行上采样
处理，得到第一掩膜图像；
[0285]
获取模块201，具体用于基于第一掩膜图像以及待预测图像，通过第二3d
‑
unet模型所包括的卷积层和池化层进行下采样处理，得到第二特征数据；
[0286]
基于第二特征数据，通过第二3d
‑
unet模型所包括的卷积层和池化层进行上采样处理，得到第二掩膜图像。
[0287]
本技术实施例中，提供了一种图像预测装置，采用上述装置，利用3d
‑
unet模型能够实现图像的分割，实现网络对图像特征的多尺度特征识别。进一步地，对于医学图像而言，其边界模糊，梯度复杂，需要较多的高分辨率信息用于精准分割，而生物内部结构相对固定，分割目标具有一定规律性，因此，低分辨率信息能够提供该信息用于物体识别。基于此，3d
‑
unet模型结合低分辨信息以及高分辨率信息，能够提升医学图像分割的准确性。最后，三维图像无需单独输入每个切片进行训练，而是可以采用整张图像作为3d
‑
unet的输入。
[0288]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，区域分割模型为第一u型网络unet模型，区域预测模型为第二unet模型；
[0289]
获取模块201，具体用于基于待预测图像，通过第一unet模型所包括的卷积层和池化层进行下采样处理，得到第一特征图；
[0290]
基于第一特征图，通过第一unet模型所包括的卷积层和池化层进行上采样处理，得到第一掩膜图像；
[0291]
获取模块201，具体用于基于第一掩膜图像以及待预测图像，通过第二unet模型所包括的卷积层和池化层进行下采样处理，得到第二特征图；
[0292]
基于第二特征图，通过第二unet模型所包括的卷积层和池化层进行上采样处理，得到第二掩膜图像。
[0293]
本技术实施例中，提供了一种图像预测装置，采用上述装置，利用u
‑
net模型能够实现图像的分割，实现网络对图像特征的多尺度特征识别。进一步地，对于医学图像而言，其边界模糊，梯度复杂，需要较多的高分辨率信息用于精准分割，而生物内部结构相对固定，分割目标具有一定规律性，因此，低分辨率信息能够提供该信息用于物体识别。基于此，u
‑
net模型结合低分辨信息以及高分辨率信息，能够提升医学图像分割的准确性。
[0294]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括确定模块205；
[0295]
获取模块201，还用于基于待预测图像，通过区域分割模型获取第一掩膜图像之后，基于第一掩膜图像，通过对象分类模型获取类别概率分布；
[0296]
确定模块205，用于根据类别概率分布确定目标类别；
[0297]
获取模块201，还用于若目标类别用于指示目标对象处于变化状态，则执行基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像的步骤。
[0298]
本技术实施例中，提供了一种图像预测装置，采用上述装置，预测第二掩膜图像之前，还可以通过对象分类模型先判断目标对象是否发生变化，如果处于变化状态，则进一步进行图像预测。如果未处于变化状态，则可以选择不进行后续的图像预测，从而节省图像处理资源，也可以选择进行后续的图像处理，从而进一步提升图像预测的准确性。
[0299]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括训练模块203；
[0300]
获取模块201，还用于基于第一掩膜图像，通过对象分类模型获取类别概率分布之前，获取原始样本图像，其中，原始样本图像对应于标注分类结果；
[0301]
获取模块201，还用于获取针对于原始样本图像的分割区域标注结果，以得到训练对象所对应的原始标注样本图像；
[0302]
获取模块201，还用于基于原始标注样本图像，通过待训练对象分类模型获取预测类别概率分布；
[0303]
训练模块203，用于根据预测类别概率分布以及标注分类结果，对待训练对象分类模型的模型参数进行更新；
[0304]
获取模块201，还用于若满足模型训练条件，则将已更新的模型参数作为对象分类模型的模型参数，以得到对象分类模型。
[0305]
本技术实施例中，提供了一种图像预测装置，采用上述装置，将原始标注样本图像和标注分类结果作为一组训练样本，由此对待训练区域预测模型进行训练，训练完成之后，即可实现对待识别图像中目标对象的发展情况进行预测，从而提升图像预测的准确性。
[0306]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括处理模块204；
[0307]
获取模块201，还用于获取待预测对象的对象关联信息，其中，对象关联信息包括年龄、性别、身高、体重以及病史信息中的至少一种；
[0308]
处理模块204，用于对对象关联信息进行信息特征化处理，得到对象关联特征；
[0309]
获取模块201，具体用于基于第一掩膜图像、待预测图像以及对象关联特征，通过区域预测模型以及全连接层获取第二掩膜图像。
[0310]
本技术实施例中，提供了一种图像预测装置，采用上述装置，在预测第二掩膜图像的过程中，还可以加入与待预测对象相关的信息，这些对象关联信息能够辅助图像预测，从而提升图像预测的准确性。
[0311]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，图像预测装置20还包括处理模块204以及显示模块206；
[0312]
处理模块204，用于基于第一掩膜图像以及待预测图像，通过区域预测模型获取第二掩膜图像之后，对第二掩膜图像以及待预测图像进行图像对齐处理，得到已对齐的第二掩膜图像以及已对齐的待预测图像；
[0313]
处理模块204，还用于将已对齐的第二掩膜图像覆盖于已对齐的待预测图像之上，得到合成图像，其中，已对齐的第二掩膜图像中除去第二分割区域的部分为透明区域；
[0314]
显示模块206，用于显示合成图像，或，向终端设备发送合成图像，以使终端设备显示合成图像。
[0315]
本技术实施例中，提供了一种图像预测装置，采用上述装置，可将输出的第二掩膜图像与待预测图像进行叠加，这样就能够合成一张预测后的图像，便于相关人员更直观地了解目标对象的发展情况，增加方案的实用性。
[0316]
可选地，在上述图13所对应的实施例的基础上，本技术实施例提供的图像预测装置20的另一实施例中，
[0317]
生成模块202，具体用于根据第一掩膜图像所包括的第一分割区域，确定第一分割面积以及第一位置信息，其中，第一位置信息表示第一分割位置在第一掩膜图像中所处的位置；
[0318]
根据第二掩膜图像所包括的第二分割区域，确定第二分割面积以及第二位置信息，其中，第二位置信息表示第二分割位置在第二掩膜图像中所处的位置；
[0319]
根据第一分割面积以及第二分割面积，确定面积变化结果；
[0320]
根据第一位置信息以及第二位置信息，确定位置变化结果；
[0321]
根据面积变化结果以及位置变化结果，确定图像预测结果。
[0322]
本技术实施例中，提供了一种图像预测装置，采用上述装置，根据第一掩膜图像确定第一分割面积以及第一位置信息，并且根据第二掩膜图像确定第二分割面积以及第二位置信息，由此，能够从面积变化和位置变化共同用于评价图像预测结果，从而提升方案的可行性和可操作性。进一步地，对于脑出血问题，相比于现有方法仅预测出血是否扩大，本技术还可以预测血肿未来的形态，从而提供更加丰富全面的信息，辅助医生制定治疗方案。
[0323]
本技术实施例还提供了另一种图像预测装置，如图14所示，为了便于说明，仅示出了与本技术实施例相关的部分，具体技术细节未揭示的，请参照本技术实施例方法部分。该计算机设备可以为包括个人电脑、手机、平板电脑、个人数字助理(personal digital assistant，pda)、销售计算机设备(point of sales，pos)、车载电脑等任意计算机设备，以计算机设备为个人电脑为例：
[0324]
图14示出的是与本技术实施例提供的计算机设备相关的个人电脑的部分结构的框图。参考图14，个人电脑包括：射频(radio frequency，rf)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless fidelity，wifi)模块370、处理器380、以及电源390等部件。本领域技术人员可以理解，图14中示出的个人电脑结构并不构成对个人电脑的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0325]
下面结合图14对个人电脑的各个构成部件进行具体的介绍：
[0326]
rf电路310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器380处理；另外，将设计上行的数据发送给基站。通常，rf电路310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier，lna)、双工器等。此外，rf电路310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，gsm)、通用分组无线服务(general packet radio service，gprs)、码分多址(code division multiple access，cdma)、宽带码分多址(wideband code division multiple access,wcdma)、长期演进(long term evolution，lte)、电子邮件、短消息服务(short messaging service，sms)等。
[0327]
存储器320可用于存储软件程序以及模块，处理器380通过运行存储在存储器320的软件程序以及模块，从而执行个人电脑的各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据个人电脑的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器320可以包括高速随机存取存储
器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0328]
输入单元330可用于接收输入的数字或字符信息，以及产生与个人电脑的用户设置以及功能控制有关的键信号输入。具体地，输入单元330可包括触控面板331以及其他输入设备332。触控面板331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器380，并能接收处理器380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。除了触控面板331，输入单元330还可以包括其他输入设备332。具体地，其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0329]
显示单元340可用于显示由用户输入的信息或提供给用户的信息以及个人电脑的各种菜单。显示单元340可包括显示面板341，可选的，可以采用液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light
‑
emitting diode，oled)等形式来配置显示面板341。进一步的，触控面板331可覆盖显示面板341，当触控面板331检测到在其上或附近的触摸操作后，传送给处理器380以确定触摸事件的类型，随后处理器380根据触摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图14中，触控面板331与显示面板341是作为两个独立的部件来实现个人电脑的输入和输入功能，但是在某些实施例中，可以将触控面板331与显示面板341集成而实现个人电脑的输入和输出功能。
[0330]
个人电脑还可包括至少一种传感器350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板341的亮度，接近传感器可在个人电脑移动到耳边时，关闭显示面板341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别个人电脑姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于个人电脑还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0331]
音频电路360、扬声器361，传声器362可提供用户与个人电脑之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器361，由扬声器361转换为声音信号输出；另一方面，传声器362将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出处理器380处理后，经rf电路310以发送给比如另一个人电脑，或者将音频数据输出至存储器320以便进一步处理。
[0332]
wifi属于短距离无线传输技术，个人电脑通过wifi模块370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了wifi模块370，但是可以理解的是，其并不属于个人电脑的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
[0333]
处理器380是个人电脑的控制中心，利用各种接口和线路连接整个个人电脑的各
个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器320内的数据，执行个人电脑的各种功能和处理数据，从而对个人电脑进行整体监控。可选的，处理器380可包括一个或多个处理单元；可选的，处理器380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器380中。
[0334]
个人电脑还包括给各个部件供电的电源390(比如电池)，可选的，电源可以通过电源管理系统与处理器380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0335]
尽管未示出，个人电脑还可以包括摄像头、蓝牙模块等，在此不再赘述。
[0336]
上述实施例中由计算机设备所执行的步骤可以基于该图14所示的计算机设备结构。
[0337]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如前述各个实施例描述的方法。
[0338]
本技术实施例中还提供一种包括程序的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例描述的方法。
[0339]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0340]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0341]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0342]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0343]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0344]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前
述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。