异常预测方法、装置、计算机设备、存储介质与流程

1.本技术涉及影像组学技术领域，特别是涉及一种异常预测方法、装置、计算机设备、存储介质。


背景技术：

2.近年来影像组学方法通过从影像中提取海量特征来量化重大疾病，可以有效解决重大疾病中难以定量评估的问题，具有重要的临床价值。影像组学技术来源于计算机辅助诊断(computer aided diagnosis，cad)，目前已经发展成为融合影像、基因、临床等信息的辅助诊断、分析和预测的方法。
3.但是，传统的影像组学的临床以用有较多的局限：影像数据的获取大多仅限于影像数据(ct，mri，pet，超声等)，并且传统的人工提取特征方法通常只能提取有限的浅层特征(肿瘤直方图强度，肿瘤形状特征，纹理特征和小波特征等)，这就导致目前用于影像组学的医疗数据不够完善，从而导致无法做出精确的异常预测。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高异常预测精度的异常预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种异常预测方法。所述方法包括：
6.获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；
7.对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；
8.基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；
9.将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
10.在其中一个实施例中，对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征，包括：
11.基于非图像信息和多模态图像获取浅层特征信息，以及基于多模态图像获取深层特征信息；
12.整合浅层特征信息和深层特征信息，得到特征集合，并通过特征筛选模型处理特征集合，得到目标部位对应的目标特征。
13.在其中一个实施例中，基于非图像信息和多模态图像获取浅层特征信息，包括：
14.对非图像信息进行数值化处理，得到第一浅层特征；
15.通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像；
16.对目标部位图像进行特征提取，得到第二浅层特征；
17.根据第一浅层特征和第二浅层特征得到浅层特征信息。
18.在其中一个实施例中，基于多模态图像获取深层特征信息，包括：
19.基于深度卷积神经网络搭建图像特征提取模型；
20.采用图像特征提取模型处理目标部位图像，得到深层特征信息。
21.在其中一个实施例中，通过特征筛选模型处理特征集合，得到目标部位对应的目标特征，包括：
22.将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；
23.将评价分数满足预设条件的特征信息作为有效特征信息；
24.整合全部有效特征信息得到目标部位对应的目标特征。
25.在其中一个实施例中，基于与目标部位对应的异常类型，获取目标预测模型，包括：
26.基于与目标部位对应的异常类型，选择与目标对象对应的预测类型；
27.根据异常类型和预测类型确定模型类型；
28.基于异常类型、预测类型和模型类型获取目标预测模型。
29.在其中一个实施例中，基于异常类型、预测类型和模型类型获取目标预测模型，包括：
30.根据模型类型选择初始机器学习模型；
31.根据异常类型和预测类型获取目标部位的异常类型对应的训练集；
32.通过目标部位的异常类型对应的训练集对初始机器学习模型进行训练，得到目标预测模型。
33.第二方面，本技术还提供了一种异常预测装置。所述装置包括：
34.信息获取模块，用于获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；
35.特征提取模块，用于对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；
36.模型选择模块，用于基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；
37.异常预测模块，用于将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
38.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
39.获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；
40.对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；
41.基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；
42.将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
43.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
44.获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；
45.对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；
46.基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；
47.将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
48.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
49.获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；
50.对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；
51.基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；
52.将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
53.上述异常预测方法、装置、计算机设备、存储介质和计算机程序产品，通过获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；基于与目标部位对应的异常类型，并根据异常类型选择合适的目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。能够从非图像信息、多模态图像等多个维度全面准确的提取目标部位的目标特征，进而再选择与目标部位的异常类型相匹配的目标预测模型，对目标特征进行异常预测，可以实现对不同异常类别的精准预测，大大提高了异常预测准确性。
附图说明
54.图1为一个实施例中异常预测方法的流程示意图；
55.图2为一个实施例中获取浅层特征信息的流程示意图；
56.图3为一个实施例中获取目标预测模型的流程示意图；
57.图4为一个实施例中针对肿瘤病例的异常预测方法的流程示意图；
58.图5为一个实施例中确定roi的示意图；
59.图6为一个实施例中基于roi提取浅层特征的示意图；
60.图7为一个实施例中筛选有效特征的示意图；
61.图8为一个实施例中生成预测结果的示意图；
62.图9为一个实施例中异常预测装置的结构框图；
63.图10为一个实施例中计算机设备的内部结构图。
具体实施方式
64.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
65.在一个实施例中，如图1所示，提供了一种异常预测方法，在传统的影像组学基础上，结合非图像信息和医学影像数据共同解决重大疾病中难以定量评估的问题。本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该计算机设备具体可以是终端或服务器。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备、便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能医用设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
66.步骤102，获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像。
67.其中，目标对象是指需要进行医疗检查的病例，目标部位是指病例需要进行医疗检查的器官、身体部位或身体区域，包括但不限于人体或动物的脑部、心脏、骨骼、血管、肝脏、肾脏、胆囊、胰腺、甲状腺、泌尿系统、子宫及附件、牙齿等。非图像信息是指医疗检查相关的文本数据，例如非图像信息可以包含临床病历信息、基因数据、病理数据等。多模态图像是指多种医学影像数据的集合，包括功能影像与结构影像，例如ct(computed tomography，电子计算机断层扫描)，mri(magnetic resonance imaging，磁共振成像)，pet(positron emission computed tomography，正电子发射型计算机断层显像)，超声影像等。
68.可选的，对于需要进行医学异常预测的目标对象，对目标对象的目标部位进行医疗检查，计算机设备结合当前目标对象的目标部位的历史医疗信息，将当前医疗检查和历史医疗信息中的文本数据进行整理，得到非图像信息，将当前医疗检查和历史医疗信息中的图像数据进行整理，得到多模态图像。通常情况下，对一个病例进行医疗检查不能只选用单一的医学影像，选择两种以上的医学影像数据(即多模态图像)，能够更全面的获取病例的病例特征。
69.步骤104，对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征。
70.可选的，计算机设备分别对非图像信息和多模态图像分别进行特征提取，对非图像信息进行特征提取，能够根据目标部位的文本信息得到病理特征，对多模态图像进行特征提取，能够根据目标对象的医学影像得到病理特征，通过两个维度能够得到目标部位的准确全面的病理特征(即目标特征)。
71.步骤106，基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到。
72.其中，异常类型是指目标部位的病变类型，例如，异常类型可以是肿瘤或肌肉撕裂或骨折等。
73.可选的，计算机设备基于目标部位的非图像信息和多模态图像，确定目标部位的病症，从而确定目标部位对应的异常类型，并选择和当前异常类型匹配的目标预测模型。通
常情况下，不同的异常类型对应不同的预测模型；根据不同的预测结果需求，一个异常类型也可以对应多个预测模型，每个预测模型输出的异常预测结果的类型不同。
74.步骤108，将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
75.其中，异常预测结果是指针对当前目标部位，得出的医学诊断结果，医学诊断结果包括但不限于辅助分级、疗效评估、预后预测等。例如，当目标部位是一名病人的肿瘤区域时，辅助分级可以具体分为肿瘤分类分级、癌症转移分级，疗效评估可以具体分为辅助疗效评估、避免过度医疗，预后预测可以具体分为患者总生存期、患者异常复发等辅助决策报告信息。
76.在一些实施例中，计算机设备将目标部位对应的目标特征输入选择的目标预测模型中，目标预测模型处理目标特征后，输出异常预测结果。该异常预测结果可以辅助医疗决策。
77.上述异常预测方法中，通过获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；基于与目标部位对应的异常类型，并根据异常类型选择合适的目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。能够从非图像信息、多模态图像等多个维度全面准确的提取目标部位的目标特征，进而再选择与目标部位的异常类型相匹配的目标预测模型，对目标特征进行异常预测，可以实现对不同异常类别的精准预测，大大提高了异常预测准确性。
78.在一个实施例中，对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征，包括：基于非图像信息和多模态图像获取浅层特征信息，以及基于多模态图像获取深层特征信息；整合浅层特征信息和深层特征信息，得到特征集合，并通过特征筛选模型处理特征集合，得到目标部位对应的目标特征。
79.可选的，计算机设备从非图像信息中筛选出病理相关有效信息，将病理相关的有效信息作为非图像信息的浅层特征。对多模态图像采用传统影像组学提取多模态图像的浅层特征，例如，可以采用pyradiomics提取多模态图像的浅层特征。然后整合非图像信息的浅层特征和多模态图像的浅层特征得到浅层特征信息，也就是将非图像信息的浅层特征和多模态图像的浅层特征共同作为浅层特征信息。对多模态图像采用dcnn(深度卷积神经网络)深度学习模型提取多模态图像的深层特征，作为深层特征信息。dcnn深度学习模型是采用特定训练集训练得到的特征提取模型。
80.进一步的，计算机设备针对浅层特征信息和深层特征信息的特征集合，通过特征筛选模型去除特征集合中和当前异常类型相关度较低的特征，特征集合中剩下的特征作为目标部位对应的目标特征。
81.本实施例中，通过基于非图像信息和多模态图像获取浅层特征信息，以及基于多模态图像获取深层特征信息；整合浅层特征信息和深层特征信息，得到特征集合，并通过特征筛选模型处理特征集合，得到目标部位对应的目标特征。能够保证目标特征的全面性，从而提高根据目标特征进行异常预测的精确度。
82.在一个实施例中，如图2所示，基于非图像信息和多模态图像获取浅层特征信息，包括：
83.步骤202，对非图像信息进行数值化处理，得到第一浅层特征。
84.其中，数值化处理是指将复杂多变的信息转变为可以度量的数字、数据。
85.可选的，计算机设备从非图像信息中去除无效信息，筛选出病理相关有效信息，并对有效信息进行数值化处理，得到第一浅层特征。
86.其中，无效信息是指和病理不相关的信息，例如病例的个人信息、病例的地理位置信息、病例的家属信息等。
87.步骤204，通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像。
88.可选的，计算机设备对多模态图像中的每一张图像进行roi(region of interest，感兴趣区域)分割，得到和异常类型相关的感兴趣区域，将一个或多个感兴趣区域作为多模态图像对应的目标部位图像。
89.其中，roi分割可以采用基于深度学习的自动分割模型，2d或者3d分割模型根据图像数据而定，不局限于u-net等常用自动分割模型框架。
90.步骤206，对目标部位图像进行特征提取，得到第二浅层特征。
91.可选的，计算机设备对目标部位图像提取传统影像组学常用的浅层特征，如非纹理特征、一阶纹理特征、二阶纹理特征、融合和分形特征等，作为第二浅层特征。
92.步骤208，根据第一浅层特征和第二浅层特征得到浅层特征信息。
93.可选的，计算机设备将第一浅层特征和第二浅层特征共同作为浅层特征信息。
94.本实施例中，通过对非图像信息进行数值化处理，得到第一浅层特征；通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像；对目标部位图像进行特征提取，得到第二浅层特征；根据第一浅层特征和第二浅层特征得到浅层特征信息。能够得到目标部位全面准确的浅层特征。
95.在一个实施例中，基于多模态图像获取深层特征信息，包括：基于深度卷积神经网络搭建图像特征提取模型；采用图像特征提取模型处理目标部位图像，得到深层特征信息。
96.可选的，计算机设备搭建基于dcnn的图像特征提取模型，采用图像特征提取模型自动提取图像数据中的深层特征。dcnn可以但不限于选择vgg16或者resnet53，可根据不同的多模态图像自定义dcnn的图像特征提取模型结构。
97.本实施例中，通过基于深度卷积神经网络搭建图像特征提取模型；采用图像特征提取模型处理目标部位图像，得到深层特征信息。能够得到目标部位全面准确的深层特征。
98.在一个实施例中，通过特征筛选模型处理特征集合，得到目标部位对应的目标特征，包括：将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；将评价分数满足预设条件的特征信息作为有效特征信息；整合全部有效特征信息得到目标部位对应的目标特征。
99.可选的，根据浅层特征信息和深层特征信息得到的特征集合中，包含了大量的特征，这些特征和当前目标部位的异常类型的相关程度各不相同，存在一些相关度很低的冗余特征，冗余特征需要去除，因此计算机设备根据特征的稳定程度或相关性制定一个评分标准，以此评分标准构建一个特征筛选模型对特征集合进行筛选。其中，特征筛选模型可以
但不限于选择lasso cox回归模型、最大相关最小冗余算法(mrmr)、relief特征选择算法(relevant features)、主成分分析法(pca)等，具体根据特征集合的特征量，异常类型的不同，选用不同的特征筛选模型。
100.在一个可行的实施方式中，计算机设备采用lasso cox回归模型在消除冗余特征时，调节模型中函数的阈值，可以通过冗余相关矩阵和特征集合中的特征进行计算相关度，相关度高于预设值即为冗余特征，通过去除这些高度相关的冗余特征，筛选出“非冗余”的有效特征信息，作为目标特征。其中，相关度就相当于评价分数。
101.本实施例中，通过将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；将评价分数满足预设条件的特征信息作为有效特征信息；整合全部有效特征信息得到目标部位对应的目标特征。能够去除冗余特征，只保留有效特征作为目标特征，根据目标特征进行异常预测，提高了异常预测的精确度。
102.在一个实施例中，如图3所示，基于与目标部位对应的异常类型，获取目标预测模型，包括：
103.步骤302，基于与目标部位对应的异常类型，选择与目标对象对应的预测类型。
104.其中，预测类型是指目标预测模型的预测任务类别，不同的预测类型对应的模型输出不同的结果，预测类型包括但不限于辅助分级、疗效评估、预后预测等。例如，当异常类型是肿瘤时，辅助分级可以具体分为肿瘤分类分级、癌症转移分级，疗效评估可以具体分为辅助疗效评估、避免过度医疗，预后预测可以具体分为患者总生存期、患者异常复发等辅助决策报告信息。
105.可选的，计算机设备确定目标部位的异常类型后，根据需要输出预测结果的类型，确定一个与异常类型对应的预测类型。一种异常类型可以存在多个与其对应的预测类型。
106.步骤304，根据异常类型和预测类型确定模型类型。
107.其中，模型类型是指机器学习模型的类型。
108.可选的，目标预测模型可以是任何一种适用类型的机器学习模型。异常类型作为机器学习模型的输入，预测类型作为机器学习模型的输出，选择合适的机器学习模型的模型类型。例如，模型类型可以包括监督学习和无监督学习两大类。其中，监督学习可以分成分类模型和回归模型，分类模型还可以分成线性分类器(如lr)、支持向量机(svm)、朴素贝叶斯(nb)、k近邻(knn)、决策树(dt)、集成模型(rf/gdbt等)，回归模型还可以分成线性回归、支持向量机(svm)、k近邻(knn)、回归树(dt)、集成模型(extratrees/rf/gdbt)。无监督学习可以分成数据聚类(k-means)/数据降维(pca)等等。
109.步骤306，基于异常类型、预测类型和模型类型获取目标预测模型。
110.可选的，计算机设备确定目标预测模型的初始机器学习模型之后，根据异常类型和预测类型，从现有的医学数据、病例数据中获取数据构建训练集，采用训练集反复训练初始机器学习模型，最终得到目标预测模型。
111.在一个可行的实施方式中，若计算机设备中已存在多种预先训练完成的预测模型，则根据当前的异常类型和预测类型，直接从已有预测模型中挑选输入输出都适合的模型，作为目标预测模型。
112.本实施例中，基于与目标部位对应的异常类型，选择与目标对象对应的预测类型；根据异常类型和预测类型确定模型类型；基于异常类型、预测类型和模型类型获取目标预
测模型。能够根据不同的预测需求(即异常类型和预测类型)，选择不同的目标预测模型进行异常预测，提高了异常预测的精确度。
113.在一个实施例中，基于异常类型、预测类型和模型类型获取目标预测模型，包括：根据模型类型选择初始机器学习模型；根据异常类型和预测类型获取目标部位的异常类型对应的训练集；通过目标部位的异常类型对应的训练集对初始机器学习模型进行训练，得到目标预测模型。
114.可选的，目前有许多机器学习的方法可被用于建立基于影像组学特征的预测和分类模型。可根据病例的特点(即异常类型)和所需功能(即预测类型)搭建不同的机器学习模型。在影像组学建模中，logistic回归模型因其简单易行，成为最受欢迎且常用的监督分类器；另外，常用的机器学习模型(监督或者无监督)还有随机森林、支持向量机(svm)、人工神经网络(ann)、聚类分析、留一法交叉验证、自举法等。计算机设备从现有的医学数据、病例数据中获取数据构建训练集，采用训练集反复训练初始机器学习模型，最终得到目标预测模型。
115.在一个可行的实施方式中，计算机设备在得到目标预测模型之后，需要进行影像组学的质量评估。参考影像组学质量评分(radionics quality score，rqs)及其标准,对目标预测模型的所有方面都需要进行全面和清晰的评估和打分，以尽量减少偏差，从而提高目标预测模型的实用性。
116.在一个实施例中，一种异常预测方法，包括：
117.获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像。
118.对非图像信息进行数值化处理，得到第一浅层特征；通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像；对目标部位图像进行特征提取，得到第二浅层特征；根据第一浅层特征和第二浅层特征得到浅层特征信息。
119.基于深度卷积神经网络搭建图像特征提取模型；采用图像特征提取模型处理目标部位图像，得到深层特征信息。
120.整合浅层特征信息和深层特征信息，得到特征集合，并将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；将评价分数满足预设条件的特征信息作为有效特征信息；整合全部有效特征信息得到目标部位对应的目标特征。
121.基于与目标部位对应的异常类型，选择与目标对象对应的预测类型；根据异常类型和预测类型确定模型类型；根据模型类型选择初始机器学习模型；根据异常类型和预测类型获取目标部位的异常类型对应的训练集；通过目标部位的异常类型对应的训练集对初始机器学习模型进行训练，得到目标预测模型。
122.将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
123.本实施例中，能够从非图像信息、多模态图像等多个维度全面准确的提取目标部位的目标特征，进而再选择与目标部位的异常类型相匹配的目标预测模型，对目标特征进行异常预测，可以实现对不同异常类别的精准预测，大大提高了异常预测准确性。
124.在一个实施例中，如图4所示，一种异常预测方法，以应用于肿瘤病例为例，方法包
括：
125.1.病例筛选，确定目标对象为肿瘤病例，确定目标部位为病例的肿瘤位置。
126.准备图像信息：肿瘤病例的ct，mri(t1，t1c，t2，t2flair)，并对其进行预处理。
127.准备非图像信息：肿瘤病例的性别，年龄，kps(karnofsky performance score)，人种，肿瘤的位置，是否手术，是否术后化疗，术后化疗时间，放疗技术(3d-crt，imrt或者其他)，存活时间等等信息。
128.2.特征提取
129.a)勾画roi(靶区与危及器官的区域)
130.如图5所示，利用ai算法(deep convolutional neural network，dcnn)在医学图像(ct和/或者mri)上自动勾画出脑胶质瘤靶区(和/或者危及器官)；或者利用其他传统半自动或者人工的方法勾画出脑胶质瘤靶区(和/或者危及器官)。
131.b)特征提取
132.1)浅层特征提取
133.数值化非图像信息：性别(例如，[0：男性，1：女性])，年龄，kps(karnofsky performance score)，人种，肿瘤的分级，是否手术，是否术后化疗，术后化疗时间，放疗技术(3d-crt，imrt或者其他)，存活时间等信息，并以csv格式保存。
[0134]
提取浅层特征：如图6所示，从裁剪后的roi中提取(比如使用pyradiomics库)浅层特征：几何特征，强度特征，纹理特征等等，并且将这些浅层特征数值化，以csv格式保存。
[0135]
2)深层特征提取
[0136]
利用dcnn网络从裁剪后的roi中提取更深层的特征(这些特征一般不为人知)，并且将这些深层特征数值化，以csv格式保存。
[0137]
最后将所有提取的特征整理合并为特征集合。
[0138]
3.特征筛选
[0139]
利用lasso cox回归模型(或者最大相关最小冗余(mrmr)、relief、主成分分析法(pca))从上述特征集合中筛选出有效特征，例如：强度，纹理，形状等以及其他特征，如图7所示。
[0140]
4.机器学习模型
[0141]
选择生存期作为预测类型，当前肿瘤病例的肿瘤类型就是异常类型。利用历史肿瘤病例相关的特征(作为x)和历史肿瘤病例的生存时间(作为y)训练一个机器学习模型(例如：logistic回归模型，随机森林、支持向量机svm、人工神经网络ann等)。之后通过影像组学质量评分判断训练完成后的模型是否满足需求。
[0142]
5.模型预测结果(脑转移瘤的生存期)
[0143]
将当前肿瘤病理的有效特征输入到训练完成的模型中进行评估，得到如图8所示的生存期预测结果。
[0144]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这
些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0145]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的异常预测方法的异常预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个异常预测装置实施例中的具体限定可以参见上文中对于异常预测方法的限定，在此不再赘述。
[0146]
在一个实施例中，如图9所示，提供了一种异常预测装置900，包括：信息获取模块901、特征提取模块902、模型选择模块903和异常预测模块904，其中：
[0147]
信息获取模块901，用于获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；
[0148]
特征提取模块902，用于对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；
[0149]
模型选择模块903，用于基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；
[0150]
异常预测模块904，用于将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
[0151]
在一个实施例中，特征提取模块902还用于基于非图像信息和多模态图像获取浅层特征信息，以及基于多模态图像获取深层特征信息；整合浅层特征信息和深层特征信息，得到特征集合，并通过特征筛选模型处理特征集合，得到目标部位对应的目标特征。
[0152]
在一个实施例中，特征提取模块902还用于对非图像信息进行数值化处理，得到第一浅层特征；通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像；对目标部位图像进行特征提取，得到第二浅层特征；根据第一浅层特征和第二浅层特征得到浅层特征信息。
[0153]
在一个实施例中，特征提取模块902还用于基于深度卷积神经网络搭建图像特征提取模型；采用图像特征提取模型处理目标部位图像，得到深层特征信息。
[0154]
在一个实施例中，特征提取模块902还用于将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；将评价分数满足预设条件的特征信息作为有效特征信息；整合全部有效特征信息得到目标部位对应的目标特征。
[0155]
在一个实施例中，模型选择模块903还用于基于与目标部位对应的异常类型，选择与目标对象对应的预测类型；根据异常类型和预测类型确定模型类型；基于异常类型、预测类型和模型类型获取目标预测模型。
[0156]
在一个实施例中，模型选择模块903，用于根据模型类型选择初始机器学习模型；根据异常类型和预测类型获取目标部位的异常类型对应的训练集；通过目标部位的异常类型对应的训练集对初始机器学习模型进行训练，得到目标预测模型。
[0157]
上述异常预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0158]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单
元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种异常预测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0159]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0160]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
[0161]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于非图像信息和多模态图像获取浅层特征信息，以及基于多模态图像获取深层特征信息；整合浅层特征信息和深层特征信息，得到特征集合，并通过特征筛选模型处理特征集合，得到目标部位对应的目标特征。
[0162]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对非图像信息进行数值化处理，得到第一浅层特征；通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像；对目标部位图像进行特征提取，得到第二浅层特征；根据第一浅层特征和第二浅层特征得到浅层特征信息。
[0163]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于深度卷积神经网络搭建图像特征提取模型；采用图像特征提取模型处理目标部位图像，得到深层特征信息。
[0164]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；将评价分数满足预设条件的特征信息作为有效特征信息；整合全部有效特征信息得到目标部位对应的目标特征。
[0165]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于与目标部位对应的异常类型，选择与目标对象对应的预测类型；根据异常类型和预测类型确定模型类型；基于异常类型、预测类型和模型类型获取目标预测模型。
[0166]
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据模型类型选择初始机器学习模型；根据异常类型和预测类型获取目标部位的异常类型对应的训练集；通过目标部位的异常类型对应的训练集对初始机器学习模型进行训练，得到目标预测模型。
[0167]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；将目标部位对应的目标特征输入目标预测模型，得到与目标部位对应的异常预测结果。
[0168]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于非图像信息和多模态图像获取浅层特征信息，以及基于多模态图像获取深层特征信息；整合浅层特征信息和深层特征信息，得到特征集合，并通过特征筛选模型处理特征集合，得到目标部位对应的目标特征。
[0169]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对非图像信息进行数值化处理，得到第一浅层特征；通过自动分割模型识别并分割多模态图像中的感兴趣区域，将多模态图像中的感兴趣区域作为多模态图像对应的目标部位图像；对目标部位图像进行特征提取，得到第二浅层特征；根据第一浅层特征和第二浅层特征得到浅层特征信息。
[0170]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于深度卷积神经网络搭建图像特征提取模型；采用图像特征提取模型处理目标部位图像，得到深层特征信息。
[0171]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将特征集合中的每一个特征信息输入特征筛选模型，得到每一个特征信息对应的评价分数；将评价分数满足预设条件的特征信息作为有效特征信息；整合全部有效特征信息得到目标部位对应的目标特征。
[0172]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于与目标部位对应的异常类型，选择与目标对象对应的预测类型；根据异常类型和预测类型确定模型类型；基于异常类型、预测类型和模型类型获取目标预测模型。
[0173]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据模型类型选择初始机器学习模型；根据异常类型和预测类型获取目标部位的异常类型对应的训练集；通过目标部位的异常类型对应的训练集对初始机器学习模型进行训练，得到目标预测模型。
[0174]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0175]
获取与目标对象的目标部位相关的非图像信息和多模态图像，非图像信息包括目标部位的检查信息，多模态图像包括多张医学影像；对非图像信息和多模态图像分别进行特征提取，得到目标部位对应的目标特征；基于与目标部位对应的异常类型，获取目标预测模型，目标预测模型是采用目标部位的异常类型对应的训练集训练机器学习模型得到；将
access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0184]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0185]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。