急性加重的预测方法及装置、电子设备和存储介质

1.本公开涉及急性加重的预测技术领域，尤其涉及一种急性加重的预测方法及装置、电子设备和存储介质。


背景技术：

2.慢阻肺急性加重(aecopd)是慢阻肺临床过程中的重要事件，也是慢阻肺患者健康状况和预后的主要决定因素。慢阻肺患者的肺功能会随着时间不断下降，而每一次急性发作则会加速这一过程，导致肺功能进一步下降，生活质量变差，死亡率变高。
3.临床上aecopd是一种急性起病的过程，慢阻肺患者呼吸系统症状出现急性加重(典型表现为呼吸困难加重、咳嗽加剧、痰量增多和/或痰液呈脓性)，超出日常的变异，并且导致需要改变药物治疗。aecopd是一种临床除外诊断，临床和/或实验室检查没有发现其他可以解释的特异疾病(例如：肺炎、充血性心力衰竭、气胸、胸腔积液、肺栓塞和心律失常等)。通过治疗，呼吸系统症状的恶化可能改善，但也许不能改善，典型的症状将在几天至几周内缓解。


技术实现要素：

4.本公开提出了一种急性加重的预测方法及装置、电子设备和存储介质技术方案。
5.根据本公开的一方面，提供了一种急性加重的预测方法，包括：
6.获取多个患者在第一时间及第二时间对应的急性加重次数、在所述第一时间的临床文本数据以及/或肺图像；
7.根据所述第一时间及第二时间对应的急性加重次数，确定训练标签；
8.利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练；
9.基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测。
10.优选地，所述根据所述第一时间及第二时间对应的急性加重次数，确定训练标签的方法，包括：
11.若所述第二时间对应的急性加重次数大于所述第一时间对应的急性加重次数，则所述训练标签为急性加重；否则，所述训练标签为非急性加重。
12.优选地，所述利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练的方法，包括：
13.分别根据所述临床文本数据以及/或所述肺图像得到对应的第一局部特征及第一全局特征；
14.利用所述第一局部特征及第一全局特征及对应的所述训练标签对预设分类器进行训练；
15.以及/或，
16.所述基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测的方法，包括：
17.根据所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二局部特征及第二全局特征；
18.基于训练的所述预设分类器，利用所述第二局部特征及第二全局特征，完成所述待预测患者在第二时间的急性加重预测。
19.优选地，所述利用所述第一局部特征及第一全局特征及对应的所述训练标签对预设分类器进行训练的方法，包括：
20.对所述第一局部特征及第一全局特征进行融合操作，得到第一融合特征；
21.利用所述第一融合特征及对应的所述训练标签对预设分类器进行训练；
22.以及/或，
23.所述利用所述第二局部特征及第二全局特征，完成所述待预测患者在第二时间的急性加重预测的方法，包括：
24.对所述第二局部特征及第二全局特征进行融合操作，得到第二融合特征；
25.基于训练的所述预设分类器，利用所述第二融合特征，完成所述待预测患者在第二时间的急性加重预测。
26.优选地，所述根据所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二局部特征及第二全局特征的方法，包括：
27.基于所述第一局部特征，在所述待预测患者在第一时间的临床文本数据以及/或肺图像对应的特征中，选择与所述第一局部特征相同的特征；
28.以及，获取根据所述临床文本数据以及/或所述肺图像得到对应的第一全局特征的模型；
29.基于所述模型，利用所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二全局特征。
30.优选地，所述的预测方法，还包括：在所述获取待预测患者对应的临床文本数据以及/或肺图像对应的影像特征后，对所述患者进行慢性阻塞性肺病进行识别或分级；
31.若所述患者患有所述慢性阻塞性肺病或所述患者的慢性阻塞性肺病达到设定分级，则对所述待预测患者进行预测。
32.优选地，所述对所述患者进行慢性阻塞性肺病进行识别或分级的方法，包括：
33.确定所述待预测患者对应的临床文本数据是否包括肺功能数据；
34.若包括，基于所述肺功能数据对所述患者进行慢性阻塞性肺病进行识别或分级；
35.否则，获取所述患者的肺图像，利用所述肺图像对所述患者进行慢性阻塞性肺病进行识别或分级。
36.根据本公开的一方面，提供了一种急性加重的预测装置，包括：
37.获取单元，用于获取多个患者在第一时间及第二时间对应的急性加重次数、在所述第一时间的临床文本数据以及/或肺图像；
38.确定单元，用于根据所述第一时间及第二时间对应的急性加重次数，确定训练标签；
39.训练单元，用于利用所述临床文本数据以及/或所述肺图像及对应的所述训练标
签对预设分类器进行训练；
40.预测单元，用于基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测。
41.根据本公开的一方面，提供了一种电子设备，包括：
42.处理器；
43.用于存储处理器可执行指令的存储器；
44.其中，所述处理器被配置为：执行上述急性加重的预测方法。
45.根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述急性加重的预测方法。
46.在本公开实施例中，根据所述第一时间及第二时间对应的急性加重次数，确定训练标签；利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练；基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测。以解决目前急性发作则会加速这一过程，导致肺功能进一步下降，生活质量变差，死亡率变高的问题。
47.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
48.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
49.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
50.图1示出根据本公开实施例的急性加重的预测方法的流程图；
51.图2示出根据本公开实施例的构建卷积网络结构示意图；
52.图3示出根据本公开实施例的图卷积网络结构示意图；
53.图4示出根据本公开实施例提出的三维差值矩阵进行卷积操作的卷积网络结构示意图；
54.图5示出根据本公开实施例的基于深度学习的分类模型；
55.图6示出示出根据本公开实施例的预设分类模型对应的网络结构示意图；
56.图7是根据一示例性实施例示出的一种电子设备800的框图；
57.图8是根据一示例性实施例示出的一种电子设备1900的框图。
具体实施方式
58.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
59.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
60.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关
系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
61.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
62.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
63.此外，本公开还提供了急性加重的预测装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种急性加重的预测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
64.图1示出根据本公开实施例的急性加重的预测方法的流程图，如图1所示，所述急性加重的预测方法，包括：步骤s101：获取多个患者在第一时间及第二时间对应的急性加重次数、在所述第一时间的临床文本数据以及/或肺图像；步骤s102：根据所述第一时间及第二时间对应的急性加重次数，确定训练标签；步骤s103：利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练；步骤s104：基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测。以解决目前急性发作则会加速这一过程，导致肺功能进一步下降，生活质量变差，死亡率变高的问题。
65.步骤s101：获取多个患者在第一时间及第二时间对应的急性加重次数、在所述第一时间的临床文本数据以及/或肺图像。
66.在本公开的实施例及其他可能的实施例中，临床文本数据，可包括：肺功能数据、copd的症状、患有除慢性阻塞性肺病以外的任何相关疾病、医师在医疗活动中下达的医学指令、改良的医学研究委员会呼吸困难量表中的呼吸困难等级、不良事件、病史和手术史、常规体检数据、copd的康复治疗情况、用药情况以及其他物理检查(例如，血液检查、血压测量等)等等中的一种或几种。
67.在本公开的实施例及其他可能的实施例中，所述影像设备，可为ct、pet、mr、超声、dr等常规影像设备的一种或几种，或上述常规影像设备的结合，如pet-ct。同时，利用上述影像设备，对所述患者进行胸部成像，得到相应的肺图像，例如胸部ct肺图像、胸部pet肺图像、胸部mr肺图像、胸部超声肺图像、胸部pet-ct肺图像及胸部dr肺图像。
68.在本公开的实施例及其他可能的实施例中，所述第一时间及所述第二时间具有设定的时间间隔，例如，所述第一时间为2022年6月，设定的时间间隔可配置为1个月、2个月、6个月、12个月、16个月或24个月。例如，设定的时间间隔为12个月，则第二时间为2023年6月。本领域技术人员可以根据实际需要对设定的时间间隔进行配置。
69.步骤s102：根据所述第一时间及第二时间对应的急性加重次数，确定训练标签。
70.在本公开的实施例中，所述根据所述第一时间及第二时间对应的急性加重次数，确定训练标签的方法，包括：若所述第二时间对应的急性加重次数大于所述第一时间对应的急性加重次数，则所述训练标签为急性加重；否则，所述训练标签为非急性加重。
71.例如，若所述第二时间对应的急性加重次数大于所述第一时间对应的急性加重次
数，则所述训练标签为急性加重，标记为1；否则，所述训练标签为非急性加重，标记为0。比如，第二时间对应的急性加重次数为2次，所述第一时间对应的急性加重次数为次，则所述训练标签为急性加重，标记为1。
72.步骤s103：利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练。
73.在本公开的实施例及其他可能的实施例中，所述预设分类器可为支持向量机(svm)、多层感知机(mlp)、随机森林(rf)、k近邻(knn)、逻辑回归(lr)、决策树(dt)、梯度提升(gb)、线性判别分析(lda)、图网络(gnn)、深度学习分类网络(例如，googlenet)等的一种或几种。
74.在本公开的实施例及其他可能的实施例中，将所述临床文本数据以及/或所述肺图像及对应的所述训练标签输入预设分类器，完成预设分类器的训练。
75.步骤s104：基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测。
76.在本公开的实施例及其他可能的实施例中，将待预测患者在第一时间的临床文本数据以及/或肺图像输入训练的所述预设分类器，完成所述待预测患者在第二时间的急性加重预测。
77.在本公开的实施例中，所述利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练的方法，包括：分别根据所述临床文本数据以及/或所述肺图像得到对应的第一局部特征及第一全局特征；利用所述第一局部特征及第一全局特征及对应的所述训练标签对预设分类器进行训练。其中，所述利用所述第一局部特征及第一全局特征及对应的所述训练标签对预设分类器进行训练的方法，包括：对所述第一局部特征及第一全局特征进行融合操作，得到第一融合特征；利用所述第一融合特征及对应的所述训练标签对预设分类器进行训练。其中，所述对所述第一局部特征及第一全局特征进行融合操作，得到第一融合特征的方法，包括：对所述第一局部特征及第一全局特征进行拼接操作，得到第一融合特征。
78.本公开的实施例及其他可能的实施例中，当获取的数据包括临床文本数据以及所述肺图像时，所述临床文本数据以及所述肺图像分别具有各自的第一局部特征及第一全局特征；当获取的数据仅包括临床文本数据时，所述临床文本数据具有对应的第一局部特征及第一全局特征；获取的数据包括肺图像时，所述肺图像分别具有对应的第一局部特征及第一全局特征。
79.在本公开的实施例中，所述基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测的方法，包括：根据所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二局部特征及第二全局特征；基于训练的所述预设分类器，利用所述第二局部特征及第二全局特征，完成所述待预测患者在第二时间的急性加重预测。其中，所述利用所述第二局部特征及第二全局特征，完成所述待预测患者在第二时间的急性加重预测的方法，包括：对所述第二局部特征及第二全局特征进行融合操作，得到第二融合特征；基于训练的所述预设分类器，利用所述第二融合特征，完成所述待预测患者在第二时间的急性加重预测。其中，所述对所述第二局部特征及第二全局特征进行融合操作，得到第二融合特征的方法，包括：
所述对所述第二局部特征及第二全局特征进行拼接操作，得到第二融合特征。
80.在本公开的实施例中，所述根据所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二局部特征及第二全局特征的方法，包括：基于所述第一局部特征，在所述待预测患者在第一时间的临床文本数据以及/或肺图像对应的特征中，选择与所述第一局部特征相同的特征；以及，获取根据所述临床文本数据以及/或所述肺图像得到对应的第一全局特征的模型；基于所述模型，利用所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二全局特征。
81.在本公开的实施例及其他可能的实施例中，局部特征可以理解为预设的局部特征，可通过下述lasso模型或设定的特征选择规则，在训练模型时即可得到其对应的类型(影像组学以及/或临床文本数据)或所在的位置(卷积特征，如卷积特征所在的列)。当根据所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二局部特征及第二全局特征时，仅仅需要基于所述第一局部特征，在所述待预测患者在第一时间的临床文本数据以及/或肺图像对应的特征中，选择与所述第一局部特征相同的特征即可。
82.在本公开的实施例及其他可能的实施例中，在对预设分类器训练或利用所述预设分类器进行预测前，对所述肺图像进行肺区域分割，得到肺区域(肺实质)图像；对所述肺区域图像进行特征提取，得到所述影像特征。
83.在本公开的实施例及其他可能的实施例中，所述对所述肺图像进行肺区域分割，得到肺区域图像的方法，包括：获取预设分割模型；基于所述预设分割模型，对所述肺图像进行肺区域分割，得到肺区域(肺实质)图像。其中，所述预设分割模型为已经训练好的肺区域(肺实质)分割模型，例如可以采用申请号：202010534722.0公开的肺叶分割方法、装置和存储介质，得到左肺的肺叶或者右肺的肺叶；所有左肺的肺叶按照左肺解剖学结构进行拼接，得到左肺肺实质；所有右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。对于没有进行肺叶切除的受试者来说，左肺的肺叶为2个，右肺的肺叶为3个，2个左肺的肺叶按照左肺解剖学结构进行拼接，得到左肺肺实质；3个右肺的肺叶按照右肺解剖学结构进行拼接，得到右肺肺实质。其中，在本公开的实施例及其他可能的实施例中的肺实质，包括外周气道和肺血管。或者，也可以直接利用肺区域(肺实质)分割模型，得到肺实质(左肺及右肺的肺实质)图像。
84.本公开的实施例及其他可能的实施例中，也考虑到了肺叶切除后的受试者，其中肺叶切除后的受试者至少左上肺叶、左下肺叶、右上肺叶、右中肺叶以及右下肺叶中至少一个肺叶被切除。
85.基于上述，在本公开的实施例及其他可能的实施例中，肺分割，可包括：左肺分割模型、右肺分割模型、左肺肺叶缺失分割模型及右肺肺叶缺失分割模型；因此，在本公开中，提出了一种左肺及右肺分别进行分割的技术方案，分别对左肺及右肺进行分割。其中，所述左肺分割模型、右肺分割模型、左肺肺叶缺失分割模型及右肺肺叶缺失分割模型可以是基于传统分割算法的肺分割模型，也可以是基于深度学习的肺分割模型，例如基于u-net，或u-resnet的肺分割模型，其模型的训练方法为本领域技术人员惯用的技术手段，本公开在此不再进行详细说明。但是，值得注意的是，分别对左肺及右肺进行分割的方法是针对肺叶缺失的情况下提出的，目前没有肺叶切除术后剩余肺分割的方法。因此，分别对左肺及右肺进行分割的方法并不是本领域技术人员管用的技术手段，是需要本领域人员付出相应的创
造性劳动。
86.在本公开的实施例及其他可能的实施例中，分别对左肺及右肺进行分割的方法，包括：获取待处理的肺图像，确定所述肺图像中主支气管(1级气管)的位置，根据所述主支气管的位置将所述肺图像划分为左肺图像及右肺图像；分别确定所述左肺图像及右肺图像是否存在肺叶缺失；若存在肺叶缺失，判断所述肺叶缺失在左肺还是右肺；若所述肺叶缺失在左肺，则获取左肺肺叶缺失分割模型及右肺分割模型，分别利用所述左肺肺叶缺失分割模型及右肺分割模型对存在缺失的左肺及不存在缺失的右肺进行肺实质分割；若所述肺叶缺失在右肺，则获取右肺肺叶缺失分割模型及左肺分割模型，分别利用所述右肺肺叶缺失分割模型及左肺分割模型对存在缺失的右肺及不存在缺失的左肺进行肺实质分割；对分割后的左肺肺实质及右肺肺实质按照解剖学结构进行拼接，得到上述肺实质。其中，所述主支气管为喉部到肺门的气管。
87.例如，待处理的肺图像中仅仅为左上肺叶或左下肺叶，则则获取左肺肺叶缺失分割模型及右肺分割模型，分别利用所述左肺肺叶缺失分割模型及右肺分割模型对存在缺失的左肺及不存在缺失的右肺进行肺实质分割；最后，对分割后的左肺肺实质及右肺肺实质按照解剖学结构进行拼接，得到上述肺实质。
88.在本公开的实施例及其他可能的实施例中，所述确定所述肺图像中主支气管(1级气管)的位置，根据所述主支气管的位置将所述肺图像划分为左肺图像及右肺图像的方法，包括：获取气道分割模型，对所述肺图像执行气道分割，得道气道树；在所述气道树中确定主支气管，并计算所述主支气管的中心线；根据所述中心线将所述肺图像划分为左肺图像及右肺图像。同时，气道分割模型可以选择现有的气道分割模型，气道的分割仅仅能分割出主支气管即可，不需要对气道进行精细分割。例如，申请号：202010540322.0公开的基于肺叶及气管树的方法及装置、电子设备和存储介质使用的气道分割模型。
89.在本公开的实施例中，对所述肺区域图像进行特征提取，得到所述影像特征的方法，包括：获取迁移的卷积神经网络以及/或影像组学计算模型；利用所述迁移的卷积神经网络以及/或影像组学计算模型对所述肺区域图像进行特征提取，得到所述影像特征。其中，所述影像特征可为影像组学特征或/及卷积特征。
90.在本公开的实施例及其他可能的实施例中，提取所述肺实质图像(肺区域图像)的组学特征可通过预设的影像组学计算模型实现，预设的影像组学计算模型为现有的影像组学计算模型，可以通过网址https://pyradiomics.readthedocs.io/en/latest/index.html得到，再此不在对预设的影像组学特征提取模型进行详细说明。
91.在本公开的实施例及其他可能的实施例中，提取所述肺实质图像(肺区域图像)的卷积特征，可以通过预训练的特征提取模型进行实现；例如，所述特征提取模型包括多层卷积，利用多层卷积提取所述肺实质图像的卷积特征。又例如，可以通过迁移学习的方法，提取所述肺实质图像的卷积特征；迁移学习的卷积神经网络可以选择文章med3d:transfer learning for 3d medical image analysis.(chen,s.,k.ma and y.zheng)提出的分割模型，然而只需采用分割模型其中的编码结构(下采样)3dresnet10或3d resnet18或3d resnet34提取所述肺实质图像(肺区域图像)的卷积特征。
92.在本公开的实施例及其他可能的实施例中，利用所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征，及对应的所述训练标签对预设分类器进行训练。
93.在本公开的实施例及其他可能的实施例中，利用所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征，及对应的所述训练标签对预设分类器进行训练的方法，包括：分别根据所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征得到对应的第一局部特征及第一全局特征；利用所述第一局部特征及第一全局特征及对应的所述训练标签对预设分类器进行训练。
94.本公开的实施例及其他可能的实施例中，当获取的数据包括临床文本数据以及所述肺图像时，所述临床文本数据以及所述肺图像的影像组学特征以及/或卷积特征分别具有各自的第一局部特征及第一全局特征；当获取的数据仅包括临床文本数据时，所述临床文本数据具有对应的第一局部特征及第一全局特征；获取的数据包括肺图像时，所述肺图像的影像组学特征以及/或卷积特征分别具有对应的第一局部特征及第一全局特征。
95.进一步地，本公开的实施例及其他可能的实施例中，所述根据所述待预测患者在第一时间的临床文本数据以及/或肺图像的影像组学特征以及/或卷积特征得到对应的第二局部特征及第二全局特征的方法，包括：基于所述第一局部特征，在所述待预测患者在第一时间的临床文本数据以及/或肺图像对应的影像组学特征以及/或卷积特征中，选择与所述第一局部特征相同的特征；以及，获取根据所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征得到对应的第一全局特征的模型；基于所述模型，利用所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二全局特征。
96.本公开的实施例及其他可能的实施例中，所述分别根据所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征得到对应的第一局部特征的方法，包括：获取设定的特征选择模型；基于所述特征选择模型，从所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征中选择对应的第一局部特征；或，获取设定的特征选择规则；基于所述特征选择规则，从所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征中选择对应的第一局部特征。
97.在本公开的实施例中，所述分别根据所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征确定全局特征的方法，包括：获取设定的特征融合模型；基于所述特征融合模型，对所述临床文本数据以及/或所述肺图像的影像组学特征以及/或卷积特征进行全局融合，得到对应的全局特征。
98.例如，在本公开的实施例及其他可能的实施例中，所述设定的特征选择模型可选用lasso模型，利用lasso模型，分别基于训练标签(训练标签为急性加重，标记为1；训练标签为非急性加重，标记为0)，对所述临床文本数据以及/或所述组学特征以及/或所述卷积特征进行特征选择，得到选择的临床文本数据以及/或影像组学特征以及/或选择的卷积特征(局部特征)。其中，lasso模型可以调用标准的python包lassocv(python 3.6)进行实现。
99.在本公开的另外一实施例及其他可能的实施例中，所述获取设定的特征选择规则；基于所述特征选择规则，从临床文本数据以及/或多个影像特征及/或卷积特征中选择对应的局部特征的方法，包括：获取设定显著性及所述临床文本数据以及/或所述多个影像特征对应的训练标签(训练标签为急性加重，标记为1；训练标签为非急性加重，标记为0)；分别计算所述训练标签(训练标签为急性加重，标记为1；训练标签为非急性加重，标记为0)下的临床文本数据以及/或所述多个影像特征对应的多个显著性值；将小于或等于所述设定显著性的显著性值对应的临床文本数据以及/或影像特征确定为局部特征。
100.例如，所述临床文本数据以及/或所述多个影像特征对应的训练标签(训练标签为急性加重，标记为1；训练标签为非急性加重，标记为0)，分别计算所述训练标签(训练标签为急性加重，标记为1；训练标签为非急性加重，标记为0)下的临床文本数据以及/或所述多个影像特征对应的显著性值，将小于或等于所述设定显著性的显著性值对应的临床文本数据以及/或影像特征确定为局部特征；其中，计算得到的显著性值的数目为临床文本数据数据以及/或影像特征(所述组学特征以及/或所述卷积特征)对应的数目。其中，所述设定显著性可配置为0.5，0.1，0.01等，本领域技术人员可根据实际需要对设定显著性进行配置。
101.在本公开的实施例中，所述分别根据所述临床文本数据以及/或所述影像特征确定全局特征的方法，包括：获取设定的特征融合模型；基于所述特征融合模型，对所述临床文本数据以及/或所述影像特征进行全局融合，得到对应的全局特征。在本公开的实施例及其他可能的实施例中，所述特征融合模型可为主成分分析模型(pca)，也可是神经网络模型。
102.在本公开的实施例中，所述对所述临床文本数据以及/或所述影像特征进行全局融合，得到对应的全局特征的方法，包括：获取设定的贡献率；根据所述临床文本数据以及/或所述影像特征构建特征矩阵，计算所述特征矩阵对应的多个特征值；对所述多个特征值进行归一化；对归一化的所述多个特征值进行排序，并计算排序后归一化的所述多个特征值的累计贡献度；当所述累计贡献度大于或等于所述设定的贡献率，则确定所述累计贡献度对应的特征值的特征向量；根据所述特征向量构建转换矩阵；基于所述特征矩阵及所述转换矩阵得到对应的全局特征。其中，设定的贡献率可配置为95％，本领域技术人员可根据实际需要对设定的贡献率进行配置。
103.在本公开的实施例及其他可能的实施例中，获取设定的贡献率；根据所述临床文本数据以及/或所述影像特征构建特征矩阵am×n＝(a1,a,a3,
…
,an)；其中，a1,a,a3,
…
,an为所述临床文本数据以及/或所述影像特征，可利用奇异值分解(svd)算法计算所述特征矩阵对应的多个特征值(λ1,λ2,λ3,
…
,λn)；对所述多个特征值进行归一化；对归一化的所述多个特征值进行排序，并计算排序后归一化的所述多个特征值的累计贡献度；当所述累计贡献度大于或等于所述设定的贡献率，则确定所述累计贡献度对应的特征值的特征向量(λ1→
ξ1,λ2→
ξ2,λ3→
ξ3,
…
,λk→
ξk)；根据所述特征向量构建转换矩阵pk×n＝(ξ1,ξ2,ξ3,
…
,ξk)k×n；基于所述特征矩阵及所述转换矩阵得到对应的全局特征。
104.具体地，利用奇异值分解(svd)算法计算所述特征矩阵对应的多个特征值(λ1,λ2,λ3,
…
,λn)可由公式1及公式2得到。
105.a
t
a＝(uσv
t
)
t
uσv
t
＝vσ
tut
uσv
t
＝vσ
t
σv
t
＝vσ
2vt
ꢀꢀꢀꢀ
公式1
[0106][0107]
其中，um×mand vn×n为正交矩阵,∑m×n＝(σ1,σ2,σ3,
…
,σk)为对角矩阵,σi为矩阵a
t
a对应的特征值，m及n为矩阵的维度。具体地说，m为患者的数目，n为临床文本数据以及/或所述影像特征的数目。
[0108]
具体地，基于所述特征矩阵及所述转换矩阵得到对应的全局特征bm×n可由公式3得到。
[0109]
[0110]
其中，b1,b,b3,
…
,bk为对应的全局特征。
[0111]
在本公开的另外一实施例中，所述对所述临床文本数据以及/或所述影像特征进行全局融合，得到对应的全局特征的方法，包括：构建神经网络模型；利用临床文本数据以及/或影像特征对所述神经网络模型进行训练；基于训练的神经网络模型，对所述临床文本数据以及/或所述影像特征进行全局融合，得到对应的全局特征。其中，所述神经网络模型至少包括：输入层、隐含层及输出层；利用临床文本数据以及/或影像特征对所述神经网络的输入层、隐含层及输出层对应的参数进行训练，得到训练的神经网络模型。
[0112]
具体地说，获取根据所述临床文本数据以及/或所述肺图像得到对应的第一全局特征的模型；基于所述模型，利用所述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二全局特征：例如，根据所述临床文本数据以及/或所述肺图像得到对应的第一全局特征的模型为神经网络模型，此时获取已训练的神经网络模型，基于所述神经网络模型，利用述待预测患者在第一时间的临床文本数据以及/或肺图像得到对应的第二全局特征。
[0113]
在本公开的实施例及其他可能的实施例中，可以计算所述肺图像的影像组学特征以及/或卷积特征，进而根据影像组学特征以及/或卷积特征确定其对应的局部特征或全局特征，从而基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或影像组学特征以及/或卷积特征对应的局部特征或全局特征，完成所述待预测患者在第二时间的急性加重预测。
[0114]
更为具体地说，在本公开的实施例及其他可能的实施例中，所述临床文本数据以及/或所述影像特征分别对应各自的设定局部特征；同样地，所述临床文本数据以及/或所述影像特征分别对应各自的全局特征。例如，临床文本数据对应的为第一局部特征，所述影像特征对应的为第二局部特征；临床文本数据对应的为第一全局特征，所述影像特征对应的为第二全局局部特征。更进一步地说，如果所述影像特征，包括：影像组学特征及cnn(卷积)特征，则影像组学特征及cnn(卷积)特征分别对应各自的局部特征及全局特征。例如，所述影像特征中的影像组学特征及卷积特征分别对应的第二局部特征及第三局部特征；所述影像特征的影像组学特征及卷积特征分别对应的第二全局特征及第三全局特征。
[0115]
在本公开的实施例中，所述融合所述设定局部特征及全局特征得到融合特征的方法，包括：对所述设定局部特征及全局特征进行拼接，得到所述融合特征。例如，待预测患者对应的临床文本数据或肺图像，此时构建的模型也是由多个临床文本数据或肺图像训练得到的，此时仅仅拼接临床文本数据对应的局部特征及全局特征或肺图像对应的局部特征及全局特征。又例如，临床文本数据对应的临床文本数据及肺图像，此时构建的模型也是由多个临床文本数据及肺图像训练得到的，此时拼接临床文本数据及肺图像对应的局部特征及全局特征及全局特征。
[0116]
在本公开的实施例中，所述的预测方法，还包括：在所述获取待预测患者对应的临床文本数据以及/或肺图像对应的影像特征后，对所述患者进行慢性阻塞性肺病进行识别或分级；若所述患者患有所述慢性阻塞性肺病或所述患者的慢性阻塞性肺病达到设定分级，则对所述待预测患者进行预测。其中，所述对所述患者进行慢性阻塞性肺病进行识别或分级的方法，包括：确定所述待预测患者对应的临床文本数据是否包括肺功能数据；若包括，基于所述肺功能数据对所述患者进行慢性阻塞性肺病进行识别或分级；否则，获取所述
患者的肺图像，利用所述肺图像对所述患者进行慢性阻塞性肺病进行识别或分级。
[0117]
在本公开的实施例及其他可能的实施例中，可利用肺功能测试仪，对所述患者进行肺功能测试，得到所述肺功能数据。肺功能测试仪是用于测量由肺部吸入和呼出的空气体积的一种医疗器械，可以进行肺功能测试并追踪肺部健康情况。所述肺功能数据，可包括fvc、fev1、fev1/fvc等常用肺功能检测参数中的一种或几种。基于所述肺功能数据对所述患者进行慢性阻塞性肺病进行识别或分级可根据美国胸科学会和欧洲呼吸学会接受的慢性阻塞性肺病全球倡议(gold)标准进行识别(患有慢性阻塞性肺病或不患有慢性阻塞性肺病)或分级(0-4级)。其中，0级表示不患有慢性阻塞性肺病，而1-4级表示患有慢性阻塞性肺病，且级别越高，患有慢性阻塞性肺病越严重。
[0118]
在本公开的实施例及其他可能的实施例中，所述获取所述患者的肺图像，利用所述肺图像对所述患者进行慢性阻塞性肺病进行识别或分级的方法，包括：包括：获取待处理的肺图像，并对所述肺图像进行肺区域分割，得到肺实质图像；分别提取所述肺实质图像的组学特征及卷积特征；及，分别基于所述肺图像对应的慢阻肺识别或分级标签，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征及选择的卷积特征；对所述选择的影像组学特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征；并基于所述第一融合特征及预设分类器，对慢阻肺进行识别以及/或分级。本公开实施例通过分别提取所述肺实质图像的组学特征及卷积特征，分别基于所述肺图像对应的慢阻肺识别以及/或分级标签，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征及选择的卷积特征；对所述选择的影像组学特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征；并基于所述第一融合特征及预设分类器，进而实现对慢阻肺进行识别以及/或分级。与传统的方法相比，本公开加入了肺实质图像对应的卷积特征，通过对影像组学特征及卷积特征进行融合，以提升慢阻肺进行识别以及/或分级的准确性及分类器的分类性能。
[0119]
获取待处理的肺图像，并对所述肺图像进行肺区域分割，得到肺实质图像的具体方法，可详见上述详细说明。在本公开的实施例及其他可能的实施例中，也考虑到了肺叶切除后的受试者，其中肺叶切除后的受试者至少左上肺叶、左下肺叶、右上肺叶、右中肺叶以及右下肺叶中至少一个肺叶被切除。
[0120]
分别提取所述肺实质图像的组学特征及卷积特征；及，分别基于所述肺图像对应的慢阻肺识别以及/或分级标签，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征及选择的卷积特征。
[0121]
在本公开的实施例及其他可能的实施例中，提取所述肺实质图像的组学特征可通过预设的影像组学特征提取模型实现，预设的影像组学特征提取模型为现有的影像组学计算模型，再此不在对预设的影像组学特征提取模型进行详细说明。
[0122]
在本公开的实施例及其他可能的实施例中，提取所述肺实质图像的卷积特征，可以通过预训练的特征提取模型进行实现；例如，所述特征提取模型包括多层卷积，利用多层卷积提取所述肺实质图像的卷积特征。又例如，可以通过迁移学习的方法，提取所述肺实质图像的卷积特征；迁移学习的模型可以选择文章med3d:transfer learning for 3d medical image analysis.(chen,s.,k.ma and y.zheng)提出的分割模型，然而只需采用分割模型其中的编码结构3d resnet10或3d resnet18或3d resnet34提取所述肺实质图像
的卷积特征。
[0123]
同时，在本公开中，所述分别基于所述肺图像对应的慢阻肺识别以及/或分级标签，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征及选择的卷积特征的方法，包括：获取影像组学选择模型；基于所述影像组学选择模型，分别通过建立所述慢阻肺识别以及/或分级标签及对应的所述组学特征及所述卷积特征的关系，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征及选择的卷积特征。
[0124]
在本公开的实施例及其他可能的实施例中，所述特征选择模型可选用lasso模型，利用lasso模型，分别基于所述肺图像对应的慢阻肺识别以及/或分级标签，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征及选择的卷积特征。例如，提取所述肺实质图像的组学特征的数目为1316个，当基于所述肺图像对应的慢阻肺识别以及/或分级标签，对所述组学特征及所述卷积特征进行特征选择，得到选择的影像组学特征。
[0125]
对所述选择的影像组学特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征；并基于所述第一融合特征及预设分类器，对慢阻肺进行识别以及/或分级。其中，分级标签为0至iv期，0期表示未患慢阻肺。
[0126]
在本公开中，所述对所述选择的影像组学特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征的方法，包括：对所述选择的影像组学特征及所述选择的卷积特征进行向量拼接，得到第一融合特征。
[0127]
例如，一幅待处理的肺图像对应的选择的影像组学特征为[1，2，4]，其中1，2，4分别对应不同名称的影像组学特征，此待处理的肺图像对应的选择的卷积特征为[0，2，1]，则对所述选择的影像组学特征及所述选择的卷积特征进行向量拼接，得到第一融合特征为[1，2，4，0，2，1]或[0，2，1，1，2，4]。
[0128]
在本公开中，在所述对所述选择的影像组学特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征之前，还包括：根据所述肺实质图像的组学特征，构建影像组学特征图；并对所述影像组学特征图进行卷积处理，得到组学卷积特征；对所述组学卷积特征及所述肺实质图像的组学特征进行第二融合操作，得到第二融合特征；对所述第二融合特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征。
[0129]
在本公开中，所述对所述第二融合特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征的方法，包括：对所述第二融合特征及所述选择的卷积特征进行向量拼接，得到第一融合特征。
[0130]
例如，第二融合特征为[1，2，4]，选择的卷积特征为[0，2，1]，则对所述第二融合特征及所述选择的卷积特征进行向量拼接，得到第一融合特征[1，2，4，0，2，1]或[0，2，1，1，2，4]。
[0131]
在本公开中，所述根据所述肺实质图像的组学特征，构建影像组学特征图的方法，包括：将所述组学特征中的1个特征作为基础特征，所述组学特征中的其余特征分别与所述基础特征做差，得到影像组学特征向量；同理，分别将所述组学特征中的剩余特征作为基础特征，得到对应的影像组学特征向量；将所有的所述影像组学特征向量进行拼接，得到影像组学特征图。
[0132]
例如，获取所述肺实质图像的组学特征的第二数目n，构建尺寸为n
×
(n-1)的影像组学特征图，其构建方法具体，包括：将所述组学特征中的1个特征作为基础特征，所述组学
特征中的其余特征分别与所述基础特征做差，得到1
×
(n-1)的影像组学特征向量；同理，分别将所述组学特征中的n-1个特征作为基础特征，得到(n-1)
×
(n-1)的影像组学特征向量；将所述影像组学特征向量进行拼接，得到尺寸为n
×
(n-1)的影像组学特征图。
[0133]
又例如，获取所述肺实质图像的组学特征的第二数目n，构建尺寸为n
×
n的影像组学特征图，其构建方法具体，包括：将所述组学特征中的1个特征作为基础特征，所述组学特征中的其余特征分别与所述基础特征做差，得到1
×
n的影像组学特征向量，其中，所述影像组学特征向量内的第一个元素为0(基础特征减去本身)；同理，分别将所述组学特征中的n-1个特征作为基础特征，得到(n-1)
×
n的影像组学特征向量；将所述影像组学特征向量进行拼接，得到尺寸为n
×
n的影像组学特征图。
[0134]
在本公开中，所述基于所述第一融合特征及预设分类器，对慢阻肺进行识别以及/或分级的方法，包括：获取设定比例；基于所述设定比例对所有所述肺图像对应的第一融合进行划分，得到训练集及验证集；利用所述训练集对所述预设分类器进行训练；利用所述验证集对训练后的预设分类器进行验证，进而对慢阻肺进行识别以及/或分级。
[0135]
在本公开的实施例及其他可能的实施例中，例如，待处理的肺图像的数目为1000套，设定比例为7：3，基于所述设定比例对所有所述肺图像对应的第一融合进行划分，得到训练集内的肺图像的数目为700套及验证集内的肺图像的数目为300套；利用所述训练集对所述预设分类器进行训练；利用所述验证集对训练后的预设分类器进行验证，进而对慢阻肺进行识别以及/或分级。
[0136]
在本公开的实施例及其他可能的实施例中，所述预设分类器的确定方法，包括：获取待确定的多个分类器；基于待确定的多个分类器，利用所述肺实质图像的组学特征进行分类，分别得到多个对应的第一组分类指标；根据所述多个对应的第一组分类指标，从多个分类器中确定最好的分类指标对应的第一分类器；基于待确定的多个分类器，利用所述肺实质图像的卷积特征进行分类，分别得到多个对应的第二组分类指标；根据所述多个对应的第二组分类指标，从多个分类器中确定最好的分类指标对应的第二分类器；若所述第一分类器及所述第二分类器相同，则所述预设分类器为所述第一分类器或所述第二分类器。
[0137]
在本公开的实施例及其他可能的实施例中，所述待确定的分类器可为支持向量机(svm)、多层感知机(mlp)、随机森林(rf)、k近邻(knn)、逻辑回归(lr)、决策树(dt)、梯度提升(gb)、线性判别分析(lda)等的一种或几种。同时，在本公开的实施例及其他可能的实施例中，所述预设分类器为多层感知机(mlp)。
[0138]
在本公开的实施例及其他可能的实施例中，所述选择的影像组学特征为局部特征，而对所述影像组学特征图进行卷积处理得到的组学卷积特征为全局特征，因此本公开提出了一种融合局部特征及全局特征的方法，进而得到既包括融合局部特征又包括全局特征的第二融合特征，对所述第二融合特征及所述选择的卷积特征进行第一融合操作，得到第一融合特征。进而，基于所述第一融合特征及预设分类器，对慢阻肺进行识别以及/或分级。
[0139]
在本公开中，所述并对所述影像组学特征图进行卷积处理，得到组学卷积特征；及对所述组学卷积特征及所述肺实质图像的组学特征进行第二融合操作，得到第二融合特征的方法，包括：获取所述选择的影像组学特征对应的第一数目；对所述影像组学特征图进行卷积处理，得到所述第一数目的组学卷积特征；对所述组学卷积特征及所述肺实质图像的
组学特征进行相加操作，得到第二融合特征。
[0140]
在本公开的实施例及其他可能的实施例中，获取所述选择的影像组学特征对应的第一数目为106，因此对所述影像组学特征图进行卷积处理，得到所述第一数目为106的组学卷积特征；只有选择的影像组学特征对应的数目与组学卷积特征的数目相同，才可对所述组学卷积特征及所述肺实质图像的组学特征进行相加操作，得到第二融合特征。
[0141]
例如，所述肺实质图像的组学特征为[1，2，4]，所述组学卷积特征为[1，1，4]，对所述组学卷积特征及所述肺实质图像的组学特征进行相加操作，得到第二融合特征[2，3，8]。
[0142]
在本公开的另一实施例及其他可能的实施例中，所述获取所述患者的肺图像，利用所述肺图像对所述患者进行慢性阻塞性肺病进行识别或分级的方法，包括：获取肺实质图像对应的影像组学特征；基于肺实质图像对应的识别以及/或分级标签，对所述影像组学特征进行选择，得到选择的影像组学特征；并确定所述影像组学特征的数目；利用所述影像组学特征生成影像组学特征图，对所述影像组学特征图进行卷积操作，得到所述数目的卷积特征；对所述影像组学特征及所述卷积特征进行融合操作，得到融合特征；根据所述融合特征，确定图卷积网络的风险因素特征；对所述风险因素特征及所述融合特征进行拼接操作，得到拼接特征；基于所述图卷积网络，利用所述拼接特征实现慢阻肺的识别以及/或分级。区别于现有技术，本公开将局部的影像组学特征(选择的影像组学特征)与影像组学特征图对应的全局影像组学特征(卷积特征)进行融合操作，得到融合特征，进而根据所述融合特征，确定图卷积网络的风险因素特征；对所述风险因素特征及所述融合特征进行拼接操作，得到拼接特征；基于所述图卷积网络，利用所述拼接特征实现慢阻肺的识别以及/或分级。充分地挖掘影像组学特征，进一步利用影像组学特征对copd进行识别以及/或分级，进而推进影像组学特征在copd识别以及/或分级的临床应用。
[0143]
获取肺实质图像对应的影像组学特征；基于肺实质图像对应的识别以及/或分级标签，对所述影像组学特征进行选择，得到选择的影像组学特征；并确定所述影像组学特征的数目。
[0144]
在本公开的实施例中，所述对所述待处理的肺图像进行肺区域分割，得到肺区域对应的肺实质图像的方法，包括：获取预设肺区域分割模型；基于所述预设肺区域分割模型，对所述待处理的肺图像进行肺区域分割，得到肺实质图像。其中，肺实质图像包括：左肺及右肺对应的肺实质。所述预设肺区域分割模型可选择已经训练好的u-net神经网络或resu-net神经网络。其中，在本公开的实施例及其他可能的实施例中的肺实质，包括外周气道和肺血管。
[0145]
在本公开的实施例及其他可能实施例中，在获取肺实质图像对应的影像组学特征之前，提取所述肺实质图像的组学特征，提取所述肺实质图像的组学特征可通过预设的影像组学特征提取模型实现，预设的影像组学特征提取模型为现有的影像组学计算模型，再此不在对预设的影像组学特征提取模型进行详细说明。
[0146]
在本公开的实施例及其他可能实施例中，基于肺实质图像对应的识别以及/或分级标签，对所述影像组学特征进行选择，得到选择的影像组学特征的方法中，使用lasso模型，基于肺实质图像对应的识别以及/或分级标签，对所述影像组学特征进行选择，得到选择的影像组学特征。
[0147]
在本公开的实施例及其他可能实施例中，肺实质图像对应的影像组学特征的数目
为1316个；基于肺实质图像对应的识别以及/或分级标签，对所述影像组学特征进行选择，得到选择的影像组学特征的数目为106个。
[0148]
利用所述影像组学特征生成影像组学特征图，对所述影像组学特征图进行卷积操作，得到所述数目的卷积特征。
[0149]
在本公开中，区别于现有技术，所述利用所述影像组学特征生成影像组学特征图的方法，包括：确定所述影像组学特征数目m；对所述影像组学特征按照设定的方式进行排列，生成m
×
m的影像组学特征图。在本公开的实施例及其他可能实施例中，所述对所述影像组学特征按照设定的方式进行排列，生成m
×
m的影像组学特征图的方法，包括：将所述影像组学特征的m个特征元素作为第一行的影像组学特征向量；下一行的影像组学特征向量，均对上一行的影像组学特征向量向右进行移位，最后一个特征元素作为此行的第一位特征元素；最后，生成m
×
m的影像组学特征图。
[0150]
例如，所述影像组学特征为[1,2,3,4]，所述影像组学特征的数目为4，第一行的影像组学特征向量为[1,2,3,4]，则第二行的影像组学特征向量为[4,1,2,3]，第三行的影像组学特征向量为[3,4,1,2,]，第三行的影像组学特征向量为[2,3,4,1]；最终，生成4
×
4影像组学特征图，所述4
×
4影像组学特征图的第一行至第四行分别为[1,2,3,4]、[4,1,2,3]、[3,4,1,2,]及[2,3,4,1]。
[0151]
在本公开的实施例及其他可能实施例中，通过上述方法，所述影像组学特征数目1316对应的影像组学特征图尺寸为1316
×
1316。
[0152]
在本公开中，对所述影像组学特征图进行卷积操作，得到所述数目的卷积特征的方法，包括：获取迁移卷积模型；利用所述迁移卷积模型对所述影像组学特征图进行卷积操作，得到所述数目的卷积特征。
[0153]
在本公开的实施例及其他可能实施例中，迁移卷积模型可以选择文章med3d:transfer learning for 3d medical image analysis.(chen,s.,k.ma and y.zheng)提出的分割模型，然而只需采用分割模型其中的编码结构3d resnet10或3d resnet18或3d resnet34对所述影像组学特征图进行卷积操作，得到所述数目的卷积特征。
[0154]
图2示出根据本公开实施例的构建卷积网络结构示意图。如图2所示，所述构建的卷积网络，包括：第一卷积层cov1(1,64,7,3,1)、第二卷积层cov2(64,32,5,2,0)、第三卷积层cov3(32,16,3,1,0)、第四卷积层cov4(16,8,3,1,0)、第五卷积层cov5(8,1,2,1,0)、池化层pool(3,2,0)、第一全连接层fc1(11236,106)及第二全连接层fc2(106,4)。
[0155]
图2所构建的卷积网络在训练时，保留第二全连接层fc2(106,4)；当基于所述训练的卷积网络对所述影像组学特征图进行卷积操作得到所述数目的卷积特征时，删除第二全连接层fc2(106,4)。
[0156]
以构建的卷积网络在训练时为例，对图2进行详细说明，所述影像组学特征图为1个特征图，所述影像组学特征图利用7
×
7的卷积核进行卷积，步长为3，并进行补边padding处理后，得到64个特征图；64个特征图个特征图利用5
×
5的卷积核进行卷积，步长为2，不进行补边padding处理后，得到32个特征图；32个特征图个特征图利用3
×
3的卷积核进行卷积，步长为1，不进行补边padding处理后，得到16个特征图；16个特征图个特征图利用3
×
3的卷积核进行卷积，步长为1，不进行补边padding处理后，得到8个特征图；8个特征图个特征图利用2
×
2的卷积核进行卷积，步长为1，不进行补边padding处理后，得到1个特征图；1
个特征图进行3
×
3步长为2，步长为1的池化操作后，得到特征数目为11236的池化特征向量；特征数目为11236的池化特征向量经过第一全连接层fc1后得到106个特征向量；106个特征向量经过第二全连接层fc2后，得到4个特征向量。其中，本领人员可根据实际需要选择训练过程中使用的损失函数。
[0157]
对所述影像组学特征及所述卷积特征进行融合操作，得到融合特征；根据所述融合特征，确定图卷积网络的风险因素特征；对所述风险因素特征及所述融合特征进行拼接操作，得到拼接特征。
[0158]
对所述影像组学特征及所述卷积特征进行融合操作得到融合特征，是根据所述融合特征确定图卷积网络的风险因素特征的基础，正是因为对所述影像组学特征及所述卷积特征进行融合操作得到融合特征得到了局部特征(选择的影像组学特征)及全局特征的融合(未选择的影像组学特征，或选择前的影像组学特征)，融合特征更能体现影像组学特征。因此，对所述影像组学特征及所述卷积特征进行融合操作得到融合特征的方法，并不是本领域技术人员惯用的技术手段，也是需要本领域技术人员付出相应创造性劳动的。
[0159]
在本公开的实施例及其他可能实施例中，区别于现有技术，所述对所述影像组学特征及所述卷积特征进行融合操作，得到融合特征的方法，包括：对所述影像组学特征及所述卷积特征进行元素级的相加，得到融合特征。
[0160]
例如，所述影像组学特征为[1,1,1,3]，所述卷积特征为[0,1,0,3]，对所述影像组学特征及所述卷积特征进行像素级的相加，得到融合特征[1,2,1,6]。
[0161]
在本公开的实施例及其他可能实施例中，区别于现有技术，本公开提出了3种根据所述融合特征，确定图卷积网络的风险因素特征的方法。如何确定图卷积网络的风险因素特征直接影响边缘约束矩阵e的生成，进而影响邻接矩阵。因此上述根据所述融合特征，确定图卷积网络的风险因素特征的方法，并不是本领域人员惯用的技术手段，是需要本领域人员付出相应的创造性的劳动。
[0162]
在本公开的实施例及其他可能实施例中，第一种方法，所述根据所述融合特征，确定图卷积网络的风险因素特征的方法，包括：获取广义线性模型(glm)；利用广义线性模型(glm)，根据所述融合特征及对应的识别以及/或分级标签，得到所述融合特征中每个特征元素的r^2值；利用r^2值对所述融合特征中的特征元素从大到小进行排序；截取排序后的前设定数目e个特征为图卷积网络的风险因素特征。其中，所述设定数目e的取值一般为2-6个。
[0163]
在本公开的实施例及其他可能实施例中，第二种方法，所述根据所述融合特征，确定图卷积网络的风险因素特征的方法，还包括：获取lasso模型；利用lasso模型，根据所述融合特征及对应的识别以及/或分级标签，得到所述融合特征的筛选特征；利用所述筛选特征的回归系数对所述筛选特征从大到小进行排序，截取排序后的前设定数目e个筛选特征为图卷积网络的风险因素特征。其中，所述设定数目e的取值一般为2-6个，所述筛选特征的数目小于所述融合特征的数目。
[0164]
在本公开的实施例及其他可能实施例中，第三种方法，所述根据所述融合特征，确定图卷积网络的风险因素特征的方法，包括：获取独立成分分析(pca)模型；利用立成分分析模型，根据所述融合特征及对对应的识别以及/或分级标签，得到所述融合特征的设定数目e个降维特征；将所述设定数目e个降维特征作为图卷积网络的风险因素特征。其中，所述
设定数目e的取值一般为2-6个，所述降维特征的数目小于所述融合特征的数目。
[0165]
在本公开的实施例及其他可能实施例中，所述对所述风险因素特征及所述融合特征进行拼接操作，得到拼接特征的方法具体的实施例如下。若e的取值为4，则4个风险因素特征与106个融合特征进行拼接，得到维度为110的拼接特征(向量)。
[0166]
基于所述图卷积网络，利用所述拼接特征实现慢阻肺的识别以及/或分级。
[0167]
图3示出根据本公开实施例的图卷积网络结构示意图。如图3所示，风险因素特征的数目为k，融合特征的数目为d，所述图卷积网络的节点数目为n。在本公开的实施例及其他可能实施例中，将所述拼接特征输入到所述图卷积网络(graph convolutional network，gcn)，以实现慢阻肺的识别以及/或分级。其中，所述图卷积网络是一种能对图数据进行深度学习的方法。图卷积神经网络，实际上跟卷积神经网络cnn的作用一样，就是一个特征提取器，只不过它的对象是图数据。所述图卷积网络精妙地设计了一种从图数据中提取特征的方法，从而让我们可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、边预测(link prediction)，还可以顺便得到图的嵌入表示(graph embedding)，可见用途广泛。
[0168]
在本公开中，所述基于所述图卷积网络，利用所述拼接特征实现慢阻肺的识别以及/或分级的方法，包括：获取所述图卷积网络的节点数目n；基于所述拼接特征v
(l)
的风险因素特征，得到所述风险因素特征的数目对应的子边缘约束矩阵；并对所述子边缘约束矩阵进行融合，得到边缘约束矩阵e；基于所述节点数目n对应的拼接特征v
(l)
的融合特征，得到三维差值矩阵；并对所述三维差值矩阵进行卷积操作，得到边缘权重矩阵w；基于所述边缘约束矩阵e及边缘权重矩阵w得到邻接矩阵；利用所述邻接矩阵及所述拼接特征v
(l)
实现慢阻肺的识别以及/或分级。在本公开的实施例及其他可能实施例中，所述拼接特征v
(l)
，包括：k维的风险因素特征(向量)及d维的融合特征(向量)。
[0169]
在本公开中，所述基于所述拼接特征的风险因素特征，得到所述风险因素特征的数目对应的子边缘约束矩阵的方法，包括：将每个所述拼接特征的风险因素特征进行列排列，得到所述风险因素特征数目个风险因素特征向量；分别以每个风险因素特征向量的一个特征为基础特征，每个风险因素特征向量的所有特征与所述基础特征进行元素级的差值操作，得到所述风险因素特征的数目对应的子边缘约束矩阵。
[0170]
在本公开的实施例及其他可能实施例中，例如，k＝4，所述数目为4，因此将每个所述拼接特征的风险因素特征进行列排列，得到4个风险因素特征向量(尺度n
×
1)；将所述风险因素特征向量中的1个特征作为基础特征，所述风险因素特征向量中的其余特征分别与所述基础特征做差，得到n
×
1的风险因素特征向量，其中，所述风险因素特征向量内的第一个元素为0(基础特征减去本身)；同理，分别将所述风险因素特征向量中的n-1个特征作为基础特征，得到n
×
(n-1)的风险因素特征向量；将所述风险因素特征向量进行拼接，得到1个尺寸为n
×
n的子边缘约束矩阵。因此，4个所述拼接特征的风险因素特征，进行上述操作，得到k＝4个尺寸为n
×
n的子边缘约束矩阵。
[0171]
在本公开中，所述对所述子边缘约束矩阵进行融合，得到边缘约束矩阵的方法，包括：对所述子边缘约束矩阵进行对应元素相加操作，得到边缘约束矩阵。在本公开的实施例及其他可能实施例中，例如，k＝4，得到的4个尺寸为n
×
n的子边缘约束矩阵进行对应元素相加操作后，并进行标准化，得到边缘约束矩阵。
[0172]
在本公开中，所述基于所述节点数目对应的拼接特征的融合特征，得到三维差值矩阵的方法，包括：将每个所述拼接特征的融合特征进行列排列，得到融合特征向量；将所述数目的融合特征向量进行复制后，并进行拼接操作，得到三维特征；并对所述三维特征进行转置操作，得到转置三维特征；将所述三维特征及所述转置三维特征进行元素级的差值操作，得到三维差值矩阵将所述数目的融合特征向量进行复制后，并进行拼接操作，得到三维特征；并对所述三维特征进行转置操作，得到转置三维特征；将所述三维特征及所述转置三维特征进行元素级的差值操作，得到三维差值矩阵。
[0173]
在本公开的实施例及其他可能实施例中，将每个所述拼接特征的融合特征进行列排列，得到尺度为n
×
106融合特征向量；将所述数目的融合特征向量进行n-1次复制后，得到n个n
×
106融合特征向量；n个n
×
106融合特征向量进行拼接操作，得到尺度为n
×n×
106的三维特征；尺度为n
×n×
106的三维特征进行转置操作，得到转置三维特征；将所述三维特征及所述转置三维特征进行元素级的差值操作后，并进行绝对值操作，得到尺度为n
×n×
106的三维差值矩阵。
[0174]
将所述数目的融合特征向量进行复制后，并进行拼接操作，得到三维特征；并对所述三维特征进行转置操作，得到转置三维特征；将所述三维特征及所述转置三维特征进行元素级的差值操作，得到三维差值矩阵。具体地说，将这106个融合特征复制n-1次，与原来的n
×
106的融合特征组成一个n
×n×
106的三维矩阵，然后z轴不变，在x，y轴方向上进行矩阵转置，得到的矩阵仍然是n
×n×
106的三维矩阵，这两个矩阵相减得到一个n
×n×
106的三维差值矩阵，相减的操作是为了使得不同节点的106个特征逐个相减，得到一个三维的邻接矩阵。
[0175]
在本公开中，提出了一种新的对所述三维差值矩阵进行卷积操作，得到边缘权重矩阵的方法。具体地说，所述对所述三维差值矩阵进行卷积操作，得到边缘权重矩阵的方法，包括：利用大于1
×
1的卷积核，对所述三维差值矩阵进行上采样操作，得到上采样特征图；利用大于1
×
1的卷积核，对上采样特征图进行下采样操作，得到边缘权重矩阵。
[0176]
图4示出根据本公开实施例提出的三维差值矩阵进行卷积操作的卷积网络结构示意图。如图4所示，提出的三维差值矩阵进行卷积操作的卷积网络为∩结构，因此可定义为∩net。通过∩net来把n
×n×
106的三维差值矩阵转变成n
×
n的边缘权重矩阵。利用3
×
3的卷积核，对n
×n×
106的三维差值矩阵进行上采样操作，得到上采样特征图；利用3
×
3的卷积核，对上采样特征图进行下采样操作，最后利用1
×
1的卷积核进行卷积，得到n
×n×
1的边缘权重矩阵。
[0177]
具体地说，如果直接采用1
×
1的卷积核来对不同频道叠加，元素互相之间不影响，这就使得输出的矩阵没有差值与差值之间的联系，这使得一部分有效信息没有被利用，不同节点的差值与差值也是存在联系的，而在训练时没有利用这些联系会降低模型的效果，所以引入了3
×
3的卷积核来提取这一信息，这一流程相当于重塑一个邻接矩阵。采用了先上采样后下采样的操作，经过网络之后的矩阵就不只是包含节点与节点的关系，同时还包含了不同组节点与节点之间差值之间的联系。同时，在网络中还引入了残差连接，残差连接在加深网络时有很好的效果，使得数量较少的数据能够在更深的网络中使用而得到更好的结构，∩net的网络更深，加入残差连接能够增强网络的有效性。
[0178]
在本公开中，所述基于所述边缘约束矩阵及边缘权重矩阵得到邻接矩阵的方法，
包括：将所述边缘约束矩阵及边缘权重矩阵进行元素级的相乘，得到邻接矩阵。
[0179]
在本公开中，所述基于所述图卷积网络，利用所述邻接矩阵及所述拼接特征实现慢阻肺的识别以及/或分级的方法，包括：将所述邻接矩阵及所述拼接特征进行矩阵乘法操作，得到邻接特征矩阵；所述邻接特征矩阵经过全连接层(fc)，得到邻接特征向量gn(v
(l)
)；并将所述邻接特征向量gn(v
(l)
)与所述拼接特征v
(l)
进行拼接，得到分类向量(v
(l 1)
)；并利用所述分类向量进行慢阻肺的识别以及/或分级。
[0180]
具体地说，边缘权重矩阵w与边缘约束矩阵e逐元素相乘(element-wise multiplication)，得到的矩阵就是用于图网络的邻接矩阵；邻接矩阵与输入节点的拼接特征v
(l)
进行矩阵乘法，这一步对节点矩阵进行了更新，更新后再通过全连接层就得到了结果gn(v
(l)
)，随后在与这一层的拼接特征v
(l)
串联，就得到了这一层的结果。在最后一层，gn(v
(last)
)不与输入节点串联，而是将未知节点的输出直接输入到softmax层，对输出进行归一化处理，进而得到未知节点的最终预测。
[0181]
在本公开另一个实施例及其他可能的实施例中，所述慢阻肺(慢性阻塞性肺病)的识别或分级方法，包括：获取待处理的肺图像及预设识别模型；对所述待处理的肺图像按照设定的多个角度进行投影，得到多个投影图像；基于所述预设识别模型，利用所述多个投影图像，完成对所述待处理的肺图像的慢阻肺识别或分级。
[0182]
获取待处理的肺图像及预设识别模型。
[0183]
在本公开的实施例及其他可能的实施例中，所述的预设识别模型，可以为基于机器学习的分类模型，例如支持向量机(svm)、多层感知机(mlp)、随机森林(rf)、k近邻(knn)、逻辑回归(lr)、决策树(dt)、梯度提升(gb)、线性判别分析(lda)等的一种或几种。所述的预设识别模型，可以为深度学习的分类模型，例如，resnet网络。具体详见图5的详细说明。
[0184]
图5示出根据本公开实施例的基于深度学习的分类模型。如图5所示，conv表示卷积(层)，s表示步长，pool表示池化层，avg pool表示平均池化层，fc表示全连接层，copd表示确定为患有慢阻肺，而hc表示确定为不患有慢阻肺(健康人)；具体地说，基于深度学习的分类模型，包括：四个模块；每个模块重复两次，两个模块之间是shortcut连接方式，模块内主要包含卷积层，卷积层conv的卷积核有3
×
3和1
×
1两种，网络最后是平均池化层avg pool和全连接层fc。resnet26和resnet50的差异主要是模块数量不同，resnet26的模块数量是(2,2,2,2)，而resnet50的模块数量是(3,4,6,3)。resnet26和resnet26d的差异主要是在每个模块的降采样操作中。resnet26网络在每个模块都有降采样操作，如图5所示，有两个通路，左边的通路是三个卷积层，卷积核分别是1
×
1，3
×
3，1
×
1。卷积核的步长分别是2，1，1。右边的通路是一个卷积层，卷积核是1
×
1，卷积核的步长是2。resnet26d与resnet26的主要区别在于，其左边通路的卷积核的步长分别是1，2，1。在本公开中，迁移学习策略是resnet-26d避免过拟合的有效方法。本研究采用了来自imagenet预训练模型的resnet卷积权值，在此基础上利用本研究数据集对全连接层和输出层进行训练。
[0185]
对所述待处理的肺图像按照设定的多个角度进行投影，得到多个投影图像。
[0186]
在本公开的实施例及其他可能的实施例中，所述设定的多个角度至少可为1个设定的角度，例如可以为所述待处理的肺图像对应的横断面、冠状面、矢状面对应的任一角度。也就是说，所述待处理的肺图像可为在xyz平面内的图像，可以分别按照xyz平面的3个设定角度(x方向的角度、y方向的角度、z方向的角度)进行投影，得到多个投影图像(横断面
的投影图像、冠状面的投影图像、矢状面的投影图像)，同时本公开不对设定的多个角度进行限制，例如设定的多个角度也可为按照xy平面、yz平面、xz平面的x方向、y方向、z方向的30
°
、45
°
、60
°
等角度。
[0187]
在本公开中，所述对所述待处理的肺图像按照设定的多个角度进行投影，得到多个投影图像的方法，包括：获取设定的多个角度及投影准则；基于设定的多个角度，分别按照所述投影准则，对所述待处理的肺图像进行投影，得到多个投影图像。
[0188]
在本公开的实施例及其他可能的实施例中，所述投影准则可为最大密度投影准则(maximum intensity projection,mip)或者最小密度投影准则，也可为某一个密度区间投影准则。例如，按照最大密度投影准则将所述待处理的肺图像按照z轴方向取最大值进行投影，得到相应的投影图像。同时，也可以最大密度投影准则将所述待处理的肺图像，分别按照x轴及y轴方向取最大值进行投影，得到相应的2个投影图像。
[0189]
例如，所述待处理的肺图像为ct图像，所述的ct图像具有3层xy图像，分别为按照z轴方向取最大值进行投影，得到相应的投影图像
[0190]
又例如，所述待处理的肺图像为ct图像，所述的ct图像具有3层xy图像，分别为按照z轴方向取最小值进行投影，得到相应的投影图像
[0191]
同时，本公开提出了一种密度区间投影准则，以便提取设定密度区间进行投影，得到感兴趣密度对应的投影，以便更好进行慢阻肺识别。其中；基于设定的多个角度，分别按照所述密度区间投影准则，对所述待处理的肺图像进行投影，得到多个投影图像的方法，包括：分别按照设定的多个角度，选择所述待处理的肺图像在设定密度区间内的数值，将所述设定密度区间内的数值进行叠加投影，得到多个投影图像。
[0192]
例如，所述待处理的肺图像为ct图像，所述的ct图像具有3层xy图像，分别为第一xy图像第二xy图像第三xy图像按照z轴方向取设定密度区间[1,3]进行投影，得到相应的投影图像具体地说，投影图像第一行第一列的的2为在设定密度区间[1,3]内的第一个xy图像第一行第一列的1加上第二xy图像第一行第一列的1得到；由于第三xy图像第一行第一列的5不在设定密度区间[1,3]内，因此不对5与其他数值进行相加。
[0193]
基于所述预设识别模型，利用所述多个投影图像，完成对所述待处理的肺图像的慢阻肺识别。
[0194]
在本公开中，所述基于所述预设识别或分级模型，利用所述多个投影图像，完成对所述待处理的肺图像的慢阻肺识别或分级的方法，包括：分别将所述多个投影图像输入所述预设识别或分级模型，得到多个第一分类结果；分别对所述多个第一分类结果中的患慢阻肺及未患慢阻肺的结果进行统计，得到患慢阻肺的第一统计结果及未患慢阻肺的第二统计结果；若所述第一统计结果大于所述第二统计结果，则确定为患有慢阻肺；否则，确定为不患有慢阻肺。
[0195]
例如，在本公开的实施例及其他可能的实施例中，分别将3个投影图像(横断面的投影图像、冠状面的投影图像、矢状面的投影图像)输入图5的预设识别模型中，所述的预设识别模型输入对应的3个第一分类结果；分别对所述3个第一分类结果中的患慢阻肺及未患慢阻肺的结果进行统计，得到患慢阻肺的第一统计结果(2个)及未患慢阻肺的第二统计结果(1个)；此时所述第一统计结果(2个)大于所述第二统计结果(1个)，则确定为患有慢阻肺。
[0196]
在本公开的实施例及其他可能的实施例中，所述对所述待处理的肺图像按照设定的多个角度进行投影，得到多个投影图像之前，还包括：对所述待处理的肺图像执行肺实质分割操作，得到肺实质图像；对所述肺实质图像按照设定的多个角度进行投影，得到多个投影图像；进而，基于所述预设识别模型，利用所述多个投影图像，完成对所述待处理的肺图像的慢阻肺识别。
[0197]
在本公开的实施例及其他可能的实施例中，对所述待处理的肺图像执行肺实质分割操作，得到肺实质图像的方法，包括：获取肺分割模型；基于所述肺分割模型对所述待处理的肺图像执行肺实质分割操作，得到肺实质图像。分割模型可以是基于传统分割算法的肺分割模型，也可以是基于深度学习的肺分割模型，例如基于u-net，或u-resnet的肺分割模型，其模型的训练方法为本领域技术人员惯用的技术手段，本公开再此不再进行详细说明。
[0198]
在本公开中，所述对所述待处理的肺图像按照设定的多个角度进行投影，得到多个投影图像之前，还包括：对所述待处理的肺图像执行肺实质分割操作，得到肺实质图像；基于影像组学计算模型，计算所述肺实质图像对应的预设的影像组学特征；基于所述预设识别模型，利用所述多个投影图像及所述预设的影像组学特征，完成对所述待处理的肺图像的慢阻肺识别。
[0199]
在本公开的实施例及其他可能的实施例中，对所述待处理的肺图像执行肺实质分割操作，得到肺实质图像的方法，包括：获取肺分割模型；基于所述肺分割模型对所述待处理的肺图像执行肺实质分割操作，得到肺实质图像。分割模型可以是基于传统分割算法的肺分割模型，也可以是基于深度学习的肺分割模型，例如基于u-net，或u-resnet的肺分割模型。
[0200]
在本公开中，基于所述预设识别模型，利用所述多个投影图像及所述预设的影像组学特征，完成对所述待处理的肺图像的慢阻肺识别的方法，包括：获取预设卷积神经网络；利用所述预设卷积神经网络，分别对所述多个投影图像进行特征提取，得到多组卷积特征；对所述多组卷积特征及所述预设的影像组学特征进行融合，得到识别特征；基于所述预设识别模型，利用所述识别特征，完成对所述待处理的肺图像的慢阻肺识别。
[0201]
在本公开的实施例及其他可能的实施例中，所述预设卷积神经网络可选择图5公开的模型，分别对所述多个投影图像进行特征提取，得到多组卷积特征；同时，也可选择文章med3d:transfer learning for 3d medical image analysis.(chen,s.,k.ma and y.zheng)提出的分割模型，然而只需采用分割模型其中的编码结构3d resnet10或3d resnet18或3d resnet34提取所述肺实质图像的卷积特征。进而，对所述多组卷积特征及所述预设的影像组学特征进行融合，得到识别特征；基于所述预设识别模型中的支持向量机(svm)、多层感知机(mlp)、随机森林(rf)、k近邻(knn)、逻辑回归(lr)、决策树(dt)、梯度提
升(gb)、线性判别分析(lda)等的一种或几种，利用所述识别特征，完成对所述待处理的肺图像的慢阻肺识别。
[0202]
在本公开中，提出了一种卷积特征及影像组学特征的融合方法，以提高慢阻肺识别的准确性。具体地说，所述对所述多组卷积特征及所述预设的影像组学特征进行融合，得到识别特征的方法，包括：分别将所述影像组学特征与所述多组卷积特征的每一组卷积特征进行融合，得到多组识别特征；基于所述预设识别模型，分别利用所述多组识别特征，完成对所述待处理的肺图像的慢阻肺识别。
[0203]
在本公开的实施例及其他可能的实施例中，所述分别将所述影像组学特征与所述多组卷积特征的每一组卷积特征进行融合，得到多组识别特征的方法，包括：分别将所述影像组学特征与所述多组卷积特征的每一组卷积特征进行拼接操作，得到多组识别特征。
[0204]
在本公开的实施例及其他可能的实施例中，所述影像组学特征与所述多组卷积特征都为分割后的肺实质图像对应的影像组学特征及多组卷积特征。
[0205]
例如，所述待处理的肺图像的多个投影图像(横断面的投影图像、冠状面的投影图像、矢状面的投影图像)或肺分割后肺实质图像的多个投影图像(横断面的投影图像、冠状面的投影图像、矢状面的投影图像)对应的多组卷积特征分别为第一组卷积特征为[1，2，3]，第二组卷积特征为[4，5，6]，第一组卷积特征为[7，8，9]，所述影像组学特征为[1，1，1]，分别将所述影像组学特征与所述多组卷积特征的每一组卷积特征进行拼接操作，得到多组识别特征分别为[1，2，3，1，1，1]，[4，5，6，1，1，1]，[7，8，9，1，1，1]。其中，所述影像组学特征与所述多组卷积特征为同一所述待处理的肺图像对应的影像组学特征与多组卷积特征。
[0206]
在本公开的实施例及其他可能的实施例中，无论是基于所述预设识别模型，利用所述多个投影图像，完成对所述待处理的肺图像的慢阻肺识别；还是基于所述预设识别模型，分别利用所述多组识别特征，完成对所述待处理的肺图像的慢阻肺识别；都需要先对所述预设识别模型进行训练，进而基于已训练的所述预设识别模型完成对所述待处理的肺图像的慢阻肺识别。同时，对于所述预设识别模型进行训练的方法，是本领域技术人员惯用的技术手段，本公开不再进行详细说明。
[0207]
基于上述，在本公开中，所述基于所述预设识别模型，分别利用所述多组识别特征，完成对所述待处理的肺图像的慢阻肺识别的方法，包括：分别将所述多组识别特征输入所述预设识别模型，得到多个第二分类结果，分别对所述多个第二分类结果中的患慢阻肺及未患慢阻肺的结果进行统计，得到患慢阻肺的第三统计结果及未患慢阻肺的第四统计结果；若所述第三统计结果大于所述第四统计结果，则确定为患有慢阻肺；否则，确定为不患有慢阻肺。
[0208]
在本公开的实施例及其他可能的实施例中，分别将3个投影图像(横断面的投影图像、冠状面的投影图像、矢状面的投影图像)对应的述多组卷积特征及预设的影像组学特征进行拼接操作，得到3组识别特征；将3组识别特征输入预设识别模型中，所述的预设识别模型输入对应的3个第二分类结果；分别对所述3个第二分类结果中的患慢阻肺及未患慢阻肺的结果进行统计，得到患慢阻肺的第三统计结果(2个)及未患慢阻肺的第四统计结果(1个)；此时所述第三统计结果(2个)大于所述第四统计结果(1个)，则确定为患有慢阻肺。
[0209]
在本公开的实施例中，所述肺图像，包括：吸气相肺图像及呼气相肺图像；执行所述吸气相肺图像及呼气相肺图像的配准操作，得到吸气到呼气对应的位移参数；对所述设
定局部特征、全局特征及位移参数进行融合，得到融合特征。
[0210]
在本公开的实施例中，在所述执行所述吸气相肺图像及呼气相肺图像的配准操作之前，分别对所述吸气相肺图像及所述呼气相肺图像进行肺区域分割，得到对应的吸气相肺区域图像及呼气相肺区域图像；执行所述吸气相肺区域及呼气相肺区域的配准操作，得到吸气到呼气对应的位移参数。
[0211]
在本公开的实施例及其他可能的实施例中，配准的算法可以使用弹性配准算法或者利用深度学习中的vgg网络(vgg-net)进行配准，例如论文deformable image registration using convolutional nerual networks或者u网络(u-net)介绍的配准模型，例如论文pulmonary ct registration through supervised learning with convolutional neural networks介绍的配准模型。本公开不对具体的配准算法进行限定。
[0212]
在本公开的实施例及其他可能的实施例中，所述吸气到呼气对应的位移参数至少包括：运动距离，所述运动距离可采用欧式距离公式进行计算。在本公开的实施例中，所述对所述设定局部特征、全局特征及位移参数进行融合，得到融合特征的方法，包括：对所述设定局部特征、全局特征及位移参数进行拼接，得到融合特征。
[0213]
另外，本公开实施例还公开了一种肺图像的处理方法，用于慢阻肺的识别，所述肺图像的处理方法，包括：获取预设分类模型、待处理的肺图像及其对应的肺区域图像及气道图像；分别基于所述预设分类模型，利用所述待处理的肺图像、所述肺区域图像及所述气道图像得到对应的第一分类结果、第二分类结果及第三分类结果；基于所述第一分类结果、所述第二分类结果及所述第三分类结果，进行慢阻肺的识别。
[0214]
获取预设分类模型、待处理的肺图像及其对应的肺区域图像及气道图像。
[0215]
在本公开的实施例及其他可能的实施例中，所述肺图像可以为ct图像或者mr图像或者dr图像的一种或几种。又例如，在本公开的实施例及其他可能实施例中，首先获取待处理的肺图像，此处的待处理的肺图像可以从影像设备，如ct机，得到的层扫描数据。所述待处理的肺图像可为ct图像。同时，所述待处理的肺图像还可以为mri肺图像或ct-pet肺图像等，本领域人员可根据需要选择合适的肺图像。
[0216]
在本公开中，在所述获取待处理的肺图像对应的肺区域图像及气道图像之前，包括：获取待处理的肺图像；分别对所述待处理的肺图像进行肺区域分割及气道提取，得到肺区域图像及气道图像。
[0217]
在本公开的实施例及其他可能的实施例中，对所述待处理的肺图像进行气道提取(气道分割)可采用mimics软件(materialise公司，比利时)的“深层气道分割”模块，以半自动方式从所述待处理的肺图像中提取三维气道树，得到气道图像。
[0218]
在本公开的实施例及其他可能的实施例中，对所述待处理的肺图像进行肺区域分割，可使用nnu-net模型对所述待处理的肺图像的肺部区域进行分割。isensee等人提出了用于生物医学图像分割的nnu-net模型，它在brats 2020挑战的分割任务中提供了最好性能。该模型可以自动配置，包括预处理、网络结构、训练和后处理。本公开在lola11挑战赛的数据集上对nnu-net模型进行了预训练，并在本公开的数据集上对其进行了微调，以完成肺部区域分割任务，得到肺区域图像。对于本领域人员来说，对预训练的模型进行微调以完成肺部区域分割任务是本领域人员惯用的技术手段，不存在任何技术障碍，在此本公开的实施例中不再进行详细描述。
[0219]
分别基于所述预设分类模型，利用所述待处理的肺图像、所述肺区域图像及所述气道图像得到对应的第一分类结果、第二分类结果及第三分类结果。
[0220]
在本公开的实施例及其他可能的实施例中，所述的预设分类模型可为基于深度学习的分类模型。例如，vgg16、vgg19、inceptionv3、xception、mobilenet、alexnet、lenet、zf_net、resnet18、resnet34、resnet50、resnet_101、resnet_152等分类模型是一种或几种。
[0221]
例如，可将所述待处理的肺图像输入已训练的vgg16得到对应的第一分类结果，可将所述肺区域图像输入已训练的resnet18得到对应的第二分类结果，可将所述气道图像输入已训练的alexnet得到对应的第三分类结果。
[0222]
同时，本公开提出了一种基于图像的分类方法，可充分将基于图像提取的特征及对应的权重进行融合，得到出色的分类特征。具体地说，在本公开中，所述分别基于所述预设分类模型，利用所述待处理的肺图像、所述肺区域图像及所述气道图像得到对应的第一分类结果、第二分类结果及第三分类结果的方法，包括：基于所述预设分类模型，分别对所述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征；分别计算所述第一组特征、第二组特征及第三组特征对应的权重矩阵；分别将所述第一组特征、第二组特征及第三组特征及对应的权重矩阵进行融合，得到第一分类特征、第二分类特征及第三分类特征；分别基于所述第一分类特征、所述第二分类特征及所述第三分类特征，得到对应的第一分类结果、第二分类结果及第三分类结果。其中，所述第一分类结果、第二分类结果及第三分类结果为患有慢阻肺或未患有慢阻肺。
[0223]
例如，所述预设分类模型选择vgg16，基于vgg16，分别对所述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征；分别将所述第一组特征、第二组特征及第三组特征输入全连接层(fc)，得到所述第一组特征、第二组特征及第三组特征对应的第一权重矩阵、第二权重矩阵及第三权重矩阵；所述第一组特征、第二组特征及第三组特征分别乘以对应的第一权重矩阵、第二权重矩阵及第三权重矩阵，得到第一分类特征、第二分类特征及第三分类特征。进一步地，分别基于所述第一分类特征、所述第二分类特征及所述第三分类特征，得到对应的第一分类结果、第二分类结果及第三分类结果。
[0224]
在本公开的实施例及其他可能的实施例中，用于产生所述第一分类结果、第二分类结果及第三分类结果的分类模型，可以为基于机器学习的分类模型，例如支持向量机(svm)、多层感知机(mlp)、随机森林(rf)、k近邻(knn)、逻辑回归(lr)、决策树(dt)、梯度提升(gb)、线性判别分析(lda)等的一种或几种；可以为深度学习的分类模型。
[0225]
例如，分别将所述第一分类特征、所述第二分类特征及所述第三分类特征输入多层感知机(mlp)，得到所述第一分类特征、所述第二分类特征及所述第三分类特征对应的第一分类结果、第二分类结果及第三分类结果。
[0226]
在本公开中，所述分别将所述第一组特征、第二组特征及第三组特征及对应的权重矩阵进行融合，得到第一分类特征、第二分类特征及第三分类特征的方法，包括：分别将所述第一组特征、第二组特征及第三组特征及对应的权重矩阵执行矩阵乘法操作，得到第一分类特征、第二分类特征及第三分类特征。
[0227]
例如，所述第一组特征、第二组特征及第三组特征的维度分别为k1
×
n1、k2
×
n2、
k3
×
n3，所述第一组特征、第二组特征及第三组特征及对应的第一权重矩阵、第二权重矩阵、第三权重矩阵的维度分别为k1
×
1、k2
×
1、k3
×
1，分别将所述第一组特征、第二组特征及第三组特征及对应的第一权重矩阵、第二权重矩阵、第三权重矩阵执行矩阵乘法操作，得到第一分类特征、第二分类特征及第三分类特征的维度为1
×
n1、1
×
n2、1
×
n3。
[0228]
图6示出根据本公开实施例的预设分类模型对应的网络结构示意图。如图6所示，提出的预设分类模型实质上为一种注意力机制的多实例(mil)方法对应的模型，图6仅显示了待处理的肺图像对应的第一分类结果，将待处理的肺图像替换为肺区域图像及气道图像，即可得到肺区域图像及气道图像对应的第二分类结果及第三分类结果。
[0229]
在本公开的实施例及其他可能的实施例中，多示例学习(mil)的一些特征适用于医学应用。作为一种弱监督学习方法，mil大致包括实例级和个体级方法。在实例级方法中，所有的实例都被认为对个体标签的预测有同样的贡献，实例的预测通过集合和投票进行个体预测，而个体方法被设计为直接对个体进行分类。个体方法可以减少注释的工作量，因为没有必要进行像素和实例的标注。
[0230]
在本公开的实施例及其他可能的实施例中，本公开提出的一种基于注意力的mil方法，例如，所述的待处理的肺图像如ct图像，将ct图像的强度与气道和肺区的形态结合起来，以识别慢阻肺。本研究的主要贡献如下。首先，构建了一个注意力机制的mil模型，对受试者(个体)进行分类，并对每个受试者使用注意力机制对选定的切片(实例)进行加权。其次，利用三维气道树和肺区的多视角快照作为形态学信息来提高慢阻肺的识别性能。最后，采用逻辑回归(lr)模型来整合待处理的肺图像、肺区域图像和气道图像预分类，以产生最终输出。作为一种弱监督的学习方法，注意力机制引导的mil方法有可能为早期检测慢阻肺提供有效的工具。
[0231]
在图6中，利用特征提取模块，将待处理的肺图像的实例转化为k维的嵌入向量(第一分类特征)然后，利用多层感知器u
t
tanh(
t
)和softmax层从具有k维的嵌入向量h中产生一个注意力权重矩阵α。最后，通过对聚合的k个实例级特征向量应用一个函数f(
·
)，产生一个联合包层表示(第一分类特征)z
′
，该方程定义如下。
[0232]
α＝softmax[u
t
tanh(wh
t
)
ꢀꢀꢀꢀ
(1)
[0233][0234]
其中，包括k个实例特征向量，和是mil模块的学习参数，h是隐含层的维度。
[0235]
最后，全连接层fc是输出层，划分为两个类别。使用交叉熵损失作为模型中的损失函数。
[0236][0237]
其中，yi表示样本i的标签，pi表示预测正面输出(患有慢阻肺)的概率。
[0238]
同时，在本公开的实施例及其他可能的实施例中，肺区域图像或气道图像也可通过上述方法或模型，得到第二分类特征及第三分类特征，再次本公开不再进行详述。
[0239]
在本公开的实施例及其他可能的实施例中，所述分别对所述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征的方法，包括：获取设定的特征提取模型；基于所述设定的特征提取模型，分别对所
述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征。
[0240]
在本公开的实施例及其他可能的实施例中，所述设定的特征提取模型可为基于深度学习的特征提取模型。例如，vgg16、vgg19、inceptionv3、xception、mobilenet、alexnet、lenet、zf_net、resnet18、resnet34、resnet50、resnet_101、resnet_152等分类模型是一种或几种。具体地说，上述特征提取在分类之前，保存对应的特征为对应的第一组特征、第二组特征及第三组特征。
[0241]
例如，可将所述待处理的肺图像输入已训练的vgg16(删除分类层)得到对应的第一组特征，可将所述肺区域图像输入已训练的resnet18(删除分类层)得到对应的第二组特征，可将所述气道图像输入已训练的alexnet(删除分类层)得到对应的第三组特征。
[0242]
又例如，可将所述待处理的肺图像、所述肺区域图像、所述气道图像分别输入已训练的vgg16(删除分类层)得到对应的第一组特征、第二组特征及第三组特征。
[0243]
在本公开的实施例及其他可能的实施例中，所述分别对所述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征的方法，包括：获取预设特征提取模型，对所述预设特征提取模型进行训练，得到训练的特征提取模型；基于所述训练的特征提取模型，分别对所述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征。
[0244]
在本公开的实施例及其他可能的实施例中，上述cnn模型需要大量的标注数据来训练其权重和偏差。然而，在医学图像任务中，满足这一条件是困难的。迁移学习已被证明是一种比从头开始训练更好的方法。在此，修改后的vgg-16(删除分类层)特征提取模块在imagenet数据集(1.2m训练数据)上进行了预训练，并在我们的数据集上进行了微调。本公开同时将所有其他比较网络也采用了与vgg-16相同的迁移学习策略。
[0245]
例如，特征提取部分采用的是预训练的vgg-16模型。本公开的实施例中，只保留了vgg-16的卷积层部分，在我们的模型中用注意力mil池化模块取代了最后三个全连接(fc)层，得到修改后保留的vgg-16的结构。它包括13个卷积层和5个最大池化层。13个卷积层构成四个卷积块。conv1块依次有两个卷积层，其结果特征图的大小与输入图像相同，其维度为64，每个卷积层中使用的卷积核的数量也是64。conv2块也有两个依次排列的卷积层，其输出尺寸为128。conv3、conv4和conv5区块在每个块中依次有三个卷积层，分别有256、512和512个卷积核。每个conv块都进行了最大池化，这使得特征图的大小减少了一半。
[0246]
在本公开中，在所述分别对所述待处理的肺图像、所述肺区域图像及所述气道图像进行特征提取，得到对应的第一组特征、第二组特征及第三组特征之前，分别确定进行特征提取的所述待处理的肺图像、以及/或所述肺区域图像、以及/或所述气道图像对应的第一图像，以及/或第二图像、以及/或第三图像，其确定方法，包括：删除所述待处理的肺图像中非肺图像，得到包含肺的图像；根据获取的设定数目，对包含肺的图像进行提取，得到待特征提取对应的第一图像；对所述肺区域图像进行三维重建，得到三维肺区域图像；按照多个第一设定角度，对所述三维肺区域图像进行拍照，得到多个第一二维快照对应的第二图像；对所述气道图像进行三维重建，得到三维气道图像；按照多个第二设定角度，对所述三维气道图像进行拍照，得到多个第二二维快照对应的第三图像。其中，所述的第一设定角度可为三维气道(树)图像的正视图、背视图和斜45度视图或者其他可能的视图的一种或几
种；所述的第二设定角度可为前、后、左、右、上和下视图或其他角度的视图的一种或几种。
[0247]
在本公开的实施例及其他可能的实施例中，根据获取的设定数目，对包含肺的图像进行提取，得到待特征提取对应的第一图像的方法，包括：对包含肺的图像沿纵向平均分成所述设定数目的子部分；从每个子部分中随机选择(提取)一个切片，得待特征提取对应的第一图像。
[0248]
例如，所述待处理的肺图像可为待处理的肺图像，删除了ct图像序列的肺外部分，只保留了包含肺部区域的部分。然后，将预处理过的ct图像沿纵向进一步平均分成k个(设定数目)子部分。从每个子部分中随机选择一个ct切片，定义为一个实例。这k个实例构成了一个新的个体，用于作为mil模型(注意力机制的多实例模型)的输入。然后，将k个实例图像缩放为224
×
224像素，用python(3.9版)、simpleitk(2.1.1版)和numpy(1.22.1版)转换为.npy格式。每个.npy文件对应于一个个体。
[0249]
在上述分割的基础上截取快照。获得三维气道树的正视图、背视图和斜45度视图(即f、b和i视图)的快照。此外，还获得了肺区的前、后、左、右、上和下视图(即分别为a、p、l、r、s和d视图)中的二维快照。采用slicer的三维显示模块(https://www.slicer.org/)，用python脚本程序生成多视图快照。对所有慢阻肺患者和hc受试者进行自动批量处理。本公开中采用的二维快照是灰度图像，其大小在所有快照中被设置为224
×
224。
[0250]
基于所述第一分类结果、所述第二分类结果及所述第三分类结果，进行慢阻肺的识别。
[0251]
所述基于所述第一分类结果、所述第二分类结果及所述第三分类结果，进行慢阻肺的识别的方法，包括：分别确定所述第一分类结果、所述第二分类结果及所述第三分类结果对应的第一概率值、第二概率值及第三概率值；对所述第一概率值、所述第二概率值及所述第三概率值进行回归分析，进行慢阻肺的识别。
[0252]
急性加重的预测方法的执行主体可以是急性加重的预测装置，例如，急性加重的预测方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该急性加重的预测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
[0253]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0254]
本空开的实施例还公开了一种急性加重的预测装置，所述一种急性加重的预测装置，包括：获取单元，用于获取多个患者在第一时间及第二时间对应的急性加重次数、在所述第一时间的临床文本数据以及/或肺图像；确定单元，用于根据所述第一时间及第二时间对应的急性加重次数，确定训练标签；训练单元，用于利用所述临床文本数据以及/或所述肺图像及对应的所述训练标签对预设分类器进行训练；预测单元，用于基于训练的所述预设分类器，利用待预测患者在第一时间的临床文本数据以及/或肺图像，完成所述待预测患者在第二时间的急性加重预测。
[0255]
些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上
文方法实施例描述的急性加重的预测方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0256]
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述急性加重的预测方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
[0257]
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述急性加重的预测方法。电子设备可以被提供为终端、服务器或其它形态的设备。
[0258]
图7是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
[0259]
参照图7，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0260]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0261]
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0262]
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0263]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0264]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0265]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0266]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0267]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0268]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0269]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
[0270]
图8是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
[0271]
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0272]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
[0273]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0274]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储
设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0275]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0276]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0277]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0278]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0279]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的
指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0280]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0281]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。