医疗影像处理方法、装置、电子设备和存储介质与流程

1.本技术实施例涉及图像处理技术领域，并且更具体地，涉及一种医疗影像处理方法、装置、电子设备和存储介质。


背景技术：

2.随着多媒体技术的普及，人们在日常生活和生产活动中对图像的使用越来越频繁。医疗影像是图像的一种，大多数医疗影像都是医生在阅片之后就失去了利用价值，同时也需要存储空间对医疗影像进行存储，占用较多的存储资源，医疗影像的再次利用是一项亟待解决的技术问题。


技术实现要素：

3.本技术提供了一种医疗影像处理方法、装置、电子设备、芯片和计算机可读存储介质，通过对医疗影像的处理，促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高了疾病预后预测的准确性，从而辅助医生制定治疗方案，且增加了临床落地可行性。
4.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
5.根据本技术的一方面，提供了一种医疗影像处理方法，包括：
6.获取包括目标区域的三维医疗影像；
7.将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；
8.将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；
9.以第二网络输出的预测数据作为目标区域的预后预测结果。
10.根据本技术的一方面，提供了一种医疗影像处理装置，包括：
11.获取模块，用于获取包括目标区域的三维医疗影像；
12.输入模块，用于将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；
13.输入模块，还用于将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；
14.处理模块，用于以第二网络输出的预测数据作为目标区域的预后预测结果。
15.根据本技术的一方面，提供了一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行上述医疗影像处理方法的步骤。
16.根据本技术的一方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得该处理器执行上述医疗影像处理方法的步骤。
17.根据本技术的一方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行上述医疗影像处理方法的步骤。
18.基于上述技术方案，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。
19.本技术实施例的其他特性和优点将通过下面的详细描述变得显然，或者部分通过本技术的实践而习得。
20.应理解，以上的一般描述和后文的细节描述仅是示例性的，并不对本技术构成限定。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1示意性示出了根据本技术的一个实施例中提供的医疗影像处理方法的应用场景图；
23.图2示意性示出了根据本技术的一实施例的医疗影像处理方法的流程图；
24.图3示意性示出了根据本技术的一实施例的医疗预后预测模型的训练方法的流程图；
25.图4示意性示出了根据本技术的一实施例的医疗预后预测模型的示意性图；
26.图5示意性示出了根据本技术的一实施例的医疗影像处理装置的框图；
27.图6示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
28.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本技术的描述将更加全面的完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图为本技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
29.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本技术的示例实施方式的充
分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而省略特定细节中的一个或更多，或者可以采用其他的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本技术的各方面变得模糊。
30.附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络、处理器装置或者微控制装置中现实这些功能实体。
31.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本技术可以基于人工智能技术进行多说话人场景识别以及多说话人场景识别网络训练。
32.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，也即使机器具有学习能力。
33.其中，机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门科学。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络(如卷积神经网络)、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
34.人工智能结合云服务，也可以实现人工智能云服务，一般也被称作是ai即服务(ai as a service，aiaas)。这是目前主流的一种人工智能平台的服务方式，具体来说aiaas平台会把几类常见的ai服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个ai主题商城：所有的开发者都可以通过应用程序接口(application programming interface，api)接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的ai框架和ai基础设施来部署和运维自已专属的云人工智能服务。
35.图1为一个实施例中提供的医疗影像处理方法的应用场景图，如图1所示，在该应用场景中，包括终端110和服务器120。
36.在一些实现方式中，可以通过服务器120对医疗预后预测模型(第一网络和第二网络)进行训练。服务器120获取到训练好的医疗预后预测模型后，可以将其部署在图像处理应用中，终端110可以安装该图像处理应用，当终端110获取得到包括目标区域的三维医疗影像之后，用户可以通过相应的操作发出图像处理指令，终端110可以接收图像处理指令，将获取的包括目标区域的三维医疗影像作为待处理图像进行图像处理，得到目标区域的预后预测结果。例如，在目标区域为脑出血区域的情况下，目标区域的预后预测结果可以是脑出血预后预测结果(例如，0代表脑出血区域的出血扩大，1代表脑出血区域的出血不扩大；
或反之)。在目标区域为反映其他类型的疾病的区域时，目标区域的预后预测结果也类似，在此不再赘述。
37.上述图像处理应用可以是疾病治疗或预防类应用程序，该疾病治疗或预防类应用程序还可以具有数据记录、音视频播放、特征标注、治疗或预防方案生成和修改、翻译、数据查询等功能。
38.在另一些实现方式中，可以通过终端110对医疗预后预测模型(第一网络和第二网络)进行训练。当终端110获取得到包括目标区域的三维医疗影像之后，用户可以通过相应的操作发出图像处理指令，终端110可以接收图像处理指令，将获取的包括目标区域的三维医疗影像作为待处理图像进行图像处理，得到目标区域的预后预测结果。例如，在目标区域为脑出血区域的情况下，目标区域的预后预测结果可以是脑出血预后预测结果(例如，0代表脑出血区域的出血扩大，1代表脑出血区域的出血不扩大；或反之)。
39.可以理解，上述应用场景仅是一个示例，并不能构成对本技术实施例提供的医疗影像处理方法的限制。例如，训练好的医疗预后预测模型(第一网络和第二网络)可以存储在服务器120中，服务器120可以接收终端110发送的包括目标区域的三维医疗影像，对包括目标区域的三维医疗影像进行图像处理得到目标区域的预后预测结果后返回到终端110中。
40.其中，上述包括目标区域的三维医疗影像可以是电脑断层扫描(computed tomography，ct)影像、核磁共振成像(nuclear magnetic resonance imaging，nmri)影像等三维医疗影像。
41.服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、以及智能手表等，但并不局限于此。终端110和服务器120可以通过有线或者无线通信方式进行直接或间接地连接，本技术对此并不限定。
42.在一些实施例中，目标区域包括以下之一：
43.脑出血区域、脑血栓区域、脑积水区域、肿瘤区域、结石区域、心脏病变区域、肺部癌变区域。
44.为便于更好的理解本技术实施例，对脑出血进行说明。
45.脑出血(cerebral hemorrhage)是指非外伤性脑实质内血管破裂引起的出血，发生的原因主要与脑血管的病变有关，即与高血脂、糖尿病、高血压、血管的老化、吸烟等密切相关。脑出血的患者往往由于情绪激动、费劲用力时突然发病，早期死亡率很高，幸存者中多数留有不同程度的运动障碍、认知障碍、言语吞咽障碍等后遗症。
46.对于脑出血，颅脑ct扫描可显示出血部位、出血量大小、血肿形态、是否破入脑室以及血肿周围有无低密度水肿带和占位效应等。病灶多呈圆形或卵圆形均匀高密度区，边界清楚，脑室大量积血时多呈高密度铸型，脑室扩大。1周后血肿周围有环形增强，血肿吸收后呈低密度或囊性变。动态ct检查还可评价出血的进展情况。
47.为便于更好的理解本技术实施例，对roi区域进行说明。
48.对于感兴趣区域(region of interest，roi)区域，就是从图像中选择一个图像区
域，这个区域就是图像分析所关注的焦点。通过圈定roi区域，那么要处理的图像就从大图像变为一个小图像区域了，这样以便进行进一步处理，可以大大减小处理时间。
49.为便于更好的理解本技术实施例，对疾病预后预测进行说明。
50.疾病预后是指疾病发生后，对疾病未来发展的病程和结局(痊愈、复发、恶化、致残、并发症和死亡等)的预测。疾病预后可以利用多种信息，例如临床病历信息，以及更加直观的影像信息等。在临床上，医学影像中包含的大量信息给疾病预后提供了重要的依据。
51.现阶段，针对某一特定问题，需要进行区域分割、特征提取与模型建立三大步骤。区域分割即进行感兴趣区域(roi)标注，通常我们只关注影像中某些部位的特征，而不是整个影像，所以需要先分割出感兴趣区域。然后提取感兴趣区域的特征，之后再进行特征筛选，最终对筛选后的特征进行简单的线性回归或者逻辑回归模型建模。特征筛选的方法，是逐一判断每个特征在正负样本上的分布是否具有显著性差异。
52.然而，现阶段roi需要手动标注耗时长、引入人为标注误差、且降低临床接受度。在新的任务上，需要再进行针对性的特征筛选，才能进行模型开发，迁移性弱，开发周期长。准确率有限，因为采用的线性回归模型较为简单，不能处理各个特征之间复杂、高维的关系，可能无法较好拟合训练数据，出现模型欠拟合。
53.为了提高疾病预后预测的效率和准确性，本技术提出了一种医疗影像处理方案，可以高效、高质量的开发医疗预后预测模型，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。
54.需要说明的是，本技术实施例主要以脑出血为例进行疾病的预后预测，即目标区域为脑出血区域，预测脑出血区域的出血是否扩大。当然，还可以基于本技术实施例的方案对心脏病、脑血栓、脑积水、肺癌、肿瘤、结石等疾病进行预测，尤其是血管类疾病进行预测，本技术实施例对此并不限定。
55.下面对本技术实施例的具体实施过程进行详细的描述。
56.图2示出了根据本技术的一个实施例的医疗影像处理方法200的示意性流程图，该医疗影像处理方法200可以由具有计算处理能力的设备来执行，例如，上述终端110或服务器120。参照图2所示，该医疗影像处理方法200至少可以包括s210至s240，详细介绍如下：
57.在s210中，获取包括目标区域的三维医疗影像。
58.在一些实施例中，目标区域包括但不限于以下之一：
59.脑出血区域、脑血栓区域、脑积水区域、肿瘤区域、结石区域、心脏病变区域、肺部癌变区域。
60.具体的，包括目标区域的三维医疗影像可以是患者在术前和/或术后拍摄的反映
患者病灶的一张或多张三维影像。
61.例如，在目标区域为脑出血区域的情况下，上述三维医疗影像可以是脑出血患者在术前和/或术后拍摄的反映脑出血病灶的一张或多张三维影像。
62.需要说明的是，本技术对目标区域的大小、尺寸、形状，以及在三维医疗影像中的位置等参数不作限定，目标区域可以根据实际需求灵活设置。
63.在一些实施例中，上述三维医疗影像可以包括但不限于以下之一：
64.计算机断层扫描(computed tomography，ct)影像、核磁共振成像(nuclear magnetic resonance imaging，nmri)影像、正子发射断层扫描(positron emission tomography，pet)影像、医学超音波检查(medical ultrasonography)影像、正子发射电脑断层扫描(positron emission tomography with computerized tomography，pet/ct)影像、单一光子发射电脑断层扫描(single photon emission computed tomography with computerized tomography，spect/ct)影像。
65.ct影像：利用精确准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。
66.核磁共振成像：是利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。核磁共振成像采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。核磁共振成像能够从人体分子内部反映出人体器官失常和早期病变。
67.在s220中，将三维医疗影像输入医疗预后预测模型，通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列。
68.需要说明的是，医疗预后预测模型可以是预先训练好的，即医疗预后预测模型的模型参数已处于最优的状态。
69.具体的，医疗预后预测模型中的第一网络可以将三维医疗影像拆解为一系列二维影像切片，以及对三维医疗影像的每一层(二维影像切片)进行特征提取，得到三维医疗影像对应的二维影像特征序列。
70.本技术实施例对每一层所提取的特征的具体形式不作限定，可以根据实际需求灵活选取。此外，本技术实施例对三维医疗影像具体拆解的层数不作限定，可以根据实际需求灵活选取。
71.例如，脑部ct有10层，每层可以通过医疗预后预测模型中的第一网络提取一个2048维度的特征。
72.在s230中，将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络。
73.在s240中，以第二网络输出的预测数据作为目标区域的预后预测结果。
74.具体的，医疗预后预测模型的第二网络具有对序列输入的记忆能力，并在序列输入完成之后，进行输出，此时的输出结果即代表对整个序列的预测。
75.在一些实施例中，医疗预后预测模型的第二网络可以将依次输入的二维影像特征
序列中的二维影像特征进行融合，以及基于融合之后的特征进行预测。也即，上述预测数据是基于二维影像特征序列中的二维影像特征融合之后的特征确定的。
76.在一些实施例中，可以通过第二网络对二维影像特征进行特征融合，得到影像融合特征；基于影像融合特征，生成目标区域的预测数据；以及以该预测数据作为目标区域的预后预测结果。
77.也即，第二网络可以对依次输入的二维影像特征序列中的二维影像特征进行融合，得到影像融合特征，以及基于影像融合特征进行预测。
78.在一些实施例中，第一网络为卷积神经网络(convolutional neural networks，cnn)，第二网络为递归神经网络(recurrent neural networks，rnn)。
79.在一些实施例中，医疗预后预测模型输出的预测数据可以是二分类结果。例如，在目标区域为脑出血区域的情况下，预测数据0代表出血扩大，预测数据1代表出血不扩大；或反之。
80.作为一个示例，将患者的脑部ct作为医疗预后预测模型的输入，医疗预后预测模型中的cnn(第一网络)可以提取脑部ct的每一层扫描图像的特征，特征表现为向量形式，以resnet50网络为例，提取的脑部ct每一层特征为2048维向量。提取到的脑部ct单层特征将按顺序输入医疗预后预测模型中的rnn(第二网络模型)，rnn可以处理序列化的输入，并且在脑部ct单层特征输入完毕之后输出一个预测值。例如，脑部ct有10层，每层可以通过cnn提取一个2048维度的特征。然后这10层特征需要按照顺序输入rnn，只取第10层特征输入完成之后rnn输出的值当做最后的预测值。rnn具有对序列输入的记忆能力，选取序列输入完成之后的rnn的输出，就可以代表对整个输入序列的预测，也就是说这个预测是针对整个脑部ct的。该预测值介于0和1之间，代表医疗预后预测模型对该患者脑出血的血肿是否会扩大的判断，预测值越靠近0代表脑部血肿越不可能扩大，预测值越靠近1代表脑部血肿越可能扩大。从而给医生制定治疗方案提供参考。
81.对于脑出血，预后预测就是预测患者的脑部出血体积是否继续扩大，因为脑部出血体积是否继续扩大与患者最终生存或恢复状况有关，准确预测脑出血是否扩大，可以协助医生及早发现存在出血扩大风险的病人，及早采取相应的治疗，提高患者的生存状况。
82.因此，在本技术实施例中，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。
83.图3示出了根据本技术的一个实施例的医疗预后预测模型的训练方法300的示意性流程图，该医疗预后预测模型的训练方法300可以由具有计算处理能力的设备来执行，例如，上述终端110或服务器120。参照图3所示，该医疗预后预测模型的训练方法300至少可以
包括s310至s320，详细介绍如下：
84.s310中，获取训练样本集，该训练样本集中的各个训练样本包含包括目标区域的三维医疗影像以及配对的医疗标签。
85.在一些实施例中，目标区域包括但不限于以下之一：
86.脑出血区域、脑血栓区域、脑积水区域、肿瘤区域、结石区域、心脏病变区域、肺部癌变区域。
87.具体的，训练样本中包括目标区域的三维医疗影像可以是患者在术前和/或术后拍摄的反映患者病灶的一张或多张三维影像。
88.例如，在目标区域为脑出血区域的情况下，上述训练样本中包括的三维医疗影像可以是脑出血患者在术前和/或术后拍摄的反映脑出血病灶的一张或多张三维影像。
89.需要说明的是，本技术对目标区域的大小、尺寸、形状，以及在三维医疗影像中的位置等参数不作限定，目标区域可以根据实际需求灵活设置。
90.在一些实施例中，上述训练样本中包括的三维医疗影像可以包括但不限于以下之一：
91.计算机断层扫描(ct)影像、核磁共振成像(nmri)影像、正子发射断层扫描(pet)影像、医学超音波检查(medical ultrasonography)影像、正子发射电脑断层扫描(pet/ct)影像、单一光子发射电脑断层扫描(spect/ct)影像。
92.ct影像：利用精确准直的x线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。
93.核磁共振成像：是利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。核磁共振成像采用静磁场和射频磁场使人体组织成像，在成像过程中，既不用电子离辐射、也不用造影剂就可获得高对比度的清晰图像。核磁共振成像能够从人体分子内部反映出人体器官失常和早期病变。
94.上述训练样本集中训练样本的数量可以根据需求设置。例如，若模型训练时需要训练40次，每次利用5000个训练样本进行训练，则训练样本集中可以包括5000个训练样本，每次模型训练时利用这5000个训练样本进行训练。包括目标区域的三维医疗影像以及配对的医疗标签是指：包括目标区域的三维医疗影像是需要进行预测的图像，而医疗标签是利用医疗预后预测模型对包括目标区域的三维医疗影像进行预测之后所期望得到的预测结果。
95.模型训练的目标是得到更好的模型参数，以提高预测的效果。在进行训练时，将包括目标区域的三维医疗影像输入到医疗预后预测模型中，然后根据医疗预后预测模型输出的预测结果与包括目标区域的三维医疗影像对应的医疗标签的差异调整模型参数，使得根据调整后的模型参数进行预测得到的预测结果征越来越接近包括目标区域的三维医疗影像对应的医疗标签，直至满足模型收敛条件，并最终得到训练好的医疗预后预测模型。
96.需要说明的是，上述训练样本集中的包括目标区域的三维医疗影像可以来自不同医院的大量数据，也即，样本更为丰富，提高了医疗预后预测模型的训练效果。
97.在一些实施例中，获取多个原始的包括目标区域的三维医疗影像和第二图像处理
方式的参数信息，其中，该第二图像处理方式包括裁剪、翻转、平移、缩放、旋转中的至少一种；随机采用该第二图像处理方式所包括的处理方式中的一种或多种对多个原始的包括目标区域的三维医疗影像中的部分或全部进行处理，得到至少一个增强的包括目标区域的三维医疗影像；将该多个原始的包括目标区域的三维医疗影像和该至少一个增强的包括目标区域的三维医疗影像作为训练样本，形成上述训练样本集。从而，增加了样本的多样性，提升了网络模型的训练效果。
98.具体的，训练样本集既可以包括多个原始的包括目标区域的三维医疗影像，又可以包括至少一个增强的包括目标区域的三维医疗影像。也即，上述训练样本集所包括的训练样本的数量可以大于多个原始的包括目标区域的三维医疗影像的数量。
99.由于医疗影像数据较难获取，可用数据的数量较少，如果仅使用原始数据作为训练样本进行训练，可能会出现医疗预后预测模型过拟合。为了训练出泛化能力更好的医疗预后预测模型，需要对原始数据进行一些变换，以得到训练样本集。本技术中可以随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对多个原始的包括目标区域的三维医疗影像进行处理，得到上述训练样本集。对原始的包括目标区域的三维医疗影像进行了数据增强，增加了样本的多样性，提升了网络模型的训练效果。
100.需要说明的是，在获取训练样本集的过程中，对包括目标区域的三维医疗影像的裁剪大小、形状等裁剪参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的翻转角度等翻转参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的平移距离等平移参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的缩放比例等缩放参数可以根据需求灵活设置，对包括目标区域的三维医疗影像的旋转角度等旋转参数可以根据需求灵活设置，本技术对此并不限定。
101.在s220中，根据训练样本集对医疗预后预测模型进行训练；
102.其中，在训练过程中，第一网络对训练样本中的三维医疗影像的每一层进行特征提取，得到训练样本中的三维医疗影像对应的二维影像特征序列，以及将二维影像特征序列中的二维影像特征依次输入第二网络；第二网络将二维影像特征序列中的二维影像特征融合，以及根据融合之后的特征进行预测。
103.在一些实施例中，第一网络为卷积神经网络(cnn)，且第二网络为递归神经网络(rnn)。
104.例如，第一网络为vggnet，resnet，densenet等2d卷积网络。
105.vggnet探索了卷积神经网络的深度和其性能之间的关系，通过反复的堆叠3*3的小型卷积核和2*2的最大池化层，成功的构建了16～19层深的卷积神经网络。vggnet把网络分成了5段，每段都把多个3*3的卷积网络串联在一起，每段卷积后面接一个最大池化层，最后面是3个全连接层和一个softmax层。softmax算法：将一个含任意实数的k维向量z“压缩”到另一个k维实向量f(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。其中，e
i
表示第i个位置为1其余位置为0的单位向量。
106.残差网络(resnet)的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
107.密集网络(densenet)可以对输入进行连接(concatenate，cat)操作，一个直观的影响就是每一层学到的特征图(feature map)都能被之后所有层直接使用，这使得特征可以在整个网络中重用，也使得模型更加简洁。densenet的一个优点是网络更窄，参数更少，很大一部分原因得益于这种密度模块(dense block)的设计，dense block中每个卷积层的输出特征图(feature map)的数量都很小(小于100)，而不是像其他网络一样动不动就几百上千的宽度。同时这种连接方式使得特征和梯度的传递更加有效，网络也就更加容易训练。densenet相当于每一层都直接连接输入(input)和损失(loss)，因此可以减轻梯度消失现象。
108.例如，第二网络为长短期记忆网络(long short
‑
term memory，lstm)，gru等递归神经网络。
109.长短期记忆网络(lstm)是一种时间循环神经网络，是为了解决一般的rnn(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的rnn都具有一种重复神经网络模块的链式形式。
110.gru基于lstm的变体，使用了更新门(update gate)与重置门(reset gate)。基本上，这两个门控向量决定了哪些信息最终能作为门控循环单元的输出。这两个门控机制的特殊之处在于，它们能够保存长期序列中的信息，且不会随时间而清除或因为与预测不相关而移除。
111.在本技术实施例中，根据需求的不同，第一网络模型(cnn模型)和第二网络模型(rnn模型)可以采用不同的具体实现方式，灵活性更强。
112.具体地，在训练过程中，第一网络将输入的包含包括目标区域的三维医疗影像拆解为一系列二维影像切片进行处理。先采用2d卷积神经网络(例如vggnet，resnet，densenet等)从包含包括目标区域的三维医疗影像中提取一系列二维影像切片的特征序列。接着使用递归神经网络(例如lstm，gru等)对依次输入的二维影像特征的特征向量做融合，以及根据融合后的特征输出预测数据。递归神经网络可以很好的处理序列输入，将其整合(即融合)后再输出一个最终特征(融合后的特征)。
113.在一些实施例中，上述医疗预后预测模型可以是端到端模型，由输入得到输出的过程中不需要有额外的操作。通过缩减人工预处理和后续处理，尽可能使模型从原始输入到最终输出，给模型更多可以根据数据自动调节的空间，增加模型的整体契合度。
114.在一些实施例中，获取第一图像处理方式的参数信息，其中，第一图像处理方式包括裁剪、翻转、平移、缩放、旋转中的至少一种；随机采用第一图像处理方式所包括的处理方式中的一种或多种对训练样本中的三维医疗影像进行处理，得到增强的训练样本集；以及根据增强的训练样本集对医疗预后预测模型进行训练。
115.在一些实施例中，在根据训练样本集对医疗预后预测模型进行训练之前，随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对训练样本集中的三维医疗影像进行处理。从而，增加了训练样本集中的三维医疗影像的多样性，提升了网络模型的训练效果。
116.由于医疗影像数据较难获取，可用数据的数量较少，如果仅使用训练样本集中的三维医疗影像作为医疗预后预测模型的输入进行训练，可能会出现医疗预后预测模型过拟合。为了训练出泛化能力更好的医疗预后预测模型，需要对训练样本集中的三维医疗影像进行一些变换，以增加训练样本集中的三维医疗影像的多样性。本技术中在将三维医疗影
像输入第一网络之前，可以随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对训练样本集中的三维医疗影像进行处理，增加了训练样本集中的三维医疗影像的多样性，提升了网络模型的训练效果。
117.需要说明的是，对训练样本集中的三维医疗影像的裁剪大小、形状等裁剪参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的翻转角度等翻转参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的平移距离等平移参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的缩放比例等缩放参数可以根据需求灵活设置，对训练样本集中的三维医疗影像的旋转角度等旋转参数可以根据需求灵活设置，本技术对此并不限定。
118.在一些实施例中，在模型训练之前，使用随机初始化方法对第一网络和/或第二网络的模型参数进行初始化。
119.在一些实施例中，从数据库读取第一预设值和/或第二预设值；使用第一预设值作为第一网络的初始参数，和/或，使用第二预设值作为第二网络的初始参数。
120.在一些实施例中，从第一网络在其它图像处理任务的训练中获取上述第一预设值，和/或，从第二网络在其它图像处理任务的训练中获取上述第二预设值。也即，可以使用第一网络在其他医学图像处理任务上训练的网络参数，作为第一网络的初始参数，从而加速模型收敛速率。同理，第二网络的收敛参数可以从第二网络在其它图像处理任务的训练中获取。也即，可以使用第二网络在其他医学图像处理任务上训练的网络参数，作为第二网络的初始参数，从而加速模型收敛速率。
121.在一些实施例中，采用交叉熵损失函数和自适应梯度下降算法对医疗预后预测模型的模型参数进行优化。当然，也可以使用其他方式对医疗预后预测模型的模型参数进行优化，本技术对此并不限定。
122.在一些实施例中，根据医疗预后预测模型输出的预测数据和医疗标签，确定交叉熵损失量；以及根据交叉熵损失量，采用自适应梯度下降算法对医疗预后预测模型中的第一网络和第二网络的模型参数进行优化。
123.交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。
124.自适应梯度下降算法例如可以是adam算法，使用动量和自适应学习率来加快收敛速度。
125.在一些实施例中，可以对基于训练样本训练的医疗预后预测模型进行验证，以获取医疗预后预测模型的最优参数。验证过程具体可以包括：
126.获取验证样本集，验证样本集中的各个验证样本包含包括目标区域的三维医疗影像以及配对的医疗标签；
127.在医疗预后预测模型拟合训练样本的情况下，将验证样本中的三维医疗影像输入医疗预后预测模型，通过第一网络对验证样本中的三维医疗影像的每一层进行特征提取，得到验证样本中的三维医疗影像对应的二维影像特征序列，以及将二维影像特征序列中的二维影像特征依次输入第二网络；
128.根据第二网络输出的预测数据和验证样本中的医疗标签，确定验证样本对应的交
叉熵损失量；以及根据验证样本对应的交叉熵损失量，从医疗预后预测模型在训练过程中得到的多组收敛参数中选取医疗预后预测模型的最优参数。
129.验证样本集用于在训练过程中，挑选出泛化性能最好的网络模型参数，以提高预测的效果。在医疗预后预测模型经过多次迭代后，拟合训练样本的情况下，可以将验证样本集中的包括目标区域的三维医疗影像输入到医疗预后预测模型中，挑选出泛化性能最好的网络模型参数。避免模型训练中出现欠拟合或过拟合的情况，保证模型训练的准确性。
130.上述验证样本集中验证样本的数量可以根据需求设置。验证样本集中的包括目标区域的三维医疗影像以及配对的医疗标签是指：目标区域的三维医疗影像是需要进行预测的图像，而医疗标签是利用医疗预后预测模型对包括目标区域的三维医疗影像进行预测之后所期望得到的预测结果。
131.需要说明的是，验证样本集与训练样本集类似，验证样本集中的包括目标区域的三维医疗影像可以来自不同医院的大量数据，也即，样本更为丰富，提高了医疗预后预测模型的训练效果。
132.在一些实施例中，可以随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对多个原始的包括目标区域的三维医疗影像进行处理，得到上述验证样本集。从而，增加了样本的多样性，提升了网络模型的训练效果。
133.由于医疗影像数据较难获取，可用数据的数量较少，如果仅使用原始数据作为验证样本进行验证，可能无法准确挑选出泛化性能最好的网络模型参数。为了挑选出泛化能力更好的医疗预后预测模型，需要对原始数据进行一些变换，以得到验证样本集。本技术中可以随机采用裁剪、翻转、平移、缩放、旋转中的一种或多种对多个原始的包括目标区域的三维医疗影像进行处理，得到上述验证样本集。对原始的包括目标区域的三维医疗影像进行了数据增强，增加了样本的多样性，提升了网络模型的训练效果。
134.需要说明的是，在获取验证样本集的过程中，对三维医疗影像的裁剪大小、形状等裁剪参数可以根据需求灵活设置，对三维医疗影像的翻转角度等翻转参数可以根据需求灵活设置，对三维医疗影像的平移距离等平移参数可以根据需求灵活设置，对三维医疗影像的缩放比例等缩放参数可以根据需求灵活设置，对三维医疗影像的旋转角度等旋转参数可以根据需求灵活设置，本技术对此并不限定。
135.在一些实施例中，验证样本集中的验证样本数量与训练样本集中的训练样本数量可以是以一定的比例设置的，例如，验证样本集中的验证样本数量与训练样本集中的训练样本数量可以是2:8的比例设置的。
136.对于脑出血，预后预测就是预测患者的脑部出血体积是否继续扩大，因为脑部出血体积是否继续扩大与患者最终生存或恢复状况有关，准确预测脑出血是否扩大，可以协助医生及早发现存在出血扩大风险的病人，及早采取相应的治疗，提高患者的生存状况。
137.例如，以脑出血为例，医疗预后预测模型输出的预测数据可以是二分类结果，例如，0代表出血扩大，1代表出血不扩大；或反之。
138.在本技术实施例中，训练样本中包括目标区域的三维医疗影像与上述医疗影像处理方法200中的包括目标区域的三维医疗影像是针对相同疾病的医疗影像(即相同类型的目标区域)。例如，基于包括脑出血区域的三维医疗影像训练的医疗预后预测模型，用于处理包括脑出血区域的三维医疗影像，以获取针对脑出血区域的预后预测结果。
139.在本技术实施例中，医疗预后预测模型的拟合能力较强，预测的准确率高，可以利用上来自不同医院的大量数据，而不出现欠拟合，提高医疗预后预测模型预测的准确率。
140.上述医疗预后预测模型，例如可以如图4所示，医疗预后预测模型包括第一网络和第二网络。医疗预后预测模型的第一网络可以包括多个cnn网络，每个cnn网络对应一个二维影像，也即，可以通过多个cnn网络将包括目标区域的三维医疗影像切分为多层二维影像，对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络。第二网络模型可以是rnn网络，第二网络将依次输入的二维影像特征序列中的二维影像特征融合，并根据融合后的特征输出预测数据。如图4所示，可以基于预测数据和医疗标签输出交叉熵损失量，以及根据交叉熵损失量，采用自适应梯度下降算法对第一网络和第二网络的模型参数进行优化。
141.因此，在本技术实施例中，可以通过医疗预后预测模型中的第一网络对三维医疗影像的每一层进行特征提取，得到三维医疗影像对应的二维影像特征序列；将二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；以第二网络输出的预测数据作为目标区域的预后预测结果。基于第一网络可以将三维医疗影像切分为多层二维影像，并形成二维影像特征序列，基于第二网络可以将依次输入的二维影像特征序列中的二维影像特征进行融合，以及基于融合后的特征进行预测，从而促进了医疗影像的再次利用，在能够提高医疗影像利用率的同时，也能够基于对医疗影像的进一步分析，提高疾病预后预测的准确性。此外，可以利用来自不同医院的大量数据训练网络模型，提高了基于医疗预后预测模型进行疾病预后预测的准确性，同时，从而辅助医生制定治疗方案，且增加了临床落地可行性。
142.在本技术实施例中，疾病预测整体流程更为简洁，测试阶段不需要人工标注的roi，使用更为方便，增加了临床落地可行性。此外，也不需要进行特征提取、筛选等相关操作，使用端到端的训练方式，高度自动化。
143.在本技术实施例中，根据需求的不同，第一网络(cnn模型)和第二网络(rnn模型)可以采用不同的具体实现方式，灵活性更强。
144.上文结合图2至4，详细描述了本技术的方法实施例，下文结合图5，详细描述本技术的装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。
145.图5示意性示出了根据本技术的一实施例的医疗影像处理装置的框图。该医疗影像处理装置可以采用软件单元或硬件单元，或者是二者的结合成为计算机设备的一部分。如图5所示，本技术实施例提供的医疗影像处理装置400具体可以包括：
146.获取模块410，用于获取包括目标区域的三维医疗影像；
147.输入模块420，用于将三维医疗影像输入医疗预后预测模型，通过该医疗预后预测模型中的第一网络对该三维医疗影像的每一层进行特征提取，得到该三维医疗影像对应的二维影像特征序列；
148.输入模块420，还用于将该二维影像特征序列中的二维影像特征依次输入医疗预后预测模型的第二网络；
149.处理模块430，用于以第二网络输出的预测数据作为目标区域的预后预测结果。
150.在一个实施例中，处理模块430，具体用于：
151.通过第二网络对二维影像特征进行特征融合，得到影像融合特征；
152.基于影像融合特征，生成目标区域的预测数据；
153.以该预测数据作为目标区域的预后预测结果。
154.在一个实施例中，获取模块410，还用于获取训练样本集，该训练样本集中的各个训练样本包含包括目标区域的三维医疗影像以及配对的医疗标签；
155.处理模块430，还用于根据训练样本集对医疗预后预测模型进行训练；
156.其中，在训练过程中，第一网络对训练样本中的三维医疗影像的每一层进行特征提取，得到训练样本中的三维医疗影像对应的二维影像特征序列，以及将二维影像特征序列中的二维影像特征依次输入该第二网络；第二网络将二维影像特征序列中的二维影像特征融合，以及根据融合之后的特征进行预测。
157.在一个实施例中，获取模块410，还用于获取第一图像处理方式的参数信息，其中，第一图像处理方式包括裁剪、翻转、平移、缩放、旋转中的至少一种；
158.处理模块430，还用于在根据该训练样本集对该医疗预后预测模型进行训练之前，随机采用该第一图像处理方式所包括的处理方式中的一种或多种对训练样本中的三维医疗影像进行处理，得到增强的训练样本集；以及根据增强的训练样本集对医疗预后预测模型进行训练。
159.在一个实施例中，获取模块410，还用于获取多个原始的包括目标区域的三维医疗影像；
160.获取模块410，还用于获取第二图像处理方式的参数信息，其中，该第二图像处理方式包括裁剪、翻转、平移、缩放、旋转中的至少一种；
161.处理模块430，还用于随机采用该第二图像处理方式所包括的处理方式中的一种或多种对该多个原始的包括目标区域的三维医疗影像中的部分或全部进行处理，得到至少一个增强的包括目标区域的三维医疗影像；以及将该多个原始的包括目标区域的三维医疗影像和该至少一个增强的包括目标区域的三维医疗影像作为训练样本，形成该训练样本集。
162.在一个实施例中，处理模块430，还用于根据该医疗预后预测模型输出的预测数据和该医疗标签，确定交叉熵损失量；
163.处理模块430，还用于根据该交叉熵损失量，采用自适应梯度下降算法对该医疗预后预测模型中的第一网络和第二网络的模型参数进行优化。
164.在一个实施例中，获取模块410，还用于从数据库读取第一预设值和/或第二预设值；
165.处理模型430，还用于使用该第一预设值作为该第一网络的初始参数，和/或，使用该第二预设值作为该第二网络的初始参数。
166.在一个实施例中，获取模型410还用于获取验证样本集，该验证样本集中的各个验证样本包含包括目标区域的三维医疗影像以及配对的医疗标签；
167.输入模块420，还用于在该医疗预后预测模型拟合训练样本的情况下，将验证样本中的三维医疗影像输入该医疗预后预测模型，通过该第一网络对验证样本中的三维医疗影像的每一层进行特征提取，得到验证样本中的三维医疗影像对应的二维影像特征序列，以
及将该二维影像特征序列中的二维影像特征依次输入该第二网络；
168.处理模块430，还用于根据该第二网络输出的预测数据和验证样本中的医疗标签，确定验证样本对应的交叉熵损失量；
169.处理模块430，还用于根据该验证样本对应的交叉熵损失量，从该医疗预后预测模型在训练过程中得到的多组收敛参数中选取该医疗预后预测模型的最优参数。
170.在一个实施例中，该目标区域包括以下之一：
171.脑出血区域、脑血栓区域、脑积水区域、肿瘤区域、结石区域、心脏病变区域、肺部癌变区域。
172.在一个实施例中，该医疗预后预测模型中的第一网络为卷积神经网络，且该医疗预后预测模型中的第二网络为递归神经网络。
173.本技术实施例提供的医疗影像处理装置中的各个模块的具体实现可以参照上述医疗影像处理方法中的内容，在此不再赘述。
174.上述医疗影像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个模块对于的操作。
175.图6示出了实现本技术实施例的电子设备的计算机系统的结构示意图。需要说明的是，图6示出的电子设备的计算机系统500仅是一个示例，不应该对本技术实施例的功能和使用范围带来任何限制。
176.如图6所示，计算机系统500包括中央处理单元(central processing unit，cpu)501，其可以根据存储在只读存储器(read
‑
only memory，rom)502中的程序或者从存储部分508加载到随机访问存储器(random access memory，ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu 501、rom 502以及ram503通过总线504彼此相连。输入/输出(input/output，i/o)接口505也连接至总线504。
177.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如局域网(local area network，lan)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读取的计算机程序根据需要被安装入存储部分508。
178.特别地，根据本技术实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行上述流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理器(cpu)501执行时，执行本技术的装置中限定的各种功能。
179.在一个实施例中，还提供了一种电子设备，包括：
180.处理器；以及
181.存储器，用于存储所述处理器的可执行指令；
182.其中，处理器配置为经由执行可执行指令来执行上述各方法实施例中的步骤。
183.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
184.在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
185.需要说明的是，本技术所述的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或者器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或者多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)、光存储器件、磁盘存储器件、或者上述任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或者存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或者上述的任何合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何恰当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。
186.本实施例仅用于说明本技术，本实施例的软硬件平台架构、开发环境、开发语言、消息获取源头等的选取都是可以变化的，在本技术技术方案的基础上，凡根据本技术原理对某个部分进行的改进和等同变换，均不应排除在本技术的保护范围之外。
187.需要说明的是，在本技术实施例和所附权利要求书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。
188.所属领域的技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术实施例的范围。
189.如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
190.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
191.在本技术提供的几个实施例中，应该理解到，所揭露的电子设备、装置和方法，可以通过其它的方式实现。
192.例如，以上所描述的装置实施例中单元或模块或组件的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或模块或组件可以结合或者可以集成到另一个系统，或一些单元或模块或组件可以忽略，或不执行。
193.又例如，上述作为分离/显示部件说明的单元/模块/组件可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元/模块/组件来实现本技术实施例的目的。
194.最后，需要说明的是，上文中显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
195.以上内容，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以权利要求的保护范围为准。