瓣环自动检测方法、装置、电子设备及存储介质与流程

1.本发明涉及医疗技术领域，特别涉及一种瓣环自动检测方法、装置、电子设备及存储介质。


背景技术：

2.心血管疾病是当前发病率和死亡率高居首位的疾病，其中心脏瓣膜疾病是一种严重威胁生命健康的心血管疾病，每年需要进行瓣膜手术的患者高达20多万例，占成人心脏手术第一位。
3.心脏瓣膜是指位于心房与心室或心室和动脉间的瓣膜，有二尖瓣、三尖瓣、肺动脉瓣和主动脉瓣，瓣膜的打开与关闭通过瓣叶两侧的跨瓣压差实现，确保血液的单向流动和最小返流量。其中，主动脉瓣位于压力负荷较大的左心室和主动脉之间，容易引发主动脉瓣疾病，主动脉瓣疾病通常导致主动脉瓣在开闭过程中状态异常，进而引起心输出量不足等问题，影响到人体正常生理状态。
4.主动脉瓣狭窄(aortic stenosis，as)是老年人群中最常见的主动脉瓣疾病，主动脉瓣狭窄的病理生理学是退行性和钙化性的，主动脉瓣狭窄的症状患者可以通过经导管主动脉瓣植入术(transcatheter aortic valve replacement，tavr)进行微创手术治疗。tavr采用心脏介入导管微创技术，进行人工介入心脏瓣膜置换，具有不开胸、风险低、操作简便、创伤小、恢复快和并发症少等优势，特别适合于存在外科手术禁忌症或是外科手术高危的患者。
5.然而，tavr手术后容易出现主动脉夹层、瓣膜脱落移位、瓣周漏、房室传导阻滞、冠状动脉堵塞等并发症，严重时甚至可能导致死亡。其中，假体尺寸与患者主动脉瓣复合体的解剖特征不匹配是导致其并发症的主要原因，因此，准确了解和评估主动脉瓣复合体的几何特征及解剖特征，对最优化选择或设计假体尺寸、识别手术风险因素等tavr手术术前评估方案具有至关重要的指导作用。现有技术(公开号为cn111523549a的专利文献中)通常基于单独的神经网络模型分别识别心脏各组织和主动脉关键点，并利用网格建模的方式来确定主动脉瓣的相关参数，尽管也可以得出一些有价值的结论，但是由于心脏组织的解剖结构复杂，采用上述方法识别得到的心脏各组织和主动脉关键点的精度往往难以满足实际需要。因此，急需提供一种新的检测方法及其装置，能够实现瓣环的自动检测定位，并达到符合实际需要的精准度。


技术实现要素：

6.针对现有技术的上述问题，本发明的目的在于提供一种瓣环自动检测方法、装置、电子设备及存储介质，能够实现瓣环的自动检测定位，提高瓣环检测的效率和准确性。
7.为了解决上述问题，本发明提供一种瓣环自动检测方法，包括：
8.s210：获取包括心脏瓣膜的医学图像数据；
9.s220：将所述医学图像数据输入至多任务深度学习模型中，得到所述心脏瓣膜的
瓣环的关键点检测结果；
10.s230：对所述关键点检测结果进行后处理操作，得到所述心脏瓣膜的瓣环的检测关键点集；
11.s240：基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，得到所述心脏瓣膜的瓣环的目标关键点集。
12.进一步地，所述关键点检测结果包括至少三个关键点检测张量；
13.所述s230步骤包括：
14.分别对各个所述关键点检测张量进行局部最大池化操作，并获取最大响应值所在的空间坐标点，作为对应的检测关键点。
15.进一步地，所述s240步骤包括：
16.将各个所述检测关键点和所述医学图像数据输入至强化学习模型中，以对各个所述检测关键点进行修正；
17.获取所述强化学习模型输出的修正后的各个检测关键点，作为所述心脏瓣膜的瓣环的目标关键点。
18.进一步地，所述方法还包括预先训练所述多任务深度学习模型，所述多任务深度学习模型的训练过程包括：
19.获取训练图像数据集，所述训练图像数据集中包括多个包括心脏瓣膜的医学图像数据；
20.构建多任务神经网络，所述多任务神经网络包括：共享编码器以及包括关键点解码器在内的多个任务解码器，所述多个任务解码器对应所述共享编码器；
21.基于所述训练图像数据集中的各个医学图像数据，对所述多任务神经网络进行监督训练，得到所述多任务深度学习模型。
22.进一步地，所述方法还包括：
23.s250：基于所述目标关键点集和所述医学图像数据确定所述心脏瓣膜的瓣环平面图像；
24.s260：对所述医学图像数据进行图像分割处理，得到所述心脏瓣膜及其相关部位的目标分割结果；
25.s270：基于所述目标关键点集和所述目标分割结果确定所述心脏瓣膜的瓣环平面分割结果；
26.s280：基于所述瓣环平面图像和所述瓣环平面分割结果，利用二维图像分割方法确定所述心脏瓣膜的瓣环轮廓图像。
27.进一步地，所述s260步骤包括：
28.将所述医学图像数据输入至所述多任务深度学习模型中，得到所述心脏瓣膜及其相关部位的分割检测结果；
29.对所述分割检测结果进行后处理操作，得到所述心脏瓣膜及其相关部位的目标分割结果。
30.进一步地，所述分割检测结果包括分割检测张量；
31.所述对所述分割检测结果进行后处理操作，得到所述心脏瓣膜及其相关部位的目标分割结果包括：
32.对所述分割检测张量进行最大连通域提取和/或空洞填充操作，以得到所述心脏瓣膜及其相关部位的目标分割结果。
33.进一步地，所述方法还包括：
34.s290：基于所述心脏瓣膜的瓣环轮廓图像，确定所述心脏瓣膜的瓣环轮廓参数，所述瓣环轮廓参数包括周长、面积、等效直径、最大径和最小径中的一种或多种。
35.本发明另一方面提供一种瓣环自动检测装置，包括：
36.医学图像数据获取模块，用于获取包括心脏瓣膜的医学图像数据；
37.关键点检测结果获取模块，用于将所述医学图像数据输入至多任务深度学习模型中，得到所述心脏瓣膜的瓣环的关键点检测结果；
38.检测关键点确定模块，用于对所述关键点检测结果进行后处理操作，得到所述心脏瓣膜的瓣环的检测关键点集；
39.关键点修正模块，用于基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，得到所述心脏瓣膜的瓣环的目标关键点集。
40.本发明另一方面提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的瓣环自动检测方法。
41.本发明另一方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的瓣环自动检测方法。
42.由于上述技术方案，本发明具有以下有益效果：
43.根据本发明实施例的瓣环自动检测方法，通过将包括心脏瓣膜的医学图像数据输入预先训练的多任务深度学习模型，即可得到所述心脏瓣膜的瓣环的关键点检测结果，基于所述关键点检测结果进行后处理即可得到所述心脏瓣膜的瓣环的检测关键点集，再基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，即可得到所述心脏瓣膜的瓣环的目标关键点集，无需人工参与，实现了瓣环平面的自动检测定位。并且，通过结合多任务深度学习模型和强化学习模型，能够快速准确地识别心脏瓣膜的瓣环的关键点，提高了瓣环检测的效率和准确性。
附图说明
44.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
45.图1是本发明一个实施例提供的实施环境示意图；
46.图2是本发明一个实施例提供的瓣环自动检测方法的流程图；
47.图3是本发明一个实施例提供的主动脉瓣的目标关键点的示意图；
48.图4是本发明另一个实施例提供的瓣环自动检测方法的流程图；
49.图5a是本发明一个实施例提供的主动脉瓣的瓣环平面图像的示意图；
50.图5b是本发明一个实施例提供的主动脉瓣的瓣环平面分割结果的示意图；
51.图5c是本发明一个实施例提供的主动脉瓣的瓣环轮廓图像的示意图；
52.图6是本发明另一个实施例提供的瓣环自动检测方法的流程图；
53.图7是本发明一个实施例提供的多任务深度学习模型的训练方法的流程图；
54.图8是本发明一个实施例提供的主动脉分割标注结果的示意图；
55.图9是本发明一个实施例提供的主动脉瓣膜关键点标注结果的示意图；
56.图10是本发明一个实施例提供的瓣环自动检测装置的结构示意图；
57.图11是本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
58.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
60.为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。
61.参考说明书附图1，其示出了本发明一个实施例提供的实施环境示意图。如图1所示，该实施环境可以包括至少一个医学扫描设备110和计算机设备120，所述计算机设备120和各个医学扫描设备110可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例对此不作限制。
62.其中，所述计算机设备120可以但不限于是各种服务器、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，该服务器可以是独立的服务器或者是多个服务器组成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
63.本发明实施例中，所述医学扫描设备110可以采用ct成像、磁共振成像(magnetic resonance imaging，简称mri)等成像技术对患者的心脏部位进行成像，以获取包括心脏瓣膜的医学图像数据；所述计算机设备120可以获取所述医学扫描设备110采集的所述医学图像数据，并通过本发明实施例提供的方法来确定所述心脏瓣膜的瓣环的检测关键点集，并对所述检测关键点集中的各个检测关键点进行修正，得到所述心脏瓣膜的瓣环的目标关键点集，最终提取到所述心脏瓣膜的瓣环轮廓以及瓣环轮廓参数，从而为tavr手术中瓣膜假体尺寸的选择或设计提供依据，优化tavr手术的术前规划方案。
64.需要说明的是，图1仅仅是一种示例。本领域技术人员可以理解，虽然图1中仅示出了1个医学扫描设备110，但并不构成对本发明实施例的限定，根据实际需要，可以具有任意数目的医学扫描设备110。
65.参考说明书附图2，其示出了本发明一个实施例提供的瓣环自动检测方法的流程，该方法可以应用于图1中的计算机设备120中，具体的如图2所示，所述方法可以包括以下步骤：
66.s210：获取包括心脏瓣膜的医学图像数据。
67.本发明实施例中，所述心脏瓣膜可以是出现异常的某个心脏瓣膜，例如可以为出现异常的三尖瓣、主动脉瓣或肺动脉瓣。获取所述医学图像数据既可以是直接获取整个心脏的图像数据，也可以是从心脏的图像数据中选取出与所述心脏瓣膜对应的图像数据，还可以是直接获取已经分离出的与所述心脏瓣膜对应的图像数据，本发明实施例对此不作限制。
68.本发明实施例中，所述医学图像数据的来源既可以是直接导入的相关数据，也可以是从其他资源库实时配置连接获取，还可以是从已存储的图像数据库中根据用户的名字等信息搜索后获取，本发明实施例对此不作限制。具体地，所述医学图像数据可以为ct造影图像数据，也可以为mri图像数据等三维图像数据。
69.s220：将所述医学图像数据输入至多任务深度学习模型中，得到所述心脏瓣膜的瓣环的关键点检测结果。
70.本发明实施例中，所述多任务深度学习模型是包括多任务神经网络的模型，所述多任务神经网络包括：共享编码器以及包括关键点解码器在内的多个任务解码器，所述多个任务解码器对应所述共享编码器。
71.本发明实施例中，可以预先使用带有关键点标注信息的训练图像数据集，基于所述多任务神经网络进行监督训练，得到所述多任务深度学习模型。需要说明的是，所述多任务深度学习模型的训练过程将在后续实施例中进行详细阐述。
72.在实际应用中，针对不同类型的心脏瓣膜，例如三尖瓣、主动脉瓣或肺动脉瓣，可以分别训练得到对应的多任务深度学习模型。在进行瓣环检测时，可以根据所述心脏瓣膜的类型确定对应的多任务深度学习模型，利用该多任务深度学习模型进行瓣环检测。
73.本发明实施例中，在进行瓣环检测时，可以直接将获取的医学图像数据输入至多任务深度学习模型中，即可获取到所述多任务深度学习模型的关键点解码器输出的所述心脏瓣膜的瓣环的关键点检测结果。
74.具体地，所述共享编码器可以为包括但不限于卷积神经网络、transformer等常用的深度学习编码器，所述关键点解码器的结构与所述共享编码器类似，所述关键点解码器可以采用包括但不限于基于热图(heatmap)或基于回归(regression)的解码方法，对所述共享编码器输出的特征表达logits进行解码，得到对应的关键点检测结果，所述关键点检测结果可以包括至少三个关键点检测张量。以基于heatmap的解码方法为例，所述关键点解码器的解码目标可以为至少三通道的三维关键点检测张量，例如对于主动脉瓣，所述关键点解码器的解码目标可以为三通道的三维关键点检测张量，该三通道的三维关键点检测张量中，第一通道代表右冠窦最低点(rcc)，第二通道代表左冠窦最低点(lcc)，第三通道代表无冠窦最低点(ncc)。
75.在一个可能的实施例中，在将所述医学图像数据输入至所述多任务深度学习模型之前，可以对所述医学图像数据进行缩放处理，以使得缩放后的医学图像数据尺寸与所述多任务深度学习模型的输入图像尺寸相匹配。需要说明的是，可以通过现有技术中的各种图像缩放的方法对所述医学图像数据进行缩放处理，例如双线性差值法等，本发明实施例在此不再赘述。
76.s230：对所述关键点检测结果进行后处理操作，得到所述心脏瓣膜的瓣环的检测关键点集。
77.本发明实施例中，当获取到所述多任务深度学习模型输出的关键点检测结果后，可以对所述关键点检测结果进行后处理操作，以得到所述心脏瓣膜的瓣环的检测关键点集。
78.本发明实施例中，所述关键点检测结果可以包括至少三个关键点检测张量。所述对所述关键点检测结果进行后处理操作，得到所述心脏瓣膜的瓣环的检测关键点集(s230步骤)可以包括：
79.分别对各个所述关键点检测张量进行局部最大池化操作，并获取最大响应值所在的空间坐标点，作为对应的检测关键点。
80.具体地，可以分别对每个关键点检测张量进行局部最大池化操作，然后取各通道最大值所在的三维空间坐标点，作为对应的检测关键点，从而生成所述心脏瓣膜的瓣环的检测关键点集。
81.在一些可能的实施例中，还可以采用其它方法对所述关键点检测结果进行后处理操作，例如可以结合所述心脏瓣膜及其相关部位的分割结果进行空间先验信息提取，以限制异常关键点的出现；又例如可以通过k-means聚类算法，来保证同一空间簇中类别的单一性；又例如可以通过支持向量机(support vector machines，svm)等机器学习算法，进一步建模关键点之间空间分布的先验，进行类别修正等等，本发明实施例对此不作限制。
82.本发明实施例中，由于所述关键点检测结果可以包括至少三个关键点检测张量，因此所述检测关键点集中也可以包括至少三个检测关键点。优选地，所述关键点检测张量和所述检测关键点集中的检测关键点的数量可以均为三个，所述检测关键点集中的三个检测关键点可以为所述心脏瓣膜中三个瓣膜的最低点。
83.s240：基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，得到所述心脏瓣膜的瓣环的目标关键点集。
84.本发明实施例中，可以采用强化学习算法对所述检测关键点集中的各个检测关键点进行修正，将修正后的各个检测关键点作为目标关键点，形成目标关键点集。
85.具体地，所述基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，得到所述心脏瓣膜的瓣环的目标关键点集(s240步骤)可以包括：
86.将各个所述检测关键点和所述医学图像数据输入至强化学习模型中，以对各个所述检测关键点进行修正；
87.获取所述强化学习模型输出的修正后的各个检测关键点，作为所述心脏瓣膜的瓣环的目标关键点。
88.本发明实施例中，可以基于带有关键点标注信息的训练图像数据集，以及训练好的所述多任务深度学习模型，对预设的强化学习网络进行训练，得到所述强化学习模型，其
中，所述预设的强化学习网络可以包括但不限于深度q网络(deep q network，dqn)。需要说明的是，所述强化学习模型的训练过程将在后续实施例中进行详细阐述。
89.本发明实施例中，在对所述检测关键点集中的各个检测关键点进行修正时，可以将各个所述检测关键点和所述医学图像数据输入至强化学习模型中，所述强化学习模型可以根据所述检测关键点集中的各个检测关键点进行瓣环平面拟合得到初始瓣环平面，将所述初始瓣环平面和所述医学图像数据，作为初始state输入所述强化学习网络进行迭代学习，在actions列表中选择对每个检测关键点进行x、y和/或z轴三个方向的移动，来改变state。当迭代次数达到上限或者q值变化小于预设的范围时，停止迭代，输出迭代学习完成后得到的所述心脏瓣膜的瓣环的至少三个目标关键点的三维空间坐标。
90.本发明实施例中，由于所述检测关键点集中可以包括至少三个检测关键点，因此所述目标关键点集中也可以包括至少三个目标关键点。优选地，所述检测关键点集中的检测关键点和所述目标关键点集中的目标关键点集的数量可以均为三个，即可以为所述心脏瓣膜中三个瓣膜的最低点。
91.示例性地，结合参考说明书附图3，对于主动脉瓣，基于深度学习模型可以得到三个检测关键点，基于强化学习模型对各个检测关键点进行修正，可以得到右冠窦最低点(rcc)、无冠窦最低点(ncc)和左冠窦最低点(lcc)三个目标关键点。
92.综上所述，根据本发明实施例的瓣环自动检测方法，通过将包括心脏瓣膜的医学图像数据输入预先训练的多任务深度学习模型，即可得到所述心脏瓣膜的瓣环的关键点检测结果，基于所述关键点检测结果进行后处理即可得到所述心脏瓣膜的瓣环的检测关键点集，再基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，即可得到所述心脏瓣膜的瓣环的目标关键点集，无需人工参与，实现了瓣环平面的自动检测定位，避免了人工操作测量主观性大、存在人为误差、难以复制重现等缺点。
93.并且，通过以深度学习结果为初始值，结合强化学习进一步细化瓣环的关键点检测结果，从步骤上模拟了人工确定瓣环平面时的测量逻辑，通过结合深度学习和强化学习，多尺度、多阶段提取丰富的图像特征，对心脏瓣膜及其相关部位复杂的解剖结构也能进行精确的检测，从而能够更加准确地识别心脏瓣膜的瓣环的关键点，提高了瓣环检测的效率和精度。
94.在一个可能的实施例中，结合参考说明书附图4，所述瓣环自动检测方法还可以包括以下步骤：
95.s250：基于所述目标关键点集和所述医学图像数据确定所述心脏瓣膜的瓣环平面图像。
96.本发明实施例中，由于所述目标关键点集中包括至少三个目标关键点，因此可以先根据所述目标关键点集中的各个目标关键点进行瓣环平面拟合，得到目标瓣环平面，再基于得到的目标瓣环平面和所述医学图像数据(即原始图像)进行瓣环平面重建，得到所述心脏瓣膜的瓣环平面图像。示例性地，对于主动脉瓣，重建得到的瓣环平面图像如图5a所示。
97.需要说明的是，本发明实施例中瓣环平面拟合和瓣环平面重建的具体方法可以参考现有技术，本发明实施例在此不再赘述。
98.s260：对所述医学图像数据进行图像分割处理，得到所述心脏瓣膜及其相关部位
的目标分割结果。
99.本发明实施例中，可以利用预先训练好的所述多任务深度学习模型对所述医学图像数据进行图像分割处理。具体地，所述多任务神经网络中还可以包括图像分割解码器，也就是说，所述多任务神经网络的多个任务解码器既包括关键点解码器，又包括图像分割解码器。相应地，所述多任务深度学习模型可以基于带有分割标注信息和关键点标注信息的训练图像数据集预先训练得到，具体的训练过程将在后续实施例中进行详细阐述。
100.具体地，所述对所述医学图像数据进行图像分割处理，得到所述心脏瓣膜及其相关部位的目标分割结果(s260步骤)可以包括：
101.将所述医学图像数据输入至所述多任务深度学习模型中，得到所述心脏瓣膜及其相关部位的分割检测结果；
102.对所述分割检测结果进行后处理操作，得到所述心脏瓣膜及其相关部位的目标分割结果。
103.具体地，在对所述医学图像数据进行图像分割处理时，可以将所述医学图像数据输入至所述多任务深度学习模型中，即可获取到所述多任务深度学习模型的图像分割解码器输出的所述心脏瓣膜及其相关部位的分割检测结果，所述分割检测结果可以包括所述心脏瓣膜及其相关部位的分割检测张量。示例性地，将包括主动脉瓣膜的医学图像数据输入至对应的多任务深度学习模型中，可以得到所述图像分割解码器输出的主动脉瓣膜及主动脉的分割检测结果。
104.具体地，所述图像分割解码器的结构与所述共享编码器类似，所述图像分割解码器可以对所述共享编码器输出的特征表达logits进行解码，得到对应的分割检测结果，所述图像分割解码器的解码目标可以为两通道的三维分割检测张量，其中，第一通道代表背景，第二通道代表所述心脏瓣膜及其相关部位。例如对于主动脉瓣，该两通道的三维分割检测张量中，第一通道代表背景，第二通道代表主动脉瓣膜及主动脉。
105.具体地，当获取到所述心脏瓣膜及其相关部位的分割检测结果后，可以对所述分割检测结果进行后处理操作，以得到所述心脏瓣膜及其相关部位的目标分割结果。
106.具体地，所述对所述分割检测结果进行后处理操作，得到所述心脏瓣膜及其相关部位的目标分割结果可以包括：
107.对所述分割检测张量进行最大连通域提取和/或空洞填充操作，以得到所述心脏瓣膜及其相关部位的目标分割结果。
108.具体地，可以对代表所述心脏瓣膜及其相关部位的分割检测张量进行最大连通域提取和/或空洞填充等操作，最终得到所述目标分割结果。
109.在一些可能的实施例中，还可以采用其它方法对所述分割检测结果进行后处理操作，例如可以通过开闭运算，消除分割结果的不连续；又例如可以通过条件随机场等后处理算法，细化分割结果的边界；又例如可以结合中心线提取结果，进行分割结果的几何形态约束等等，本发明实施例对此不作限制。
110.可以理解，本发明实施例通过利用多任务深度学习模型对所述医学图像数据进行图像分割处理，能够提高图像分割的效率和准确性，从而能够提高瓣环轮廓提取的准确性。
111.需要说明的是，在一些可能的实施例中，也可以采用现有技术中的其他图像分割方法对所述医学图像数据进行图像分割处理，得到所述心脏瓣膜及其相关部位的目标分割
结果，本发明实施例对此不作限制。
112.s270：基于所述目标关键点集和所述目标分割结果确定所述心脏瓣膜的瓣环平面分割结果。
113.本发明实施例中，可以基于利用所述目标关键点集中的各个目标关键点拟合得到的目标瓣环平面，以及所述目标分割结果进行瓣环平面重建，得到所述心脏瓣膜的瓣环平面分割结果。示例性地，对于主动脉瓣，重建得到的瓣环平面分割结果如图5b所示。
114.s280：基于所述瓣环平面图像和所述瓣环平面分割结果，利用二维图像分割方法确定所述心脏瓣膜的瓣环轮廓图像。
115.本发明实施例中，可以结合所述瓣环平面图像和所述瓣环平面分割结果，采用二维图像分割方法得到所述瓣环轮廓图像，其中，所述二维图像分割方法可以包括但不限于现有技术中的区域生成算法、水平集算法等方法。示例性地，对于主动脉瓣，结合图5a和图5b，可以分割得到如图5c所示的瓣环轮廓图像。
116.可以理解，本发明实施例通过基于结合深度学习和强化学习得到的目标关键点，进行瓣环平面拟合得到目标瓣环平面，并根据所述目标瓣环平面重建得到瓣环平面图像和瓣环平面分割结果，再进行二维图像分割得到瓣环轮廓图像，能够准确地提取出所述心脏瓣膜的瓣环轮廓图像。
117.在一个可能的实施例中，结合参考说明书附图6，所述瓣环自动检测方法还可以包括以下步骤：
118.s290：基于所述心脏瓣膜的瓣环轮廓图像，确定所述心脏瓣膜的瓣环轮廓参数，所述瓣环轮廓参数包括周长、面积、等效直径、最大径和最小径中的一种或多种。
119.具体地，可以基于所述瓣环轮廓图像，测量瓣环轮廓的周长、面积、等效直径、最大径和最小径等瓣环解剖参数信息，能够快速且准确的为用户提供所述心脏瓣膜的重要参数，辅助人工瓣膜置换术进行术前评估，以提高手术成功率，减少术后并发症。需要说明的是，基于瓣环轮廓图像提取瓣环轮廓参数的方法为现有技术，本发明实施例在此不再赘述。
120.可以理解，本发明实施例通过基于所述心脏瓣膜的瓣环轮廓图像，自动测量瓣环轮廓参数信息，能够快速准确地为用户提供心脏瓣膜的解剖参数，辅助选择或设计人工瓣膜尺寸，以及辅助tavr手术进行术前评估，以提高手术成功率，减少术后并发症，能够满足复杂的实际临床使用场景。
121.本发明实施例中，在进行瓣环检测之前，可以预先训练所述多任务深度学习模型，并基于训练好的多任务深度学习模型训练所述强化学习模型。下面介绍本发明实施例中的各个模型的训练方法。
122.参考说明书附图7，其示出了本发明一个实施例提供的多任务深度学习模型的训练方法的流程，具体的如图7所示，所述方法可以包括以下步骤：
123.s710：获取训练图像数据集，所述训练图像数据集中包括多个包括心脏瓣膜的医学图像数据。
124.本发明实施例中，可以收集多个心脏瓣膜疾病患者的包括所述心脏瓣膜医学图像数据，作为训练图像数据，所述心脏瓣膜可以为三尖瓣、主动脉瓣或肺动脉瓣，所述医学图像数据可以为ct造影图像数据，也可以为mri图像数据等三维图像数据。
125.例如，可以回顾性分析100例主动脉瓣膜疾病患者的心脏回顾性心电门控的多期
相ct造影图像，选择其中舒张末期(30％-40％)的影像，排除二尖瓣、安装心脏起搏器和造影质量差的图像后，得到训练主动脉瓣膜对应的模型的训练图像数据集。
126.本发明实施例中，获取到所述训练图像数据集后，可以对所述训练图像数据集中的各个训练图像数据进行分割标注和关键点标注，得到携带分割标注信息和关键点标注信息的训练图像数据。
127.具体地，可以将所述训练图像数据集中的各个训练图像数据导入3d slicer软件进行分割标注，得到包括所述心脏瓣膜及其相关部位的分割标注结果。例如，可以将包括主动脉瓣膜的训练图像数据导入3d slicer软件进行主动脉分割标注，其中主动脉分割标注逐层进行，以图像数据中可见的主动脉范围或主动脉弓为起点，到主动脉根部(包括主动脉瓣膜)为终点，标注目标可以不包括降主动脉部分，主动脉分割标注结果如图8所示。
128.具体地，可以采用现有技术中的各种标注关键点的方法对各个所述训练图像数据进行关键点标注，得到所述心脏瓣膜的至少三个关键点。在一个优选的实施例中，标注的关键点的数量可以为三个，所述三个关键点可以为所述心脏瓣膜中三个瓣膜的最低点。
129.例如，可以对包括主动脉瓣膜的训练图像数据进行关键点标注，得到主动脉瓣膜中三个瓣膜最低点的标注结果，例如可以将右冠窦最低点标记为(rcc)，左冠窦最低点标记为(lcc)，无冠窦最低点标记为(ncc)，关键点标注结果如图9所示。
130.s720：构建多任务神经网络，所述多任务神经网络包括：共享编码器以及包括关键点解码器在内的多个任务解码器，所述多个任务解码器对应所述共享编码器。
131.本发明实施例中，可以采用多头的神经网络作为整体网络结构，构建多任务神经网络。其中，所述多任务神经网络的共享编码器可以为包括但不限于卷积神经网络、transformer等常用的深度学习编码器，所述多任务神经网络的关键点解码器的结构与所述共享编码器类似，所述关键点解码器可以采用包括但不限于基于heatmap或基于regression的解码方法，对所述共享编码器输出的特征表达logits进行解码，得到对应的关键点检测张量。
132.本发明实施例以基于heatmap的解码方法为例进行说明，所述关键点解码器的解码目标可以为至少三通道的三维关键点检测张量，例如对于主动脉瓣，所述关键点解码器的解码目标可以为三通道的三维关键点检测张量，该三通道的三维关键点检测张量中，第一通道代表右冠窦最低点(rcc)，第二通道代表左冠窦最低点(lcc)，第三通道代表无冠窦最低点(ncc)。
133.需要说明的是，所述关键点解码器的解码目标对应的通道数(即关键点检测张量的数量)应该与各个训练图像数据中标注的关键点的数量相同。
134.在一个可能的实施例中，所述多任务神经网络还可以包括图像分割解码器，也就是说，所述多任务神经网络的多个任务解码器既包括关键点解码器，又包括图像分割解码器。具体地，所述图像分割解码器的结构与所述共享编码器类似，所述图像分割解码器可以对所述共享编码器输出的特征表达logits进行解码，得到对应的分割检测结果，所述图像分割解码器的解码目标可以为两通道的三维分割检测张量，其中，第一通道代表背景，第二通道代表所述心脏瓣膜及其相关部位。例如对于主动脉瓣，该两通道的三维分割检测张量中，第一通道代表背景，第二通道代表主动脉瓣膜及主动脉。
135.s730：基于所述训练图像数据集中的各个医学图像数据，对所述多任务神经网络
进行监督训练，得到所述多任务深度学习模型。
136.本发明实施例中，可以利用步骤s710得到的携带分割标注信息和关键点标注信息的各个训练图像数据，对所述多任务神经网络进行监督训练，得到所述多任务深度学习模型，训练过程如下：
137.(1)可以将携带分割标注信息和关键点标注信息的各个训练图像数据进行缩放处理，使其尺寸与所述共享编码器的输入图像尺寸相匹配。需要说明的是，可以通过现有技术中的各种图像缩放的方法对所述训练图像数据进行缩放处理，例如双线性差值法等，本发明实施例在此不再赘述。
138.(2)分割损失函数和计算：可以将缩放后的训练图像数据输入所述共享编码器，得到对应的特征表达logits，再将所述特征表达logits输入所述图像分割解码器，得到对应的分割检测张量pred_s。可以使用独立热编码将所述训练图像数据的分割标注结果转化为和所述分割检测张量形状相同的分割目标label_s，采用常用的分割损失函数计算分割损失值loss_s。其中，所述分割损失函数可以包括但不限于dice损失(dice loss)函数、交叉熵损失(cross entropy loss)函数等。
139.(3)关键点损失函数和计算：将步骤(2)中得到的特征表达logits输入所述关键点解码器，得到至少三个关键点检测张量pred_l。根据所述训练图像数据的关键点标注结果中的每个关键点坐标，以坐标为中心生成三维高斯分布，作为关键点目标label_l，采用常用的heatmap损失函数计算关键点损失值loss_l。其中，所述heatmap损失函数可以包括但不限于focal loss函数等。
140.(4)计算总的损失值loss_total＝loss_s loss_l，根据反向传播算法，利用常用的优化器进行共享编码器、图像分割解码器和关键点解码器的参数的训练与优化，最终得到所述多任务深度学习模型。其中，所述优化器包括但不限于adam优化器和随机梯度下降(stochastic gradient descent，sgd)优化器等。
141.可以理解，根据本发明实施例的模型训练方法，通过构建包括共享编码层以及包括关键点解码层和分割解码层在内的多个任务解码层的多任务神经网络，并利用多个包括心脏瓣膜的医学图像数据对所述多任务神经网络进行监督训练，能够得到用于瓣环检测的多任务深度学习模型，训练方法简单，模型检测准确性较高，利用所述多任务深度学习模型能够实现瓣环平面的自动检测，提高瓣环检测的效率和准确性。
142.在一个可能的实施例中，当所述多任务深度学习模型训练完成后，可以基于所述步骤s710中得到的携带关键点标注信息的各个训练图像数据，对预设的强化学习网络进行训练，得到所述强化学习模型；也可以利用所述步骤s710中记载的方法重新获取多个训练图像数据，并对所述训练图像数据进行关键点标注，得到携带关键点标注信息的多个训练图像数据，并利用这些训练图像数据对预设的强化学习网络进行训练，得到所述强化学习模型。其中，所述预设的强化学习网络可以包括但不限于dqn网络。
143.具体地，所述强化学习模型的训练过程如下：
144.(1)将各个所述训练图像数据输入所述多任务深度学习模型中，得到所述心脏瓣膜的瓣环的关键点检测结果，并对所述关键点检测结果进行后处理操作，得到所述心脏瓣膜的瓣环的检测关键点集。其中，所述关键点检测结果包括至少三个关键点检测张量，所述检测关键点集中也可以包括至少三个检测关键点；对所述关键点检测结果进行后处理操作
的具体内容可以参考图2所示的方法实施例的内容，本发明实施例在此不再赘述。
145.(2)根据所述检测关键点集中的各个检测关键点进行瓣环平面拟合，得到初始瓣环平面base，将拟合得到的初始瓣环平面base和所述训练图像数据作为初始state输入所述强化学习网络，所述强化学习网络的actions为每个检测关键点在x、y和/或z轴方向的移动(共18种)。所述强化学习网络基于当前state选择action后，采用常用的损失函数计算各个检测关键点和所述训练图像数据的关键点标注结果中实际标注的关键点坐标的回归损失值，通过预设调整算法调整所述强化学习网络的参数，以继续对所述强化学习网络进行训练，直到所述损失函数收敛。其中，所述损失函数可以包括但不限于均方误差损失函数等，对所述强化学习网络进行训练的具体方法为现有技术，本发明实施例在此不再赘述。
146.可以理解，通过基于训练好的多任务学习模型的输出结果，对预设的强化学习网络进行训练，能够得到用于进行关键点修正的强化学习模型，避免了强化学习模型难以训练和不稳定等问题。并且，利用所述强化学习模型对基于多任务深度学习模型得到的检测关键点进行修正，得到瓣环的目标关键点，可以进一步提升瓣环检测的精度。
147.参考说明书附图10，其示出了本发明一个实施例提供的一种瓣环自动检测装置1000的结构。如图10所示，所述装置1000可以包括：
148.医学图像数据获取模块1010，用于获取包括心脏瓣膜的医学图像数据；
149.关键点检测结果获取模块1020，用于将所述医学图像数据输入至多任务深度学习模型中，得到所述心脏瓣膜的瓣环的关键点检测结果；
150.检测关键点确定模块1030，用于对所述关键点检测结果进行后处理操作，得到所述心脏瓣膜的瓣环的检测关键点集；
151.关键点修正模块1040，用于基于强化学习模型对所述检测关键点集中的各个检测关键点进行修正，得到所述心脏瓣膜的瓣环的目标关键点集。
152.在一个可能的实施例中，所述装置1000还可以包括模型训练模块，用于预先训练所述多任务深度学习模型；
153.所述模型训练模块可以包括：
154.训练图像数据集获取单元，用于获取训练图像数据集，所述训练图像数据集中包括多个包括心脏瓣膜的医学图像数据；
155.神经网络构建单元，用于构建多任务神经网络，所述多任务神经网络包括：共享编码器以及包括关键点解码器在内的多个任务解码器，所述多个任务解码器对应所述共享编码器；
156.模型训练单元，用于基于所述训练图像数据集中的各个医学图像数据，对所述多任务神经网络进行监督训练，得到所述多任务深度学习模型。
157.在一个可能的实施例中，所述装置1000还可以包括：
158.瓣环平面图像确定模块，用于基于所述目标关键点集和所述医学图像数据确定所述心脏瓣膜的瓣环平面图像；
159.第一图像分割模块，用于对所述医学图像数据进行图像分割处理，得到所述心脏瓣膜及其相关部位的目标分割结果；
160.瓣环平面分割结果确定模块，用于基于所述目标关键点集和所述目标分割结果确定所述心脏瓣膜的瓣环平面分割结果；
161.第二图像分割模块，用于基于所述瓣环平面图像和所述瓣环平面分割结果，利用二维图像分割方法确定所述心脏瓣膜的瓣环轮廓图像。
162.在一个可能的实施例中，所述装置1000还可以包括：
163.参数提取模块，用于基于所述心脏瓣膜的瓣环轮廓图像，确定所述心脏瓣膜的瓣环轮廓参数，所述瓣环轮廓参数包括周长、面积、等效直径、最大径和最小径中的一种或多种。
164.需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与相应方法实施例属于同一构思，其具体实现过程详见对应方法实施例，这里不再赘述。
165.本发明一个实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的瓣环自动检测方法。
166.具体地，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
167.在一个具体的实施例中，图11示出了一种用于实现本发明实施例所提供的瓣环自动检测方法的电子设备的硬件结构示意图，所述电子设备可以为计算机终端、移动终端或其它设备，所述电子设备还可以参与构成或包含本发明实施例所提供的瓣环自动检测装置。如图11所示，所述电子设备1100可以包括一个或一个以上计算机可读存储介质的存储器1110、一个或者一个以上处理核心的处理器1120、输入单元1130、显示单元1140、射频(radio frequency，rf)电路1150、无线保真(wireless fidelity，wifi)模块1160以及电源1170等部件。本领域技术人员可以理解，图11中示出的电子设备结构并不构成对电子设备1100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
168.所述存储器1110可用于存储软件程序以及模块，所述处理器1120通过运行或执行存储在所述存储器1110的软件程序以及模块，以及调用存储在存储器1110内的数据，从而执行各种功能应用以及数据处理。所述存储器1110可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据所述电子设备的使用所创建的数据等。此外，存储器1110可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1110还可以包括存储器控制器，以提供处理器1120对存储器1110的访问。
169.所述处理器1120是电子设备1100的控制中心，利用各种接口和线路连接整个电子
设备的各个部分，通过运行或执行存储在存储器1110内的软件程序和/或模块，以及调用存储在存储器1110内的数据，执行电子设备1100的各种功能和处理数据，从而对电子设备1100进行整体监控。所述处理器1120可以是中央处理器，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
170.所述输入单元1130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元1130可包括触敏表面1131以及其他输入设备1132。具体地，触敏表面1131可以包括但不限于触感板或者触摸屏，其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
171.所述显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1140可包括显示面板1141，可选的，可以采用液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode，oled)等形式来配置显示面板1141。
172.所述rf电路1150可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器1120处理；另外，将涉及上行的数据发送给基站。通常，rf电路1150包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim)卡、收发信机、耦合器、低噪声放大器(low noise amplifier，lna)、双工器等。此外，rf电路1150还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(global system of mobile communication，gsm)、通用分组无线服务(general packet radio service，gprs)、码分多址(code division multiple access，cdma)、宽带码分多址(wideband code division multiple access，wcdma)、长期演进(long term evolution，lte)、电子邮件、短消息服务(short messaging service，sms)等。
173.wifi属于短距离无线传输技术，电子设备1100通过wifi模块1160可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了wifi模块1160，但是可以理解的是，其并不属于电子设备1100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
174.所述电子设备1100还包括给各个部件供电的电源1170(比如电池)，优选的，电源可以通过电源管理系统与处理器1120逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1170还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
175.需要说明的是，尽管未示出，所述电子设备1100还可以包括蓝牙模块等，在此不再赘述。
176.本发明一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种瓣环自动检测方法相关的至少一条指令或至
少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的瓣环自动检测方法。
177.可选地，在本发明实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
178.本发明一个实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当计算机程序产品在电子设备上运行时，该计算机程序/指令被处理器加载并执行以实现上述各种可选实施例中提供的瓣环自动检测方法的步骤。
179.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
180.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
181.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
182.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。