血管图像处理方法、装置、电子设备及存储介质与流程

1.本发明涉及医学图像处理技术领域，尤其涉及血管图像处理方法、装置、电子设备及存储介质。


背景技术：

2.为了对血管相关的组织进行诊断，常常需要对医学影像中的血管进行分段和命名，以确定各部分血管分别在医学领域的解剖结构的名称。现有的技术中，有通过解剖结构的拓扑关系、形态等对血管进行分段。
3.但是在采用现有技术对血管进行命名的过程中发现：人的心脏的结构因人而异，所以这种规则性并不鲁棒，影响了其分段的准确性。


技术实现要素：

4.本发明提供了一种血管图像处理方法、装置、电子设备及存储介质，以解决现有技术中对血管分段和命名的过程中准确性低的问题，提高了分段和命名结果的准确性。
5.第一方面，本发明实施例提供了一种血管图像处理方法，该方法包括：
6.获取初始血管图像，对所述初始血管图像进行血管粗分割处理，获得所述初始血管图像的血管粗分割图像；
7.对所述血管粗分割图像进行点云特征提取预处理，生成所述血管粗分割图像的初始点云特征，并对所述初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；
8.将各所述下采样点云特征输入至预先训练的血管分段模型，获得所述初始血管图像的血管分段图像；其中，所述血管分段模型包括至少一个预设特征提取层、至少一个层级的下采样编码模块和至少一个层级的上采样解码模块；所述下采样编码模块的下采样次数、所述上采样解码模块的上采样次数与所述预设特征提取层的层数相同；
9.基于所述血管粗分割图像以及所述血管分段图像，确定所述初始血管图像中的各血管中心线的分段名称。
10.可选的，所述血管粗分割图像包括冠状动脉主血管分割图像；
11.相应的，所述获取初始血管图像，对所述初始血管图像进行血管粗分割处理，获得所述初始血管图像的血管粗分割图像，包括：
12.获取包含冠状动脉主血管的初始血管图像；
13.将所述初始血管图像输入至预先训练的血管粗分割模型，获得所述初始血管图像的冠状动脉主血管分割图像。
14.可选的，所述对所述血管粗分割图像进行点云特征提取预处理，生成所述血管粗分割图像的初始点云特征，包括：
15.对所述血管粗分割图像进行点云处理，生成所述血管粗分割图像的点云数据；
16.对所述点云数据进行特征提取，获得所述点云数据的初始点云特征。
17.可选的，所述初始点云特征下采样后得到特征点数量与当前层级的下采样编码模块的特征点数量相同；
18.相应的，所述将各所述下采样点云特征输入至预先训练的血管分段模型，获得所述初始血管图像的血管分段图像，包括：
19.对于第一层级的下采样编码模块，将进行第一参数下采样处理后的得到的下采样特征作为第一层级的下采样编码模块的输入数据，对所述输入数据进行特征提取以及下采样处理后输出；
20.对于中间至少一层级的下采样编码模块，分别将进行不同参数的下采样处理后得到的下采样点云特征分别输入作为对应层级的下采样编码模块的第一输入数据，以及将上一层级的下采样编码模块的输出数据作为当前层级的下采样编码模块的第二输入数据，对所述第一输入数据和所述第二输入数据进行特征提取以及下采样处理后输出；
21.对于最后一层级的下采样编码模块，将上一层级的下采样编码模块的输出数据作为当前层级的下采样编码模块的输入数据，对所述输入数据进行特征提取以及下采样处理后输出；
22.对于第一层级的上采样编码模块，将当前层级的下采样编码模块的输出数据作为当前层级的上采样解码模块的输入数据，对所述输入数据进行特征处理以及上采样处理后输出；
23.对于其余一层级的上采样解码模块，分别将当前层级的下采样编码模块的输出数据作为当前层级的上采样解码模块的第一输入数据，以及将上一层的解码的输出数据作为当前层级的上采样模块的第二输入数据，对所述第一输入数据和所述第二输入数据进行特征处理以及上采样处理后输出，得到获得所述初始血管图像的血管分段图像。
24.可选的，所述血管分段模型中任一层级的下采样编码模块包括多层感知层、下采样层和至少一层特征提取层；所述多层感知层用于调整所述点云特征的特征维度；所述特征提取层用于对当前层级对应的初始点云特征，以及对上一层级的下采样编码模块的输出数据进行特征提取；所述下采样层用于对提取到的特征进行预设步幅的下采样处理；
25.最后一层级的上采样解码模块包括任一层级的上采样解码层包括多层感知层和和至少一层特征融合层；除最后层级以外的其他层级的上采样编码模块包括上采样层和至少一层特征融合层；所述多层感知层用于调整上一层级输出的融合特征的特征维度；所述特征融合层用于对上一层级的上采样解码模块的输出数据和当前层级的下采样编码模块的输出数据进行特征融合；所述上采样层用于对融合后的特征进行预设步幅的上采样处理。
26.可选的，所述方法还包括：
27.在对所述血管分段模型进行训练的过程中，获取各血管段的所属类别以及各所述类别分别对应的类别权重；
28.基于各类别权重确定所述血管分段模型的损失函数，并基于所述损失函数对所述血管分段模型进行迭代训练，直至得到训练完成的血管分段模型。
29.可选的，所述基于所述血管粗分割图像以及所述血管分段图像，确定所述初始血管图像中血管中心线的分段名称，包括：
30.确定所述血管粗分割图像中各血管的血管中心线；
31.对于任一血管中心线，确定当前血管中心线与所述血管分段图像中各血管段的重合度，基于各所述重合度确定各所述血管中心线的分段名称。
32.第二方面，本发明实施例还提供了一种血管图像处理装置，该装置包括：
33.血管粗分割处理模块，用于获取初始血管图像，对所述初始血管图像进行血管粗分割处理，获得所述初始血管图像的血管粗分割图像；
34.特征提取预处理模块，用于对所述血管粗分割图像进行点云特征提取预处理，生成所述血管粗分割图像的初始点云特征，并对所述初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；
35.血管分段图像获得模块，用于将各所述下采样点云特征输入至预先训练的血管分段模型，获得所述初始血管图像的血管分段图像。
36.第三方面，本发明实施例还提供了一种电子设备，包括：
37.至少一个处理器；以及
38.与所述至少一个处理器通信连接的存储器；其中，
39.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的血管图像处理方法。
40.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例的血管图像处理方法。
41.本发明实施例的技术方案中，具体包括获取初始血管图像，对初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像；对血管粗分割图像进行点云特征提取预处理，生成血管粗分割图像的初始点云特征，并对初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像。上述技术方案通过对含冠状动脉主血管的初始血管图像进行分割处理，得到分割图像，并提取分割图像经过不同下采样参数处理后的下采样点云特征；采用预先训练的血管分段模型对各下采样点云特征进行处理，从而得到包含冠状动脉主血管的初始血管图像的血管分段图像，解决了现有技术中对血管分段和命名的过程中准确性低的问题，提高了分段和命名结果的准确性。
42.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
43.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是根据本发明实施例一提供的一种血管图像处理方法的流程图；
45.图2是根据本发明实施例一所涉及的血管分段模型的原理图；
46.图3是根据本发明实施例一所涉及的血管分段结果的示意图；
47.图4是根据本发明实施例一所涉及的血管分段的命名结果的示意图；
48.图5是根据本发明实施例二提供的一种血管图像处理方法的流程图；
49.图6是根据本发明实施例三提供的一种血管图像处理装置的结构示意图；
50.图7是实现本发明实施例四所提供的电子设备的结构示意图。
具体实施方式
51.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
52.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
53.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
54.可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
55.例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
56.作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
57.可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
58.可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
59.实施例一
60.图1为本发明实施例一提供了一种血管图像处理方法的流程图，本实施例可适用于对冠脉血管进行命名的情况，该方法可以由血管图像处理装置来执行，该血管图像处理装置可以采用硬件和/或软件的形式实现，该血管图像处理装置可配置于移动终端、pc端或服务器等中。如图1所示，该方法包括：
61.s110、获取初始血管图像，对初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像。
62.在本发明实施例中，初始血管图像可以理解为任意包含血管的部位的初始血管图像，例如脑部血管图像、心脏血管图像等各部位的初始血管图像；可选的，初始血管图像的图像格式可以包括但不限于ccta(coronary computed tomography angiogram，冠状动脉ct血管造影)、cag(coronary angiography，冠状动脉造影)、mri(magnetic resonance imaging，磁共振成像)等图像。具体的，获取初始血管图像的方法可以包括采用医学影像设备对目标对象包含血管的部位进行扫描，从而得到目标对象包含血管的初始血管图像。需要说明的是，可以根据扫描部位的不同，得到包含不同部位的初始血管图像。在上述实施方式的基础上，本实施例的技术方案还可以基于调取本地存储或者云端服务器存储的初始血管图像数据，从而获取到初始血管图像；本实施例对获取初始血管图像的方法不作限定。
63.可选的，本实施例中获取到的初始血管图像可以包括包含冠状动脉主血管的初始血管图像；具体的，在获取到包含冠状动脉主血管的初始血管图像的情况下，对包含冠状动脉主血管的初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像；相应的，得到的血管粗分割图像包括冠状动脉主血管分割图像。可选的，粗分割处理的方式包括但不限于：传统图像处理算法和深度卷积神经网络等方法。可选的，若采用神经网络算法进行血管粗分割处理，则获取血管粗分割图像的方法可以包括：将初始血管图像输入至预先训练的血管粗分割模型，获得初始血管图像的冠状动脉主血管分割图像。示例性的，可以预先设置血管粗分割模型为二分类模型，相应的该血管粗分割模型输出冠脉二值化的粗分割结果为初始血管图像的血管粗分割图像；其中，前景为冠状动脉主血管。
64.s120、对血管粗分割图像进行点云特征提取预处理，生成血管粗分割图像的初始点云特征，并对初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征。
65.在本发明实施例中，在获得初始血管图像的冠状动脉主血管分割图像的情况下，并对该冠状动脉主血管粗分割图像进行点云特征提取预处理，生成该冠状动脉主血管粗分割图像的初始点云特征；为了得到点云特征中不同程度的图像细节信息，本实施例的技术方案在得到初始点云特征的情况下，还对初始点云特征进行不同参数的下采样处理，从而得到不同参数的下采样点云特征，以基于各下采样点云特征对初始血管图像进行分段处理，得到初始血管图像的分段结果。
66.可选的，对该冠状动脉主血管粗分割图像进行点云特征提取预处理，生成该冠状动脉主血管粗分割图像的点云特征的方法可以包括：将初始血管图像输入至预先训练的血管粗分割模型，获得初始血管图像的冠状动脉主血管分割图像。
67.具体的，基于上述实施获得的冠状动脉主血管粗分割图像的图像数据为数据特征为整齐的规格化数据，并对上述图像数据进行点云处理，得到冠状动脉主血管粗分割图像的点云数据。可选的，点云处理的处理方法可以包括：将上述规格化数据的前景(冠脉二值化粗分割)进行点云处理，得到的点云数据包括每个前景点的坐标位置。在此基础上，对上述点云数据进行特征提取，提取上述点云数据中的位置特征；可选的，本实施例还可以对上述点云数据进行归一化处理，并提取归一化后的点云数据的位置特征，并将两种位置特征进行特征拼接，作为上述点云数据的初始点云特征。
68.当然，上述确定血管粗分割图像的初始点云特征的方式只是作为可选实施例，本实施例还可以基于其他形式生成血管粗分割图像的初始点云特征，对此不做限定。
69.需要说明的是，由于得到的初始点云特征的特征点数据过于大，将其输入至血管分段模型进行特征处理效率降低，因此对初始点云特征进行下采样处理。具体的，在得到初始点云特征之后，采用预设下采样处理方法对该初始点云特征进行下采样处理，其中，基于不同下采样参数进行下采样处理后得到的下采样点云特征的特征点数量与血管分段模型中当前层级的编码模块的特征点数量保持一致，以便于将下采样点云特征输入值血管分段模型中进行特征处理。需要说明的是，现有技术的下采样处理方法均可作为本实施例中的技术方案，本实施例中对下采样处理的方法不作限定。
70.s130、将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像。
71.在本发明实施例中，血管分段模型包括至少一个预设特征提取层、至少一个层级的下采样编码模块和至少一个层级的上采样解码模块；下采样编码模块的下采样次数、上采样解码模块的上采样次数与预设特征提取层的层数相同。初始点云特征下采样后得到特征点数量与当前层级的下采样编码模块的特征点数量相同，以便于将下采样后的下采样点云特征输入至当前层级的下采样编码模块进行特征提取；相应的，将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像，包括：对于第一层级的下采样编码模块，将进行第一参数下采样处理后的得到的下采样特征作为第一层级的下采样编码模块的输入数据，对输入数据进行特征提取以及下采样处理后输出；对于中间至少一层级的下采样编码模块，分别将进行不同参数的下采样处理后得到的下采样点云特征分别输入作为对应层级的下采样编码模块的第一输入数据，以及将上一层级的下采样编码模块的输出数据作为当前层级的下采样编码模块的第二输入数据，对第一输入数据和第二输入数据进行特征提取以及下采样处理后输出；对于最后一层级的下采样编码模块，将上一层级的下采样编码模块的输出数据作为当前层级的下采样编码模块的输入数据，对输入数据进行特征提取以及下采样处理后输出；对于第一层级的上采样编码模块，将当前层级的下采样编码模块的输出数据作为当前层级的上采样解码模块的输入数据，对输入数据进行特征处理以及上采样处理后输出；对于其余一层级的上采样解码模块，分别将当前层级的下采样编码模块的输出数据作为当前层级的上采样解码模块的第一输入数据，以及将上一层的解码的输出数据作为当前层级的上采样模块的第二输入数据，对第一输入数据和第二输入数据进行特征处理以及上采样处理后输出，得到获得初始血管图像的血管分段图像。
72.在上述实施例的基础上，血管分段模型中任一层级的下采样编码模块包括多层感知层、下采样层、和至少一层特征提取层；多层感知层用于调整点云特征的特征维度；特征提取层用于对当前层级对应的初始点云特征或下采样点云特征，以及对上一层级的下采样编码模块的输出数据进行特征提取；下采样层用于对提取到的特征进行预设步幅的下采样处理；最后一层级的上采样解码模块包括多层感知层、和至少一层特征融合层；除最后层级以外的其他层级的上采样编码模块包括上采样层和至少一层特征融合层；多层感知层用于调整上一层级输出的融合特征的特征维度；特征融合层用于对上一层级的上采样解码模块的输出数据和当前层级的下采样编码模块的输出数据进行特征融合；上采样层用于对融合后的特征进行预设步幅的上采样处理。
73.本实施例中，血管分段模型可以为ptnet模型。具体的，ptnet模型整体结构包括编码部分和解码部分，编码部分由多个编码模块级联组成；其中，每个编码模块包含：至少一
个级联的transformer组件和一个下采样组件组成；解码部分由多个解码模块级联组成；其中，每个解码模块包括:一个上采样组件和至少一个级联的transformer组件。
74.在本实施例中，解码部分的除第一层级以外的其他上采样解码模块的输入由上一层的上采样解码模块的输出数据以及同层级同样数目点的编码模块的输出数据经过transformer组件形成的特征提取模块进行特征提取后所组成。具体的，将浅层的特征信息融合到深层信息中，输出的特征既包含浅层的经过transformer后注意到的细节信息也包含到了深层信息的全局信息，使得血管分段结果命名的类别更加准确。
75.具体的，解码部分输出特征的表达式如下所示：
76.f
un
＝linear(sum(f
dn-1
，f
un-1
))
77.其中，f_un表示第n层的解码transformer组件的输入；sum表示特征的融合方式，可选的，本实施例中的融合方式还可以采用concat进行处理，本实施例对融合方式不作限定；f
un-1
为n-1层解码模块经上采样后输出的特征；f
dn-1
为编码过程和解码采样后f
un-1
同层级同样数目点的编码模块的输出。
78.具体的，本实施例中点云特征在输入至血管分段模型中的transformer组件中的处理过程可以包括：将点云特征输入至linear层，随后将linear层输出的特征输入到transformer层中进行计算，由于考虑到局部的点与邻域的点之间存在一定的解剖空间关系，在局部位置使用注意力计算得到下一层的点的特征值输出。示例性的，transformer层输出特征的表达式包括：
[0079][0080]
其中，χ表示点i的领域点特征；ρ表示softmax函数；γ，k，q表示linear线性变换，τ操作表示相减操作，可选的，τ操作还可以表示点乘、特征融合或者相加等操作；δ表示位置的可学习的相对编码，表示关于i、j的位置关系。
[0081]
具体的参加图2，血管分段模型中除第一层级和最后一层级以外的其他层级的下采样编码模块的输入数据可以来自两个路径，其一为上一层编码模块的输出数据以及经过与当前层级对应的下采样参数进行下采样处理后得到的下采样点云特征；需要说明的是，本实施例中不同下采样参数后得到的下采样特征的点数目与编码模块特征点的点数目相同，其效果在于利用了多尺度信息与编码模块进行融合，融合方式通过相加后输入到mlp层，随后输入到transformer中进行计算，以使后续得到的编码特征信息更加全面，从而提高模型分类的准确性。
[0082]
可选的，对于transformer层输出的特征，对其附近的h个近邻点进行注意力计算，并将上述h个点得到的注意力值求和，上述操作中对于邻域的计算可以考虑到每个点与附近点之间的关系，考虑到了各点之间的局部信息。相比较常规的transformer计算中仅考虑全局信息的操作，上述操作浅层可以获得更多的局部信息，深层可以获得更多的全局信息，并且可以节省计算资源。基于上述邻域点操作，获得最后输出的特征矩阵，将其再输入至linear层，并将输出的特征与输入的点云特征进行融合，得到m维度的特征作为transformer层输出的特征。
[0083]
在上述实施方式的基础上继续参见图2，本实施例的技术方案在将点云特征输入至血管分段模型中编码部分的第一层级的编码模块中的transformer层之前，还将该点云
特征输入至预设的多层感知层中，以实现调整点云特征的特征维度，便于后续将输出的特征输入至transformer层中进行特征处理；可选的，本实施例的技术方案在获得解码部分的最后一层级的解码模块中的transformer层输出的图像特征之后，还将该图像特征输入至预设的多层感知层中，以实现调整图像特征的特征维度，便于后续将输出的图像特征与上述的点云特征保持特征维度一致。
[0084]
s140、基于血管粗分割图像以及血管分段图像，确定初始血管图像中的各血管中心线的分段名称。
[0085]
在本发明实施例中，在基于上述实施方式获得初始血管图像的血管分段图像的基础上，确定该血管分段图像确定初始血管图像中各中心线的分段名称。可选的，确定方法可以包括：确定血管粗分割图像中各冠状动脉主血管的血管中心线；对于任一血管中心线，确定当前血管中心线与血管分段图像中各血管段的重合度，基于各重合度确定各血管中心线的分段名称。
[0086]
具体的，在基于上述各实施方式中获得血管粗分割图像的情况下，确定血管粗分割图像中各冠状动脉主血管的血管中心线。可选的，确定血管中心线的方法可以基于传统图像处理算法，也可以基于深度卷积神经网络等方法，本实施例对此不作限定。
[0087]
本发明实施例中，获取基于上述各实施方式得到的血管分段图像，示例性的如图3所示，对于各血管分段结果中任一血管段的血管中心线，确定当前血管中心线与血管分段图像中各血管段的重合度，例如确定当前血管中心线与各血管分段的重合点数目，若与rca分段的重合点数最多，即与其重合度最高，说明当前血管中心线即为rca中心线，同理一次处理lcx与lad的血管与中心线分段，再对其他血管中心线通过点的重合率进行分段，最后得到如图4所示的血管分段所对应的中心线分段与命名结果。
[0088]
本发明实施例的技术方案中，具体包括获取初始血管图像，对初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像；对血管粗分割图像进行点云特征提取预处理，生成血管粗分割图像的初始点云特征，并对初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像；确定血管粗分割图像中各冠状动脉主血管的血管中心线；对于任一血管中心线，确定当前血管中心线与血管分段图像中各血管段的重合度，基于各重合度确定各血管中心线的分段名称。上述技术方案通过对含冠状动脉主血管的初始血管图像进行分割处理，得到分割图像，并提取分割图像的经过不同下采样参数处理后的下采样点云特征；采用预先训练的血管分段模型对各下采样点云特征进行处理，从而得到包含冠状动脉主血管的初始血管图像的血管分段图像，并基于确定的各血管分段的血管中心线与血管分段图像，对分段后的各血管中心线进行命名，解决了现有技术中对血管分段和命名的过程中准确性低的问题，提高了分段和命名的准确性和可靠性。
[0089]
实施例二
[0090]
图5为本发明实施例二提供的一种血管图像处理方法的流程图，本实施例与上述实施例之间的关系包括：在获取初始血管图像之前，还包括：预先训练血管分段模型。其中，与上述各实施例一致技术方案，本实施例不再进行一一赘述。如图5所示，该方法包括：
[0091]
s210、预先训练血管分段模型。
[0092]
本发明实施例中，在获取初始血管图像之前预先对血管分段模型进行模型训练，基于训练完成的血管分段模型，获得初始血管图像的血管分段图像。
[0093]
可选的，在对血管分段模型进行训练的过程中，获取各血管段的所属类别以及各类别分别对应的类别权重；基于各类别权重确定血管分段模型的损失函数，并基于损失函数对血管分段模型进行迭代训练，直至得到训练完成的血管分段模型。
[0094]
具体的，根据预设的血管分段命名规则，预先将冠状动脉的各血管段分进行分类，并根据分类结果计算血管分段模型的模型损失。
[0095]
可选的，可以采用交叉熵损失函数确定模型损失。示例性的，交叉熵损失函数的表达式包括：
[0096][0097]
其中，lossi表示点i的损失；c为样本种类数；pi为i点的预测的种类概率值。
[0098]
本实施例中，由于各血管段类别中的主要血管如(rca、lcx、lad)的点的数量更多，而一些分支如(对角支、后室间沟等)的数量少一些，所以为了考虑类别间点数量的不平衡，加入权重损失，从而提高模型学习的性能，以提高血管分段的准确性。具体的，类别权重计算的表达式如下所示：
[0099][0100]
其中，c为样本总类数，c表示各血管分段的当前类别；wc表示血管分段c的类别权重；nc表示第c类别点的数目。
[0101]
进一步的，基于上述类别权重和交叉熵损失函数确定血管分段模型的模型损失。示例性的，模型损失的表达式如下所示：
[0102][0103]
其中，lossi表示点i的损失，c为样本总类数；lossc表示类别c的损失，wc表示血管分段c的类别权重。
[0104]
进一步的，在确定血管分段模型的损失函数的情况下，基于损失函数对血管分段模型进行迭代训练，直至得到训练完成的血管分段模型。
[0105]
s220、获取初始血管图像，对初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像。
[0106]
s230、对血管粗分割图像进行点云特征提取预处理，生成血管粗分割图像的初始点云特征，并对初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征。
[0107]
s240、将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像。
[0108]
s250、基于血管粗分割图像以及血管分段图像，确定初始血管图像中的各血管中心线的分段名称。
[0109]
本发明实施例的技术方案中，具体包括预先训练血管分段模型，基于不同类别出现的频次设置不同的损失权重，基于损失权重对模型进行训练，得到训练完成的血管分段模型，可以提升后续对血管图像分段的准确性。进一步的，本发明实施例的技术方案获取初始血管图像，对初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像；对血管粗分割图像进行点云特征提取预处理，生成血管粗分割图像的初始点云特征，并对初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像。上述技术方案通过对含冠状动脉主血管的初始血管图像进行分割处理，得到分割图像，并提取分割图像的经过不同下采样参数处理后的下采样点云特征；采用预先训练的血管分段模型对各下采样点云特征进行处理，从而得到包含冠状动脉主血管的初始血管图像的血管分段图像，解决了现有技术中对血管分段和命名的过程中准确性低的问题，提高了分段和命名结果的准确性。
[0110]
实施例三
[0111]
图6为本发明实施例三提供的一种血管图像处理装置的结构示意图。如图6所示，该装置包括：血管粗分割处理模块310、特征提取预处理模块320、血管分段图像获得模块330和分段名称确定模块340；其中，
[0112]
血管粗分割处理模块310，用于获取初始血管图像，对所述初始血管图像进行血管粗分割处理，获得所述初始血管图像的血管粗分割图像；
[0113]
特征提取预处理模块320，用于对所述血管粗分割图像进行点云特征提取预处理，生成所述血管粗分割图像的初始点云特征，并对所述初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；
[0114]
血管分段图像获得模块330，用于将各所述下采样点云特征输入至预先训练的血管分段模型，获得所述初始血管图像的血管分段图像；其中，所述血管分段模型包括至少一个预设特征提取层、至少一个层级的下采样编码模块和至少一个层级的上采样解码模块；所述下采样编码模块的下采样次数、所述上采样解码模块的上采样次数与所述预设特征提取层的层数相同；
[0115]
分段名称确定模块340，用于基于所述血管粗分割图像以及所述血管分段图像，确定所述初始血管图像中的各血管中心线的分段名称。
[0116]
本发明实施例的技术方案中，具体包括获取初始血管图像，对初始血管图像进行血管粗分割处理，获得初始血管图像的血管粗分割图像；对血管粗分割图像进行点云特征提取预处理，生成血管粗分割图像的初始点云特征，并对初始点云特征进行不同参数的下采样处理，得到不同下采样参数的下采样点云特征；将各下采样点云特征输入至预先训练的血管分段模型，获得初始血管图像的血管分段图像。上述技术方案通过对含冠状动脉主血管的初始血管图像进行分割处理，得到分割图像，并提取分割图像的经过不同下采样参数处理后的下采样点云特征；采用预先训练的血管分段模型对各下采样点云特征进行处理，从而得到包含冠状动脉主血管的初始血管图像的血管分段图像，解决了现有技术中对血管分段和命名的过程中准确性低的问题，提高了分段和命名结果的准确性。
[0117]
在上述各实施例的基础上，可选的，所述血管粗分割图像包括冠状动脉主血管分割图像；
[0118]
相应的，血管粗分割处理模块310，包括：
[0119]
初始血管图像获取单元，用于获取包含冠状动脉主血管的初始血管图像；
[0120]
冠状动脉主血管分割图像获得单元，用于将所述初始血管图像输入至预先训练的血管粗分割模型，获得所述初始血管图像的冠状动脉主血管分割图像。
[0121]
在上述各实施例的基础上，可选的，特征提取预处理模块320，包括：
[0122]
点云数据生成单元，用于对所述血管粗分割图像进行点云处理，生成所述血管粗分割图像的点云数据；
[0123]
点云特征获取单元，用于对所述点云数据进行特征提取，获得所述点云数据的初始点云特征。
[0124]
在上述各实施例的基础上，可选的，
[0125]
所述初始点云特征下采样后得到特征点数量与当前层级的下采样编码模块的特征点数量相同；
[0126]
相应的，所述将各所述下采样点云特征输入至预先训练的血管分段模型，获得所述初始血管图像的血管分段图像，包括：
[0127]
对于第一层级的下采样编码模块，将进行第一参数下采样处理后的得到的下采样特征作为第一层级的下采样编码模块的输入数据，对所述输入数据进行特征提取以及下采样处理后输出；
[0128]
对于中间至少一层级的下采样编码模块，分别将进行不同参数的下采样处理后得到的下采样点云特征分别输入作为对应层级的下采样编码模块的第一输入数据，以及将上一层级的下采样编码模块的输出数据作为当前层级的下采样编码模块的第二输入数据，对所述第一输入数据和所述第二输入数据进行特征提取以及下采样处理后输出；
[0129]
对于最后一层级的下采样编码模块，将上一层级的下采样编码模块的输出数据作为当前层级的下采样编码模块的输入数据，对所述输入数据进行特征提取以及下采样处理后输出；
[0130]
对于第一层级的上采样编码模块，将当前层级的下采样编码模块的输出数据作为当前层级的上采样解码模块的输入数据，对所述输入数据进行特征处理以及上采样处理后输出；
[0131]
对于其余一层级的上采样解码模块，分别将当前层级的下采样编码模块的输出数据作为当前层级的上采样解码模块的第一输入数据，以及将上一层的解码的输出数据作为当前层级的上采样模块的第二输入数据，对所述第一输入数据和所述第二输入数据进行特征处理以及上采样处理后输出，得到获得所述初始血管图像的血管分段图像。
[0132]
在上述各实施例的基础上，可选的，所述血管分段模型中任一层级的下采样编码模块包括多层感知层、下采样层和至少一层特征提取层；所述多层感知层用于调整所述点云特征的特征维度；所述特征提取层用于对所述当前层级对应的初始点云特征或下采样点云特征，以及对上一层级的下采样编码模块的输出数据进行特征提取；所述下采样层用于对提取到的特征进行预设步幅的下采样处理；
[0133]
最后一层级的上采样解码模块包括任一层级的上采样解码层包括多层感知层和至少一层特征融合层；除最后层级以外的其他层级的上采样编码模块包括上采样层和至少一层特征融合层；所述多层感知层用于调整上一层级输出的融合特征的特征维度；所述特
征融合层用于对上一层级的上采样解码模块的输出数据和当前层级的下采样编码模块的输出数据进行特征融合；所述上采样层用于对融合后的特征进行预设步幅的上采样处理。
[0134]
在上述各实施例的基础上，可选的，该装置还包括：
[0135]
类别权重获取模块，用于在对所述血管分段模型进行训练的过程中，获取各血管段的所属类别以及各所述类别分别对应的类别权重；
[0136]
损失函数确定模块，用于基于各类别权重确定所述血管分段模型的损失函数，并基于所述损失函数对所述血管分段模型进行迭代训练，直至得到训练完成的血管分段模型。
[0137]
在上述各实施例的基础上，可选的，分段名称确定模块340，包括：
[0138]
血管中心线确定单元，用于在所述获得所述初始血管图像的血管分段图像之后，确定所述血管粗分割图像中各冠状动脉主血管的血管中心线；
[0139]
分段名称确定单元，用于对于任一血管中心线，确定当前血管中心线与所述血管分段图像中各血管段的重合度，基于各所述重合度确定各所述血管中心线的分段名称。
[0140]
本发明实施例所提供的血管图像处理装置可执行本发明任意实施例所提供的血管图像处理方法，具备执行方法相应的功能模块和有益效果。
[0141]
实施例四
[0142]
图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0143]
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0144]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0145]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如血管图像处理方法。
[0146]
在一些实施例中，血管图像处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以
经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的血管图像处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行血管图像处理方法。
[0147]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0148]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0149]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0150]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0151]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0152]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过
通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0153]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0154]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。