冠脉钙化斑块的分割方法、分割模型训练方法、相关装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置。


背景技术：

2.在医学领域中，可基于非对比增强心电门控钙化积分电子计算机断层扫描(non-contrast enhanced ecg-triggered calcium scoring ct，csct)图像的分析实现对冠状动脉(冠脉)是否存在钙化斑块以及在存在钙化斑块的情况下钙化斑块所处位置的识别或分割，该方案为一种对冠脉钙化斑块的粗识别。
3.在实际应用中，考虑到冠脉包括有左主支(left main，简称为lm)、左前降支(left anterior descending artery，简称为lad)、左旋支(left circumflex artery，简称为lcx)、右冠状动脉(right coronary artery，简称为rca)等四支冠脉。各支冠脉上可能存在钙化斑块。
4.可见，如何从csct图像中实现各支冠脉的钙化斑块的准确识别或分割成为了亟待解决的技术问题。


技术实现要素：

5.本发明提供了一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置。
6.本发明提供了一种冠脉钙化斑块的分割方法，所述方法包括：
7.获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
8.将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
9.基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
10.基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
11.上述方案中，在所述基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域之后，所述方法还包括：
12.基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
13.上述方案中，所述基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素，包括：
14.所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；
15.或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足以下要求的体素；
16.所述体素位于心脏表面区域内；
17.包括有所述体素的候选区域中的体素数量位于第一预设范围内；
18.所述体素的体积达到预设体积阈值；
19.所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
20.上述方案中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置。
21.上述方案中，所述目标模型获得目标图像的全局特征，包括：
22.对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征；基于所述细节特征和语义特征，得到目标图像的注意力特征；基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征；基于目标图像的上下文特征，得到所述全局特征。
23.上述方案中，在将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域之前，所述方法还包括：
24.获取训练图像，所述训练图像为包括心脏区域的csct图像；所述心脏区域包括多个冠脉分支；基于所述筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；利用构建出的目标损失函数，对所述目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
25.上述方案中，所述获取目标图像包括：获取原始csct图像；识别原始csct图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始csct图像中裁剪出目标图像。
26.本发明提供了一种冠脉钙化斑块分割模型的训练方法，所述方法包括：
27.获取训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
28.基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
29.利用构建出的目标损失函数，对分割模型进行训练；
30.其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
31.本发明提供了一种冠脉钙化斑块的分割装置，所述装置包括：
32.第一获取单元，用于获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
33.第二获取单元，用于将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
34.筛选单元，用于基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
35.分割单元，用于基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化
斑块区域。
36.本发明提供了一种冠脉钙化斑块分割模型的训练装置，所述装置包括：
37.获取单元，用于获取训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
38.筛选单元，用于基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
39.训练单元，用于利用所述训练图像以及基于所述体素构建出的损失函数，对分割模型进行训练。
40.本发明提供了一种冠脉钙化斑块的分割方法及装置、冠脉钙化斑块的分割模型的训练方法及装置，其中所述分割方法包括：获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
41.利用目标模型和预设的筛选规则，实现了对csct图像中的各冠脉分支的钙化斑块区域的准确分割或识别。
42.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
43.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
44.在附图中，相同或对应的标号表示相同或对应的部分。
45.图1示出了本发明实施例中冠脉钙化斑块分割模型的训练方法的实现流程示意图；
46.图2示出了本发明实施例中冠脉钙化斑块的分割方法的实现流程示意图一；
47.图3示出了本发明实施例中冠脉钙化斑块的分割方法的实现流程示意图二；
48.图4示出了本发明实施例中分割模型的训练示意图一；
49.图5示出了本发明实施例中分割模型的训练示意图二；
50.图6示出了本发明实施例中目标模型的应用示意图；
51.图7示出了本发明实施例中冠脉钙化斑块的分割装置的组成示意图；
52.图8示出了本发明实施例中冠脉钙化斑块分割模型的训练装置的组成示意图。
具体实施方式
53.为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没
有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
55.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
56.在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
57.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
58.应理解，在本技术的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
59.本发明实施例的技术方案涉及到对分割模型进行训练的方案、以及利用训练好的分割模型以及预设的筛选规则对各冠脉分支的钙化斑块区域进行识别的方案。其中，为方便描述，可将训练好的分割模型视为目标模型。
60.本发明实施例提供一种冠脉钙化斑块分割模型的训练方法，如图1所示，所述方法包括：
61.s(步骤)101：获取训练图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
62.本步骤中，可将在医学系统中存储的多个csct图像读取出。或，收集或采集的多个csct图像。在实际应用中，读取、收集或采集的csct图像通常既包括前景(心脏)，又包括背景，本发明实施例中可从csct图像中，裁剪出心脏区域的图像，作为训练图像。训练图像的数量为多个。
63.考虑到训练图像的多样化和丰富化，读取、收集或采集的csct图像可以是患有不同程度的冠脉钙化斑块、和/或不同冠脉分支的钙化斑块的患者的csct图像。前述的图像为患病的csct图像，当然，训练图像也可以包括未患病的csct图像。这些患病的和未患病的csct图像进行分割模型进行训练，可保证分割模型的准确性。
64.可以理解，本发明实施例中的csct图像、训练图像、目标图像等均为三维图像。
65.s102：基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
66.在三维图像中，表示为钙化斑块的体素和表示为非钙化斑块(正常)的体素在灰度值存在很大的不同。本步骤中利用该不同，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素。为区分后续的第一和第二目标体素，视从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素为第三目标体素。
67.在具体实现上，可以，从训练图像中筛选出灰度值大于或等于第一灰度阈值的体
素作为第三目标体素。或者，从训练图像中筛选出灰度值大于或等于第一灰度阈值、且同时需要满足以下要求的体素作为第三目标体素。(1)体素位于心脏表面区域内；(2)包括有所述体素的候选区域中的体素数量位于第一预设范围内；(3)所述体素的体积达到预设体积阈值；(4)所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
68.前述的内容可视为对预设的筛选规则的说明。即筛选规则包括灰度值大于或等于第一灰度阈值。或者，筛选规则包括灰度值大于或等于第一灰度阈值的同时还包括前述的(1)-(4)。当然，筛选规则还可以为其他任何合理的规则，任何合理的规则均可覆盖在本发明实施例的范围内。
69.s103：利用构建出的目标损失函数，对所述目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
70.可以对目标损失函数进行事先构建。且与第三目标体素在训练图像中为钙化斑块体素或不为钙化斑块体素的预测值、以及预先标注的体素的标签值有关。目标损失函数可以为后续的公式(4)所示。
71.s101～s103中，基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素，相当于从训练图像中初步筛选出钙化斑块的候选区域。利用基于钙化斑块的候选区域中的体素而得到的损失函数以及多样化的训练图像，对分割模型进行训练，可保证对分割模型的训练准确性。
72.而且，本发明中的目标损失函数是基于训练图像这个整幅图像中的部分图像-钙化斑块的候选区域中的体素而得到的函数，与相关技术中损失函数是基于整个训练图像而得到且基于整幅图像进行损失函数的计算的方案相比，利用部分图像进行损失函数的计算，至少可缩短训练时长、加快训练进程，减少训练过程中的计算负担。
73.以上内容为本发明的对分割模型的训练方案，具体的训练过程可参见后续相关说明。
74.本发明实施例还提供一种冠脉钙化斑块的分割方法，如图2所示，所述方法包括：
75.s201：获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
76.目标图像为仅包括心脏区域、不包括背景的csct图像。
77.所述获取原始csct图像的进一步实现包括:识别原始csct图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始csct图像中裁剪出目标图像。
78.原始csct图像可以是从医学系统中读取出的csct图像，可以是经相关医学仪器的扫描而得到的csct图像。这样的csct图像通常既包括前景(心脏)，又包括背景，本发明实施例中可从原始csct图像中识别出心脏区域，对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始csct图像中裁剪出目标图像。
79.原始csct图像可以是患病的csct图像，也可以是未患病的csct图像，优选为患病的csct图像。
80.s202：将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
81.将目标图像输入至目标模型，得到lm、lad、lcx以及rca等四支冠脉分支的钙化斑块的候选区域。每个冠脉分支的钙化斑块的候选区域均包括多个第一目标体素。
82.s203：基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
83.所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足前述(1)-(4)要求的体素。
84.可以理解，在各冠脉分支的钙化斑块的候选区域包括的多个第一目标体素中，可能存在有不是钙化斑块的体素。本步骤，相当于基于预设的筛选规则从每个冠脉分支的钙化斑块的候选区域中筛选出可准确构成各冠脉分支的钙化斑块区域的第二目标体素。与各冠脉分支的钙化斑块的候选区域包括的多个第一目标体素相比，各冠脉分支的钙化斑块的候选区域中的第二目标体素是各冠脉分支的钙化斑块体素。
85.s204：基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
86.在目标图像中，由各冠脉分支的钙化斑块体素构成的区域即为各冠脉分支的钙化斑块区域。
87.s201～s204中，利用目标模型实现了对目标图像中的各冠脉分支的钙化斑块的候选区域的初步识别，基于预设的筛选规则对初步识别出的各冠脉分支的钙化斑块的候选区域中的体素进行进一步筛选(基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素)，可准确筛选出各冠脉分支的钙化斑块体素。基于准确筛选出各冠脉分支的钙化斑块体素，可从目标图像中准确分割出各冠脉分支的钙化斑块区域。由此实现了对csct图像中的各冠脉分支的钙化斑块区域的准确分割或识别。
88.与相关技术中的粗识别方案相比，本发明技术方案分割或识别出的钙化斑块是针对各个冠脉分支的，为一种对钙化斑块区域进行分割或识别的细方案。基于此，可认为本发明技术方案的目标模型具有对各冠脉分支的强分类能力，才能够区分出各个冠脉分支及其钙化斑块区域。
89.其中，筛选规则的设置保证了各冠脉分支的钙化斑块体素的准确筛选，进而实现了各冠脉分支的钙化斑块区域的准确分割或识别。
90.在一个可选的方案中，如图3所示，在所述基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域之后，所述方法还包括：
91.s205：基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
92.其中，各冠脉分支的钙化积分值以及总钙化积分值可作为评价指标，用于评判患病等级，如用来预测冠心病事件的风险分级。各冠脉分支的钙化积分值以及总钙化积分值的计算使得本方案的实用性增强。
93.在一个可选的方案中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心脏表面区域的相对位置。即，本发明中的目标模型可获得各冠脉分支在心脏表面区域的相对位置，并基于各冠脉分支在心脏表面区域的相对位置实现的对各冠脉分支的钙化斑块的候选区域的识别。可进一步保证候选区域的识别准确性。
94.在一个可选的方案中，所述目标模型获得目标图像的全局特征，包括：
95.对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征；基于所述细节特征和语义特征，得到目标图像的注意力特征；基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征；基于目标图像的上下文特征，得到所述全局特征。本可选方案可保证对各冠脉分支在心脏表面区域的相对位置的准确识别，进而保证候选区域的识别准确性。
96.在一个可选的方案中，在将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域之前，所述方法还包括：获取训练图像，所述训练图像为包括心脏区域的csct图像；所述心脏区域包括多个冠脉分支；基于所述筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
97.利用构建出的目标损失函数，对目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。即，在应用分割模型进行冠脉钙化斑块的分割之前，还需要对分割模型进行训练，以训练出稳定性好、鲁棒性强的目标模型。稳定性好、鲁棒性强的目标模型可实现对各冠脉分支的钙化斑块的候选区域的准确识别。
98.前述内容为利用目标模型以及预设的筛选规则对各冠脉分支的钙化斑块区域进行识别的方案，该过程可视为利用训练好的模型进行钙化斑块区域识别的应用方案。应用方案的具体实现请参见后续相关说明，重复之处不赘述。
99.基于前述对相关技术的介绍，可以理解，如果将各支冠脉的钙化斑块的识别视为一种对钙化斑块的分类识别，那么相关技术中无法做到对钙化斑块分类的准确识别。主要原因是：csct图像中缺少各支冠脉血管解剖结构信息，导致钙化斑块的分类困难。
100.另外，csct图像中的钙化部分只占整个csct图像中很小的一部分，导致想要识别或分割的钙化部分(前景部分)和其余部分(后景部分)出现严重的不平衡，即前后景不平衡，这种不平衡可能会导致钙化斑块的漏检或误检。
101.本发明实施例的训练方案和应用方案意在解决如上由于csct图像中缺少血管解剖结构信息而导致钙化斑块的分类困难、以及csct图像中的钙化部分和其余部分之间的前后景不平衡导致的钙化斑块的漏检或误检问题。
102.本发明实施例中，为解决钙化斑块的分类困难的问题，实际应用中在csct图像中直接建模血管解剖结构信息是不现实的。通过临床知识可知冠脉是依附于心脏表面的。所以可以通过建模心脏形态结构信息，间接建模冠脉解剖结构信息。基于此，本发明实施例提出心脏形态结构(心脏各支冠脉血管解剖结构信息)的先验学习，利用神经网络模型(cnn)建模了心脏的形态结构信息，使cnn网络学习到了全局的语义信息，即各冠脉分支间的相对位置关系，进而提升了cnn网络针对钙化斑块的分类能力。
103.本发明实施例中，针对前后景不平衡问题，提出了基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域，在该候选区域中进行损失的计算，与从整个训练图像中进行损失计算的方案相比，可大幅减少网络需要学习的候选区域范围，缓解前后景不平衡问题，提升钙化斑块的分割效果。缩短训练时长、加快训练进程，减少训练过程中的计算负担。
104.需要说明的是，本发明实施例中涉及到两个候选区域，一个是将目标图像输入至目标模型而得到的目标模型输出的各冠脉分支的钙化斑块的候选区域，视其为第一候选区
域。另一个是基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域，视其为第二候选区域。
105.下面分别对训练方案和应用过程方案进行说明。
106.本说明中，以分割模型为cnn模型、具体是语义分割(unet)模型为例。该unet模型包括编码器和解码器。
107.训练方案：
108.心脏形态结构的先验学习的实现过程是：
109.(1)获取心脏表面区域分割掩码
110.从医学系统中读取出csct图像作为原始csct训练图像。原始csct训练图像还可以是经相关医学仪器的扫描而得到的csct图像。这样的csct图像通常既包括前景(心脏)，又包括背景。
111.利用预先设置的算法对原始csct训练图像进行心脏区域的分割，得到原始csct训练图像中的心脏区域。针对心脏区域，计算心脏分割掩码(c)。其中，预先设置的算法为区域生长算法、自适应阈值算法，还可以为能够对心脏区域进行全自动分割的深度学习模型。
112.将心脏区域进行腐蚀操作，得到经过腐蚀操作后的掩码(c1)。将心脏区域进行膨胀操作，得到经过膨胀操作后的掩码(c2)。将经过腐蚀操作后的掩码c1和膨胀操作后的掩码c2进行与操作，得到心脏表面区域分割掩码(s)。
113.前述方案可视为对心脏区域进行处理，得到心脏表面区域分割掩码的方案的具体实现。
114.可以理解，心脏表面区域分割掩码s是覆盖于心脏结构表面的具有一定厚度的类环状分割掩码，之所以不采用原始心脏分割掩码c，是为了避开心脏内部可能存在钙化的区域，使后续的心脏形态结构的先验学习更专注于在心脏的表面四支冠脉的相对位置。
115.(2)心脏形态结构先验的学习：
116.a.基于心脏表面区域分割掩码s，从原始csct训练图像中裁剪出训练图像。
117.针对输入的原始csct训练图像，按照前述(1)中得到心脏表面区域分割掩码s，可以得到s对应的3d框(3dbox)。通过3dbox对原始csct训练图像进行裁剪，得到只包含心脏区域的csct图像(图4中的c-csct图像)。将该图像作为训练图像输入至unet模型、具体是编码器中。
118.b.获得c-csct图像的fp(featurepyramid)，基于fp获得c-csct图像的注意力特征图(attention feature pyramid,afp)。
119.将c-csct图像输入至编码器的残差网络(resnet)的不同卷积层中，得到不同层级的特征图(fp，featurepyramid)。
120.示例性地，如通过残差网络的不同卷积层得到p2-p5共四个特征图。p2-p5分别对应resnet网络的不同的残差阶段(c2-c5)的特征，如图5所示。
121.特征图p2-p5是按照从低残差阶段到高残差阶段的顺序而得到的特征图。可以理解，从低残差阶段得到的特征图如p2体现的是c-csct图像的细节信息，如轮廓、边缘等。从高残差阶段得到的特征图如p5体现的是c-csct图像的语义信息、如哪些体素是构成冠脉血管的体素。
122.前述的方案可视为对训练图像的细节和语义进行特征提取，得到训练图像的细节
特征和语义特征的详细说明。
123.这里的resnet网络还可以被vgg网络、transformer网络及与其等同的其他网络结构所替代。
124.对p2-p5中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的注意力特征图(attention featurepyramid，afp)。
125.以特征图p3为例，p3大小为(h，w，d，c)。其中，h、w、d、c分别表示特征图的高、宽、深、通道数。将特征图p3进行通道数为1的1x1卷积和sigmoid运算得到针对p3的afp。其中，sigmoid运算如公式(1)所示，
126.afp的大小为(h，w，d，1)。afp的值位于(0，1)之间。通过对p3的通道卷积以及sigmoid运算，使得获得的afm相较于p3而言，增加了对局部像素的注意力(attention)，所以称其为注意力特征图。
[0127][0128]
其中，z表示特征图p3上的一点。
[0129]
以上是以特征图p3为例进行的说明，对其他fp特征图的通道卷积以及sigmoid运算参见对特征图p3的说明，不赘述。
[0130]
afp图与心脏表面区域分割掩码s在训练过程中计算损失，如公式(2)所示。
[0131]
loss＝-∑loss(p
i-qi)
ꢀꢀ
(2)
[0132]
其中，pi和qi分别表示体素i在afp图、以及只包含心脏区域的csct图像的图像值。
[0133]
损失函数loss可以为任何合理的损失函数，如交叉熵损失，focal loss等。
[0134]
通过公式(2)所示的损失函数的计算，可基于同一体素在只包含心脏区域的csct图像、以及对只包含心脏区域的csct图像进行一系列的运算而得到的afp图中的图像值之间的差异，使得afp图向着理想的afp图靠近，进而得到专注于心脏表面结构区域的特征图。
[0135]
前述方案可视为基于训练图像的细节特征和语义特征，得到训练图像的注意力特征的详细说明。
[0136]
c.进行特征图间的融合操作，将融合操作得到的最终结果输入至unet的解码器中。
[0137]
首先，将p2-p5中的至少之一特征图与针对该至少之一特征图而得到注意力特征图afp进行点乘法。然后，分别在高h、宽w、深d等维度求和，得到上下文特征图(cfp，context feature pyramid)，cfp∈r1×1×1×c[0138]
具体计算方式如公式(3)所示：
[0139]
cfp＝∑i∑j∑
kfijk
.af
ijk
ꢀꢀ
(3)
[0140]
其中，i、j、k表示在高、宽、深等维度的值。f
ijk
.表示在h为i、w为j、d为k时的fp图。af
ijk
表示在h为i、w为j、d为k时的afp图。
[0141]
前述方案可视为基于训练图像的细节特征、语义特征和注意力特征，得到训练图像的上下文特征的进一步说明。
[0142]
然后，将上下文特征(cfp)复制n份并拼接，得到全局特征(gfp，global feature pyramid)，gfp∈rh′×w′×d′×c′
。h’、w’、d’、c’表示gfp的高、宽、深、通道等维度。
[0143]
前述方案可视为基于训练图像的上下文特征，得到训练图像的全局特征的详细说
明。
[0144]
全局特征可表征各冠脉分支在心脏表面区域的相对位置。使得网络具有区分不同的冠脉分支相对关系的能力，进而提升网络的分类能力。可将gfp作为编码器的输出、输入至解码器中。
[0145]
或者，将全局特征gfp与得到该gfp时使用的特征图fp沿通道数进行矩阵拼接(concat)，得到最终的特征图fp’，fp’∈rh′×w′×d′×
(c
′
1)
。将fp’作为编码器的输出、输入至解码器中。
[0146]
如上所示的、特征图间的融合操作的目的是为了得到具有全局上下文信息的特征，使得网络具有区分不同的冠脉分支相对关系的能力，进而提升网络的分类能力。
[0147]
以输入至解码器的数据为特征图fp’为例，
[0148]
d.解码器基于特征图fp’对训练图像中的各冠脉分支的候选区域的识别，并输出识别结果。
[0149]
其中，各冠脉分支的钙化斑块的候选区域中包括多个体素。可见，基于解码器可预测出训练图像中的哪些体素是冠脉分支的钙化斑块的候选区域中体素，哪些不是冠脉分支的钙化斑块的候选区域中的体素。即，基于解码器可得到体素、是否为冠脉分支的钙化斑块的候选区域中的体素的预测值。
[0150]
解码器对训练图像中的各冠脉分支的候选区域的识别请参见相关说明，不赘述。本发明实施例的重点之一在于对unet模型的编码器进行改进，以使模型学习到心各冠脉分支之间的相对位置关系。
[0151]
从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域(第二候选区域)的先验损失的实现过程是：
[0152]
a.从作为训练图像的c-csct图像中确定出第二候选区域；
[0153]
可以理解，理论上在图像中，钙化斑块的体素的灰度通常具有一定的取值如大于或等于130。基于此，从c-csct图像中，选取图像的灰度值大于或等于第一灰度阈值如130hu(c-csct图像的计量单位)的体素，距离较近的体素、如距离较近的6个体素构成一个连通区域，如此可得到多个连通区域。
[0154]
实际上，基于灰度值选取出的体素可能是真实的钙化斑块体素，也可能不是钙化斑块体素。基于此，还需要对连通区域中的体素进行筛选。
[0155]
针对各连通区域，删除满足以下至少条件之一的体素；
[0156]
1)删除所有位于心脏表面区域分割掩码外的体素。
[0157]
2)删除体素数量小于3(n＜3)的连通区域中的体素。
[0158]
3)删除体素数量大于10000的连通区域中的体素。
[0159]
4)删除体素体积＜1.5mm3的体素。
[0160]
5)删除与周围体素的平均灰度值之差小于110hu的体素。
[0161]
其中，条件2)和4)删除了体积、数量不满足要求的噪声体素。条件3)删除了体素数量过大的骨头等组织。
[0162]
基于以上的删除方案，得到钙化斑块的候选体素集合ω
cac
。
[0163]
候选体素集合ω
cac
中的体素实际上是前述的第三目标体素，其灰度值大于或等于第一灰度阈值130、且同时满足(1)体素位于心脏表面区域内；(2)包括有所述体素的候选区
域中的体素数量位于第一预设范围内(如3～1000内)；(3)所述体素的体积达到预设体积阈值(如1.5mm3)；(4)所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值(如110)。
[0164]
候选体素集合ω
cac
的体素是基于前述的筛选规则得到的体素，其构成了作为训练图像的c-csct图像中各冠脉分支的钙化斑块的候选区域。
[0165]
b.计算第二候选区域的先验损失
[0166]
钙化斑块只占据了整张csct图像中很小的一部分，由此带来了严重的前后景不平衡问题。为了解决这个问题，提出了基于钙化斑块的候选区域的先验损失，即只在钙化斑块的候选体素集合ω
cac
中计算损失。钙化斑块的候选区域的先验损失(prior loss)可表示为如下形式：
[0167][0168]
其中，
[0169]
其中，pi、qi分别表示候选体素集合ω
cac
中的体素i是否为钙化斑块体素的预测值、标签值。其中，标签值为人工标注的体素i为钙化斑块体素或不为钙化斑块的值。pi为unet网络的解码器基于编码器输出的fp’特征图的解码而预测出的体素i为钙化斑块体素、或不为钙化斑块体素。
[0170]
其中，损失函数prior loss可以为任何合理的损失函数，如focal loss、dice loss等。
[0171]
基于钙化斑块的候选区域的先验损失的计算仅是计算候选体素集合ω
cac
中的体素i的预测值和标签值之间的损失，并非计算整张c-csct图像中的体素的损失。如此，可显著降低unet网络的训练优化难度，大大提升了钙化斑块的分割效果。
[0172]
以上为对训练方案的说明。可以看出，在训练过程中，以公式(4)所示的损失函数作为整个训练网络的损失函数。或者，
[0173]
为公式(2)所示的损失函数和公式(4)所示的损失函数分配对应的权重，对应的权重以及损失函数的相乘再相加的结果作为总的损失函数。如，为公式(2)所示的损失函数分配0.1，为公式(4)所示的损失函数分配0.9，总的损失函数为0.1*公式(2) 0.9*公式(4)。为公式(4)分配的权重大于为公式(2)的权重即可，如此便可保证在总的损失函数中仍以公式(4)为主。
[0174]
在训练的方案中，可预先设置总的迭代次数如1万次，每次迭代都经过前述的心脏形态结构的先验学习以及第二候选区域的先验损失计算过程，直至损失函数收敛或迭代次数达到最大次数，unet模型结束训练或训练完成。
[0175]
由前述的训练方案可看出，本发明提出心脏形态结构的先验学习，利用unet建模了心脏的形态结构信息，使网络学习到了全局语义信息，即各冠脉分支间的相对位置关系，进而提升了网络针对钙化斑块的分类能力
[0176]
此外，针对钙化斑块分割任务中存在的前后景不平衡问题，本发明提出了基于钙化斑块的候选区域的先验损失，在通过筛选规则得到的钙化斑块的候选区域中计算损失，大幅降低网络需要学习的候选区域范围，进而大幅缓解前后景不平衡问题，提升钙化斑块的分割效果。
[0177]
以上为对分割模型的训练过程进行的说明，下面结合图6对分割模型的应用进行说明。
[0178]
在实际应用中，可将某个患者经医学仪器扫描而得到的csct图像作为原始csct图像；识别原始csct图像中的心脏区域；对心脏区域进行处理，得到心脏表面区域分割掩码；基于心脏表面区域分割掩码，从原始csct图像中裁剪出仅包括有心脏区域的目标图像。
[0179]
前述的过程可参见训练方案中获取心脏表面区域分割掩码、以及基于心脏表面区域分割掩码s，从原始csct训练图像中裁剪出训练图像的相关描述，重复之处不赘述。
[0180]
目标图像可视为图6中的c-csct图像。
[0181]
将裁剪出的c-csct图像输入至resnet的不同卷积层中，得到不同层级的fp。该方案可视为对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征的说明。
[0182]
对不同层级的fp中的至少之一特征图进行通道数为1的1x1卷积以及sigmoid运算，得到针对该至少之一的特征图的afp图。该方案可视为基于目标图像的细节特征和语义特征，得到目标图像的注意力特征的进一步说明。
[0183]
将不同层级的fp中的至少之一特征图与针对该至少之一特征图而得到注意力特征图afp进行点乘法。然后，分别在高h、宽w、深d等维度求和，得到上下文特征图cfp。前述方案可视为基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征的进一步说明。
[0184]
将cfp复制n份并拼接，得到全局特征图gfp。前述方案可视为基于目标图像的上下文特征，得到目标图像的全局特征的说明。
[0185]
目标模型的解码器可基于gfp对第一候选区域进行识别或分割。
[0186]
或者，将全局特征gfp与得到该gfp时使用的特征图fp沿通道数进行矩阵拼接(concat)，得到最终的特征图fp’。目标模型的解码器可基于gfp输出lm、lad、lcx以及rca等四支冠脉分支的钙化斑块的候选区域。每个冠脉分支的钙化斑块的候选区域均包括多个第一目标体素。
[0187]
基于预设的筛选规则，从某个冠脉分支如lm的钙化斑块的候选区域包括的多个第一目标体素中筛选出第二目标体素。第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值如130、同时还满足(1)体素位于心脏表面区域内；(2)包括有所述体素的候选区域中的体素数量位于第一预设范围内(如3～1000内)；(3)所述体素的体积达到预设体积阈值(如1.5mm3)；(4)所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值(如110)。
[0188]
从各个冠脉分支如lm的钙化斑块的候选区域包括的多个第一目标体素中筛选出的第二目标体素构成的区域即为lm冠脉分支的钙化斑块区域。由此，得到了目标图像中的四个冠脉分支的钙化斑块区域。
[0189]
应用方案中，基于预设的筛选规则对目标模型初步识别出的各冠脉分支的钙化斑块的候选区域中的体素进行进一步筛选，可准确筛选出各冠脉分支的钙化斑块体素。基于准确筛选出各冠脉分支的钙化斑块体素，可从目标图像中准确分割出各冠脉分支的钙化斑块区域。由此实现了对csct图像中的各冠脉分支的钙化斑块区域的准确分割或识别。
[0190]
以上在应用过程中得到fp、afp、cfp、gfp和fp’的具体过程请参见前述对图4和图5
的相关说明，重复之处不赘述。
[0191]
在得到了目标图像中的四个冠脉分支的钙化斑块区域之后，还可以，基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值(agatston积分)。
[0192]
各冠脉分支的钙化积分值可以是体积积分和质量积分值中的其中之一。
[0193]
其中，体积积分通过钙化面积
×
层厚(从钙化斑块区域中得到钙化面积和层厚)得到，反映了钙化总体积。
[0194]
其中，agatston积分计算的原理为钙化密度赋分
×
钙化面积(从钙化斑块区域中得到)。首先根据病变的ct值进行赋分，130-199hu为1分，200-299hu为2分，300-399hu为3分，400hu及以上为4分，然后乘上钙化面积(以mm2计)，最后将ct所有截面中各个冠脉分支的钙化积分值相加，得到总钙化积分。质量积分是agatston积分/总钙化面积，反映了钙化的平均程度。
[0195]
可以理解，各冠脉分支的钙化积分值以及总钙化积分值可用于评判患冠心病的风险分级。各冠脉分支的钙化斑块区域的准确分割或识别结果可被目标模型输出、各冠脉分支的钙化积分值以及总钙化积分值等在临床医学上具有参考价值，用以辅助医生对患者的患病情况进行判断。实用性更强。
[0196]
本发明实施例提供一种冠脉钙化斑块的分割装置，如图7所示，所述装置包括：
[0197]
第一获取单元601，用于获取目标图像，所述目标图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
[0198]
第二获取单元602，用于将目标图像输入至目标模型，得到所述目标模型输出的各冠脉分支的钙化斑块的候选区域；所述各冠脉分支的钙化斑块的候选区域包括多个第一目标体素；
[0199]
筛选单元603，用于基于预设的筛选规则，从所述多个第一目标体素筛选出第二目标体素；
[0200]
分割单元604，用于基于所述第二目标体素，从目标图像中分割出各冠脉分支的钙化斑块区域。
[0201]
在一个可选方案中，所述装置还包括计算单元，用于基于目标图像中各冠脉分支的钙化斑块区域，计算各冠脉分支的钙化积分值；以及基于各冠脉分支的钙化积分值，计算总钙化积分值。
[0202]
在一个可选方案中，筛选单元603，用于所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值的体素；
[0203]
或者，所述第二目标体素为所述多个第一目标体素中灰度值大于或等于第一灰度阈值、同时还满足以下要求的体素；
[0204]
所述体素位于心脏表面区域内；
[0205]
包括有所述体素的候选区域中的体素数量位于第一预设范围内；
[0206]
所述体素的体积达到预设体积阈值；
[0207]
所述体素与周围体素的平均灰度值之差大于或等于第二灰度阈值。
[0208]
在一个可选方案中，所述目标模型获得目标图像的全局特征、基于所述目标图像的全局特征而得到各冠脉分支的钙化斑块的候选区域，所述全局特征表征各冠脉分支在心
脏表面区域的相对位置。
[0209]
在一个可选方案中，所述目标模型获得目标图像的全局特征，包括：
[0210]
对目标图像的细节和语义进行特征提取，得到目标图像的细节特征和语义特征；
[0211]
基于所述细节特征和语义特征，得到目标图像的注意力特征；
[0212]
基于目标图像的细节特征、语义特征和注意力特征，得到目标图像的上下文特征；
[0213]
基于目标图像的上下文特征，得到所述全局特征。
[0214]
在一个可选方案中，第一获取单元601，用于获取训练图像，所述训练图像为包括心脏区域的csct图像；所述心脏区域包括多个冠脉分支；
[0215]
筛选单元603，用于基于所述筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
[0216]
所述装置还包括训练单元，用于利用构建出的目标损失函数，对所述目标模型进行训练；其中，所述目标损失函数为基于所述体素在所述训练图像中为钙化斑块体素或不为钙化斑块体素的预测值以及所述体素的标签值而构建。
[0217]
本发明实施例提供一种冠脉钙化斑块分割模型的训练装置，如图8所示，所述装置包括：
[0218]
获取单元701，用于获取训练图像，所述训练图像为包括心脏区域的非对比增强心电门控钙化积分电子计算机断层扫描csct图像；所述心脏区域包括多个冠脉分支；
[0219]
筛选单元702，用于基于预设的筛选规则，从训练图像中筛选出能够构成各冠脉分支的钙化斑块的候选区域的体素；
[0220]
训练单元703，用于利用所述训练图像以及基于所述体素构建出的损失函数，对分割模型进行训练。
[0221]
需要说明的是，本技术实施例的冠脉钙化斑块的分割装置、分割模型的训练装置，由于装置解决问题的原理与前述的冠脉钙化斑块的分割方法、分割模型的训练方法相似，因此，装置的实施过程及实施原理均可以参见前述方法的实施过程及实施原理、有益效果的描述，重复之处不再赘述。
[0222]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。