肺感染区分割方法及装置、电子设备和存储介质

：
1.本公开涉及医学图像处理技术领域，尤其涉及一种肺感染区分割方法及装置、电子设备和存储介质。


背景技术：

2.随着新冠肺炎确诊患者增多，患者肺部ct数据也逐渐增多，人工标注感染区域是一项任务繁杂且重复度高的工作，需要具有高度专业素养和临床经验。因此设计构造新冠肺炎感染区域的自动化分割模型，可以提高标注的效率，为进一步的分析诊断奠定良好的基础。计算机辅助系统(cad)可以通过异常检测算法来协助医生进行肺部的诊断，进而大大提高检查的效率。但是肺部感染分割是一项艰巨的任务，感染区域与其他区域在颜色和质地上并不明显以及感染边界的模糊，这些问题会导致分割准确度不够高，甚至会错误检测病变区域，错过最佳治疗时间。


技术实现要素：

3.本公开提出了一种肺感染区分割方法及装置、电子设备和存储介质，本公开能够提高肺部感染区域分割精度。
4.根据本公开的一方面，提供了一种肺感染区分割方法，其包括：
5.对肺图像执行特征提取处理，得到多个高级特征；
6.对所述高级特征执行多尺度融合处理，得到高级增强特征；
7.对所述高级增强特征执行全局信息提取，得到全局指导特征；
8.对所述全局指导特征和所述高级特征执行多层特征交互处理，得到肺特征，所述肺特征用于表示所述肺图像的肺部感染区域。
9.在一些可能的实施方式中，所述对所述高级特征执行多尺度融合处理，得到高级增强特征，包括：
10.对各所述高级特征分别执行多尺度融合处理，得到多尺度融合特征；
11.对所述多尺度融合特征执行通道拼接处理，得到所述高级增强特征；
12.其中，所述对各所述高级特征分别执行多尺度融合处理，得到多尺度融合特征，包括：
13.分别对所述高级特征执行多个分支的特征处理，得到分支特征；
14.对所述分支特征执行融合处理，得到所述高级特征对应的多尺度融合特征。
15.在一些可能的实施方式中，所述多个分支包括三个分支组，所述分别对所述高级特征执行多个分支的特征处理，得到分支特征，包括：
16.在全部分支上对所述高级特征执行第一卷积处理，得到相应的第一卷积特征；
17.在第二分支组上对各所述第一卷积特征执行第二卷积处理，得到第二卷积特征；
18.对第一分支组的第一卷积特征和第二分支组的各第二卷积特征执行通道融合，得到第三卷积特征；
19.对所述第三卷积特征和第三分支组的第一卷积特征执行相加融合，得到所述分支特征。
20.在一些可能的实施方式中，所述对所述高级增强特征执行全局信息提取，得到全局指导特征，包括：
21.对所述高级增强特征执行特征重塑，得到重塑特征；
22.将所述重塑特征和位置编码特征相加，得到编码融合特征；
23.对所述编码融合特征执行全局信息提取，得到所述全局指导特征。
24.在一些可能的实施方式中，所述对所述全局指导特征和所述高级特征执行多层特征交互处理，得到肺特征，包括：
25.将所述全局指导特征和所述高级特征输入至特征互补模组，利用所述特征互补模组内的特征互补模块依次分别对所述全局指导特征和所述高级特征执行特征交互，得到所述肺特征；
26.其中，所述特征互补模组包括多个特征互补模块，所述特征互补模块的输入特征包括全局指导特征、相应的高级特征，以及前一个特征互补模块输出的细化特征，第一个特征互补模块输入的细化特征为所述全局指导特征。
27.在一些可能的实施方式中，所述利用所述特征互补模组内的特征互补模块对所述全局指导特征和所述高级特征执行特征交互，包括：
28.利用所述全局指导特征和所述高级特征得到前向权重和反向权重；
29.将前一特征互补模块输出的所述细化特征分别与所述前向权重及反向权重执行乘法处理，得到前向校正特征和反向校正特征；
30.分别利用所述前向校正特征和反向校正特征对所述细化特征执行强化处理，得到前向强化特征和反向强化特征；
31.对所述前向强化特征和反向强化特征执行所述强化处理，得到当前所述特征互补模块输出的细化特征。
32.在一些可能的实施方式中，所述利用所述全局指导特征和所述高级特征得到前向权重和反向权重，包括：
33.对所述全局指导特征和所述高级特征执行相加和激活处理，得到所述前向权重；
34.对前向权重取反，得到所述反向权重；
35.以及/或
36.所述强化处理的输入特征包括第一输入特征和第二输入特征，所述执行强化处理包括：
37.对所述第一输入特征和第二输入特征执行乘法处理，得到乘积特征；
38.将所述乘积特征分别与所述第一输入特征和所述第二输入特征执行相加融合处理，分别得到第一融合特征和第二融合特征；
39.分别对所述第一融合特征和所述第二融合特征执行卷积处理，并执行通道维度的特征拼接，得到第三融合特征；
40.对所述第三融合特征执行局部增强和全局增强处理，得到作为强化特征或者细化特征的输出特征。
41.根据本公开的第二方面，提供了一种肺感染区分割装置，其包括：
42.特征提取模块，用于对肺图像执行特征提取处理，得到多个高级特征；
43.融合模块，用于对所述高级特征执行多尺度融合，得到高级增强特征；
44.全局信息提取模块，用于对所述高级增强特征执行全局信息提取，得到全局指导特征；
45.特征互补模块，用于利用所述全局指导特征对所述高级特征执行多级特征交互处理，得到肺特征，所述肺特征用于表示所述肺图像的肺部感染区域。
46.根据本公开的第三方面，提供了一种电子设备，其包括：
47.处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行第一方面中任意一项所述的方法。
48.根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面中任意一项所述的方法。
49.在本公开实施例中，可以完成肺图像信息的多内容信息的互补，在编码时舍弃浅层特征，聚合了包含丰富语义信息的高级特征，并利用整合的语义信息提取丰富的全局信息，在解码过程中本公开使用全局信息作为指导，并进行了多层次特征的融合交互，有效的建立了特征之间的联系，从而更精确的分割出肺部感染区域。
50.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
51.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
52.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
53.图1示出根据本公开实施例的一种肺感染区分割方法的流程图；
54.图2示出根据本公开实施例的肺部感染区域的分割网络的结构示意图；
55.图3示出根据本公开实施例得到高级增强特征的方法流程图；
56.图4示出根据本公开实施例中执行多尺度融合的融合模块rfb的结构示意图；
57.图5示出根据本公开实施例中特征互补模块执行交互处理的流程图；
58.图6示出根据本公开实施例的特征互补模块的结构示意图；
59.图7示出根据本公开实施例的交互增强模块的结构示意图；
60.图8示出根据本公开实施例的局部-全局的注意力模块的结构示意图；
61.图9示出本公开实施例对于covid-19数据集的分割结果；
62.图10示出根据本公开实施例的肺感染区分割装置的框图；
63.图11示出根据本公开实施例的一种电子设备800的框图；
64.图12示出根据本公开实施例的一种电子设备1900的框图。
具体实施方式
65.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除
非特别指出，不必按比例绘制附图。
66.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
67.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括 a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
68.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
69.本公开提供的肺感染区分割方法的执行主体可以是图像处理装置，例如，该方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personaldigital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该肺感染区分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
70.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
71.图1示出根据本公开实施例的一种肺感染区分割方法的流程图，如图1所示，所述肺感染区分割方法包括：
72.s10：对肺图像执行特征提取处理，得到多个高级特征；
73.在一些可能的实施方式中，肺图像可以为ct(computedtomography，电子计算机断层扫描)图像，在其他实施方式中，也可以为其他成像类型得到的医学影像。另外，本公开实施例的肺图像为二维图像，但本公开对此不做具体限定。
74.在一些可能的实施方式中，可以利用特征提取网络执行特征提取处理，特征提取网络可以包括金字塔网络、残差网络等。通过特征提取网络可以分别得到低级到高级的多级特征，本公开实施例选取高级特征执行后续处理，以丰富特征的全局信息。
75.s20：对所述高级特征执行多尺度融合，得到高级增强特征；
76.在一些可能的实施方式中，可以分别对各高级特征执行多尺度融合处理，以得到不同尺度的高级特征信息，而后对多尺度信息执行融合得到高级增强特征。
77.s30：对所述高级增强特征执行全局信息提取，得到全局指导特征；
78.在一些可能的实施方式中，本公开可以利用提取的全局信息作为解码过程的先验指导，该特征可提供丰富地全局上下文信息，可以用于初步定位肺感染区域，利用该全局指导特征执行后续解码处理，可以提高感染区域的分割精度。
79.s40：对所述全局指导特征和所述高级特征执行特征交互处理，得到肺特征，所述肺特征用于表示所述肺图像的肺部感染区域。
80.在一些可能的实施方式中，将得到的全局指导特征和高级特征进行交互融合，该过程可以建立全局特征和高级特征之间的联系，能够更精确的分割出肺部感染区域。其中，本公开实施例中待分割的感染区域可以是任一肺炎的病灶区域，例如本公开可以用于分割
新冠肺炎的感染区域。
81.本公开实施例中，为了克服肺部感染区域分割精度不足的问题，本公开提出了一种基于多内容互补的肺部感染区域分割方法。在编码时，本公开抛弃了肺图像的浅层特征，整合了包含丰富语义信息的高级特征，并利用整合的高级特征建立感染区域的全局指导特征，在解码过程中，采用多层次特征交互建立全局指导特征和高级特征之间的联系，实现特征的有效融合，从而更精确的分割出肺部感染区域。
82.下面结合附图对本公开实施例进行详细说明。本公开实施例可以首先获取肺图像，其中肺图像可以为二维肺部ct图像，获取肺图像的方式可以包括以下方式中的至少一种：
83.a)直接利用ct设备采集肺部的图像；本公开实施例中，ct设备可以为任意厂家设备，本公开对此不作具体限定。
84.b)通过电子设备传送并接收肺图像；本公开实施例可以通过通信的方式接收其他电子设备传送的肺图像，通信方式可以包括有线通信和/或无线通信，本公开不做具体限定。
85.c)读取数据库中存储的肺图像；本公开实施例可以根据接收到的数据读取指令读取本地存储的肺图像或者服务器内存储的肺图像，本公开对此不做具体限定。
86.在获得肺图像之后，可以对肺图像执行感染区域的分割处理。图2示出根据本公开实施例的肺部感染区域的分割网络的结构示意图。具体的，本公开实施例可以首先对肺图像执行特征提取处理，得到从低级到高级的多级特征。具体地，本公开实施例采用残差网络(res2net深度卷积神经网络)作为编码器提取图像特征，在进行编码时，可以提取res2net网络的后三层特征作为后续处理的高级特征ri，其中{ri，i＝3，4，5}。在得到高级特征的情况下，可以对高级特征分别执行多尺度融合处理，得到高级增强特征。
87.图3示出根据本公开实施例得到高级增强特征的方法流程图。其中所述对所述高级特征执行多尺度融合处理，得到高级增强特征，包括：
88.s21：对各所述高级特征分别执行多尺度融合处理，得到多尺度融合特征；
89.s21：对所述多尺度融合特征执行通道拼接处理，得到所述高级增强特征。
90.本公开实施例中，可以对包括不同信息的高级特征分别执行特征融合，得到多尺度融合特征。该多尺度融合特征的进一步融合处理可以得到高级增强特征。
91.其中，所述对各所述高级特征分别执行多尺度融合处理，得到多尺度融合特征，包括分别对所述高级特征执行多个分支的特征处理，得到分支特征；对所述分支特征执行融合处理，得到所述高级特征对应的多尺度融合特征。
92.图4示出根据本公开实施例中执行多尺度融合的融合模块rfb的结构示意图。其中，针对每个高级特征，可以分别采用融合模块rfb 执行多尺度特征融合处理，得到相应的多尺度融合特征。具体地，可以对高级特征执行多个分支组的特征处理，其中每个分支组至少包括一个特征处理分支，并且不同分支组的特征处理方式不同。本公开实施例可以包括三个分支组，其中，图4中b1分支为第一分支组， b2-b4为第二分支组，以及b5为第三分支组，上述分组方式仅为示例性说明，在其他实施例中可以采用其他分组方式，并且分支组内分支的数量可以根据需求设定。
93.基于图4的实施例，所述分别对所述高级特征执行多个分支的特征处理，得到分支
特征，包括：在全部分支上对所述高级特征执行第一卷积处理，得到相应的第一卷积特征；在第二分支组上对各所述第一卷积特征执行第二卷积处理，得到第二卷积特征；对第一分支组的第一卷积特征和第二分支组的各第二卷积特征执行通道融合，得到第三卷积特征；对所述第三卷积特征和第三分支组的第一卷积特征执行相加融合，得到所述分支特征。
94.在一个示例中，各特征处理分支上均包括执行第一卷积处理的卷积块，如本公开实施例为通道方向的1*1的卷积，通过该卷积处理可以得到通道数减小的第一卷积特征，各第一卷积特征的通道数c相同 (如64)。第一分支组和第二分支组内各分支的第一卷积特征不做后续特征处理，并在后续过程用于特征融合。针对第二分支组内的特征处理分支，可以采用不同的扩张率对第一卷积特征执行扩张卷积，例如本公开实施例可以采用3、5和7的扩张率执行第一卷积特征的扩张卷积，得到不同感受野的特征信息。本公开实施例在第二分支组的三个分支bk(k＝2，3，4)上执行三层卷积，该三层卷积分别包括卷积核为1
×
(2k-1)的卷积、卷积核(2k-1)
×
1的卷积和卷积核为3
×
3 的扩张卷积且扩张率为2k-1，得到第二分支组内三个分支bk(k＝2，3， 4)的第二卷积特征。然后可以将第一分支组的第一卷积特征和第二分支组的各第二卷积特征执行通道融合，得到第三卷积特征，具体将b
k (k＝1，2,3,4)分支得到的特征沿通道维度进行拼接并通过卷积核为1
ꢀ×
1卷积将通道减少到64得到第三卷积特征bc。之后，对所述第三卷积特征和第三分支组的第一卷积特征执行相加融合，得到所述分支特征。具体将bc分支与b5分支进行相加，并将相加结果整体输入到relu 激活函数以获得高级特征对应的多尺度融合特征，即{r3，r4，r5}的多尺度特征{f3，f4，f5}。最后，将特征{f3，f4，f5}进行通道拼接，得到高级增强特征fg，其中，高级增强特征的维度表示为c
×h×
w，c 代表通道数量，h代表长度，w代表宽度，其中c＝192。
95.本公开实施例中，多尺度特征融合处理过程中，采用了多分支进行特征处理，并采用不同扩张率提取不同尺度的特征信息，进而提供不同的感受野。rfb模拟人类视觉的感受野加强网络的多尺度特征提取能力，从而可以提供高鉴别性特征和鲁棒性特征，有利于提高分割精度。
96.在得到高级增强特征的情况下，可以利用该高级增强特征获取全局指导特征，用以初步得到表达感染区域的特征信息。本公开实施例对所述高级增强特征执行全局信息提取，得到全局指导特征，包括：对所述高级增强特征执行特征重塑，得到重塑特征；将所述重塑特征和位置编码特征相加，得到编码融合特征；对所述编码融合特征执行全局信息提取，得到所述全局指导特征。
97.在一个示例中，首先对高级增强特征fg进行特征的线性重塑，得到c个一维特征(c
×
hw)，如可以采用torch.view() 函数将高级增强特征转换为一维特征，继而使用全连接层将 c的数量从192投影到384，得到线性处理后的重塑特征。然后将该重塑特征与位置编码pe直接相加得到编码融合特征 f'g，其中位置编码可以提升模型对位置信息的感知能力，该位置编码为网络在训练过程中不断新学习的参数，在训练完成后，该位置编码为不变的张量，其数量同样为c，大小为 1
×
hw，构成c
×
hw的维度。利用位置编码和重塑特征的加和结果得到编码融合特征，然后，将得到的编码融合特征输送到transformer网络进行全局信息提取。最后，经过多层 transformer后输出获得全局指导特征rg。上述过程可以用以下公式表示：
98.99.rg＝transformer(f'g)
100.其中，fc(
·
)代表全连接层，r(
·
)代表重塑操作，pe代表位置编码，代表加法，transformer(
·
)表示一个transformer层。一层transformer包含一个多头自注意(msa)和多层感知器(mlp)子层，同时在两个子层之前插入层归一化(ln，layer norm)，并在这两个子层之后执行残差连接，值得注意的是，本公开中transformer层的数量设置4，多头自注意力数量设为6，但不作为本公开的具体限定。
101.在得到全局指导特征的情况下，可以利用所述全局指导特征对所述高级特征执行多层特征交互处理，进而得到肺特征，该肺特征用于表示所述肺图像的肺部感染区域。具体地，本公开实施例可以将全局指导特征和高级特征输入至特征互补模组，利用所述特征互补模组内的特征互补模块依次分别对全局指导特征和高级特征执行特征交互，得到所述肺图像；其中，特征互补模组包括多个特征互补模块，特征互补模块的输入特征包括全局指导特征、相应的高级特征，以及前一个特征互补模块输出的细化特征，第一个特征互补模块输入的细化特征为所述全局指导特征。
102.具体地，本公开实施例的特征互补模组内特征互补模块的数量可以与特征提取过程得到的高级特征的数量相同，例如，本公开实施例可以包括三个特征互补模块fcm，每个特征互补模块fcm用于执行一个高级特征与全局指导特征的特征交互。通过与不同尺度的高级特征进行特征交互，可以不断细化得到的特征，使得特征具有更为细节的特征信息。其中，本公开的第一层fcm的输入为全局指导特征rg与 res2net网络的第五层侧输出特征r5，第二层fcm的输入为全局指导特征rg、res2net网络的第四层侧输出特征r4以及上一层fcm输出的细化特征f5，第三层fcm的输入为全局指导特征rg、res2net网络的第三层侧输出特征r3以及上一层fcm输出的细化特征f4，最后得到第三层fcm输出的细化特征f3。
103.图5示出根据本公开实施例中特征互补模块执行交互处理的流程图，其中，所述利用所述特征互补模组内的特征互补模块对所述全局指导特征和高级特征执行特征交互，包括：
104.s41：利用所述全局指导特征和所述高级特征得到前向权重和反向权重；
105.s42：将前一特征互补模块输出的所述细化特征分别与所述前向权重及反向权重执行乘法处理，得到前向校正特征和反向校正特征；
106.s43：分别利用所述前向校正特征和反向校正特征对所述细化特征执行强化处理，得到前向强化特征和反向强化特征；
107.s44：对所述前向强化特征和反向强化特征执行所述强化处理，得到特征互补模块输出的细化特征。
108.在一些可能的实施方式中，可以将全局指导特征和高级特征执行相加处理，并对相加的结果执行激活处理(如sigmoid处理)，得到前向权重；以及对前向权重取反，得到所述反向权重。取反的方式为 1减去前向权重，得到反向权重。具体地，图6示出根据本公开实施例的特征互补模块的结构示意图，全局指导特征rg与res2net输出的高级特征ri进行相加，然后经过一个sigmoid函数，进而得到前向权重然后将前向特征权重进行取反操作来获得反向权重上述过程可以用以下公式描述：
109.[0110][0111]
其中sig(
·
)代表sigmoid函数，θ(
·
)代表反向操作，即从所有矩阵中减去所有输入，其中矩阵中所有元素都为1。
[0112]
在得到前向权重和反向权重的情况下，分别利用前向权重和反向权重对输入到特征互补模块的细化特征执行强化处理，其中，输入到第一个特征互补模块的细化特征为全局指导特征，输入到其余特征互补模块的细化特征为前一特征互补模块的输出特征。
[0113]
本公开实施例执行特征强化处理的过程可以包括：将输入到特征互补模块的细化特征分别与前向权重及反向权重执行乘法处理，得到前向校正特征和反向校正特征该得到的校正特征含有前向特征和反向特征的独特属性；继而分别利用所述前向校正特征和反向校正特征对所述细化特征执行强化处理，得到前向强化特征和反向强化特征以及对前向强化特征和反向强化特征执行所述强化处理，得到当前特征互补模块输出的细化特征。上述交互处理可以使得正向特征和反向特征被连续交互增强，保证了前向强化特征与反向强化特征的一致性学习，上述整个过程可以以下公式描述：
[0114][0115][0116][0117][0118][0119]
其中代表乘法操作，iem(
·
)代表交互增强模块，用于执行所述强化处理。
[0120]
图7示出根据本公开实施例的交互增强模块的结构示意图。如图 7所示，交互增强模块iem的输入包括两路特征，本公开实施例定义输入特征为第一输入特征和第二输入特征，在执行不同的强化处理过程时，第一输入特征和第二输入特征代表不同的特征信息，例如在执行前向校正特征对所述细化特征执行强化处理时，第一输入特征和第二输入特征可以分别为前向校正特征和当前特征互补模块输入的细化特征，对应的，输出特征为前向强化特征；而在执行反向校正特征对细化特征执行强化处理时，第一输入特征和第二输入特征可以分别为反向校正特征和该输入的细化特征，对应的输出特征为反向强化特征。另外，在对前向强化特征和反向强化特征执行所述强化处理，第一输入特征和第二输入特征分别为前向强化特征和反向强化特征，此时输出特征为当前特征互补模块输出的细化特征。
[0121]
下面结合图7对公开实施例中强化处理过程进行说明。所述强化处理的输入特征包括第一输入特征和第二输入特征，所述执行强化处理包括：对所述第一输入特征和第二输入特征执行乘法处理，得到乘积特征；将所述乘积特征分别与所述第一输入特征和所述第二输入特征执行相加融合处理，分别得到第一融合特征和第二融合特征；分别对所述第一融合特征和所述第二融合特征执行卷积处理，如3*3卷积，而后对卷积处理后的第一融合特征h1和第二融合特征h2执行通道维度的特征拼接，得到第三融合特征；对所述第三融合
特征执行局部增强和全局增强处理，以聚合局部信息与全局信息以增强特征的表征能力，进而得到作为强化特征或者细化特征的输出特征。其中局部增强和全局增强处理可以通过局部-全局的注意力模块lgca模块实现，在执行该增强处理之前可以首先对第三融合特征执行3*3的卷积处理，卷积处理后通过lgca模块执行增强处理，并对增强后的特征执行3*3 的卷积，最后得到作为前向/反向强化特征或者细化特征的输出特征。值得注意的是，本公开实施例中每个fcm模块中使用了三个iem来处理特征，为了方便起见，下述公式仅对前向特征强化的处理过程进行表达，剩余两个iem的处理过程与前向特征强化过程一致，只是输入不一样。具体来说，iem的输入为和f
i 1
，可用以下公式描述上述过程：
[0122][0123][0124][0125]
其中，代表加法操作，cat(
·
)代表通道拼接操作， lgca(
·
)表示局部-全局的注意力模块，conv3×3表示3*3卷积处理。
[0126]
下面对局部-全局的注意力模块的处理过程进行说明，图8 示出根据本公开实施例的局部-全局的注意力模块的结构示意图。所述对所述第三融合特征执行局部增强和全局增强处理，得到作为强化特征或者细化特征的输出特征，包括：利用局部注意力分支获得所述第三融合特征的局部亲和注意力矩阵，并基于所述局部亲和注意力矩阵得到所述第三融合特征的局部注意力融合特征；利用全局注意力分支获得所述第三融合特征的全局亲和注意力矩阵，并基于所述全局亲和注意力矩阵得到所述第三融合特征的全局注意力融合特征；融合所述局部亲和注意力矩阵及全局亲和注意力矩阵，得到融合注意力矩阵，并利用所述融合注意力矩阵得到所述第三融合特征的局部-全局注意力融合特征；将所述局部-全局注意力融合特征分别与局部注意力融合特征及全局注意力融合特征相乘，得到第一注意力特征和第二注意力特征，利用所述第一注意力特征和第二注意力特征的融合特征得到lgca模块的输出特征。
[0127]
其中，在局部-全局的注意力模块中，本公开旨在从局部自注意力与全局自注意力角度进行建模来增强特征的表征能力，lgca的具体结构如8所示，假设将输入到lgca的特征(如第三融合特征)记为x∈zb×c×h×w，其中b为批处理大小, 对于局部自注意力分支a来说，首先可以经过1
×
1卷积后输入带图形卷积网络gcn中进行节点特征聚合，这样可以使相邻之间的特征进行有效融合，然后对特征进行重塑以生成尺寸为zb×
hw
×c和zb×c×
hw
的两个特征,之后将两特征进行矩阵乘法生成局部亲和注意力矩阵，尺寸为zb×
hw
×
hw
。随后，本公开对局部亲和注意力矩阵依次执行softmax操作和维度求和sum操作后，将特征重塑为zb×1×h×w,然后与输入的第三融合特征x相乘得到局部注意力融合特征，该特征在原始特征x的基础上被赋予局部特征属性。
[0128]
对于全局自注意力分支c，本发明同样对第三融合特征x执行1
ꢀ×
1卷积和图形卷积，然后对特征进行重塑以生成尺寸为z
bhw
×c和 zc×
bhw
两个特征，之后进行矩阵乘法生成全局亲和注意力矩阵，即尺寸为z
bhw
×
bhw
。同样，本发明对全局亲和注意力矩阵依次进行softmax 操作和维度求和sum操作后，将特征重塑为zb×1×h×w,然后与输入的第三融合特征x
相乘得到全局注意力融合特征，该特征在原始特征x被赋予了全局特征属性。
[0129]
为了使局部特征与全局特征进行有效的协同学习，本公开利用局部-全局交互分支b将局部亲和注意力矩阵与全局亲和注意力矩阵进行了交互。具体来说，本公开首先对局部亲和注意力矩阵进行重塑，将尺寸转换为z
bhw
×
hw
，而后进行维度求和sum后生成新特征，尺寸为z
bhw
。同样，对全局亲和注意力矩阵进行维度求和sum以生成新特征，即尺寸为z
bhw
，随后，将生成的新特征进行相加，得到融合注意力矩阵，而后对融合注意力矩阵后进行重塑，生成尺寸为zb×1×h×w的新特征，然后与输入的原始特征x进行相乘，这样就得到了新特征，即尺寸为zb×c×h×w。下一步，本公开将新特征尺寸重塑为zb×c×
hw
后，进行图形卷积，然后依次进行最大池化maxpool、平均池化avgpool和 softmax操作，最后得到局部-全局注意力融合特征，该特征尺寸为 zb×1×h×w。而后分别与局部自注意力融合特征和全局自注意力融合特征相乘，得到第一注意力特征和第二注意力特征。通过上述配置可以增强原始特征x在局部特征与全局表征上的表征能力。最后，将第一注意力特征和第二注意力特征分别执行1
×
1卷积处理后，执行通道连接，以将局部自注意力分支和全局自注意力被执行通道拼接来进一步融合，然后对拼接后的特征进行3
×
3卷积将通道数量减少一半后，得到lgca模块的输出特征。
[0130]
通过上述实施例，可以实现局部信息和全局信息的融合及增强，并通过前向和反向特征的交互融合和强化，实现了特征的交互和细节互补，提高特征的表达能力，有利于提高分割精度。
[0131]
另外，第三个特征互补模块输出的细化特征可以作为肺特征，用于确定肺感染区域，其中可以利用肺特征中像素值大于阈值的像素点，确定肺感染区域，如阈值为0.5，上述仅为示例性说明，在此不做具体限定。
[0132]
在本公开的另一些实施例中，还可以对得到的肺特征进一步执行分块处理，例如将肺特征按照长度和宽度两个维度的方向进行拆分，如m等分，m为该维度上的分块数。在本公开实施例中，可以对肺特征的h、w两个维度分别拆分为3等份，得到9个子块；其中，本公开实施例中针对不同维度上的分块数可以相同，也可以不同，本公开对此不做具体限定。在得到分块后，可以分别对得到各子块融合特征执行肺感染区的识别，得到每一子块中包含肺感染区的置信度。其中，可以利用激活函数(sigmoid)识别子块中包括肺感染区的概率，将概率值确定为置信度。然后再利用取最大值操作(torch.max),将置信度最高子块筛选出来，利用该置信度最高的子块融合肺特征确定新的肺特征图。其中，置信度取值在0-1之间。
[0133]
其中，可以利用置信度最高的子块的特征图与肺特征图的融合特征得到新的肺特征图。具体地，可以对肺特征进行降维处理，得到与子块融合特征相同尺度的特征，如可以执行3*3卷积实现该降维处理。而后将降维特征与置信度最高的子块的特征进行通道连接 (torch.cat)，得到连接特征。再对该连接特征执行卷积处理(如 3*3卷积)，将通道变为为1，得到新的肺特征图。通过上述过程，可以进一步提取出肺特征的细节特征，提高分割精度。
[0134]
本公开实施例的细节增强处理过程可通过以下公式表示：
[0135]
l1,l2,...,l9＝chunk3(chunk3(f,2),3)
[0136]
l
max
＝arr(sigmoid(l1),sigmoid(l2),...,sigmoid(l9))
[0137]
r1＝conv3(cat(f,l
max
))
[0138]
其中，chunk3(f,dim)表示将特征f在目标维度dim上按照3份等分的维度分块操作；l1,l2,...,l9表示通道分块后的子块，l
max
表示包含目标置信度最高的子块，sigmoid(
·
)表示二分类操作，arr(
·
)表示取最大值操作，cat(
·
)表示通道拼接操作。conv3(
·
)表示卷积核为3的二维卷积操作。r1表示新的肺特征，f表示肺特征。
[0139]
在得到新的肺特征的情况下，可以利用新的肺特征执行肺感染区的分割，通过融合了局部特征，本公开实施例的新的肺特征能够更准确的表达肺感染区的特征信息，提高分割精度。
[0140]
结合上述各模块的处理过程，本公开可以完成肺图像信息的多内容信息的互补，在编码时舍弃浅层特征，聚合了包含丰富语义信息的高级特征，并利用整合的语义信息提取丰富的全局信息，在解码过程中本公开使用全局信息作为指导，并进行了多层次特征的融合交互，有效的建立了特征之间的联系，从而更精确的分割出肺部感染区域。
[0141]
下面，本公开实施例对肺图像分割网络的训练过程进行说明，以图2所示的结构示意图为例，本公开实施例采用的训练数据包括公共肺部分割数据集covid-19ct，或者也可以包括临床采集的肺图像，上述肺图像中包括不同程度的肺部感染，如包括新冠肺炎感染区，或者也可以为其他类型的肺炎病灶，本公开对此不做具体限定。具体训练过程如下：
[0142]
首先从训练数据集中按照比例为8：2划分训练集与测试集，测试集用测试训练过程中的权重，以选择出最好的权重；考虑到显存的利用率，本公开实施例统一将输入的图片调整到352
×
352；训练过程中的梯度下降算法选用了adam算法。其优点在于计算效率高、所需内存少、可以解决包含很高噪声或稀疏梯度的问题，并且超参数可以直观地得到解释且只需极少量地调参；选用的损失函数结合了加权交并比(intersectionoverunion,iou)损失与二进制交叉熵(binarycrossentropy,bce)损失，表示为：
[0143][0144]
其中表示加权iou损失，表示全局约束与局部约束(像素级)的bce损失。在训练过程中，对于可以分别对三个特征互补模块fcm分别输出的三个局部特征f5f4,f3进行上采样到与真实标签mask相同尺寸大小，并与mask对比计算总体损失，具体可以利用三个特征f5,f4,f3各自损失的均值，作为网络损失，并利用该网络损失进行反向传播以更新网络参数，直至满足训练条件。训练条件可以包括训练轮数达到预设值(如大于5000的数值)，或者也可以为损失低于损失阈值，如损失阈值为小于0.01的值，或者也可以为验证过程的准确度在预设轮数后持续不增加，预设轮数为大于50的整数，本公开对此不做具体限定。
[0145]
本公开的效果可通过以下实验进一步说明。本公开的所有框架均采用pytorch框架实现，训练过程由一张rtx3090加速。本公开选用的adam优化算法的初始学习率为1e-4,batchsize设为5，所有的训练以及测试过程的图像尺寸为352
×
352。
[0146]
图9为本公开实施例对于covid-19数据集的分割结果，与unet,unet 以及inf-net相比，本公开可以准确定位到肺部感染区域，从而实现精确分割。
[0147]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0148]
此外，本公开还提供了肺感染区分割装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种肺感染区分割方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
[0149]
图10示出根据本公开实施例的肺感染区分割装置的框图，如图10 所示，所述肺感染区分割装置包括：
[0150]
特征提取模块10，用于对肺图像执行特征提取处理，得到多个高级特征；
[0151]
融合模块20，用于对所述高级特征执行多尺度融合，得到高级增强特征；
[0152]
全局信息提取模块30，用于对所述高级增强特征执行全局信息提取，得到全局指导特征；
[0153]
特征互补模块40，用于对所述全局指导特征和所述高级特征执行多级特征交互处理，得到肺特征，所述肺特征用于表示所述肺图像的肺部感染区域。
[0154]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0155]
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
[0156]
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。
[0157]
电子设备可以被提供为终端、服务器或其它形态的设备。
[0158]
图11示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
[0159]
参照图11，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0160]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802 可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0161]
存储器804被配置为存储各种类型的数据以支持在电子设备800 的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0162]
电源组件806为电子设备800的各种组件提供电力。电源组件806 可以包括电源管理系统，一个或多个电源，及其他与为电子设备800 生成、管理和分配电力相关联的组件。
[0163]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd) 和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0164]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件 810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件 816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0165]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0166]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800 的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800 的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0167]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件 816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc) 模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid) 技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt) 技术和其他技术来实现。
[0168]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0169]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
[0170]
图12示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图12，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932 所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对
应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
[0171]
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备 1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0172]
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
[0173]
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
[0174]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom 或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器 (cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0175]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0176]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如 smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0177]
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/
或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0178]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0179]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0180]
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0181]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。