基于特征融合的花粉图像检测方法及系统与流程

1.本发明涉及图像识别技术领域，更具体地，涉及一种基于特征融合的花粉图像检测方法及系统。


背景技术：

2.随着城市化进程的不断发展，花粉过敏逐渐变为一个重大的公共卫生问题。传统的人工花粉监测方式因为周期长成本高等缺点，已不能满足现在的花粉预报需求。因此，开发自动花粉识别系统对于花粉过敏患者的正常生活具有重大意义。
3.花粉颗粒检测是花粉自动识别系统的核心任务，目的是从图片中自动检测花粉的位置并判断花粉的所属类别。而花粉类别的确定，需要比较丰富的细节信息的支持，主要包括花粉的轮廓以及纹理。因此，在特征提取方面，不仅需要考虑深层特征的全局语义信息，更要补充浅层特征中花粉颗粒的空间结构和纹理细节等信息，以实现更精准的花粉分类。
4.目前研究一般使用特征金字塔进行特征融合，直接将浅层特征和深层特征相加。但是深层特征的下采样倍率较高，会导致花粉图片细节丢失严重，并且浅层特征中包含了比较多的噪声，因此，采用直接加和的方式难以恢复精细的花粉细节，会导致花粉类别的确定不精准，影响花粉检测模型的准确率。


技术实现要素：

5.针对现有技术中的不足，本发明提供了一种基于特征融合的花粉图像检测方法及系统，通过跨连接注意力机制将浅层特征中花粉细节信息加权融合到深层特征，对深层特征进行优化后，再进行特征融合，可以恢复花粉图像更多花粉细节。
6.具体地，本发明是通过以下技术方案来实现的：
7.第一方面，本发明提供了一种基于特征融合的花粉图像检测方法，包括：
8.将经预处理的花粉图像，输入卷积神经网络得到浅层特征；
9.基于所述浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；
10.由所述空间注意力加权特征图通过卷积和下采样生成深层特征图，由所述深层特征图经过通道注意力模块，生成通道注意力加权特征图；
11.将所述空间注意力权值矩阵和所述通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；
12.将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
13.进一步地，所述跨连接注意力机制包括：
14.通过平均池化操作和最大池化操作，对所述空间注意力权值矩阵进行聚合，得到空间相似度权值矩阵；
15.将通道注意力加权特征图与数据整形后的空间相似度权值矩阵相乘得到优化后
的深层特征图，并对所述优化后的深层特征图、下采样后的空间注意力加权特征图、所述通道注意力加权特征图求和，生成特征融合后的特征图。
16.进一步地，所述浅层特征通过空间注意力模块，生成空间注意力加权特征图和空间注意力权值矩阵，包括：
17.将浅层特征图进行卷积并进行矩阵相乘，通过softmax函数，得到空间注意力权值矩阵；
18.卷积后的所述浅层特征图与空间注意力权值矩阵进行矩阵相乘，得到聚合所有空间上下文信息的空间信息融合特征图；
19.将空间信息融合特征图与原始浅层特征图进行逐元素相加，得到空间注意力加权特征图。
20.进一步地，所述深层特征图经过通道注意力模块，生成通道注意力加权特征图，包括：
21.将所述深层特征图转置后与所述深层特征图相乘，通过所述softmax函数，得到通道注意力权值矩阵；
22.将所述深层特征图与所述通道注意力权值矩阵相乘，得到融合全部通道上下文信息的通道信息融合特征图；
23.将所述通道信息融合特征图与所述深层特征图进行逐元素相加，得到融合通道上下文信息的所述通道注意力加权特征图。
24.进一步地，所述预测模块包括分类分支和位置回归分支，其中
25.所述分类分支用于预测当前检测区域是花粉还是背景，
26.所述位置回归分支用于预测花粉的精确位置。
27.进一步地，花粉图像的预处理包括：使用随机亮度、随机饱和度、随机水平翻转、随机噪声和/或随机缩放裁剪，对花粉图像数据集进行增强。
28.第二方面，本发明提供了一种基于特征融合的花粉图像检测系统，其特征在于，包括：
29.图像处理模块，用于对花粉图像进行预处理和图像增强，得到经预处理的花粉图像；
30.卷积模块，用于将所述经预处理的花粉图像输入卷积神经网络得到浅层特征；
31.空间注意力模块，用于基于所述浅层特征，生成空间注意力加权特征图和空间注意力权值矩阵；
32.卷积及下采样模块，用于对所述空间注意力加权特征进行卷积和下采样生成深层特征图；
33.通道注意力模块，基于所述深层特征图生成通道注意力加权特征图；
34.跨连接注意力模块：基于所述空间注意力权值矩阵和所述通道注意力加权特征图，得到优化后的深层特征图，并且将所述优化后的深层特征图、下采样后的空间注意力加权特征图、所述通道注意力加权特征图进行特征融合生成特征融合后的特征图；
35.花粉预测模块，用于将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
36.第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并
可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面的任一项所述的基于特征融合的花粉图像检测方法的步骤。
37.第四方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如第一方面的任一项所述的基于特征融合的花粉图像检测方法的步骤。
38.本发明提供了一种加入了跨连接注意力机制融合浅层特征与深层特征的花粉颗粒检测方法，通过跨连接注意力机制将浅层特征中花粉细节信息加权融合到深层特征，对深层特征进行优化后，再进行特征融合，可以恢复花粉图像更多精细的花粉细节。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是根据本发明的一个实施例的基于特征融合的花粉图像检测方法的流程图；
41.图2是根据本发明的一个实施例的跨连接注意力机制的计算过程的流程图；
42.图3是根据本发明的另一实施例的基于特征融合的花粉图像检测系统的示意图；
43.图4是根据本发明的又一实施例的电子设备的结构示意图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.图1是根据本发明的一个实施例的基于特征融合的花粉图像检测方法的流程图。参照图1，该方法可以包括如下步骤：
46.步骤101：将经预处理的花粉图像，输入卷积神经网络得到浅层特征；
47.步骤102：基于所述浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；
48.步骤103：由所述空间注意力加权特征图通过卷积和下采样生成深层特征图，由所述深层特征图经过通道注意力模块，生成通道注意力加权特征图；
49.步骤104：将所述空间注意力权值矩阵和所述通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；
50.步骤105：将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
51.在本实施例中，需要说明的是，在步骤101之前，可以通过图像处理模块对用于对花粉图像进行预处理和图像增强。电子显微镜下扫描的花粉图片包含标签信息，在花粉颗粒检测过程中此部分为冗余部分，经预处理裁剪后可降低模型训练的难度，提高效率。由于花粉图像标注成本高，并且现有花粉数据集较小，通常使用随机亮度、随机饱和度、随机水
平翻转、随机噪声和随机缩放裁剪5种数据增强方法中的任意一个或多个对数据集进行增强，目的是衍生出更多的样本，减少花粉颗粒因不同的大小、位置、亮度等因素对模型的影响，防止模型过拟合，提高模型的泛化能力。
52.在步骤102中，可以通过空间注意力模块计算特征图像素点之间的相似性捕捉像素点之间的相关关系，从而得到融合空间上下文信息的特征图(即，空间注意力加权特征图)以及空间注意力权值矩阵。计算过程如下：
53.降低特征图通道数：将浅层特征图通过1
×
1卷积层减少特征图通道数。
54.生成空间注意力权值矩阵：对1
×
1卷积后的特征图进行矩阵相乘并使用softmax函数进行处理得到空间注意力权重矩阵，如公式(1)如下。
55.a
ji
＝softmax((w1f
i
)
t
(w1f
j
))
ꢀꢀꢀ
(1)
56.其中w1表示1
×
1卷积，f
i
和f
j
表示特征图的第i个像素点和第j个像素点，t表示矩阵转置操作，a
ji
表示j像素点感受野区域图像内容对i区域的相关性，即两个像素点越相似则具有更大的相关性。
57.生成空间信息融合特征：将经过1
×
1卷积变换后的特征图与空间注意力权值矩阵进行矩阵相乘，得到聚合所有空间上下文信息的融合特征b。如公式(2)所示，
58.b＝a
ji
(w1f
i
)
ꢀꢀꢀ
(2)
59.其中w1表示1
×
1卷积。
60.生成空间注意力加权特征图：将得到的融合特征b与原始浅层特征图进行逐元素相加，最终得到融合空间上下文信息的特征图s。如公式(3)所示，
[0061][0062]
其中f
i
表示输入特征图中的第i个像素点，f
j
表示特征图的第j个像素点，s
i
表示输出特征图的第i个像素点，ns代表特征图中像素点的总数量。λ表示空间信息融合特征在输出特征图中所占的权重，反映了融合特征在输出特征图中的重要性。λ初始化为0，即不将融合特征计入最后特征图，使模型首先关注相对简单的邻域信息。之后随着λ逐渐增大，逐步把权重分配到其他远距离特征上。
[0063]
在步骤103中，可以由所述空间注意力加权特征图通过卷积和下采样生成深层特征图，由通道注意力模块通过计算特征图各通道之间的相似性捕捉通道之间的相关关系。计算过程如下：
[0064]
生成通道注意力权值矩阵：将深层特征图转置后与原始深层特征图相乘，使用softmax函数进行处理后得到通道注意力权重矩阵d。如公式(4)所示，
[0065]
d
nm
＝softmax((f
m
)
t
f
n
)
ꢀꢀꢀ
(4)
[0066]
此时f
m
和f
n
表示特征图的第m个通道和第n个通道，t表示矩阵转置操作，d
nm
表示n通道与m通道的相关性，即两个通道越相似则具有更大的相关性。
[0067]
生成通道信息融合特征：将原始深层特征图与通道注意力权值矩阵相乘，得到融合全部通道上下文信息的融合特征e。如公式(5)所示，
[0068]
e＝d
nm
f
m
ꢀꢀꢀ
(5)
[0069]
生成通道注意力加权特征图：将融合特征e与原始深层特征进行逐元素相加，最终得到融合通道上下文信息的特征图。如公式(6)所示，
[0070][0071]
其中f
m
表示输入特征图中的第m个通道特征，f
n
表示输入特征图中的第n个通道特征，c
m
表示输出特征图第m个通道的特征，nc表示特征图的通道总数，γ表示通道信息融合特征在输出特征图中所占权重，反映了融合特征在输出特征图中的重要性。γ初始化为0，之后随着γ的逐渐增大，逐步把权重分配给其他通道特征上。最终得到的特征是所有通道的特征加权和，各通道可以产生全局关联，具有更强的语义响应。
[0072]
在步骤104中，如图2所示，将上述的空间注意力权值矩阵和通道注意力加权特征图，输入到跨连接注意力机制，生成空间注意力加权的深层特征，即优化后的深层特征，并融合通道注意力加权特征、空间注意力加权特征得到特征融合后的特征图。其中跨连接注意力机制的具体计算过程如下：
[0073]
池化：将空间注意力权值矩阵m使用平均池和最大池操作进行聚合，并使用元素求和将它们合并，得到空间相似度权值矩阵p(n'
×
n'，n'＝h'
×
w')。如公式(7)所示，
[0074][0075]
其中代表通道c的空间相似度矩阵平均池化后的矩阵，代表通道c的空间相似度矩阵最大池化后的矩阵。
[0076]
生成特征融合后的特征图：将通道注意力加权特征图e(c
×
h'
×
w')与p矩阵整形的p1(h'
×
w'
×
n')相乘得到空间注意力加权的深层特征g(c
×
h'
×
w')(即，优化后的深层特征图)。将空间注意力加权特征图a进行下采样，将优化后的深层特征g、通道注意力加权特征图e、空间注意力加权特征图a进行求和，得到输出具有融合特征的特征图f(c
×
h
×
w)。如公式(8)所示，
[0077]
f＝(e
·
p) e (z1·
a)
ꢀꢀꢀ
(8)
[0078]
其中z1表示下采样操作。
[0079]
在步骤105中，将所得到的具有融合特征的特征图输入预测模块，预测花粉颗粒的信息。预测模块包括分类分支和位置回归分支。分类分支负责预测当前检测区域是花粉颗粒还是背景，位置回归分支负责预测花粉颗粒的精确位置。其中分类分支：主要预测当前检测区域是花粉还是背景。经过两个1
×
1卷积操作后输出当前区域为花粉颗粒的概率值。当大于0.5时，预测当前检测区域为花粉颗粒。
[0080]
在训练过程中，使用交叉熵损失函数计算损失值。如公式(10)所示，
[0081][0082]
其中p代表真实标签，花粉表示为1，背景表示为0，表示预测当前检测区域为花粉颗粒的概率值。
[0083]
位置回归分支：主要预测花粉的精确位置。经过两个1
×
1卷积操作后输出4个值1卷积操作后输出4个值和为预测边框的左上角点的坐标，和为右下角点的坐标。
[0084]
在训练阶段，只有感受野和真实边框匹配时，位置回归分支才被激活。预测的回归边框向量被定义为：边框向量被定义为：其中rf
x
和rf
y
为
当前感受野的中心坐标，rf
s
为当前感受野的尺寸。设标注的花粉边框的左上角点的坐标和右下角点的坐标为则设边框回归向量为则设边框回归向量为此时损失函数使用l2损失函数计算损失值lb，如公式11所示：
[0085]
lb＝(bt
‑
bp)2ꢀꢀꢀ
(11)
[0086]
训练阶段需要两个损失函数一起使用，并且两个损失值占有同样的比重。如公式12所示，
[0087]
loss＝lc lb
ꢀꢀꢀ
(12)
[0088]
其中loss为最终使用的损失函数值。
[0089]
综上所述，通过根据本发明的基于特征融合的花粉图像检测方法使用跨连接注意力机制，可以恢复花粉图像更多精细的花粉细节，保留更多的花粉细节信息，进一步提高特征的表达，增加识别信息的可用量，满足花粉颗粒检测中类别确定需要的比较丰富的细节信息，提高花粉检测模型的准确率。
[0090]
图3是根据本发明的另一实施例的基于特征融合的花粉图像检测系统的示意图。
[0091]
在本实施例中，需要说明的是，参照图3，基于特征融合的花粉图像检测系统可以包括图像处理模块301，用于对花粉图像进行预处理和图像增强，得到经预处理的花粉图像；卷积模块302，用于将所述经预处理的花粉图像输入卷积神经网络得到浅层特征；空间注意力模块303，用于基于所述浅层特征，生成空间注意力加权特征图和空间注意力权值矩阵；卷积及下采样模块304，用于对所述空间注意力加权特征进行卷积和下采样生成深层特征图，通道注意力模块305，基于所述深层特征图生成通道注意力加权特征图；跨连接注意力模块306：基于所述空间注意力权值矩阵和所述通道注意力加权特征图，得到优化后的深层特征图，并且将所述优化后的深层特征图、下采样后的空间注意力加权特征图、所述通道注意力加权特征图进行特征融合生成特征融合后的特征图；花粉预测模块307，用于将所述特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
[0092]
由于本发明实施例提供的基于特征融合的花粉图像检测系统，可以用于执行上述实施例所述的基于特征融合的花粉图像检测方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
[0093]
在本实施例中，需要说明的是，本发明实施例的系统中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0094]
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图4，所述电子设备具体包括如下内容：处理器401、存储器402、通信接口403和通信总线404；其中，所述处理器401、存储器402、通信接口403通过所述通信总线404完成相互间的通信。
[0095]
所述处理器401用于调用所述存储器402中的计算机程序，所述处理器执行所述计算机程序时实现上述的基于特征融合的花粉图像检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：将经预处理的花粉图像，输入卷积神经网络得到浅层特征；基于浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权
值矩阵；由空间注意力加权特征图通过卷积和下采样生成深层特征图，由深层特征图经过通道注意力模块，生成通道注意力加权特征图；将空间注意力权值矩阵和通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；将特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
[0096]
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
[0097]
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于特征融合的花粉图像检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：将经预处理的花粉图像，输入卷积神经网络得到浅层特征；基于浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；由空间注意力加权特征图通过卷积和下采样生成深层特征图，由深层特征图经过通道注意力模块，生成通道注意力加权特征图；将空间注意力权值矩阵和通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；将特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
[0098]
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
[0099]
基于相同的发明构思，本发明又一实施例提供了一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现上述的基于特征融合的花粉图像检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述过程：将经预处理的花粉图像，输入卷积神经网络得到浅层特征；基于浅层特征，通过空间注意力模块生成空间注意力加权特征图和空间注意力权值矩阵；由空间注意力加权特征图通过卷积和下采样生成深层特征图，由深层特征图经过通道注意力模块，生成通道注意力加权特征图；将空间注意力权值矩阵和通道注意力加权特征图，输入到跨连接注意力机制，得到特征融合后的特征图；将特征融合后的特征图输入预测模块，得到花粉图像中的花粉信息的检测结果。
[0100]
可以理解的是，所述计算机程序可以执行的细化功能和扩展功能可参照上面实施例的描述。
[0101]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0102]
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中
的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0103]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的基于特征融合的花粉图像检测方法。
[0104]
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0105]
此外，在本发明中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0106]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。