一种基于多尺度特征与梯度融合操作的云图识别方法

1.本发明涉及气象观测领域，具体是一种基于多尺度特征与梯度融合操作的云图识别方法。


背景技术：

2.近年来，云的分类研究被广泛应用于气象监控、野外观察和航天航空等领域，因此如何准确地对云的类型进行分类成为了一项有挑战性的任务。目前最主流的地面观测云设备为全天空成像仪，例如太湖和无锡站用该仪器收集地面观测资料，以分析不同天气情况下图像的成像特征。另一种较为常用的设备是气象卫星，然而气象卫星只是简单地提供了云图像的光谱信息，并不像全天空成像仪的图像那样直观。云图识别属于细粒度识别，即需具体识别出每种云的类别。该分类任务极具挑战性，因为不同类别的云图具有较为相似的形态，同种类别的云又存在复杂多样的颜色、形状特征。
3.目前的云图识别方法存在利用气象数据信息辅助云图识别的，但没有将云图的梯度特征与多尺度云图特征进行融合增强以辅助云图识别的方法。


技术实现要素：

4.为解决上述问题，本发明提供一种基于多尺度特征与梯度融合操作的云图识别方法。
5.本发明过以下技术方案予以实现：
6.一种基于多尺度特征与梯度融合操作的云图识别方法，包括：
7.1)通过分支减半云图特征大小，增加云图多尺度特征信息，包括如下步骤：
8.将云图经过一个7
×
7卷积层和最大池化层后，通过一个3
×
3的卷积将特征图大小减半，接着再送入分支网络进行训练，最后将主线网络与分支网络特征图大小对应位置进行特征融合。
9.2)通过梯度特征融合模块，增强云图特征轮廓信息，包括如下步骤：
10.采用边缘轮廓提取算法canny对每个密集块后的特征图提取梯度信息，将梯度信息经过softmax转化为权重矩阵，最后与特征图做点乘操作，增强原特征图对轮廓的信息提取能力。
11.该方法具体包括如下步骤：
12.s1：获取云图的种类图像数据，根据云图的种类特点，将云图分为n个类别后，将云图大小转换成294
×
294，并对图像进行归一化；
13.s2：将云图输入网络提取图像特征，经过卷积和最大池化层得到74
×
74大小的64维特征图，网络分为主干网络和分支网络，主干网络分别经过密集块(1-1)、过渡层(1-1)、密集块(1-2)、过渡层(1-2)、密集块(1-3)、过渡层(1-3)和密集块(1-4)，分支网络分别经过密集块(2-1)、过渡层(2-1)、密集块(2-2)、过渡层(2-2)、密集块(2-3)、过渡层(2-3)和密集块(2-4)；
14.s3：主干网络的输入、过渡层(1-1)和过渡层(1-2)分别经过3
×
3、步长为2的卷积大小减半，然后分别与分支网络的密集块(2-1)输出、密集块(2-2)输出和密集块(2-3)输出叠加，通过最大池化层后的特征经过多次3
×
3卷积使其大小依次减半，分别与分支网络的密集块后的特征进行通道叠加，使其保留最原始的特征信息；
15.s4：采用canny算法提取原图的梯度信息，与主线和分支网络的第一个密集块后的特征进行梯度增强操作；在主线和分支网络的第四个密集块后采用特征图梯度化增强轮廓特征。
16.进一步的，所述主干网络的特征图大小比同位置的分支网络大1倍。
17.进一步的，s1具体包括如下步骤：
18.s1.1：根据云图种类的不同特征，将云图分为n类；
19.s1.2：图像数据像素调整大小为294
×
294，将云图特征统一归一化到[-1，1]之间。
[0020]
进一步的，s2具体包括如下步骤：
[0021]
s2.1：输入归一化处理后的云图特征图；
[0022]
s2.2：输入图像先经过卷积核为7
×
7，步长为2的卷积层得到尺寸为147
×
147的特征图，每层卷积后都进行批量正则化和relu激活；
[0023]
s2.3：得到的特征经过最大池化层得到尺寸为74
×
74的特征图；
[0024]
s2.4，得到的特征分别输入到主干网络与分支网络；其中，主干网络为输入到密集块(1-1)中得到尺寸为74
×
74的特征；分支网络为经过一次3
×
3，步长为2的卷积操作得到尺寸为37
×
37的特征，接着输入到密集块(2-1)中得到尺寸为37
×
37的特征；每组卷积后得到的特征将与其之前输入的特征进行通道数叠加作为下次卷积的输入；
[0025]
s2.5：密集块(1-1)和密集块(2-1)得到的特征分别输入到过渡层(1-1)和过渡层(2-1)中得到尺寸为37
×
37和19
×
19的特征；
[0026]
s2.6：得到的37
×
37大小的特征后续再经过密集块(1-2)、过渡层(1-2)、密集块(1-3)、过渡层(1-3)、密集块(1-4)；得到的19
×
19大小的特征后续再经过密集块(2-2)、过渡层(2-2)、密集块(2-3)、过渡层(2-3)、密集块(2-4)；其中，密集块(1-2)、密集块(1-3)、密集块(1-4)卷积组数分别为12、24和16，密集块(2-2)、密集块(2-3)、密集块(2-4)卷积组数分别为12、24和16；经过上述操作后分别得到尺寸为10
×
10的主干特征和5
×
5的分支特征；
[0027]
s2.7：主干网络得到的特征经过一次3
×
3、步长为2的卷积输出5
×
5的特征；
[0028]
s2.8，将主干网络和分支网络的特征图大小统一为5
×
5以后，将其特征通道数叠加，得到2048个通道，经过全局平均池化层得到尺寸为1
×
1的特征；
[0029]
s2.9，得到的特征经过分类层计算分类结果，并计算网络的总损失；其中，分类层包含分类卷积层和softmax函数，分类层是一个步长为1，类别数为10的卷积。
[0030]
进一步的，s2.3中所述最大池化层采用卷积核大小为3
×
3，步长为2。
[0031]
进一步的，s2.4中密集块(1-1)和密集块(2-1)均分别包含6组相同的卷积，每组卷积包含1层卷积核为1
×
1和1层卷积核为3
×
3的卷积层，步长均为1。
[0032]
进一步的，s2.5中过渡层包含1层卷积核为1
×
1，步长为1的卷积层，以及1层2
×
2，步长为2的平均池化层。
[0033]
进一步的，s3具体包括如下步骤：
[0034]
s3.1：将s2.3得到的74
×
74大小特征作为输入，输入的特征经过3次3
×
3、步长为2
的卷积，生成大小分别为37
×
37、19
×
19和10
×
10的特征；
[0035]
s3.2：将大小为19
×
19的特征与密集块(2-2)的输出通道数叠加，大小为10
×
10的特征与密集块(2-3)的输出通道数叠加；
[0036]
s3.3：最大池化层的输出大小为74
×
74，经过3
×
3、步长为2的卷积变为37
×
37，与密集块(2-1)的输出通道数叠加，过渡层(1-1)的输出经过3
×
3、步长为2的卷积，得到大小为19
×
19的特征，与密集块(2-2)的输出通道数叠加，过渡层(1-2)的输出经过3
×
3、步长为2的卷积，得到大小为10
×
10的特征，与密集块(2-3)的输出通道数叠加。
[0037]
进一步的，s4具体包括如下步骤：
[0038]
s4.1：利用云图输入，采用canny边缘轮廓检测算子计算原图输入的轮廓特征，后通过softmax计算再加1，转化成特征权重，分别乘以s3.3操作后密集块(1-1)和密集块(2-1)的输出；
[0039]
s4.2：将密集块(1-4)和密集块(2-4)的输出采用canny边缘轮廓检测算子计算轮廓特征后，通过softmax计算再加1，转化成特征权重，分别乘以密集块(1-4)和密集块(2-4)的输出作为最终的输出特征。
[0040]
本发明的有益效果是：
[0041]
1、本发明提供的基于梯度信息和多尺度特征融合的云图识别方法不仅融合了云图的多尺度特征信息，并且在模型中间提取不同尺度的云图梯度信息作为权重，增强云图的轮廓特征，提高网络的分类性能。
[0042]
2、本发明提供的一种基于梯度信息和多尺度特征融合的云图识别方法，可以进一步拓展在云图识别领域的应用及研究。
附图说明
[0043]
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0044]
附图1为本发明的流程示意图。
具体实施方式
[0045]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0046]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征
可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0047]
一种基于多尺度特征与梯度融合操作的云图识别方法，包括：
[0048]
1)通过分支减半云图特征大小，增加云图多尺度特征信息，包括如下步骤：
[0049]
将云图经过一个7
×
7卷积层和最大池化层后，通过一个3
×
3的卷积将特征图大小减半，接着再送入分支网络进行训练，最后将主线网络与分支网络特征图大小对应位置进行特征融合。
[0050]
2)通过梯度特征融合模块，增强云图特征轮廓信息，包括如下步骤：
[0051]
采用边缘轮廓提取算法canny对每个密集块后的特征图提取梯度信息，将梯度信息经过softmax转化为权重矩阵，最后与特征图做点乘操作，增强原特征图对轮廓的信息提取能力。
[0052]
参照附图1与表1所示，该方法具体包括如下步骤：
[0053]
s1：获取云图的种类图像数据，根据云图的种类特点，将云图分为n个类别后，将云图大小转换成294
×
294，并对图像进行归一化；
[0054]
其中，s1具体包括如下步骤：
[0055]
s1.1，根据云图种类的不同特征，将云图分为n类；
[0056]
s1.2，图像数据像素调整大小为294
×
294，后将云图特征统一归一化到[-1，1]之间。
[0057]
s2：将云图作为输入网络提取图像特征，经过卷积和最大池化层得到74
×
74大小的64维特征图；网络分为主干网络和分支网络，主干网络的特征图大小比同位置的分支网络大1倍。主干网络分别经过密集块(1-1)、过渡层(1-1)、密集块(1-2)、过渡层(1-2)、密集块(1-3)、过渡层(1-3)和密集块(1-4)，分支网络分别经过密集块(2-1)、过渡层(2-1)、密集块(2-2)、过渡层(2-2)、密集块(2-3)、过渡层(2-3)和密集块(2-4)。
[0058]
其中，s2具体包括如下步骤：
[0059]
s2.1，输入归一化以后的云图特征图，特征图大小为294
×
294尺寸；
[0060]
s2.2，输入图像先经过卷积核为7
×
7，步长为2的卷积层得到尺寸为147
×
147的特征图，网络框架中每层卷积后都进行批量正则化(bn，batch normalization)和relu激活；
[0061]
s2.3，得到的特征经过最大池化层得到尺寸为74
×
74的特征图，最大池化层采用卷积核大小为3
×
3，步长为2；
[0062]
s2.4，得到的特征进行两种操作，一种是主干网络为输入到密集块(1-1)中得到尺寸为74
×
74的特征；另一种是分支网络为经过一次3
×
3，步长为2的卷积操作得到尺寸为37
×
37的特征，输入到密集块(2-1)中得到尺寸为37
×
37的特征；其中，密集块(1-1)和密集块(2-1)都分别包含6组相同的卷积，每组卷积包含1层卷积核为1
×
1和1层卷积核为3
×
3的卷积层，步长都为1，因此不减少特征尺寸。密集块中包含密集叠加操作，即每组卷积后的得到的特征将与其之前输入的特征进行通道数叠加作为下次卷积的输入。
[0063]
s2.5，密集块(1-1)和密集块(2-1)得到的特征分别输入到过渡层(1-1)和过渡层(2-1)中得到尺寸为37
×
37和19
×
19的特征，过渡层包含1层卷积核为1
×
1，步长为1的卷积层，以及1层2
×
2，步长为2的平均池化层；
[0064]
s2.6，得到的37
×
37大小的特征后续再经过密集块(1-2)、过渡层(1-2)、密集块
(1-3)、过渡层(1-3)、密集块(1-4)；得到的19
×
19大小的特征后续再经过密集块(2-2)、过渡层(2-2)、密集块(2-3)、过渡层(2-3)、密集块(2-4)，其中，密集块(1-2)、密集块(1-3)、密集块(1-4)卷积组数分别为12、24和16；密集块(2-2)、密集块(2-3)、密集块(2-4)卷积组数分别为12、24和16，而过渡层操作都一致；经过上述操作将分别得到尺寸为10
×
10的主干特征和5
×
5的分支特征。
[0065]
s2.7，主干网络得到的特征经过一次3
×
3、步长为2的卷积输出5
×
5的特征；
[0066]
s2.8，将主干网络和分支网络的特征图大小统一为5
×
5以后，将其特征通道数叠加，得到2048个通道，经过全局平均池化层得到尺寸为1
×
1的特征；
[0067]
s2.9，得到的特征经过分类层计算分类结果，并计算网络的总损失；其中，分类层包含分类卷积层和softmax函数，分类层是一个步长为1，类别数为10的卷积。
[0068]
s3：主干网络的输入、过渡层(1-1)和过渡层(1-2)分别经过3
×
3、步长为2的卷积大小减半，分别与分支网络的密集块(2-1)输出、密集块(2-2)输出和密集块(2-3)输出叠加，而且，通过最大池化层后的特征经过多次3
×
3卷积使其大小依次减半，分别与分支网络的密集块后的特征进行通道叠加，使其保留最原始的特征信息。
[0069]
其中，s3具体包括如下步骤：
[0070]
s3.1，根据s2.3得到的74
×
74大小特征作为输入，输入的特征经过3次3
×
3、步长为2的卷积，生成大小分别为37
×
37、19
×
19和10
×
10的特征；
[0071]
s3.2，根据s3.1，将大小为19
×
19的特征与密集块(2-2)的输出通道数叠加，大小为10
×
10的特征与密集块(2-3)的输出通道数叠加；
[0072]
s3.3，根据s2.3、s2.4、s2.5和s2.6，最大池化层的输出大小为74
×
74，经过3
×
3、步长为2的卷积变为37
×
37，与密集块(2-1)的输出通道数叠加，过渡层(1-1)的输出经过3
×
3、步长为2的卷积，得到大小为19
×
19的特征，与密集块(2-2)的输出通道数叠加，过渡层(1-2)的输出经过3
×
3、步长为2的卷积，得到大小为10
×
10的特征，与密集块(2-3)的输出通道数叠加。
[0073]
s4：采用canny算法提取原图的梯度信息，与主线和分支网络的第一个密集块后的特征进行梯度增强操作；而且，在主线和分支网络的第四个密集块后采用特征图梯度化增强轮廓特征。
[0074]
其中，s4具体包括如下步骤：
[0075]
s4.1，如图1中虚线所示，利用云图输入，采用canny边缘轮廓检测算子计算原图输入的轮廓特征，后通过softmax计算再加1，转化成特征权重，分别乘以s3.3操作后密集块(1-1)和密集块(2-1)的输出；
[0076]
s4.2，如图1中虚线所示，将密集块(1-4)和密集块(2-4)的输出采用canny边缘轮廓检测算子计算轮廓特征，后通过softmax计算再加1，转化成特征权重，分别乘以密集块(1-4)和密集块(2-4)的输出作为最终的输出特征。
[0077]
表1
[0078][0079]
本发明不仅进行了多尺度特征融合以及使用梯度信息，并且在模型中间将主线网络与分支网络对应大小位置进行叠加从而达到特征增强。
[0080]
本技术方案中的多尺度云图特征和梯度信息融合的方法所采用的模型不限于densenet模型，其可适用于任意模型中。
[0081]
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。