一种基于多尺度特征与梯度融合操作的云图识别方法

技术特征：
1.一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，包括：1)通过分支减半云图特征大小，增加云图多尺度特征信息，包括如下步骤：将云图经过一个7
×
7卷积层和最大池化层后，通过一个3
×
3的卷积将特征图大小减半，接着再送入分支网络进行训练，最后将主线网络与分支网络特征图大小对应位置进行特征融合；2)通过梯度特征融合模块，增强云图特征轮廓信息，包括如下步骤：采用边缘轮廓提取算法canny对每个密集块后的特征图提取梯度信息，将梯度信息经过softmax转化为权重矩阵，最后与特征图做点乘操作。2.根据权利要求1所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，其具体包括如下步骤：s1：获取云图的种类图像数据，根据云图的种类特点，将云图分为n个类别后，将云图大小转换成294
×
294，并对图像进行归一化；s2：将云图输入网络提取图像特征，经过卷积和最大池化层得到74
×
74大小的64维特征图，网络分为主干网络和分支网络，主干网络分别经过密集块(1-1)、过渡层(1-1)、密集块(1-2)、过渡层(1-2)、密集块(1-3)、过渡层(1-3)和密集块(1-4)，分支网络分别经过密集块(2-1)、过渡层(2-1)、密集块(2-2)、过渡层(2-2)、密集块(2-3)、过渡层(2-3)和密集块(2-4)；s3：主干网络的输入、过渡层(1-1)和过渡层(1-2)分别经过3
×
3、步长为2的卷积大小减半，然后分别与分支网络的密集块(2-1)输出、密集块(2-2)输出和密集块(2-3)输出叠加，通过最大池化层后的特征经过多次3
×
3卷积使其大小依次减半，分别与分支网络的密集块后的特征进行通道叠加，使其保留最原始的特征信息；s4：采用canny算法提取原图的梯度信息，与主线和分支网络的第一个密集块后的特征进行梯度增强操作；在主线和分支网络的第四个密集块后采用特征图梯度化增强轮廓特征。3.根据权利要求2所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，所述主干网络的特征图大小比同位置的分支网络大1倍。4.根据权利要求2所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s1具体包括如下步骤：s1.1：根据云图种类的不同特征，将云图分为n类；s1.2：图像数据像素调整大小为294
×
294，将云图特征统一归一化到[-1，1]之间。5.根据权利要求2所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s2具体包括如下步骤：s2.1：输入归一化处理后的云图特征图；s2.2：输入图像先经过卷积核为7
×
7，步长为2的卷积层得到尺寸为147
×
147的特征图，每层卷积后都进行批量正则化和relu激活；s2.3：得到的特征经过最大池化层得到尺寸为74
×
74的特征图；s2.4，得到的特征分别输入到主干网络与分支网络；其中，主干网络为输入到密集块(1-1)中得到尺寸为74
×
74的特征；分支网络为经过一次3
×
3，步长为2的卷积操作得到尺寸为37
×
37的特征，接着输入到密集块(2-1)中得到尺寸为37
×
37的特征；每组卷积后得到
的特征将与其之前输入的特征进行通道数叠加作为下次卷积的输入；s2.5：密集块(1-1)和密集块(2-1)得到的特征分别输入到过渡层(1-1)和过渡层(2-1)中得到尺寸为37
×
37和19
×
19的特征；s2.6：得到的37
×
37大小的特征后续再经过密集块(1-2)、过渡层(1-2)、密集块(1-3)、过渡层(1-3)、密集块(1-4)；得到的19
×
19大小的特征后续再经过密集块(2-2)、过渡层(2-2)、密集块(2-3)、过渡层(2-3)、密集块(2-4)；其中，密集块(1-2)、密集块(1-3)、密集块(1-4)卷积组数分别为12、24和16，密集块(2-2)、密集块(2-3)、密集块(2-4)卷积组数分别为12、24和16；经过上述操作后分别得到尺寸为10
×
10的主干特征和5
×
5的分支特征；s2.7：主干网络得到的特征经过一次3
×
3、步长为2的卷积输出5
×
5的特征；s2.8，将主干网络和分支网络的特征图大小统一为5
×
5以后，将其特征通道数叠加，得到2048个通道，经过全局平均池化层得到尺寸为1
×
1的特征；s2.9，得到的特征经过分类层计算分类结果，并计算网络的总损失；其中，分类层包含分类卷积层和softmax函数，分类层是一个步长为1，类别数为10的卷积。6.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s2.3中所述最大池化层采用卷积核大小为3
×
3，步长为2。7.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s2.4中密集块(1-1)和密集块(2-1)均分别包含6组相同的卷积，每组卷积包含1层卷积核为1
×
1和1层卷积核为3
×
3的卷积层，步长均为1。8.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s2.5中过渡层包含1层卷积核为1
×
1，步长为1的卷积层，以及1层2
×
2，步长为2的平均池化层。9.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s3具体包括如下步骤：s3.1：将s2.3得到的74
×
74大小特征作为输入，输入的特征经过3次3
×
3、步长为2的卷积，生成大小分别为37
×
37、19
×
19和10
×
10的特征；s3.2：将大小为19
×
19的特征与密集块(2-2)的输出通道数叠加，大小为10
×
10的特征与密集块(2-3)的输出通道数叠加；s3.3：最大池化层的输出大小为74
×
74，经过3
×
3、步长为2的卷积变为37
×
37，与密集块(2-1)的输出通道数叠加，过渡层(1-1)的输出经过3
×
3、步长为2的卷积，得到大小为19
×
19的特征，与密集块(2-2)的输出通道数叠加，过渡层(1-2)的输出经过3
×
3、步长为2的卷积，得到大小为10
×
10的特征，与密集块(2-3)的输出通道数叠加。10.根据权利要求5所述的一种基于多尺度特征与梯度融合操作的云图识别方法，其特征在于，s4具体包括如下步骤：s4.1：利用云图输入，采用canny边缘轮廓检测算子计算原图输入的轮廓特征，后通过softmax计算再加1，转化成特征权重，分别乘以s3.3操作后密集块(1-1)和密集块(2-1)的输出；s4.2：将密集块(1-4)和密集块(2-4)的输出采用canny边缘轮廓检测算子计算轮廓特征后，通过softmax计算再加1，转化成特征权重，分别乘以密集块(1-4)和密集块(2-4)的输出作为最终的输出特征。

技术总结
本发明涉及气象观测领域，具体是一种基于多尺度特征与梯度融合操作的云图识别方法，包括：1)通过分支减半云图特征大小，增加云图多尺度特征信息：将云图经过一个7


技术研发人员：林志玮 金龄杰 洪宇
受保护的技术使用者：福建农林大学
技术研发日：2022.02.28
技术公布日：2022/6/1