一种无人机用语义分割网络模型及图像分割识别方法与流程

技术特征：
1.一种无人机用语义分割网络模型，基于bisenetv2轻量化语义分割的框架进行搭建，其特征在于：包括细节分支部分、语义分支部分、融合分支部分和聚合层部分；所述细节分支部分使用宽通道和浅层来处理空间细节，所述细节分支部分提取的输出特征映射是原始输入的1/8；所述语义分支部分采用三种特殊的网络构造代替经典网络并作为语义分支的主体，分别为stemblock网络、gather-and-expansion layer网络和context embelding block 网络；所述融合分支部分在语义分支的第三、四、五层和细节分支的第三层分别使用了 rfb 模块来扩大感受野，得到了特征l3，l4，l5和l1，将l3和l4作为 acfm 模块的输入，得到输出特征 l
34
，再将l
34
和l5作为acfm模块的输入，得到输出特征 l
345
，最后将l
345
和l1作为acfm模块的输入，得到输出特征 l0；所述聚合层部分用于进行特征融合来合并特性表示，所述分割分支的输出大小为细节分支的1/4，分割分支经过上述处理后通过激活函数sigmoid激活输出，然后与经过处理的细节分支相乘；细节分支和语义分支使用聚合层进行融合得到了特征l
c
，然后将融合分支的输出特征l0和聚合层的输出特征l
c
进行拼接操作得到最终分支聚合之后的输出。2.如权利要求1所述的一种无人机用语义分割网络模型，其特征在于：所述rfb 模块包含5个分支，所述每个分支中先通过一个1
×
1的卷积将通道数降低到64 维，第三个分支再经过一个1
×
3卷积、3
×
1卷积和3
×
3卷积，第四个分支再经过一个1
×
5卷积、5
×
1卷积和3
×
3卷积，第五个分支再经过一个1
×
7卷积、7
×
1卷积和3
×
3卷积，然后将第二、第三、第四和第五个分支的输出拼接到一起，再通过一个3
×
3的卷积将通道数降低到64维，最后将输出的特征和第一个分支的输出相加，经过relu激活函数得到最后的输出特征。3.如权利要求1所述的一种无人机用语义分割网络模型，其特征在于：所述acfm模块的具体结构为，给定两个不同尺度的输入特征图 f
a
和f
b
，将较深层特征图f
b
进行上采样处理，得到和f
a
特征图同样大小的尺寸，记为f
c
；然后将特征图f
a
和上采样得到的特征图f
c
进行相加操作，以得到融合的总特征f
x
，将得到的总特征f
x
送入 msca 模块进一步处理，得到特征 f
y
，然后将特征f
y
与特征f
a
以及特征f
y
的反向和特征f
b
进行相乘再相加操作，得到特征f
o
；acfm模块结构用公式可以表示如下：最后特征f
o
经过一个3
×
3卷积，得到最终的输出特征f。4.如权利要求3所述的一种无人机用语义分割网络模型，其特征在于：所述acfm模块中使用了多尺度通道注意力机制msca模块，所述msca模块共有两个分支，上面的分支由pwc bn relu pwc bn组成，其中点卷积为1
×
1的卷积，以保持原始特征大小，获得局部信息；下面的分支由gap pwc bn relu pwc bn组成，其中使用全局平均池化获取全局上下文信息，并突出显示全局分布的大型对象；最后，将上下两个分支结构得到的特征进行相加操作，在经过激活函数sigmoid处理后得到输出特征 w。5.如权利要求1所述的一种无人机用语义分割网络模型，其特征在于：所述stemblock网络采用两种不同的下采样方式来缩小特征表示，然后将两个分支的输出特征串联起来作为输出；将stemblock网络作为语义分支的第一个特征提取块，图像输入经过卷积后分为两
个分支，最后将经过两层卷积块后的输出与经过卷积核大小为3的最大池化层连接在一起再卷积作为输出，图像输出是缩小为原图的1/4，维度数为16；所述gather-and-expansion layer网络包括一个3
×
3的卷积，有效地聚合特征响应并扩展到高维空间，在每个单独输出通道上独立进行3
×
3深度卷积，以1
×
1的卷积作为投影层，将深度卷积的输出投影到低信道容量空间中；所述context embelding block网络输入数据经过全局池化，再经过不改变数据大小的卷积层处理后输出为1*1*c，运用broadcasting机制在相加的时候1*1*c的数据自动扩展成h*w*c，然后与原数据相加最终输出为h*w*c。6.一种无人机用图像分割识别方法，其特征在于，包括：通过无人机拍摄获取图像；将图像输入如权利要求1至4任意一项所述的多尺度融合的语义分割网络模型中进行处理并输出处理后的图像；对通过模型处理后的输出图像进行识别。7.一种无人机用图像识别设备，其特征在于：所述设备包括至少一个处理器和至少一个存储器；所述存储器中存储有如权利要求1至4任意一项所述的多尺度融合的语义分割网络模型的程序；所述处理器执行所述存储器存储的程序时，可以实现无人机图像的处理识别。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有如权利要求1至4任意一项所述的多尺度融合的语义分割网络模型的计算机执行程序，所述计算机执行程序被处理器执行时可以实现无人机图像的处理识别。

技术总结
本发明提供了提供了一种无人机用语义分割网络模型及图像分割识别方法，基于BiseNetv2轻量化语义分割的框架进行搭建，包括细节分支部分、语义分支部分、融合分支部分和聚合层部分；所述细节分支部分使用宽通道和浅层来处理空间细节，语义分支部分采用三种特殊的网络构造代替经典网络并作为语义分支的主体，融合分支部分在语义分支的第三、四、五层和细节分支的第三层分别使用了RFB模块来扩大感受野；聚合层部分用于进行特征融合来合并特性表示。本发明区分于传统的语义分割，借鉴了伪装物检测方法，将融入背景中的难以区分的目标物体分离出来，此网络模型分割速度快、区分相似度更大的物体分割精度更准确。相似度更大的物体分割精度更准确。相似度更大的物体分割精度更准确。


技术研发人员：魏玲 胥志伟 杨晓刚
受保护的技术使用者：山东巍然智能科技有限公司
技术研发日：2022.05.30
技术公布日：2022/6/28