基于复数坐标注意力模块的卷积神经网络及目标识别方法与流程

1.本发明涉及目标识别领域，具体地，涉及基于复数坐标注意力模块的卷积神经网络及目标识别方法。


背景技术：

2.弹道导弹在突防过程中会释放与弹头很相似的诱饵，因此在反导中有必要识别弹头与诱饵，从而降低拦截成本。弹头与诱饵可以看作是形状与运动形式一致，仅运动参数存在微小差异的相似空间锥体目标，因此相似空间锥体目标识别在空间资源利用、空间监视(surveillance)以及军事领域具有重要作用。
3.近年来，基于图像域提取微动特征后用于识别的思路，引入卷积神经网络(convolutional neural network,cnn)进行空间目标识别的研究增多。li et al.基于cnn，采用多模式融合(multi
‑
mode fusion)的方法研究了空间不同形状、不同进动频率目标的识别问题。他用理想点散射模型生成了不同形状、不同进动频率目标的s频段和x频段一维距离像和时频谱图；然后，将该多模式数据作为cnn的输入，对锥体、小锥体和圆柱体三种目标做了识别。bai et al.、xu et al.、han et al.均采用将目标的时频谱图作为网络输入的方法对目标做了识别，实际上他们是将利用微动特征对目标识别的问题转化为对图像识别的问题。其中，bai et al.设计了一个三层深度的cnn，用理想点散射模型生成了自旋、进动、章动三种微动形式的时频谱图；然后，将这些时频谱图进行适当裁剪后作为所设计的cnn的输入，对上述三种常见的微动形式做了识别。xu et al.设计了一个六层深度的cnn，用散射点模型产生了自旋、翻滚、进动、章动四种微动形式的回波信号；然后通过wvd(wigner
‑
ville distibution)得到了多个微动周期的时频谱图；最后，将时频谱图作为cnn的输入完成了对四种微动形式的识别。han et al.设计了一个深度学习网络，该网络由一维平行结构(1
‑
d parallel structures)和长短时记忆(long short
‑
term memory,lstm)层组成。他用电磁计算的方法对五种结构参数不同、微动形式不同的目标做了仿真，得到了回波数据；然后，用短时傅里叶变换(short
‑
time fourier transform,stft)对回波做时频分析得到了多个微动周期的时频谱图；最后，将这些时频谱图送入所设计的网络完成了五种目标的识别。wang et al.基于电磁计算数据获得了锥体、锥柱体(cone
‑
cylinder)和锥柱裙体(cone
‑
cylinder
‑
flare)三种几何形状不同、微动形式相同的的目标的多于一个进动周期距离
‑
慢时间像，并将其送入所设计cnn实现了目标识别。从上述列举的现有技术来看，他们的主要做法是将“回波数据域”到“图像域”的处理作为预处理保留，再将从“图像域”中提取微动特征进行识别的过程用深度卷积神经网络代替，存在以下问题：(1)需要进行时频分析(time
‑
frequency analysis)或距离慢时间成像等预处理，因此需要较长的信号处理时间；(2)需要对目标进行较长时间的连续观测以获得目标的完整周期性图像；(3)这些方法仅针对不同形状、不同微动形式的目标，没有实现相似空间锥体目标的识别。


技术实现要素：

4.为了解决目前基于图像域cnn对空间锥体目标识别中存在的三个问题，本发明融合了cv
‑
cnn和注意力机制的优势，将实数域的坐标注意力引入到复数域，构建了基于复数坐标注意力模块的卷积神经网络及目标识别方法，旨在将雷达回波复数据作为输入数据进行直接运算，充分利用幅度和相位信息，实现几何形状和微动形式相同、微动参数存在微小差异的相似空间锥体目标高精度识别。
5.为实现上述目的，本发明提供了基于复数坐标注意力模块的卷积神经网络，所述卷积神经网络包括：
6.输入层、n个基本单元、分类单元和输出层；
7.其中，所述处理单元用于通过取模运算将复数映射成对应的实数，并进行分类识别；n个基本单元包括第一至第n基本单元，第一基本单元与所述输入层连接，所述第一基本单元的输出为第二基本单元的输入，......，所述第n基本单元的输入为第n
‑
1基本单元的输出，n为大于1的整数，所述第n基本单元的输出为所述处理单元的输入，所述处理单元的输出为所述分类器的输入，所述分类器与所述输出层连接；所述n个基本单元均包括：第一复数卷积模块、第一复数批规范化模块、第一复数激活模块和第一复数池化模块；其中，所述n个基本单元中的其中一个基本单元还包括：复数坐标注意力模块；所述复数坐标注意力模块包括：复数坐标注意力嵌入单元和复数坐标注意力生成单元，针对每个通道，所述复数坐标注意力嵌入单元用于将所述通道的第一复输入特征图分别沿着水平和垂直方向进行编码，分别生成所述第一复输入特征图在所述通道沿水平方向编码后的第一输出特征信息和沿垂直方向编码后的第二输出特征信息；
8.针对每个通道，所述复数坐标注意力生成单元用于：将所述第一输出特征信息和所述第二输出特征信息进行拼接，生成所述通道的特征信息拼接结果；将所述通道的所述特征信息拼接结果进行特征降维，获得降维后的特征信息，将降维后的特征信息激活获得所述通道的第一复输出特征图；将所述第一复输出特征图沿空间维度拆分成为第一张量和第二张量；将所述第一张量和所述第二张量维度调整为与所述第一复输入特征图相同的维度，获得水平方向所述通道的第二复输出特征图和垂直方向所述通道的第三复输出特征图；获得第三张量和第四张量，所述第三张量为所有通道的所述第二复输出特征图的集合，所述第四张量为所有通道的所述第三复输出特征图的集合；
9.将所述第三张量和所述第四张量中的每个元素均采用极坐标的形式表示，采用约束函数约束极坐标的幅度，分别获得水平和垂直空间方向的第四复输出特征图和第五复输出特征图，将所述第四复输出特征图和所述第五复输出特征图进行扩展，生成水平和垂直空间方向的注意力权重分布，将所述注意力权重分布作用于所述复数坐标注意力模块的复输入特征图，获得所述复数坐标注意力模块的复输出特征图；
10.其中，复输入特征图和复输出特征图均为复数形式的特征图。
11.其中，本发明中基于复数坐标注意力模块的卷积神经网络在进行目标识别时，不需要需要进行时频分析或距离慢时间成像等预处理，因此不需要较长的信号处理时间，效率较高；本发明中基于复数坐标注意力模块的卷积神经网络在进行目标识别时，不需要对目标进行较长时间的连续观测以获得目标的完整周期性图像，效率较高；本发明中基于复数坐标注意力模块的卷积神经网络实现了相似空间锥体目标的识别。
12.优选的，在未包括所述复数坐标注意力模块的所述基本单元中，该基本单元中的所述复数卷积模块的输出为所述复数批规范化模块的输入，所述复数批规范化模块的输出为所述复数激活模块的输入，所述复数激活模块的输出为所述复数池化模块的输入。
13.优选的，在包括所述复数坐标注意力模块的所述基本单元中，该基本单元中的所述复数卷积模块的输出为所述复数批规范化模块的输入，所述复数批规范化模块的输出为所述复数坐标注意力模块的输入，所述复数坐标注意力模块的输出为所述复数激活模块的输入，所述复数激活模块的输出为所述复数池化模块的输入。
14.优选的，所述分类单元包括：
15.第二复数卷积模块、第二复数批规范化模块、第二复数激活模块、第三复数卷积模块和分类器；所述第二复数卷积模块的输出为所述第二复数批规范化模块的输入，所述第二复数批规范化模块的输出为所述第二复数激活模块的输入，所述第二复数激活模块的输出为所述第三复数卷积模块的输入，所述第三复数卷积模块的输出为所述分类器的输入。
16.优选的，所述卷积神经网络包括第一至第六基本单元。
17.优选的，第六基本单元包括所述复数坐标注意力模块。
18.优选的，所述卷积神经网络中设有优化器用于更新网络权重和偏置项。
19.优选的，所述第一至第六基本单元卷积核数量分别为64、64、128、128、256和256，卷积核尺寸均为1
×
3，第一复数池化模块的采样窗口尺寸均为1
×
2，卷积的滑动步长为1，填充数为1。
20.优选的，所述复输入特征图为空间目标识别信号的复输入特征图，所述复输出特征图为空间目标识别信号的复输出特征图。
21.其中，本发明中的复数坐标注意力模块cv
‑
ca一方面利用复数卷积神经网络通过复数实部和虚部关联学习获得信号的幅度和相位特征；另一方面通过复数坐标注意力同时关注水平与垂直方向上的空间信息和通道信息，更好地对特征信息的远程依懒关系进行建模，增强目标对象特征表征能力。
22.其中，通道注意力中通常会采用全局池化编码全局空间信息，但它将全局空间信息压缩为一个通道描述符，因而难以保持位置信息，而位置信息对空间结构的捕获尤为重要。因此，在坐标注意力模块中，将全局池化分解为两个一维特征编码的操作扩展到复数域，对每个通道的复数特征图x分别沿着水平和垂直两个方向进行编码(简称水平和垂直方向为方向
‑
相关)，生成方向
‑
相关复数特征图，从而分别集成两个空间方向上的特征。
23.上述复数坐标注意力嵌入单元输出了全局感受野下聚合的精确的空间位置信息。基于复数坐标注意力嵌入单元的编码结果，复数坐标注意力模块设计了第二个变换，称之为复数坐标注意力生成单元。复数坐标注意力生成单元变换包括三个部分，分别是：(1)方向
‑
相关特征信息聚合，(2)方向
‑
相关复数特征图分裂，(3)复数坐标注意力自动分配。
24.优选的，本发明中x为所述复数坐标注意力模块的复输入特征图，其中，x
c
为第c个通道的复输入特征图，为c
×
w
×
h维复数张量，为复数空间，c为输入特征图的通道数，w为每个输入特征图的宽度，h为每个输入特征图的高度；y为所述复数坐标注意力模块的复输出特征图，其中，y
c
为第c个通道的复输出特征图，c为大于或等于1，且小于或等于c的整数，x的维度与y的维度
相同；
25.复输入特征图x的第p个通道沿水平方向编码后的输出为所述复输入特征图x的第p个通道沿垂直方向编码后的输出为其中：
[0026][0027][0028]
其中，j表示虚数单位，表示复数的实部，表示复数的虚部，h为输入特征图水平方向像素索引，x
p
(h,j)为复输入特征图第p个通道第h行第j列的数值，i为输入特征图垂直方向像素索引，x
p
(i,w)为复输入特征图第p个通道第i行第w列的数值。
[0029]
优选的，本发明中将和进行拼接，获得特征信息拼接结果m，m中的每个张量表示为其中，其中[
·
,
·
]表示拼接运算，t为转置矩阵；
[0030]
所述复数坐标注意力生成单元使用1
×
1的卷积核将所述特征信息拼接结果进行特征降维，其中，进行特征降维可以减少参数量，同时还可实现跨通道的信息交互和整合，所述复数坐标注意力生成单元使用1
×
1的卷积核将所述特征信息拼接结果进行特征降维，设为卷积层共享的1
×
1的复卷积核，其中，表示第k个复卷积核，k＝1,2,
…
,c/r，表示中的第c个1
×
1的复卷积核，表示中的第q个1
×
1的复卷积核，q＝1,2,
…
,c，r表示用于控制卷积输出特征图通道数的缩放比例系数，s表示卷积运算的步长，卷积输出的第k个特征图为v
k
(i,j)，其中：
[0031][0032]
f
k
(i,j)＝σ(v
k
(i,j))
[0033]
其中，m
q
为m中的第q个张量，m
q
(i
·
s,j
·
s)为特征信息拼
接后的第q个张量的第i
·
s行、第j
·
s列的数值，v
k
(i,j)表示未经激活的第k个通道的复输出特征图，表示第k个通道的复输出特征图，各通道复特征图的集合记作f
c/r
为第
c/r
个通道的复输出特征图，σ(
·
)表示复数激活函数；复数激活函数为crelu函数，crelu激活函数为：
[0034][0035]
其中，z为复数变量。
[0036]
优选的，本发明中将各通道复特征图的集合沿空间维度拆分为所述第一张量和所述第二张量
[0037][0038][0039]
其中，和为第k个通道在水平方向的复输出特征图，为第k个通道在垂直方向的复输出特征图、第c/r个通道在水平方向的复输出特征图、第c/r个通道在垂直方向的复输出特征图。
[0040]
优选的，本发明中使用1
×
1的复卷积核将所述f
h
和所述f
w
恢复到与所述x相同的维度，获得和其中：
[0041][0042][0043]
其中，为水平方向第l个通道的复输出特征图，为垂直方向第l个通道的复输出特征图，为中的第o个1
×
1的复卷积核，o＝1,2,...,c/r，为第o个通道在水平方向的复输出特征图，为中的第o个1
×
1的复卷积核，为第o个通道在垂直方向的复输出特征图，表示水平方向第l个通道的第二复输出特征图，v
h
为所有通道的所述第二复输出特征图的集合，表示垂直方向第l个
通道的第三复输出特征图，v
w
为所有通道的所述第三复输出特征图的集合，
[0044]
优选的，本发明中将所述v
h
和所述v
w
中的每一个元素采用极坐标的形式表示，采用sigmoid函数约束极坐标的幅度，具体为：
[0045][0046][0047][0048][0049][0050][0051]
其中，和分别为水平和垂直方向第l个通道的复输出特征图经sigmoid函数约束其幅度后的结果，和分别为水平和垂直方向第l个通道的复输出特征图的相位，和分别为水平和垂直方向第l个通道的复输出特征图的幅度，和分别为水平和垂直方向第l个通道的复输出特征图相位，sig(
·
)表示sigmoid函数，通过sigmoid约束后的结果记为和
[0052]
在直角坐标系下：
[0053][0054][0055]
优选的，本发明中对所述g
h
和所述g
w
进行扩展，生成水平和垂直空间方向的注意力权重分布，将所述注意力权重分布作用于所述复数坐标注意力模块的复输入特征图，获得所述复数坐标注意力模块的复输出特征图，所述复数坐标注意力模块的复输出特征图为y
l
(i,j)：
[0056][0057]
其中，x
l
(i,j)为第l个通道复输入特征图第i行、第j列数值。
[0058]
本发明中复数坐标注意力模块的输入和输出均为复数形式的特征信息，本发明中的复数坐标注意力模块能够对复数特征信息进行处理。
[0059]
本发明中复数坐标注意力模块利用复数卷积神经网络通过复数实部和虚部关联
学习获得信号的幅度和相位特征。
[0060]
本发明中复数坐标注意力模块通过复数坐标注意力同时关注水平与垂直方向上的空间信息和通道信息，更好地对特征信息的远程依懒关系进行建模，增强目标对象特征表征能力。
[0061]
本发明还提供了目标识别方法，所述方法包括：
[0062]
获得目标信号；
[0063]
将所述目标信息输入所述基于复数坐标注意力模块的卷积神经网络中；
[0064]
所述卷积神经网络输出目标识别结果。
[0065]
优选的，所述目标信号为雷达回波数据。
[0066]
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0067]
本发明融合了cv
‑
cnn和注意力机制的优势，将实数域的坐标注意力引入到复数域，构建了基于复数坐标注意力模块的卷积神经网络及目标识别方法，能够将雷达回波复数据作为输入数据进行直接运算，充分利用幅度和相位信息，实现几何形状和微动形式相同、微动参数存在微小差异的相似空间锥体目标高精度识别。
[0068]
本发明中基于复数坐标注意力模块的卷积神经网络在进行目标识别时，不需要需要进行时频分析或距离慢时间成像等预处理，因此不需要较长的信号处理时间，效率较高；本发明中基于复数坐标注意力模块的卷积神经网络在进行目标识别时，不需要对目标进行较长时间的连续观测以获得目标的完整周期性图像，效率较高。
[0069]
本发明中的基于复数坐标注意力模块的卷积神经网络对于微动形式相同、仅微动参数有微小差异的相似空间锥体目标，能够实现高精度识别。
[0070]
本发明中的端到端的相似空间锥体目标识别方法，输入为雷达回波复数据，输出为识别结果，避免了回波信号预处理和相位信息丢失，显著减少了识别所需时间。
附图说明
[0071]
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
[0072]
图1为基于复数坐标注意力模块的卷积神经网络的结构示意图；
[0073]
图2为复数坐标注意力模块的组成示意图；
[0074]
图3为复输入特征图处理方法的流程示意图。
具体实施方式
[0075]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
[0076]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0077]
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不
能理解为对数量的限制。
[0078]
实施例一
[0079]
请参考图1，图1为基于复数坐标注意力模块的卷积神经网络的结构示意图，基于复数坐标注意力模块的卷积神经网络，其特征在于，所述卷积神经网络包括：
[0080]
输入层、n个基本单元、分类单元和输出层；
[0081]
其中，所述处理单元用于通过取模运算将复数映射成对应的实数，并进行分类识别；n个基本单元包括第一至第n基本单元，第一基本单元与所述输入层连接，所述第一基本单元的输出为第二基本单元的输入，......，所述第n基本单元的输入为第n
‑
1基本单元的输出，n为大于1的整数，所述第n基本单元的输出为所述处理单元的输入，所述处理单元的输出为所述分类器的输入，所述分类器与所述输出层连接；所述n个基本单元均包括：第一复数卷积模块、第一复数批规范化模块、第一复数激活模块和第一复数池化模块；其中，所述n个基本单元中的其中一个基本单元还包括：复数坐标注意力模块；所述复数坐标注意力模块包括：复数坐标注意力嵌入单元和复数坐标注意力生成单元，针对每个通道，所述复数坐标注意力嵌入单元用于将所述通道的第一复输入特征图分别沿着水平和垂直方向进行编码，分别生成所述第一复输入特征图在所述通道沿水平方向编码后的第一输出特征信息和沿垂直方向编码后的第二输出特征信息；
[0082]
针对每个通道，所述复数坐标注意力生成单元用于：将所述第一输出特征信息和所述第二输出特征信息进行拼接，生成所述通道的特征信息拼接结果；将所述通道的所述特征信息拼接结果进行特征降维，获得降维后的特征信息，将降维后的特征信息激活获得所述通道的第一复输出特征图；将所述第一复输出特征图沿空间维度拆分成为第一张量和第二张量；将所述第一张量和所述第二张量维度调整为与所述第一复输入特征图相同的维度，获得水平方向所述通道的第二复输出特征图和垂直方向所述通道的第三复输出特征图；获得第三张量和第四张量，所述第三张量为所有通道的所述第二复输出特征图的集合，所述第四张量为所有通道的所述第三复输出特征图的集合；
[0083]
将所述第三张量和所述第四张量中的每个元素均采用极坐标的形式表示，采用约束函数约束极坐标的幅度，分别获得水平和垂直空间方向的第四复输出特征图和第五复输出特征图，将所述第四复输出特征图和所述第五复输出特征图进行扩展，生成水平和垂直空间方向的注意力权重分布，将所述注意力权重分布作用于所述复数坐标注意力模块的复输入特征图，获得所述复数坐标注意力模块的复输出特征图；
[0084]
其中，复输入特征图和复输出特征图均为复数形式的特征图。
[0085]
本发明融合了cv
‑
cnn和注意力机制的优势，将实数域的坐标注意力引入到复数域，构建了复数注意力网络。注意力机制(attention mechanism)可以通过全局信息搜索捕获远距离依赖关系，并通过带权分配自动聚焦重要信息，忽略不重要的冗余信息，这一点对于短观测时长内的相似空间锥体目标识别是有用的。注意力机制经历了空间注意力、通道注意力、空间
‑
通道注意力的发展过程。空间维度和通道维度信息对网络识别能力的提升均有作用，这一点在最新提出的坐标注意力(coordinate attention,ca)模块中再次得到证明，通过嵌入空间位置信息到通道注意力中提高了模型性能。
[0086]
复数卷积神经网络(complex
‑
valued convolutionalneuralnetwork,cv
‑
cnn)可以直接处理回波复数数据，充分利用幅度和相位信息，避免回波预处理从而减少识别时间。
[0087]
其中，本发明基于cv
‑
ca模块搭建了cv
‑
canet。cv
‑
canet是一个端到端的复数卷积神经网络，网络的架构如图1所示。该网络的每一层基本单元都是由复数卷积、复数批规范化、复数激活、复数池化4个基本模块组成，其中，在第六层还嵌入了cv
‑
ca模块。第一层到第六层的卷积核数量分别为64、64、128、128、256和256，每个卷积核(convolutional kernels)尺寸均为1
×
3，池化层(pooling layer)的采样窗口尺寸均为1
×
2，所有卷积层的滑动步长(stride)为1、填充数(padding)为1。网络最后两层使用全卷积替换了传统的全连接以减少模型参数。最后一层全卷积的输出结果为复数，而目标的类别标签为实数。因此，通过取模运算，将复数映射成对应的实数后送入softmax分类器进行分类识别。损失函数采用交叉熵损失函数。adaptive moment estimation(adam)作为优化器用于更新网络权重和偏置项。
[0088]
其中，本发明对复数卷积神经网络的层数，以及基本单元的个数，以及具体哪个基本单元中嵌入了cv
‑
ca模块均不进行限定，可以根据实际需求进行灵活调整。
[0089]
本发明中的基于cv
‑
canet的相似空间锥体目标端到端识别方法，通过输入雷达回波数据直接得到相似空间锥体目标的识别结果，从而避免了复杂的回波信号预处理和相位信息丢失问题。为了直接处理雷达回波复信号，本发明提出了cv
‑
ca模块并基于该模块构建了cv
‑
canet。本发明将坐标注意力机制引入到复数域，推导建立了方向
‑
相关复数特征信息聚合、方向
‑
相关复数特征图分裂、复数坐标注意力自动分配等基本结构。对于微动形式相同、仅微动参数有微小差异的相似空间锥体目标，能够实现有效识别。
[0090]
本发明通常在观测时长不超过半个周期的条件下进行，实际中，雷达不能长时间对一个目标进行观测，或者是数据中存在噪声，或数据丢失，因此希望能用越少的数据识别出目标越好，且保证了实时性。
[0091]
实施例二
[0092]
请参考图2，图2为复数坐标注意力模块的组成示意图，在本实施例中，所述复数坐标注意力模块包括：复数坐标注意力嵌入单元和复数坐标注意力生成单元，针对每个通道，所述复数坐标注意力嵌入单元用于将所述通道的第一复输入特征图分别沿着水平和垂直方向进行编码，分别生成所述第一复输入特征图在所述通道沿水平方向编码后的第一输出特征信息和沿垂直方向编码后的第二输出特征信息；
[0093]
针对每个通道，所述复数坐标注意力生成单元用于：将所述第一输出特征信息和所述第二输出特征信息进行拼接，生成所述通道的特征信息拼接结果；将所述通道的所述特征信息拼接结果进行特征降维，获得降维后的特征信息，将降维后的特征信息激活获得所述通道的第一复输出特征图；将所述第一复输出特征图沿空间维度拆分成为第一张量和第二张量；将所述第一张量和所述第二张量维度调整为与所述第一复输入特征图相同的维度，获得水平方向所述通道的第二复输出特征图和垂直方向所述通道的第三复输出特征图；获得第三张量和第四张量，所述第三张量为所有通道的所述第二复输出特征图的集合，所述第四张量为所有通道的所述第三复输出特征图的集合；
[0094]
将所述第三张量和所述第四张量中的每个元素均采用极坐标的形式表示，采用约束函数约束极坐标的幅度，分别获得水平和垂直空间方向的第四复输出特征图和第五复输出特征图，将所述第四复输出特征图和所述第五复输出特征图进行扩展，生成水平和垂直空间方向的注意力权重分布，将所述注意力权重分布作用于所述复数坐标注意力模块的复
输入特征图，获得所述复数坐标注意力模块的复输出特征图；
[0095]
其中，复输入特征图和复输出特征图均为复数形式的特征图。
[0096]
现有技术中简单分离复数实部和虚部或采用实数卷积核的cv
‑
cnn没有发挥出复数卷积核的优点。因此本发明遵守复数计算的规律，根据复数网络基础单元以及实数坐标注意力(real
‑
valuedcoordinateattention,cv
‑
ca,rv
‑
ca)模块进行了详细的公式推导并构建了复数坐标注意力模块(cv
‑
ca模块)。
[0097]
本发明所提出的cv
‑
ca模块包括复数坐标注意力嵌入单元(complex
‑
valued coordinate information embedding,cvcie)与复数坐标注意力生成(complex
‑
valued coordinate attention generation,cvcag)单元。
[0098]
在实际应用中，cv
‑
ca模块的输入可以是任何复数形式的特征信息，本发明以雷达回波信号进行举例介绍，但是本发明中的输入特征信息并不局限于雷达回波信号的特征信息，针对窄带雷达回波数据时h＝1，在实际应用中h的取值可以根据实际情况进行确定，本发明不进行具体的限定。
[0099]
雷达测量的回波信号可表示为：
[0100]
s
t
(n)＝s
th
(n) ν(n)
[0101]
其中，s
th
(n)为理论上雷达回波信号，ν(n)表示由雷达接收机产生的独立同分布的高斯白噪声，n表示脉冲序号。
[0102]
设为复输入特征图，其中表示第p个通道的复输入特征图，为复输出特征图，其中表示第p个通道的复输出特征图，其维度与x的维度相同。
[0103]
通道注意力中通常会采用全局池化编码全局空间信息，但它将全局空间信息压缩为一个通道描述符，因而难以保持位置信息，而位置信息对空间结构的捕获尤为重要。因此，在坐标注意力模块中，将全局池化分解为两个一维特征编码的操作扩展到复数域，对每个通道的复数特征图x分别沿着水平和垂直两个方向进行编码(简称水平和垂直方向为方向
‑
相关)，生成方向
‑
相关复数特征图，从而分别集成两个空间方向上的特征，这一操作用数学描述为：
[0104][0105][0106]
其中，j表示虚数单位，表示复数的实部，表示复数的虚部，h为输入特征图水平方向像素索引，x
p
(h,j)为复输入特征图第p个通道第h行第j列的数值，i为输入特征图垂直方向像素索引，x
p
(i,w)为复输入特征图第p个通道第i行第w列的数值。将x各通道的复数特征图采用上述变换后分别得到两个复张量，其中
其中
[0107]
上述cvcie输出了全局感受野下聚合的精确的空间位置信息。基于cvcie的编码结果，cv
‑
ca模块设计了第二个变换，称之为cvcag。cvcag变换包括三个步骤，分别是：(1)方向
‑
相关特征信息聚合，(2)方向
‑
相关复数特征图分裂，(3)复数坐标注意力自动分配。
[0108]
(1)方向
‑
相关复数特征信息聚合
[0109]
复数拼接。对公式(1)和公式(2)所得的结果进行拼接。设为拼接后的结果，m中的每个张量表示为：
[0110][0111]
其中[
·
,
·
]表示拼接运算。
[0112]
特征降维。利用1
×
1的卷积核对特征通道进行降维，减少参数量，同时还可实现跨通道的信息交互和整合。设为该层共享的1
×
1的复卷积核，其中，表示第k个复卷积核，k＝1,2,
…
,c/r，表示中的第c个1
×
1的复卷积核，表示中的第q个1
×
1的复卷积核，q＝1,2,
…
,c，r表示用于控制卷积输出特征图通道数的缩放比例系数，r表示用于控制卷积输出特征图通道数的缩放比例系数(本发明r＝18，其中，在实际应用中r可以取其他值，本发明实施例不进行具体的限定)，s表示卷积运算的步长，卷积输出的第k个特征图为v
k
(i,j)，其中：
[0113][0114]
f
k
(i,j)＝σ(v
k
(i,j))
ꢀꢀ
(5)
[0115]
其中，m
q
为m中的第q个张量，m
q
(i
·
s,j
·
s)为特征信息拼接后的第q个张量的第i
·
s行、第j
·
s列的数值，v
k
(i,j)表示未经激活的第k个通道的复输出特征图，表示第k个通道的复输出特征图，各通道复特征图的集合记作f
c/r
为第c/r个通道的复输出特征图，σ(
·
)表示复数激活函数；复数激活函数为crelu函数，crelu激活函数为：
[0116][0117]
其中，z为复数变量。
[0118]
(2)方向
‑
相关复数特征图分裂
[0119]
复数特征图分裂。将f沿着空间维度拆分成两个独立的张量和即：
[0120][0121][0122]
其中，
[0123]
特征升维。使用1
×
1的复卷积核将f
h
和f
w
恢复到与输入特征图x相同的维度。设水平方向卷积运算时的1
×
1的复卷积核为其中表示第l个(l＝1,2,
…
,c)复卷积核，表示中的第o个(o＝1,2,
…
,c/r)1
×
1的复卷积核。同理，为垂直方向卷积运算时的1
×
1的复卷积核，其中，表示第l个(l＝1,2,.，.,c)复卷积核，表示中的第q个(l＝1,2,
…
,c)1
×
1的复卷积核，则：
[0124]
使用1
×
1的复卷积核将所述f
h
和所述f
w
恢复到与所述x相同的维度，获得和其中：
[0125][0126][0127]
其中，为水平方向第l个通道的复输出特征图，为垂直方向第l个通道的复输出特征图，为中的第o个1
×
1的复卷积核，o＝1,2,
…
,c/r，为第o个通道在水平方向的复输出特征图，为中的第o个1
×
1的复卷积核，为第o个通道在垂直方向的复输出特征图，表示水平方向第l个通道的第二复输出特征图，v
h
为所有通
道的所述第二复输出特征图的集合，表示垂直方向第l个通道的第三复输出特征图，v
w
为所有通道的所述第三复输出特征图的集合，
[0128]
(3)复数坐标注意力自动分配
[0129]
方向
‑
相关复数注意力权重系数计算。将复特征图张量v
h
和v
w
中的每一个元素(复值)写成极坐标的形式，然后采用sigmoid函数约束极坐标的幅度，将幅度限制在0
‑
1的取值范围内，即：
[0130][0131][0132][0133][0134][0135][0136]
其中，和分别为水平和垂直方向第l个通道的复输出特征图经sigmoid函数约束其幅度后的结果，和分别为水平和垂直方向第l个通道的复输出特征图的相位，和分别为水平和垂直方向第l个通道的复输出特征图的幅度，和分别为水平和垂直方向第l个通道的复输出特征图相位，sig(
·
)表示sigmoid函数，用以将最后的幅度转换成0
‑
1区间的数值，通过sigmoid约束后的结果记为和上述这种仅将极坐标的幅度进行转换到0
‑
1范围的做法并不会对相位产生影响，也就是说相位信息得以保留下来。
[0137]
由于原图像在直角坐标系下，因此将公式(11)和公式(14)转成直角坐标系下的表示有：
[0138]
在直角坐标系下：
[0139][0140][0141]
复数坐标注意力自动分配。对水平和垂直两个空间方向输出的g
h
和g
w
进行扩展，生
成各空间方向的注意力权重分布，并作用于复输入特征图上，实现复数坐标注意力的自动分配。得到复数坐标注意力模块的输出为：
[0142][0143]
其中，x
l
(i,j)为第l个通道复输入特征图第i行、第j列数值。
[0144]
根据上述cv
‑
ca构建过程可以看出，cv
‑
ca一方面利用复数卷积神经网络通过复数实部和虚部关联学习获得目标信号的幅度和相位特征，如雷达回波信号；另一方面通过复数坐标注意力同时关注水平与垂直方向上的空间信息和通道信息，更好地对特征信息的远程依懒关系进行建模，增强目标对象特征表征能力。
[0145]
本发明所提的cv
‑
ca模块包括两部分，第一部分是复数坐标注意力嵌入，第二部分是复数坐标注意力生成。下面详细解释各部分的物理意义。
[0146]
第一部分是复数坐标注意力嵌入。在计算机视觉领域，特征图上的位置信息对于获取空间的结构特征具有重要的影响。由于本发明欲分辨的目标是非常相似的空间锥体目标，本发明认为空间结构信息会有利于目标的分辨识别。因此，为了让本发明所提出的复数坐标注意力模块能够保留位置信息，进而可利用位置信息捕获空间上的长距离依赖关系，本发明将cnn中的全局池化分解为沿水平方向的池化操作和沿垂直方向的池化操作。
[0147]
第二部分是复数坐标注意力生成，该部分分为三个子步骤完成。对于该部分，本发明的总体设计原则有三点：1)模块应尽可能的简单、轻量。2)模块应该充分利用第一部分所获取的空间位置信息。3)模块应当考虑到各通道之间的相互关系，以便发挥通道注意力的优势。
[0148]
方向
‑
相关特征信息聚合。第一部分已经得到了水平方向和垂直方向的空间位置信息。在考虑所设计的模块应尽可能简单、参数量应尽可能少的原则下，本发明首先将水平方向和垂直方向的空间位置信息拼接起来，其目的在于同时保留两个方向的信息。然后，本发明采用1
×
1的卷积核对拼接结果做卷积以进行降维。这样的设计，不但考虑到了通道间的特征信息，同时也减少了参数量。
[0149]
方向
‑
相关复数特征信息分裂。本发明希望水平方向的权重和垂直方向的权重应分别作用于输入特征图的水平方向和垂直方向，并且权重的通道数应与输入特征图的通道数保持一致。故在此，本发明先拆分第一子步骤中同时考虑了空间位置信息和通道信息的权重，得到考虑了通道信息的水平方向的权重和垂直方向的权重。然后，再分别对这两个方向用1
×
1的卷积核对其进行升维。
[0150]
复数注意力自动分配。在上述的操作步骤后本发明得到了同时考虑了空间位置信息和通道信息的复权重，一方面，本发明希望能把复权重的相位信息保留下来，另一方面，权重的幅度被限制在0
‑
1区间。最后，通过将注意力权重分别作用于输入特征向量的各个元素和各个通道，从而实现了本发明所提的复数坐标注意力。既能够对各通道加权，关注重要通道；同时还考虑了空间信息；关注有利于目标识别的区域。
[0151]
并且本实施例中的cv
‑
ca模块能够在保证模型运行效率的情况下，以较少参数的增加获得最佳的特征识别能力，以及cv
‑
ca模块能提高模型的识别能力，降低目标误判概率。
[0152]
实施例三
[0153]
本发明实施例三提供了一种复输入特征图处理方法，请参考图3，图3为复输入特
征图处理方法的流程示意图，所述方法包括：
[0154]
获得待处理复输入特征图；
[0155]
将所述通道的第一复输入特征图分别沿着水平和垂直方向进行编码，分别生成所述第一复输入特征图在所述通道沿水平方向编码后的第一输出特征信息和沿垂直方向编码后的第二输出特征信息；
[0156]
针对每个通道，将所述第一输出特征信息和所述第二输出特征信息进行拼接，生成所述通道的特征信息拼接结果；将所述通道的所述特征信息拼接结果进行特征降维，获得降维后的特征信息，将降维后的特征信息激活获得所述通道的第一复输出特征图；将所述第一复输出特征图沿空间维度拆分成为第一张量和第二张量；将所述第一张量和所述第二张量维度调整为与所述第一复输入特征图相同的维度，获得水平方向所述通道的第二复输出特征图和垂直方向所述通道的第三复输出特征图；获得第三张量和第四张量，所述第三张量为所有通道的所述第二复输出特征图的集合，所述第四张量为所有通道的所述第三复输出特征图的集合；
[0157]
将所述第三张量和所述第四张量中的每个元素均采用极坐标的形式表示，采用约束函数约束极坐标的幅度，分别获得水平和垂直空间方向的第四复输出特征图和第五复输出特征图，将所述第四复输出特征图和所述第五复输出特征图进行扩展，生成水平和垂直空间方向的注意力权重分布，将所述注意力权重分布作用于所述待处理复输入特征图，获得处理后的复输出特征图；
[0158]
其中，复输入特征图和复输出特征图均为复数形式的特征图。
[0159]
其中，利用本方法可以实现复输出特征信息的处理，本方法利用复数卷积神经网络通过复数实部和虚部关联学习获得信号的幅度和相位特征，本方法通过复数坐标注意力同时关注水平与垂直方向上的空间信息和通道信息，更好地对特征信息的远程依懒关系进行建模，增强目标对象特征表征能力，本方法能够在运行效率的情况下，以较少参数的增加获得最佳的特征识别能力，本方法能够提高识别能力，降低目标误判概率。
[0160]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0161]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。