基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质

1.本发明实施例涉及生物雷达探测技术领域，尤其涉及一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质。


背景技术：

2.生物雷达是一种融合生物医学工程、雷达等技术并用于生命目标探测和识别的特殊形式雷达。该技术主要以人体为探测目标，以雷达发射的电磁波为载体，穿透衣物、木板等非金属障碍实现对人体行为运动(如步态检测、跌倒检测)的穿透探测与识别，在智能家居、智慧安防、医疗健康等领域具有重要价值。
3.现有的常规生物雷达人体行为识别方案，主要针对自由空间条件下的雷达视线方向径向人体行为，利用单视角雷达微多普勒特征结合机器学习方法进行探测识别。而现实应用中，人体目标所处位置多变、行为发生朝向多变，此时现行常规的单视角生物雷达感知方案由于视角单一局限、易受干扰影响，导致应用场景严重受限，进而导致识别准确率较低。


技术实现要素：

4.有鉴于此，本发明实施例期望提供一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质；能够提高任意朝向人体行为的识别准确率。
5.本发明实施例的技术方案是这样实现的：
6.第一方面，本发明实施例提供了一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法，所述方法包括：
7.针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
8.基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
9.针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
10.将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
11.将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
12.第二方面，本发明实施例提供了一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置，所述装置包括：时频分析部分、特征提取部分、注意力校准部分、聚合编码部分和目标识别部分；其中，
13.所述时频分析部分，经配置为针对接收天线阵列所接收到的各视角通道对应的接
收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
14.所述特征提取部分，经配置为基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
15.所述注意力校准部分，经配置为针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
16.所述聚合编码部分，经配置为：将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
17.所述目标识别部分，经配置为将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
18.第三方面，本发明实施例提供了一种计算设备，所述计算设备包括：通信接口，存储器和处理器；各个组件通过总线系统耦合在一起；其中，
19.所述通信接口，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
20.所述存储器，用于存储能够在所述处理器上运行的计算机程序；
21.所述处理器，用于在运行所述计算机程序时，执行第一方面所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
22.第四方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于注意力多视角学习网络的多基雷达人体行为融合识别程序，所述基于注意力多视角学习网络的多基雷达人体行为融合识别程序被至少一个处理器执行时实现第一方面所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
23.本发明实施例提供了一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质；利用通道注意力和空间注意力，自适应感受mv-mds信息在视角空间和特征空间两个关键层面的差异性，并根据注意力进行多视角特征优化聚合，聚焦于优势通道(或特征区域)，有效抑制劣质通道(或噪声杂波干扰区域)影响，可有效提升行为识别能力。
附图说明
24.图1为能够适用于本发明实施例技术方案的示例性应用场景示意图；
25.图2为本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法流程示意图；
26.图3为本发明实施例提供的一种生成mv-mds谱的过程示意图；
27.图4为本发明实施例提供的一种实测场景示意图；
28.图5为本发明实施例提供的各视角通道对应的原始接收信号示意图；
29.图6为本发明实施例提供的各视角通道对应的mv-mds谱；
30.图7为本发明实施例提供的种基于注意力多视角学习网络的多基雷达人体行为融合识别方法的具体实施流程示意图；
31.图8为本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置组成示意图；
32.图9为本发明实施例提供的另一种基于注意力多视角学习网络的多基雷达人体行
为融合识别装置组成示意图；
33.图10为本发明实施例提供的一种计算设备的具体硬件结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
35.对于现行常规的单视角生物雷达感知方案所存在的视角单一局限、易受干扰影响，导致应用场景严重受限的问题，可以利用多基生物雷达融合感知目标行为的多视角微多普勒特征(mv-mds)谱信息进行解决。然而，由于人体目标的各向异性和探测视角差异，mv-mds谱信息在两个关键层面存在显著差异性，并且将分别对行为融合识别效果产生关键性影响，限制融合识别水平：其一，在视角通道间，即“视角空间”，差异性mv-mds信息(包含极端劣质或无效通道)对行为的表征能力强弱不同，对融合识别结果的贡献度和重要性必然不同；其二，在任意视角的特征谱图中，即“特征空间”，不同身体部件运动及噪声杂波信息的时空分布与mv-mds谱的区域分布也具有相互对应关系，即特征谱不同区域对行为识别结果的重要性也强弱有异。
36.因此，若在视角信息融合时，未能综合考虑上述因素，优势视角通道(或有效特征区域)未能得到聚焦，劣质视角通道(或噪声杂波区域)未能得到抑制，必然严重恶化整体特征信息，限制行为识别水平。因此，在利用视角信息融合进行人体目标识别过程中，需要考虑以上两个关键层面的差异性，从而实现任意朝向人体行为的高效识别。
37.基于此，参见图1，其示出了能够适用于本发明实施例技术方案的示例性应用场景，在该场景中，多基生物雷达系统11优选为多输入多输出(mimo)雷达系统，包括发射天线阵列12和接收天线阵列13，在图1所示的示例中，发射天线阵列12包括n
t
个发射天线，如图1中的黑色圆点所示，分别标识为12-1、12-2
……
12-n
t
，接收天线阵列13包括nr个接收天线，如图1中的空心圆点所示，分别标识为13-1、13-2
……
13-nr，识别目标人体14处于墙壁15之后，也就是说识别目标人体14处于隐蔽空间内。综合发射天线阵列12的各发射天线相对于识别目标人体14的发射方向(如实线箭头所示)以及接收天线阵列13的各接收天线相对于识别目标人体14的接收方向(如虚线箭头所示)，形成了k＝n
t
×
nr个视角通道，也就是说一个发射天线的发射方向与一个接收天线的接收方向共同形成一个视角通道。由于在mimo雷达系统中，各发射天线的发射信号之间是正交的，所以每个接收天线所接收到的原始接收信号可以基于发射信号之间的正交性进行区分，从而获得n
t
个视角通道。基于图1所示的场景，参见图2，其示出了本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别方法，所述方法包括：
38.s201：针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
39.s202：基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
40.s203：针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
41.s204：将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得
人体行为的多视角微多普勒特征的全局描述子；
42.s205：将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
43.图2所述的技术方案，利用通道注意力和空间注意力，自适应感受mv-mds信息在视角空间和特征空间两个关键层面的差异性，并根据注意力进行多视角特征优化聚合，聚焦于优势通道(或特征区域)，有效抑制劣质通道(或噪声杂波干扰区域)影响，可有效提升行为识别能力。
44.对于图2所示的技术方案，在一些可能的实现方式中，所述针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱，包括：
45.基于每个接收天线接收的原始接收信号获取各视角通道对应的接收信号；
46.针对所述各视角通道对应的接收信号进行减平均操作以去除静态背景反射回来的直达波后，通过低通滤波器进行低通滤波，得到各视角通道对应的预处理后的接收信号；
47.对所述每个视角通道对应的预处理后的接收信号中处于有效运动特征距离范围内的信号进行短时傅里叶变换(stft，short time fourier transform,stft)，获得每个视角通道对应的时间-频率微多普勒(mv-mds)谱。
48.需要说明的是，在本发明实施例中，时间-频率微多普勒(mv-mds)谱能够提供时间域与频率域的联合分布信息，可以理解的，原始接收信号中包含的信息包括时间维度、频率维度和距离维度，而mv-mds谱是沿着距离方向累加原始接收信号，从而获得了只有时间维度和频率维度信息的图像。而mv-mds谱则表示了信号功率随着频率的变化关系，即信号功率在频域的分布状况；时频功率谱可以由时频谱进行快速傅里叶变换以及积分得到，可以理解的，时频功率谱为三维图像，三个维度分别为时间，频率以及功率。
49.基于此，对于上述实现方式，具体来说，每个接收天线所接收到的原始接收信号可以根据发射信号的正交性进行区分，使得从每个接收天线所接收到的原始接收信号中均获得n
t
个视角通道的视角接收信号，总共可获得k个视角通道对应的接收信号r＝{r1,..rk,
…
,rk}。这些信号在进行后续处理过程之前，需要进行上述实现方式所述的预处理过程，经过预处理过程之后，强烈的背景杂波和噪声干扰已经较好的被滤除，预处理后的信号。对于预处理后的接收信号，可以提取其中有效运动特征距离范围内的信号之后，利用stft进行综合距离累积时频变换，获得人体运动的mv-mds谱。举例来说，对于第k个视角通道对应的接收信号，对其按照上述内容进行预处理以及综合时频分析后，可以获得其对应的mv-mds谱的过程如图3所示，那么对于k个视角通道对应的接收信号r＝{r1,..rk,
…
,rk}来说，所有视角通道对应的mv-mds谱为sp＝{sp1,..spk,
…
,spk}。
50.结合图1所示的场景，本发明实施例的实测场景如图4所示，多基生物雷达系统11为mimo uwb生物雷达系统，发射天线的数量n
t
为2，接收天线的数量nr为4，因此就形成了n＝2
×
4＝8个视角通道，2个发射天线分别标识为：t1和t2；4个接收天线分别标识为：r1、r2、r3、r4。由于一个发射天线-接收天线对形成一个视角通道，那么，上述8个视角通道分别标识为c1(t1，r1)、c2(t1，r2)、c3(t1，r3)、c4(t1，r4)、c5(t2，r1)、c6(t2，r2)、c7(t2，r3)和c8(t2，r4)。发射天线的发射波为步进频连续波(sfcw，steeped frequency continuous wave)，频率范围为0.5ghz至2.548ghz；步进频率为16mhz；脉冲重复间隔为2.5ns，以上仿真
参数的设置能够提供足够高的采样频率，从而能够抓捕到人体运动的瞬时微动信息。以人体识别目标的原地踏步动作为例，8个视角通道各自的原始接收信号如图5所示，对其按照上述实现方式进行预处理及时频分析，获得的8个视角通道各自对应的mv-mds谱如图6所示。
51.对于图2所示的技术方案，在一些可能的实现方式中，所述基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征，包括：
52.将多个具有相同结构且与视角通道对应的第一深度卷积神经网络作为前置多视角特征提取网络，并将每个视角通道对应的时间-频率微多普勒谱输入至对应的第一深度卷积神经网络，得到每个视角通道对应的初级特征f。
53.对于上述实现方式，具体来说，获得k个视角通道对应的时间-频率微多普勒谱(mv-mds谱)之后，将各自视角通道对应的mv-mds谱分别输入至具有相同结构的第一深度卷积神经网络dcnn1进行特征提取，从而分别获得k个时间通道各自所对应的且能够作为本发明实施例后续处理输入的初级特征f＝{f1,f2,
…
,fk,
…
,fk},∈r
k*h*w
；其中，fk表示第k个视角通道对应的初级特征；
54.对于图2所示的技术方案，在一些可能的实现方式中，所述针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征，包括：
55.针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征；
56.针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征。
57.对于上述实现方式，需要说明的是，一方面，各视角通道之间的mv-mds谱信息对于识别目标的表征能力强弱不同，对融合识别结果的贡献度和重要性必然不同。因此，需要更加聚焦于表征能力强的优势时间通道，抑制表征能力弱的劣质试驾通道。另一方面，不同身体部件运动及噪声杂波信息的时空分布与mv-mds谱的区域分布也具有相互对应的关系，即特征谱的不同区域对行为识别结果的重要性也强弱有异；因此，也需要更加聚焦于有效特征区域，抑制噪声杂波区域。基于此，在获得各视角通道对应的初级特征之后，就需要基于以上两个方面对初级特征进行权重校准，从而有效提升目标识别能力。
58.基于此，对于上述实现方式，在一些示例中，所述针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征，包括：
59.将所述初级特征分别通过平均池化和最大池化操作聚合特征信息，生成对应的空间上下文描述符；
60.根据所述空间上下文描述符通过同一共享网络生成各视角通道对应的通道注意力权重；
61.根据所述各视角通道对应的通道注意力权重对各视角通道对应的初级特征进行权重校准，获得各视角通道对应的中间特征。
62.对于上述示例，需要说明的是，通道注意力主要用于聚焦在“哪个”视角通道是有意义的输入视角通道特征谱。在上层的视角通道水平，可以显式地对各视角通道之间的相
互依存关系进行建模，生成通道注意力权重从而能够自适应确定需要重点关注并增强或者抑制的视角通道，即根据注意力权重对初级特征依照下式进行权重校准，从而得到中间特征：
[0063][0064]
其中表示逐个元素相乘。
[0065]
具体来说，对于各视角通道之间的相互依存关系进行建模可以得到通道注意力相关的网络结构；在该结构中，作为输入特征的f，可以分别经过平均池化(avg-pooling)和最大池化(max-pooling)操作来聚合特征信息，生成两个不同的空间上下文描述符和接着在同一个共享网络，产生通道注意力权重具体来说，在将共享网络应用于每个描述符之后，可以使用逐元素求和合并输出特征向量，计算通道注意力可以如下式所示：
[0066][0067]
其中，σ是sigmoid函数，w1和w0是多层感知机的权重。
[0068]
可以理解地，通过上述示例对初级特征进行通道注意力权重校准，并生成中间特征之后，接着就可以针对中间特征进行空间注意力校准。基于此，对于上述实现方式，在一些示例中，所述针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征，包括：
[0069]
对于所述中间特征，根据人体目标相应结构所处的空间位置所对应的特征区域生成空间注意力权重；
[0070]
根据所述空间注意力权重对所述中间特征进行权重校准，获得所述各视角通道对应的校准后的输出特征。
[0071]
对于上述示例，需要说明的是，空间注意力聚焦在“哪里”是最具信息量的部分，是对通道注意力的补充。在底层且能够具体表现行为特征和空间信息(对应人体目标肢体部件)的mv-mds谱水平，可以在保留空间位置信息的基础上提取空间注意力矩阵ms(f)，以定位出特征谱中重要特征区域对应人体目标相应结构所处的空间位置，并根据注意力权重对中间特征f
′
的重点特征区域进行聚焦和增强，基于下式获得校准后的输出特征：
[0072][0073]
具体来说，对于中间特征f
′
，可以通过与前述示例中相同的两个池化操作来聚合功能映射的通道信息，生成两个2维映射，即和随后，通过标准的卷积层连接和卷积成为一个描述符，产生2d空间注意力如下式所示：
[0074][0075]
其中，σ是sigmoid函数，f
7*7
表示7*7卷积操作。
[0076]
综合以上两个示例，初级特征f，经过通道注意力权重和空间注意力权重校准后，所提取得到的多视图特征能够更加聚焦(或增强)于重要视角通道及谱图中重要特征区域，而劣质通道及谱图中与特征无关的区域将受到抑制(或忽略)，从而使得校准后的输出特征同样是多视角优化后的增强特征
[0077]
对于图2所示的技术方案，在一些可能的实现方式中，所述将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子，包括：
[0078]
利用双向门控循环单元(bi-gru，bi
–
directional gated recurrent unit)网络，对所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子
[0079]
基于上述实现方式，需要说明的是，在获得人体行为多视角微多普勒特征的全局描述子之后，就可以将该全局描述子输入至已训练完毕的第二深度卷积神经网络dcnn2进行识别以获得识别结果。
[0080]
具体来说，由于人体运动多视角特征谱信息在时间轴上存在前后时刻的强关联性；因此，在多视角特征聚合时，拟采用bi-gru网络让数据从正反两个方向同时输入，使每一时刻的信息都包含前后时刻的序列信息，即网络在某个特定时刻的编码信息更加丰富且考虑了前后时刻的变化与关联，从而使得在后续解码预测过程中，使预测的动作更加准确。经过bi-gru时序层聚合编码后，所得到的全局描述子具有更加紧凑且包含更丰富、完备信息的融合特征。
[0081]
对于图2所示的技术方案，在一些可能的实现方式中，所述将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果，包括：
[0082]
将所述全局描述子输入至已训练完毕的基于深度卷积神经网络的行为识别后端网络进行识别，获得输入行为的类别预测概率向量；
[0083]
将最终所获得的行为融合识别的类别预测概率向量结果ρω中，概率最大值对应的行为种类确定为融合识别的预测行为。
[0084]
对于上述实现方式及示例，在本发明实施例中，第一深度卷积神经网络、通道注意力相关的网络结构、空间注意力相关的网络结构、bi-gru网络和第二深度卷积神经网络可以统一为基于注意力多视角学习网络的人体行为mv-mds融合识别模型。在一些可能的实现方式中，对于该识别模型，在执行前述技术方案之间，所述方法还包括：
[0085]
利用已有的人体行为mv-mds谱数据库和标签序列，通过有监督学习策略对所述融合识别模型进行学习训练和参数优化，获得所述融合识别模型内各网络结构中的参数。
[0086]
对于上述实现方式，可以利用一定数量的已知的各类人体行为mv-mds谱特征数据u
行为
和相应标签序列lab
行为
分别作为融合识别模型的输入和预设输出；接着，通过有监督学习对该融合识别模型学习训练和参数优化；其中，特征数据库u
行为
包含不同行为、不同个体、不同年龄、不同性别的数据，以保证特征数据库和训练所得模型的鲁棒性；而相应标签序列lab
行为
仅以不同行为类别作为标记对象，以指导融合识别模型的有监督学习训练。通过完成上述学习过程，该融合识别模型才能够应用于前述技术方案的实施。
[0087]
具体来说，如图7所示的基于注意力多视角学习网络的人体行为mv-mds融合识别
模型的示例性具体实施流程，通过多基雷达接收到人体识别目标的回波后，获得各视角通道对应的接收信号；将各视角通道对应的接收信号进行预处理并生成对应的mv-mds谱之后，通过多个dcnn1分别对各视角通道的mv-mds谱的特征进行提取，从而获得每个视角通道各自对应的初级特征，f＝{f1,f2,
…
,fk,
…
,fk},∈r
k*h*w
；接着对于每个视角通道各自对应的初级特征f，依次通过由视角通道注意力相关的网络结构组成的视角注意力模块以及由空间注意力相关的网络结构组成的空间注意力模块进行权重校准，从而生成校准后的输出特征；然后，将校准后的输出特征通过bi-gru网络在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子最后将该全局描述子输入至已训练完毕的第二深度卷积神经网络dcnn2进行识别以获得识别结果，即图7中所示出的基于行为的多视角融合感知结果。
[0088]
详细来说，对于多视图的人体行为识别，首先针对每个视角使用改进resnet34网络分别进行特征提取。相较于常规方案所采用的resnet34网络，本发明实施例将全连接层去除，仅保留该网络对输入的特征提取功能，举例来说，对于输入为512*512的人体行为时频谱图，经过网络特征提取之后得到256*256的特征图。考虑到每个视角所蕴含的有效信息不同，本发明实施例将得到的特征图作为输入，经过通道注意力机制对其每个视角的权重进行分配。针对每个特征图空间上的信息分布，采用空间注意力机制对其空间信息进行权重分配，并利用7*7的卷积核对特征图的图像进行卷积操作，将卷积后的信息与完整的特征图进行相乘，从而分配特征图空间权重。最终利用bi-gru网络来对其进行识别，也就是说，特征图经过通道注意力机制和空间注意力机制之后为256*256的矩阵形式，将该矩阵输入至bi-gru并利用其全连接层得到一组一维的特征信息，最后通过softmax层得到其类别。
[0089]
基于前述技术方案相同的发明构思，参见图8，其示出了本发明实施例提供的一种基于注意力多视角学习网络的多基雷达人体行为融合识别装置80，所述装置80包括：时频分析部分801、特征提取部分802、注意力校准部分803、聚合编码部分804和目标识别部分805；其中，
[0090]
所述时频分析部分801，经配置为针对接收天线阵列所接收到的各视角通道对应的接收信号进行时频分析，获取各视角通道对应的时间-频率微多普勒谱；
[0091]
所述特征提取部分802，经配置为基于预设的第一深度卷积神经网络对每个视角通道对应的时间-频率微多普勒谱进行特征提取，获取各视角通道对应的初级特征；
[0092]
所述注意力校准部分803，经配置为针对所述初级特征依次经过各视角通道的通道注意力权重和空间注意力权重进行权重校准，获得各视角通道对应的校准后的输出特征；
[0093]
所述聚合编码部分804，经配置为将所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为的多视角微多普勒特征的全局描述子；
[0094]
所述目标识别部分805，经配置为将所述全局描述子输入至训练完毕的第二深度卷积神经网络进行目标识别，获取识别结果。
[0095]
对于图8所示的装置，在一些示例中，所述时频分析部分801，经配置为：
[0096]
基于每个接收天线接收的原始接收信号获取各视角通道对应的接收信号；
[0097]
针对所述各视角通道对应的接收信号进行减平均操作以去除静态背景反射回来的直达波后，通过低通滤波器进行低通滤波，得到各视角通道对应的预处理后的接收信号；
[0098]
对所述每个视角通道对应的预处理后的接收信号中处于有效运动特征距离范围内的信号进行stft，获得每个视角通道对应的时间-频率微多普勒(mv-mds)谱。
[0099]
对于图8所示的装置，在一些示例中，所述特征提取部分802，经配置为：
[0100]
将多个具有相同结构且与视角通道对应的第一深度卷积神经网络作为前置多视角特征提取网络，并将每个视角通道对应的时间-频率微多普勒谱输入至对应的第一深度卷积神经网络，得到每个视角通道对应的初级特征f。
[0101]
对于图8所示的装置，在一些示例中，参见图9，所述注意力校准部分803，包括视角通道注意力校准单元8031和空间注意力校准单元8032；其中，
[0102]
所述视角通道注意力校准单元8031，经配置为针对所述初级特征，基于各视角通道之间的相互依存关系所生成的通道注意力权重进行权重校准，获得中间特征；
[0103]
所述空间注意力校准单元8032，经配置为针对所述中间特征，基于空间注意力权重进行权重校准，获得所述各视角通道对应的校准后的输出特征。
[0104]
对于图8所示的装置，在一些示例中，所述视角通道注意力校准单元8031，经配置为：
[0105]
将所述初级特征分别通过平均池化和最大池化操作聚合特征信息，生成对应的空间上下文描述符；
[0106]
根据所述空间上下文描述符通过同一共享网络生成各视角通道对应的通道注意力权重；
[0107]
根据所述各视角通道对应的通道注意力权重对各视角通道对应的初级特征进行权重校准，获得各视角通道对应的中间特征。
[0108]
对于图8所示的装置，在一些示例中，所述空间注意力校准单元8032，经配置为：
[0109]
对于所述中间特征，根据人体目标相应结构所处的空间位置所对应的特征区域生成空间注意力权重；
[0110]
根据所述空间注意力权重对所述中间特征进行权重校准，获得所述各视角通道对应的校准后的输出特征。
[0111]
对于图8所示的装置，在一些示例中，所述聚合编码部分804，经配置为：
[0112]
利用双向门控循环单元bi-gru网络，对所述各视角通道对应的校准后的输出特征在时序层进行聚合编码，获得人体行为多视角微多普勒特征的全局描述子
[0113]
对于图8所示的装置，在一些示例中，所述目标识别部分805，经配置为：
[0114]
将所述全局描述子输入至已训练完毕的基于深度卷积神经网络的行为识别后端网络进行识别，获得输入行为的类别预测概率向量；
[0115]
将最终所获得的行为融合识别的类别预测概率向量结果ρ
ω
中，概率最大值对应的行为种类确定为融合识别的预测行为。
[0116]
对于图8所示的装置，在一些示例中，所述第一深度卷积神经网络、所述通道注意力相关的网络结构、所述空间注意力相关的网络结构、所述bi-gru网络和所述第二深度卷积神经网络统一为基于注意力多视角学习网络的人体行为mv-mds融合识别模型；相应地，参见图9，所述装置80还包括：学习部分806，经配置为利用已有的人体行为mv-mds谱数据库和标签序列，通过有监督学习策略对所述融合识别模型进行学习训练和参数优化，获得所述融合识别模型内各网络结构中的参数。
[0117]
可以理解地，在本实施例中，“部分”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是单元，还可以是模块也可以是非模块化的。
[0118]
另外，在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0119]
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0120]
因此，本实施例提供了一种计算机存储介质，所述计算机存储介质存储有基于注意力多视角学习网络的多基雷达人体行为融合识别程序，所述基于注意力多视角学习网络的多基雷达人体行为融合识别程序被至少一个处理器执行时实现上述技术方案中所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
[0121]
根据上述基于注意力多视角学习网络的多基雷达人体行为融合识别装置80以及计算机存储介质，参见图10，其示出了本发明实施例提供的一种能够实施上述基于注意力多视角学习网络的多基雷达人体行为融合识别装置80的计算设备100的具体硬件结构，该计算设备100可以为无线装置、移动或蜂窝电话(包含所谓的智能电话)、个人数字助理(pda)、视频游戏控制台(包含视频显示器、移动视频游戏装置、移动视频会议单元)、膝上型计算机、桌上型计算机、电视机顶盒、平板计算装置、电子书阅读器、固定或移动媒体播放器，等。计算设备100包括：通信接口1001，存储器1002和处理器1003；各个组件通过总线系统1004耦合在一起。可理解，总线系统1004用于实现这些组件之间的连接通信。总线系统1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统1004。其中，
[0122]
所述通信接口1001，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
[0123]
所述存储器1002，用于存储能够在所述处理器1003上运行的计算机程序；
[0124]
所述处理器1003，用于在运行所述计算机程序时，执行上述技术方案中所述基于注意力多视角学习网络的多基雷达人体行为融合识别方法步骤。
[0125]
可以理解，本发明实施例中的存储器1002可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取
存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本文描述的系统和方法的存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
[0126]
而处理器1003可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002，处理器1003读取存储器1002中的信息，结合其硬件完成上述方法的步骤。
[0127]
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dsp device，dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field-programmable gate array，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
[0128]
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0129]
可以理解地，上述基于注意力多视角学习网络的多基雷达人体行为融合识别装置80以及计算设备100的示例性技术方案，与前述基于注意力多视角学习网络的多基雷达人体行为融合识别方法的技术方案属于同一构思，因此，上述对于基于注意力多视角学习网络的多基雷达人体行为融合识别装置80以及计算设备100的技术方案未详细描述的细节内容，均可以参见前述基于注意力多视角学习网络的多基雷达人体行为融合识别方法的技术方案的描述。本发明实施例对此不做赘述。
[0130]
需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0131]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。