一种面向智能巡检机器人的轻量化时序步态身份识别方法

本发明涉及计算机视觉、生物特征识别和智能机器人视觉感知，更具体地说，涉及一种面向智能巡检机器人的轻量化时序步态身份识别方法。

背景技术：

1、智能巡检机器人已逐步应用于产业园区、电力场站、化工厂区、仓储区域、口岸和边境等场所。此类机器人通常沿预定路线或自主规划路线执行持续巡逻，通过机载摄像装置感知周边人员、设备和环境。为了实现重点区域人员权限校验、陌生人员预警和目标人员追踪，机器人需要在不要求被识别人员主动配合的情况下完成远距离身份核验。

2、人脸、指纹和虹膜等身份识别方式对成像距离、目标配合程度或采集清晰度有较高要求。步态身份识别通过分析人体行走时具有个体差异的外观轮廓和周期性运动特征进行身份判断，具有非接触、远距离和不易伪装等特点，适合巡检机器人在移动过程中对自然行走人员进行感知。

3、现有基于行人轮廓序列的步态身份识别方法，通常先从视频中检测并跟踪行人，再提取连续的人体轮廓图像，利用神经网络形成步态特征，最后与身份特征库进行比对。为了同时建模空间外观和时间运动信息，部分方法采用3d卷积网络处理连续帧。然而，3d卷积需要在时间、高度和宽度3个维度执行卷积运算，参数量和计算量较大。巡检机器人的计算平台还需同时承担导航、避障、定位、通信和设备状态分析等任务，可分配给身份识别的算力、存储空间和功耗有限，因此较重的3d卷积模型不利于机器人端侧部署。

4、另一类轻量化方法将部分特征通道沿时间维度移动，以较低代价实现相邻帧信息交换。传统时序移位通常只从前一帧或后一帧获取特征。当巡检机器人移动时，机身振动、转向和相机视角变化会造成连续帧中的人体位置偏移；人员相互遮挡、携带物遮挡和前景分割误差还可能使某一帧的局部轮廓突变。若仅把单个相邻帧的特征直接移入当前帧，异常帧中的噪声容易传播到后续特征，且浅层轻量化网络通过多层相邻移位所获得的时间感受范围仍然有限。

5、在形成序列级步态特征时，现有方法常沿时间维度执行最大池化，即针对每个特征位置仅保留整段序列中的最大响应。该方式计算简单，但会直接压缩时间维度，难以同时保留短时微动作、跨多个步态阶段的运动规律和完整序列中的全局结构。当机器人与行人的距离不断变化、行人步速不一致、跟踪时间不同或者只采集到不完整步态周期时，固定长度采样或单一最大池化更容易丢失有效信息。

6、已有野外步态识别方法曾通过多跳时序移位实现多帧交互，但其多分支结构增加了模型复杂度；已有上下文敏感时序学习方法通过注意力机制融合不同时间范围的特征，但随着通道数增加会带来较多参数和计算开销。因而，有必要提出一种适合智能巡检机器人端侧部署的步态身份识别方法，在保持2d卷积骨干网络轻量性的同时，降低异常相邻帧造成的特征扰动，并兼顾局部多尺度运动信息和可变长度序列的全局时序信息。

技术实现思路

1、本发明的目的在于克服现有技术中的缺点与不足，提供一种面向智能巡检机器人的轻量化时序步态身份识别方法；该方法可降低端侧时序建模开销，提高异常帧条件下的稳定性，扩大浅层网络的时间感受范围，兼顾局部多尺度信息与全局结构，适应机器人巡检中的可变长度序列。

2、为了达到上述目的，本发明通过下述技术方案予以实现：一种面向智能巡检机器人的轻量化时序步态身份识别方法，包括如下步骤：

3、s1、步态序列获取：通过智能巡检机器人的摄像装置采集巡检视频，对视频中的行人进行检测、连续跟踪和人体轮廓分割，按照时间顺序形成同一行人的可变长度轮廓图像序列；对轮廓图像进行预处理；

4、s2、轻量化帧级特征提取：将轮廓图像序列输入2d卷积骨干网络，逐帧提取空间特征；在2d卷积骨干网络的残差单元空间卷积之前，设置多帧时序移位模块对连续多帧特征序列采用单向多帧时序移位或双向多帧时序移位，获得帧级特征序列；

5、s3、局部—全局双支路时序聚合：将帧级特征序列输入局部—全局双支路时序聚合模块；局部—全局双支路时序聚合模块包括并行设置的局部多尺度支路和全局查询支路：局部多尺度支路通过级联的逐通道时序卷积形成多个时间感受范围的层级特征，经拼接、通道融合、时序最大池化和水平分区处理后形成局部多尺度特征；全局查询支路通过多个可学习时序查询对可变长度序列的有效帧进行加权汇聚，形成固定长度且与帧级特征序列长度无关的全局时序特征；

6、s4、步态特征融合：将局部多尺度特征与全局时序特征按照通道维度拼接，形成步态身份特征；

7、s5、身份匹配：将待识别行人的步态身份特征与预先存储的注册人员步态特征进行距离计算或相似度计算，依据预设阈值输出识别结果。

8、优选地，所述步骤s2中，设多帧时序移位模块的输入特征序列为：；其中， 为序列帧数， 为通道数， 和  分别为特征图高度和宽度；

9、所述多帧时序移位模块采用如下两种方式之一：

10、方式一、采用单向多帧时序移位：设参与平均的历史帧数量为 ，参与时序交换的通道比例为 ；将当前帧前  个通道替换为个历史帧对应通道的平均特征，其余通道保持当前帧特征不变；对于第  帧，多帧时序移位模块输出的特征为：

11、；

12、方式二、采用双向多帧时序移位：将一部分通道替换为个历史帧的平均特征，将另一部分通道替换为个后续帧的平均特征，其余通道保持不变；对于第  帧，多帧时序移位模块输出的特征为：

13、。

14、优选地，所述步骤s3中，设输入局部—全局双支路时序聚合模块的帧级特征序列为；其中，为批量大小， 为序列帧数， 为通道数， 和  分别为特征图高度和宽度；

15、所述局部多尺度支路包括如下步骤：

16、将帧级特征序列为沿通道维度平均划分为保留特征  和待变换特征 ；保留特征不进行级联时序卷积，用于维持原始空间特征；待变换特征依次通过  层轻量化时序变换；计算第  层时序变换表示；并递归计算各层时序变换的输出；

17、将保留特征、初始待变换特征以及时序变换的各层输出沿通道维度拼接：

18、；

19、再通过卷积进行通道融合，并依次进行批量归一化和线性整流激活；随后沿时间维度执行最大池化，获得序列级局部多尺度特征；局部多尺度特征沿人体高度方向进行水平分区汇聚，以分别保留头肩、躯干、手臂和腿部区域的辨识信息。

20、优选地，所述第  层时序变换表示为：

21、；

22、所述各层时序变换的输出为：

23、；

24、第  层时序变换输出对应的有效时间感受范围为：

25、。

26、优选地，所述轻量化时序变换层数 。

27、优选地，所述步骤s3中，所述全局查询支路包括如下步骤：

28、使用卷积将帧级特征序列的通道数由  压缩至 ，再沿特征图宽度方向池化，保留  个水平人体分区，得到特征；

29、将特征重排为特征，使每个人体水平分区独立进行时序汇聚；设置  个可学习时序查询；

30、通过线性映射得到键特征和值特征；沿时间维度计算归一化权重；利用归一化权重对值特征进行加权求和，得到特征；将特征  重排为 的固定维度特征。

31、优选地，所述键特征和值特征分别为：

32、；；

33、其中， 和  为可训练映射矩阵；

34、所述归一化权重为：

35、

36、其中， 为温度参数；

37、所述特征为：

38、。

39、优选地，所述通道数 ；可学习时序查询的数量；水平人体分区数量。

40、一种可读存储介质，中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行所述的面向智能巡检机器人的轻量化时序步态身份识别方法。

41、一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现所述的面向智能巡检机器人的轻量化时序步态身份识别方法。

42、与现有技术相比，本发明具有如下优点与有益效果：

43、1、降低端侧时序建模开销：多帧时序移位模块通过数据移动、均值计算和通道拼接实现跨帧交互，不为2d卷积骨干网络增加卷积参数；局部多尺度支路仅使用沿时间方向的逐通道卷积，避免在全部通道上执行完整3d卷积。因此，本发明适合与导航、避障等任务共享机器人端侧计算资源。

44、2、提高异常帧条件下的稳定性：相比直接移入单一相邻帧特征，本发明对多个连续帧的对应通道求平均后再移位，使遮挡、轮廓缺失、机身抖动或视角偏移造成的单帧突变在平均过程中得到抑制，从而减少噪声跨帧传播。

45、3、扩大浅层网络的时间感受范围：多帧移位直接引入跨多个帧的信息；局部多尺度支路通过4层级联时序卷积形成3帧、5帧、7帧和9帧感受范围，使较浅的2d卷积网络也能提取连续微动作和跨阶段运动规律。

46、4、兼顾局部多尺度信息与全局结构：局部多尺度支路保留显著的局部运动响应，全局查询支路把可变长度序列转化为多个结构化时序表征。两支路在统一模块内互补，避免单一最大池化仅保留峰值响应造成的信息损失。

47、5、适应机器人巡检中的可变长度序列：全局查询支路的输出维度由查询数量决定而不由输入帧数决定，可适应机器人与行人的相对距离、跟踪时长和步速变化，便于后续采用固定维度特征进行身份库检索。