一种面向嵌入式推理设备的异常行为识别方法与流程

1.本技术属于计算机视觉技术领域，尤其涉及一种面向嵌入式推理设备的异常行为识别方法。


背景技术：

2.随着人工智能和计算机技术的发展，异常行为识别技术在军事安防、公共场合安全和智能家居等领域具有重要的经济价值和社会意义，受到了研究人员的广泛关注，近年来已成为了计算机视觉领域的研究热点。视频监控设备在公共场所的普及，从海量监控视频中监测异常行为事件需要大量人力物力，因此如何从海量监控视频提取有用的信息，并对视频中的异常行为识别具有迫切现实需求。
3.异常行为识别是通过检测分析监控视频，定位跟踪前景运动目标，分析目标动作行为序列，结合场景特征对异常行为进行判断。目前，异常行为识别技术存在两种主流实现方式，分别是基于2d卷积神经网络和3d卷积神经网络实现的算法。基于传统2d卷积神经网络实现的算法虽然需要的计算量少、耗时短，但相比3d卷积神经网络实现的异常行为识别算法没有有效利用视频的时序信息识别准确率较低。因此，在面向计算资源有限的国产化嵌入式设备中如何让异常行为识别算法既能保证识别准确率，又能满足实时性的性能要求，具有重要研究意义和应用价值。


技术实现要素：

4.本技术的目的在于提供一种面向嵌入式推理设备的异常行为识别方法，以适用于计算资源有限的国产化嵌入式设备，既能保证识别准确率，又能满足实时性的性能要求。
5.为了实现上述目的，本技术技术方案如下：
6.一种面向嵌入式推理设备的异常行为识别方法，包括：
7.构建并训练异常行为识别网络模型，所述异常行为识别网络模型在卷积神经网络resnet-18每个残差单元中的卷积层前插入时序特征移位模块，将卷积层前的特征图的第一、第二通道沿时间维度向前移动一位，并将第三、第四通道向后移动一位；
8.将待检测视频序列输入到训练好的异常行为识别网络模型，输出识别结果。
9.进一步的，所述将卷积层前的特征图的第一、第二通道沿时间维度向前移动一位，并将第三、第四通道向后移动一位，其中移位后的空缺处补零。
10.进一步的，所述异常行为识别网络模型输出层的全连接层后，设置有加权平均层。
11.进一步的，所述面向嵌入式推理设备的异常行为识别方法，还包括：
12.利用softmax函数对异常行为识别网络模型输出结果进行调整成概率形式，选择拥有最大概率值的标签作为异常行为识别模型的结果。
13.本技术提出的一种面向嵌入式推理设备的异常行为识别方法，针对现有技术方案在面对资源有限的国产化嵌入式设备时，计算复杂度和成本依旧较高的问题。利用时序特征移位模块，在不增加大量硬件计算成本的情况下，建立的异常行为识别网络能够实现对
视频序列连续帧的时域建模，有效利用视频序列的时域上的时序信息，提升了异常行为识别算法的识别准确率。时序特征移位模块通过不同通道移位操作不会增加计算复杂度，保持2d卷积的同时，通过对时域上不同特征图的部分通道的交换，便可以实现类似3d卷积一样学习视频序列的时序信息。本技术技术方案，可以应用于不同国产化嵌入式推理设备上，可移植性高。提升异常行为识别算法的准确率的同时，只增加少量计算复杂度，提高了算法在嵌入式推理设备的识别性能。
附图说明
14.图1为本技术面向嵌入式推理设备的异常行为识别方法流程图；
15.图2为本技术异常行为识别网络模型结构示意图；
16.图3为时序特征移位模块移位示意图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
18.本技术在2d卷积神经网络resnet-18基础上，在每个残差单元中插入时序特征移位模块，时序特征移位模块通过将不同时序上部分通道进行移位，从而保证相邻帧之间的特征信息能够交换，使网络模型训练过程中能够学习到历史和当前的时序信息，弥补传统2d卷积神经网络不能很好利用时域上相邻视频帧之间的时序特征信息的不足，提升算法的识别准确率。同时，通过时序特征移位模块实现的只是特征数据的移位，相比基础网络模型不会带来更多额外的计算量，又维持了2d卷积神经网络检测识别耗时短的特点。
19.如图1所示，本技术一种面向嵌入式推理设备的异常行为识别方法，包括：
20.构建并训练异常行为识别网络模型，所述异常行为识别网络模型在卷积神经网络resnet-18每个残差单元中的卷积层前插入时序特征移位模块，将卷积层前的特征图的第一、第二通道沿时间维度向前移动一位，并将第三、第四通道向后移动一位；
21.将待检测视频序列输入到训练好的异常行为识别网络模型，输出识别结果。
22.本技术在2d卷积神经网络resnet-18基础上，加上时序特征移位模块，使网络能够学习时序特征。构建的异常行为识别网络模型如图2所示，改进后的网络模型特点如下：
23.将时序特征移位模块插入到resnet-18每个残差单元中的卷积层前，促使网络模型每一层特征图沿着时间维度移动部分通道，使不同时间序列的特征信息实现交换。
24.时序特征移位模块通道移位示意图如图3所示，时序特征移位的具体实现是将每个残差单元中输入卷积层前的特征图的第一、第二通道沿时间维度向前移动一位，来模拟历史帧与当前帧特征的交互，并将第三、第四通道向后移动移位，来模拟未来帧与当前帧特征的交互。移位后的空缺处补零，得到的新特征图作为卷积层的输入，后续残差单元进行相同操作来实现不同时间维度特征的信息交互。
25.采用的时序特征移位模块，在利用网络模型进行推理预测时，由于实时视频不存在未来帧，无需进行第三、第四通道的向后移位操作，在每个残差单元只需替换1/4的特征，整个过程是对特征图时序的通道移位，无需增加额外计算量，且在运行网络模型进行推理
时，只需比原始resnet-18网络多消耗1.8mb的内存来缓存移位特征，对于计算内存资源较少嵌入式设备十分友好。
26.为了训练异常行为识别网络模型，采集包含异常行为的视频序列数据，并将数据按照7:2:1的比例分成训练集、验证集、测试集，训练集用于算法模型的训练学习，验证集用于算法训练过程的监测，测试集用于算法模型训练的测试。训练神经网络模型，在本技术领域已经是比较成熟的技术，这里不再赘述。
27.训练时，将多张视频序列图像作为网络的输入r∈(n,c,h,w)，n代表输入视频序列图像的数量，c表示的图像的通道数，h和w分别表示图像的高和宽。使用交叉熵损失函数，对设计实现的网络模型在训练数据集上进行反向传播训练，在网络损失收敛后结束算法模型的训练。
28.在一个具体的实施例中，所述异常行为识别网络模型输出层的全连接层后，设置有加权平均层。
29.异常行为识别网络模型输入为8*224*224*3的8张视频序列图像，网络输出层的全连接层输出为8
×
异常行为识别类别的二维数据，全连接后的加权平均层(图2中mean-weight)对每个类别的8个输出数据进行取平均值操作，得到1
×
异常行为识别类别的一维数据作为网络模型的最终输出。
30.在另一个具体的实施例中，所述面向嵌入式推理设备的异常行为识别方法，还包括：
31.利用softmax函数对异常行为识别网络模型输出结果进行调整成概率形式，选择拥有最大概率值的标签作为异常行为识别模型的结果。
32.在完成训练后，加载训练好的异常行为识别网络模型，将测试集视频序列数据或实时视频数据输入网络模型，利用softmax函数对异常行为识别网络模型输出结果进行调整成概率形式，选择拥有最大概率值的标签作为异常行为识别模型的结果。
33.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。