基于HMM的化工园区异常行为检测方法及系统、装置与流程

基于hmm的化工园区异常行为检测方法及系统、装置
技术领域
1.本发明涉及人体行为检测技术领域，具体而言，涉及一种基于hmm的化工园区异常行为检测方法及系统、装置。


背景技术：

2.近年来，随着信息化网络化技术水平的发展，视觉处理技术逐渐普及到人们的日常工作生活场景中。视觉处理系统是人类用以观测和感知外界的主要工具。当今社会，伴随着计算机处理能力不断地提高，工程师们希望计算机代替人类的双眼和大脑能够像人一样对外界事物、客观世界进行认知、观察以及交互，这便要求计算机具有人类视觉处理系统的几乎所有的能力。由于计算机硬件处理能力不断提高，同时计算机视觉技术也在突飞猛进地发展，这一期望更接近变成现实。计算机视觉技术研究的主要内容是，如何利用计算机视觉技术解决以人为中心的相关问题，包括人体检测与跟踪、人脸识别、人体运动分析等。
3.在化工园区运动人体行为识别的训练过程中，训练样本通常是在有限制条件的实验条件下采集的，但是，当在现实场景中使用相同方案进行的行为识别时，由于受光照、噪声等环境因素的影响，训练样本不能很好地贴近现实环境，因此行为识别的准确程度以及算法稳健程度会有所下降。除此之外，算法的快速性也受人体运动的复杂程度、特征信息预处理复杂程度所影响。


技术实现要素：

4.鉴于此，本发明的目的在于提高运动人体行为识别检测的准确性、鲁棒性、快速性，提高系统性能并降低系统的计算代价。
5.本发明将三维人体旋转信息进行拓展运用到异常行为识别中，使用关节角作为特征参数，结合hmm隐马尔可夫链模型算法，实现了对视频中的连续运动人体行为进行异常识别。
6.本发明提供一种基于hmm的化工园区异常行为检测方法，包括以下步骤：
7.s1、将视频中人体运动行为信息进行检测、区分以及跟踪；
8.s2、选取人体步态姿势的观测状态序列，提取运动特征向量作为训练样本，使用训练样本的参数训练hmm模型的关节四元数数据；
9.优选地，通过baum-welch算法对hmm模型进行训练，对每一种运动行为确定一组经过优化的hmm参数，训练过程中首先对hmm模型中的参数进行初始化，然后利用baum-welch算法重新估计hmm模型中的参数，当观测状态序列相对于hmm模型的输出概率变化不再明显时停止迭代；
10.s3、计算找出最有可能产生测试序列的最优的隐藏状态序列，用于识别测试样本的异常行为信息。
11.具体地测试样本与训练样本的训练人员完全独立；
12.具体地，将异常行为的场景设定为重点监控区域以及警戒线附近，参见图7所示，
将正常的人体运动行为固定为正常的走路或跑步，与此对应的异常行为设定为跳跃、下蹲等在警戒区范围内不合理或不常见的人体动作行为；
13.优选地，使用viterb算法，通过测试序列以及训练得到的hmm模型，对测试序列的隐藏状态做出最佳估计，进而得到异常行为帧；
14.将三维人体旋转信息进行拓展作为参数，使用基于四元数的参数化时间序列并利用最简便的支持向量机的方式进行两种相近运动姿态的识别；
15.凭借支持向量机算法在二值分类问题上的完美表现以及关节四元数对人体运动行为的精简、准确的表达，利用关节四元数作为特征对走、跑这两个简单运动行为进行识别，平均准确率高达98％以上。
16.进一步地，所述s3步骤之后还包括：对测试的运动人体行为信息进行数据收集。
17.进一步地，所述s2步骤的所述提取运动特征向量的方法包括：对从视频中提取出来的人体运动行为信息的底层特征数据信息进行整理归类，转化为有效的特征向量后依据分类算法将不同模式划分成不同的类别。
18.本发明还提供一种基于hmm的化工园区异常行为检测系统，执行如上述所述的化工园区异常行为检测方法，包括：
19.检测跟踪模块：用于将视频中人体运动行为信息进行检测、区分以及跟踪；
20.学习训练模块：选取人体步态姿势的观测状态序列，提取运动特征向量作为训练样本，使用训练样本的参数训练hmm模型的关节四元数数据；
21.测试识别模块：计算找出最有可能产生测试序列的最优的隐藏状态序列，用于识别测试样本的异常行为信息。
22.本发明还提供一种基于hmm的化工园区异常行为检测装置，使用如上述所述的化工园区异常行为检测方法，以及如上述所述的化工园区异常行为检测系统。
23.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述所述的基于hmm的化工园区异常行为检测方法的步骤。
24.本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于hmm的化工园区异常行为检测方法的步骤。
25.与现有技术相比，本发明的有益效果在于：
26.本发明将三维人体旋转信息进行拓展运用到异常行为识别中，使用关节角作为特征参数，结合hmm隐马尔可夫链模型算法，实现了对视频中的连续运动人体行为进行异常识别，并分析了不同特征信息对异常行为识别准确性的影响，验证了三维人体选择数据的有效消息；提高了运动人体行为识别检测的准确性、鲁棒性、快速性，提高了系统性能并降低了系统的计算代价。
附图说明
27.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
28.在附图中：
29.图1为本发明一种基于hmm的化工园区异常行为检测方法的流程图；
30.图2为本发明实施例计算机设备的构成图；
31.图3为本发明实施例基于四元数的运动人体行为识别的流程图；
32.图4为本发明实施例基于hmm的异常行为识别的流程图；
33.图5为本发明实施例对未知动作序列进行行为识别阶段的流程图；
34.图6为本发明实施例在人体行为识别中应用hmm的相关算法构成图；
35.图7为本发明实施例的正常行为和异常行为的三维人体骨架的示意图；
36.图8为本发明实施例的训练样本行为示意图；
37.图9为本发明实施例的测试样本行为示意图；
38.图10为本发明实施例进行测试的多目标人体骨架示意图；
39.图11为本发明实施例的测试样本分类结果图；
40.图12为本发明实施例的被试对象执行部分行为示意图；
41.图13为本发明实施例的滑动窗口大小和识别精度；
42.图14为本发明实施例滑动窗口大小为5秒时各行为识别情况分解图；
43.图15为本发明实施例实时性分析的结果图；
44.图16为本发明实施例不同天线选择策略下的识别精度示意图；
45.图17为本发明实施例不同标签选择策略下的识别精度示意图；
46.图18为本发明实施例不同天线发送功率下的识别精度示意图；
47.图19为本发明实施例数据补全算法的效果图。
具体实施方式
48.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和产品的例子。
49.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
50.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
51.下面结合附图对本发明实施例作进一步详细说明。
52.本发明实施例提供一种基于hmm的化工园区异常行为检测方法，参见图1所示，包括如下步骤：
53.s1、将视频中人体运动行为信息进行检测、区分以及跟踪；
54.s2、选取人体步态姿势的观测状态序列，提取运动特征向量作为训练样本，使用训
练样本的参数训练hmm模型的关节四元数数据；
55.优选地，通过baum-welch算法对hmm模型进行训练，对每一种运动行为确定一组经过优化的hmm参数，训练过程中首先对hmm模型中的参数进行初始化，然后利用baum-welch算法重新估计hmm模型中的参数，当观测状态序列相对于hmm模型的输出概率变化不再明显时停止迭代；
56.s3、计算找出最有可能产生测试序列的最优的隐藏状态序列，用于识别测试样本的异常行为信息。
57.如图4所示为本发明实施例基于hmm的异常行为识别流程；
58.具体地测试样本与训练样本的训练人员完全独立；
59.具体地，将异常行为的场景设定为重点监控区域以及警戒线附近，将正常的人体运动行为固定为正常的走路或跑步，与此对应的异常行为设定为跳跃、下蹲等在警戒区范围内不合理或不常见的人体动作行为；
60.优选地，使用viterb算法，通过测试序列以及训练得到的hmm模型，对测试序列的隐藏状态做出最佳估计，进而得到异常行为帧；
61.图6为本实施例在人体行为识别中应用hmm的相关算法结构；
62.本实施例中，参见图3所示，将三维人体骨架的旋转信息进行拓展作为参数，使用基于四元数的参数化时间序列并利用最简便的支持向量机的方式进行两种相近运动姿态的识别；凭借支持向量机算法在二值分类问题上的完美表现以及关节四元数对人体运动行为的精简、准确的表达，利用关节四元数作为特征对走、跑这两个简单运动行为进行识别，平均准确率高达98％以上；
63.所述s3步骤之后还包括：对测试的运动人体行为信息进行数据收集。
64.所述s2步骤的所述提取运动特征向量的方法包括：对从视频中提取出来的人体运动行为信息的底层特征数据信息进行整理归类，转化为有效的特征向量后依据分类算法将不同模式划分成不同的类别。
65.参见图5所示为本发明实施例对未知动作序列进行行为识别阶段的流程。
66.本发明实施例还提供一种基于hmm的化工园区异常行为检测系统，执行如上述所述的化工园区异常行为检测方法，包括：
67.检测跟踪模块：用于将视频中人体运动行为信息进行检测、区分以及跟踪；
68.学习训练模块：选取人体步态姿势的观测状态序列，提取运动特征向量作为训练样本，使用训练样本的参数训练hmm模型的关节四元数数据；
69.测试识别模块：计算找出最有可能产生测试序列的最优的隐藏状态序列，用于识别测试样本的异常行为信息。
70.本发明实施例还提供一种基于hmm的化工园区异常行为检测装置，使用如上述所述的化工园区异常行为检测方法，以及如上述所述的化工园区异常行为检测系统。
71.实施例
72.1.训练样本：
73.由于所选特征点的旋转信息几乎不受年龄与性别因素影响，因此本发明实施例中选取成年女性的步态姿势作为训练样本。样本中正常走路40份，快走20份，慢跑40份，正常跑步20份，在120份样本中，测试者均以侧身面对摄像头，侧身方向是随机的。每个样本约
4s，由于步行速率是随机的，因此每个样本中随机含有至少1.5个步态周期。训练样本如图8所示，训练关节四元数数据如表1所示。
74.表1训练数据及标签样例
[0075][0076]
2.测试样本：
[0077]
测试样本与训练集的训练人员完全独立，其中包括走路25份，跑步25份。测试样本如图9所示。
[0078]
3.仪器与工具：
[0079]
实验仪器使用kinect for windows v2深度传感器，传感器均以垂直于测试者行走方向摆放。视频图像处理及深度图像、骨架、旋转信息获取与处理使用vs编程工具在c#环境下配以wpf模块，svm模型训练及行为识别使用matlab平台。
[0080]
4.测试结果
[0081]
随机选择姿态测试样本数据库中的样本作为测试样本进行识别。进行测试的多目标人体骨架如图10所示。
[0082]
结果表明，凭借支持向量机算法在二值分类问题上的完美表现以及关节四元数对人体运动行为的精简、准确的表达，在实验环境下,利用关节四元数作为特征对走、跑这两个简单运动行为进行识别，平均准确率高达98％以上，实验结果示例如图11所示。
[0083]
5.数据收集
[0084]
选择在南方电网大楼这一区域来展开实验数据的收集，进行实验的区域包括两个实验室房间、室内的走廊、楼梯以及户外。一共选择了四个被试对象来参与实验，包括几名男性和一名女性。这些被试对象在选择时进过了仔细的筛选以代表不同体型的人群。被试对象的详细信官、如表2所示。根据前期实验的结果，在实验中一共设置了三组天线发送功率，分别为20dbm、25dbm和30dbm。参与实验的对象穿戴设计的可穿戴rfid设备并执行如表3所示的八种行为。实验对象执行部分行为的情况如图12所示。每一个行为执行的时间要求不低于5分钟。整个数据收集的过程持续了2周，一共收集到超过200个行为的实例。
[0085]
表2：参与实验的四名被试对象情况
[0086]
[0087]
表3：实验时所执行的行为
[0088][0089][0090]
实验1:识别精度与延迟
[0091]
在第一个实验中，首先验证识别算法的识别精度(定义为正确识别的行为实例占行为实例总数的比例)与由滑动窗口大小l所决定的识别延迟之间的关系。
[0092]
图13展示了在不同的滑动窗口大小的情况下，算法的识别精度。从图13中可以看出，当滑动窗口大小较小时(从1秒到4秒)，识别的精度快速地从65.8％升高到了91.8％。当滑动窗口大小为5秒时，识别精度达到最大值93.6％。一个有趣的发现是，当滑动窗口继续增大时，识别的精度出现了缓慢的下降并最终稳定在86％左右。这一实验结果说明较大的滑动窗口不一定对应于更高的识别精度，这可能是由于当滑动窗口较大时，将不同的行为划分到同一窗口中的概率随之增加，导致识别的困难。
[0093]
针对识别精度最高的情况，即，滑动窗口大小为5秒时的情况，将各个行为的识别情况分解并展示在图14中。在图14中，使用了precision和recall这两项指标，它们的定义如下:
[0094][0095]
从图14中可以看到对于大多数的行为而言，其precision和recall都超过了0.9。通过深入分析识别结果，发现，有一些站的行为被错误地识别成了上厂下楼梯，而有少量的走、擦桌子和擦窗户的行为被错误地识别成了吸尘。
[0096]
综合上述实验结果，发现当滑动窗口为5秒时，系统达到了最高的识别精度93.6％。在后续的实验中，也将使用5秒作为的滑动窗口大小。
[0097]
接着，验证系统的实时性。正如前文所述，实时性需要满足在线性和连续性两个条件。由于系统在进行识别时仅使用当前己经获取的数据，因此系统的在线性是有保证的。接着，系统的连续性则是由系统的运行时间所决定的。图15比较了在由不同的滑动窗口大小所规定的数据收集时间限制下，的识别系统在智能手机上的数据处理时间。该数据处理时间包括了数据补全、特征提取和行为识别所需要的时间。从图中可以看出，即使当滑动窗口大小为1秒(即，识别延迟限制为1秒)时，的系统的最大处理时间也低于1秒。当滑动窗口增大时，系统的最大处理时间始终低于数据收集时间并基本稳定在450毫秒。
[0098]
该实验结果表明，在识别延迟限制大于1秒的情况下，的系统同时具备在线性和连续性，能够实现实时的行为识别。
[0099]
实验2：天线与标签选择
[0100]
在这个实验中，通过实验验证不同的天线与标签选择对识别结果的影响。针对天线和标签，各设计了三种选择策略，如表4和表5所示。注意假设在选择天线时，人身上佩戴所有的标签，而在选择标签时，人身上佩戴所有的天线。用各个行为的识别精度来度量不同
天线和标签选择策；
[0101]
表4天线选择策略
[0102]
策略后背前胸左脚右脚上半身天线选择策略√√
ꢀꢀ
下半身天线选择策略
ꢀꢀ
√√混合天线选择策略 √√ [0103]
表5标签选择策略
[0104][0105]
以下的识别效果，其计算方法如下所示:
[0106][0107]
而整体识别精度的计算方法则与之前的实验中所使用的一致。
[0108]
不同的天线选择策略所对应的行为识别精度如图16所示。根据图中所展示的结果，发现下半身天线选择策略较有利于识别包含复杂下半身动作的行为如坐、站、走等，而上半身天线选择策略则较有利于识别包含复杂上半身动作的行为如擦窗户、擦桌子、吸尘等。总体而言，混合天线选择策略的总体识别精度最高，为85.1％。针对不同的标签选择策略，其识别结果如图17所示。从该结果中可以得到与天线选择策略类似的结论，即下半身标签选择策略与上半身标签选择策略分别较有利于识别包含复杂下半身和上半身动作的行为。从图17中还可以看出，下半身标签选择策略和混合标签选择策略的总体识别精度类似，分别为88.8％和87.8％。
[0109]
实验3:天线发送功率
[0110]
在本实验中，通过实验验证不同的天线发送功率对于识别精度的影响。一共使用了三组发送功率，20dbm、25dbm和30dbm。现有的设备仅允许为四个天线设置同样的发送功率。图18展示了在不同的天线发送功率下，系统的整体识别精度。可以看到，在所有的天线发送功率下，系统的识别精度都超过了90％。当天线发送功率为25dbm时，整个系统达到了其最高的识别精度94.0％。
[0111]
为了更好地解释上述现象，更进一步地针对每一个被试对象的最优天线发送功率展开了实验。如表6所示，发现对于所有的男性被试对象，最优的天线发送功率都为25dbm，次优为30dbm，最后为20dbm。这一结果解释了图18所示的整体最优天线发送功率为25dbtn的原因。另外还发现，对于唯一的女性被试对象而言，其最优的天线发送功率为20dbm，次优为25dbm，最后为30dbm。这一现象背后的可能原因是由于女性被试对象的体型相对瘦小，当
天线发送功率较低时，其身体对于信号的干扰更为明显，从而更有利于识别她的行为。
[0112]
表6不同被试对象最优天线发送功率
[0113][0114]
该实验结果也证明，更高的天线发送功率不一定对应于更高的识别精度。最优的天线发送功率应该是对应于对人体行为所引起的无线信号变化最为敏感的功率。
[0115]
使用眼周区域特征进行性别和种族分类，并指出可以达到与使用人脸面部区域方法相似的性能。此外，虹膜和眼部区域的比较研究得出结论，后者在无约束的场景中会获得较高的识别性能。
[0116]
图19是本发明实施例数据补全算法的效果。
[0117]
本发明实施例将三维人体旋转信息进行拓展运用到异常行为识别中，使用关节角作为特征参数，结合hmm隐马尔可夫链模型算法，实现了对视频中的连续运动人体行为进行异常识别，并分析了不同特征信息对异常行为识别准确性的影响，验证了三维人体选择数据的有效消息。
[0118]
本发明实施例还提供一种计算机设备，图2是本发明实施例提供的一种计算机设备的结构示意图；参见附图图2所示，该计算机设备包括：输入装置23、输出装置24、存储器22和处理器21；所述存储器22，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例提供的化工园区异常行为检测方法；其中输入装置23、输出装置24、存储器22和处理器21可以通过总线或者其他方式连接，图2中以通过总线连接为例。
[0119]
存储器22作为一种计算设备可读写存储介质，可用于存储软件程序、计算机可执行程序，如本发明实施例所述的化工园区异常行为检测方法对应的程序指令；存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等；此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件；在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0120]
输入装置23可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入；输出装置24可包括显示屏等显示设备。
[0121]
处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的化工园区异常行为检测方法。
[0122]
上述提供的计算机设备可用于执行上述实施例提供的化工园区异常行为检测方法，具备相应的功能和有益效果。
[0123]
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的化工园区异常行为检测方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0124]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的化工园区异常行为检测方法，还可以执行本发明任意实施例所提供的化工园区异常行为检测方法中的相关操作。
[0125]
结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0126]
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。