一种列车车厢内异常行为智能监测方法、装置及监控系统与流程

1.本发明涉及列车监控技术领域，尤其涉及一种列车车厢内异常行为智能监测方法、装置及监控系统。


背景技术：

2.如地铁等列车作为流动的、人员高度集中的公共场所，在列车行驶过程中会存在各种治安事故隐患，如恶性火灾、爆炸及等意外突发性事故，会严重威胁国家和乘客的生命财产安全，还有如乘客间打斗、抢夺财产以及人员踹门、砸门等破坏公共设施的人员暴力行为，需要列车安全人员能够及时发现以进行制止。在列车上基本上都安装有视频监控系统，但是针对上述意外突发性事故目前只能依靠人工实时查看，人工查看的方式效率低下，而随着视频监控系统的大量使用，视频数据出现了爆发性的增长，就难以依靠人工查看的方式来实现大数据量的视频监控。基于此，依靠人工智能来实现监控的研究逐渐成为了热点。
3.针对人员行为的检测，有从业者提出使用图像处理的方法对监控视频图像进行处理，识别出人员的异常行为，如中国专利申请cn103500324公开一种基于视频监控的暴力行为识别方法，通过先获取监控摄像头的拍摄视频，然后进行视频的图像信号算法处理，最后判断拍摄视频中是否存在暴力行为的视频帧。但是上述单纯的使用图像信号处理方法检测人员行为的方案并不适用于列车环境中，列车车厢内通常人流量较大、人群密度高，人员之间相互拥挤且还会相互遮挡，单纯的利用图像信号处理方法要实现该高密度人群的行为识别，不仅算法实现复杂，识别效率也不高，实际就难以准确的识别出人群中的异常行为。


技术实现要素：

4.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单，能够适用于列车环境对车厢内的异常行为进行智能监测，且监测效率及精度高、安全可靠的列车车厢内异常行为智能监测方法、装置及监控系统。
5.为解决上述技术问题，本发明提出的技术方案为：
6.一种列车车厢内异常行为智能监测方法，步骤包括：
7.s1.视频图像获取：实时获取列车车厢内的视频图像数据，并解帧得到图片序列；
8.s2.异常区域检测：依次获取步骤s1得到的图片序列中每幅图片进行图像处理，提取图片中表征人群运动状态的运动特征，根据提取的所述运动特征判断图片中是否存在异常，当判断到存在异常时根据所述运动特征确定目标图片中的异常运动区域，转入步骤s3；
9.s3.异常行为检测：对目标图片中所述异常运动区域使用深度学习方法进行检测，判断是否存在人员异常行为。
10.进一步的，所述步骤s2中运动特征为速度特征。
11.进一步的，所述速度特征通过计算图片的光流信息得到。
12.进一步的，所述步骤s2中确定图片中的异常运动区域的步骤包括：
13.s21.计算目标图片的稠密光流，得到目标图片中每个像素点的光流向量；
14.s22.计算各像素点的所述光流向量的绝对值大小，生成速度特征图；
15.s23.使用预设速度阈值对所述速度特征图进行分割，分割出其中大于所述预设速度阈值的区域，得到所述异常运动区域，并输出所述异常运动区域的参数信息。
16.进一步的，所述步骤s3中使用c3d网络模型对所述异常运动区域进行检测，输出异常行为检测结果，所述c3d网络模型预先使用存在不同类型异常行为的历史视频图像数据集训练得到。
17.进一步的，所述c3d网络模型包括一层用于提取图片中所述异常运动区域的像素的图像掩膜操作层，所述图像掩膜操作层分别输入检测出的存在异常的原图片以及所述异常运动区域的参数信息，输出提取到的所述异常运动区域的像素。
18.进一步的，所述图像掩膜操作层提取图片中所述异常运动区域的步骤包括：
19.s31.生成与待处理的存在异常的原图片大小相同的掩膜图，并设置像素初始值为0，即为全黑图像；
20.s32.根据所述异常运动区域的参数信息，将所述掩膜图中对应所述异常运动矩形区域的位置处所有像素设置为1；
21.s33.将待处理的存在异常的原图片中每个像素与所述掩膜图中每个像素进行求与操作，提取得到所述异常运动区域的像素。
22.进一步的，所述c3d网络模型还包括8个卷积层、5个最大池化层、2个全连接层以及一个softmax层，所述卷积层、最大池化层、全连接层以及softmax层依次连接，其中3d卷积核大小为3*3*3，每个池化层的滤波器为3维滤波器。
23.进一步的，所述c3d网络模型训练的步骤包括：
24.获取存在不同类型异常行为的历史视频图像数据集，并对所述历史视频图像数据集中存在异常行为的图片进行标注，得到异常行为数据集，以及获取各异常图像中异常运动区域的参数信息，得到异常运动区域参数集；
25.使用所述异常行为数据集以及异常运动区域参数集对初始c3d网络模型进行训练，得到训练好的c3d网络模型；
26.对训练好的c3d网络模型进行测试，并根据测试结果调整所述异常行为数据集以及训练参数，最终生成所需的c3d网络模型。
27.一种列车车厢内异常行为智能监测装置，包括：
28.视频图像获取模块，用于实时获取列车车厢内的视频图像数据，并解帧得到图片序列；
29.异常区域检测模块，用于依次获取所述视频图像获取模块得到的图片序列中每幅图片进行图像处理，提取图片中表征人群运动状态的运动特征，根据提取的所述运动特征判断图片中是否存在异常，当判断到存在异常时根据所述运动特征确定目标图片中的异常运动区域，转入异常行为检测模块；
30.异常行为检测模块，用于对目标图片中所述异常运动区域使用深度学习方法进行检测，识别是否存在人员异常行为。
31.进一步的，所述异常区域检测模块包括：
32.光流计算单元，用于计算目标图片的稠密光流，得到目标图片中每个像素点的光流向量；
33.特征图生成单元，用于计算各像素点的所述光流向量的绝对值大小，生成速度特征图；
34.特征图分割单元，用于使用预设速度阈值对所述速度特征图进行分割，分割出其中大于所述预设速度阈值的区域，得到所述异常运动区域，并输出所述异常运动区域的参数信息。
35.进一步的，所述异常行为检测模块包括c3d(convolutional 3d，三维卷积)网络模型，以用于对所述异常运动区域进行检测，输出异常行为检测结果，所述c3d网络模型包括一层用于提取图片中所述异常运动区域的像素的图像掩膜操作层，所述图像掩膜操作层分别输入检测出的存在异常的原图片以及所述异常运动区域的参数信息，输出提取到的所述异常运动区域的像素。
36.一种列车车厢内异常行为智能监测装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序，以执行上述方法。
37.一种列车智能监控系统，包括视频图像采集装置以及智能分析平台，所述视频图像采集装置布置在列车车厢内以用于实时采集列车车厢内的视频图像数据，并传输给所述智能分析平台，所述智能分析平台用于执行上述方法。
38.进一步的，还包括与所述智能检测中心连接的报警装置，以用于在判断到存在异常行为时发出报警信息。
39.一种存储有计算机程序的计算机可读存储介质，所述计算机程序执行时实现上述方法。
40.与现有技术相比，本发明的优点在于：
41.1、本发明通过实时获取列车车厢内的视频图像数据，解帧后先基于视觉检测方法提取图片中人群的运动特征，检测出人群运动状态存在异常后确定出异常运动区域，然后在异常运动区域内再使用深度学习方法进行检测以分析人员的个体行为特征，识别出人员是否存在异常行为，由于预先确定出了异常运动区域，在使用深度学习方法时能够有效排除干扰信息、降低检测难度，从而提高检测准确率，可结合视觉检测方法以及深度学习方法实现异常行为的智能、高效的识别。
42.2、本发明进一步利用异常行为时人群速度会发生改变的特性，以人群作为检测对象，通过提取图片中人群的速度特征，实时监测人群运动状态，可以快速、准确的判断出是否存在人群运动异常，从而可快速的确定出存在异常的异常运动区域。
43.3、本发明进一步通过在采用c3d网络模型的基础上，在c3d网络模型中设置一层图像掩膜操作层，由图像掩膜操作层输入存在异常的原图以及异常运动区域的参数信息，提取出异常运动区域进行人员行为识别，可以适用于人员拥挤、相互遮挡的列车环境，排除行为识别过程中干扰、减少识别难度，从而提高识别精度。
附图说明
44.图1是本实施例列车车厢内异常行为智能监测方法的实现流程示意图。
45.图2是本发明具体应用实施例中实现列车车厢内异常行为智能监测的实现流程示意图。
46.图3是本实施例中异常区域检测的具体实现流程示意图。
47.图4是本实施例中采用的c3d网络模型的结构原理示意图。
48.图5是本发明具体应用实施例中掩膜操作的结果示意图。
49.图6是本实施例中c3d网络模型的训练流程示意图。
50.图7是本发明具体应用实施例中列车智能监控系统实现智能监控的结构原理示意图。
具体实施方式
51.以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
52.如图1所示，本实施例列车车厢内异常行为智能监测方法的步骤包括：
53.s1.视频图像获取：实时获取列车车厢内的视频图像数据，并解帧得到图片序列；
54.s2.异常区域检测：依次获取步骤s1得到的图片序列中每幅图片进行图像处理，提取图片中表征人群运动状态的运动特征，根据提取的运动特征判断图片中是否存在异常，当判断到存在异常时根据运动特征确定目标图片中的异常运动区域，转入步骤s3；
55.s3.异常行为检测：对目标图片中异常运动区域使用深度学习方法进行检测，识别是否存在人员异常行为。
56.当发生恶性火灾、爆炸及等意外突发性事故，或者乘客间打斗、抢夺财产以及人员踹门、砸门等人员暴力行为时，由于列车内人流量较大，人群会出现四处逃散等运动异常。本实施例利用上述特性，通过实时获取列车车厢内的视频图像数据，解帧后先基于视觉检测方法提取图片中人群的运动特征，以分析人群运动状态，检测出人群运动状态存在异常后确定出异常运动区域，然后在异常运动区域内再使用深度学习方法进行检测以分析人员的个体行为特征，判断出人员是否存在异常行为，如暴力行为等，由于预先确定出了异常运动区域，在使用深度学习方法时能够有效排除干扰信息、降低检测难度，从而提高检测准确率，可结合视觉检测方法以及深度学习方法实现列车车厢内人员异常行为的智能、高效识别。
57.本实施例步骤s2中运动特征具体为速度特征，即通过提取图片中人群的速度特征，根据人群的速度特征状态判断图片中是否存在异常。在列车行驶过程中人群正常状态下速度通常较小，而如上述，当发生意外突发性事故或人员暴力行为时，人群会出现四处逃散等运动异常，此时人群的速度会急剧提高，本实施例利用该特性，以人群作为检测对象，通过提取图片中人群的速度特征，实时监测人群运动状态，可以快速、准确的判断出是否存在人群运动异常，从而可快速的确定出存在异常的异常运动区域。
58.本实施例中，速度特征具体通过计算图片的光流信息得到，光流信息能很好地反映运动目标的方向及速度信息。可以理解的是，还可以根据实际需求选取其他运动特征，如运动方向特征等，或采用多种运动特征的组合，以进一步提高监测精度或效率。
59.本实施例步骤s2中确定图片中的异常运动区域的步骤具体包括：
60.s21.计算目标图片的稠密光流，得到目标图片中每个像素点的光流向量；
61.s22.计算各像素点的光流向量的绝对值大小，生成速度特征图；
62.s23.使用预设速度阈值对速度特征图进行分割，分割出其中大于预设速度阈值的
区域，得到异常运动区域，并输出异常运动区域的参数信息。
63.上述步骤s21中具体可采用farneback等算法计算图片的稠密光流，当然还可以采用其他方式计算该光流信息，甚至可以采用其他方法提取人群的速度运动特征。
64.如图3所示，本实施例首先获取车厢监控视频数据，并解帧为图片序列；对图片序列采用farneback算法计算图片稠密光流，得到图片中每个像素点的光流向量，由光流信息反映人群运动的方向及速度信息；然后计算光流向量绝对值大小，生成速度大小的特征图，即速度特征图；预先设定速度阈值，由该设定的速度阈值分割速度特征图，其中大于预设速度阈值的区域即为异常运动区域，并计算异常运动区域的参数信息，异常运动区域参数信息包括在图像中的位置以及大小等；最后输出异常运动区域的参数信息，即异常运动区域在图像中的位置和大小等。
65.在具体应用实施例中，使用opencv计算机视觉开源库和qt软件采用c 编程语言实现上述异常区域检测步骤的功能，首先使用cv::calcopticalflowfarneback函数计算图像每个像素点光流向量，计算光流向量的绝对值大小，组成光流大小的特征图；然后设定光流大小阈值threshold，小于threshold的区域为非异常运动区域，大于threshold的区域为异常运动区域，采用cv::threshold固定阈值分割函数，得到只有异常运动区域的特征图；最后使用cv::boundingrect得到异常运动区域轮廓周围最小矩形左上交点坐标和矩形长宽。将上述能够实现异常区域检测步骤的功能的程序代码加载在智能分析平台上，由智能分析平台在实时获取导列车车厢内的视频图像数据后解帧为图片序列，实时检测异常运动区域，若检测到人群运动异常，则输出前后指定帧的图片序列以及异常运动区域的参数序列。
66.上述检测出异常运动区域后，转入步骤s3以识别人员异常行为。本实施例中，步骤s3具体使用c3d网络模型对异常运动区域进行检测，输出异常行为检测结果，c3d(3d-cnn)网络模型预先使用存在不同类型异常行为的历史图片数据集训练得到。通过使用基于c3d的深度神经网络模型对异常运动区域你的人员异常行为进行检测，能够充分发挥c3d模型的优势，确保检测效率及精度。
67.本实施例具体c3d网络模型是将将视频中的连续帧作为一个时空立方体，以此作为cnn网络的输入，用3d卷积核对时空立方体进行操作，从而提取空间和时间上的特征信息。选取不同的卷积核对立方体进行卷积，就能得到多种时空特征。
68.如图4所示，本实施例c3d网络模型包括一层用于提取图片中异常运动区域的像素的图像掩膜操作层，图像掩膜操作层分别输入检测出存在异常的原图片以及异常运动区域的参数信息，输出提取到的异常运动区域的像素。在具体应用实施例中，c3d网络模型可以采用在现有技术中经典c3d网络模型的基础上改进得到，即增加一层图像掩膜操作层，c3d网络模型有两个输入，一个是待检图片序列，另一个是异常运动区域参数序列，参数包括异常运动区域的位置及大小等，由图像掩膜操作层提取出异常运动区域的原始像素。通过采用上述c3d网络模型，在c3d网络模型的基础上，设置图像掩膜操作层来提取出异常运动区域进行人员行为识别，可以适用于人员拥挤、相互遮挡的列车环境，排除行为识别过程中干扰、减少识别难度，从而提高识别精度。
69.本实施例中，图像掩膜操作层提取图片中异常运动区域的步骤包括：
70.s31.生成与待处理的存在异常的原图片大小相同的掩膜图，并设置像素初始值为
0，即为全黑图像；
71.s32.根据异常运动区域的参数信息，将掩膜图中对应异常运动矩形区域的位置处所有像素设置为1；
72.s33.将待处理的存在异常的原图片中每个像素与掩膜图中每个像素进行求与操作，提取得到异常运动区域的像素。
73.本实施例具体当检测到人群异常运动时，将当前帧开始前后指定帧(可根据实际需求配置，本实施例具体取8)图片序列和异常运动区域检测结果(参数序列)传送到上述改进的c3d网络模型中，即将一个包含异常运动的16帧图片序列传送到上述改进的c3d网络模型来检测人员是否存在异常行为，图像掩膜操作层具体由16个基本单元组成，每个基本单元具有掩膜图生成和求与操作功能。图像掩膜操作层首先生成16张原图一样大小的掩膜图，其像素初始值为0，即全黑图像；然后根据异常运动区域参数序列，将16张掩膜图的异常运动矩形区域所有像素设置为1；最后是将原图中每个像素与掩膜图中每个像素进行求与操作(如1&1＝1；1&0＝0)，这样得到效果图只保留异常运动区域原始像素，在具体应用实施例中得到的结果如图5所示。
74.如图4所示，本实施例c3d网络模型中在图像掩膜操作层之后，网络结构还设置有8个卷积层、5个最大池化层以及2个全连接层，最后加上一个softmax层，卷积层、最大池化层、全连接层以及softmax层依次连接，卷积层用于提取输入图片序列的时空特征，池化层用于对输入的特征图进行压缩，以简化计算复杂度，并提取主要特征；全连接层连接所有的特征，将输出值提供给softmax层的softmax分类器，由softmax层输出分类结果。其中所有的3d卷积核大小都是3*3*3，即是采用最优的3d卷积核尺寸，时间和空间维度的步长为1，padding为1，每个池化层的滤波器大小为3维，除了pool1的滤波器大小是1*2*2，其他的pool层滤波器大小为2*2*2。
75.本实施例中，c3d网络模型训练的步骤包括：
76.获取存在不同类型异常行为的历史视频图像数据集，并对历史视频图像数据集中存在异常行为的图片进行标注，得到异常行为数据集，以及获取各异常图像中异常运动区域的参数信息，得到异常运动区域参数集；
77.使用异常行为数据集以及异常运动区域参数集对初始c3d网络模型进行训练，得到训练好的c3d网络模型；
78.对训练好的c3d网络模型进行测试，并根据测试结果调整异常行为数据集以及训练参数，最终生成所需的c3d网络模型。
79.在具体应用实施例中，如图6所示，训练c3d网络模型时，首先将预先使用车厢监控摄像头采集的视频数据(其中包括各类异常行为的视频数据)导入服务器，在服务器上将视频数据分割为多个时长5秒短视频，然后对短视频进行筛选与清理，去除不包含人的短视频；接下来对保留的短视频，按照视频中是否存在异常行为，标注为两大类，一是有异常行为，二是无暴力行为，制作成异常行为数据集，以及对异常图片进行异常运动区域检测，由各异常运动区域的参数序列构成异常运动区域参数集；再使用异常行为数据集、异常运动区域参数集训练c3d深度卷积神经网络，设置训练参数，生成用于识别异常行为的c3d网络模型；然后使用行为数据集对模型进行测试，得到模型对于列车车厢人的平均检测精度值、召回率值，结合模型的平均检测精度值和召回率评估模型的优劣，当模型较差时，调整异常
行为数据集与训练参数，直至得到符合要求的最终c3d网络模型，最后将模型转化为特定的格式，发布成制定的版本。
80.在具体应用实施例中，首先使用nvidia开发的开放式视觉推理和神经网络优化工具包(tensorrt)对训练好的c3d网络模型模型进行优化，然后在智能分析平台(嵌入式平台)上配置好视频流处理软件和深度卷积神经网络运行环境，通过信号传输线，将优化后的模型从服务器传输到智能分析平台，最后对模型进行设置与参数配置，并将模型与流处理软件集成为流处理引擎，完成模型部署，调用该模型即可实现人员异常行为识别。
81.可以理解的是，人员异常行为检测还可以根据实际需求采用其他深度学习算法模型对，如twostream算法、trn(temporal relation network，)算法、slowfast算法等视频动作识别网络模型。
82.本实施步骤s3中当判断到存在异常行为时，还包括输出报警信息。具体可配置当判断到存在异常行为时，向信息中心等监控中心发出报警信息，报警信息具体还可配置包含异常行为发生的车厢号以及类型等信息，由监控中心控制向如列车安全员侧的移动终端发送报警信息，使得可以及时进行相应的处理。
83.如图2所示，本发明具体应用实施例中对列车车厢内异常行为进行监测时，首先获取车厢监控视频数据，将视频解帧为图片序列；然后对各图片提取运动特征，根据运动特征判断是否存在运动异常，如果没有异常运动，检测下一帧图片，如果有异常运动，将当前帧开始前后8帧图片序列和异常运动区域的参数信息传送到改进的c3d网络模型中，由c3d网络模型对图片序列中异常运动区域进行人员行为识别，若存在异常行为，则发出报警信息，报警信息进一步还可以配置包含事件发生的车厢号和行为类别等。
84.本实施例还包括一种列车车厢内异常行为智能监测装置，包括：
85.视频图像获取模块，用于实时获取列车车厢内的视频图像数据，并解帧得到图片序列；
86.异常区域检测模块，用于依次获取视频图像获取模块得到的图片序列中每幅图片进行图像处理，提取图片中表征人群运动状态的运动特征，根据提取的运动特征判断图片中是否存在异常，当判断到存在异常时根据运动特征确定目标图片中的异常运动区域，转入异常行为检测模块；
87.异常行为检测模块，用于对目标图片中异常运动区域使用深度学习方法进行检测，识别是否存在人员异常行为。
88.本实施例中，异常区域检测模块包括：
89.光流计算单元，用于计算目标图片的稠密光流，得到目标图片中每个像素点的光流向量；
90.特征图生成单元，用于计算各像素点的光流向量的绝对值大小，生成速度特征图；
91.特征图分割单元，用于使用预设速度阈值对速度特征图进行分割，分割出其中大于预设速度阈值的区域，得到异常运动区域，并输出异常运动区域的参数信息。
92.本实施例中，异常行为检测模块包括c3d网络模型，以用于对异常运动区域进行检测，输出异常行为检测结果，c3d网络模型包括一层用于提取图片中异常运动区域的像素的图像掩膜操作层，图像掩膜操作层分别输入检测出存在异常的原图片以及异常运动区域的参数信息，输出提取到的异常运动区域的像素。
93.本实施例中，图像掩膜操作层包括多个基本单元，每个基本单元可实现以下步骤的功能：
94.生成与待处理图片大小相同的掩膜图，并设置像素初始值为0，即为全黑图像；
95.根据异常运动区域的参数信息，将掩膜图中对应所述异常运动矩形区域的位置处所有像素设置为1；
96.将待处理图像中每个像素与所述掩膜图中每个像素进行求与操作，提取得到所述异常运动区域的像素。
97.c3d网络模型具体原理如图4以及如上所述。
98.本实施例列车车厢内异常行为智能监测装置与上述列车车厢内异常行为智能监测模块为一一对应，在此不再一一对应。
99.在另一实施例中，本发明列车车厢内异常行为智能检测装置还可以为：包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，处理器用于执行计算机程序，以执行上述列车车厢内异常行为智能监测方法。
100.本实施例还提供一种列车车厢内异常行为智能监控系统，包括视频图像采集装置以及智能分析平台，视频图像采集装置布置在列车车厢内以用于实时采集列车车厢内的视频图像数据，并传输给智能分析平台，智能分析平台用于执行上述列车车厢内异常行为智能监测方法。
101.如图7所示，在具体应用实施例中，视频图像采集装置包括布置在列车各车厢内的一个或多个监控摄像头，由监控摄像头实时采集列车车厢内的视频图像数据，监控摄像头具体可布置在车厢端部，通过数据传输线路将监控摄像头与智能分析中心相连，智能分析平台中搭载有能够实现上述列车车厢内异常行为智能监测方法功能的程序模块，由智能分析平台接收监控摄像头实时采集的列车车厢内的视频图像数据，依次经过视频图像获取、异常区域检测、异常行为检测后输出异常行为判断结果。
102.本实施例中，列车监控系统还包括与智能检测中心连接的报警装置，以用于在判断到存在异常行为时发出报警信息。报警装置具体可以根据实际需求采用有线或无线等方式发送报警信息。
103.本实施例中报警装置具体通过一个安全信息中心与智能分析平台连接，由安全信息中心监听每节车厢智能分析平台的报警信息，当智能分析平台判断到存在异常行为时，将报警信息发送给安全信息中心，由安全信息中心将报警信息发送给报警装置，报警信息包含事件发生的车厢号和行为类别等。
104.本实施例还包括一种存储有计算机程序的计算机可读存储介质，计算机程序执行时实现上述列车车厢内异常行为智能监测方法。
105.本发明上述方法、装置及监测系统，可以适用于各类需要对人员异常行为进行智能监测的场合，除上述列车车厢环境外，还可以适用于如人群流量较大的候车厅、地铁站台、银行等，甚至可适用于人流量较大的路口等。
106.上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。