基于视频结构化的警用行人轻生行为预警方法与流程

1.本发明涉及ai行为识别预警领域，具体的说涉及一种基于视频结构化技术的警用行人轻生行为预警方法、ai行人轻生行为识别模型、ai行人轻生行为识别方法。


背景技术：

2.投水，是自杀人员经常选择的结束生命的方式，在有关部门对桥面水面的治安管理实务中，主要靠群众发现报警和人工排查监控视频两种方法和相关技术应对。因为行人轻生场景的特殊性，对跳桥人员管控、营救难度大，始终难以高精度、高效率的解决预警问题。场景的复杂性主要体现在：1、跳桥轻生人员通常翻过围栏没有犹豫，事发突然而且迅速，导致跳桥事件发生后，周边人群没有发现，导致不能及时报警。接到警情时，警方已经错过救援黄金时间。
3.2、报警的人，对跳桥人的落水位置描述不精确，导致出船后，难以快速定位人员落水位置，无法第一时间赶到落水点，错失营救时间。
4.3、群众对跳桥事件不敏感，并且有看热闹的心态。一些翻过围栏尚在犹豫的人员，大多数人仅是围观并不会报警，使得跳桥行为预警也不及时。同样深夜在桥面徘徊、驻留等异常行为，就更难发现和预警。
5.4、夜间、雾霾、大雨等条件下，肉眼能见度受限的情况时，造成跳桥事件和人员异常行为的发现、告警、营救等实战工作更加困难。
6.总的来说，传统管理方法中，依靠群众报警处理行人轻生行为预警覆盖率低、信息不准确；警力排查相关监控视频，辅助发现行人轻生行为，排查效率较低、漏报率高、无法应对特殊天气预警问题，没有很好的解决行人轻生行为的预警问题。


技术实现要素：

7.为了解决上述技术问题，本发明提出一种基于视频结构化技术的警用行人轻生行为预警方法，在桥头堡、和或桥面、和或桥墩设置若干摄像头，摄像头的数量至少要全面覆盖桥头堡、和或桥面、和或桥墩视频监控区域，摄像头通过有线或无线网络接入网络；所述摄像头对行人面部特征、和或攀爬和或翻阅大桥护栏的行为图像、和或徘徊行为图像、和或落水水花图像、和或围观行为视频图像进行采集。
8.（1）摄像头对行人面部特征进行识别，识别出人脸特征码，将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，得到比对结果，对于比对成功的，边缘服务器将有关人员信息发送给行人轻生行为预警系统，轻生行为预警系统通知值班民警；(2)摄像头对攀爬和或翻阅大桥护栏的行为视频图像进行采集，将采集到的攀爬和或翻阅大桥护栏的视频图像发送给边缘服务器，边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，
轻生行为预警系统将预警信息通知值班民警；(3)摄像头对徘徊行为视频图像进行采集，将采集到的徘徊行为视频图像发送给边缘服务器，边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(4)摄像头对对落水水花视频图像进行采集，将采集到的落水水花视频图像发送给边缘服务器，边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视频关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警；(5)摄像头对对围观行为视频图像进行采集，将采集到的围观行为视频图像发送给边缘服务器，边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧，截取关键帧前后至少1秒的视频流，生成预警信息，边缘服务器将预警信息发送给行人轻生行为预警系统，轻生行为预警系统将预警信息通知值班民警。
9.进一步的，在桥头堡设置a组摄像头，摄像头a组包括若干摄像头，a组摄像头的数量至少全面覆盖桥头堡视频监控区域；a组摄像头为具有人脸识别功能的网络摄像头；在桥面设置b组摄像头，摄像头b组包括若干摄像头，b组摄像头的数量至少全面覆盖桥面视频监控区域；b组摄像头包括具有人脸识别功能的网络摄像头和具有视频采集功能的网络摄像头；在桥墩设置c组摄像头，摄像头c组包括若干摄像头，c组摄像头的数量至少全面覆盖桥墩视频监控区域；c组摄像头为具有视频采集功能的摄像头。
10.进一步的，所述预警信息还包括位置信息；摄像头在采集视频数据向边缘服务器发送数据的同时，还向边缘服务器发送摄像头的id编号，所述边缘服务器上还包括各摄像头id编号对照表，以及各摄像头id编号所对应的位置地图，边缘服务器根据摄像头的id编号生成位置信息，边缘服务器将识别出危险行为的摄像头位置信息同步发送给值班民警。
11.进一步的，所述基于视频结构化的警用行人轻生行为预警方法，还包括时序关系的判断；具有视频采集功能的网络摄像头在采集视频图像时，同时记录视频图像发生的时间，并将带有时间的视频图像发送给边缘服务器；具有人脸识别功能的网络摄像头在对行人面部特征进行识别，识别出人脸特征码的同时，记录行人面部特征进行识别的时间，并将带有时间的人脸特征码发送给边缘服务器；以x1代表边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，比对成功；以x2代表边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧；以x3代表边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧；以x4代表边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视频关键帧；
以x5代表边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧；x1、x2、x3、x4、x5为时序关系，当后序预警发生时，前推若干时间，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。
12.优选的，前推的时间至少为5分钟，较佳的为15分钟、20分钟、30分钟、40分钟、50分钟、60分钟、70分钟、80分钟。
13.优选的，x1、x2、x3、x4、x5为时序关系，当后序预警发生时，前推1小时，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。边缘服务器将特别严重关注信息推送给大桥值班民警。
14.进一步的，a组摄像头和或b组摄像头中具有人脸识别功能的网络摄像头中的任何一个摄像头对行人面部特征进行识别获得人脸特征码，并将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中的有关人员的人脸特征码进行比对，得到比对结果，所述比对结果包括比对成功的和未比对成功的，对于比对成功的，边缘服务器将有关人员信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将有关人员信息通过网络推送给值班民警。
15.进一步的，所述边缘服务器通过网络接入公共安全主管部门网络，并通过网络获取公共安全主管部门网络资源；所述数据库为公安掌握的有关人员信息数据库；所述数据库安装在边缘服务器上，数据库与公共安全主管部门网络中的有关人员信息同步。
16.进一步的，在边缘服务器上设有基于ai技术的危险行为识别系统，所述基于ai技术的危险行为识别系统采用下列方法步骤：a1，建立危险行为图像数据库，所述危险行为图像为剪辑过的历史轻生人员攀爬桥栏、翻越桥栏视频片段关键帧，和或剪辑过的历史跳桥轻生人员徘徊行为视频片段关键帧，和或剪辑过的历史跳桥轻生人员落水产生的水花视频片段关键帧，和或为剪辑过的历史跳桥轻生人员落水后行人围观行为视频片段关键帧；a2，所述危险行为图像数据库还包括训练集数据，所述训练集数据包括危险行为图像和无关行为图像；a3，对训练集图像进行人工标记，将危险行为图像的文件名称标记为1-xi;将无关行为图像的文件名称标记为0-xi，得到人工标注结果；a4，建立待用深度学习模型，所述待用深度学习模型为卷积神经网络；采用python语言调用tensorflow深度学习框架，选用cnn卷积神经网络算法建立学习分类器系统；所述cnn卷积神经网络包括神经元权重和偏差；a5，将训练集数据输入待用深度学习模型，深度学习模型通过调整内部的参数，得到有效深度学习模型；a51，将训练集数据分别经过cnn卷积神经网络算法计算，分别得到cnn卷积神经网络预测结果集；预测结果集中由预测结果值组成，预测结果值为是和非两个值组成，是代表翻越或攀爬桥栏行为，非代表无关行为；a52，迭代训练：将预测结果与人工标注结果进行比较，如果预测结果与人工标注结果不符，则对预测结果与人工标注结果不符的数据放入cnn卷积神经网络继续进行训练，调节cnn卷积神
经网络中的神经元权重和偏差，最终使得预测结果与人工标注结果相符，从而得到能够判别攀爬桥栏翻越桥栏行为、徘徊行为、人员落水、跳桥轻生人员落水后行人围观行为的相适应的神经元权重和偏差，最终得到能够判别人员攀爬桥栏翻越桥栏行为、徘徊行为、人员落水、落水后行人围观行为的的神经元权重和偏差的有效深度学习模型；a6，在边缘服务器上部署有效深度学习模型；a7；边缘服务器上的有效深度学习模型识别出攀爬桥栏翻越桥栏、徘徊、人员落水、跳桥轻生人员落水后行人围观的行为后，边缘服务器识别出攀爬桥栏翻越桥栏、徘徊、人员落水、跳桥轻生人员落水后行人围观行为后，生成预警信息和位置信息，将预警信息和位置信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将预警信息和位置信息通过网络推送给值班民警。
17.进一步的，所述危险行为图像还包括模拟的轻生人员攀爬桥栏、翻越桥栏视频片段关键帧；模拟的跳桥轻生人员徘徊行为视频片段关键帧；模拟的跳桥轻生人员落水产生的水花视频片段关键帧；模拟的行人围观行为视频片段关键帧。
18.本发明还提出一种ai行人轻生行为识别模型，所述模型包括tensorflow深度学习框架，所述tensorflow深度学习框架为cnn卷积神经网络算法建立的学习分类器系统；所述cnn卷积神经网络包括神经元权重和偏差。
19.本发明还提出一种ai行人轻生行为识别方法，包括如下步骤：a1，建立危险行为图像数据库，所述危险行为图像为剪辑过的历史轻生人员攀爬桥栏、翻越桥栏视频片段关键帧，和或剪辑过的历史跳桥轻生人员徘徊行为视频片段关键帧，和或剪辑过的历史跳桥轻生人员落水产生的水花视频片段关键帧，和或为剪辑过的历史跳桥轻生人员落水后行人围观行为视频片段关键帧；a2，所述危险行为图像数据库还包括训练集数据，所述训练集数据包括危险行为图像和无关行为图像；a3，对训练集图像进行人工标记，将危险行为图像的文件名称标记为1-xi;将无关行为图像的文件名称标记为0-xi，得到人工标注结果；a4，建立待用深度学习模型，所述待用深度学习模型为卷积神经网络；采用python语言调用tensorflow深度学习框架，选用cnn卷积神经网络算法建立学习分类器系统；所述cnn卷积神经网络包括神经元权重和偏差；a5，将训练集数据输入待用深度学习模型，深度学习模型通过调整内部的参数，得到有效深度学习模型；a51，将训练集数据分别经过cnn卷积神经网络算法计算，分别得到cnn卷积神经网络预测结果集；预测结果集中由预测结果值组成，预测结果值为是和非两个值组成，是代表翻越或攀爬桥栏行为，非代表无关行为；a52，迭代训练：将预测结果与人工标注结果进行比较，如果预测结果与人工标注结果不符，则对预测结果与人工标注结果不符的数据放入cnn卷积神经网络继续进行训练，调节cnn卷积神经网络中的神经元权重和偏差，最终使得预测结果与人工标注结果相符，从而得到能够判别攀爬桥栏翻越桥栏行为、徘徊行为、人员落水、跳桥轻生人员落水后行人围观行为的相适应的神经元权重和偏差，最终得到能够判别人员攀爬桥栏翻越桥栏行为、徘徊行为、人员落
水、落水后行人围观行为的的神经元权重和偏差的有效深度学习模型；a6，在边缘服务器上部署有效深度学习模型；a7；边缘服务器上的有效深度学习模型识别出攀爬桥栏翻越桥栏、徘徊、人员落水、跳桥轻生人员落水后行人围观的行为后，边缘服务器识别出攀爬桥栏翻越桥栏、徘徊、人员落水、跳桥轻生人员落水后行人围观行为后，生成预警信息和位置信息，将预警信息和位置信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将预警信息和位置信息通过网络推送给值班民警。
20.有益效果：本发明将行人轻生行为，分解为四个基于视频结构化技术的行为感知检测任务，通过对感知检测的结果进行逻辑加工，添加预警逻辑并产生行为预警。解决了依靠群众报警处理行人轻生行为预警覆盖率低、信息不准确，警力排查相关监控视频，难以发现行人轻生行为，排查效率较低、漏报率高、无法应对特殊天气预警，无法对行人轻生行为进行预警的难题。
21.本发明充分利用人工智能技术和现有监控视频设备，用ai行人轻生行为识别模型预警，辅助公共安全主管部门对桥面、水面的治安态势感知。相较于群众报警和人工视频排查，预警时效性高、事件覆盖率高、信息全面精准、特殊天气下鲁棒性高。
具体实施方式
22.s1，分别在桥面、桥头堡、桥墩设置若干摄像头，摄像头的数量至少要全面覆盖桥面、桥头堡、桥墩视频监控区域；摄像头通过有线或无线网络接入公共安全主管部门网络；进一步的，在桥头堡设置a组摄像头，摄像头a组包括若干摄像头，a组摄像头的数量至少全面覆盖桥头堡视频监控区域；a组摄像头为具有人脸识别功能的网络摄像头；在桥面设置b组摄像头，摄像头b组包括若干摄像头，b组摄像头的数量至少全面覆盖桥面视频监控区域；b组摄像头包括具有人脸识别功能的网络摄像头和具有视频采集功能的网络摄像头；在桥墩设置c组摄像头，摄像头c组包括若干摄像头，c组摄像头的数量至少全面覆盖桥墩视频监控区域；c组摄像头为具有视频采集功能的摄像头；实施例1：s2，第一类预警：人脸识别预警。
23.a组摄像头和或b组摄像头中具有人脸识别功能的网络摄像头中的任何一个摄像头对行人面部特征进行识别获得人脸特征码，并将人脸特征码发送至边缘服务器，边缘服务器将人脸特征码与数据库中的人脸特征码进行比对，得到比对结果，所述比对结果包括比对成功的和未比对成功的，对于比对成功的，边缘服务器将有关人员信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将有关人员信息通过网络推送给值班民警的警务通；进一步的，所述警务通上安装有行人轻生行为预警系统app客户端，行人轻生行为预警系统将有关人员信息通过网络推送给行人轻生行为预警系统app客户端。
24.所述边缘服务器设置在大桥的警务值班房，所述边缘服务器通过网络接入公共安全主管部门网络，并通过网络获取公共安全主管部门网络资源；所述数据库为公共安全主管部门掌握的有关人员的人员类型、人脸特征、人体特
征、人员姓名、性别、身份证号、身份证照片、前科信息及涉警涉案照片数据库；所述数据库安装在边缘服务器上，数据库与公共安全主管部门网络中的有关人员信息同步；所述有关人员的人员类型包括公共安全主管部门重点关注的七类人员，以及精神病人、极端诉求人员、热点事件相关人员、历史跳桥人员、历史自杀未遂人员等水上治安重点关注的人员。
25.有关人员信息包括人员类型、人脸特征、人体特征、人员姓名、性别、身份证号、身份证照片、前科信息及涉警涉案照片；所述警务通为警务人员配备的智能终端，警务通通过网络接入公共安全主管部门网络。
26.实施例2：s3，第二类预警：翻越桥栏或攀爬桥栏预警。
27.b组摄像头中具有视频采集功能的网络摄像头的任何一个摄像头采集桥面图像信息，将采集到的桥面图像信息发送给边缘服务器，边缘服务器对桥面图像信息进行行为识别，对攀爬和或翻阅大桥护栏的行为进行识别，识别出攀爬和或翻阅大桥护栏的行为；进一步的，边缘服务器对对攀爬和或翻阅大桥护栏的行为进行识别的方法包括如下步骤：s31，建立危险行为图像数据库，所述危险行为图像为剪辑过的历史轻生人员攀爬桥栏、翻越桥栏视频片段关键帧，或模拟的轻生人员攀爬桥栏、翻越桥栏视频片段关键帧；还包括训练集数据，所述训练集数据包括危险行为图像和无关行为图像；对训练集图像进行人工标记，将危险行为图像的文件名称标记为1-xi;将无关行为图像的文件名称标记为0-xi，得到人工标注结果；s32，建立待用深度学习模型，所述待用深度学习模型为卷积神经网络；采用python语言调用tensorflow深度学习框架，选用cnn卷积神经网络算法建立学习分类器系统；所述cnn卷积神经网络包括神经元权重和偏差；所述卷积神经网络convolutional neural networks, cnn）是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural networks），是深度学习（deep learning）的代表算法之一，本发明仅是调用了该算法，并未对该算法进行创新，对于卷积神经网络的工作原理及工作方式，属于现有技术，本发明在此不再累述。
28.s33，将训练集输入待用深度学习模型，深度学习模型通过调整内部的参数，得到有效深度学习模型；将训练集数据分别经过cnn卷积神经网络算法计算，分别得到cnn卷积神经网络预测结果集；预测结果集中由预测结果值组成，预测结果值为是和非两个值组成，是代表翻越或攀爬桥栏行为，非代表无关行为；还包括迭代训练的步骤：将预测结果与人工标注结果进行比较，如果预测结果与人工标注结果不符，则对预测结果与人工标注结果不符的数据放入cnn卷积神经网络继续进行训练，调节cnn卷积神经网络中的神经元权重和偏差，最终使得预测结果与人工标注结果相符，从而得到能够判
别攀爬桥栏、翻越桥栏行为的相适应的神经元权重和偏差，最终得到能够判别人员攀爬桥栏、翻越桥栏的神经元权重和偏差的有效深度学习模型；s34，在边缘服务器上部署有效深度学习模型；s35；边缘服务器上的有效深度学习模型识别出攀爬和或翻阅大桥护栏的行为后，边缘服务器识别出的攀爬和或翻阅大桥护栏的行为后，生成预警信息和位置信息，将预警信息和位置信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将预警信息和位置信息通过网络推送给值班民警的警务通；进一步的，边缘服务器对桥面图像信息进行行为识别，对攀爬和或翻阅大桥护栏的行为进行识别，识别出攀爬桥栏、翻越桥栏行为的关键帧，截取关键帧前后至少1秒的视频流，生成预警信息；摄像头在采集视频数据向边缘服务器发送数据的同时，还向边缘服务器发送摄像头的id编号，所述边缘服务器上还包括各摄像头id编号对照表，以及各摄像头id编号所对应的位置地图；边缘服务器对桥面图像信息进行行为识别，对攀爬和或翻阅大桥护栏的行为进行识别，识别出攀爬桥栏、翻越桥栏行为的关键帧时，根据摄像头的id编号生成位置信息。
29.实施例3：s4；第三类预警：徘徊行为预警b组摄像头中具有视频采集功能的网络摄像头的任何一个摄像头采集桥面图像信息，将采集到的桥面图像信息发送给边缘服务器，边缘服务器对桥面图像信息进行行为识别，对徘徊行为进行识别，识别出徘徊行为；进一步的，边缘服务器对对徘徊行为进行识别的方法包括如下步骤：s41，建立危险行为图像数据库，所述危险行为图像为剪辑过的历史跳桥轻生人员徘徊行为视频片段关键帧，或模拟的跳桥轻生人员徘徊行为视频片段关键帧；还包括训练集数据，所述训练集数据包括危险行为图像和无关行为图像；对训练集图像进行人工标记，将危险行为图像的文件名称标记为1-xi;将无关行为图像的文件名称标记为0-xi，得到人工标注结果；s42，建立待用深度学习模型，所述待用深度学习模型为卷积神经网络；采用python语言调用tensorflow深度学习框架，选用cnn卷积神经网络算法建立学习分类器系统；所述cnn卷积神经网络包括神经元权重和偏差；所述卷积神经网络convolutional neural networks, cnn）是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural networks），是深度学习（deep learning）的代表算法之一，本发明仅是调用了该算法，并未对该算法进行创新，对于卷积神经网络的工作原理及工作方式，属于现有技术，本发明在此不再累述。
30.s43，将训练集输入待用深度学习模型，深度学习模型通过调整内部的参数，得到有效深度学习模型；将训练集数据分别经过cnn卷积神经网络算法计算，分别得到cnn卷积神经网络预测结果集；预测结果集中由预测结果值组成，预测结果值为是和非两个值组成，是代表徘徊
行为，非代表无关行为；还包括迭代训练的步骤：将预测结果与人工标注结果进行比较，如果预测结果与人工标注结果不符，则对预测结果与人工标注结果不符的数据放入cnn卷积神经网络继续进行训练，调节cnn卷积神经网络中的神经元权重和偏差，最终使得预测结果与人工标注结果相符，从而得到能够判别徘徊行为的相适应的神经元权重和偏差，最终得到能够判别人员徘徊行为的神经元权重和偏差的有效深度学习模型；s44，在边缘服务器上部署有效深度学习模型；s45；边缘服务器上的有效深度学习模型识别出徘徊行为后，生成预警信息和位置信息，将预警信息和位置信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将预警信息和位置信息通过网络推送给值班民警的警务通；进一步的，边缘服务器对桥面图像信息进行行为识别，对徘徊行为进行识别，识别出徘徊行为的关键帧，截取关键帧前后至少1秒的视频流，生成预警信息；摄像头在采集视频数据向边缘服务器发送数据的同时，还向边缘服务器发送摄像头的id编号，所述边缘服务器上还包括各摄像头id编号对照表，以及各摄像头id编号所对应的位置地图；边缘服务器对桥面图像信息进行行为识别，对徘徊行为进行识别，识别出徘徊行为的关键帧时，根据摄像头的id编号生成位置信息。
31.实施例4：s5，第四类：落水行为预警c组摄像头的任何一个摄像头采集桥面图像信息，将采集到的落水水花图像信息发送给边缘服务器，边缘服务器对落水水花图像信息进行行为识别，对落水水花进行识别，识别出落水行为；进一步的，边缘服务器对对落水行为进行识别的方法包括如下步骤：s51，建立危险行为图像数据库，所述危险行为图像为剪辑过的历史跳桥轻生人员落水产生的水花视频片段关键帧，或模拟的跳桥轻生人员落水产生的水花视频片段关键帧；还包括训练集数据，所述训练集数据包括危险行为图像和无关行为图像；对训练集图像进行人工标记，将危险行为图像的文件名称标记为1-xi;将无关行为图像的文件名称标记为0-xi，得到人工标注结果；s52，建立待用深度学习模型，所述待用深度学习模型为卷积神经网络；采用python语言调用tensorflow深度学习框架，选用cnn卷积神经网络算法建立学习分类器系统；所述cnn卷积神经网络包括神经元权重和偏差；所述卷积神经网络convolutional neural networks, cnn）是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural networks），是深度学习（deep learning）的代表算法之一，本发明仅是调用了该算法，并未对该算法进行创新，对于卷积神经网络的工作原理及工作方式，属于现有技术，本发明在此不再累述。
32.s53，将训练集输入待用深度学习模型，深度学习模型通过调整内部的参数，得到
learning）的代表算法之一，本发明仅是调用了该算法，并未对该算法进行创新，对于卷积神经网络的工作原理及工作方式，属于现有技术，本发明在此不再累述。
34.s63，将训练集输入待用深度学习模型，深度学习模型通过调整内部的参数，得到有效深度学习模型；将训练集数据分别经过cnn卷积神经网络算法计算，分别得到cnn卷积神经网络预测结果集；预测结果集中由预测结果值组成，预测结果值为是和非两个值组成，是代表徘徊行为，非代表无关行为；还包括迭代训练的步骤：将预测结果与人工标注结果进行比较，如果预测结果与人工标注结果不符，则对预测结果与人工标注结果不符的数据放入cnn卷积神经网络继续进行训练，调节cnn卷积神经网络中的神经元权重和偏差，最终使得预测结果与人工标注结果相符，从而得到能够判别徘徊行为的相适应的神经元权重和偏差，最终得到能够判别人员徘徊行为的神经元权重和偏差的有效深度学习模型；s64，在边缘服务器上部署有效深度学习模型；s65；边缘服务器上的有效深度学习模型识别出跳桥轻生人员落水后行人围观行为后，生成预警信息和位置信息，将预警信息和位置信息发送给安装在公共安全主管部门网络中的行人轻生行为预警系统，行人轻生行为预警系统再将预警信息和位置信息通过网络推送给值班民警的警务通；进一步的，边缘服务器对行人围观行图像信息进行行为识别，对行人围观行进行识别，识别出行人围观行的关键帧，截取关键帧前后至少1秒的视频流，生成预警信息；摄像头在采集视频数据向边缘服务器发送数据的同时，还向边缘服务器发送摄像头的id编号，所述边缘服务器上还包括各摄像头id编号对照表，以及各摄像头id编号所对应的位置地图；边缘服务器对桥墩图像信息进行行为识别，对行人围观行为进行识别，识别出行人围观行为的关键帧时，根据摄像头的id编号生成位置信息。
35.实施例6：s7，严重关注预警。
36.具有视频采集功能的网络摄像头在采集视频图像时，同时记录视频图像发生的时间，并将带有时间的视频图像发送给边缘服务器；具有人脸识别功能的网络摄像头在对行人面部特征进行识别，识别出人脸特征码的同时，记录行人面部特征进行识别的时间，并将带有时间的人脸特征码发送给边缘服务器；以x1代表边缘服务器将人脸特征码与数据库中有关人员的人脸特征码进行比对，比对成功；以x2代表边缘服务器对攀爬和或翻阅大桥护栏的视频图像进行设别，识别出攀爬和或翻阅大桥护栏行为视频片段关键帧；以x3代表边缘服务器对徘徊行为视频图像进行设别，识别出徘徊行为视频片段关键帧；以x4代表边缘服务器对落水水花视频图像进行识别，识别出轻生人员落水水花视
频关键帧；以x5代表边缘服务器对围观行为视频图像进行识别，识别出围观行为视频关键帧；x1、x2、x3、x4、x5为时序关系，当后序预警发生时，前推若干时间，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。
37.优选的，前推的时间至少为5分钟，较佳的为15分钟、20分钟、30分钟、40分钟、50分钟、60分钟、70分钟、80分钟。
38.优选的，x1、x2、x3、x4、x5为时序关系，当后序预警发生时，前推1小时，若在指定的时间内发生任何前序预警，则预警级别为特别严重关注。边缘服务器将特别严重关注信息推送给大桥值班民警。
39.实施例8：本实施例与实施例7的不同点在于所述预警信息还包括预警级别，所述预警级别包括一级、二级、三级、四级；所述级别与识别出的行为对应关系表如下：
级别级别对应的关注度边缘服务器识别出的危险行为一级轻微关注x1二级一般关注x2、x5三级严重关注x3、x4四级特别严重关注x1、x2、x3、x4、x5为时序关系，当后序预警发生时，前推1小时，若在指定的时间内发生任何前序预警
实施例9：本实施例将行人轻生行为，分解为四个基于视频结构化技术的行为感知检测任务，通过对感知检测的结果进行逻辑加工，添加预警逻辑并产生行为预警。四个行为感知检测任务如下：（一）跳桥落水告警该项任务检测行人确已从桥上跳下（如果仅仅是攀爬栏杆不算），基于有监督的深度学习算法，进一步细分为越线行为识别、高空抛物行为识别、行人落水水花检测等多项特征检测，各项特征汇总预警，以与人工标记是否匹配为目标。任务着重解决训练数据中，视频中包含夜间视频以及检测角度不同的实际问题。
40.（二）攀爬栏杆预警该项任务检测行人攀爬栏杆的行为。攀爬栏杆是跳桥落水的预备行为，对攀爬栏杆的识别要区别跳桥落水：攀爬栏杆后跳桥落水不一定发生。对于既发生了攀爬栏杆，又发生了跳桥落水的行为：如果间隔时间较短，则可以直接告警跳桥落水（预警攀爬栏杆不算误报）；如果间隔时间超过5秒，攀爬栏杆和跳桥落水都要报警。
41.（三）人员聚集因为行人出现攀爬栏杆，或者其它异常行为时，其它行人往往会聚集围观，因此进行人员聚集行为感知识别检测辅助预警。这项预警需要根据业务逻辑进行预测后加工，一是根据业务常识判断聚集人数在5人以上（含5人）；二是排除行人组团出行，一同行进的情况；三是聚集判定的范围需要足够小（避免大区域内人员统计）（四）人员徘徊因为行人跳桥落水前，往往存在思想上的犹豫，因此进行人员徘徊行为感知识别检测辅助预警。这项预警要求对徘徊和停留的人员进行检测。这项预警需要根据业务逻辑进行预测后加工，一是徘徊检测确认时间设定在1分钟以上以避免误报。二是避免速度较慢
的正常行走误报。
42.本实施例方法使用的技术包括人脸识别、人体识别、行为分析、高空抛物分析技术。有效的利用现有监控视频，基于深度学习和在线推理来辅助识别行人轻生行为，做到自动准确预警。
43.1、人脸识别（1）人脸识别人脸识别是指通过对视频或图片中的人脸数据进行特征提取，形成人脸特征数据库，以便通过人脸图片在人脸数据库中进行检索，并可通过人脸布控对实时分析视频中的过人进行检查，对于命中的人脸进行告警。
44.人脸识别支持人脸识别图片模式和人脸识别视频模式。
45.基于人脸识别的分析智能报警系统，可针对在逃人员、人员、受控人员、失控人员等不同对象在机场、车站、地铁等室内通道关键监控场景中实时抓取人脸，通过与人脸库中的特征对比，实现被监控对象的身份落地，并实时预警。
46.人脸识别支持对人脸实时分析出来的人脸图片和人脸特征实时存入路人库；支持对历史视频进行人脸分析，提取人脸图片和人脸特征实时入路人库，历史视频分析支持分片模式分布式加速。
47.（2）人脸实时布控人脸识别支持实时布控，具体包括：通过前端摄像机进行人脸实时抓拍，对抓拍到的人脸进行识别并将人脸信息存入人脸特征资源库。
48.建立黑名单，将精神病人，极端诉求人员、热点事件相关人员、游客、跳桥人员等重点人员的照片提取面部特征导入计算机数据库。
49.实时分析视频中的人脸，把检测出的人脸与黑名单进行人脸比对，比对命中的人脸将产生一个告警；还包括对黑名单进行增删改查，分组管理；还包括对历史告警进行检索；2、人体识别人体以图搜图是指用户可以通过人体图片对视频信息进行搜索，从而过滤掉视频信息中的大部分信息，快速、准确的从海量视频中定位到目标人体信息。
50.人体以图搜图可根据目标人员衣着颜色分布、体态特征快速地在跨摄像头中进行全局搜索，查找出相似目标，然后将结果以快照形式输出，并按相似度进行排序。人体以图搜图建议场景有人员管控需求大的平安城市或重要园区，主要特点：将普通摄像头设置为以图搜图布控摄像机，增加系统灵活性，节省成本快速高效的查找人员信息，实现对人的高效管控3、行为分析视频图像解析检索包括行为分析功能，代替用户人力，自动检测视频中的关键信息，降低用户人力成本，提高效率，不同的智能分析适应不同的应用场景。
51.（1）越线越界检测越线越界检测是在监控区域内，对设定区域内的越线越界行为进行自动检测，并
对越线越界行为产生告警。用于监测是否有目标在监控区域内有越线越界行为。监控人员观察视频画面，派遣人员前往处理。包括多目标同时区域检测，可标注目标越线越界方向，并告警提示。
52.使用越线越界检测对录像进行分析，快速监测录像中是否有人员越线越界指定区域，提高查阅分析录像的效率。
53.（2）徘徊检测徘徊检测是在监控区域内，对设定区域内的人员滞留、徘徊行为进行自动检测，并对滞留、徘徊行为产生告警，支持多边形监控区域设置，只有进入区域内的目标才能触发告警。包括徘徊和滞留时间设置，目标在设定时间内离开则不触发告警，当滞留时间超过设置阙值时告警。
54.徘徊检测主要用于监测是否有目标在监控区域长时间徘徊。监控人员观察视频画面，派遣人员前往现场处理，有效预防跳桥行为发生。
55.徘徊检测可以实现24小时无休监控，及时发现并产生报警，节约监控室人力查看成本，提高员工的工作效率。
56.（3）物品遗留物品遗留是指检测监控区域中的遗留行为，并对符合遗留的行为产生告警。支持多边形监控区域设置，支持多遗留物识别。可以设置遗留物告警时间，当物品遗留超过设置时间，则触发告警。
57.物品遗留用于监测是否有目标被滞留在监控区域。监控人员观察视频画面，判断该目标对公众的影响，派遣人员前往处理，维护公众利益和生命安全。
58.物品遗留可以实现24小时无休监控，及时发现并产生报警，节约监控室人力查看成本，提高员工的工作效率。
59.（4）方向路径检测方向路经检测是指在视频监控视场中设定多条绊线和绊线方向，用于检测监控区域中目标连续跨越设置的多条绊线和移动方向。
60.使用方向路径检测对录像进行分析，快速监测录像中目标的移动路径，提高查阅分析录像的效率。
61.（5）人群密度检测人群密度检测主要应用于超市、市场、商场等购物场所和供休闲、游玩的广场、景区等娱乐场所，在视频监控区域内，系统可以自动检测指定监控区域的人群覆盖密度，人群密度大于指定密度时产生告警。
62.4、高空坠物分析功能高空坠物分析功能是一个主动的实时视频系统，该系统能够在无人干预的情况下，对监控范围内的实时情况进行24小时实时视频监控和操作管理。一旦在相机视野中发生异常，如有从高处坠落的物品,相机能在第一时间进行捕捉,并对坠物的移动轨迹进行跟踪,同时将报警信号传递到监控中心系统。等需要进行事后事件追踪时，能够通过操作监控系统管理软件，进行快速准备的视频录像回放，同时具有视频快照和视频录像下载备份功能，及时进行事件的追述和资料的保存。