闸机逃票识别方法、装置、计算机设备及存储介质与流程

1.本发明涉及逃票识别方法，更具体地说是指闸机逃票识别方法、装置、计算机设备及存储介质。


背景技术：

2.当前，地铁等轨道交通作为一种重要而便捷的交通方式，被越来越多的人所青睐。一般情况下，人们在乘坐地铁前需要购票，在进站时需要通过闸机进行检票，但每天都有很多乘客逃票，例如通过跨越闸机等方式进行逃票，给地铁公司带来了很大经济损失。
3.中国专利cn201910010440.8公开了一种基于红外热成像的地铁逃票行为检测方法及系统，包括如下步骤：检测行人是否进入闸机图像行人检测范围；利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像；对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；对二值化的行人俯视图图像进行并行感兴趣子区域提取，设置roi区域与闸机口个数(n)相同,获得n个相互独立的二值化闸机通道行人俯视图；对n个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；对n个闸机口逃票行为判定。采用该发明能够有效的识别并避免逃票行为。但是这种方法基于和红外热成像进行逃票检测成本较大，且需要固定摄像头这对于项目部署来说非常不友好，有一定的局限性，且基于二值化闸机通道行人俯视图二值图像进行判断往往受到光照等其他环境影响较大，无法保证效果的准确率。中国专利cn201911224925.3提供一种地铁乘客逃票行为检测系统和方法，该系统具体包括乘客信息标记模块，识别并标记乘客是否为需购票乘车乘客、是否携带婴儿，并抓取人脸信息，储存乘客动态乘车信息；刷卡行为识别莫ok，基于深度摄像的人体骨骼运动轨迹与刷卡区是否存在交集判断乘客是否刷卡；刷卡信息读取模块，读取闸机刷卡信息和时间，刷卡行为实施的同时又刷卡成功记录判定为刷卡成功；逃票行为判定与预警模块，结合乘客购票标记信息，刷卡行为识别信息，刷卡成功记录和通过人数识别逃票行为并预警；该方法基于深度摄像机进行拍摄，成本较大，且该系统需要结合刷卡信息读取摸摸看来获取逃票行为，无法直接进行图像信息来判断有一定局限性。中国专利cn201510144081.7公开了一种闸机检测系统及方法，该系统包括：三维图像信息采集模块，包括于从不同位置采集包含同一种待检测区域的二维图像信息的至少两个图像数据采集装置，用于获取待检测区域内的人体的影像信息；闸门状态获取模块，用于获取闸机的闸门状态信息；三维图像信息识别处理模块，用于利用所述人体的影像信息和所述闸门的状态信息判定人体是否发生逃票行为：报警模块，用于当所述人体发生逃票行为时进行报警；该方法需要采用三维图像信息采集模块成本较低，且需要基于闸机状态的获取，无法仅仅依据图像信息进行分析，部署项目也相对复杂。中国专利cn202110192793.1涉及一种基于乘客姿态快速估计的地铁闸机通行逃票方法，通过如下步骤进行识别，首先通过地铁闸机视频监控信息采集，再进行地铁乘客骨骼关键点检测，最后同故宫闸机通行乘客逃票行为识别，但是该方法仅仅依据关键点信息来判断乘客逃票行为判断，该方法无法获取到乘客逃
票行为的连续特征，识别信息缺失影响乘客逃票的行为判断，其次仅仅依靠关键点信息进行逻辑判断，往往受摄像头拍摄的空间影响，带来识别不准确。
4.因此，有必要设计一种新的方法，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供闸机逃票识别方法、装置、计算机设备及存储介质。
6.为实现上述目的，本发明采用以下技术方案：闸机逃票识别方法，包括：
7.获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
8.将所述待检测图片输入图片模型内进行人体关键点检测，以得到人体框以及人体关键点预测图；
9.将所述人体框输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
10.根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频；
11.将所述姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
12.当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
13.其进一步技术方案为：所述图片模型是在yolov5模型的基础上添加关键点mask预测分支。
14.其进一步技术方案为：所述跟踪模型是在bytetrack模型的基础上增加稀疏光流法形成的，其中，当跟踪模型采用bytetrack模型跟踪目标，且在连续指定帧数内都没有检测到目标时，将所述目标从消失时刻提前若干帧进行光流追踪，直到所述目标在指定帧数内被找到，则继续延用bytetrack模型进行目标跟踪。
15.其进一步技术方案为：所述根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频，包括：
16.将所述人体关键点预测图通过yolov5-mp生成对应的姿态关键图；
17.根据所述跟踪结果确定具备行动轨迹的姿态关键图，以得到目标姿态关键图；
18.对所述目标姿态关键图按时间进行合并，以生成姿态关键点序列视频。
19.其进一步技术方案为：所述行为识别模型是在movinet模型的基础上将3d卷积修改为可变性的3d卷积且并行加入了fast分支形成的。
20.其进一步技术方案为：所述fast分支采用时空上下文模型的3d卷积对所述姿态关键点序列视频进行抽帧取样分类。
21.其进一步技术方案为：所述逃票行为包括下蹲、跳跃以及尾随行为。
22.本发明还提供了闸机逃票识别装置，包括：
23.采样单元，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
24.关键点检测单元，用于将所述待检测图片输入图片模型内进行人体关键点检测，以得到人体框以及人体关键点预测图；
25.跟踪单元，用于将所述人体框输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
26.视频生成单元，用于根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频；
27.行为检测单元，用于将所述姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
28.告警单元，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
29.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
30.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
31.本发明与现有技术相比的有益效果是：本发明通过获取摄像头拍摄的图像并进行切图，以将生成的待检测图片输入图片模型内进行人体关键点检测，结合跟踪模型进行目标跟踪，并生成姿态关键点序列视频，根据姿态关键点序列视频进行逃票行为检测，当存在逃票行为时，进行告警，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
32.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
33.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明实施例提供的闸机逃票识别方法的应用场景示意图；
35.图2为本发明实施例提供的闸机逃票识别方法的流程示意图；
36.图3为本发明实施例提供的闸机逃票识别方法的子流程示意图；
37.图4为本发明实施例提供的闸机逃票识别装置的示意性框图；
38.图5为本发明实施例提供的闸机逃票识别装置的视频生成单元的示意性框图；
39.图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
42.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
43.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
44.请参阅图1和图2，图1为本发明实施例提供的闸机逃票识别方法的应用场景示意图。图2为本发明实施例提供的闸机逃票识别方法的示意性流程图。该闸机逃票识别方法应用于服务器，该服务器与终端以及摄像头进行数据交互，通过获取摄像头拍摄的视频，并对所述视频进行处理，以形成待检测图片，并利用图片模型进行人体关键点检测、跟踪模型进行目标跟踪，再生成姿态关键点序列视频，并将姿态关键点序列视频输入至行为识别模型内进行逃票行为识别，当存在逃票行为时，生成警告信息，并发送至终端进行提示；仅仅依赖于光学摄像机即可进行对乘客的逃票行为进行识别，无需对摄像机有固定的拍摄限制，仅需拍摄到闸机位置即可进行多人逃票同时检测，采用的微型模型对于实时性效果非常友好，可以及时对乘客逃票的行为进行报警，识别准确率高。
45.图2是本发明实施例提供的闸机逃票识别方法的流程示意图。如图2所示，该方法包括以下步骤s110至s160。
46.s110、获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片。
47.在本实施例中，待检测图片是指摄像头拍摄的设定的闸机范围内的图片。
48.具体地，将光学摄像头的镜头对准乘客刷卡闸机区域，基于视频的方式对该区域进行监控，这里对光学摄像头采用固定焦距，固定角度及位置，对拍摄的视频采用切帧的方式生成图片，这里采用每2帧进行切图生成拥有一定时间序列的帧图片，即待检测图片。
49.仅仅依赖于光学摄像头，无需红外成像技术进行目标定位，节省大量成本。
50.s120、将所述待检测图片输入图片模型内进行人体关键点检测，以得到人体框以及人体关键点预测图。
51.在本实施例中，人体框是指乘客在待检测图片内的坐标位置形成的定位框。
52.所述图片模型是在yolov5模型的基础上添加关键点mask预测分支，该图片模型可以同时支持目标检测以及关键点检测的任务，采用自上而下的方式进行，通过yolov5模型的预测回归框分支定位人体目标空间坐标，再基于该坐标位置预测出其内部的关键点位置及类型。
53.具体地，需要检测乘客这类型的目标，目标大小偏中大尺寸，所以在yolov5模型中选取panet网络的n3层、n4层以及n5层的输出信息，通过关键点mask预测分支进行人体关键点预测图的预测。为了提升模型速度，基于n3层进行空间信息的提取，并基于n5层进行语义信息的提取，将目标区域内的特征通过roi align机制及spp方法将对应的目标特征分别从各自特征层截取下来，对n5层截取的特征进行空洞卷积组和反卷积组进行上采样操作，对n3层截取的特征进行可变性卷积组的下采样操作，同时对n4层截取的特征进行二维卷积组卷积操作，这里的卷积组包含了各自的多次卷积操作，激活操作，这里使用mish激活函数，批次归一化等操作，最终三层的卷积输出结果为nf3、nf4、nf5，保证其拥有相同的特征层大小，再将这三个输出结果进行concate操作，使得三个输出结果进行合并，得到同时用于丰富的语义信息及空间信息的特征pe，接着对特征pe进行cbam的注意力机制操作，使其通道数的个数等于目关键点类别的数目，这里的关键点分别为左右眼、左右耳、左右肩、左右手肘、左右手腕、左右腰、左右膝盖、左右脚踝等关键点，最后通过转置卷积的反卷积将特征图还原到原图目标大小并通过激活函数得到最终的人体关键点预测图；这里使用sigmoid激
活函数进行归一化，对于每一个种类选取概率最大的关键点，同时通过阈值过滤掉概率较低的关键点。
54.图片模型的预测和训练对于关键点预测中目标位置选取是有差别的，在预测中选取目标的位置是基于预测框位置的进行选取，在训练中，通过标注框的信息对目标位置进行选取，最终输入到关键点检测分支预测出关键点的位置及对应类别。图片模型对于目标检测采用的了ciou损失函数，考虑在闸机区域的人体密集程度较稀疏的情况，所以采用了fast-nms的过程，以加快模型的推理。对于目标分类损失采用了focal loss，减少前后背景不平衡带来的影响，对于关键点检测使用的损失函数为adaloss。
55.首先设定的闸机刷卡区域，对该区域内进行检测，并通过上述的图片模型将采集的样本预测出人体框及对应的人体关键点信息即人体关键点预测图。
56.s130、将所述人体框输入至跟踪模型内进行目标跟踪，以得到跟踪结果。
57.在本实施例中，跟踪结果是指人体的行动轨迹，也就是乘客的行为轨迹。
58.所述跟踪模型是在bytetrack模型的基础上增加稀疏光流法形成的，其中，当跟踪模型采用bytetrack模型跟踪目标，且在连续指定帧数内都没有检测到目标时，将所述目标从消失时刻提前若干帧进行光流追踪，直到所述目标在指定帧数内被找到，则继续延用bytetrack模型进行目标跟踪。
59.具体地，所述跟踪模型是在bytetrack模型的基础上增加稀疏光流法形成的，其中，当跟踪模型采用bytetrack模型跟踪目标，且在连续5帧内都没有检测到目标时，将所述目标从消失时刻提前10帧进行光流追踪，直到所述目标在5帧内被找到，则继续延用bytetrack模型进行目标跟踪。
60.跟踪模型基于的模型是bytetrack模型，在此基础上，对于检测中缺失的目标采用光流法进行目标轨迹预测，这里的光流法是基于稀疏光流的算法，当目标基于bytetrack模型跟踪的时候在连续5帧内都没有检测到物体的情况下，将该目标从消失提前10帧进行光流追踪，至到该目标在5帧内被找到，则继续延用bytetrack模型的跟踪算法，以弥补在目标检测漏检的情况下追踪的效果差的情况，提高了目标的召回率同时也提高了追踪效果，尤其是在乘客拥挤的情况下，经常出现目标遮挡情况，此方法就能很好的解决问题，其中对于内部的iou匹配算法这里改进使用了ciou匹配进一步提升了模型的效果。
61.通过图片模型预测出来的人体框进行跟踪，得到每个乘客的行动轨迹以及每个乘客的索引信息，如果两乘客中心点距离低于阈值则将两乘客组合并单独保留其轨迹信息，这里是为了检测尾随逃票情况。
62.s140、根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频。
63.在本实施例中，姿态关键点序列视频是指拥有行动轨迹的关键点的时间序列视频。
64.在一实施例中，请参阅图3，上述的步骤s140可包括步骤s141～s143。
65.s141、将所述人体关键点预测图通过yolov5-mp生成对应的姿态关键图。
66.在本实施例中，姿态关键图是指人体关键点预测图通过yolov5-mp生成的关键点轨迹图片。
67.其中，yolov5-mp为基于yolov5模型进行改进，添加拥有关键点mask预测分支的模型。
68.s142、根据所述跟踪结果确定具备行动轨迹的姿态关键图，以得到目标姿态关键图。
69.在本实施例中，目标姿态关键图是指具备行动轨迹的姿态关键图。
70.s143、对所述目标姿态关键图按时间进行合并，以生成姿态关键点序列视频。
71.具体地，根据每一个乘客和组合乘客的运动轨迹以及闸机的位置进行逻辑判断，判断出乘客从进入闸机直至离开闸机的过程，在此过程中，记录下每个乘客每一帧的姿态关键点即人体关键点预测图，并生成对应的kpp(姿态关键图，keypoint picture)，将关键点的信息置为1，非关键点的信息置为0，不同类别关键点用不同通道表示，对于拥有轨迹的每个乘客或组合乘客的姿态关键图按时间进行合并，以生成姿态关键点序列视频kpp-video。不仅仅依据图像信息，也基于视频中图像之间的序列信息进行行为识别，逃票行为识别的效果大大增强。
72.s150、将所述姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果。
73.在本实施例中，检测结果是指当前的待检测图片是否存在逃票行为的识别结果。不仅仅依据图像信息，也基于视频中图像之间的序列信息进行行为识别，检测准确率大大增强。
74.所述行为识别模型是在movinet模型的基础上将3d卷积修改为可变性的3d卷积且并行加入了fast分支形成的。所述fast分支采用时空上下文模型的3d卷积对所述姿态关键点序列视频进行抽帧取样分类。
75.具体地，采用的是姿态关键点序列视频kpp-video作为行为识别模型输入，进行行为识别，为了使行为识别模型更鲁棒，训练的过程中，对于输入的姿态关键点序列视频帧间隔1-3帧随机抽取的方式进行训练，同时对行为识别模型的3d卷积修改为可变性的3d卷积，增强行为识别模型对非规则物体的适应，尤其是非网格方形目标有较好的效果，并行加入了fast分支，fast分支采用了时空上下文模型的3d卷积即spatio-temporal fast 3d convolutions对姿态关键点序列视频进行抽帧取样分类，这里选取的抽帧间隔为4帧，使得行为识别模型更容易理解动作的全局信息，提升行为识别模型的预测准确度。在训练的时候会对关键点进行部分随机抹去，每次抹去2-4个关键点，以使得行为识别模型适应部分遮挡情况。
76.s160、当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
77.所述逃票行为包括下蹲、跳跃以及尾随行为。
78.具体地，将乘客通过闸机的行为分别分为下蹲、跳跃、尾随以及通过4个类别，对于单人轨迹则进行下蹲、跳跃以及通过行为预测，对于多人组合轨迹则进行尾随以及通过预测。如果在闸机口发生下蹲，跳跃以及尾随的情况，则视为存在逃票行为，生成警告信息。
79.本实施例仅仅依赖于光学摄像机即可进行对乘客的逃票行为进行识别，无需对摄像机有固定的拍摄限制，仅需拍摄到闸机位置即可进行多人逃票同时检测，采用的微型模型对于实时性效果非常友好，可以及时对乘客逃票的行为进行报警，在现有模型的基础上改进，形成图片模型、跟踪模型以及行为识别模型，极大提高逃票行为检测的准确度。
80.上述的闸机逃票识别方法，通过获取摄像头拍摄的图像并进行切图，以将生成的
待检测图片输入图片模型内进行人体关键点检测，结合跟踪模型进行目标跟踪，并生成姿态关键点序列视频，根据姿态关键点序列视频进行逃票行为检测，当存在逃票行为时，进行告警，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
81.图4是本发明实施例提供的一种闸机逃票识别装置300的示意性框图。如图4所示，对应于以上闸机逃票识别方法，本发明还提供一种闸机逃票识别装置300。该闸机逃票识别装置300包括用于执行上述闸机逃票识别方法的单元，该装置可以被配置于服务器中。具体地，请参阅图4，该闸机逃票识别装置300包括采样单元301、关键点检测单元302、跟踪单元303、视频生成单元304、行为检测单元305以及告警单元306。
82.采样单元301，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；关键点检测单元302，用于将所述待检测图片输入图片模型内进行人体关键点检测，以得到人体框以及人体关键点预测图；跟踪单元303，用于将所述人体框输入至跟踪模型内进行目标跟踪，以得到跟踪结果；视频生成单元304，用于根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频；行为检测单元305，用于将所述姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；告警单元306，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
83.在一实施例中，如图5所示，所述视频生成单元304包括关键图生成子单元3041、筛选子单元3042以及合并子单元3043。
84.关键图生成子单元3041，用于将所述人体关键点预测图通过yolov5-mp生成对应的姿态关键图；筛选子单元3042，用于根据所述跟踪结果确定具备行动轨迹的姿态关键图，以得到目标姿态关键图；合并子单元3043，用于对所述目标姿态关键图按时间进行合并，以生成姿态关键点序列视频。
85.需要说明的是，所属领域的技术人员可以清楚地了解到，上述闸机逃票识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
86.上述闸机逃票识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
87.请参阅图6，图6是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
88.参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
89.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种闸机逃票识别方法。
90.该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
91.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种闸机逃票识别方法。
92.该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用
于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
93.其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
94.获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体关键点检测，以得到人体框以及人体关键点预测图；将所述人体框输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频；将所述姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
95.其中，所述图片模型是在yolov5模型的基础上添加关键点mask预测分支。
96.所述跟踪模型是在bytetrack模型的基础上增加稀疏光流法形成的，其中，当跟踪模型采用bytetrack模型跟踪目标，且在连续指定帧数内都没有检测到目标时，将所述目标从消失时刻提前若干帧进行光流追踪，直到所述目标在指定帧数内被找到，则继续延用bytetrack模型进行目标跟踪。
97.所述行为识别模型是在movinet模型的基础上将3d卷积修改为可变性的3d卷积且并行加入了fast分支形成的。
98.所述fast分支采用时空上下文模型的3d卷积对所述姿态关键点序列视频进行抽帧取样分类。
99.所述逃票行为包括下蹲、跳跃以及尾随行为。
100.在一实施例中，处理器502在实现所述根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频步骤时，具体实现如下步骤：
101.将所述人体关键点预测图通过yolov5-mp生成对应的姿态关键图；根据所述跟踪结果确定具备行动轨迹的姿态关键图，以得到目标姿态关键图；对所述目标姿态关键图按时间进行合并，以生成姿态关键点序列视频。
102.应当理解，在本技术实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
103.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
104.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
105.获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体关键点检测，以得到人体框以及人体关键点预测图；将所
述人体框输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频；将所述姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
106.其中，所述图片模型是在yolov5模型的基础上添加关键点mask预测分支。
107.所述跟踪模型是在bytetrack模型的基础上增加稀疏光流法形成的，其中，当跟踪模型采用bytetrack模型跟踪目标，且在连续指定帧数内都没有检测到目标时，将所述目标从消失时刻提前若干帧进行光流追踪，直到所述目标在指定帧数内被找到，则继续延用bytetrack模型进行目标跟踪。
108.所述行为识别模型是在movinet模型的基础上将3d卷积修改为可变性的3d卷积且并行加入了fast分支形成的。
109.所述fast分支采用时空上下文模型的3d卷积对所述姿态关键点序列视频进行抽帧取样分类。
110.所述逃票行为包括下蹲、跳跃以及尾随行为。
111.在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述跟踪结果结合所述人体关键点预测图生成姿态关键点序列视频步骤时，具体实现如下步骤：
112.将所述人体关键点预测图通过yolov5-mp生成对应的姿态关键图；根据所述跟踪结果确定具备行动轨迹的姿态关键图，以得到目标姿态关键图；对所述目标姿态关键图按时间进行合并，以生成姿态关键点序列视频。
113.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
114.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
115.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
116.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
117.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
118.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。