闸机逃票检测方法、装置、计算机设备及存储介质与流程

1.本发明涉及逃票检测方法，更具体地说是指闸机逃票检测方法、装置、计算机设备及存储介质。


背景技术：

2.当前，地铁等轨道交通作为一种重要而便捷的交通方式，被越来越多的人所青睐。一般情况下，人们在乘坐地铁前需要购票，在进站时需要通过闸机进行检票，但每天都有很多乘客逃票，例如通过跨越闸机等方式进行逃票，给地铁公司带来了很大经济损失。
3.中国专利cn201910010440.8公开了一种基于红外热成像的地铁逃票行为检测方法及系统，包括如下步骤：检测行人是否进入闸机图像行人检测范围；利用自动更新背景进行红外热成像图像背景差分,提取行人红外热成像俯视图图像；对提取到的行人红外热成像俯视图图像进行形态学处理,得到基于自动更新合适的阈值的二值化行人通过闸机口的俯视图图像；对二值化的行人俯视图图像进行并行感兴趣子区域提取，设置roi区域与闸机口个数(n)相同,获得n个相互独立的二值化闸机通道行人俯视图；对n个相互独立的二值化闸机通道行人俯视图二值图像分别进行连通区域标记，获取行人参数；对n个闸机口逃票行为判定。采用该发明能够有效的识别并避免逃票行为。但是这种方法基于和红外热成像进行逃票检测成本较大，且需要固定摄像头这对于项目部署来说非常不友好，有一定的局限性，且基于二值化闸机通道行人俯视图二值图像进行判断往往受到光照等其他环境影响较大，无法保证效果的准确率。中国专利cn201911224925.3提供一种地铁乘客逃票行为检测系统和方法，该系统具体包括乘客信息标记模块，识别并标记乘客是否为需购票乘车乘客、是否携带婴儿，并抓取人脸信息，储存乘客动态乘车信息；刷卡行为识别莫ok，基于深度摄像的人体骨骼运动轨迹与刷卡区是否存在交集判断乘客是否刷卡；刷卡信息读取模块，读取闸机刷卡信息和时间，刷卡行为实施的同时又刷卡成功记录判定为刷卡成功；逃票行为判定与预警模块，结合乘客购票标记信息，刷卡行为识别信息，刷卡成功记录和通过人数识别逃票行为并预警；该方法基于深度摄像机进行拍摄，成本较大，且该系统需要结合刷卡信息读取摸摸看来获取逃票行为，无法直接进行图像信息来判断有一定局限性。中国专利cn201510144081.7公开了一种闸机检测系统及方法，该系统包括：三维图像信息采集模块，包括于从不同位置采集包含同一种待检测区域的二维图像信息的至少两个图像数据采集装置，用于获取待检测区域内的人体的影像信息；闸门状态获取模块，用于获取闸机的闸门状态信息；三维图像信息识别处理模块，用于利用所述人体的影像信息和所述闸门的状态信息判定人体是否发生逃票行为：报警模块，用于当所述人体发生逃票行为时进行报警；该方法需要采用三维图像信息采集模块成本较低，且需要基于闸机状态的获取，无法仅仅依据图像信息进行分析，部署项目也相对复杂。中国专利cn202110192793.1涉及一种基于乘客姿态快速估计的地铁闸机通行逃票方法，通过如下步骤进行识别，首先先通过地铁闸机视频监控信息采集，在进行地铁乘客骨骼关键点检测，最后同故宫闸机通行乘客逃票行为识别，但是该方法仅仅依据关键点信息来判断乘客逃票行为判断，该方法无法获取到乘客
逃票行为的连续特征，识别信息缺失影响乘客逃票的行为判断，其次仅仅依靠关键点信息进行逻辑判断，往往受摄像头拍摄的空间影响，带来识别不准确。
4.因此，有必要设计一种新的方法，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供闸机逃票检测方法、装置、计算机设备及存储介质。
6.为实现上述目的，本发明采用以下技术方案：闸机逃票检测方法，包括：
7.获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
8.将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；
9.将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
10.根据所述跟踪结果生成掩膜姿态关键点序列视频；
11.将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
12.当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
13.其进一步技术方案为：所述图片模型是基于yolov5模型添加mask分支形成的，且对于目标检测采用ciou损失函数，目标分类采用focal loss损失函数，对于语义分割采用dice损失函数，对于关键点检测采用adaloss损失函数。
14.其进一步技术方案为：所述将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图，包括：
15.将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取panet网络的n3、n4以及n5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。
16.其进一步技术方案为：所述跟踪模型通过若干个带有目标检测框标签的人体掩膜预测图训练simmask-transformer网络所得的。
17.其进一步技术方案为：所述根据所述跟踪结果生成掩膜姿态关键点序列视频，包括：
18.将所述跟踪结果中的关键点预测图通过yolov5-mp生成对应的姿态关键点预测图；
19.将所述跟踪结果中的人体掩膜预测图与姿态关键点预测图进行原始特征直接拼接合并，以形成融合图片；
20.对所述融合图片按时间进行合并，以生成掩膜姿态关键点序列视频。
21.其进一步技术方案为：所述行为识别模型是通过若干个逃票行为标签的掩膜姿态关键点序列视频训练3dtransformer-tin模型所得的。
22.其进一步技术方案为：所述逃票行为标签包括下蹲、跳跃以及尾随行为标签。
23.本发明还提供了闸机逃票检测装置，包括：
24.采样单元，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；
25.分割检测单元，用于将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；
26.跟踪单元，用于将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；
27.视频生成单元，用于根据所述跟踪结果生成掩膜姿态关键点序列视频；
28.行为检测单元，用于将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；
29.警告单元，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
30.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
31.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
32.本发明与现有技术相比的有益效果是：本发明通过获取摄像头拍摄的图像并进行切图，以将生成的待检测图片输入图片模型内进行人体实例分割以及关键点检测，结合跟踪模型进行目标跟踪，并生成掩膜姿态关键点序列视频，根据掩膜姿态关键点序列视频进行逃票行为检测，当存在逃票行为时，进行告警，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
33.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
34.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本发明实施例提供的闸机逃票检测方法的应用场景示意图；
36.图2为本发明实施例提供的闸机逃票检测方法的流程示意图；
37.图3为本发明实施例提供的闸机逃票检测方法的子流程示意图；
38.图4为本发明实施例提供的闸机逃票检测装置的示意性框图；
39.图5为本发明实施例提供的闸机逃票检测装置的视频生成单元的示意性框图；
40.图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示
所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
43.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
44.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
45.请参阅图1和图2，图1为本发明实施例提供的闸机逃票检测方法的应用场景示意图。图2为本发明实施例提供的闸机逃票检测方法的示意性流程图。该闸机逃票检测方法应用于服务器中。该服务器与光学摄像头以及终端进行数据交互，通过获取摄像头拍摄的视频，并对所述视频进行处理，以形成待检测图片，并利用图片模型进行人体实例分割以及关键点检测、跟踪模型进行目标跟踪，再生成掩膜姿态关键点序列视频，并将掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为识别，当存在逃票行为时，生成警告信息，并发送至终端进行提示；仅仅依赖于光学摄像机即可进行对乘客的逃票行为进行识别；无需对摄像机有固定的拍摄限制，仅需拍摄到闸机位置即可进行多人逃票同时检测；采用的微型模型对于实时性效果非常友好，可以及时对乘客逃票的行为进行报警，而且检测准确率高。
46.图2是本发明实施例提供的闸机逃票检测方法的流程示意图。如图2所示，该方法包括以下步骤s110至s160。
47.s110、获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片。
48.在本实施例中，待检测图片是指摄像头拍摄的设定的闸机范围内的图片。
49.具体地，通过光学摄像头，将摄像头的镜头对准乘客刷卡闸机区域，基于视频的方式对该区域进行监控，这里对摄像头采用固定焦距，对拍摄的视频采用切帧的方式生成待检测图片，这里采用的是每2帧进行切图。
50.s120、将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图。
51.在本实施例中，关键点预测图是指每个乘客每一帧的姿态关键点的预测图；人体掩膜预测图是指每个乘客每一帧的人体掩膜图。
52.具体地，所述图片模型是基于yolov5模型添加mask分支形成的，且对于目标检测采用ciou损失函数，目标分类采用focal loss损失函数，对于语义分割采用dice损失函数，对于关键点检测采用adaloss损失函数。
53.所述图片模型是基于yolov5模型进行改进，添加拥有mask分支形成的，所述图片模型命名为yolov5-mask模型，使得该模型可以同时支持目标检测以及分割任务从而到达实时的实例分割的任务。
54.在本实施例中，将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取panet网络的n3、n4以及n5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。
55.因为需要检测乘客这类型的目标，目标大小偏中大尺寸，所以在yolov5模型中选取panet网络的n3、n4以及n5层的输出信息，通过mask分支进行预测人体关键点预测图。为
了提升模型速度，基于n3层进行空间信息提取，并基于n5层的语义信息进行提取，将目标区域内的特征通过roi align机制及spp方法将对应的目标特征分别从各自特征层截取下来。对n5层截取的特征进行空洞卷积组和反卷积组进行上采样操作，对n3层截取的特征进行可变性卷积组的下采样操作，同时对n4层截取的特征进行二维卷积组卷积操作，这里的卷积组包含了各自的多次卷积操作，激活操作，这里使用mish激活函数，批次归一化等操作，最终三层的卷积输出结果nf3、nf4、nf5，保证其拥有相同的特征层大小。再将这三个输出结果进行concate操作使得三个输出结果进行合并，得到同时用于丰富的语义信息及空间信息的特征pe，接着对特征pe进行cbam(卷积块注意模块，convolutional block attention module)的注意力机制操作使其通道的个数等于关键点类别的数目加上目标类别数目，这里为1即人体类别。这里的关键点分别为左右眼、左右耳、左右肩、左右手肘、左右手腕、左右腰、左右膝盖、左右脚踝这些关键点。最后通过转置卷积的反卷积将特征图还原到原图目标大小并通过激活函数，这里使用sigmoid激活函数进行归一化，得到最终的人体的关键点高斯分布。对于每一个种类选取概率最大的关键点，同时通过阈值过滤掉概率较低的关键点，这样即可得到多类别的关键点预测图以及人体掩膜预测图。
56.这里需要注意的是该图片模型预测和训练对于mask以及关键点预测目标位置选取是有差别的，在预测中选取目标的位置是基于预测框位置的进行选取，再训练中通过标注框的信息对目标位置进行选取。图片模型对于目标检测采用了ciou损失函数，考虑在闸机区域的人体密集程度较稀疏的情况所以采用了fast-nms的过程，加快模型的推理。对于目标分类损失采用了focal loss损失函数，减少类别不平衡带来的影响，对于语义分割采用的是dice损失函数，对于关键点检测使用的损失函数为adaloss。
57.首先设定的闸机刷卡区域，对该区域内进行检测，并通过上述图片模型将采集的样本预测出人体框及对应的pmp(掩膜信息，person mask picture)以及人体对应的关键点信息。
58.s130、将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果。
59.在本实施例中，跟踪结果是指人体的行动轨迹。
60.具体地，所述跟踪模型通过若干个带有目标检测框标签的人体掩膜预测图训练simmask-transformer网络所得的。
61.具体地，在闸机区域内的目标数量控制在一定的范围内，所以可以仅仅根据已检测的人体掩膜预测图的特征的相似度即可判断是否是同一个目标，进而进行跟踪。这里基于将人体的掩膜信息即前景为人体本有的像素，背景rgb为0的像素的人体掩膜预测图输入到simmask-transformer网络中得出该目标的特征，这里通过triplet loss进行训练simmask-transformer网络，相同掩膜特征相似度很大，不同掩膜特征相似度很小，这样判断极大提高了模型识别速度，达到实时检测的效果。
62.simmask-transformer网络是指将前景为人体本有的像素，背景rgb为0的像素的人体掩膜预测图作为输入训练transformer网络所得的。
63.在进行目标跟踪中只需要计算出在闸机范围内不同目标的相似度即可进行跟踪，当相似度超过设定的阈值，则进行最大匹配进行目标跟踪，得到每个乘客的行动轨迹以及每个乘客的索引信息，如果两乘客坐标中心点距离低于阈值则将两乘客组合并单独保留其
轨迹信息，这里是为了检测尾随逃票情况。
64.s140、根据所述跟踪结果生成掩膜姿态关键点序列视频。
65.在本实施例中，掩膜姿态关键点序列视频是指拥有行动轨迹的关键点的时间序列视频。
66.在一实施例中，请参阅图3，上述的步骤s140可包括步骤s141～s143。
67.s141、将所述跟踪结果中的关键点预测图通过yolov5-mp生成对应的姿态关键点预测图。
68.在本实施例中，姿态关键点预测图是指人体关键点预测图通过yolov5-mp生成的关键点轨迹图片。
69.其中，yolov5-mp为基于yolov5模型进行改进，添加拥有关键点mask预测分支的模型。
70.s142、将所述跟踪结果中的人体掩膜预测图与姿态关键点预测图进行原始特征直接拼接合并，以形成融合图片。
71.在本实施例中，融合图片是指人体掩膜预测图与姿态关键点预测图进行特征合并形成的图片。
72.s143、对所述融合图片按时间进行合并，以生成掩膜姿态关键点序列视频。
73.具体地，根据每一个乘客和组合乘客的运动轨迹以及闸机的位置进行逻辑判断，判断出乘客从进入闸机直至离开闸机的过程。在此过程中记录下每个乘客每一帧的姿态关键点，即所述跟踪结果中的人体关键点预测图，通过yolov5-mp生成对应的kpp(姿态关键点预测图，keypoint picture)，将关键点的信息置为1，非关键点的信息置为0，不同类别关键点用不同通道表示。同时对人体的pmp(掩膜信息，person mask picture)图，对于是前景的内容置为原像素rgb三通道信息，对于是非背景的内容的rgb置为(0，0，0)，以保留不同人体的空间信息，最后将姿态关键点预测图kpp以及人体掩膜预测图pmp进行concate合并，以得到多个通道的pfp(预测融合图片，prediction fusion picture)，对于拥有轨迹的每个乘客或组合乘客的pfp按时间进行合并生成掩膜姿态关键点序列视频pfp-video。
74.s150、将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果。
75.在本实施例中，检测结果是指当前的待检测图片是否存在逃票行为的识别结果。不仅仅依据图像信息，也基于视频中图像之间的序列信息进行行为识别，检测准确率大大增强。
76.具体地，所述行为识别模型是通过若干个逃票行为标签的掩膜姿态关键点序列视频训练3dtransformer-tin模型所得的。
77.其中，3dtransformer-tin模型是指3dtransformer模型与tin结合形成的模型。
78.所述逃票行为标签包括下蹲、跳跃以及尾随行为标签。
79.具体地，在3dtransformer-tin模型中，所述掩膜姿态关键点序列视频经过spatio-temporal representation得到时序性的frames，再经过3d卷机得到特征图，对此进行了改进，通过对输入的frames作为transformer机制的输入，这样可以让时序性的信息相互联系，不仅仅可以找到视频序列间的特征也可以找到间隔的信息，更加加大对序列图像特征的理解，接着通过transformer输出的结果作为注意力特征通过3d卷机进行特征图
生成，由此确定是否存在逃票行为。
80.s160、当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
81.具体地，将乘客通过闸机的行为分别分为下蹲、跳跃、尾随以及通过4个类别，对于单人轨迹则进行下蹲、跳跃以及通过行为预测，对于多人组合轨迹则进行尾随以及通过预测。如果在闸机口发生下蹲，跳跃以及尾随的情况，则视为存在逃票行为，生成警告信息。
82.采用的微型模型对于实时性效果非常友好，可以及时对乘客逃票的行为进行报警。现有模型的基础上分别采用yolov5-mask模型，simmask-transformer模型以及于3dtransformer-tin模型，极大提高逃票行为检测的准确度。
83.上述的闸机逃票检测方法，通过获取摄像头拍摄的图像并进行切图，以将生成的待检测图片输入图片模型内进行人体实例分割以及关键点检测，结合跟踪模型进行目标跟踪，并生成掩膜姿态关键点序列视频，根据掩膜姿态关键点序列视频进行逃票行为检测，当存在逃票行为时，进行告警，实现实时对逃票行为检测，无需红外成像技术进行目标定位，节省大量成本，识别准确率高。
84.图4是本发明实施例提供的一种闸机逃票检测装置300的示意性框图。如图4所示，对应于以上闸机逃票检测方法，本发明还提供一种闸机逃票检测装置300。该闸机逃票检测装置300包括用于执行上述闸机逃票检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图4，该闸机逃票检测装置300包括采样单元301、分割检测单元302、跟踪单元303、视频生成单元304、行为检测单元305以及警告单元306。
85.采样单元301，用于获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；分割检测单元302，用于将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；跟踪单元303，用于将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；视频生成单元304，用于根据所述跟踪结果生成掩膜姿态关键点序列视频；行为检测单元305，用于将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；警告单元306，用于当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
86.在一实施例中，所述分割检测单元302，用于将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取panet网络的n3、n4以及n5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。
87.在一实施例中，如图5所示，所述视频生成单元304包括关键点预测图生成子单元3041、拼接子单元3042以及合并子单元3043。
88.关键点预测图生成子单元3041，用于将所述跟踪结果中的关键点预测图通过yolov5-mp生成对应的姿态关键点预测图；拼接子单元3042，用于将所述跟踪结果中的人体掩膜预测图与姿态关键点预测图进行原始特征直接拼接合并，以形成融合图片；合并子单元3043，用于对所述融合图片按时间进行合并，以生成掩膜姿态关键点序列视频。
89.需要说明的是，所属领域的技术人员可以清楚地了解到，上述闸机逃票检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
90.上述闸机逃票检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
91.请参阅图6，图6是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
92.参阅图6，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
93.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种闸机逃票检测方法。
94.该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
95.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种闸机逃票检测方法。
96.该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
97.其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
98.获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果生成掩膜姿态关键点序列视频；将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
99.其中，所述图片模型是基于yolov5模型添加mask分支形成的，且对于目标检测采用ciou损失函数，目标分类采用focal loss损失函数，对于语义分割采用dice损失函数，对于关键点检测采用adaloss损失函数。
100.所述跟踪模型通过若干个带有目标检测框标签的人体掩膜预测图训练simmask-transformer网络所得的。
101.所述行为识别模型是通过若干个逃票行为标签的掩膜姿态关键点序列视频训练3dtransformer-tin模型所得的。
102.所述逃票行为标签包括下蹲、跳跃以及尾随行为标签。
103.在一实施例中，处理器502在实现所述将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图步骤时，具体实现如下步骤：
104.将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取panet网络的n3、n4以及n5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。
105.在一实施例中，处理器502在实现所述根据所述跟踪结果生成掩膜姿态关键点序
列视频步骤时，具体实现如下步骤：
106.将所述跟踪结果中的关键点预测图通过yolov5-mp生成对应的姿态关键点预测图；将所述跟踪结果中的人体掩膜预测图与姿态关键点预测图进行原始特征直接拼接合并，以形成融合图片；对所述融合图片按时间进行合并，以生成掩膜姿态关键点序列视频。
107.应当理解，在本技术实施例中，处理器502可以是中央处理单元(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
108.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
109.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
110.获取摄像头拍摄的视频，并对所述视频进行处理，以得到待检测图片；将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图；将关键点预测图以及人体掩膜预测图输入至跟踪模型内进行目标跟踪，以得到跟踪结果；根据所述跟踪结果生成掩膜姿态关键点序列视频；将所述掩膜姿态关键点序列视频输入至行为识别模型内进行逃票行为检测，以得到检测结果；当所述检测结果是逃票行为时，生成警告信息，并发送所述警告信息至终端。
111.其中，所述图片模型是基于yolov5模型添加mask分支形成的，且对于目标检测采用ciou损失函数，目标分类采用focal loss损失函数，对于语义分割采用dice损失函数，对于关键点检测采用adaloss损失函数。
112.将所述待检测图片输入图片模型内，由图片模型的yolov5模型中选取panet网络的n3、n4以及n5层的输出信息通过mask分支进行人体关键点预测图的预测，并生成人体掩膜，以得到关键点预测图以及人体掩膜预测图。
113.所述跟踪模型通过若干个带有目标检测框标签的人体掩膜预测图训练simmask-transformer网络所得的。
114.所述行为识别模型是通过若干个逃票行为标签的掩膜姿态关键点序列视频训练3dtransformer-tin模型所得的。
115.所述逃票行为标签包括下蹲、跳跃以及尾随行为标签。
116.在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述待检测图片输入图片模型内进行人体实例分割以及关键点检测，以得到关键点预测图以及人体掩膜预测图步骤时，具体实现如下步骤：
117.在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述跟踪结果生成掩膜姿态关键点序列视频步骤时，具体实现如下步骤：
118.将所述跟踪结果中的关键点预测图通过yolov5-mp生成对应的姿态关键点预测
图；将所述跟踪结果中的人体掩膜预测图与姿态关键点预测图进行原始特征直接拼接合并，以形成融合图片；对所述融合图片按时间进行合并，以生成掩膜姿态关键点序列视频。
119.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
120.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
121.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
122.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
123.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
124.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。