一种视频人体特征检测、联动告警方法及存储介质与流程

1.本发明主要涉及到视频数据结构化应用以及人工智能图像匹配应用领域，具体来说，就是将监控视频拍摄到的视频画面通过截图抽帧的方式，提取视频图像内容元素，然后再与数据库中目标图像进行比对，从而得出相关结果。再根据相关结果做出下一步的预警处理的方法及系统。


背景技术：

2.随着人工智能技术的发展，单纯面部识别应用已经不能满足行业应用需求。目前在视频领域，基础硬件方面已经趋于完善。通过在线传输产生的视频、图像利用相关人工智能算法来进行异常识别，从而判断出来是够需要采取预警措施，并且将这种预警方式实时推送到相关单位值班人员，从而能够极大的提高工作效率，节省时间处理时间。
3.基于上述的业务现状，现有的预警方式主要是通过值班人员在值班室通过人工观察的方式来判断是否有异常行为，这种处理方式不能在大面积图像下应用，也不能做到7*24小时不间断监测。那么就需要通过人工智能的方式来实现，将相关需要监测的行为通过算法的方式部署到服务器，然后自动对所有监控视频图像监测。


技术实现要素：

4.本发明主要所解决的问题在于如何个性化的实现人体特征监测，并且能够随时灵活调整，从而不断适应业务变化需要。
5.本发明通过一下技术手段来解决上面的技术问题：
6.一种视频人体特征检测、联动告警方法及存储介质，包括以下步骤：
7.s01.根据现阶段的业务需要，确定需要重点关注的人体行为特征；
8.s02.在历史视频数据库文件中，提取相关符合本特征的原始图像文件；
9.s03.根据提取出来的特征原始图像文件，训练获取目标神经网络模型；
10.s04.生成相关模型算法，利用新的图像数据进行匹配验证；
11.s05.验证成功后，开始部署到视频中心服务器，服务器开始自动抽取视频图像中的图片进行目标比对；
12.s06.比对成功后，系统记录比对结果，并自动向相关人员推送告警
13.根据本发明提供的一种视频人体特征检测、联动告警方法及存储介质，在目标视频中获取有多个相同视频样本图像集合，并且对每个视频图像样本集合的目标对象做第一次标记过程中，还包括对视频图像像素、图像分辨率大小低于预期阈值的图像集合中每一帧样本图像做出第二次标记；再根据有标记第一次样本以及第二次标记样本的数据集合进行第二次样本集训练。
14.根据本发明提供的一种视频人体特征检测、联动告警方法及存储介质，所识别的特征主要包括人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西识别。
15.根据本发明提供的一种视频人体特征检测、联动告警方法及存储介质，在获取到样本图像文件之后，还对每个样本视频图像集合中的样本图片做图像增强处理，并根据图像增强后的实际效果再将增强后的样本图像构建样本训练集。
16.本发明还提供了一种人体特征识别装置，具体包括：
17.视频图像采集模块，用于将需要识别的对象采集，采集完成后自动抽帧，将原始视频文件转换为图像文件；
18.图像识别模块，本模块主要用于将多个图像文件输入到训练好的图像识别模型中，从而可以得出相应的识别结果。其中，训练好的图像模型是由 transformer网络、卷积神经网络和全连接层构建的，并且通过标记有人体特征类别标签的样本图像训练得到的。
19.本发明还提供了一套对应的计算机可读存储介质，将存储有本模型程序的计算机程序部署到计算机系统上面，即可实现上述人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西识别等任何一项功能。
20.本发明配套系统提供通信告警功能，在发现上述人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西识别对象的时候，可以选择是否通知到对应通信终端上。
21.本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西任意一种图像视频方法和步骤。
22.本发明结合卷积神经网络和transformer网络，使得在对人体特征提取的时候，可获得图像特征具有时序性信息，从而结合相关图片信息以及时序性信息，能够更加准确的判断出运动方向以及速度等相关信息。
附图说明
23.为了更加清楚的说明本发明的技术实现方案，下面将实现步骤以及过程使用附图做介绍，通过附图介绍能够更直观的展示本系统原理。
24.图1为一种视频人体特征检测、联动告警方法及存储介质的整体流程示意图；
25.图2为一种视频人体特征检测、联动告警方法及存储介质中识别过程示意图；
26.图3为一种视频人体特征检测、联动告警方法及存储介质电子设备的结构示意图。
具体实施方式
27.我们结合发明中的附图文件，更加清楚的介绍本发明的目的以及优点。需要特别说明的是，在此描述的实施实例仅是本发明的其中一部分而不是全部。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获取的所有其他实施例，都属于本发明保护的范围。
28.本发明的采集到的原始视频图像是通过视频监控设备拍摄到的，视频监控设备拍摄的工作过程以及特点主要包括：1、视频监控部署在户外、室内高点，通过高空的方式向下拍摄；2、视频拍摄的场景受到光线、室外天气环境影响，所以需要拍摄的场景画面尽可能多，单个场景的原始图像数量可是 3000～5000张；3、由于拍摄的是整个场景，在视频图像
中一定会存在其他元素图像；
29.在本发明过程中，是通过视频监控设备的视频画面截图的方式获取到图像格式文件(jpg格式)，本过程可以通过软件自动完成后保存在固定文件夹中，对于同一个视频终端识别拍摄到的图像，可以按照视频图像抽帧顺序保存时间戳，从而形成带有连续帧的图像文件。
30.将图像文件集合中挑选出带有人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西对象的图像挑选出来，然后放入另外一个文件夹中。
31.图1在上述过程实例基础上，细分为一下过程步骤：
32.步骤s01.根据现阶段的业务需要，确定需要重点关注的人体行为特征；
33.步骤s02.在历史视频数据库文件中，提取相关符合本特征的原始图像文件；
34.步骤s03.根据提取出来的特征原始图像文件，训练获取目标神经网络模型；
35.步骤s04.生成相关模型算法，利用新的图像数据进行匹配验证；
36.步骤s05.验证成功后，开始部署到视频中心服务器，服务器开始自动抽取视频图像中的图片进行目标比对；
37.步骤s06.比对成功后，系统记录比对结果，并自动向相关人员推送告警
38.图2将挑选出来的带有人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西分别将图像中的对象用不同序号标识，形成卷积神经网络、 transformer网络训练所需要的原始数据集。
39.将标注好的原始数据集加入训练，训练完成后生产相关结果后，再加入不同的图像对象进行识别、验证。
40.在本发明中，针对不同环境下，为了在训练时得到更加精细的图像特征，更好的学习到不同图片之前的区别，对样本图像精细标注的时候，需要将每一种标签下的目标不断细化，从而提升了模型的识别精准程度。
41.在上述实例的基础上，所述卷积神经网络为shufflenetv2网络
42.在本发明中，在模型训练的时候，使用的是tta(test timeaugmentation)，目的是对同样一张样本图像进行多种不同的图像处理，从而能够有更多的样本图片用于训练。在模型验证阶段，根据这些增强处理后得到的样本图片对模型进行测试验证，再对测试结果进行加权融合。通过这样的处理方式，能够获取到更加具有泛化能力的效果，从而比单个图像获取的准确率更高。
43.本发明针对现有对人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西进行识别时候，对于准确率低的问题，采用了transformer网络与卷积神经网络结合的方法，更好的对目标对象进行识别。通过卷积神经网络先对目标对象单张进行特征提取，然后再输入到transformer网络，结合整体全局特征，从而能够更好的判断出各张图像中的目标对象信息以及所属类别。
44.图3本发明中提供的目标识别装置结构示意图，包括了该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信接口 (communicationsinterface)303、和通信总线304，其中的处理器、存储器、通信接口是通过通信总线连接来完成交互。处理器可以调用存储器中的逻辑指令，以执行图像识别方法。
45.具体识别方法包含：根据原始视频图像抽帧成为原始图像集合，将图像集合加入到训练集合中，将训练好的结果放入模型识别库中，其中，所训练好的识别模型是由transformer网络与卷积神经网络结合的方式构建的，并且通过标记有人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西的标签样本图像训练得到的。
46.本发明还提供了一种计算机程序产品，所述的计算机程序产品包括存储在计算机可存储介质上，当程序指令被计算机执行的时候，计算机能够执行上述所提供的人体着装颜色、人体目标大小、运动方向、速度、年龄段、性别、发型、是否戴眼镜、口罩、帽子、是否骑车、是否背包、是否拎东西识别方法，并且将识别的结果告警到预先设定的通知人通信终端上。
47.通过以上实施方式的描述，本领域的技术人员可以清楚的了解到各实施方式可以借助软件加载通用的硬件平台的方式来实现，当然也可以通过纯硬件的方式来实现。基于这样的理解，本技术方案本质上来说可以通过软件平台的方式来体现，该计算机软件产品可以存储在计算机可读存储介质中，执行各个实例或者执行本发明中的任意一部分实例。
48.最后需要说明的是:以上实施实例仅用说明本发明的技术方案，而非对其限制；尽管参照上述实例对本发明进行的说明，本领域的技术人员应该可以很快理解到，但是，领域内的技术人员也可以对实例中记载的技术方案进行修改或者进行同等替换，并不使响应技术方案的本质脱离本发明中各实例技术方案的精神和范围。