一种违规行为AI识别系统的制作方法

一种违规行为ai识别系统
技术领域
1.本发明涉及行为监测技术领域，尤其涉及一种违规行为ai识别系统。


背景技术：

2.行为识别是近年来一个颇具吸引力和挑战性的研究方向，即给定一段裁剪好的视频，通过计算机视觉技术判断这段视频中人类的行为类别。近年来深度卷积神经网络的发展以及大规模标记数据集的出现，显著提高了行为识别的准确性。行为识别技术在智能安防、人机交互、视频理解、医疗健康等众多领域扮演着越来越重要的角色。
3.在一些需要高度集中的工作岗位，例如司机、医生、监考和安检观察员等，为了时刻观察工作人员或应试人员的动态，防止其乏累造成的工作疏忽或作弊，通常在工作区域安装行为识别设备，时刻观察人员的工作状态。
4.而目前的行为识别设备普遍价格偏高，且稳定性较差，容易受电磁、环境温度的干扰；设备在运行时，散热能力较弱，容易影响设备的正常工作；另一方面，目前的识别设备操作繁琐、管理和维护较难，同时也增加了用户的成本。
5.如专利申请号为cn202010055549.6的专利提出了一种基于视频的行为识别方法、装置、电子设备和存储介质，该专利所记载的技术方案包括确定待识别视频的图像序列；将图像序列输入至行为识别模型，得到行为识别模型输出的行为识别结果；行为识别模型是基于样本视频的样本图像序列和样本行为识别结果训练得到的；其中，行为识别模型用于对图像序列中连续图像的图像特征、时间特征和运动特征进行编码，得到连续图像的时空特征，并基于连续图像的时空特征进行行为识别，时间特征和运动特征是基于连续图像的图像特征确定的，该专利提供的方法、装置、电子设备和存储介质，在保证高精度的行为识别的同时，极大程度上减轻了时空特征编码的计算量，提高了行为识别效率。虽然该专利提高了行为识别效率，但是其成本过高，并不利于市场的推广。
6.还如专利申请号为cn200880004633.2的专利提出了一种行为识别系统，该专利基于对视频帧的分析来确定该流中所描述的对象。每个对象可以具有用来逐帧地跟踪对象的运动的相应的搜索模型。确定对象的分类并且生成对象的语义表示。语义表示被用来确定对象的行为并且学习由所获得的视频流描述的环境中所发生的行为，这样，系统通过分析环境中对象的移动、活动或不存在来迅速并且实时地学习正常和异常的行为，并且基于已经习得的来识别和预测异常和可疑的行为。同样的，该专利成本过高，不利于市场推广。


技术实现要素：

7.为了解决上述问题，本发明提供了一种违规行为ai识别系统，该系统包括视觉分析子系统和运维子系统，所述视觉分析子系统用以分析不同场合下人的行为，并进行实时跟踪，视觉分析子系统包括系统资源配置模块、视图管理模块、任务管理模块和用户管理模块；所述运维子系统用以保证行为ai识别系统的稳定运行，运维子系统包括路由网络配置模块、集群添加配置模块、运行状态监控模块、集群本地升级模块和定时重启配置模块。
8.进一步的，所述资源配置模块包括类别管理子模块、异常行为代码管理子模块和终端管理子模块，所述类别管理子模块用以对行为类别进行新增、编辑、删除、终止以及绑定终端操作，所述异常行为代码管理子模块用以自定义行为违规类型以及违规行为，所述终端管理子模块用以将监控设备终端接入行为ai识别系统。
9.进一步的，所述视图管理模块包括服务器资源视图子模块、任务进度视图子模块和任务进度列表子模块，所述服务器资源视图子模块用以将抽帧、算法和消息队列服务器的资源占用情况进行可视化，所述任务进度视图子模块以饼状图形式展示任务进度、速度以及预计剩余时间，所述任务进度列表子模块以列表形式按行为类别显示任务进度。
10.进一步的，所述任务管理模块包括人工初判子模块、人工复核子模块、任务认定结果子模块和认定员认定日志子模块，所述人工初判子模块用以将存在疑似违规行为的图片作为任务分配给对应的初级认定员；所述人工复核子模块用以将初级认定员认定为疑似违规的任务分配给复核认定员；所述任务认定结果子模块以列表形式显示所有判定结果；所述认定员认定日志子模块用以查看初级认定员以及复核认定员处理的任务数量以及任务详情。
11.进一步的，所述用户管理模块用以新增、编辑以及删除初级认定员和复核认定员账号信息。
12.进一步的，所述集群添加配置模块用以新增、修改或删除行为ai识别系统内的节点，所述节点至少包括应用节点、计算节点、npu节点和路由网关。
13.进一步的，所述运行状态监控模块用以查看各节点状态信息。
14.本发明的有益效果在于：可提高违规行为的评判效率；可提升违规行为识别精度；结构简单，成本较低，更利于市场推广。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
16.图1为本发明系统框图。
具体实施方式
17.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.参阅图1，本发明提出了一种实施例：一种违规行为ai识别系统，包括视觉分析子系统和运维子系统，所述视觉分析子系统用以分析不同场合下人的行为，并进行实时跟踪，视觉分析子系统包括系统资源配置模块、视图管理模块、任务管理模块和用户管理模块；所述运维子系统用以保证行为ai识别
系统的稳定运行，运维子系统包括路由网络配置模块、集群添加配置模块、运行状态监控模块、集群本地升级模块和定时重启配置模块。
20.具体的，所述系统资源配置模块包括类别管理子模块、异常行为代码管理子模块和终端管理子模块。
21.类别管理子模块支持用户对行为类别进行新增、编辑、删除、终止认定以及绑定终端操作（绑定终端操作仅支持视频类别为实时视频流的行为类别）。成功新增行为类别后，系统会自动新建一个该行为类别的管理员账号；在一个行为类别的认定工作完全结束后，用户可选择终止认定该行为类别，终止认定后该行为类别下的所有认定员账号不能再登录系统，管理员账号不受影响；行为类别下已存在认定员账号时，无法删除该行为类别，防止误操作引起的违规认定工作终止；若行为类别的视频类型为实时视频流，该行为类别可选择摄像头终端进行绑定，所述行为类别至少包括工作疏忽行为或作弊行为，系统会拉取实时视频流实时判定监控环境中是否存在违规行为。
22.异常行为代码管理子模块支持用户自定义行为违规类型以及违规行为；用户可按自身实际情况新增行为违规类型和违规行为；在新增违规行为时，需选择相应的违规类型。新增的违规类型和违规行为供认定员在发现不符合监控环境纪律的行为时选择。
23.对监控视频中的人是否存在违规行为的判定综合预处理、目标检测、目标跟踪和姿态识别。能够智能地，快速地分析出不同场合下的人的行为。可对被监控人员进行实时跟踪，分析出监控环境异常行为。通过对被监控人员动作的骨骼行为分析，对违纪行为进行提示和报警。一旦发现大幅度动作、使用手机、离开座位等行为，系统就会发出警告。
24.所述预处理去除来自外界如天气、光照、目标阴影和场景中晃动等干扰，将前景目标准确地从背景中分割出来。
25.所述目标检测采用了单阶段目标检测算法，在保持精度的同时，运行速度较双阶段目标检测算法提高70%。系统采用一种强有力的“网络扩展”方法用于提升小模型的性能，并且平衡计算复杂度与内存占用。同时，简单而有效的策略用于扩展大目标检测器，基于最优划分进行模型扩展。并且，该算法包含自适应锚框计算在训练中根据数据集有效的调整锚框比例及大小，有效地适应图像中的目标，提高训练效率并且有效缩短收敛时间。自适应图片缩放，在预测中减少不必要的黑框填充，有效提升了检测速度。相关损失函数计算方法，在重叠目标的检测中，检出率得到有效的提高。
26.所述目标跟踪结合传统算法和深度学习的方法，对图像的特征值进行抽取，针对目标进行有效跟踪。其特征区域主要有:局部、全局特征、模板、直方图、binary pattern、pca、sparse pca、sr（sparse representation）、discriminative model、generative model。主要是对场景中多个目标进行跟踪，计算出目标在每帧图像上的二维位置坐标，将同一目标在连续帧中的位置坐标连接起来形成目标的运动轨迹。对于监控环境现场出现身体遮挡或严重遮挡问题解决：当做人群分割时，会遇到部分被监控人员的身体存在遮挡或严重遮挡，保证模型的稳定性，在对模型中每个基元的活动性做了一定的限制，并对不同的身体姿态进行建模，模型被用来完成检测及分割任务，有效避免检测过程中匹配误差的扩大。
27.所述姿态识别针对多人人体关键点进行实时检测，并且根据人体关键点的姿势进行相应姿态的预测。系统采用了自上而下的姿态检测模型，在保持精度的同时，速度得到了
有效提升。通过空间变换网络有效提取出高质量的人体区域，通过参数姿势非极大抑制来有效地解决了冗余姿势估计，在训练过程中运用了姿态引导的区域框生成器，对于不同姿态之间真实值和实际预测值的相对偏移量的分布，从而与人体检测结果一致的样本训练集。
28.终端管理子模块提供用户将监控环境的摄像头终端接入一体机系统的功能。接入终端设备时，用户需填写设备的名称、标识、ip端口、rtsp地址以及所属监控环境，以备系统正确拉取实时视频流，新增的终端可在终端接入列表中查看；同时，系统提供编辑与删除终端设备的功能。
29.具体的，所述视图管理模块包括服务器资源视图子模块、任务进度视图子模块和任务进度列表子模块。
30.服务器资源视图子模块以可视化的图表形式显示抽帧、算法、消息队列服务器的资源占用情况，供用户实时监控系统硬件的运行情况，并针对性采取措施。
31.任务进度视图子模块以饼状图形式展示认定任务进度、速度以及预计剩余时间，显示数据包括：图片抽帧进度、ai智能分析进度、人工初判进度、深度分析进度以及人工复核进度。
32.任务进度列表子模块以列表形式按行为类别显示任务进度，视频类别为实时视频流的行为类别显示数据包括：视频终端编号、所属监控环境、抽帧频次、ai分析速度、产生疑似任务量、初判完成任务量、产生复核任务量以及复核完成任务量；视频类别为历史视频的行为类别显示数据包括： 视频文件名、所属监控环境、视频时长、抽帧完成百分比、ai分析完成百分比、产生疑似任务量、初判完成任务量、产生复核任务量以及复核完成任务量。
33.具体的，所述任务管理模块包括人工初判子模块、人工复核子模块、任务认定结果子模块和认定员认定日志子模块。
34.人工初判子模块仅初级认定员能够访问，系统将ai分析判断为存在疑似违规行为的图片作为任务分配给对应的初级认定员，初级认定员可对分配到的任务进行判定。若存在疑似违规行为，则进行确认上报，交由复核人员二次判定；若不存在违规行为，则进行取消告警，该任务流程结束。人工初判的具体流程：初级认定员开启任务接收开关；系统分配任务；判断是否存在疑似违规，若是，则选择违规类型和违规行为，确认告警；若否，则取消告警；结束。
35.人工复核子模块仅支持复核认定员访问，系统将初级认定员认定为疑似违规的任务分配给复核认定员。若存在违规行为，复核认定员填写意见，确认告警；若不存在疑似违规行为，则取消告警。人工复核的具体流程：复核认定开启任务接收开关；系统分配任务；判断是否存在疑似违规；若是，则填写意见，确认告警；若否，则取消告警；结束。
36.任务认定结果子模块以列表形式显示所有ai智能分析判定存在疑似违规行为的任务，用户可设置搜索条件查找自己需要的任务数据。
37.认定员认定日志子模块用以查看初级认定员以及复核认定员处理的任务数量以及任务详情。
38.具体的，所述用户管理模块帮助系统管理员和行为类别管理员用以新增、编辑以及删除初级认定员和复核认定员账号。所述系统管理员的权限：全系统只有一个，不可增删改，权限除了任务管理中的人工初判和人工复判，其余的全部；所述行为类别管理员的权
限：每一个行为类别只有一个，不可增删改，权限包括视图管理全部、任务管理中的任务认定结果和认定员认定日志；所述初级认定员的权限：任务管理中的人工初判；所述复核认定员的权限：任务管理中的人工复判。
39.具体的，所述运维子系统实现对行为ai识别系统进行节点添加、软件升级、状态监控、定时重启等功能。
40.所述路由网络配置模块包括网卡配置子模块和端口映射配置子模块，所述网卡配置子模块用以配置行为ai识别系统的静态路由、wan网卡的ip地址、lan网卡的ip地址和网关地址，实现内部网络和外部网络的互联互通；所述端口映射配置子模块用以支持端口映射功能，即用户可映射系统内部端口，以供外部网络访问部署在系统内的软件服务。
41.所述集群添加配置模块根据实际需要，用户可新增、修改或删除系统内的节点（包括应用节点、计算节点、npu节点、路由网关），其中应用节点用于部署外部可直接访问的视觉分析子系统，计算节点用于对实时视频流或历史视频进行抽帧，npu节点运行算法服务分析是否存在疑似违规行为。
42.所述运行状态监控模块用以提供节点状态信息查看界面，且通过颜色区别各节点的健康状态，用户可直观化查看系统中各个节点的状态信息以及拓扑关系图。同时，本系统提供告警功能，在某个节点资源占用超过告警阈值时（告警阈值可用户自行设置），弹出告警消息，提醒用户关注该节点的运行状态，用户可进入ssh管理界面或重启节点，解决部分节点问题。
43.所述集群本地升级模块提供一键升级功能，用户可在上传新版本的软件包后，选择需升级的节点进行一键升级操作。
44.所述定时重启配置模块提供定时重启功能，用户可自行设置定时重启时间点，系统将在该时间点自行重启，减轻机器长时间运行的压力。
45.具体实例：由于采用本发明提供的行为ai识别系统，在某高考监控环境视频回放倒查工作中，相较于以往需要600人/7天的工作任务，现在只需要20人/4天时间即可完成，大大提升了工作效率，节省了人力、物力、时间。同时，系统采用“ai计算 人工复查”的双保险模式，图像抽帧、分析、统计分析等流程系统自动处理，人工审核分工明确，从而保证数据更安全，结果更准确，报告更详尽。本发明在降低人力成本的同时，为千万被监控人员护航，保证高考公平公正，让违纪、作弊行为无所遁形。
46.需要说明的是，对于前述的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术所必须的。
47.上述实施例中，描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。