一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种用于弹射座椅维修场景的智能监管系统及监管方法与流程

2022-07-31 04:42:48 来源:中国专利 TAG:


1.本发明涉及智能监管系统,具体涉及一种用于弹射座椅维修场景的智能监管系统及监管方法。


背景技术:

2.弹射座椅的维修环境非常复杂,对工作人员的要求也非常高。作业过程中主要有以下行为规范要求:1、进入工作区域必须释放静电;2、作业过程必须有关键岗位人员在场;3、作业人员必须穿工作服,拿唱卡;4、在工作区域禁止使用手机,禁止抽烟。上述任何一个行为的违规都可能造成严重的安全事故和财产损失。目前主要通过提高工作人员安全意识、加强安全规程以及法规教育规范工作人员的作业行为,同时配备安全生产人力监督尽可能的避免出现安全隐患,这种传统的监管方式成本高且无法做到实时有效监管。
3.随着深度学习算法的兴起,人工智能产业发展带来新的浪潮。人工智能作为新基建的七大领域之一,近年来已渗透到社会和产业的多个领域并迅速发展。当前运用ai技术对一些工厂安全生产进行监管的监控系统也开始得到应用。
4.弹射座椅维修作业环境与一般工业环境相比更加复杂,首先其存在更严重的遮挡干扰、包括作业区内静态物体对检测目标的干扰和检测目标间的干扰,但目前的工厂安全生产智能监控系统针对此问题还没有很好的处理策略。其次,由于弹射座椅维修作业自身的复杂性,存在不同监测区域需要监控不同违规行为的需求,目前的工厂安全生产智能监控系统在精准细分区域的监控较少,主要采用全景区域监控。最后,目前的工厂安全生产智能监控系统在算法层面还没有并入违规行为数据去重功能,使得在违规行为上报预警阶段,无法对同一个人的违规行为在短期内避免重复上报。因此,目前相关的一些工厂安全生产智能监控系统无法满足弹射座椅维修作业的监管需求。


技术实现要素:

5.本发明的目的是解决现有智能监管系统对遮挡严重且干扰强的弹射座椅维修作业复杂环境不能有效监控、无法实现对精准细分区域进行监控以及在算法层面还没有并入违规行为数据去重功能的技术问题,而提供一种用于弹射座椅维修场景的智能监管系统及监管方法。
6.本发明为ai视觉技术在航空工业安全生产领域的创新应用,其构思是运用ai视觉技术为弹射座椅维修作业中的上述行为的违规提供一种智能监管方法。本发明具有模块化、可升级、可拓展、快速高效、可靠性高的优点,从而极大地降低对传统人力监督的依赖,提高对作业人员在维修过程中违规行为的抓拍效率,同时为提升单位安全综合管理效率提供支撑。
7.本发明的技术解决方案是:
8.一种用于弹射座椅维修场景的智能监管系统,其特殊之处在于:包括系统平台、应用服务单元、智能设备和算法服务单元;
9.所述智能设备包括多个摄像机,摄像机将获取的各维修场景的视频流传送给应用服务单元;
10.所述系统平台包括终端信息管理模块、事件算法配置模块、算法模型管理模块和实时画面监测模块;
11.所述终端信息管理模块用于智能设备维护;
12.所述事件算法配置模块用于设置事件算法配置信息;所述事件算法配置信息包括事件的编号及名称、事件关联算法的编号及名称、检测区域的设定、算法逻辑以及告警时间设定;其中,检测区域为所述视频流抽帧成的整幅图像或图像中的指定区域;
13.所述算法模型管理模块用于设置算法参数信息;
14.所述算法服务单元包括人体穿戴属性识别接口模块和违规图像相似度去重接口模块;
15.所述系统平台将事件算法配置信息和算法参数信息通过应用服务单元下发给人体穿戴属性识别接口模块;
16.所述应用服务单元将接收到的视频流传送给实时画面监测模块,同时将视频流抽帧成图像发送给人体穿戴属性识别接口模块;
17.所述人体穿戴属性识别接口模块用于接收图像并对图像中检测区域的人和人体属性进行检测、接收并保存事件算法配置信息和算法参数信息,以及进行人体穿戴属性识别的算法分析处理得到检测结果,并将检测结果返回给至应用服务单元;
18.应用服务单元根据算法逻辑判定所述检测结果是否违规,若违规,则应用服务单元将对应的当前帧违规图像发送给违规图像相似度去重接口模块,若不违规,则继续处理下一帧图像;
19.所述违规图像相似度去重接口模块接收应用服务单元发送的违规图像,作出违规图像与前一帧违规图像是否重复的判定结果,并将判定结果返回给应用服务单元;
20.若判定结果为重复,则所述应用服务单元进一步判断当前违规图像是否在设定的告警时间内,若是,则将当前违规图像上报给系统平台;若否,则无需上报;
21.所示系统平台对上报的违规数据进行记录保存并周期性进行统计分析处理;
22.所述实时画面监测模块用于对所述视频流进行显示。
23.进一步地,所述智能设备还包括音箱及报警灯;所述智能设备维护用于多个摄像机的安装绑定、多个摄像机的ip及端口设置,以及音箱、报警灯的安装绑定;所述系统平台根据接收到的上报违规图像,通过音箱及报警灯进行预警提醒。
24.进一步地,所述事件为维修作业中要求识别的是否释放静电、关键岗位人员是否在场、是否穿工服、是否拿唱卡、是否使用手机、是否抽烟中的其中一种或多种;所述是否释放静电具体判定为,作业人员进入工作区域前进行摸静电球的动作;所述关键岗位人员在场具体判定为,在作业区域内是否检测到关键岗位人员佩戴特殊袖章;所述算法参数信息包括置信度和交并比。
25.一种用于弹射座椅维修场景的监管方法,基于前面所述的智能监管系统,其特征在于,包括以下步骤:
26.s1)人体穿戴属性识别接口模块的搭建、训练;
27.s2)违规图像相似度去重接口模块的搭建、训练及测试;
28.s3)通过系统平台上的事件算法配置模块和算法模型管理模块进行事件算法配置和算法参数设置,然后下发给算法服务单元,并保存;人体穿戴属性识别接口模块进行在线检测预热;
29.s4)应用服务单元拉取各个场景摄像机的视频流,将其推送至系统平台的实时画面监测模块,同时将视频流抽帧为图像发送给算法服务单元的人体穿戴属性识别接口模块;
30.s5)人体穿戴属性识别接口模块对图像进行进行在线检测得到检测结果,并将得到的检测结果返回给应用服务单元;
31.s6)应用服务单元根据系统平台中算法逻辑的配置信息判定当前帧图像是否违规,若违规,则将该帧违规图像连同对应的摄像机ip发送给违规图像相似度去重接口模块,进行步骤s6.1);若不违规,则返回步骤s4);
32.s6.1)违规图像相似度去重接口模块对违规图像进行分析处理;
33.s6.1.1)违规图像相似度去重接口模块接收摄像机ip和违规图像后,对同一ip下接收的前后两帧违规图像进行处理得到判定结果,并将判定结果返回给应用服务单元;
34.s6.1.2)将前一帧违规图像删除,将后一帧违规图像更新为前一帧违规图像,等待处理新的违规图像;
35.s6.2)应用服务单元接收返回判定结果后,如果判定结果为重复,则进一步判断当前违规图像是否在设定的告警时间内,若是,则将当前违规图像上报给系统平台,系统平台对违规图像进行展示;若否,则无需上报,继续处理视频流的下一帧;
36.s7)系统平台记录保存上报的数据,并周期性对上报的违规数据进行统计分析处理。
37.进一步地,步骤s1)具体为:
38.s1.1)样本图像获取以及标注样本图像中的所有识别目标;
39.所述识别目标包括人体和人体属性;
40.所述人体属性具体为手、袖章、工服、唱卡、手机和香烟;
41.s1.2)目标检测模型的搭建以及训练;
42.s1.2.1)搭建端到端的目标检测模型;
43.s1.2.2)将标注好的所有样本图像按比例划分为训练集图像和测试集图像,并使用训练集图像训练目标检测模型;
44.s1.2.3)利用测试集图像测试目标检测模型对所述识别目标的检测效果;
45.s1.2.4)根据测试效果调整目标检测模型的超参数,重新训练目标检测模型;
46.s1.2.5)利用tensorrt加速部署训练好的目标检测模型的权重,提升目标检测模型的推理速度;
47.步骤s3)中,所述人体穿戴属性识别接口模块进行在线检测预热具体为:
48.s3.1)人体穿戴属性识别接口模块内部加载保存的事件算法配置信息和算法参数信息,并随机创建一张空图像,使用部署好的目标检测模型的权重进行在线检测;
49.s3.2)采用letterbox算法对进入目标检测模型的图像进行预处理以提高目标检测模型的推理速度;
50.s3.3)进一步对图像进行通道数调整和标准归一化预处理;
51.s3.4)将处理后的图像送入目标检测模型得到检测结果;
52.s3.4.1)利用iou处理方法过滤冗余的检测框;
53.s3.4.2)将人体检测框和与其关联的所有人体属性检测框进行匹配绑定,采用面积占比的方法将人体属性检测框归属于与它重叠面积最大的人体检测框;
54.s3.4.3)对检测结果和事件关联算法进行过滤,得到最终的检测结果;
55.步骤s5)具体为:
56.s5.1)使用预热过的目标检测模型对应用服务单元发送的图像进行在线检测;
57.s5.2)采用letterbox算法对进入目标检测模型的图像进行预处理以提高目标检测模型的推理速度;
58.s5.3)进一步对图像进行通道数调整和标准归一化预处理;
59.s5.4)将处理后的图像送入目标检测模型得到检测结果;
60.s5.4.1)利用iou处理方法过滤冗余的检测框;
61.s5.4.2)将人体检测框和与其关联的所有人体属性检测框进行匹配绑定,采用面积占比的方法将人体属性检测框归属于与它重叠面积最大的人体检测框;
62.s5.4.3)对检测结果和事件关联算法进行过滤,得到最终的检测结果,并将得到的检测结果返回给应用服务单元。
63.进一步地,步骤s2)具体为:违规图像相似度去重接口模块基于连体网络模型建立;
64.s2.1)连体网络模型搭建;
65.s2.1.1)神经网络1和神经网络2采用同一神经网络作为主干特征提取网络,共同形成连体网络模型;
66.s2.1.2)将前后两帧违规图像分别输入神经网络1和神经网络2,两帧输入违规图像经过主干特征提取网络后分别获得相应的特征向量;
67.s2.1.3)将两个特征向量相减取绝对值,经过三次通道数分别为1280、640、1的全连接层,并通过sigmoid函数将最后一层全连接层的输出值规约到0与1之间作为最终相似值;
68.所述最终相似值越接近1表示连体网络输入的两帧违规图像越相似,越接近0表示越不相似;
69.s2.2)对连体网络模型进行训练;
70.采集不同人员的违规图像对连体网络模型进行训练,更新主干特征提取网络和全连接层的参数,主干特征提取网络的训练在imagenet分类数据集上完成预训练;
71.s2.3)对连体网络模型进行测试;
72.分别采用同一人和不同人的违规图像测试连体网络的相似度预测效果,如果对同一人的违规图像输出的相似度值较高,对不同人的违规图像输出的相似度值较低,则可进行在线推理,否则清洗训练数据重新进行连体网络模型训练。
73.进一步地,步骤s1.1)具体为:
74.s1.1.1)采集所有所述事件在各个场景下的样本图像,包括正样本和负样本图像;
75.s1.1.2)手动剔除分辨率较低和重复的样本图像以保证样本质量;
76.s1.1.3)利用自动化标注工具对样本图像中的所有识别目标进行标注;
77.s1.1.4)利用抽样检查的方法对样本图像标注质量进行把关,改正错标和漏标图像。
78.进一步地,步骤s1.2)中,所述目标检测模型的结构包括输入端、主干特征提取网络、颈部网络和预测头网络;
79.步骤s3.2)中,所述letterbox算法的处理为,根据样本图像尺寸与目标尺寸计算图像缩放比例,利用图像的尺寸乘以最小缩放系数得到缩放后的尺寸,得到样本图像需要填充的数值并进行黑色填充。
80.进一步地,步骤s6.1.1)具体为:将同一ip下接收的前后两帧违规图像输入到连体网络模型中推理,获得相似值后与阈值进行比较,如果相似值大于阈值,判定为两帧违规图像重复,用1表示,否则判定为不重复,用0表示,并将判定结果返回给应用服务单元;
81.所述阈值通过大量违规图像样本数据测试确定。
82.进一步地,步骤s2.1.1)中所述同一神经网络为轻量级神经网络mobilinetv2。
83.本发明的有益效果:
84.(1)本发明的智能监管系统和监管方法实现了降本增效,代替了传统弹射座椅复杂维修作业监管的巡检方式,可对违规行为进行自动抓拍,大幅降低了安全作业管理的成本,提高了监管效率,保证了维修作业的安全性和规范性。
85.(2)本发明的智能监管系统中相关算法精度迭代提升,通过增加训练数据中的样本图像数量,能够显著提高目标检测模型的检测效果,从而可通过迭代优化算法模型提高对违规行为的抓拍精度。
86.(3)本发明的智能监管系统中模块化的设计可实现多场景的快速部署,从而为更多潜在业务应用的实现提供了便捷,本发明中涉及的算法研究和部署经验也为ai视觉技术在其它复杂工业场景中的应用提供了理论支撑。
87.(4)本发明的智能监管系统通过算法层面的共性抽象和业务层面的个性区分,一定程度上解决了弹射座椅复杂维修环境下的深度学习算法应用问题。
88.(5)本发明的智能监管系统具有实时性强的优点,从现场数据获取、算法分析、业务逻辑判定到结果上报耗时不到1秒。
89.(6)本发明的智能监管系统具有准确率高的优点,在弹射座椅复杂维修环境下对违规行为的抓拍准确率高达90%。
90.(7)本发明的智能监管系统可用最短的时间、最低的成本完成多场景的快速部署。
91.(8)本发明的智能监管系统模块化的设计保障了系统运行的可靠稳定性且便于维护,同时提高了系统的拓展性。
92.(9)本发明的智能监管系统配置灵活,针对上百路摄像头和多场景的业务需求,可灵活配置算法。
附图说明
93.图1是本发明监管系统中系统平台、应用服务单元和算法服务单元的连接框图;
94.图2是本发明监管系统中人体关联属性识别接口模块的算法技术途径框图;
95.图3是本发明监管系统中目标检测模型的网络结构图;
96.图4是本发明监管系统中违规图像相似度去重接口模块的算法框图。
具体实施方式
97.下面通过附图和实施例对本发明进行详细的描述。
98.本发明中提到的事件主要包括以下几种:是否释放静电、关键岗位人员是否在场、是否穿工服、是否拿唱卡、是否使用手机、是否抽烟。下面为对违规事件的判定及识别要求的具体描述:1、对作业人员进入工作区域前进行摸静电球的行为进行识别,如果识别到没有摸静电球则判定为违规,具体的识别方法为指定该场景下的检测区域为静电球顶部区域,然后检测人手的位置并判断手是否与静电球区域接触,如果接触则定义为已摸静电球,否则定义为没有摸静电球;2、实际场景中只有关键岗位人员工作时会佩戴特殊袖章,因此在作业人员进入工作区域后开始检测是否有特殊袖章,以实现对关键岗位人员在场的判别,该场景下的检测区域为实际的工作区域,一般为局部区域。如果未检测到特殊袖章则判定为违规;3、作业人员进入工作区域开始检测是否穿工服,拿唱卡,如果检测到人体未穿工服或未带唱卡则判定为违规。该场景下的检测区域为实际的工作区域,一般为局部区域。4、在作业区域内只要检测到工作人员手持手机或香烟,则判定为违规,该场景下的检测区域为实际的工作区域,一般为局部区域。然后通过在算法层面抽象算法检测的共性提炼出人体穿戴属性识别接口,在业务层面区分以上事件定义的个性,二者以模块化形式进行逻辑交互实现对上述违规行为的智能抓拍和预警。
99.如图1所示,本发明一种用于弹射座椅维修场景的智能监管系统,包括系统平台、应用服务单元、智能设备和算法服务单元。
100.智能设备包括多个摄像机、音箱及报警灯,摄像机与应用服务单元连接,并将获取的各维修场景的视频流传送给应用服务单元;音箱及报警灯用于预警提醒。
101.系统平台包括终端信息管理模块、事件算法配置模块、算法模型管理模块和实时画面监测模块。终端信息管理模块用于智能设备维护;智能设备维护用于ai服务器管理、多个摄像机与ai服务器的绑定、多个摄像机的ip及端口设置、ai服务器的选择和每台ai服务器能绑定的摄像机路数设置,以及将音箱、报警灯分别与ai服务器绑定;系统平台接收到上报的违规图像,通过音箱及报警灯进行预警提醒。事件算法配置模块用于设置事件算法配置信息;事件算法配置信息包括事件的编号及名称、事件关联算法的编号及名称、检测区域的设定、算法逻辑以及告警时间设定。算法模型管理模块用于设置算法参数信息,算法参数信息主要包括置信度和交并比。算法服务单元包括人体穿戴属性识别接口模块和违规图像相似度去重接口模块。系统平台将事件算法配置信息和算法参数信息通过应用服务单元传送给人体穿戴属性识别接口模块;应用服务单元将接收到的视频流传送给实时画面监测模块,同时将视频流抽帧成图像发送给人体穿戴属性识别接口模块;检测区域为整幅图像或图像中的指定区域;人体穿戴属性识别接口模块用于接收图像并对图像中事件进行识别、接收并记录保存事件算法配置信息和算法参数信息,以及进行人体穿戴属性识别的算法分析处理得到检测结果,并将检测结果发送至应用服务单元;应用服务单元根据算法逻辑判定所述检测结果是否违规,若违规,则应用服务单元将对应的当前帧违规图像发送给违规图像相似度去重接口模块,若不违规,则继续处理下一帧图像;违规图像相似度去重接口模块的输入为应用服务单元发送的违规图像,作出违规图像与前一帧违规图像是否重复的判定结果,并将判定结果返回给应用服务单元;若判定结果为重复,则应用服务单元进一步判断当前违规图像是否在系统平台设定的告警时间内,若在内,则将当前违规图像上报给系
统平台,系统平台根据接收到的上报违规图像,通过音箱及报警灯进行预警提醒;若不在内,则无需上报。系统平台对上报的违规数据进行记录保存并周期性进行统计分析处理;实时画面监测模块用于对所述视频流和上报的违规图像进行显示。
102.本发明还提供了利用上述智能监管系统对弹射座椅维修场景进行监管的监管方法,包括以下步骤:
103.s1)人体穿戴属性识别接口模块的搭建、训练;
104.人体穿戴属性识别接口模块的搭建、训练以及在线检测如图2所示;
105.s1.1)样本图像获取以及标注样本图像中的所有识别目标;
106.识别目标包括人体和人体属性;人体属性具体为手、袖章、工服、唱卡、手机和香烟;
107.s1.1.1)采集所有所述事件在各个场景下的样本图像,包括正样本和负样本图像;
108.s1.1.2)手动剔除分辨率较低和重复的样本图像以保证样本质量;
109.s1.1.3)利用自动化标注工具对样本图像中的所有识别目标进行标注;
110.s1.1.4)利用抽样检查的方法对样本图像标注质量进行把关,改正错标和漏标图像。
111.s1.2)目标检测模型的搭建以及训练;
112.s1.2.1)基于深度学习中端到端目标检测算法搭建检测模型,相比其它算法模型推理速度更快,搭建端到端的目标检测模型;
113.如图3所示,目标检测模型的结构包括输入端、主干特征提取网络、颈部网络和预测头网络四个部分。在输入端为增强数据的多样性,提高检测检测的返回性,对输入数据进行了马赛克数据增强方式,通过随机缩放、随机裁剪和随机布局的方式进行拼接,提高了对手机、烟头和袖章等识别目标的检测效果,同时通过自适应锚点框的计算方法提高了对各类识别目标的检测效果。主干特征提取网络引入focus结构,其对原始输入的rgb图像进行切片操作,最终可得到通道数为32的特征图,加强了模型的特征提取能力。
114.s1.2.2)将标注好的所有样本图像按3:1比例划分为训练集图像和测试集图像,并使用训练集图像训练目标检测模型;
115.s1.2.3)利用测试集图像测试目标检测模型对所述识别目标的检测效果;
116.s1.2.4)根据测试效果调整目标检测模型的超参数,重新训练目标检测模型;
117.s1.2.5)利用tensorrt加速部署训练好的目标检测模型的权重,提升目标检测模型的推理速度;
118.s2)违规图像相似度去重接口模块的搭建、训练及测试;
119.违规图像相似度去重接口模块基于连体网络模型建立;
120.s2.1)连体网络模型搭建,如图4所示;
121.s2.1.1)神经网络1和神经网络2采用同一神经网络作为主干特征提取网络,共同形成连体网络模型;神经网络1和神经网络2由于共享权值特性,故同一神经网络采用轻量级神经网络mobilinetv2作为主干特征提取网络;
122.s2.1.2)将前后两帧违规图像分别输入神经网络1和神经网络2,两帧输入违规图像经过主干特征提取网络后分别获得相应的特征向量;
123.s2.1.3)将两个特征向量相减取绝对值,经过三次通道数分别为1280、640、1的全
连接层,并通过sigmoid函数将最后一层全连接层的输出值规约到0与1之间作为最终相似值;
124.所述最终相似值越接近1表示连体网络输入的两帧违规图像越相似,越接近0表示越不相似;
125.s2.2)对连体网络模型进行训练;
126.训练过程就是更新主干特征提取网络和全连接层这两部分网络的参数,采集不同人员的违规图像对连体网络模型进行训练,更新主干特征提取网络和全连接层的参数,主干特征提取网络的训练在imagenet分类数据集上完成预训练;
127.s2.3)对连体网络模型进行测试;
128.分别采用同一人和不同人的违规图像测试连体网络的相似度预测效果,如果对同一人的违规图像输出的相似度值较高,对不同人的违规图像输出的相似度值较低,则可进行在线推理,否则清洗训练数据重新进行连体网络模型训练。
129.s3)通过系统平台上的事件算法配置模块和算法模型管理模块进行事件算法配置和算法参数设置,然后下发给算法服务单元,并保存;人体穿戴属性识别接口模块进行在线检测预热;
130.其中,人体穿戴属性识别接口模块进行在线检测预热具体为:
131.s3.1)人体穿戴属性识别接口模块内部加载保存的事件算法配置信息和算法参数信息,并随机创建一张空图像,使用部署好的目标检测模型的权重进行在线检测;
132.s3.2)采用letterbox算法对进入目标检测模型的图像进行预处理以提高目标检测模型的推理速度;
133.letterbox算法的处理为,根据样本图像尺寸与目标尺寸计算图像缩放比例,利用图像的尺寸乘以最小缩放系数得到缩放后的尺寸,得到样本图像需要填充的数值并进行黑色填充。
134.s3.3)进一步对图像进行通道数调整和标准归一化预处理;
135.s3.4)将处理后的图像送入目标检测模型得到检测结果;
136.s3.4.1)利用iou处理方法过滤冗余的检测框;
137.s3.4.2)将人体检测框和与其关联的所有人体属性检测框进行匹配绑定,采用面积占比的方法将人体属性检测框归属于与它重叠面积最大的人体检测框;
138.s3.4.3)对检测结果和事件关联算法进行过滤,得到最终的检测结果;
139.s4)应用服务单元拉取各个场景摄像机的视频流,将其推送至系统平台的实时画面监测模块,同时将视频流抽帧为图像发送给算法服务单元的人体穿戴属性识别接口模块;
140.s5)人体穿戴属性识别接口模块对图像进行进行在线检测得到检测结果,并将得到的检测结果返回给应用服务单元;
141.检测结果包括所述识别目标的检测框、检测框置信度及检测框类别索引;
142.s5.1)使用预热过的目标检测模型对应用服务单元发送的图像进行在线检测;
143.s5.2)采用letterbox算法对进入目标检测模型的图像进行预处理以提高目标检测模型的推理速度;
144.s5.3)进一步对图像进行通道数调整和标准归一化预处理;
145.s5.4)将处理后的图像送入目标检测模型得到检测结果;
146.s5.4.1)利用iou处理方法过滤冗余的检测框;
147.iou处理方法具体为,遍历每个人体检测框的面积,通过面积比较将被包含于其它人体检测框中的人体检测框进行粗过滤,然后通过比较两个人体检测框间的交叠面积与合并面积比实现细过滤;
148.s5.4.2)将人体检测框和与其关联的所有人体属性检测框进行匹配绑定,采用面积占比的方法将人体属性检测框归属于与它重叠面积最大的人体检测框;
149.s5.4.3)对检测结果和事件关联算法进行过滤,得到最终的检测结果,并将得到的检测结果返回给应用服务单元。
150.由于弹射作业环境的复杂性和业务需求,在现场各个场景下的工作区域并非摄像机获取到的整幅图像,而只是其中的一块局部区域。首先在系统平台模块场景算法配置中根据实际情况绘制各个场景下的检测区域,关联场景算法编号。在算法服务模块中人体穿戴属性识别接口内部算法后处理阶段进行区域过滤。
151.对检测结果进行过滤的方法为,取人体检测框下边沿中心位置为基准点,向检测区域内任意引射线,如果只有一个相交点则判定为人体检测框在该检测区域内,则保留该人体检测框和与其关联的所有人体属性检测框,否则判定人体检测框不在该检测区域内并将该人体检测框和与其关联的所有人体属性检测框过滤掉。
152.对事件关联算法进行过滤的具体方法为,将算法服务单元中配置的所有所述事件的编号与系统平台中配置的事件关联算法的编号进行比较,只保留系统平台配置的事件关联算法的编号。
153.s6)应用服务单元根据系统平台中算法逻辑的配置信息判定当前帧图像是否违规,若违规,则将该帧违规图像连同对应的摄像机ip发送给违规图像相似度去重接口模块,进行步骤s6.1);若不违规,则返回步骤s4);
154.s6.1)违规图像相似度去重接口模块对违规图像进行分析处理;
155.s6.1.1)违规图像相似度去重接口模块接收摄像机ip和违规图像后,对同一ip下接收的前后两帧违规图像进行处理得到判定结果,并将判定结果返回给应用服务单元;
156.具体为:将同一ip下接收的前后两帧违规图像输入到连体网络模型中推理,获得相似值后与阈值进行比较,如果相似值大于阈值,判定为两帧违规图像重复,用1表示,否则判定为不重复,用0表示,并将判定结果返回给应用服务单元;阈值通过大量违规图像样本数据测试确定。
157.s6.1.2)将前一帧违规图像删除,将后一帧违规图像更新为前一帧违规图像,等待处理新的违规图像;
158.s6.2)应用服务单元接收返回判定结果后,如果判定结果为重复,则进一步判断当前违规图像是否在设定的告警时间内,若是,则将当前违规图像上报给系统平台,系统平台对违规图像进行展示;若否,则无需上报,继续处理视频流的下一帧;
159.s7)系统平台记录保存上报的数据,并周期性对上报的违规数据进行统计分析处理。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献