一种机器视觉微波振动融合入侵探测的系统、方法及设备与流程

摘要: 本技术涉及智慧安防,具体而言,涉及一种机器视觉微波振动融合入侵探测的系统、方法及设备。背景技术:1、围界安防系统以实体安防措施为基础,通常为钢筋网围栏。在围栏上...
一种机器视觉微波振动融合入侵探测的系统、方法及设备与流程

本技术涉及智慧安防,具体而言,涉及一种机器视觉微波振动融合入侵探测的系统、方法及设备。

背景技术:

1、围界安防系统以实体安防措施为基础,通常为钢筋网围栏。在围栏上部署振动光纤、振动电缆、振动探测器等入侵探测设备,通过采集围栏上的振动信号判断有无入侵行为,此种入侵探测方式为被动入侵探测。在围栏上或围栏内侧部署微波雷达、电磁感应电缆等入侵探测设备,通过电磁场变化感知有无入侵行为,此种入侵探测方式为主动探测。

2、目前,现有技术中的多个入侵探测设备采集数据后,数据的进一步处理和分析工作均是由后端服务器承担的,由此导致后端服务器数据处理量较大,处理效率较低,延时较大,无法满足安防场景下实时性要求。

技术实现思路

1、本技术的一些实施例的目的在于提供一种机器视觉微波振动融合入侵探测的系统、方法及设备,通过本技术的实施例的技术方案可以实现多模态数据的动态协同性处理,降低后处理端的数据处理压力,保证安防场景下入侵检测的实时性。

2、第一方面,本技术的一些实施例提供了一种机器视觉微波振动融合入侵探测的系统,包括:多个探测设备、探测主机和后处理端;所述多个探测设备中每个探测设备,用于至少采集探测区域的监控数据;其中,所述监控数据包括原始振动数据、原始频谱数据和图像探测数据;所述探测主机,用于获取所述探测区域的点云数据和探测数据;其中,所述探测数据包括振动探测数据、多普勒频谱数据或图像探测数据;所述探测数据是基于所述监控数据获取的;所述后处理端,用于对所述探测数据和所述点云数据筛选得到的待检测数据进行检测,确定入侵探测结果;其中,所述入侵探测结果包括是否存在入侵行为和入侵对象,以及存在所述入侵对象时的入侵对象类别和入侵动作。

3、本技术的一些实施例的入侵探测系统包括多个探测设备、探测主机和后处理端,探测主机通过获取由监控数据得到的探测数据和点云数据后发送至后处理端,后处理端根据探测数据和点云数据确定入侵探测结果。本技术实施例中通过增加探测主机承接部分现有技术中后处理端的数据处理的工作,实现探测主机和后处理端的数据协同处理,以此降低数据传输压力以及后处理端数据处理的压力,提升入侵探测效率,满足安防场景下入侵探测的实时性要求。

4、在一些实施例,所述探测主机用于:接收每个探测设备发送的所述监控数据;分别对所述原始振动数据和所述原始频谱数据执行数据拼接操作,得到振动拼接数据和所述多普勒频谱数据;对所述振动拼接数据执行特征提取操作,得到所述振动探测数据。

5、本技术的一些实施例中的探测主机通过对接收到的监控数据执行数据拼接、特征提取操作得到探测数据,为后续入侵探测分析提供精准的数据支持。

6、在一些实施例,所述每个探测设备用于:分别对所述原始振动数据和所述原始频谱数据执行数据拼接操作,得到振动拼接数据和所述多普勒频谱数据;对所述振动拼接数据执行特征提取操作,得到所述振动探测数据;向所述探测主机发送所述探测数据。

7、本技术的一些实施例中的探测设备可以对监控数据进行处理得到探测数据并发送至探测主机,以此降低探测主机数据处理的压力,提升数据处理的灵活性。

8、在一些实施例,所述探测数据包括所述多普勒频谱数据和所述图像探测数据时,所述后处理端用于:获取对所述原始振动数据执行数据拼接操作后的振动拼接数据;对所述振动拼接数据执行特征提取操作,得到所述振动探测数据。

9、本技术的一些实施例中的后处理端可以实现数据特征提取操作,提升数据处理的灵活性。

10、在一些实施例,所述对所述振动拼接数据执行特征提取操作,得到所述振动探测数据的方式包括:从时间域和频率域分别对应的多个维度对所述振动拼接数据执行特征提取操作,得到包括多个维度特征值的所述振动探测数据;其中,所述时间域的多个维度包括最值、均值、标准差、方差、峰度、偏度、均方根值或峭度因子;所述频率域的多个维度包括频谱、主频率、次频率或频带能量。

11、本技术的一些实施例通过从时间域和频率域多个维度对振动拼接数据执行特征提取操作,可以实现数据的多特征提取,为后续数据分析提供全面的数据支持。

12、在一些实施例,所述每个探测设备用于:对初始采集的振动探测信号和频谱信号进行量化处理,获取所述原始振动数据和所述原始频谱数据;其中,所述量化处理包括信号缩放、信号滤波和信号编码。

13、本技术的一些实施例通过对初始采集的数据进行量化处理,实现数据的标准统一化。

14、在一些实施例,所述探测主机用于:通过对所述点云数据进行检测,识别所述探测区域内的入侵目标;向所述后处理端发送所述入侵目标;所述后处理端,用于基于所述待检测数据和所述入侵目标,确定所述入侵探测结果。

15、本技术的一些实施例的探测主机通过对点云数据检测得到入侵目标并发送至后处理端,以便于后处理端结合待检测数据确定入侵探测结果,以此提升入侵探测结果的精度。

16、在一些实施例,所述探测主机用于:通过对所述点云数据和/或所述图像探测数据进行检测,确定是否存在入侵目标;在确认存在入侵目标的情况下,生成紧急预警信号;向所述图像探测数据对应的目标探测设备发送所述紧急预警信号;所述目标探测设备,用于输出预警信息;其中,所述目标探测设备为所述多个探测设备中的一个或多个。

17、本技术的一些实施例的探测主机可以对点云数据、图像探测数据进行检测,在存在入侵目标时生成紧急预警信号以使得目标探测设备输出预警信息,以此在降低后处理端数据处理压力的同时,确保入侵的实时性检测。

18、在一些实施例,所述后处理端用于:对所述振动探测数据、所述多普勒频谱数据、所述图像探测数据和所述点云数据进行对齐,得到多模态数据;利用动态门控融合网络对所述多模态数据中的各种模态数据进行评分,得到各模态权重;通过所述各模态权重对所述探测数据和所述点云数据进行筛选,确定所述待检测数据;其中,所述待检测数据包括所述探测数据和所述点云数据中的部分或全部数据。

19、本技术的一些实施例通过对多模态数据中的各种模态数据进行评分得到的各模态权重对探测数据和点云数据筛选得到待检测数据,以此选择出可用的高价值待检测数据,以此提升入侵探测结果的精度。

20、在一些实施例,所述后处理端用于:获取所述探测区域的环境特征向量;将所述环境特征向量和所述多模态数据输入到所述动态门控融合网络中,输出所述各模态权重。

21、本技术的一些实施例通过环境特征向量和多模态数据综合确定各模态权重,可以实现有价值数据的精准筛选。

22、在一些实施例,所述后处理端用于:将所述振动探测数据和所述多普勒频谱数据输入到第一探测模型中,得到第一探测结果;所述第一探测结果表征是否存在入侵行为;将所述图像探测数据和所述点云数据输入到第二探测模型中,得到第二探测结果;所述第二探测结果包括是否存在入侵对象,以及存在所述入侵对象时,所述入侵对象的所述入侵对象类别和所述入侵动作;基于所述第一探测结果和所述第二探测结果,生成所述入侵探测结果。

23、本技术的一些实施例的后处理端通过第一探测模型和第二探测模型分别对不同的数据进行分析确定是否存在入侵行为和入侵对象,以高效生成较为精准的入侵探测结果。

24、在一些实施例,所述后处理端用于:实时监测后端负载;在确认所述后端负载超过后端负载阈值的情况下,将所述第一探测模型和所述第二探测模型切换为备用模型;其中,所述备用模型的计算开销低于所述第一探测模型和所述第二探测模型;当所述后端负载恢复至未超过所述后端负载阈值的状态时,将所述备用模型切换至所述第一探测模型和所述第二探测模型。

25、本技术的一些实施例的后处理端通过将后端负载和后端负载阈值进行对比,确认是否对模型进行切换,以动态优化后处理端的计算开销,保证入侵探测的实时性。

26、在一些实施例,所述探测区域为多个,一个探测区域对应一组待检测数据;所述后处理端用于:按照所述探测区域的优先级次序对相应的所述待检测数据进行检测,得到多个探测区域中每个探测区域的入侵探测结果。

27、本技术的一些实施例通过按照探测区域的优先级次序依次确定每个探测区域的入侵探测结果,可以实现对探测区域的分层级检测。

28、在一些实施例,所述后处理端用于:若确认所述入侵探测结果中存在所述入侵行为,则生成报警控制信号;和/或,若确认所述入侵探测结果中存在所述入侵对象,则生成预警控制信号;向存在所述入侵行为和/或所述入侵对象的探测设备发送所述报警控制信号和/或所述预警控制信号,以便于所述探测设备产生并输出报警信号和/或预警信号。

29、本技术的一些实施例通过生成报警控制信号和/或预警控制信号后发送至对应的探测设备,以使得探测设备进行及时报警或预警,提升安防效果。

30、在一些实施例,所述后处理端用于:获取存在所述入侵行为和/或所述入侵对象的探测设备的编号;按照所述编号在电子地图上对相应的所述探测设备进行渲染,以显示所述入侵探测结果;其中,所述电子地图上显示所述探测区域内的多个探测设备中每个探测设备的位置和编号。

31、本技术的一些实施例通过与电子地图结合显示入侵探测结果的位置,实现入侵探测结果的可视化。

32、在一些实施例,所述后处理端用于:响应于用户在所述电子地图上针对任一探测设备的操作指令,显示所述任一探测设备采集的视频数据,或者,显示所述任一探测设备周边的关联相机采集的视频图像数据。

33、本技术的一些实施例通过在电子地图上进行操作可以显示相应的视频数据,实现视频数据的可视化直观展示。

34、在一些实施例,所述探测主机用于:向所述后处理端按照预设周期发送心跳;若在预设时段内接收到所述后处理端发送的与所述心跳对应的响应信息,则向所述后处理端发送所述点云数据和所述探测数据;若在预设时段内未接收到所述响应信息,则对所述点云数据和所述探测数据进行检测,确定所述入侵探测结果。

35、本技术的一些实施例的探测主机采用心跳机制对后处理端的运行情况监测,以保证入侵探测结果可以正常且实时获取。

36、在一些实施例,所述探测主机用于:实时监测主机负载,并同时获取所述后处理端的后端负载;在所述主机负载超过主机负载阈值的情况下,向所述后处理端发送所述原始振动数据拼接后的振动拼接数据,以便于所述后处理端对所述振动拼接数据进行特征提取,得到所述振动探测数据;在所述后端负载超过后端负载阈值的情况下,对所述探测数据和所述点云数据筛选得到的待检测数据进行检测,确定入侵探测结果。

37、本技术的一些实施例的探测主机通过监测主机负载和后端负载,可以动态调整数据的相关处理操作,提升数据处理效率,满足安防场景的实时性要求。

38、在一些实施例,所述探测主机用于:获取预设范围内的多个探测主机中每个探测主机的负载数据不超过所述主机负载阈值的空闲主机;在所述主机负载超过所述主机负载阈值的情况下,按照任务优先级向所述空闲主机发送探测任务;其中,所述探测任务中的特征提取任务的任务优先级低于入侵探测任务。

39、本技术的一些实施例通过获取预设范围内的空闲主机,以在主机负载超出主机负载阈值的情况下由空闲主机执行探测任务,可以实现主机间的负载均衡,保证数据处理效率。

40、在一些实施例,所述探测主机上部署有主机探测模型;所述后处理端部署有后端探测模型;所述主机探测模型和所述后端探测模型均用于对所述待检测数据进行检测输出所述入侵探测结果;所述主机探测模型是通过目标训练集训练得到的;所述目标训练集中包括入侵样本数据和探测结果数据;所述探测结果数据是将所述入侵样本数据输入至所述后端探测模型得到的。

41、本技术的一些实施例通过在探测主机和后端分别部署主机探测模型和后端探测模型,可以在两端都实现入侵探测;即使一端存在故障也可以实现入侵检测的正常进行,提升整个系统的可靠性。

42、第二方面,本技术的一些实施例提供了一种机器视觉微波振动融合入侵探测的系统,系统应用于围界安防场景;所述系统包括多个探测设备、探测主机和后处理端;所述多个探测设备中每个探测设备,用于对采集到的探测区域的初始数据进行量化处理,获取监控数据;其中,所述监控数据包括原始振动数据、原始频谱数据和图像探测数据;所述探测主机,用于对接收到的所述监控数据进行数据拼接和特征提取,获取探测数据;并采集所述探测区域的点云数据;其中,所述探测数据包括振动探测数据、多普勒频谱数据和图像探测数据;所述后处理端,用于基于所述探测数据和所述点云数据分别对应的模态权重,对所述探测数据和所述点云数据筛选得到的待检测数据进行检测,确定入侵探测结果;其中,所述入侵探测结果包括是否存在入侵行为和入侵对象,以及存在所述入侵对象时的入侵对象类别和入侵动作;所述入侵探测结果用于确定是否生成控制信号,所述控制信号用于控制所述多个探测设备产生报警信号和/或预警信号;所述探测主机还用于:向所述后处理端按照预设周期发送心跳;若在预设时段内未接收到所述后处理端反馈的响应信息,则利用主机探测模型对所述点云数据和所述探测数据进行检测,确定所述入侵探测结果。

43、第三方面,本技术的一些实施例提供了一种机器视觉微波振动融合入侵探测的方法,该方法应用于入侵探测系统的探测主机,所述入侵探测系统还包括多个探测设备和后处理端;所述方法包括:获取探测区域的点云数据和探测数据;其中,所述探测数据包括振动探测数据、多普勒频谱数据和图像探测数据;所述探测数据是基于所述多个探测设备采集的监控数据获取的;所述监控数据包括原始振动数据、原始频谱数据和图像探测数据;向所述后处理端发送所述点云数据和所述探测数据,以便于所述后处理端从所述点云数据和所述探测数据中筛选出待检测数据后,对所述待检测数据进行检测,确定入侵探测结果;所述入侵探测结果包括是否存在入侵行为和入侵对象,以及存在所述入侵对象时的入侵对象类别和入侵动作。

44、第四方面,本技术的一些实施例提供了一种机器视觉微波振动融合入侵探测的方法,该方法应用于入侵探测系统的后处理端,所述入侵探测系统还包括多个探测设备和探测主机;所述方法包括:获取探测区域的探测数据和所述探测主机发送的点云数据;其中,所述探测数据包括振动探测数据、多普勒频谱数据和图像探测数据;所述探测数据是基于所述多个探测设备采集的监控数据获取的;所述监控数据包括原始振动数据、原始频谱数据和图像探测数据;对所述探测数据和所述点云数据进行筛选,获取待检测数据;对所述待检测数据进行检测,确定入侵探测结果;其中,所述入侵探测结果包括是否存在入侵行为和入侵对象,以及存在所述入侵对象时的入侵对象类别和入侵动作。

45、第五方面,本技术的一些实施例提供了一种机器视觉微波振动融合入侵探测的装置,该装置应用于入侵探测系统的探测主机,所述入侵探测系统还包括多个探测设备和后处理端;所述装置包括:第一获取模块,用于获取探测区域的点云数据和探测数据;其中,所述探测数据包括振动探测数据、多普勒频谱数据和图像探测数据;所述探测数据是基于所述多个探测设备采集的监控数据获取的;所述监控数据包括原始振动数据、原始频谱数据和图像探测数据;发送模块,用于向所述后处理端发送所述点云数据和所述探测数据,以便于所述后处理端从所述点云数据和所述探测数据中筛选出待检测数据后,对所述待检测数据进行检测,确定入侵探测结果;所述入侵探测结果包括是否存在入侵行为和入侵对象,以及存在所述入侵对象时的入侵对象类别和入侵动作。

46、第六方面,本技术的一些实施例提供了一种机器视觉微波振动融合入侵探测的装置,该装置应用于入侵探测系统的后处理端,所述入侵探测系统还包括多个探测设备和探测主机;所述装置包括:第二获取模块,用于获取探测区域的探测数据和所述探测主机发送的点云数据;其中,所述探测数据包括振动探测数据、多普勒频谱数据和图像探测数据;所述探测数据是基于所述多个探测设备采集的监控数据获取的;所述监控数据包括原始振动数据、原始频谱数据和图像探测数据;筛选模块,用于对所述探测数据和所述点云数据进行筛选,获取待检测数据;探测模块,用于对所述待检测数据进行检测,确定入侵探测结果;其中,所述入侵探测结果包括是否存在入侵行为和入侵对象,以及存在所述入侵对象时的入侵对象类别和入侵动作。

47、第七方面,本技术的一些实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时可实现如第三方面或第四方面任一实施例所述的方法。

48、第八方面,本技术的一些实施例提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现如第三方面或第四方面任一实施例所述的方法。

49、第九方面,本技术的一些实施例提供一种计算机程序产品,所述的计算机程序产品包括计算机程序,其中,所述的计算机程序被处理器执行时可实现如第三方面或第四方面任一实施例所述的方法。