基于毫米波雷达与视觉融合的智能安全防护系统的制作方法

1.本发明属于区域安全监控防护领域，特别是涉及一种基于毫米波雷达与视觉融合的智能安全防护系统。


背景技术：

2.随着经济的快速发展，人们对个人及社会公共安全的保护意识在迅速提升，在当前社会环境和安防需求下，对区域场所的安全防护系统提出了更智能更主动更全面的要求。视频监控缺乏全天候适应性，易受到光照、天气等自然因素的限制，在夜晚环境、浓雾、大雨天气容易导致误报、漏报，仅依靠视频手段无法对场所真正做到全天候防护；而毫米波雷达通过发射电磁波对目标进行照射并接收其回波，根据测试回波频率可以获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息，具备抗干扰性强、探测距离远、成本低廉等优势。


技术实现要素：

3.本发明的目的是提出一种基于毫米波雷达与视觉融合的智能安全防护系统，基于77ghz高频段毫米波雷达与网络视频球机构建了一套互补互融的新型安全防护感知系统，实现对区域人员及车辆全天候、远距离、高精度定位以及速度、相对距离、全程目标跟踪的检测，真正达到场所安全防护的预警效果。
4.本发明利用以下技术方案实现：
5.一种基于毫米波雷达与视觉融合的智能安全防护系统，该系统包括从输入到输出依序连接的前端检测子系统、网络传输子系统、边缘计算子系统以及中心平台子系统；其中：
6.所述前端检测子系统用于实时采集网络视频球机和毫米波雷达的数据，传输给所述网络传输子系统；所述前端检测子系统进一步多组并行的光端机、交换机、与交换机进一步连接的行为引导屏、网络视频球机和毫米波雷达；
7.所述网络传输子系统用于数据的传输与交换，传输给所述边缘计算子系统；
8.所述边缘计算子系统用于实现对前端雷达检测数据进行全目标解析、实现全目标解析结果的深度学习或高性能计算，为上层应用提供数据支撑；
9.所述中心平台子系统用于反馈提醒信息，输送给所述行为引导屏。
10.与现有技术相比，本发明能够达成以下有益效果：
11.既保持毫米波雷达的大区域、全天候、精准检测等优点，又兼具视频的高度可视化和图像分析识别功能，在功能上进行融合，对监测区域内所有人员、车辆进行轨迹跟踪，实现人流、目标车辆以及道路异常信息采集，形成一套全天候自动检测、智能分析、快速预警、平面综合感知的智能安防系统，广泛应用于区域安全监控防护领域。
附图说明
12.图1是本发明的基于毫米波雷达与视觉融合的智能安全防护系统框架示意图。
13.图2是作为前端检测子系统核心部分的前端控制主机的硬件组成结构示意图。
具体实施方式
14.下面结合附图和具体实施例对本发明技术方案作进一步详细描述。
15.如图1所示，是本发明的基于毫米波雷达与视觉融合的智能安全防护系统框架示意图。该系统包括前端检测子系统1、网络传输子系统2、边缘计算子系统以及中心平台子系统4。所述前端检测子系统1、所述网络传输子系统2、边缘计算子系统3以及中心平台子系统从输入到输出依序连接。
16.所述前端检测子系统1用于实时采集网络视频球机和毫米波雷达的数据，传输给所述网络传输子系统2；所述前端检测子系统1进一步多组并行的光端机10、交换机11，与交换机11进一步连接的行为引导屏111、网络视频球机112、毫米波雷达113。
17.所述网络传输子系统2用于数据的传输与交换，包括进行数据集中管理、存储、共享等处理，传输给所述边缘计算子系统3。具体地，所述网络传输子系统2主要由区域局域网、接入线路和中心网络组成。
18.所述边缘计算子系统3用于实现对前端雷达检测数据进行全目标解析、实现全目标解析结果的深度学习或高性能计算，为上层应用提供数据支撑。所述边缘计算子系统3中进一步包括雷达视频融合引擎31，以毫米波雷达采集的雷达信息和视频监控球机采集的视频及图形信息为输入，基于深度学习和高性能运算计算，对采集的前端数据进行全目标解析、识别，将海量的视频及图像数据转化为人/车/路/脸/物全目标结构化数据，与毫米波雷达检测数据进行融合计算，实现多元数据接入、雷达/视频/图像数据混合解析、全目标识别的融合计算，为上层应用提供数据支撑；对毫米波雷达识别网络r-densenet和视觉识别网络yolov3基于tensorflow2.0进行架构和训练，在摄像头识别中使用opencv视觉处理库；
19.在一个识别周期内，当毫米波雷达识别到目标时创建目标点，进入循环开始判断，匹配度小于阈值的为融合中目标点，按照融合规则进行融合；大于阈值的为融合成功目标点，使用真实目标存活判断方法持续追踪
20.所述中心平台子系统4用于反馈提醒信息，输送给行为引导屏。具体地，所述中心平台子系统4进一步包括路网协同平台41和信息终端平台42。利用所述中心平台子系统可对区域路况参与者进行毫米波雷达检测、视频检测、融合检测，采取三种方式并行或切换，将融合后的视频实时图像反馈到路网协同平台41和信息终端平台42，并对数据进行分析，为预警研判提供精确、实时、稳定的感知数据，将分析及预警结果反馈到前端检测子系统的行为引导屏，通过屏幕或语音提醒路况参与者。
21.本发明的基于毫米波雷达与视觉融合的智能安全防护系统中，如图2所示，为作为前端检测子系统核心部分的前端控制主机的硬件组成结构示意图。前端控制主机20由信息融合处理单元21、管理单元22、雷达接口单元23、视觉接口单元24、反馈接口单元25、后端接口单元26及电源单元27组成。具体描述如下：
22.所述信息融合处理单元基于雷达视频融合算法引擎实现毫米波雷达信息与视频监控信息的融合处理，需具备一定的边缘计算能力，满足应用场景高复杂性、高可靠性的需
求。该单元硬件上选择nvidia的jetsonxaviernx嵌入式开发平台，该平台内部包含8gb内存、16gb存储空间，通过som模组系统将超级计算机的性能带到了边缘端，以较低功耗提供高性能的加速计算能力，可并行运行现代神经网络并处理来自多个高分辨率传感器的数据。
23.所述雷达接口单元通过百兆网卡连接77ghz毫米波雷达，用于接收毫米波雷达采集到的相对距离、相对速度、相对角度等数据。该单元硬件上选择主要由cpu处理器(x1000)、nandflash芯片、emmc芯片、phy芯片等组成，与信息融合处理单元cpu采用tcp通信，同时cpu处理器保留一个外置的gpio引脚用于接受恢复ip地址按钮信号。
24.所述视觉接口单元通过百兆网卡连接视频监控设备，用于接收网络摄像机采集到的视频数据。由于网络摄像机输出的rtsp数据流对cpu要求性能较高，选择国产高性能处理器m300实现。该单元硬件上主要由cpu处理器(m300)、nandflash芯片、phy芯片等组成，与信息融合处理单元cpu采用tcp通信，cpu处理器同样保留一个外置的gpio引脚用于接受恢复ip地址按钮信号。
25.所述反馈接口单元通过串行接口连接行为引导屏，用于显示中心平台子系统反馈的提醒信息，提醒信息包含显示信息和语音信息。该单元单元硬件上主要由cpu处理器(x1000)、norflash芯片、phy芯片等组成，与信息融合处理单元cpu采用spi通信。
26.所述后端接口单元将处理后的汇总信息发送到后端的中心平台子系统服务器。后端接口单元预置5g模组用于数据传输，用户可根据现场环境选择rj45接口或5g无线接口与中心平台子系统服务器进行数据交互。该硬件上主要由cpu处理器(m300)、nand flash芯片、phy芯片、5g模组等组成，与信息融合处理单元cpu采用tcp通信。5g模组选择移远通信的rm500qgl，该模组同时支持5g网络的独立组网sa和非独立组网nsa两种组网模式。
27.系统的核心大脑是前端控制主机，雷达视频融合算法引擎也是基于前端控制主机实现；毫米波雷达选择自主研发的高性能77ghz毫米波雷达；视频监控球机选择海康威视网络摄像机。
28.管理单元，负责整个设备的管理调度工作，包括显示设备的工作状态、对视频监控终端进行绑定、注入参数、日志记录及导出等，管理单元通过rj45接口连接管理终端设备。
29.管理单元硬件上主要由cpu处理器(x1000)、nandflash芯片、phy芯片等组成，与信息融合处理单元cpu采用localbus接口通信，cpu处理器同样保留一个外置的gpio引脚用于接受恢复ip地址按钮信号。
30.系统软件设计
31.基于毫米波雷达与视觉融合的智能安全防护系统软件包括前端控制主机软件和宿主机软件两部分。前端控制主机内软件包括信息融合处理单元软件、雷达接口单元软件、视觉接口单元软件、反馈接口单元软件、后端接口单元软件和管理单元软件；宿主机软件由中心平台监管软件和前端控制主机管理软件组成。
32.中心平台监管软件，包含事件告警、应急处置、数据存储处理，深度分析统计等功能模块。
33.前端设备通过网络实时上传前端采集融合数据到中心监管平台，中心平台接收前端检测设备提供的实时道路检测数据及异常事件报警信息。事件报警信息包括事件视频及事件报警文字信息。其中，检测分析的交通事件包括异常停车、违法停车、逆行、非法闯入、
拥堵缓行、异常变道、超速、安全车距等；检测分析的行人事件包括逆行、非法闯入、不端行为、异常举动等。系统持续对周边场所路网内的道路及行人进行监测，如果出现上述事件类型，就进行事件处理流程。
34.前端控制主机管理软件，对前端控制主机进行配置管理操作，包括毫米波雷达动态校准、视频监控球机参数配置、系统参数注入、日志审计等。前端控制主机管理软件部署在管理终端设备中，以可视化网页的形式为管理员提供配置管理服务。
35.信息融合处理单元软件，实现毫米波雷达数据与视频监控数据的决策级融合，信息融合由融合算法引擎实现。同时，搭建rtsp流媒体服务器，将算法输出的融合数据与视频数据输出到中心监管平台客户端。
36.本方案融合算法引擎对毫米波雷达识别网络r-densenet和视觉识别网络yolov3基于tensorflow2.0进行架构和训练，在摄像头识别中使用opencv视觉处理库。在一个识别周期内，当毫米波雷达识别到目标时创建目标点，进入循环开始判断，匹配度小于阈值的为融合中目标点，按照融合规则进行融合；大于阈值的为融合成功目标点，使用真实目标存活判断方法持续追踪。
37.rtsp协议建立连接主要包括5个过程，分别是options、describe、setup、play和teardown。options阶段客户端会询问服务端有哪些方法可以使用，服务端收到客户端发出的请求后会向客户端返回所有可用的方法；describe阶段中，服务端主要向客户端返回媒体初始化描述信息；setup阶段中，主要设置会话属性以及传输模式，并向服务端发出建立会话的请求，服务端收到客户端消息后会建立会话，同时返回会话标识符以及会话相关信息；play阶段中，客户端向服务端发出播放请求，服务端作出相关播放请求回应，并发送流媒体数据；teardown阶段，客户端请求关闭会话，服务端响应关闭会话请求。
38.雷达接口单元软件，作为服务端与雷达设备建立tcp连接，接收雷达数据，然后验证接收数据是否为定位数据，若为定位数据则对数据进行预处理，提取出每个目标的状态信息，由数据处理模块进行数据融合与多目标追踪，并将目标状态的最优估计存入数据库中目标信息表中。同时，雷达接口单元作为服务端接受信息融合单元发送的请求，与信息融合单元建立tcp连接，向其发送数据处理模块预处理后的实时目标定位，由信息融合单元负责目标轨迹的绘制。
39.雷达接口单元为信息融合处理单元提供毫米波雷达数据预处理及雷达数据存储服务。雷达接口单元数据库选择sqlite轻型关系数据库，sqlite可移植性好、轻便、高效且可靠，与应用程序共用相同的进程空间，可以按应用程序需求进行静态或动态链接，实现自给自足、无服务器、零配置、事务性的sql数据库引擎。
40.视觉接口单元，实现与网络摄像机的tcp连接、接收网络摄像机的数据报文、对视频数据进行预处理等功能。
41.视觉接口单元首先对最近的目标进行识别，将标志位传递给次近的目标提取模块，安全目标与网络摄像机的纵向距离由近及远地依次输出标志位，给下一个筛选模块，以免重复对一个目标做提取处理；然后根据目标在图像中像素大小来估算目标的距离，将预处理后的网络摄像机数据发送给信息融合处理单元。
42.反馈接口单元，实现与行为引导屏的物理连接、显示数据报文发送、语音报文发送等处理。反馈接口单元为中心平台监管软件和信息提醒终端构建了一条高速可靠的传输通
道，将中心平台监管软件深度分析统计模块分析的结果准确的反馈到引导屏上，为用户提供准确的警示信息。
43.后端接口单元，实现与中心监管平台的通信连接、数据交互。后端接口单元提供两种通信连接模式：有线连接和无线连接。有线连接模式中，后端接口单元通过交换路由与中心监管平台建立连接；无线连接模式中，后端接口单元通过5g模组由基站转发与中心监管平台建立连接。其中，5g模组选择拨号上网方式。
44.管理单元，负责整个设备的管理调度、审计日志等功能。管理单元软件采用b/s架构，部署webserver服务，用户通过浏览器输入用户名及口令进入管理界面，实现系统管理、策略管理、日志审计、状态查询等功能。
45.管理单元向主机内所有单元提供日志服务，存储包括创建连接、协议标识、数据发送、异常状态在内的相关日志信息，对主机内部各类检验异常和状态异常的行为进行记录，对转发成功的数据、拒绝发送的数据记录信息来源、目的、时间等信息供管理员审计查询。
46.本发明可广泛应用于区域安全监控防护领域，与传统的场所安防技术手段相比，本发明设计了集多源数据接入、雷达/视频/图像混合解析、全目标识别于一体的融合计算引擎，对雷达检测数据进行全目标解析，并与视频采样数据进行联动融合，分析区域路网事件，实现区域事件全天候、远距离、高精度、全覆盖实时跟踪及检测，满足特定场景下对区域安全防护的需求。