基于毫米波雷达与视觉融合的智能安全防护系统的制作方法

技术特征：
1.一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，该系统包括从输入到输出依序连接的前端检测子系统、网络传输子系统、边缘计算子系统以及中心平台子系统；其中：所述前端检测子系统用于实时采集网络视频球机和毫米波雷达的数据，传输给所述网络传输子系统；所述前端检测子系统进一步多组并行的光端机、交换机、与交换机进一步连接的行为引导屏、网络视频球机和毫米波雷达；所述网络传输子系统用于数据的传输与交换，传输给所述边缘计算子系统；所述边缘计算子系统用于实现对前端雷达检测数据进行全目标解析、实现全目标解析结果的深度学习或高性能计算，为上层应用提供数据支撑；所述中心平台子系统用于反馈提醒信息，输送给所述行为引导屏。2.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述网络传输子系统由区域局域网、接入线路和中心网络组成。3.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，利用所述中心平台子系统对区域路况参与者进行毫米波雷达检测、视频检测、融合检测，将融合后的视频实时图像反馈到路网协同平台和信息终端平台，并对数据进行分析，为预警研判提供精确、实时、稳定的感知数据，将分析及预警结果反馈到前端检测子系统的行为引导屏，通过屏幕或语音提醒路况参与者。4.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述前端检测子系统进一步包括前端控制主机，所述前端控制主机硬件由信息融合处理单元、管理单元、雷达接口单元、视觉接口单元、反馈接口单元、后端接口单元及电源单元组成。5.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述信息融合处理单元基于雷达视频融合算法引擎实现毫米波雷达信息与视频监控信息的融合处理；该单元选择nvidia的jetson xavier nx嵌入式开发平台，该平台内部包含8gb内存、16gb存储空间，通过som模组系统将超级计算机的性能带到了边缘端，以低功耗提供高性能的加速计算能力，并行运行现代神经网络并处理来自多个高分辨率传感器的数据。6.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述边缘计算子系统中进一步包括雷达视频融合引擎，以毫米波雷达采集的雷达信息和视频监控球机采集的视频及图形信息为输入，基于深度学习和高性能运算计算，对采集的前端数据进行全目标解析、识别，将海量的视频及图像数据转化为人/车/路/脸/物全目标结构化数据，与毫米波雷达检测数据进行融合计算，实现多元数据接入、雷达/视频/图像数据混合解析、全目标识别的融合计算，为上层应用提供数据支撑；对毫米波雷达识别网络r-densenet和视觉识别网络yolov3基于tensorflow2.0进行架构和训练，在摄像头识别中使用opencv视觉处理库；在一个识别周期内，当毫米波雷达识别到目标时创建目标点，进入循环开始判断，匹配度小于阈值的为融合中目标点，按照融合规则进行融合；大于阈值的为融合成功目标点，使用真实目标存活判断方法持续追踪。7.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征
在于，所述雷达接口单元通过百兆网卡连接77ghz毫米波雷达，用于接收毫米波雷达采集到的相对距离、相对速度和相对角度数据。8.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述视觉接口单元通过百兆网卡连接视频监控设备，用于接收网络摄像机采集到的视频数据。9.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述反馈接口单元通过串行接口连接行为引导屏，用于显示中心平台子系统反馈的提醒信息，提醒信息包含显示信息和语音信息。10.如权利要求1所述的一种基于毫米波雷达与视觉融合的智能安全防护系统，其特征在于，所述后端接口单元将处理后的汇总信息发送到后端的中心平台子系统服务器。

技术总结
本发明公开了一种基于毫米波雷达与视觉融合的智能安全防护系统，包括从输入到输出依序连接的前端检测子系统、网络传输子系统、边缘计算子系统以及中心平台子系统；其中：所述前端检测子系统用于实时采集网络视频球机和毫米波雷达的数据，传输给所述网络传输子系统；所述网络传输子系统用于数据的传输与交换，传输给所述边缘计算子系统；所述边缘计算子系统包括雷达视频融合引擎；所述中心平台子系统用于反馈提醒信息，输送给行为引导屏。输送给行为引导屏。输送给行为引导屏。


技术研发人员：李得泉 吴淑艳 苏锦秀 牛晓东
受保护的技术使用者：天津光电聚能专用通信设备有限公司
技术研发日：2022.08.02
技术公布日：2022/12/5