基于车载摄像头的汽车碰撞预测系统和方法与流程

技术特征：
1.基于车载摄像头的汽车碰撞预测系统，其特征在于，包括：视频数据获取模块，用于获取车载摄像头采集的视频数据，将视频数据分别传输至运动尺度变化模块和运动方向交叉模块；运动尺度变化模块，用于根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，并将尺度变化特征输出至lgmd脉冲神经网络模块；lgmd脉冲神经网络模块，用于根据获取的尺度变化特征，基于训练好的lgmd脉冲神经网络模型获取运动靠近特征，将运动靠近特征输出至碰撞预测模块；运动方向交叉模块，用于根据获取的视频数据获取自身与前景物体的运动交叉特征，将运动交叉特征输出至碰撞预测模块；碰撞预测模块，用于根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。2.根据权利要求1所述的基于车载摄像头的汽车碰撞预测系统，其特征在于，所述车载摄像头的镜头对准车辆前方，用于拍摄车辆驾驶视觉下的视频数据。3.根据权利要求1所述的基于车载摄像头的汽车碰撞预测系统，其特征在于，视频数据获取模块根据接收到的所述视频数据，将连续的视频帧序列按时间顺序依次分别传输至运动尺度变化模块和运动方向交叉模块。4.根据权利要求1所述的基于车载摄像头的汽车碰撞预测系统，其特征在于，运动尺度变化模块，根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征，具体包括：获取由数据获取模块传输的视频帧序列；基于获取的视频帧序列，采用光流提取神经网络计算当前视频帧的光流场，并针对光流场进行局部线性变换，并对局部线性变换后的矩阵进行行列式计算获取初级逐像素尺度变化特征，基于获取的初级逐像素尺度变化特征，使用训练好的尺度变化神经网络来计算获取精细逐像素光流尺度变化特征作为第一尺度特征；基于获取的视频帧序列，计算视频中前景物体的相邻帧前景运动信息，然后通过训练好的尺度特征神经网络获取相邻帧的尺度特征；将当前帧的尺度特征进行尺度变换，获取当前帧的尺度变换特征，并将获取的当前帧的尺度变换特征与前一帧的尺度特征进行对比变换，得到前景尺度变化特征作为第二尺度特征；其中所述尺度变化特征根据所述第一尺度特征和所述第二尺度特征进行融合处理所得。5.根据权利要求4所述的基于车载摄像头的汽车碰撞预测系统，其特征在于，lgmd脉冲神经网络模块，根据获取的尺度变化特征，基于训练好的lgmd脉冲神经网络模型获取运动靠近特征，具体包括：所述训练好的lgmd脉冲神经网络模型包括感知层、激励层、抑制层、汇合层、侧抑制层和lgmd细胞层；其中感知层的输出分别连接激励层的输入、抑制层的输入和侧抑制层的输入；激励层的输出和抑制层的输出分别连接汇合层的输入；汇合层的输出和侧抑制层的输出分别连接lgmd细胞层的输入；其中感知层对时序上多视频帧对应的尺度变化特征进行融合；激励层对感知的运动特征进行增强；抑制层对感知的运动特征进行相反的抑制；汇合层综合平衡增强和抑制两种
神经冲动的作用；侧抑制层对场景运动特征的整体剧烈变动进行抑制；lgmd细胞层根据汇合层和侧抑制层输出的神经冲动，输出视频数据中靠近运动物体所产生的神经冲动作为运动靠近特征。6.根据权利要求5所述的基于车载摄像头的汽车碰撞预测系统，其特征在于，运动方向交叉模块，根据获取的视频帧序列获取自身与前景物体的运动交叉特征，具体包括：获取由数据获取模块传输的视频帧序列；通过训练好的三维目标检测神经网络获取视频帧中前景物体的水平旋转方向特征；通过训练好的自身运动估计神经网络获取视频帧中自身车辆运动的偏转角特征；根据获取的水平旋转方向特征和偏转角特征进行运动方向交叉判别，计算运动旋转向量的夹角，得到逐像素的运动交叉特征。7.根据权利要求6所述的基于车载摄像头的汽车碰撞预测系统，其特征在于，其中，碰撞预测神经网络模型包括时间注意力网络和空间注意力网络；碰撞预测模块，根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果，具体包括：分别获取由lgmd脉冲神经网络模块传输的运动靠近特征和由运动方向交叉模块传输的运动交叉特征；时间注意力网络根据运动靠近特征，在时域上进行关键帧的加权，得到时间注意力加权结果；空间注意力网络根据运动交叉特征，在空间域进行空间异常位置的加权，得到空间注意力加权结果；碰撞预测神经网络模型基于时间注意力加权结果和空间注意力加权结果，在时空融合层将时空注意力特征进行广播机制融合，输出可能发生碰撞的具体时刻预测和具体空间位置预测。8.基于车载摄像头的汽车碰撞预测方法，其特征在于，包括：获取车载摄像头采集的视频数据；根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征；根据获取的尺度变化特征，基于训练好的lgmd脉冲神经网络模型获取运动靠近特征；根据获取的视频数据获取自身与前景物体的运动交叉特征；根据获取的运动靠近特征和运动交叉特征，基于训练好的碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。

技术总结
本发明提供基于车载摄像头的汽车碰撞预测系统和方法，该系统包括：视频数据获取模块获取车载摄像头采集的视频数据；运动尺度变化模块根据获取的视频数据的光流变化和前景尺度变化，获取视频数据的尺度变化特征；LGMD脉冲神经网络模块根据获取的尺度变化特征，基于LGMD脉冲神经网络模型获取运动靠近特征；运动方向交叉模块根据获取的视频数据获取自身与前景物体的运动交叉特征；碰撞预测模块根据获取的运动靠近特征和运动交叉特征，基于碰撞预测神经网络模型进行碰撞预测处理，输出碰撞时间预测结果和碰撞位置预测结果。本发明能够实现车辆对危险运动目标的碰撞预测，有助于提高自动驾驶技术的安全性。自动驾驶技术的安全性。自动驾驶技术的安全性。


技术研发人员：梁雪峰 张松 雷国栋 陈伟烨
受保护的技术使用者：西安电子科技大学广州研究院
技术研发日：2021.08.10
技术公布日：2021/12/13