一种基于车载视频的行人异常闯入检测方法及系统与流程

摘要: 本发明涉及图像处理领域,具体涉及一种基于车载视频的行人异常闯入检测方法及系统。背景技术:1、伴随着汽车主动安全技术与高级驾驶辅助系统的迅速发展,基于车载视觉的目...
一种基于车载视频的行人异常闯入检测方法及系统与流程

本发明涉及图像处理领域,具体涉及一种基于车载视频的行人异常闯入检测方法及系统。

背景技术:

1、伴随着汽车主动安全技术与高级驾驶辅助系统的迅速发展,基于车载视觉的目标检测与碰撞预警已成为保障道路交通安全的核心技术之一。在复杂的城市道路环境中,行人的移动轨迹具有高度的随机性与突发性。现有车载视觉系统通常依赖连续多帧图像的二维包围框变化率来评估行人碰撞风险。然而,由于车载相机随车辆行驶存在不规则的震动与俯仰运动,且道路环境存在光照动态突变以及背景建筑物的边缘纹理干扰,导致传统的像素级运动特征提取方法极易将自车运动引起的背景平移误判为行人的主动闯入。现有技术难以在剧烈颠簸、光影交错的实际行驶工况中,准确、实时地从复杂的背景杂波中剥离出真正具有安全威胁的行人异常闯入行为,导致前撞预警系统频繁出现误报与漏报,严重制约了车载安全辅助系统的可靠性。

2、在车辆颠簸或转弯时,车载相机会跟随车身一起抖动或颠簸,导致原本在画面中保持静止不动的路边大楼、护栏等建筑在前后两帧画面中发生大幅度的整体错位。由于在车辆移动过程中行人与部分建筑在微观像素层面上具有较高的相似性,都为纵向的长条状纹理瞬时横向移动,极易形成瞬间的画面干扰,导致预警系统在没有行人的时候频繁出现异常检测。

技术实现思路

1、本发明提供一种基于车载视频的行人异常闯入检测方法及系统,以解决现有的行人与部分建筑在微观像素层面上具有较高的相似性,都为纵向的长条状纹理瞬时横向移动,极易形成瞬间的画面干扰,导致预警系统在没有行人的时候频繁出现异常检测的问题。

2、为了实现上述目的,本发明提供如下技术方案:

3、一种基于车载视频的行人异常闯入检测方法,该方法包括以下步骤:

4、通过车载相机采集当前车辆前方的视频图像并获取当前帧色彩图像和前一帧色彩图像,将当前帧色彩图像和前一帧色彩图像转换为当前帧单通道灰度图和前一帧单通道灰度图并进行裁剪得到两个感兴趣区域;

5、在两个感兴趣区域内利用角点检测算法分别提取两个感兴趣区域的静态背景特征点,对两个感兴趣区域的静态背景特征点进行匹配和剔除得到初步对齐的背景特征点对集合;

6、将初步对齐的背景特征点对输入到迭代求解器中得到单应性矩阵,基于单应性矩阵对前一帧单通道灰度图进行对齐重构得到重构前一帧灰度图像;

7、根据当前帧单通道灰度图和重构前一帧灰度图像计算时空特征图,根据时空特征图进行运动目标前景分割得到二值化图像,对二值化图像进行处理得到完整的二维连通区域,根据二维连通区域得到行人候选目标;

8、根据行人候选目标得到行人与车辆之间的纵向距离和横向距离,根据行人与车辆之间的纵向距离和横向距离计算行人对于车辆的横向速度和纵向速度,根据行人对于车辆的横向速度和纵向速度计算航向角并获取航向角突变率;

9、根据纵向距离、横向距离、横向速度、纵向速度和航向角突变率计算行人的异常闯入动态风险指标;

10、将动态风险指标量化到0到1之间,获取风险阈值门限,当动态风险指标大于风险阈值门限时,判定为行人异常闯入,当动态风险指标小于风险阈值门限时,判定为正常。

11、优选的,所述对两个感兴趣区域的静态背景特征点进行匹配和剔除得到初步对齐的背景特征点对集合具体包括:对两个感兴趣区域的静态背景特征点进行双向粗匹配得到配对点对,计算配对点对之间的位移矢量,利用极线约束剔除位移方向不一致的孤立匹配点,获得初步对齐的背景特征点对集合。

12、优选的,所述根据当前帧单通道灰度图和重构前一帧灰度图像计算时空特征图具体包括:将当前帧单通道灰度图的每一个像素点灰度值减去重构前一帧灰度图像对应位置的像素点灰度值取绝对值得到当前差分残差图像,获取上一帧差分残差图像,计算两个残差图像的均值混合和平均能量,基于均值混合和平均能量计算时空特征图。

13、优选的,所述将初步对齐的背景特征点对输入到迭代求解器中得到单应性矩阵具体包括:

14、在迭代求解器中,每一轮迭代均随机抽取4对不共线的特征点对,求解出初级单应性矩阵;

15、利用迭代计算出的初级单应性矩阵,将前一帧单通道灰度图中所有的特征点进行空间坐标投影映射,得到当前单通道灰度图的预测像素坐标,计算预测像素坐标与当前单通道灰度图实际匹配坐标之间的欧氏距离,记为重投影误差;

16、重投影误差大于像素,将该特征点对剔除,统计在当前初级单应性矩阵下重投影误差小于等于像素的特征点总个数为符合静态背景特征的点个数,设定最大迭代循环次数,符合静态背景特征的点个数最多的那一轮所对应的矩阵为单应性矩阵。

17、在等主流库的默认参数为1-3像素范围,在本发明实施例中取2像素。

18、优选的,所述获取上一帧差分残差图像,计算两个残差图像的均值混合和平均能量,基于均值混合和平均能量计算时空特征图具体包括:

19、获取上一帧差分残差图像,将差分残差图像与上一帧差分残差图像进行轻量级时域滤波,计算两个残差图像的均值混合,利用的局部窗口计算当前帧每个位置处像素点的平均能量,采用如下方法计算时空特征图;

20、将差分残差图像与上一帧差分残差图像中相同位置处像素点灰度值求取均值;以的局部窗口计算当前帧每个像素点位置处平均能量,具体方法为:以当前帧差分残差图像中每个像素点位置为中心,计算其范围内所有像素点灰度值的均值,作为当前帧差分残差图像中每个像素点的平均能量;如果像素点在图像边缘,以实际局部窗口覆盖像素点作为计算平均能量的元素;

21、用差分残差图像与上一帧差分残差图像中相同位置处像素点灰度值求取均值,除以对应位置处像素点的平均能量与的和,得到一系列无量纲常数,将无量纲常数按照对应像素点位置排列,得到第帧时空特征图;

22、为防止分母为0的超参数,取值一般为到。

23、优选的,所述根据时空特征图进行运动目标前景分割得到二值化图像具体包括:

24、根据时空特征图进行分块自适应阈值映射,将时空特征图划分为个相互重叠的子区域,针对每个子区域窗口内的像素灰度分布,独立计算最佳二值化阈值,利用双线性插值算法对所有子窗口的中心阈值进行平滑过渡,生成与原始图像等尺寸的动态阈值曲面,逐个像素比较与的大小关系,得到二值化图像。

25、优选的,所述对二值化图像进行处理得到完整的二维连通区域,根据二维连通区域得到行人候选目标具体包括:

26、使用的十字形结构元素对二值化图像进行先膨胀后腐蚀的形态学闭运算,用以连接由于行人衣物颜色与背景相近而断开的边缘,并填补目标内部的空洞,形成完整的二维连通区域;

27、计算完整的二维连通区域的最小外接矩形,获取每个最小外接矩形高度和宽度,计算宽度和高度的比值,建立比值阈值,根据比值阈值剔除干扰连通区域。

28、优选的,所述根据行人候选目标得到行人与车辆之间的纵向距离和横向距离具体包括:在二维连通区域构建二维坐标系,获取行人候选目标在二维坐标系中的像素坐标,以车辆中心为原点建立车辆坐标系,将行人像素坐标映射到车辆坐标系得到行人与车辆之间的纵向距离和横向距离。

29、优选的,所述根据行人对于车辆的横向速度和纵向速度计算航向角并获取航向角突变率具体包括:采用如下公式计算航向角和航向角突变率;

30、计算当前帧的航向角,,计算前一帧的航向角,;

31、计算航向角突变率,;

32、其中,表示当前帧的横向速度,表示当前帧的纵向速度,表示前一帧的横向速度,表示前一帧的纵向速度。

33、优选的,所述根据纵向距离、横向距离、横向速度、纵向速度和航向角突变率计算行人的异常闯入动态风险指标具体包括:

34、采用如下公式计算异常闯入动态风险指标:

35、;

36、其中,表示纵向距离,表示横向距离。

37、本发明还提出了一种基于车载视频的行人异常闯入检测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序,以实现上述方法的步骤。

38、本发明的技术方案的有益效果是:

39、本发明针对车载视觉系统在车辆颠簸、转弯等复杂工况下易将静态背景伪影误判为行人闯入的关键难题,提出了一套完整的检测与预警方案。通过基于角点、网格分块、双向匹配及迭代求解的单应性矩阵精准对齐技术,有效消除了自车运动引起的背景平移与抖动干扰,同时显著性提高了行人候选目标的提取纯度。进一步构建了融合航向角突变率、速度与纵向距离的动态风险指标,配合时域连续确认机制,在极低算力开销下实现了误报与漏报的平衡,最终有效提升了复杂交通场景下行人异常闯入检测的准确性、鲁棒性与实时性,为高级驾驶辅助系统的可靠决策提供了有力支撑。