一种拖拉机驾驶室前窗视野退化判定方法及系统与流程

摘要: 本发明涉及计算机视觉,具体而言,涉及一种拖拉机驾驶室前窗视野退化判定方法及系统。背景技术:1、随着拖拉机驾驶室电子化和视觉感知功能的发展,设置于驾驶室内部的前视...
一种拖拉机驾驶室前窗视野退化判定方法及系统与流程

本发明涉及计算机视觉,具体而言,涉及一种拖拉机驾驶室前窗视野退化判定方法及系统。

背景技术:

1、随着拖拉机驾驶室电子化和视觉感知功能的发展,设置于驾驶室内部的前视摄像头通常需要透过拖拉机驾驶室前窗连续获取外部场景图像,以为驾驶状态感知、环境观察及其他基于图像的辅助功能提供视觉信息。拖拉机在田间、施工场地及非铺装路面运行时,驾驶室前窗容易受到粉尘、泥水、水滴及局部雾气等影响,使前视图像出现局部对比度下降、纹理弱化或者有效特征减少;与此同时,拖拉机自身行驶、驾驶室振动以及外部景物相对运动又会使连续图像持续发生位置和内容变化。因此,及时判定前视图像中的局部视野退化是否来源于拖拉机驾驶室前窗,对于保证前视摄像头所采集视觉信息的有效性具有重要意义。

2、现有技术中,中国发明专利申请cn111860120a-车载相机自动遮挡检测方法和装置,公开了结合图像空域、频域和时域特征进行车载相机遮挡检测,并结合车辆运动状态调整检测过程,在动态检测中利用帧间变化判断遮挡区域的时域状态。该方案能够针对泥渍、雨水等造成的摄像头遮挡进行检测,但车辆运行过程中前视图像自身会随外部场景运动而持续变化,特别是在低速行驶、驾驶室振动、外部场景纹理较少或者局部场景变化不明显时,依据候选区域的图像质量、纹理状态或者连续图像中的变化程度,难以稳定区分固定于前窗成像光路的视野退化与外部场景自身造成的局部图像异常,从而存在视野退化区域误判或者漏判的问题。

3、因此,有必要设计一种拖拉机驾驶室前窗视野退化判定方法及系统用以解决当前技术中存在的问题。

技术实现思路

1、鉴于此,本发明提出了一种拖拉机驾驶室前窗视野退化判定方法及系统,旨在解决拖拉机低速行驶、驾驶室振动及外部场景变化条件下难以准确区分前窗成像光路视野退化与外部场景局部异常的问题。

2、本发明提出了一种拖拉机驾驶室前窗视野退化判定方法,包括:

3、获取前视摄像头透过拖拉机驾驶室前窗连续采集的前视图像,根据局部对比度下降和可匹配特征数量减少确定候选退化区域;

4、在候选退化区域外匹配外部场景特征,根据所述外部场景特征的位置变化确定场景相对运动轨迹;

5、根据所述场景相对运动轨迹判断外部场景特征的预测位置能否穿越所述候选退化区域,不能穿越时保持所述候选退化区域为待判定状态;能够穿越时,选取预测位置穿越候选退化区域的目标场景特征,并跟踪所述目标场景特征;

6、当所述目标场景特征进入候选退化区域前保持匹配,位于候选退化区域内时匹配相似度低于预设阈值或者跟踪中断,并在离开候选退化区域后重新获得目标场景特征,且重新获得位置位于场景相对运动轨迹确定的预测离开位置范围内时,将候选退化区域判定为拖拉机驾驶室前窗的视野退化区域。

7、进一步的,确定场景相对运动轨迹时,包括:

8、选取至少三个所述外部场景特征;超过半数外部场景特征的位置变化方向一致时,根据对应位置变化确定场景相对运动轨迹,否则保持候选退化区域为待判定状态。

9、进一步的,所述预测位置按照同向连续轨迹段进行穿越判断:

10、按照运动方向确定候选退化区域的进入边界和离开边界;

11、预测位置在同向连续轨迹段内依次越过进入边界和离开边界时,确定能够穿越;

12、越过离开边界前运动方向反转时,从反转位置重新判断。

13、进一步的,选取预测位置穿越候选退化区域的目标场景特征时,包括:从已确定能够穿越候选退化区域的外部场景特征中,选取在进入边界前连续三幅前视图像中保持匹配,且预测位置至进入边界的距离连续减小的外部场景特征,确定为目标场景特征。

14、进一步的,跟踪所述目标场景特征时,还包括:

15、根据场景相对运动轨迹确定目标场景特征与进入边界的预测交叉位置,以目标场景特征进入候选退化区域前保持匹配期间的预测位置与实际匹配位置的最大位置偏差为扩展距离,围绕预测交叉位置形成进入校验范围;

16、匹配相似度首次低于预设阈值或者跟踪中断的位置位于进入校验范围内时,继续根据场景相对运动轨迹更新所述预测位置,直至预测位置离开候选退化区域并进行重新获得判定,否则重新选取目标场景特征。

17、进一步的,在所述目标场景特征的重新获得判定中,对同一候选退化区域进行重复确认,包括:

18、选取至少两个进入校验范围互不重叠的目标场景特征;各目标场景特征均在对应进入校验范围内发生匹配相似度首次低于预设阈值或者跟踪中断,并在对应预测离开位置范围内重新获得时,将候选退化区域判定为视野退化区域,否则保持候选退化区域为待判定状态。

19、进一步的,所述目标场景特征位于候选退化区域内时的匹配相似度采用进入候选退化区域前的特征描述确定,包括:

20、保存目标场景特征进入候选退化区域前最后一次保持匹配时的特征描述作为入区前特征描述;进入候选退化区域后保持入区前特征描述不变,并据此确定匹配相似度。

21、进一步的,所述目标场景特征离开候选退化区域后的重新获得按照匹配相似度和位置变化方向进行判定,包括:

22、在预测离开位置范围内将外部场景特征与入区前特征描述进行匹配;所匹配的外部场景特征的匹配相似度不低于预设阈值,且重新匹配后连续两个位置变化方向均与场景相对运动轨迹一致时,将所匹配的外部场景特征确定为重新获得的目标场景特征,否则保持未重新获得状态。

23、进一步的,所述预测离开位置范围按照目标场景特征进入候选退化区域前的位置偏差确定,包括:

24、逐帧取得进入前预测位置与实际匹配位置的位置偏差;以最大位置偏差为扩展距离,以预测位置首次越出候选退化区域的位置为中心形成预测离开位置范围。

25、与现有技术相比,本发明的有益效果在于:通过将候选退化区域的局部图像异常与外部场景特征的实际相对运动关系结合进行判定,不再仅依据局部对比度、纹理状态或连续图像变化程度直接确认视野退化,而是先根据候选退化区域外的外部场景特征位置变化确定场景相对运动轨迹,并仅在外部场景特征的预测位置具备实际穿越候选退化区域的条件时选取目标场景特征进行连续跟踪,使后续判定建立在同一真实外部场景特征穿越候选退化区域的过程中;当目标场景特征在进入候选退化区域前能够保持匹配、进入候选退化区域后出现匹配相似度降低或跟踪中断,并在离开候选退化区域后于预测离开位置范围内重新获得时,可利用同一外部场景特征在候选退化区域前、区域内及区域后的匹配状态变化形成连续判定依据,从而判断局部图像异常是否持续作用于通过该区域的不同场景内容。由此,在拖拉机低速行驶、驾驶室振动、外部场景纹理较少或局部场景变化不明显的情况下,降低了将外部场景自身的低纹理区域、短时遮挡或位置变化误认为驾驶室前窗视野退化的可能性,提高了固定于驾驶室前窗成像光路中的局部退化区域与外部场景异常之间的区分能力,并在缺乏有效穿越条件时保持候选退化区域为待判定状态,避免了因判定依据不足直接输出退化结果,使拖拉机驾驶室前窗视野退化判定具有更好的针对性、稳定性和可靠性。

26、另一方面,本技术还提供了一种拖拉机驾驶室前窗视野退化判定系统,用于执行上述拖拉机驾驶室前窗视野退化判定方法,包括:

27、前视摄像头,设置于拖拉机驾驶室内,用于透过拖拉机驾驶室前窗连续采集前视图像;

28、图像处理单元,与所述前视摄像头连接,包括候选退化区域确定模块、场景相对运动轨迹确定模块、目标场景特征跟踪模块和视野退化判定模块;

29、所述候选退化区域确定模块、场景相对运动轨迹确定模块和目标场景特征跟踪模块依次连接,所述视野退化判定模块根据目标场景特征穿越候选退化区域期间的匹配状态以及离开候选退化区域后的重新获得结果确定视野退化区域。

30、可以理解的是,上述拖拉机驾驶室前窗视野退化判定方法及系统具备相同的有益效果,在此不再赘述。