作业机构控制方法、装置、系统、车辆及存储介质与流程

摘要: 本公开涉及车辆控制,特别涉及一种作业机构控制方法、作业机构控制装置、作业机构控制系统、车辆、计算机可读存储介质、及计算机程序产品。背景技术:1、车辆作业过程中,...
作业机构控制方法、装置、系统、车辆及存储介质与流程

本公开涉及车辆控制,特别涉及一种作业机构控制方法、作业机构控制装置、作业机构控制系统、车辆、计算机可读存储介质、及计算机程序产品。

背景技术:

1、车辆作业过程中,作业机构本体及其下方地面区域处于驾驶员视线盲区。若不能对作业机构的作业环境进行感知,极易导致作业机构碰撞损坏,甚至发生车辆倾覆等事故。

2、在相关技术中,通过提前采集作业机构本体及其下方地面区域的历史影像,控制作业机构进行作业。

技术实现思路

1、本公开提供一种作业机构控制方法、作业机构控制装置、作业机构控制系统、车辆、计算机可读存储介质、及计算机程序产品,能够提高作业机构的作业安全性。

2、根据本公开的第一方面,提供了一种作业机构控制方法,包括:构建车辆的作业机构的运动模型以及所述作业机构的活动区域的环境模型;根据所述运动模型和所述环境模型,确定作业机构感知模型;在所述作业机构感知模型中,基于所述作业机构与所述环境模型中目标对象的距离信息,生成控制指令;基于所述控制指令,控制所述作业机构。

3、在一些实施例中,所述作业机构的活动区域的环境模型,通过如下方法构建:基于所述活动区域的图像数据和深度数据,确定所述活动区域的深度图;基于所述深度图的平面拟合结果,构建所述环境模型。

4、在一些实施例中,所述活动区域的图像数据是通过安装在所述车辆上的多个环视摄像机采集的,所述多个环视摄像机中相邻环视摄像机的视野存在重叠区域;所述重叠区域对应的活动区域的深度图是基于所述相邻环视摄像机采集的图像数据确定的;非重叠区域对应的活动区域的深度图是基于所述活动区域的深度数据确定的,所述深度数据是通过安装在所述车辆上的超声波传感器采集的。

5、在一些实施例中,所述重叠区域对应的活动区域的深度图,通过如下方法确定:基于所述相邻环视摄像机采集的具有重叠视野的图像数据对,利用立体匹配算法,确定所述重叠区域内各匹配像素点的视差;基于所述视差,利用算法确定所述重叠区域对应的活动区域的深度图。

6、在一些实施例中,所述利用立体匹配算法,确定所述重叠区域内各匹配像素点的视差,包括:利用基于所述深度数据确定的范围阈值,将所述立体匹配算法的匹配范围限制在所述范围阈值内。

7、在一些实施例中,所述基于所述深度图的平面拟合结果,构建所述环境模型,包括:基于所述平面拟合结果,确定所述深度图中各像素点基于地面的相对高程差;基于所述相对高程差,构建所述环境模型。

8、在一些实施例中,所述基于所述相对高程差,构建所述环境模型,包括:基于超声波传感器采集到的深度数据,对所述相对高程差进行校验,以验证所述环境模型的精度。

9、在一些实施例中,所述作业机构包括车辆的支腿,所述支腿包括固定组件和伸缩组件,所述运动模型用于表征所述伸缩组件相对于所述固定组件运动过程中的位姿变化情况,所述活动区域包括转动过程中所述伸缩组件的移动范围。

10、在一些实施例中,所述伸缩组件包括水平伸缩组件和垂直伸缩组件,所述作业机构的运动模型,通过如下方法构建:获取所述水平伸缩组件在水平方向上相对于所述固定组件的第一变化量、所述垂直伸缩组件在竖直方向上相对于所述固定组件的第二变化量、以及所述水平伸缩组件相对于所述固定组件转动的旋转角度;基于所述支腿的机械结构模型、所述第一变化量、所述第二变化量、以及所述旋转角度,确定所述运动模型。

11、在一些实施例中,所述根据所述运动模型和所述环境模型,确定作业机构感知模型,包括:利用坐标转换算法,将所述运动模型和所述环境模型转换至统一的世界坐标系下;将坐标转换后的运动模型叠加在坐标转换后的环境模型上,以确定所述作业机构感知模型。

12、在一些实施例中,所述车辆从第一位置运动到第二位置,所述作业机构控制方法还包括:在所述车辆位于所述第一位置的情况下,采集所述第二位置的图像数据;在所述车辆运动到所述第二位置的情况下,基于所述第二位置的图像数据、所述作业机构感知模型,更新所述作业机构感知模型。

13、在一些实施例中,所述目标对象包括静态障碍物和动态障碍物,所述基于所述作业机构与所述环境模型中目标对象的距离信息,生成控制指令,包括:确定所述作业机构与所述静态障碍物的第一距离信息,以及所述作业机构与所述动态障碍物的第二距离信息;基于所述第一距离信息和/或所述第二距离信息与不同距离阈值区间的对应关系,生成不同的控制指令,以对所述作业机构进行分级控制。

14、在一些实施例中,所述作业机构与所述动态障碍物的第二距离信息,通过如下方法确定:基于采集到的动态障碍物的多帧图像,识别动态障碍物并确定所述动态障碍物的运动状态信息;基于所述运动状态信息,对所述动态障碍物进行轨迹预测;确定轨迹预测的结果与所述作业机构的距离信息。

15、在一些实施例中,所述识别动态障碍物,包括:利用超声波传感器对所述动态障碍物的检测结果,对所述动态障碍物的识别结果进行验证。

16、根据本公开的第二方面,提供一种作业机构控制装置,包括:构建模块,用于构建车辆的作业机构的运动模型以及所述作业机构的活动区域的环境模型;确定模块,用于根据所述运动模型和所述环境模型,确定作业机构感知模型;生成模块,用于在所述作业机构感知模型中,基于所述作业机构与所述环境模型中目标对象的距离信息,生成控制指令;控制模块,用于基于所述控制指令,控制所述作业机构。

17、在一些实施例中,构建模块,用于基于所述活动区域的图像数据和深度数据,确定所述活动区域的深度图;基于所述深度图的平面拟合结果,构建所述环境模型。

18、在一些实施例中,所述活动区域的图像数据是通过安装在所述车辆上的多个环视摄像机采集的,所述多个环视摄像机中相邻环视摄像机的视野存在重叠区域;所述重叠区域对应的活动区域的深度图是基于所述相邻环视摄像机采集的图像数据确定的;非重叠区域对应的活动区域的深度图是基于所述活动区域的深度数据确定的,所述深度数据是通过安装在所述车辆上的超声波传感器采集的。

19、在一些实施例中,构建模块,用于基于所述相邻环视摄像机采集的具有重叠视野的图像数据对,利用立体匹配算法,确定所述重叠区域内各匹配像素点的视差;基于所述视差,利用算法确定所述重叠区域对应的活动区域的深度图。

20、在一些实施例中,构建模块,用于利用基于所述深度数据确定的范围阈值,将所述立体匹配算法的匹配范围限制在所述范围阈值内。

21、在一些实施例中,构建模块,用于基于所述平面拟合结果,确定所述深度图中各像素点基于地面的相对高程差;基于所述相对高程差,构建所述环境模型。

22、在一些实施例中,构建模块,用于基于超声波传感器采集到的深度数据,对所述相对高程差进行校验,以验证所述环境模型的精度。

23、在一些实施例中,所述作业机构包括车辆的支腿,所述支腿包括固定组件和伸缩组件,所述运动模型用于表征所述伸缩组件相对于所述固定组件运动过程中的位姿变化情况,所述活动区域包括转动过程中所述伸缩组件的移动范围。

24、在一些实施例中,所述伸缩组件包括水平伸缩组件和垂直伸缩组件。构建模块,用于获取所述水平伸缩组件在水平方向上相对于所述固定组件的第一变化量、所述垂直伸缩组件在竖直方向上相对于所述固定组件的第二变化量、以及所述水平伸缩组件相对于所述固定组件转动的旋转角度;基于所述支腿的机械结构模型、所述第一变化量、所述第二变化量、以及所述旋转角度,确定所述运动模型。

25、在一些实施例中,确定模块,用于利用坐标转换算法,将所述运动模型和所述环境模型转换至统一的世界坐标系下;将坐标转换后的运动模型叠加在坐标转换后的环境模型上,以确定所述作业机构感知模型。

26、在一些实施例中,所述车辆从第一位置运动到第二位置。作业机构控制装置还包括更新模块,用于:在所述车辆位于所述第一位置的情况下,采集所述第二位置的图像数据;在所述车辆运动到所述第二位置的情况下,基于所述第二位置的图像数据、所述作业机构感知模型,更新所述作业机构感知模型。

27、在一些实施例中,所述目标对象包括静态障碍物和动态障碍物。生成模块,用于确定所述作业机构与所述静态障碍物的第一距离信息,以及所述作业机构与所述动态障碍物的第二距离信息;基于所述第一距离信息和/或所述第二距离信息与不同距离阈值区间的对应关系,生成不同的控制指令,以对所述作业机构进行分级控制。

28、在一些实施例中,生成模块,用于基于采集到的动态障碍物的多帧图像,识别动态障碍物并确定所述动态障碍物的运动状态信息;基于所述运动状态信息,对所述动态障碍物进行轨迹预测;确定轨迹预测的结果与所述作业机构的距离信息。

29、在一些实施例中,生成模块,用于利用超声波传感器对所述动态障碍物的检测结果,对所述动态障碍物的识别结果进行验证。

30、根据本公开的第三方面,提供一种作业机构控制装置,包括:存储器;和耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上所述的作业机构控制方法。

31、根据本公开的第四方面,提供一种作业机构控制系统,包括:环视摄像机、超声波传感器、如上任一所述的作业机构控制装置。

32、根据本公开的第五方面,提供一种车辆,包括:作业机构,以及如上所述的作业机构控制系统。

33、根据本公开的第六方面,提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如上所述的作业机构控制方法。

34、根据本公开的第七方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上所述的作业机构控制方法。

35、在本公开的实施例中,对作业机构及其活动区域内的环境进行建模,并基于作业机构及环境的建模结果得到统一的作业机构感知模型。在统一的作业机构感知模型中,感知作业机构及环境中目标对象的距离,将距离信息作为控制指令的生成依据,可以有效提高作业机构的作业安全性。