工程机械及农机用摄像头的物体识别方法及系统与流程

摘要: 本发明涉及工程机械及农机设备用摄像头的图像识别领域,尤其涉及工程机械及农机用摄像头的物体识别方法及系统。背景技术:1、工程机械及农机领域,正逐步引入多摄像头识别...
工程机械及农机用摄像头的物体识别方法及系统与流程

本发明涉及工程机械及农机设备用摄像头的图像识别领域,尤其涉及工程机械及农机用摄像头的物体识别方法及系统。

背景技术:

1、工程机械及农机领域,正逐步引入多摄像头识别的视觉系统,在图像识别的加持下,使得设备的安全性和智能化程度进一步得到提升,当前车身布局的摄像头包含整车环视摄像头以及工作装置监控摄像头等,各个摄像头都需要对不同的位置、物体等进行有效识别。

2、同时由于工程机械及农机领域的特殊性,对成本考量具有一点的硬性要求,因此难以像汽车等领域一样直接部署高算力的处理器,因此就需要用低算力的芯片进行有效的处理,才能达到特定的需求;

3、现有的工程机械及农机设备在设计完成后所有摄像头安装位置角度相对固定的情况,各个摄像头需要识别的物体能够出现的区域实际只占摄像头所采集的原始图像范围内的一部分;从图像识别的角度,当前各种图像识别的模型所接收的识别图像尺寸是有要求的,例如yolo系列的模型当输入图像的尺寸为640*640时效果最好,而有些性能更低的模型所接收的尺寸更小,常规的处理方法是对原摄像头图像进行缩放,例如授权公告号为cn114140609b的发明专利所公开的一种基于改进yolov3与双目视觉的挖掘机周边人员测距方法,在其步骤3中,yolov3深度学习卷积网络模型将输入的不同分辨率的图像统一调整为416×416大小,而常用的摄像头分辨率通常为1280*720,为了适应模型的要求,通常的做法是把这个图像进行缩放到模型需要的小尺寸后再交给模型处理,这样所识别的物体将被严重压缩变小,并且长宽比例差异大,甚至连物体的图像特点都压缩掉了,导致模型的识别率变低;同时,由于工程机械及农机领域的特殊性,对成本控制具有硬性要求,难以像汽车等领域一样直接部署高算力的处理器,通常采用低算力的芯片以降低成本,并且现有的工程机械及农机领域所配置的摄像头也基本都是低成本的模拟摄像头,其分辨率以及清晰度完全无法与数字摄像头进行比较,因此输入的图像的质量相对较低,对图像识别的算法要求进一步提高。

4、另一个方面,由于工程机械及农机的工作状态都是在高震动的恶劣环境中进行,摄像头在设备工作过程中经常会由于震动冲击发生位置和角度的变化,因此,对于识别处理的区域需要进行动态的调整。

技术实现思路

1、因此,为解决上述问题,本发明提供了工程机械及农机用摄像头的物体识别方法及系统。

2、本发明是通过以下技术方案实现的:

3、工程机械及农机用摄像头的物体识别方法,包括以下步骤:

4、s1:获取摄像头实时采集的原始图像;

5、s2:根据样机阶段预设的初始中心识别区域的位置信息,在摄像头实时拍摄的原始图像上定位中心识别区域;

6、s3:以当前中心识别区域为初始位置,采用与当前中心识别区域等面积的移动窗口以预设的偏移距离朝多个方向调整位置,分别截取到环绕当前中心识别区域的多个辅助检测区域;

7、s4:根据当前中心识别区域及其多个辅助检测区域内的识别物体次数调整中心识别区域的位置,并基于调整后的中心识别区域识别物体;

8、s5:基于调整后的中心识别区域,重复执行步骤s3至步骤s4,以实现摄像头的中心识别区域的自适应动态调整。

9、优选的,所述初始中心识别区域的位置信息包括所述中心识别区域在原始图像中的左上角坐标、以及所述中心识别区域的宽度和高度。

10、优选的,所述步骤s3包括以下步骤:

11、s31:获取当前中心识别区域的位置信息(sx , sy , sw , sh),其中(sx,sy)为当前中心识别区域的左上角点坐标,(sw,sh)为当前中心识别区域的宽度和高度;

12、s32:设置偏移距离(px,py);

13、s33:在中心识别区域的基础上,分别根据预设的偏移距离向左上、左下、右上、右下四个方向移动位置,并生成四个大小一样的辅助检测区域area1(sx-px , sy-py , sw ,sh)、area2 (sx+px ,sy-py , sw , sh)、area3 (sx-px , sy+py , sw , sh)、(sx+px ,sy+py ,sw , sh)。

14、优选的,所述步骤s4包括以下步骤:

15、s41:分别将当前中心识别区域及四个辅助检测区域输入到图像识别模型中,并统计每个区域内识别到目标物体的次数,并记为当前区域内的命中次数;

16、s42:获取五个区域中的最大命中次数hitmax并计算五个区域的平均命中次数hitaverage;

17、s43:判断平均命中次数hitaverage与最大命中次数hitmax之比是否小于预设的阈值α;若比值小于阈值α且最大命中次数hitmax的区域非当前中心识别区域,则将所述最大命中次数hitmax的区域设置为新的中心识别区域;若否,则不调整当前中心识别区域。

18、优选的,所述中心识别区域的尺寸与所述图像识别模型的输入尺寸相同。

19、优选的,所述步骤s5中,设置识别周期,在每个识别周期内执行一次步骤s3-步骤s4的操作。

20、优选的,步骤s4中,在调整中心识别区域的位置后,将五个区域的命中次数计数值清零或者重设为基础计数值,并在下一识别周期重新统计每个区域内识别到目标物体的次数。

21、优选的,每个识别周期的时长≤40ms。

22、优选的,所述摄像头为模拟摄像头,所述设备上布置有多个摄像头,每个摄像头独立执行步骤s1至步骤s5。

23、工程机械及农机用摄像头的物体识别系统,包括:

24、摄像头,包括多个摄像头,每个摄像头均实时采集原始图像;

25、图像识别模型,用于识别输入图像中的物体,并输出识别结果,所述识别结果包括输入图像中所识别的物体数量;

26、移动窗口,用于根据位置信息在摄像头采集的原始图像中截取当前中心识别区域,并根据预设的偏移距离朝多个方向调整位置,分别截取到环绕当前中心识别区域的多个辅助检测区域;

27、计算模块,用于根据当前中心识别区域及其多个辅助检测区域内的识别物体次数获取五个区域中的最大命中次数hitmax并计算五个区域的平均命中次数hitaverage,并判断平均命中次数hitaverage与最大命中次数hitmax之比是否小于预设的阈值α;

28、当所述计算模块判断平均命中次数hitaverage与最大命中次数hitmax之比小于预设的阈值α时,发出调整信号,所述移动窗口移动至所述最大命中次数hitmax的区域,并截取该区域的图像作为所述图像识别模型的输入图像;当所述计算模块判断平均命中次数hitaverage与最大命中次数hitmax之比小于等于预设的阈值α时,则所述移动窗口继续截取当前中心识别区域的图像作为所述图像识别模型的输入图像。

29、本发明技术方案的有益效果主要体现在:

30、1、本发明区别于传统的全图缩放方法,直接截取原始图像中目标特征所集中的中心识别区域送入图像识别模型中,避免了因缩放导致的目标特征压缩或丢失,尤其对于小尺寸目标具有更高的识别精度,同时,采用截取部分图像的方式减少了输入像素数量,从而降低了对处理器算力的需求,使其能够适用于工程机械及农机领域摄像头所应用的低成本嵌入式芯片上。

31、2、本发明先在样机阶段预设的中心识别区域的位置信息,该样机阶段预设的中心识别区域的位置信息是基于设备无震动冲击的静止条件下的中心识别区域,在设备运行的过程中,基于中心识别区域,设置四个等面积的辅助检测区域并统计各区域的识别命中次数,通过实时比较各区域的识别命中次数并自动地调整摄像头的中心识别区域,实现摄像头的中心识别区域的自适应动态调整,该调整方法无需增加任何传感器,可通过纯软件实现,能够有效抵抗工程机械及农机作业过程中的高震动冲击,保证识别区域始终对准实际目标出现位。

32、3、本发明无需升级摄像头和高算力芯片,完全依赖算法优化和自适应策略,适用于现有低成本硬件,通过灵活设置阈值α和识别周期,可以快速调整系统的调整灵敏度与稳定性,适用于不同震动强度的工作场景,避免因随机噪声导致频繁调整或响应迟钝。