双边缘线连续提取方法、系统、电子设备以及存储介质
本发明实施例涉及智慧农业,更具体地,涉及一种双边缘线连续提取方法、系统、电子设备以及存储介质。
背景技术:
1、田间移动装备在复杂田间环境中运行时,需要持续感知前方环境,并根据感知结果完成路径保持、横向偏差修正、转向判断以及作业状态切换等任务。其中,路径保持和横向偏差修正需要获取能够反映行进方向及横向位置的行进边缘线,转向判断和作业状态切换则需要获取能够反映目标通行区域前方终止位置的终止边缘线。导航感知信息的稳定获取是装备实现自主运行的重要基础,直接关系到行走精度、作业连续性和运行安全性。
2、现有田间视觉导航研究多侧重于单一导航线或单一作业边界的提取,主要用于田间移动装备的行进方向引导,难以同时满足连续行走阶段的导航需求和接近目标通行区域末端时的转向判断需求。因此,如何在田间复杂背景下稳定获取行进边缘线和终止边缘线,为田间移动装备提供可用于导航辅助和状态决策的双边缘线信息,成为田间移动装备自主运行中需要解决的关键问题。
技术实现思路
1、本发明实施例的一个目的是提供一种面向田间移动装备的双边缘线连续提取方法的新的技术方案。
2、本发明实施例的又一个目的是提供一种面向田间移动装备的双边缘线连续提取系统的新的技术方案。
3、本发明实施例的再一个目的是提供一种电子设备的新的技术方案。
4、本发明实施例的再一个目的是提供一种计算机存储介质的新的技术方案。
5、根据本发明的第一方面,提供了一种面向田间移动装备的双边缘线连续提取方法,包括如下步骤:由图像采集设备采集田间移动装备前方的视觉图像,并将所述视觉图像传输至计算机设备进行处理;所述计算机设备获取所述视觉图像作为田间图像样本,并对所述视觉图像中的目标通行区域进行标注,所述计算机设备基于标注后的所述田间图像样本训练目标通行区域识别模型;通过所述目标通行区域识别模型获取目标通行区域的行进边缘候选点,基于所述行进边缘候选点提取所述目标通行区域的双边缘线,所述双边缘线包括行进边缘线和终止边缘线,提取所述双边缘线时,以输入视频帧为处理对象,结合时序引导约束和ransac算法进行连续提取。
6、可选地,获取所述行进边缘候选点的步骤包括:通过所述目标通行区域识别模型获得包含所述目标通行区域和背景区域的二值图像,应用形态学开运算来消除孤立噪点,利用所述二值图像的拓扑结构提取所述目标通行区域的目标区域外轮廓,并保留最长的轮廓;从所述目标区域外轮廓中去除位于所述二值图像的四边的点集,得到有效目标区域外轮廓;从所述二值图像的垂直中心轴开始,向两边检查每一列,选择所述有效目标区域外轮廓上距离垂直中心轴最近的轮廓点作为所述行进边缘候选点。
7、可选地,提取所述双边缘线的步骤包括:判断行进边缘是否出现,在出现了所述行进边缘时,提取行进边缘候选点,通过线性拟合所述行进边缘候选点,获得所述行进边缘线;在所述行进边缘出现后,判断终止边缘是否出现,在出现了所述终止边缘时,提取终止边缘候选点,通过线性拟合所述终止边缘候选点,获得所述终止边缘线。
8、可选地,判断所述行进边缘是否出现的步骤包括:将判断所述行进边缘出现的面积特征定义为所述目标通行区域的行进边缘触发面积;将所述行进边缘触发面积与面积阈值进行对比,判断当前帧是否出现行进边缘;如果所述行进边缘触发面积小于所述面积阈值,则认为当前帧内未出现所述行进边缘;否则,认为出现所述行进边缘。
9、可选地,判断所述终止边缘是否出现的步骤包括:将判断终止边缘出现的面积特征定义为所述目标通行区域的终止边缘触发面积;通过将所述终止边缘触发面积与面积阈值进行对比,判断当前帧是否出现所述终止边缘;如果所述终止边缘触发面积小于所述面积阈值,则认为当前帧内未出现所述终止边缘;否则,认为出现所述终止边缘。
10、可选地,在基于时序引导约束进行连续提取时,所述行进边缘线或所述终止边缘线以
w为扩展宽度向两侧扩展为平行四边形,得到所述行进边缘线或所述终止边缘线的局部搜索带,在处理下一帧图像时,对位于上一帧局部搜索带内的所述行进边缘候选点或者所述终止边缘候选点进行线性拟合,得到下一帧或后续帧中的所述行进边缘线或所述终止边缘线。
11、可选地,所述目标通行区域识别模型采用mobilev2-unet。
12、根据本发明的第二方面,提供了一种面向田间移动装备的双边缘线连续提取系统,包括:图像采集设备,所述图像采集设备采集田间移动装备前方的视觉图像;计算机设备,所述计算机设备接收所述图像采集设备传输的所述视觉图像并作为田间图像样本,对所述视觉图像中的目标通行区域进行标注,所述计算机设备基于标注后的所述田间图像样本训练目标通行区域识别模型;提取处理器,所述提取处理器通过所述目标通行区域识别模型获取所述目标通行区域的行进边缘候选点,基于所述行进边缘候选点提取所述目标通行区域的双边缘线,所述双边缘线包括行进边缘线和终止边缘线,提取所述双边缘线时,以输入视频帧为处理对象,结合时序引导约束和ransac算法进行连续提取。
13、根据本发明的第三方面,提供了一种电子设备,包括:处理器和存储器,在所述存储器中存储有计算机程序指令,其中,在所述计算机程序指令被所述处理器运行时,使得所述处理器执行上述任一所述的方法。
14、根据本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器运行时,使得所述处理器执行上述任一所述的方法。
15、本发明实施例的一个有益效果在于,根据本发明实施例的面向田间移动装备的双边缘线连续提取方法,通过将基于目标通行区域提取双边缘线的过程分为两个主要步骤:首先获取目标通行区域的行进边缘候选点,然后提取行进边缘线和终止边缘线,行进边缘线和终止边缘线可以统称为双边缘线导航辅助信息。当田间移动装备连续行走时,目标通行区域的行进边缘线是视觉导航辅助的参考线;当田间移动装备接近目标通行区域末端或区域形态发生明显变化时,除行进边缘线外,还需要提取终止边缘线,以辅助田间移动装备在安全范围内完成减速、转向、掉头、作业状态切换或采集状态切换。可见,通过提取行进边缘线和终止边缘线,即精确的边缘线提取,能够在田间移动装备自主行走、作业或数据采集过程中对于提高装备运行稳定性和安全性具有重要作用。而且,提取双边缘线时,以输入视频帧为处理对象,结合时序引导约束和ransac算法进行连续提取,一方面,结合时序引导约束能够提升边缘线检测精度;又一方面,结合时序引导约束的ransac方法平均航向偏差和平均横向偏差最小,显示出其在复杂田间场景中的适应性和鲁棒性;再一方面,可以降低边缘线提取时间,提高面向田间移动装备的双边缘线连续提取方法的实时性。
16、通过以下参照附图对本发明的示例性实施例的详细描述,本发明实施例的其它特征及其优点将会变得清楚。
1.一种面向田间移动装备的双边缘线连续提取方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的面向田间移动装备的双边缘线连续提取方法,其特征在于,获取所述行进边缘候选点的步骤包括:
3.根据权利要求1所述的面向田间移动装备的双边缘线连续提取方法,其特征在于,提取所述双边缘线的步骤包括:
4.根据权利要求3所述的面向田间移动装备的双边缘线连续提取方法,其特征在于,判断所述行进边缘是否出现的步骤包括:
5.根据权利要求3所述的面向田间移动装备的双边缘线连续提取方法,其特征在于,判断所述终止边缘是否出现的步骤包括:
6.根据权利要求3所述的面向田间移动装备的双边缘线连续提取方法,其特征在于,在基于时序引导约束进行连续提取时,所述行进边缘线或所述终止边缘线以w为扩展宽度向两侧扩展为平行四边形,得到所述行进边缘线或所述终止边缘线的局部搜索带,在处理下一帧图像时,对位于上一帧局部搜索带内的所述行进边缘候选点或者所述终止边缘候选点进行线性拟合,得到下一帧或后续帧中的所述行进边缘线或所述终止边缘线。
7.根据权利要求1所述的面向田间移动装备的双边缘线连续提取方法,其特征在于,所述目标通行区域识别模型采用mobilev2-unet。
8.一种面向田间移动装备的双边缘线连续提取系统,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器和存储器,在所述存储器中存储有计算机程序指令,其中,在所述计算机程序指令被所述处理器运行时,使得所述处理器执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器运行时,使得所述处理器执行权利要求1-7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com