果实识别与匹配方法及装置
本技术涉及农业机器人,尤其涉及一种果实识别与匹配方法及装置。
背景技术:
1、随着果园种植规模的不断扩大和现代农业技术的迅猛发展,果园产量估算已成为推动产业优化和提高经济效益的关键环节。果园估产机器人作为一种新型农业机器人,主要通过目标检测、数量统计和去重匹配等技术手段,自主完成果园中果实的精准识别与产量估算,实现果园产量预测的智能化和高效化。
2、然而,目前果园估产算法在复杂果园环境中面临多重技术挑战。树叶遮挡、光照变化和果实重叠等因素严重影响单帧检测精度。基于边界框的检测方法在果实重叠或部分遮挡时,容易将多个果实误检为单一个体,导致漏检或误检;光照变化引起果园表观颜色显著改变,进一步降低了检测准确性。更为突出的是,机器人在果园巡航过程中连续采集的视频序列中,同一果实会在多个视角下重复出现,若仅基于单帧检测结果累加计数,必然导致严重的重复计数,使产量估算结果失真。
技术实现思路
1、本技术提供一种果实识别与匹配方法,用以解决现有技术中单帧检测因果实遮挡、重叠及光照变化导致漏检误检的缺陷,实现复杂果园环境下高精度单帧果实检测。
2、第一方面,本技术提供一种果实识别与匹配方法,包括如下步骤:
3、获取视频序列图像中各帧图像的果实三维位置信息;
4、基于深度图对各帧图像中检测到的每一果实进行遮挡程度评估,得到各果实的遮挡程度得分;
5、根据果实三维位置信息的空间分布特征进行聚类,得到各帧图像的果树簇;
6、根据各果实的遮挡程度得分确定权重,并基于权重对各果树簇差异化提取三维空间拓扑特征;
7、针对视频序列图像中的当前帧,构建包含当前帧及前k帧的滑动时间窗口,基于三维空间拓扑特征对当前帧的果树簇与滑动时间窗口内各历史帧的果树簇依次进行跨帧匹配;
8、基于匹配成功的果树簇计算三维空间平移向量,并根据三维空间平移向量对各历史帧的果实三维位置信息进行平移对齐;
9、将平移对齐后的各历史帧的果实三维位置信息与当前帧的果实三维位置信息进行局部匹配,将当前帧中与任意历史帧匹配成功的果实剔除,并将未与任何历史帧匹配成功的果实作为新检测目标纳入计数,累加得到果实计数结果。
10、根据本技术提供的一种果实识别与匹配方法,基于深度图对各帧图像中检测到的每一果实进行遮挡程度评估,得到各果实的遮挡程度得分,包括:
11、将各帧图像及对应的深度图输入预先训练的遮挡程度识别模型,得到各果实的遮挡程度得分;
12、其中,遮挡程度得分与果实的被遮挡程度呈正相关;在判定深度图中目标果实的深度值缺失的情况下,将目标果实的遮挡程度得分设定为预设最大值。
13、根据本技术提供的一种果实识别与匹配方法,根据果实三维位置信息的空间分布特征进行聚类,得到各帧图像的果树簇,包括:
14、计算各帧图像中任意两个果实的三维位置信息在图像坐标系水平轴方向上的投影距离;
15、对投影距离的分布进行核密度估计,在生成的密度曲线中识别对应果树间隙的波谷点,并将波谷点对应的距离值确定为水平距离阈值;
16、将投影距离小于水平距离阈值的果实对应的三维位置信息划分为同一候选簇;
17、将包含果实位置点数量大于最小簇数量阈值的候选簇确定为果树簇。
18、根据本技术提供的一种果实识别与匹配方法,根据各果实的遮挡程度得分确定权重,并基于权重对各果树簇差异化提取三维空间拓扑特征,包括:
19、将各果树簇内的果实的三维位置信息集,按照高度方向划分为上子集和下子集;
20、针对上子集和下子集,分别剔除对应遮挡程度得分为预设最大值的果实,并以剩余果实的权重构建加权delaunay三角网络;
21、计算加权delaunay三角网络中各边的三维欧氏长度并离散化至预设区间,生成边长分布直方图;
22、计算加权delaunay三角网络中各三角形的内角并离散化至预设区间,生成内角分布直方图;
23、将上子集和下子集分别对应的边长分布直方图与内角分布直方图进行拼接,作为各果树簇的三维空间拓扑特征。
24、根据本技术提供的一种果实识别与匹配方法,跨帧匹配采用三层次分级匹配策略,包括:
25、行级匹配:根据各果树簇的水平位置区间确定所属果树行,在同行的果树簇之间执行匹配;
26、树级匹配:在同行的果树簇内,计算当前帧的果树簇与历史帧的果树簇之间三维空间拓扑特征的综合相似度得分,将综合相似度得分最高且超过预设相似度阈值的果树簇对,确定为匹配成功的果树簇;
27、果实级匹配:基于果实三维位置信息计算果实间的空间对应关系,并根据空间对应关系建立当前帧与历史帧之间的果实点对点映射,以生成用于局部匹配的锚点。
28、根据本技术提供的一种果实识别与匹配方法,将平移对齐后的各历史帧的果实三维位置信息与当前帧的果实三维位置信息进行局部匹配,包括:
29、为平移对齐后的每一个历史帧的果实三维位置信息在当前帧中查找距离最近的果实三维位置信息,并为当前帧中的每一个果实三维位置信息在历史帧中查找距离最近的果实三维位置信息,仅将正向与反向互为最近邻的候选对保留为双向一致匹配对;
30、统计所有双向一致匹配对的位移向量,根据位移向量的距离分布确定主导运动距离,并根据位移向量的方向角分布确定主导运动方向;
31、从双向一致匹配对中筛选出位移向量满足第一条件和第二条件的匹配对,作为目标匹配对;
32、其中,第一条件为位移向量与主导运动距离的偏差小于第一阈值,第二条件为位移向量与主导运动方向的偏差小于第二阈值。
33、根据本技术提供的一种果实识别与匹配方法,k值通过以下方式确定:
34、获取图像采集设备的行进速度和采集帧率;
35、基于预设的果园环境特征与行进速度,评估目标果实因遮挡导致视觉特征连续缺失的最大预期持续时长;
36、基于最大预期持续时长与采集帧率,计算跨越遮挡区间所需的最小覆盖帧数;
37、将大于或等于最小覆盖帧数的整数界定为k值,以使滑动时间窗口的帧容量完整包络果实受遮挡的最大预期帧数跨度。
38、第二方面,本技术还提供一种果实识别与匹配装置,包括如下模块:
39、获取模块,用于获取视频序列图像中各帧图像的果实三维位置信息;
40、遮挡评估模块,用于基于深度图对各帧图像中检测到的每一果实进行遮挡程度评估,得到各果实的遮挡程度得分;
41、聚类模块,用于根据果实三维位置信息的空间分布特征进行聚类,得到各帧图像的果树簇;
42、拓扑特征提取模块,用于根据各果实的遮挡程度得分确定权重,并基于权重对各果树簇差异化提取三维空间拓扑特征;
43、跨帧匹配模块,用于针对视频序列图像中的当前帧,构建包含当前帧及前k帧的滑动时间窗口,基于三维空间拓扑特征对当前帧的果树簇与滑动时间窗口内各历史帧的果树簇依次进行跨帧匹配;
44、平移对齐模块,用于基于匹配成功的果树簇计算三维空间平移向量,并根据三维空间平移向量对各历史帧的果实三维位置信息进行平移对齐;
45、计数模块,用于将平移对齐后的各历史帧的果实三维位置信息与当前帧的果实三维位置信息进行局部匹配,将当前帧中与任意历史帧匹配成功的果实剔除,并将未与任何历史帧匹配成功的果实作为新检测目标纳入计数,累加得到果实计数结果。
46、第三方面,本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一种的果实识别与匹配方法。
47、第四方面,本技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种的果实识别与匹配方法。
48、本技术提供的果实识别与匹配方法,通过引入深度图遮挡评估与差异化权重,从数据源头隔离低质量噪点,确保后续拓扑提取的可靠性;通过将果实按空间分布聚类为果树簇,并以加权三维空间拓扑特征替代果实个体外观特征进行跨帧匹配,将匹配粒度提升至结构稳定的果树集群级,克服了因果实外观相似与视角剧变导致的个体匹配失效;通过构建滑动时间窗口跨越连续多帧进行拓扑关联,突破了仅处理相邻帧对的局限,使短期遮挡后重现的果实仍能恢复关联;通过三维空间平移对齐与局部匹配去重,实现了动态场景下果实跨帧出现的精准剔除,显著提升了复杂果园环境下的匹配鲁棒性与计数准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com