基于多模态信息融合的多视角目标主动感知方法、系统与流程

本发明涉及计算机视觉与机器人控制，尤其涉及基于多模态信息融合的多视角目标主动感知方法、系统。

背景技术：

1、在现代农业生产中，随着人们对品质和产量的要求不断提高，以及劳动力成本的逐渐上升，如何实现对果实及花卉等农业目标的自动化采摘，已成为农业自动化发展的重要方向。

2、目前农业自动化领域在处理堆叠目标如枸杞采摘、小型灌木花卉采摘时，在不规则和动态环境下，由于目标之间相互堆叠遮挡，传统农业机器人单视角单次检测的目标检测方法，无法准确提取较佳的目标深度信息，进而会影响后续针对目标关键点的3d位置检测，干扰采摘点生成的准确性。

3、现有基于关键点检测的果实采摘定位方案，通常基于深度学习模型识别果实在图像中的关键点（如果柄与果顶）并结合深度相机实现三维定位。如通过对rgb图像进行处理，直接回归出关键点的二维坐标，随后结合深度图信息估计三维空间位姿。然而，该类方案高度依赖单一视角图像进行关键点识别，容易受到叶片遮挡、光照不均、背景干扰等因素影响，尤其在果柄被部分遮蔽时检测准确率显著下降，缺乏对不确定区域的补充感知机制。

4、现有技术中还提出基于双模态融合语义分割与点云几何解算的观测位姿估计方案（如公开号为cn119563455b的专利文献），通过识别果簇及茎秆掩膜、聚类提取单果串点云并拟合茎秆直线，依据果串点云中心与茎秆拟合直线垂点的相对位置一次性估计末端相机观测位姿。该类方案以果簇点云完整、茎秆直线拟合可靠为前提；当目标被叶片或上层果实重度遮挡时，点云残缺导致位姿解算结果无法验证，仍存在观测视角不佳、关键点识别失败的风险。

5、现有技术中还提出基于深度强化学习的视点规划方案（如公开号为cn119489434a的专利文献），通过训练动作策略网络，依据遮挡区域检测结果迭代调整相机视点。该类方案需要预先采集场景数据并训练策略网络，泛化能力依赖训练场景分布，且视点调整过程与采摘任务序列相互分离，感知结果无法反馈至任务规划层。

6、此外，现有技术中存在依据遮挡情况预先规划采摘顺序的方案（如公开号为cn118700142a的专利文献），通过判断目标果实与枝干的空间干涉关系、计算多果贴碰系数，预先排序采摘队列。该类方案的采序规划基于采摘前的静态几何关系，对采摘过程中新出现的感知失败目标缺乏动态调度机制，且对不可采目标通常直接剔除，造成漏采。

7、因此，如何解决目标遮挡导致无法准确提取目标较佳深度信息的问题，同时提升遮挡场景下目标感知的鲁棒性、视角优化的效率以及感知与任务规划的协同性，是本领域亟待解决的技术问题。

技术实现思路

1、有鉴于此，本发明的主要目的在于提供基于多模态信息融合的多视角目标主动感知方法、系统，以解决目标遮挡导致无法准确提取目标较佳深度信息的问题。

2、为了实现上述目的，根据本发明的一个方面，提供了一种多视角目标主动感知方法，其步骤包括：

3、采集目标场景的rgbd图像，通过目标检测模型，确定目标初步位置；

4、依据各目标初步位置，构建采摘任务序列，并规划机械臂运动路径；

5、依据规划的机械臂运动路径，携带相机前往目标位置，采集目标的rgbd图像，并执行目标关键点遮挡判断及视角主动优化策略，直至获得满足预设阈值的最佳目标rgbd图像；

6、当目标经所述视角主动优化策略后，其在各视角下的关键点置信度和/或边缘锐度不满足预设阈值时，将该目标标记为待重访目标，并调整该待重访目标在所述采摘任务序列中的执行顺序。

7、在可能的优选实施方式中，所述构建采摘任务序列，并规划机械臂运动路径的步骤包括：

8、依据获得的目标初步位置，采用分层任务序列优化算法生成初步采摘序列，作为初始路径；

9、将初始路径中的节点连接线定义为航段，并以每个航段的机械臂运行宽度作为椭圆的短轴长度创建椭圆，删除所有椭圆之间的重叠区域，创建多椭圆空间；

10、基于多椭圆空间区域限制，采用rrt算法对初始路径进行调整，获取规划的机械臂运动路径。通过分层任务序列优化与多椭圆空间约束下的rrt路径调整，实现采摘序列与运动路径的联合优化，提升路径规划效率与避障能力。

11、在可能的优选实施方式中，所述目标关键点遮挡判断及视角主动优化策略的步骤包括：

12、通过图像分析模型，识别rgbd图像中的目标关键点，并检测其边缘锐度及置信度；

13、调整机械臂姿态，切换取景视角，采集rgbd图像，并重新识别目标关键点，获取不同视角下目标关键点的边缘锐度及置信度；

14、对比各视角的边缘锐度及置信度，选出最佳的目标rgbd图像。通过多视角对比选取较佳视角图像，提升目标关键点检测的准确性与鲁棒性。

15、在可能的优选实施方式中，所述调整机械臂姿态，切换取景视角的步骤包括：

16、当目标关键点的边缘锐度或置信度不满足预设阈值时，对目标关键点检测框内的图像计算梯度幅值与方向直方图，以梯度方向直方图的主方向确定遮挡边界的主方向，以所述主方向的垂直方向作为遮挡边界的延伸方位，并依据检测框内关键点所在区域置信度偏低的空间分布确认遮挡来源方位；

17、依据所述遮挡来源方位，优先在遮挡来源的反方向视角范围规划备选取景视角，采集备选取景视角下的rgbd图像并重新执行目标关键点遮挡判断。通过遮挡来源方位感知引导备选视角规划，减少视角尝试次数，缩短单目标感知耗时。

18、在可能的优选实施方式中，所述调整该待重访目标在所述采摘任务序列中的执行顺序的步骤包括：

19、将该待重访目标调整至所述采摘任务序列的末端，先执行所述采摘任务序列中其余目标的采摘任务；

20、待所述其余目标采摘完成后，重新对该待重访目标执行目标关键点遮挡判断及视角主动优化策略，直至获得满足预设阈值的最佳目标rgbd图像。通过任务序列重排，使感知失败目标获得二次感知机会，避免漏采，提高采摘完整率。

21、在可能的优选实施方式中，在获得最佳的目标rgbd图像后，还包括：

22、对该最佳的目标rgbd图像所在视角范围内的其他目标同步执行精细识别与关键点检测，获取所述其他目标中至少一个目标及其关键点的二维坐标。通过共享感知位姿一次到位感知多个目标，减少机械臂往返移动次数，提高感知效率。

23、在可能的优选实施方式中，所述方法还包括以下步骤：

24、通过图像分析模型，检测最佳的目标rgbd图像，获取目标及/或关键点的二维坐标，并根据反投影方法获得对应的空间坐标。通过反投影方法获得目标及关键点的空间坐标，为自动化采摘提供空间定位信息。

25、为了实现上述目的，根据本发明的另一个方面，还提供了一种多视角目标主动感知系统，其包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时，所述系统实现如上任一所述多视角目标主动感知方法的步骤。

26、为了实现上述目的，根据本发明的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中所述计算机程序被执行时，实现如上任一所述多视角目标主动感知方法的步骤。

27、本发明提供的多视角目标主动感知方法及系统、存储介质，通过目标关键点遮挡判断及视角主动优化策略的联动，以主动调整机械臂姿态，获取目标的最佳深度图，此举相比传统单次、单一视角的目标检测及定位方案，具备更强鲁棒性与高精度，在自然遮挡、高密集场景下，仍可稳定识别与定位目标。此外，本方案中还将目标关键点的检测与采摘路径规划建立统一的任务协同机制，感知失败的目标通过任务序列重排获得二次感知机会，因此可应对复杂环境中目标姿态、遮挡状况的快速变化，所导致的关键点偏差进一步放大路径误差的缺陷，从而有效解决因目标密集所导致的定位干扰问题。