一种机器人远距离目标稳定识别感知方法及系统与流程

本发明涉及机器人环境感知与计算机视觉，更具体地说，是涉及一种机器人远距离目标稳定识别感知方法及系统。

背景技术：

1、机器人在远距离执行巡检、搜寻、跟随、抓取前定位和安全监控等任务时，常常需要在几十米甚至更远距离上识别交通锥、阀门、仪表、人员、车辆、缺陷部件、工装夹具或指定物资等目标。远距离视觉感知与近距离目标识别相比存在显著差异：目标在图像中占据像素少，局部纹理和边缘信息弱；机器人运动或云台转动会引入抖动和滚动快门畸变；目标周围的栏杆、树枝、货架、机械臂本体、其他人员或移动设备会造成间歇遮挡；同时，强光、逆光、雨雾、粉尘和夜间低照度又会降低图像质量。上述因素叠加后，常规目标检测器容易出现漏检、误检和同一目标身份频繁跳变的问题。

2、现有技术中，一类方案主要依赖封闭类别目标检测网络或实时检测网络，在单帧图像中输出目标类别和边界框，但需要预先定义类别集合，对新类别和语言指定目标的泛化能力有限。当目标被遮挡导致可见区域小于训练样本中的典型外观时，检测置信度会迅速下降。近年来开放词汇检测和视觉语言模型能够根据类别名称或自然语言描述发现目标，但其输出仍然偏向单帧语义匹配，在远距离遮挡和低分辨率条件下容易把相似背景或遮挡物当作目标。

3、另一类方案采用多目标跟踪、视频目标分割或时序特征聚合方法，通过跨帧关联缓解单帧漏检问题，但一般假设检测结果较稳定，或仅根据外观相似度、运动预测和交并比进行匹配。当目标被遮挡后再次出现时，其尺度、姿态和可见部位已发生变化，在机器人移动观察的情况下，背景视差和目标投影位置也会发生非线性变化，单纯依赖二维轨迹外推容易造成身份切换。

4、还有一些主动视觉方案通过调整云台、底盘或机械臂姿态来改善观测视角，但通常将主动视角规划与目标识别网络分离处理，缺少对遮挡程度、识别不确定性、目标三维可观测性和机器人运动代价的联合评价，在遮挡物持续存在或目标附近存在多个相似候选时，机器人可能反复调整却无法获得更可靠的观测。

5、综上，现有远距离机器人目标感知技术在开放语义发现、时序分割、深度几何和主动观察的统一建模方面存在不足。目标被遮挡时缺少可量化的遮挡状态和可见性评价，无法判断继续跟踪、重捕获或换视角的时机。目标短时消失后缺少结合语义、外观、三维位置和运动一致性的身份保持机制，也缺少针对远距离小目标和相机运动的在线记忆更新策略。

6、因此，亟需提供一种方案解决上述问题。

技术实现思路

1、为了克服现有技术在远距离目标感知中开放语义发现、时序分割、深度几何与主动观察缺乏统一建模，遮挡状态缺乏量化评价，目标短时消失后缺乏稳定身份保持机制，以及缺少针对远距离小目标和相机运动的在线记忆更新策略的不足，本发明提供一种机器人远距离目标稳定识别感知方法及系统。

2、本发明技术方案如下所述：

3、一种机器人远距离目标稳定识别感知方法，包括以下步骤：

4、获取当前帧图像、任务文本信息及机器人状态信息，对所述当前帧图像进行增强处理，生成不同尺度的图像表示，基于所述任务文本信息和所述不同尺度的图像表示进行跨模态匹配，得到候选目标信息；

5、基于所述候选目标信息或记忆数据中的历史信息，从当前帧图像中提取目标可见区域，并基于所述目标可见区域更新所述记忆数据，基于所述记忆数据及所述机器人状态信息评估目标的遮挡程度，得到遮挡状态信息；

6、基于所述候选目标信息、所述记忆数据中的历史轨迹和所述遮挡状态信息进行关联匹配，确定目标身份，并根据所述候选目标信息、所述目标可见区域的特征和所述遮挡状态信息生成目标识别置信度；

7、当所述目标识别置信度低于第一阈值或所述遮挡状态信息高于第二阈值时，执行改善观测视角的动作，并基于新采集的图像帧返回执行所述增强处理的步骤；

8、当所述遮挡状态信息低于第三阈值且所述目标识别置信度高于第四阈值时，将当前帧信息更新至长期记忆，否则仅更新短期预测状态。

9、优选的，所述生成不同尺度的图像表示的过程中，包括：

10、根据相机焦距、目标候选深度和所述机器人状态信息估计目标在图像中的预期尺度，对所述当前帧图像进行尺度归一化和多级缩放，生成包含原图、远距放大图和局部高分辨率裁剪图的多尺度图像表示。

11、优选的，所述基于所述记忆数据及所述机器人状态信息评估目标的遮挡程度，得到遮挡状态信息的过程中，包括：

12、根据所述记忆数据中的历史三维尺寸、当前深度和相机参数预测目标完整投影区域，计算所述目标可见区域与所述目标完整投影区域的面积比作为可见率，将所述可见率、边界残缺率、深度突变率、外观漂移度和轨迹预测偏差加权求和，再经s型函数映射得到遮挡评分；

13、所述遮挡评分的表达式为：

14、；

15、其中，为第个目标在当前时刻的遮挡评分，为可见率，为边界残缺率，为深度突变率，为外观漂移度，为轨迹预测偏差，、、、、和均为可学习或可标定参数。

16、优选的，所述进行关联匹配，确定目标身份的过程中，包括：

17、构建时空关联图，所述时空关联图的节点包括当前候选目标、历史轨迹片段和潜在遮挡物，所述时空关联图的边包括语义一致性边、外观一致性边、深度几何一致性边、运动一致性边和机器人位姿一致性边，对于当前候选目标与历史轨迹，计算联合匹配得分并根据所述联合匹配得分进行关联匹配；

18、所述联合匹配得分的表达式为：

19、；

20、其中，为第个目标与第条历史轨迹之间的匹配程度，为语义一致性，为外观一致性，为三维位置和深度范围一致性，为轨迹运动一致性，为机器人位姿约束一致性，为遮挡惩罚项，为权重。

21、优选的，所述生成目标识别置信度的过程中，包括：

22、将所述候选目标信息的语义特征、所述目标可见区域的外观特征和掩膜形状特征、深度几何特征、运动特征以及所述遮挡状态信息编码为统一目标表示，根据所述统一目标表示计算稳定识别置信度；

23、所述稳定识别置信度的表达式为：

24、；

25、其中，为第个目标在当前时刻的置信度得分，为检测置信度，为时序分割置信度，为历史身份稳定度，为三维定位信息，为遮挡评分，为不确定性协方差的迹，为权重。

26、优选的，所述进行关联匹配，确定目标身份的过程中，还包括：

27、当所述遮挡状态信息指示目标被严重遮挡时，进入遮挡保持状态，根据上一稳定三维位置、机器人运动、目标运动模型和场景几何预测目标隐状态，所述目标隐状态包括三维位置均值、不确定性协方差和身份记忆特征；

28、当目标重新出现或出现相似候选时，利用所述目标隐状态和所述长期记忆进行候选重捕获，若候选的联合匹配得分超过自适应阈值，恢复原目标身份，否则触发主动观测。

29、优选的，所述执行改善观测视角的动作的过程中，包括：

30、在预设动作集合中枚举候选观测动作，基于评价公式对所述观测动作进行评分，选择评分最高的所述观测动作为候选动作执行；

31、所述评价公式为：

32、；

33、其中，为候选动作的评分，为预测视角收益，为遮挡降低收益，为尺度提升收益，为运动代价，为安全约束惩罚，为权重。

34、优选的，所述执行改善观测视角的动作包括云台俯仰调整、云台偏航调整、底盘横移、底盘前进、机械臂末端位姿调整和相机焦距调整中的一种或多种组合。

35、优选的，所述记忆数据采用短期记忆和长期记忆两级结构，短期记忆用于保存最近预设帧数的目标可见区域、外观特征、深度分布、二维中心、三维位置和机器人状态信息，长期记忆用于保存高置信度且低遮挡状态下的关键帧信息。

36、本发明的第二方面提供了一种机器人远距离目标稳定识别感知系统，包括候选目标生成模块、遮挡状态评估模块、身份置信输出模块、主动感知闭环模块和记忆策略更新模块，其中：

37、候选目标生成模块，用于所述获取当前帧图像、任务文本信息及机器人状态信息，对所述当前帧图像进行增强处理，生成不同尺度的图像表示，基于所述任务文本信息和所述不同尺度的图像表示进行跨模态匹配，得到候选目标信息；

38、遮挡状态评估模块，用于所述基于所述候选目标信息或记忆数据中的历史信息，从当前帧图像中提取目标可见区域，并基于所述目标可见区域更新所述记忆数据，基于所述记忆数据及所述机器人状态信息评估目标的遮挡程度，得到遮挡状态信息；

39、身份置信输出模块，用于所述基于所述候选目标信息、所述记忆数据中的历史轨迹和所述遮挡状态信息进行关联匹配，确定目标身份，并根据所述候选目标信息、所述目标可见区域的特征和所述遮挡状态信息生成目标识别置信度；

40、主动感知闭环模块，用于所述当所述目标识别置信度低于第一阈值或所述遮挡状态信息高于第二阈值时，执行改善观测视角的动作，并基于新采集的图像帧返回执行所述增强处理的步骤；

41、记忆策略更新模块，用于所述当所述遮挡状态信息低于第三阈值且所述目标识别置信度高于第四阈值时，将当前帧信息更新至长期记忆，否则仅更新短期预测状态。

42、根据上述方案的本发明，其有益效果在于：

43、1、本发明将跨模态目标发现、可见区域提取、遮挡状态评估、身份关联匹配、置信度生成、主动视角调整和记忆更新串联为统一的闭环处理流程，克服了现有技术中各模块相互分离、无法形成有效闭环的缺陷，保证了远距离目标识别过程中数据流的连贯性和反馈的及时性；

44、2、本发明通过计算可见率、边界残缺率、深度突变率、外观漂移度和轨迹预测偏差并加权映射为遮挡评分，实现了对目标遮挡程度的量化评价，使系统能够准确区分目标真实消失、暂时被遮挡和与相似候选混淆三种状态，为身份保持和视角调整提供可靠的量化依据；

45、3、本发明在目标被严重遮挡时通过预测目标隐状态维持身份信息，并在目标重新出现时结合语义一致性、外观一致性、深度几何一致性、运动一致性和机器人位姿一致性进行联合重匹配，避免了现有技术中单纯依赖二维轨迹外推导致的身份频繁切换问题；

46、4、本发明采用短期记忆和长期记忆两级结构存储目标信息，并根据遮挡状态和置信度高低决定更新长期记忆或仅更新短期预测，避免了遮挡物或错误候选对目标记忆的污染，保证了长期跟踪过程中目标模板的可靠性。