非结构化环境动态目标识别方法及系统与流程

摘要: 本发明涉及目标识别,尤其涉及一种非结构化环境动态目标识别方法及系统。背景技术:1、随着移动机器人、服务机器人及特种机器人在复杂非结构化环境中的持续应用,机器人对...
非结构化环境动态目标识别方法及系统与流程

本发明涉及目标识别,尤其涉及一种非结构化环境动态目标识别方法及系统。

背景技术:

1、随着移动机器人、服务机器人及特种机器人在复杂非结构化环境中的持续应用,机器人对多个动态目标进行识别、定位、关系理解及连续跟踪的能力已成为环境感知技术的重要发展方向,其中,如何在多源感知数据并存及多个目标同时运动的情况下提高目标识别和轨迹跟踪的准确性与稳定性成为亟需解决的技术问题。现有技术通常通过机器人搭载的图像传感器、距离传感器和运动传感器采集环境数据,对采集数据分别进行滤波、目标检测和坐标转换,再根据各目标的检测结果估计目标类别、位置及运动轨迹。现有解决方案通常对不同感知数据及不同动态目标进行相互独立的处理,难以消除模态间的语义差异和时空偏差,也缺乏根据目标距离、运动状态及目标间潜在关系分配识别优先级并进行多目标联合推演的机制,容易造成处理资源分配不合理及目标关系判断缺失,导致复杂环境中多个动态目标的识别准确性、空间定位精度和连续跟踪稳定性不足。可见,现有技术存在缺陷,亟待解决。

技术实现思路

1、本发明所要解决的技术问题在于,提供一种非结构化环境动态目标识别方法及系统,能够实现多模态语义特征、目标关系特征及时空运动特征的协同处理,降低远距离低关注目标对处理资源的占用,提高非结构化环境中的动态目标的识别准确性。

2、为了解决上述技术问题,本发明第一方面公开了一种非结构化环境动态目标识别方法,所述方法包括:

3、获取机器人在非结构化环境中采集的多模态环境数据;所述多模态环境数据包括视觉图像数据、激光点云数据、语音指令数据及惯性导航数据;

4、基于所述多模态环境数据的模态类型和采集时序,生成多模态单元序列;所述多模态单元序列为经过时间基准统一和空间坐标对齐的多模态数据单元集合;

5、将所述多模态单元序列输入多模态目标识别模型,得到多个动态目标的候选目标状态信息;所述多模态目标识别模型基于跨模态特征对齐模型和多模态大语言模型构建;所述候选目标状态信息包括候选目标类别、初始目标位置、运动状态及初始识别置信度;

6、基于所述候选目标状态信息,对多个所述动态目标进行优先级约束的关系语义与时空联合推演,得到动态目标信息;所述优先级约束用于降低远距离动态目标的识别优先级并提高速度变化较大的动态目标的识别优先级;所述动态目标信息包括目标类别、目标位置、运动轨迹及目标关系语义。

7、作为一个可选的实施方式,在本发明第一方面中,所述基于所述多模态环境数据的模态类型和采集时序,生成多模态单元序列,包括:

8、根据所述多模态环境数据的模态类型和采集时序,确定各模态环境数据对应的模态单元提取规则;

9、基于各所述模态单元提取规则,从对应的模态环境数据中提取携带采集时间标识的候选模态单元,得到候选模态单元集合;

10、根据所述惯性导航数据,确定与各所述采集时间标识对应的机器人位姿;

11、基于各所述机器人位姿,对所述候选模态单元集合中的候选模态单元进行时间基准统一和空间坐标补偿,生成所述多模态单元序列。

12、作为一个可选的实施方式,在本发明第一方面中,所述多模态目标识别模型通过以下步骤训练得到:

13、获取多个历史多模态样本及对应的目标状态标注,所述目标状态标注包括目标类别标注、目标位置标注和目标轨迹标注;

14、根据各所述历史多模态样本的模态类型和采集时间标识,将各所述历史多模态样本转换为训练多模态单元序列;

15、基于所述训练多模态单元序列中目标区域的时空重叠关系,将对应于同一目标的跨模态单元构建为正样本对,并将对应于不同目标的跨模态单元构建为负样本对;

16、将所述正样本对和所述负样本对输入基础跨模态特征对齐模型,得到训练对齐特征;

17、将所述训练对齐特征输入基础多模态大语言模型,得到预测目标状态;

18、基于所述正样本对、所述负样本对、所述预测目标状态和所述目标状态标注,对所述基础跨模态特征对齐模型和所述基础多模态大语言模型进行共同优化训练直至收敛;

19、基于训练后的跨模态特征对齐模型和多模态大语言模型,构建所述多模态目标识别模型。

20、作为一个可选的实施方式,在本发明第一方面中,所述基于所述候选目标状态信息,对多个所述动态目标进行优先级约束的关系语义与时空联合推演,得到动态目标信息,包括:

21、根据所述候选目标状态信息,确定各所述动态目标相对于所述机器人的目标距离和速度变化量;

22、基于所述候选目标状态信息和所述多模态单元序列,确定由不同所述动态目标组成的候选目标对对应的关系语义可能性;

23、基于所述初始识别置信度、所述目标距离、所述速度变化量和所述关系语义可能性,确定各所述动态目标的识别优先级;

24、按照所述识别优先级,对各所述动态目标进行空间特征映射,得到各所述动态目标的目标类别和目标位置;

25、基于所述目标位置和所述运动状态,对多个所述动态目标进行时序关联和轨迹预测,得到运动轨迹信息;

26、基于所述关系语义可能性,对所述目标类别、所述目标位置和所述运动轨迹信息进行关联校正,得到所述目标关系语义和所述动态目标信息。

27、作为一个可选的实施方式,在本发明第一方面中,所述基于所述初始识别置信度、所述目标距离、所述速度变化量和所述关系语义可能性,确定各所述动态目标的识别优先级,包括:

28、根据各所述动态目标对应的所述目标距离,确定距离衰减系数,其中,所述距离衰减系数随所述目标距离的增大而减小;

29、根据各所述动态目标对应的所述速度变化量,确定动态增强系数,其中,所述动态增强系数随所述速度变化量的增大而增大;

30、根据各所述动态目标所在候选目标对对应的所述关系语义可能性,确定关系增强系数;

31、基于所述初始识别置信度、所述距离衰减系数、所述动态增强系数和所述关系增强系数,确定各所述动态目标的所述识别优先级。

32、作为一个可选的实施方式,在本发明第一方面中,所述基于所述候选目标状态信息和所述多模态单元序列,确定由不同所述动态目标组成的候选目标对对应的关系语义可能性,包括:

33、针对每一所述候选目标对,从所述候选目标状态信息和所述多模态单元序列中提取对应动态目标的类别语义特征、相对位置特征、运动方向特征和语音指令关联特征,得到目标关系特征;

34、将所述目标关系特征输入所述多模态大语言模型,得到多个候选关系语义及对应的初始关系概率;

35、基于所述候选目标对中不同动态目标之间的空间距离,确定空间邻接程度;

36、基于所述候选目标对中不同动态目标的运动方向和速度变化趋势,确定轨迹关联程度;

37、基于所述空间邻接程度和所述轨迹关联程度,对各所述初始关系概率进行校正,得到各所述候选关系语义对应的所述关系语义可能性。

38、作为一个可选的实施方式,在本发明第一方面中,所述基于所述目标位置和所述运动状态,对多个所述动态目标进行时序关联和轨迹预测,得到运动轨迹信息,包括:

39、根据各所述动态目标的所述识别优先级,确定对应的历史状态采样间隔和轨迹预测时长;

40、基于所述历史状态采样间隔,提取各所述动态目标的历史位置状态和历史速度状态,得到历史目标状态序列;

41、基于所述惯性导航数据,对所述历史目标状态序列进行机器人运动补偿,得到绝对目标状态序列;

42、基于各所述绝对目标状态序列的空间邻接关系和类别一致性,建立跨时刻目标关联;

43、将建立所述跨时刻目标关联的绝对目标状态序列输入时序轨迹预测算法,得到多个候选运动轨迹及对应的轨迹概率;

44、将所述轨迹概率最高的候选运动轨迹确定为对应动态目标的所述运动轨迹信息。

45、作为一个可选的实施方式,在本发明第一方面中,所述候选关系语义包括交互关系、协作关系、跟随关系、避让关系、阻挡关系和独立运动关系中的至少一种。

46、本发明实施例第二方面公开了一种非结构化环境动态目标识别系统,所述系统包括:

47、获取模块,用于获取机器人在非结构化环境中采集的多模态环境数据;所述多模态环境数据包括视觉图像数据、激光点云数据、语音指令数据及惯性导航数据;

48、生成模块,用于基于所述多模态环境数据的模态类型和采集时序,生成多模态单元序列;所述多模态单元序列为经过时间基准统一和空间坐标对齐的多模态数据单元集合;

49、识别模块,用于将所述多模态单元序列输入多模态目标识别模型,得到多个动态目标的候选目标状态信息;所述多模态目标识别模型基于跨模态特征对齐模型和多模态大语言模型构建;所述候选目标状态信息包括候选目标类别、初始目标位置、运动状态及初始识别置信度;

50、推演模块,用于基于所述候选目标状态信息,对多个所述动态目标进行优先级约束的关系语义与时空联合推演,得到动态目标信息;所述优先级约束用于降低远距离动态目标的识别优先级并提高速度变化较大的动态目标的识别优先级;所述动态目标信息包括目标类别、目标位置、运动轨迹及目标关系语义。

51、作为一个可选的实施方式,在本发明第二方面中,所述生成模块基于所述多模态环境数据的模态类型和采集时序,生成多模态单元序列的具体方式,包括:

52、根据所述多模态环境数据的模态类型和采集时序,确定各模态环境数据对应的模态单元提取规则;

53、基于各所述模态单元提取规则,从对应的模态环境数据中提取携带采集时间标识的候选模态单元,得到候选模态单元集合;

54、根据所述惯性导航数据,确定与各所述采集时间标识对应的机器人位姿;

55、基于各所述机器人位姿,对所述候选模态单元集合中的候选模态单元进行时间基准统一和空间坐标补偿,生成所述多模态单元序列。

56、作为一个可选的实施方式,在本发明第二方面中,所述多模态目标识别模型通过以下步骤训练得到:

57、获取多个历史多模态样本及对应的目标状态标注,所述目标状态标注包括目标类别标注、目标位置标注和目标轨迹标注;

58、根据各所述历史多模态样本的模态类型和采集时间标识,将各所述历史多模态样本转换为训练多模态单元序列;

59、基于所述训练多模态单元序列中目标区域的时空重叠关系,将对应于同一目标的跨模态单元构建为正样本对,并将对应于不同目标的跨模态单元构建为负样本对;

60、将所述正样本对和所述负样本对输入基础跨模态特征对齐模型,得到训练对齐特征;

61、将所述训练对齐特征输入基础多模态大语言模型,得到预测目标状态;

62、基于所述正样本对、所述负样本对、所述预测目标状态和所述目标状态标注,对所述基础跨模态特征对齐模型和所述基础多模态大语言模型进行共同优化训练直至收敛;

63、基于训练后的跨模态特征对齐模型和多模态大语言模型,构建所述多模态目标识别模型。

64、作为一个可选的实施方式,在本发明第二方面中,所述推演模块基于所述候选目标状态信息,对多个所述动态目标进行优先级约束的关系语义与时空联合推演,得到动态目标信息的具体方式,包括:

65、根据所述候选目标状态信息,确定各所述动态目标相对于所述机器人的目标距离和速度变化量;

66、基于所述候选目标状态信息和所述多模态单元序列,确定由不同所述动态目标组成的候选目标对对应的关系语义可能性;

67、基于所述初始识别置信度、所述目标距离、所述速度变化量和所述关系语义可能性,确定各所述动态目标的识别优先级;

68、按照所述识别优先级,对各所述动态目标进行空间特征映射,得到各所述动态目标的目标类别和目标位置;

69、基于所述目标位置和所述运动状态,对多个所述动态目标进行时序关联和轨迹预测,得到运动轨迹信息;

70、基于所述关系语义可能性,对所述目标类别、所述目标位置和所述运动轨迹信息进行关联校正,得到所述目标关系语义和所述动态目标信息。

71、作为一个可选的实施方式,在本发明第二方面中,所述推演模块基于所述初始识别置信度、所述目标距离、所述速度变化量和所述关系语义可能性,确定各所述动态目标的识别优先级的具体方式,包括:

72、根据各所述动态目标对应的所述目标距离,确定距离衰减系数,其中,所述距离衰减系数随所述目标距离的增大而减小;

73、根据各所述动态目标对应的所述速度变化量,确定动态增强系数,其中,所述动态增强系数随所述速度变化量的增大而增大;

74、根据各所述动态目标所在候选目标对对应的所述关系语义可能性,确定关系增强系数;

75、基于所述初始识别置信度、所述距离衰减系数、所述动态增强系数和所述关系增强系数,确定各所述动态目标的所述识别优先级。

76、作为一个可选的实施方式,在本发明第二方面中,所述推演模块基于所述候选目标状态信息和所述多模态单元序列,确定由不同所述动态目标组成的候选目标对对应的关系语义可能性的具体方式,包括:

77、针对每一所述候选目标对,从所述候选目标状态信息和所述多模态单元序列中提取对应动态目标的类别语义特征、相对位置特征、运动方向特征和语音指令关联特征,得到目标关系特征;

78、将所述目标关系特征输入所述多模态大语言模型,得到多个候选关系语义及对应的初始关系概率;

79、基于所述候选目标对中不同动态目标之间的空间距离,确定空间邻接程度;

80、基于所述候选目标对中不同动态目标的运动方向和速度变化趋势,确定轨迹关联程度;

81、基于所述空间邻接程度和所述轨迹关联程度,对各所述初始关系概率进行校正,得到各所述候选关系语义对应的所述关系语义可能性。

82、作为一个可选的实施方式,在本发明第二方面中,所述推演模块基于所述目标位置和所述运动状态,对多个所述动态目标进行时序关联和轨迹预测,得到运动轨迹信息的具体方式,包括:

83、根据各所述动态目标的所述识别优先级,确定对应的历史状态采样间隔和轨迹预测时长;

84、基于所述历史状态采样间隔,提取各所述动态目标的历史位置状态和历史速度状态,得到历史目标状态序列;

85、基于所述惯性导航数据,对所述历史目标状态序列进行机器人运动补偿,得到绝对目标状态序列;

86、基于各所述绝对目标状态序列的空间邻接关系和类别一致性,建立跨时刻目标关联;

87、将建立所述跨时刻目标关联的绝对目标状态序列输入时序轨迹预测算法,得到多个候选运动轨迹及对应的轨迹概率;

88、将所述轨迹概率最高的候选运动轨迹确定为对应动态目标的所述运动轨迹信息。

89、作为一个可选的实施方式,在本发明第二方面中,所述候选关系语义包括交互关系、协作关系、跟随关系、避让关系、阻挡关系和独立运动关系中的至少一种。

90、本发明第三方面公开了另一种非结构化环境动态目标识别系统,所述系统包括:

91、存储有可执行程序代码的存储器;

92、与所述存储器耦合的处理器;

93、所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的非结构化环境动态目标识别方法中的部分或全部步骤。

94、本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的非结构化环境动态目标识别方法中的部分或全部步骤。

95、与现有技术相比,本发明实施例具有以下有益效果:

96、本发明通过将多模态环境数据转换为时空对齐的多模态单元序列,利用多模态目标识别模型得到多个动态目标的候选目标状态信息,并对多个动态目标进行优先级约束的关系语义与时空联合推演,从而能够实现多模态语义特征、目标关系特征及时空运动特征的协同处理,降低远距离低关注目标对处理资源的占用,提高非结构化环境中的动态目标的识别准确性。