语义地图数据更新方法及相关设备与流程
本技术涉及图像处理领域,并且更具体地,涉及一种语义地图数据更新方法及相关设备。
背景技术:
1、语义地图又称语义图,是一种将物理空间信息与语义信息相结合的地图形式。语义地图不仅描述了物理空间的布局和结构,还包含了对环境中物体、场景和空间关系等的语义解释,如它不仅标注了物体的位置和形状,还赋予这些物体和空间语义标签。语义地图广泛应用于自动驾驶、智能机器人等领域。
2、语义地图是一种包含了语义信息的地图,而语义地图数据可以理解为构建语义地图的信息集合。语义地图数据表示的环境中物体的位置或形态等可能发生变化。为了使得语义地图数据准确地对环境进行表示,可以对语义地图数据进行更新。如何提高对语义地图更新的准确度,是目前亟待解决的问题。
技术实现思路
1、本技术提供了一种语义地图数据更新方法及相关设备,能够提高更新后的语义地图的准确度。
2、第一方面,提供一种语义地图数据更新方法,该方法包括:获取第一图像序列,以及所述第一图像序列中每帧第一图像对应的深度图像,所述第一图像序列中的任一帧第一图像和所述任一帧第一图像对应的深度图像是对相同场景进行采集得到的;根据所述第一图像序列,确定所述第一图像序列中记录的第一对象的第一对象特征;根据所述第一图像序列和每帧第一图像对应的深度图像,确定所述第一对象的第一点云数据;根据语义地图数据中第二对象的第二对象特征与所述第一对象特征之间的相似度,以及所述第一点云数据,对所述语义地图数据进行更新,不相同的对象的对象特征之间的相似度小于相似度阈值。
3、通过本技术提供的语义地图数据更新方法,因为不相同的对象的对象特征之间的相似度小于相似度阈值,所以根据第一对象的第一对象特征语义地图数据中第二对象的第二对象特征之间的相似度,可以确定第一图像序列中记录的第一对象与语义地图数据中记录的第二对象是否为相同的对象。不相同的对象的对象特征之间的相似度小于相似度阈值,语义地图数据中包括第二对象的对象特征,从而实现语义地图数据对环境中的对象的准确表示。根据语义地图数据中是否记录有相同的对象,对语义地图数据进行更新,从而随着时间推移,根据新采集的图像序列对已有的语义地图数据进行更新,不需要对于同一地点重复进行语义地图数据的建立,并且,对语义地图数据的更新是对象级的更新,提高语义地图数据的准确度。
4、在一些可能的实施例中,所述根据所述第一图像序列,确定所述第一图像序列中记录的第一对象的第一对象特征,包括:基于所述第一图像序列,确定所述第一对象特征以及所述第一图像序列中第一对象图像包括的所述第一对象的对象轮廓,第一对象图像为记录有所述第一对象的第一图像;所述根据所述第一图像序列和每帧第一图像对应的深度图像,确定所述第一对象的第一点云数据,包括:根据每帧第一对象图像对应的深度图像,以及所述第一对象在每帧第一对象图像中的轮廓,确定所述第一点云数据。
5、在第一点云数据确定的过程中使用第一对象在第一对象图像中的轮廓。而第一对象的第一对象特征可以是在确定第一对象在第一对象图像中的轮廓的过程中获取的。从而,对于第一对象的第一对象特征,无需通过额外的操作进行获取,提高了语义地图数据更新方法的处理效率。
6、在一些可能的实现方式中,所述根据所述第一图像序列,确定所述第一图像序列中记录的第一对象的第一对象特征,包括:确定所述第一图像序列中第一对象图像包括的所述第一对象的对象轮廓,第一对象图像为记录有所述第一对象的第一图像;根据所述第一对象的对象轮廓和所述第一对象所在的第一对象图像,确定所述第一对象特征。
7、根据第一图像序列中记录有第一对象的第一对象图像,以及第一对象在第一对象图像中的轮廓,确定第一对象特征,提高第一对象特征的准确度。
8、在一些可能的实现方式中,所述确定所述第一图像序列中第一对象图像包括的所述第一对象的对象轮廓,包括:对所述第一图像序列中的每帧第一图像进行对象识别,确定所述第一对象在第一对象图像中的位置信息;根据所述第一对象在第一对象图像中的位置信息,通过对所述第一图像序列进行对象分割处理,确定所述第一对象的对象轮廓。
9、第一对象在第一对象图像中的位置信息,可以表示第一对象图像中第一对象所在的识别框的位置。对每帧第一图像进行对象识别,确定记录有第一对象的每帧第一对象图像中第一对象的位置信息,并根据每帧第一对象图像中第一对象的位置信息,对第一图像序列进行对象分割处理,可以确定第一对象在每帧第一对象图像中的对象轮廓,提高第一对象的对象轮廓的准确度。
10、在一些可能的实现方式中,所述根据语义地图数据中第二对象的第二对象特征与所述第一对象特征之间的相似度,以及所述第一点云数据,对所述语义地图数据进行更新,包括:在所述语义地图数据包括的第二对象中不包括目标第二对象的情况下,在所述语义地图数据中添加所述第一对象特征和所述第一点云数据,所述目标第二对象的第二对象特征与所述第一对象特征之间的相似度大于或等于所述相似度阈值;在所述语义地图数据包括的第二对象中包括与所述目标第二对象的情况下,基于所述第一点云数据,确定所述语义地图数据中所述目标第二对象的第二点云数据。
11、目标第二对象的第二对象特征与第一对象特征之间的相似度大于或等于所述相似度阈值,即目标第二对象可以理解为语义地图数据中记录的与第一对象相同的对象。在语义地图数据中包括目标第二对象的情况下,根据第一对象的第一点云数据,确定目标第二对象的第二点云数据。而在语义地图数据中不包括目标第二对象的情况下,将第一对象作为新的第二对象,并将第一对象的第一对象特征和第一点云数据添加在语义地图数据中,使得更新后的语义地图数据更加准确。
12、在一些可能的实现方式中,所述在所述语义地图数据包括的第二对象中包括所述目标第二对象的情况下,基于所述第一点云数据,对所述语义地图数据中所述目标第二对象的第二点云数据进行更新,包括:在所述语义地图数据中包括所述目标第二对象,且所述目标第二对象满足重合条件的情况下,将所述目标第二对象的第二点云数据与所述第一点云数据进行融合,得到所述目标第二对象新的第二点云数据,所述重合条件为:所述语义地图数据包括所述目标第二对象的第二点云数据,并且所述目标第二对象的第二点云数据与所述第一点云数据的重合度大于或等于重合度阈值;在所述语义地图数据中包括所述目标第二对象,且所述目标第二对象不满足所述重合条件的情况下,将所述第一点云数据作为所述目标第二对象的第二点云数据。
13、在目标第二对象满足重合条件的情况下,目标第二对象在语义地图数据中的第二点云数据与第一对象的第一点云数据的重合度较高。通过对第二点云数据与第一点云数据进行融合,得到目标第二对象新的第二点云数据,弥补单一数据的不足,即使得新的点云数据更加准确和完整的反映目标第二对象的形状。
14、目标第二对象不满足重合条件,可以是语义地图数据中不包括目标第二对象的第二点云数据,也可以是语义地图数据中包括目标第二对象的第二点云数据,且目标第二对象在语义地图数据中的第二点云数据与第一对象的第一点云数据的重合度较低。
15、在语义地图中未记录第二对象的第二点云数据的情况下,可以将第一对象的第一点云数据作为第二对象的第二点云数据。
16、在目标第二对象在语义地图中记录的第二点云数据与第一对象的第一点云数据的重合度较低的情况下,环境中目标第二对象的位置发生了变化。第一点云数据和第二点云数据可能均无法完整地反映对象在各个朝向的形态,导致点云配准难度高,配准准确度较低。因此,在目标第二对象的第二点云数据与第一对象的第一点云数据的重合度较低的情况下,以第一对象的第一点云数据替换目标第二对象的第二点云数据,提高了点云数据的准确度。
17、在一些可能的实现方式中,所述方法还包括:在所述语义地图数据包括的第二对象中,确定候选第二对象,候选第二对象处于所述第一图像序列中至少一帧第一图像对应的视锥范围中且未被遮挡;在候选第二对象中包括消失对象的情况下,将所述消失对象的第二点云数据从所述语义地图数据中删除,消失对象的第二对象特征与所述第一对象特征的相似度小于或等于所述相似度阈值。
18、对于位于至少一个第一图像对应的视锥范围中且未被遮挡的候选第二对象,将候选第二对象的第二对象特征与第一对象的第一对象特征进行比较,以确定与语义地图数据表示的环境相比,在第一图像序列表示的环境中候选第二对象是否消失。在候选第二对象消失的情况下,将候选第二对象的第二点云数据删除,提高更新后的语义地图数据的准确度。
19、在一些可能的实现方式中,所述语义地图数据还包括每个第二对象的类别,所述根据语义地图数据中第二对象的第二对象特征与所述第一对象特征之间的相似度,以及所述第一点云数据,对所述语义地图数据进行更新,包括:根据所述语义地图数据中第二对象的类别,确定与所述第一对象的类别相同的同类别第二对象;计算同类别第二对象的第二对象特征与所述第一对象特征之间的相似度;根据同类别第二对象的第二对象特征与所述第一对象特征之间的相似度,以及所述第一点云数据,对所述语义地图数据进行更新。
20、相同的对象所属的类别是相同的。对于相同类别的对象进行相似度的计算,以确定是否为相同的对象。而对于不同类别的对象不再进行相似度的计算,提高处理效率,降低语义地图数据更新的计算量。
21、第二方面,提供了一种语义地图更新装置,包括用于执行第一方面的方法的单元。该装置可以是终端设备,也可以是终端设备内的芯片。
22、第三方面,提供了一种电子设备,包括存储器和处理器,存储器用于存储计算机程序,所述处理器用于从所述存储器中调用并运行所述计算机程序,使得所述电子设备执行第一方面的方法。
23、第四方面,提供了一种芯片,包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以实现第一方面的方法。
24、第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,所述计算机程序代码用于实现第一方面的方法。
25、第六方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,所述计算机程序代码用于实现第一方面的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com