一种地图构建方法、装置、计算机设备和可读存储介质与流程
本技术涉及地图构建,特别是涉及一种地图构建方法、装置、计算机设备和可读存储介质。
背景技术:
1、三维场景地图是机器人执行导航与操作任务的主要依据。
2、在构建三维场景地图的过程中,通常先逐帧识别每帧图像中的物体类别,然后根据各帧识别出的物体类别,对物体进行合并。
3、然而,上述构建三维场景地图的过程通常容易出现同一物体在不同关键帧中被识别为不同类别的情况,影响物体合并的效率,从而影响地图构建的效率。
技术实现思路
1、基于此,本技术针对上述技术问题,提供一种能够提高地图构建效率的地图构建方法、装置、计算机设备和可读存储介质。
2、第一方面,本技术提供了一种地图构建方法,包括:
3、获取针对待构建三维场景地图的目标场景进行图像采集得到的目标图像帧序列,并确定目标图像帧序列中每一目标图像帧对对应的目标共视率;其中,每一目标图像帧对包括两个相邻目标图像帧或两个相似目标图像帧;每一目标图像帧对对应的目标共视率表征目标图像帧对中不同目标图像帧对应的像素比例的平均值;每一目标图像帧对应的像素比例是目标图像帧对应的目标像素点的数量与目标图像帧的全部像素点的数量的比例,目标图像帧对应的目标像素点是另一目标图像帧的全部像素点中,对应深度值与任意投影点对应的深度值之间的差值绝对值小于差值阈值的像素点,投影点是目标图像帧的点云数据投影到另一目标图像帧的像素平面后,目标图像帧的被投影到像素平面中的像素点;目标图像帧序列包括各目标图像帧的图像数据、深度数据和相机位姿数据;
4、根据所得到的各目标共视率,对目标图像帧序列中的每一目标图像帧进行图像识别处理,以得到对应目标图像帧的目标识别结果;其中,每一目标图像帧的目标识别结果包括目标图像帧中的待识别物体,以及待识别物体在所属目标图像帧下属于参考物体类别的目标置信度;
5、根据不同待识别物体的目标图像特征,筛选不同待识别物体中的目标物体;以及,
6、针对每一目标物体,根据目标物体在所属不同目标图像帧下属于对应参考物体类别的目标置信度,确定目标物体的目标物体类别;
7、根据目标物体所属目标图像帧的图像数据、深度数据和相机位姿数据,确定目标物体在目标场景中的空间位置;
8、根据各目标物体的目标物体类别和对应空间位置,构建目标场景的三维场景地图。
9、采用上述地图构建方法,不同图像帧之间的共视率可以反映对应图像帧之间的场景内容的重复程度,因而根据目标图像帧序列中每一目标图像帧对对应的目标共视率,对目标图像帧序列中的每一目标图像帧进行图像识别处理时,可以实现基于不同目标图像帧之间重复的场景内容进行图像识别处理,从而可以得到更加准确的目标识别结果,相对于逐帧独立识别的方式,上述过程的识别准确性更高,从而可以提高待识别物体的合并效率,进而提高三维场景地图的构建效率。
10、在其中一个实施例中,根据所得到的各目标共视率,对目标图像帧序列中的每一目标图像帧进行图像识别处理,以得到对应目标图像帧的目标识别结果,包括:根据所得到的各目标共视率,对目标图像帧序列中的各目标图像帧进行分组,得到至少一个目标图像帧组;其中,每一目标图像帧组中每两个相邻或相似目标图像帧之间的目标共视率大于共视率阈值;针对每一目标图像帧组,从目标图像帧组中的首帧图像开始,按照预设步长,依次对目标图像帧组中连续第一数量的目标图像帧进行图像识别处理,以得到目标图像帧组中各目标图像帧的目标识别结果。
11、本实施例中,根据各目标共视率,对目标图像帧序列中的各目标图像帧进行分组,可以得到每两个相邻或相似目标图像帧之间的目标共视率大于共视率阈值的目标图像帧组,即同组间各目标图像帧之间场景内容的重复程度更高,从而在对各目标图像帧组进行识别时,可以得到更加准确的目标识别结果;并且,针对每一目标图像帧组,从目标图像帧组中的首帧图像开始,按照预设步长,依次对目标图像帧组中连续第一数量的目标图像帧进行图像识别处理,可以实现每次都对相同数量的目标图像帧进行图像识别处理,在提高图像识别处理的准确率的同时,还可以提高图像识别处理效率,为提高后续待识别物体的合并效率,以及提高三维场景地图的构建效率奠定基础。
12、在其中一个实施例中,从目标图像帧组中的首帧图像开始,按照预设步长,依次对目标图像帧组中连续第一数量的目标图像帧进行图像识别处理,以得到目标图像帧组中各目标图像帧的目标识别结果,包括:从目标图像帧组中的首帧图像开始,按照预设步长,依次将目标图像帧组中连续第一数量的目标图像帧划分为同一子组,得到多个目标图像子组;针对每一目标图像子组,根据目标图像子组中每相邻两个目标图像帧之间的目标共视率以及对前一目标图像子组进行识别时各重叠图像帧的历史结果,识别目标图像子组中每一目标图像帧中的待识别物体在所属目标图像帧下的初始物体类别,以及在所属目标图像帧下属于初始物体类别的目标置信度;重叠图像帧为目标图像子组与前一目标图像子组重叠的图像帧;针对目标图像帧组中的每一目标图像帧,从目标图像帧中的待识别物体的至少一个初始物体类别中,筛选目标图像帧中的待识别物体在所属目标图像帧下的参考物体类别。
13、本实施例中,针对每一目标图像子组,通过根据目标图像子组中每相邻两个目标图像帧之间的目标共视率以及对前一目标图像子组进行识别时各重叠图像帧的历史结果进行识别,可以实现基于目标图像子组的上下文进行联合识别,从而可以提高图像识别处理的准确率,为提高待识别物体的合并效率,以及提高三维场景地图的构建效率奠定基础。
14、在其中一个实施例中,目标图像特征包括投影覆盖情况、物体特征相似情况、边缘像素交叠情况和深度信息一致性情况中的至少一项;根据不同待识别物体的目标图像特征,筛选不同待识别物体中的目标物体,包括:针对任意两个待识别物体,根据两个待识别物体的每一目标图像特征,确定两个待识别物体的相似度评价结果;以及,在相似度评价结果大于相似度阈值的情况下,将两个待识别物体确定为同一目标物体。
15、本实施例中,通过确定两个待识别物体的相似度评价结果,可以实现更加精确地判断两个待识别物体是否为同一目标物体,为提高三维场景地图的构建效率奠定基础。
16、在其中一个实施例中,根据目标物体在所属不同目标图像帧下属于对应参考物体类别的目标置信度,确定目标物体的目标物体类别,包括:根据目标物体在不同目标图像帧下属于的对应参考物体类别,确定目标物体分别属于不同参考物体类别的对应目标图像帧的数量;确定所得到的各数量中的最大值,并对目标物体在最大值对应的各目标图像帧下属于对应参考物体类别的目标置信度进行求和处理,得到第一结果;根据第一结果与第二结果的比值,确定目标物体的类别不确定性;其中,第二结果为目标物体在所属不同目标图像帧下属于对应参考物体类别的置信度的和值;响应于类别不确定性小于第一预设阈值,确定目标物体的目标物体类别为最大值对应的参考物体类别。
17、本实施例中,通过确定目标物体的类别不确定性,可以实现更加精确地确定目标物体的目标物体类别,为提高三维场景地图的构建效率奠定基础。
18、在其中一个实施例中,在根据各目标物体的目标物体类别和对应空间位置,构建目标场景的三维场景地图之前,地图构建方法还包括:响应于类别不确定性大于第二预设阈值,从各第一物体中选取分别与各第二物体匹配的参考物体;其中,第二预设阈值大于第一预设阈值;第一物体为对应类别不确定性小于第一预设阈值的目标物体;第二物体为对应类别不确定性大于第二预设阈值的目标物体;针对每一第二物体,根据参考物体在所属不同目标图像帧下属于的参考物体类别以及参考物体的目标图像特征,确定第二物体的目标物体类别。
19、本实施例中,通过在类别不确定性大于第二预设阈值的情况下,基于参考物体在所属不同目标图像帧下属于的参考物体类别以及参考物体的目标图像特征,可以实现对类别不确定性较大的第二物体进行目标物体类别判定,从而提高第二物体的类别判定准确性,为提高三维场景地图的构建效率奠定基础。
20、在其中一个实施例中,在根据各目标物体的目标物体类别和对应空间位置,构建目标场景的三维场景地图之前,地图构建方法还包括:针对每一目标物体,在目标物体满足预设条件的情况下,重新获取包括目标物体的目标图像帧,并将目标图像帧序列中包括目标物体的目标图像帧替换为重新获取的目标图像帧;其中,预设条件包括目标物体的边界框尺寸小于预设尺寸和/或目标物体的类别不确定性大于第三预设阈值;第三预设阈值大于第二预设阈值。
21、本实施例中,通过对满足预设条件的目标物体重新获取目标图像帧,可以实现对小物体(边界框尺寸小于预设尺寸的目标物体)和/或类别不确定性较大的目标物体进行准确地类别判定,为提高后续待识别物体的合并效率,以及提高三维场景地图的构建效率奠定基础。
22、在其中一个实施例中,每一目标图像帧的目标识别结果还包括待识别物体在所属目标图像帧中的边界框;地图构建方法还包括:针对每一待识别物体,根据待识别物体在所属目标图像帧中的边界框,对待识别物体所属目标图像帧进行分割,得到待识别物体在所属目标图像帧的目标掩模图像;针对待识别物体所属的每一目标图像帧,将基于目标图像帧得到的目标掩模图像与目标图像帧进行拼接,得到目标拼接图像;利用特征提取模型,对目标拼接图像进行特征提取,得到待识别物体在目标图像帧下的目标图像特征。
23、本实施例中,通过利用特征提取模型,对目标拼接图像进行特征提取,得到待识别物体在目标图像帧下的目标图像特征,可以提高图像特征的提取效率,以提高后续筛选目标物体的效率,从而为提高三维场景地图的构建效率奠定基础。
24、在其中一个实施例中,特征提取模型通过以下方式训练得到:针对样本场景中的每一样本物体,获取样本物体所属的样本图像帧序列中每一样本图像帧对对应的样本共视率、每一样本图像帧的样本识别结果、样本物体在所属样本图像帧下的样本拼接图像;其中,样本拼接图像基于样本物体所属样本图像帧得到的样本掩模图像与样本图像帧拼接得到;样本掩模图像基于样本物体在所属样本图像帧中的边界框对样本物体所属样本图像帧进行分割得到;样本识别结果包括样本物体在所属样本图像帧下属于样本物体类别的样本置信度;利用初始模型,对样本拼接图像进行特征提取,得到样本物体在样本图像帧下的样本图像特征;针对每一样本图像帧对,根据样本图像帧对对应的样本共视率和样本物体在样本图像帧对中各样本图像帧下属于样本物体类别的样本置信度,确定样本物体在样本图像帧对下的共视率加权数据;根据每一样本物体在各样本图像帧对下的共视率加权数据和对应样本图像帧对对应的图像特征差异,确定特征对齐损失;其中,每一样本图像帧对对应的图像特征差异情况为样本物体在样本图像帧对中各样本图像帧下的样本图像特征之间的差异;根据每一样本物体在各样本图像帧对下的共视率加权数据和对应样本图像帧对对应的物体类别散度,确定类别分布散度损失;其中,每一样本图像帧对对应的物体类别散度为样本物体在样本图像帧对中各样本图像帧下所属样本物体类别之间的散度;根据每一样本图像帧对对应的样本共视率和样本图像帧对中两样本图像帧之间的投影交并比,确定两样本图像帧之间的关联权重;并根据关联权重和两样本图像帧的样本图像帧特征,确定图拉普拉斯正则化损失;根据每一样本图像帧的样本识别结果和对应标记识别结果,以及每一样本掩模图像和对应标记掩模图像,确定检测监督损失;根据特征对齐损失、类别分布散度损失、图拉普拉斯正则化损失和检测监督损失,对初始模型进行参数调整,以得到特征提取模型。
25、本技术实施例中,通过利用特征对齐损失、类别分布散度损失、图拉普拉斯正则化损失和检测监督损失,对初始模型进行参数调整,可以提升模型训练质量,使模型对同一物体在不同视角下提取的特征更加一致,提升特征提取的鲁棒性,为提高地图构建效率奠定基础。
26、第二方面,本技术还提供了一种地图构建装置,包括:
27、获取模块,用于获取针对待构建三维场景地图的目标场景进行图像采集得到的目标图像帧序列,并确定目标图像帧序列中每一目标图像帧对对应的目标共视率;其中,每一目标图像帧对包括两个相邻目标图像帧或两个相似目标图像帧;每一目标图像帧对对应的目标共视率表征目标图像帧对中不同目标图像帧对应的像素比例的平均值;每一目标图像帧对应的像素比例是目标图像帧对应的目标像素点的数量与目标图像帧的全部像素点的数量的比例,目标图像帧对应的目标像素点是另一目标图像帧的全部像素点中,对应深度值与任意投影点对应的深度值之间的差值绝对值小于差值阈值的像素点,投影点是目标图像帧的点云数据投影到另一目标图像帧的像素平面后,目标图像帧的被投影到像素平面中的像素点;目标图像帧序列包括各目标图像帧的图像数据、深度数据和相机位姿数据;
28、识别模块,用于根据所得到的各目标共视率,对目标图像帧序列中的每一目标图像帧进行图像识别处理,以得到对应目标图像帧的目标识别结果;其中,每一目标图像帧的目标识别结果包括目标图像帧中的待识别物体,以及待识别物体在所属目标图像帧下属于参考物体类别的目标置信度;
29、筛选模块,用于根据不同待识别物体的目标图像特征,筛选不同待识别物体中的目标物体;以及,
30、第一确定模块,用于针对每一目标物体,根据目标物体在所属不同目标图像帧下属于对应参考物体类别的目标置信度,确定目标物体的目标物体类别;
31、第二确定模块,用于根据目标物体所属目标图像帧的图像数据、深度数据和相机位姿数据,确定目标物体在目标场景中的空间位置;
32、构建模块,用于根据各目标物体的目标物体类别和对应空间位置,构建目标场景的三维场景地图。
33、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述任一方面的方法的步骤。
34、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一方面的方法的步骤。
35、关于上述第二方面至第四方面中任一技术方案的有益效果,可参照第一方面中的对应技术方案的有益效果,重复之处此处不再列举。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com