三维对象检测方法、装置、设备以及存储介质与流程

技术特征：
1.一种三维对象检测方法，包括：获取第一图像和n个点云数据，所述第一图像和所述n个点云数据为在同一场景下采集得到的，所述n为大于1的整数；在所述第一图像中确定每个点云数据对应的p个像素点，所述p为大于或等于1的整数；根据每个点云数据对应的p个像素点，对所述第一图像和所述n个点云数据进行融合处理，得到融合特征；对所述融合特征进行对象检测处理，以在所述n个点云数据中确定至少一个三维对象。2.根据权利要求1所述的方法，其中，根据每个点云数据对应的p个像素点，对所述第一图像和所述n个点云数据进行融合处理，得到融合特征，包括：获取所述第一图像对应的第一图像特征，以及获取所述n个点云数据对应的第一点云特征；根据每个点云数据对应的p个像素点、所述第一图像特征和所述第一点云特征，确定所述n个点云数据对应的类别特征；对所述n个点云数据对应的类别特征和所述n个点云数据进行第一融合处理，得到所述融合特征。3.根据权利要求2所述的方法，其中，根据每个点云数据对应的p个像素点、所述第一图像特征和所述第一点云特征，确定所述n个点云数据对应的类别特征，包括：根据每个点云数据对应的p个像素点，对所述第一图像特征和所述第一点云特征进行第二融合处理，得到所述n个点云数据对应的中间融合特征；对所述中间融合特征进行分类处理，得到所述n个点云数据对应的类别特征。4.根据权利要求3所述的方法，其中，根据每个点云数据对应的p个像素点，对所述第一图像特征和所述第一点云特征进行第二融合处理，得到所述n个点云数据对应的中间融合特征，包括：根据每个点云数据对应的p个像素点，在所述第一图像特征中确定每个点云数据对应的子图像特征，得到n个子图像特征；一个子图像特征中包括所述p个像素点对应的图像特征；对所述n个子图像特征和所述第一点云特征进行所述第二融合处理，得到所述中间融合特征。5.根据权利要求4所述的方法，其中，对所述n个子图像特征和所述第一点云特征进行所述第二融合处理，得到所述中间融合特征，包括：根据所述第一点云特征的维度，对所述n个子图像特征进行维度变化处理得到第二图像特征，所述第二图像特征和所述第一点云特征的维度相同；根据所述第二图像特征对所述第一点云特征进行加权处理，得到第二点云特征；将所述第一点云特征和所述第二点云特征进行相加处理，得到所述中间融合特征。6.根据权利要求5所述的方法，其中，根据所述第二图像特征对所述第一点云特征进行加权处理，得到第二点云特征，包括：将所述第二图像特征与所述第一点云特征相乘，得到所述第二点云特征。7.根据权利要求1至6任一项所述的方法，其中，所述p为大于1的整数，针对所述n个点云数据中的每个点云数据，在所述第一图像中确定所述点云数据对应的p个像素点，包括：
在所述第一图像中对所述点云数据进行投影处理，得到投影像素点；在所述第一图像中所述投影像素点的周围预设范围内确定p-1个邻近像素点；将所述投影像素点和所述p-1个邻近像素点，确定为所述点云数据对应的p个像素点。8.根据权利要求1至7任一项所述的方法，其中，对所述融合特征进行对象检测处理，以在所述n个点云数据中确定至少一个三维对象，包括：通过预设检测模型对所述融合特征进行对象检测处理，得到对象检测结果，所述对象检测结果包括所述至少一个三维对象的对象信息，所述对象信息包括所述三维对象在所述n个点云数据对应的点云图像中的位置、所述三维对象的尺寸和所述三维对象的朝向。9.根据权利要求8所述的方法，通过预设检测模型对所述融合特征进行对象检测处理，得到对象检测结果之后，还包括：显示所述n个点云数据对应的点云图像、以及在所述点云图像上显示所述对象检测结果；或者，向预设设备发送所述对象检测结果。10.一种三维对象检测装置，包括：获取模块，用于获取第一图像和n个点云数据，所述第一图像和所述n个点云数据为在同一场景下采集得到的，所述n为大于1的整数；确定模块，用于在所述第一图像中确定每个点云数据对应的p个像素点，所述p为大于或等于1的整数；处理模块，用于根据每个点云数据对应的p个像素点，对所述第一图像和所述n个点云数据进行融合处理，得到融合特征；检测模块，用于对所述融合特征进行对象检测处理，以在所述n个点云数据中确定至少一个三维对象。11.根据权利要求10所述的装置，其中，所述处理模块包括：获取单元，用于获取所述第一图像对应的第一图像特征，以及获取所述n个点云数据对应的第一点云特征；第一处理单元，用于根据每个点云数据对应的p个像素点、所述第一图像特征和所述第一点云特征，确定所述n个点云数据对应的类别特征；第二处理单元，用于对所述n个点云数据对应的类别特征和所述n个点云数据进行第一融合处理，得到所述融合特征。12.根据权利要求11所述的装置，其中，所述第一处理单元包括：第一处理子单元，用于根据每个点云数据对应的p个像素点，对所述第一图像特征和所述第一点云特征进行第二融合处理，得到所述n个点云数据对应的中间融合特征；第二处理子单元，用于对所述中间融合特征进行分类处理，得到所述n个点云数据对应的类别特征。13.根据权利要求12所述的装置，其中，所述第一处理子单元具体用于：根据每个点云数据对应的p个像素点，在所述第一图像特征中确定每个点云数据对应的子图像特征，得到n个子图像特征；一个子图像特征中包括所述p个像素点对应的图像特征；对所述n个子图像特征和所述第一点云特征进行所述第二融合处理，得到所述中间融
合特征。14.根据权利要求13所述的装置，其中，所述第一处理子单元具体用于：根据所述第一点云特征的维度，对所述n个子图像特征进行维度变化处理得到第二图像特征，所述第二图像特征和所述第一点云特征的维度相同；根据所述第二图像特征对所述第一点云特征进行加权处理，得到第二点云特征；将所述第一点云特征和所述第二点云特征进行相加处理，得到所述中间融合特征。15.根据权利要求14所述的装置，其中，所述第一处理子单元具体用于：将所述第二图像特征与所述第一点云特征相乘，得到所述第二点云特征。16.根据权利要求10至15任一项所述的装置，其中，所述p为大于1的整数，所述确定模块包括：投影单元，用于针对所述n个点云数据中的每个点云数据，在所述第一图像中对所述点云数据进行投影处理，得到投影像素点；第一确定单元，用于在所述第一图像中所述投影像素点的周围预设范围内确定p-1个邻近像素点；第二确定单元，用于将所述投影像素点和所述p-1个邻近像素点，确定为所述点云数据对应的p个像素点。17.根据权利要求10至16任一项所述的装置，其中，所述检测模块包括：检测单元；所述检测单元，用于通过预设检测模型对所述融合特征进行对象检测处理，得到对象检测结果，所述对象检测结果包括所述至少一个三维对象的对象信息，所述对象信息包括所述三维对象在所述n个点云数据对应的点云图像中的位置、所述三维对象的尺寸和所述三维对象的朝向。18.根据权利要求17所述的装置，还包括：显示模块，用于显示所述n个点云数据对应的点云图像、以及在所述点云图像上显示所述对象检测结果；或者，发送模块，用于向预设设备发送所述对象检测结果。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至9中任一项所述的方法。21.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。

技术总结
本公开提供了三维对象检测方法、装置、设备以及存储介质，涉及人工智能领域，尤其涉及计算机视觉、图像识别和深度学习技术。具体实现方案为：获取第一图像和N个点云数据，所述第一图像和所述N个点云数据为在同一场景下采集得到的；在所述第一图像中确定每个点云数据对应的P个像素点，所述P为大于或等于1的整数；根据每个点云数据对应的P个像素点，对所述第一图像和所述N个点云数据进行融合处理，得到融合特征；对所述融合特征进行对象检测处理，以在所述N个点云数据中确定至少一个三维对象。本公开方案能够提高三维对象检测结果的准确性。性。性。


技术研发人员：邹智康 叶晓青 孙昊
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.01.27
技术公布日：2022/5/5