一种融合方法、装置、设备、介质及产品与流程

技术特征：
1.一种融合方法，其特征在于，包括：获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标和参数信息；获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息；将每个包围盒的位置坐标投影至所述待识别图像中，得到每个包围盒相对于所述待识别图像的第一位置坐标；根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行融合。2.根据权利要求1所述的方法，其特征在于，获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息，包括：获取摄像头拍摄的待识别图像；将所述待识别图像输入目标模型，得到所述待识别图像中的至少一个目标物体的位置信息和特征信息，其中，所述目标模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：图像样本和所述图像样本对应的标识信息，所述标识信息包括：图像样本中的至少一个目标物体的位置信息和特征信息。3.根据权利要求2所述的方法，其特征在于，将所述待识别图像输入目标模型，得到所述待识别图像中的至少一个目标物体的位置信息和特征信息，包括：基于openvino工具对目标模型进行转换，得到权重信息和网络拓扑信息；将权重信息、网络拓扑信息和待识别图像加载至openvino工具中，得到待识别图像中的至少一个目标物体的位置信息和特征信息。4.根据权利要求2或3所述的方法，其特征在于，通过目标样本集迭代训练神经网络模型，包括：建立神经网络模型；将所述目标样本集中的图像样本输入所述神经网络模型得到所述图像样本中的至少一个预测目标物体的位置信息和特征信息；根据所述图像样本中的至少一个预测目标物体的位置信息和特征信息和所述图像样本中的至少一个目标物体的位置信息和特征信息形成的目标函数训练所述神经网络模型的参数；返回执行将所述目标样本集中的图像样本输入所述神经网络模型得到所述图像样本中的至少一个预测目标物体的位置信息和特征信息的操作，直至得到目标模型。5.根据权利要求1至3中任一权利要求所述的方法，其特征在于，获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标和参数信息，包括：获取激光雷达采集的待识别点云图像中每个点云到其余点云之间的距离；根据所述待识别点云图像中每个点云到其余点云之间的距离对所述待识别点云图像中的点云进行聚类，得到至少一个点云集合；获取每个点云集合对应的包围盒的位置坐标和参数信息。6.根据权利要求5所述的方法，其特征在于，获取每个点云集合对应的包围盒的位置坐标和参数信息，包括：获取每个点云集合对应的包围盒的位置坐标；
根据目标包围盒在相邻帧点云图像中的位置坐标确定所述目标包围盒的位移；根据所述目标包围盒的位移和所述相邻帧之间的时间间隔确定所述目标包围盒的速度。7.根据权利要求1、2、3或6所述的方法，其特征在于，根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行融合，包括：若第一目标物体的位置信息和第一包围盒相对于待识别图像的第一位置坐标之间的距离小于距离阈值，则将所述第一目标物体的特征信息和所述第一包围盒的参数信息进行融合。8.根据权利要求1、2、3或6所述的方法，其特征在于，将每个包围盒的位置坐标投影至所述待识别图像中，得到每个包围盒相对于所述待识别图像的第一位置坐标，包括：获取投影密度和摄像头外参；根据投影密度和摄像头外参对每个包围盒的位置坐标进行投影，得到每个包围盒相对于所述待识别图像的第一位置坐标。9.一种融合装置，其特征在于，包括：第一获取模块，用于获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标和参数信息；第二获取模块，用于获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息；投影模块，用于将每个包围盒的位置坐标投影至所述待识别图像中，得到每个包围盒相对于所述待识别图像的第一位置坐标；融合模块，用于根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行融合。10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的融合方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的融合方法。12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的融合方法。

技术总结
本发明公开了一种融合方法、装置、设备、介质及产品。该方法包括：获取激光雷达采集的待识别点云图像中至少一个点云集合对应的包围盒的位置坐标和参数信息；获取摄像头拍摄的待识别图像中的至少一个目标物体的位置信息和特征信息；将每个包围盒的位置坐标投影至所述待识别图像中，得到每个包围盒相对于所述待识别图像的第一位置坐标；根据所述每个包围盒相对于待识别图像的第一位置坐标和所述每个目标物体的位置信息将目标物体的特征信息和所述目标物体对应的包围盒的参数信息进行融合。通过本发明的技术方案，能够充分发挥激光雷达与图像数据的优势，获得更加丰富的目标物体的相关信息。相关信息。相关信息。


技术研发人员：王新锋 严征 冯洪亮
受保护的技术使用者：深圳市镭神智能系统有限公司
技术研发日：2022.03.14
技术公布日：2022/6/4