一种目标检测方法、装置、设备及存储介质与流程

技术特征：
1.一种目标检测模型的训练方法，其特征在于，包括：获取训练样本图像；所述训练样本图像标注有样本目标的标签数据，所述标签数据包括：标定框和标定深度；将所述训练样本图像输入2.5d初始目标检测模型获得所述样本目标的预测结果数据；其中，所述2.5d初始目标检测模型在2d目标检测模型的头部网络中增加深度估计层；所述预测结果数据包括：预测框和预测深度；根据所述预测结果数据和所述标签数据计算目标损失函数值，基于所述目标损失函数值对所述2.5d初始目标检测模型中的网络参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述2.5d初始目标检测模型包括：对于基于锚框的yolov5模型，保留所述yolov5模型的主干网络backbone、颈部网络neck和头部网络head；在所述头部网络中增加深度估计层得到2.5d初始目标检测模型；相应的，所述2.5d初始目标检测模型的目标损失函数包括：在所述yolov5模型的原损失函数的基础上增加深度回归损失函数；对所述yolov5模型的原损失函数和所述深度回归损失函数进行加权求和得到目标损失函数；其中，所述yolov5模型的原损失函数包括：分类损失函数、边界框损失函数和置信度损失函数；所述深度回归损失函数包括：所述预测深度与所述标定深度之间的绝对误差，以及所述预测深度与所述标定深度之间的相对误差。3.根据权利要求1所述的方法，其特征在于，所述2.5d初始目标检测模型包括：对于关键点检测的centernet模型，保留所述centernet模型的主干网络backbone、颈部网络neck、头部网络head；在所述头部网络中增加深度估计层得到2.5d初始目标检测模型；相应的，所述2.5d初始目标检测模型的目标损失函数包括：在所述centernet模型的原损失函数的基础上增加深度回归损失函数；对所述centernet模型的原损失函数和所述深度回归损失函数进行加权求和得到目标损失函数；其中，所述centernet模型的原损失函数包括：中心点预测损失函数、目标大小损失函数和目标中心点偏置损失函数；所述深度回归损失函数包括：所述预测深度与所述标定深度之间的绝对误差，以及所述预测深度与所述标定深度之间的相对误差。4.根据权利要求1所述的方法，其特征在于，所述获取训练样本图像，包括：获取rgb样本图像和对应的激光点云样本数据；确定所述rgb样本图像中的样本目标的标定框，并将所述激光点云样本数据投影到所述rgb样本图像上；将所述标定框内的激光点云样本数据可视化到所述rgb样本图像对应的鸟瞰视图中得到点云鸟瞰视图，并将所述点云鸟瞰视图和所述rgb样本图像进行拼接得到拼接图像；在所述点云鸟瞰视图中，根据所述rgb样本图像的标定框和可视化的激光点云样本数据确定所述样本目标的边界框；根据所述边界框内可视化的激光点云样本数据的平均深度确定对应标定框的标定深度；
在所述拼接图像上标注所述标定框和所述标定深度得到训练样本图像。5.一种目标检测方法，其特征在于，包括：获取待检测场景的待检测rgb图像和稀疏深度图像；对所述待检测rgb图像和所述稀疏深度图像分别进行卷积处理后进行特征融合得到的融合特征图像；将所述融合特征图像输入2.5d完备目标检测模型得到所述待检测场景中目标物体的2.5d目标检测框；其中，所述2.5d完备目标检测模型基于权利要求1-4任一所述的目标检测模型的训练方法训练得到。6.根据权利要求5所述的方法，其特征在于，在将所述融合特征图像输入2.5d完备目标检测模型得到所述待检测场景中目标物体的2.5d目标检测框之后，还包括：获取所述目标物体的观测轨迹；所述观测轨迹包括：多帧标定框和对应的标定深度；基于卡尔曼滤波器根据目标物体在当前帧的2.5d目标检测框预测下一帧2.5d目标检测框，基于多帧2.5d目标检测框和对应的预测深度构成预测轨迹；利用匈牙利算法计算所述观测轨迹和所述预测轨迹的匹配距离，基于所述匹配距离对所述预测轨迹和观测轨迹进行匹配，得到所述目标物体的目标跟踪结果。7.根据权利要求6所述的方法，其特征在于，所述观测轨迹和所述预测轨迹的匹配距离包括：包括：包括：其中，表示所述观测轨迹和所述预测轨迹的匹配距离，i表示交并比关联度量，δd表示距离关联度量，iou表示交并比计算，和分别表示构成观测轨迹的第j帧的标定框和对应的标定深度；boxt
tj
和dt
tj
分别表示构成观测轨迹的第j帧的2.5d目标检测框和对应的预测深度。8.一种目标检测模型的训练装置，其特征在于，包括：训练样本获取模块，用于获取训练样本图像；所述训练样本图像标注有样本目标的标签数据，所述标签数据包括：标定框和标定深度；预测结果获取模块，用于将所述训练样本图像输入2.5d初始目标检测模型获得所述样本目标的预测结果数据；其中，所述2.5d初始目标检测模型在2d目标检测模型的头部网络中增加深度估计层；所述预测结果数据包括：预测框和预测深度；参数调整模块，用于根据所述预测结果数据、所述标签数据和目标损失函数计算目标损失函数值，基于所述目标损失函数值对所述2.5d初始目标检测模型中的网络参数进行调整。9.一种目标检测装置，其特征在于，包括：图像获取模块，用于获取待检测场景的待检测rgb图像和稀疏深度图像；特征融合模块，用于对所述待检测rgb图像和所述稀疏深度图像分别进行卷积处理后进行特征融合得到的融合特征图像；
目标检测模块，用于将所述融合特征图像输入2.5d完备目标检测模型得到所述待检测场景中目标物体的2.5d目标检测框；其中，所述2.5d完备目标检测模型基于权利要求1-4任一所述的目标检测模型的训练方法训练得到。10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的目标检测模型的训练方法或权利要求5-7中任一项所述的目标检测方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的目标检测模型的训练方法或权利要求5-7中任一项所述的目标检测方法。

技术总结
本发明公开了一种目标检测模型的训练方法和目标检测方法，该目标检测模型的训练方法通过获取训练样本图像；将训练样本图像输入2.5D初始目标检测模型获得样本目标的预测结果数据；其中，所述2.5D初始目标检测模型在2D目标检测模型的头部网络中增加深度估计层；所述预测结果数据包括：预测框和预测深度；根据所述预测结果数据、所述标签数据和目标损失函数计算目标损失函数值，基于所述目标损失函数值对所述2.5D初始目标检测模型中的网络参数进行调整，实现一种结合2D目标检测和深度估计的2.5D目标检测方法，能够解决3D目标检测方法使用成本高的问题，降低目标检测成本。降低目标检测成本。降低目标检测成本。


技术研发人员：王若霄 冯子健 云一柯 金伟 彭城 黎嘉信 秦宝星 程昊天
受保护的技术使用者：上海高仙自动化科技发展有限公司
技术研发日：2022.12.08
技术公布日：2023/3/10