一种图像处理方法以及相关设备与流程

技术特征：
1.一种图像处理方法，其特征在于，包括：获取终端采集的待处理图像，所述待处理图像中包括若干目标；将所述待处理图像输入图像特征提取网络进行特征编码，得到所述待处理图像对应的初始图像特征；将所述初始图像特征输入特征金字塔网络，对所述初始图像特征中不同层次的特征进行特征融合，得到融合后特征；将所述融合后特征分别输入二维检测头网络和三维检测头网络中，并基于所述二维检测头网络预测所述待处理图像中每个所述目标对应的二维属性信息，基于所述三维检测头网络预测所述待处理图像中每个所述目标对应的三维属性信息。2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入图像特征提取网络进行特征编码，得到所述待处理图像对应的初始图像特征，所述图像特征提取网络包含多个层级，包括：将所述待处理图像输入图像特征提取网络中；基于分层深度聚合进行层级内的特征融合，并基于迭代深度聚合进行不同层级之间的连接，得到每个层级输出所述待处理图像的初始图像特征。3.根据权利要求2所述的方法，其特征在于，所述将所述初始图像特征输入特征金字塔网络，对所述初始图像特征中不同层次的特征进行特征融合，得到融合后特征，包括：对每个层级输出的所述初始图像特征中尺寸最小的初始图像特征进行上采样操作，得到上采样特征；基于所述上采样特征，更新与所述上采样特征尺寸相同的初始图像特征；返回所述对每个层级输出的所述初始图像特征中尺寸最小的初始图像特征进行上采样操作的步骤，直至融合了每个层级输出的所述初始图像特征，得到融合后特征。4.根据权利要求3所述的方法，其特征在于，所述基于所述上采样特征，更新与所述上采样特征尺寸相同的初始图像特征，包括：将所述上采样特征和与所述上采样特征尺寸相同的初始图像特征沿通道方向合并，得到合并后特征；基于卷积层对所述合并后特征进行特征融合，得到初始融合后特征，并将所述初始融合后特征更新为与所述上采样特征尺寸相同的初始图像特征。5.根据权利要求1所述的方法，其特征在于，所述将所述融合后特征输入二维检测头网络中，并基于所述二维检测头网络预测所述待处理图像中每个所述目标对应的二维属性信息，所述二维属性信息包括二维检测头网络预测的语义类别信息、二维检测头网络预测的位置偏移量信息、以及二维检测头网络预测的尺寸信息，包括：将所述融合后特征输入二维检测头网络中；基于所述二维检测头网络中第一分类子分支预测所述待处理图像中每个目标对应的二维检测头网络预测的语义类别信息；基于所述二维检测头网络中第一残差子分支预测所述待处理图像中每个目标对应的二维检测头网络预测的位置偏移量信息；基于所述二维检测头网络中第一尺寸子分支预测所述待处理图像中每个目标对应的二维检测头网络预测的尺寸信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述融合后特征输入三维检测头网络中，并基于所述三维检测头网络预测所述待处理图像中每个所述目标对应的三维属性信息，所述三维属性信息包括第二语义类别信息、三维检测头网络预测的位置偏移量信息、三维检测头网络预测的尺寸信息、以及航向角信息，包括：将所述融合后特征输入三维检测头网络中；基于所述三维检测头网络中第二分类子分支预测所述待处理图像中每个目标对应的三维检测头网络预测的语义类别信息；基于所述三维检测头网络中第二残差子分支预测所述待处理图像中每个目标对应的三维检测头网络预测的位置偏移量信息；基于所述三维检测头网络中第二尺寸子分支预测所述待处理图像中每个目标对应的三维检测头网络预测的尺寸信息；基于所述三维检测头网络中第二框中心点深度子分支预测所述待处理图像中每个目标对应的第二框中心点深度信息；基于所述三维检测头网络中航向角子分支预测所述待处理图像中每个目标的航向角信息。7.根据权利要求1所述的方法，其特征在于，所述获取终端采集的待处理图像之前，还包括：获取二维检测的输入样本图像；将所述二维检测的输入样本图像输入初始图像特征提取网络进行特征编码，得到所述二维检测的输入样本图像对应的初始二维检测的输入样本图像特征；将所述初始二维检测的输入样本图像特征输入初始特征金字塔网络，对所述初始二维检测的输入样本图像特征中不同层次的特征进行特征融合，得到融合后第一样本特征；将所述融合后第一样本特征输入初始二维检测头网络中，并基于所述初始二维检测头网络预测所述二维检测的输入样本图像中每个目标对应的二维检测属性预测值。8.根据权利要求1所述的方法，其特征在于，所述获取终端采集的待处理图像之前，还包括：获取第二样本图像；将所述三维检测的输入样本图像输入初始图像特征提取网络进行特征编码，得到所述三维检测的输入样本图像对应的初始三维检测的输入样本图像特征；将所述初始三维检测的输入样本图像特征输入初始特征金字塔网络，对所述初始三维检测的输入样本图像特征中不同层次的特征进行特征融合，得到融合后第二样本特征；将所述融合后第二样本特征输入初始三维检测头网络中，并基于所述初始三维检测头网络预测所述三维检测的输入样本图像中每个目标对应的三维检测属性预测值。9.根据权利要求8所述的方法，其特征在于，所述基于所述初始三维检测头网络预测所述三维检测的输入样本图像中每个目标对应的三维检测属性预测值之后，所述二维检测的输入样本图像标注二维检测属性真值，所述三维检测的输入样本图像标注三维检测属性真值，还包括：基于所述二维检测属性预测值、以及所述二维检测属性真值计算得到第一检测损失，并基于所述三维检测属性预测值、以及所述三维检测属性真值计算得到第二检测损失；
基于所述第一检测损失和所述第二检测损失调整所述初始图像特征提取网络、以及所述初始特征金字塔网络的网络参数，得到图像特征提取网络、以及特征金字塔网络。10.一种图像处理装置，其特征在于，包括：获取单元，用于获取终端采集的待处理图像，所述待处理图像中包括若干目标；特征编码单元，用于将所述待处理图像输入图像特征提取网络进行特征编码，得到所述待处理图像对应的初始图像特征；特征融合单元，用于将所述初始图像特征输入特征金字塔网络，对所述初始图像特征中不同层次的特征进行特征融合，得到融合后特征；预测单元，用于将所述融合后特征分别输入二维检测头网络和三维检测头网络中，并基于所述二维检测头网络预测所述待处理图像中每个所述目标对应的二维属性信息，基于所述三维检测头网络预测所述待处理图像中每个所述目标对应的三维属性信息。11.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至9任一项所述的图像处理方法中的操作。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9任一项所述的图像处理方法中的步骤。13.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至9任一项所述的图像处理方法中的步骤。

技术总结
本申请公开了一种图像处理方法以及相关设备，可以应用于自动驾驶领域，获取终端采集的待处理图像，待处理图像中包括若干目标；将待处理图像输入图像特征提取网络进行特征编码，得到待处理图像对应的初始图像特征；将初始图像特征输入特征金字塔网络，对初始图像特征中不同层次的特征进行特征融合，得到融合后特征；将融合后特征分别输入二维检测头网络和三维检测头网络中，并基于二维检测头网络预测待处理图像中每个目标对应的二维属性信息，基于三维检测头网络预测待处理图像中每个目标对应的三维属性信息。本申请可以通过单一网络模型实现对目标2D、3D检测属性的联合预测。3D检测属性的联合预测。3D检测属性的联合预测。


技术研发人员：马露凡
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2023.08.14
技术公布日：2023/9/14