一种多视角三维对象姿态估计方法及装置与流程

技术特征：
1.一种多视角三维对象姿态估计方法，其特征在于，包括：获取多视角对象图像；将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；基于所述二维对象姿态和预设的相机参数确定三维对象姿态。2.根据权利要求1所述的多视角三维对象姿态估计方法，其特征在于，将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图，具体包括：将所述多视角目标图像输入到所述极线特征融合网络模型的编码层，得到相应的中间特征；利用所述极线特征融合网络模型的通道感知层确定所述中间特征对应的通道权重，对所述中间特征对应的通道进行加权，得到相应的加权特征；利用所述极线特征融合网络模型的对极变换层对多视角目标图像特征进行融合，得到相应的融合特征；利用所述极线特征融合网络模型的全卷积层对所述融合特征进行处理，得到对应的关节点置信图。3.根据权利要求2所述的多视角三维对象姿态估计方法，其特征在于，基于所述关节点置信图确定各视角下的二维对象姿态，具体包括：利用非极大值抑制算法从所述关节点置信图提取关节点坐标，通过坐标变换确定各视角下关节点的二维坐标；根据所述各视角下关节点的二维坐标和关节点的连接关系，得到相应的二维对象姿态。4.根据权利要求1所述的多视角三维对象姿态估计方法，其特征在于，所述极线特征融合网络模型是基于多视角对象图像样本数据、所述多视角对象图像样本数据对应的预测关节点置信图以及预设的标注关节点置信图通过反向传播算法训练得到的。5.根据权利要求1所述的多视角三维对象姿态估计方法，其特征在于，将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像，具体包括：将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并根据所述极线特征融合网络模型的输入宽高比，对所述对象包围框的范围进行同宽高比放缩；根据放缩后的所述对象包围框的范围对输入的多视角对象图像进行裁剪，得到多视角目标图像。6.根据权利要求1所述的多视角三维对象姿态估计方法，其特征在于，基于所述二维对象姿态和预设的相机参数确定三维对象姿态，具体包括：根据预设的关节点置信度阈值参数对所述二维对象姿态中的关节点进行筛选，确定候选关节点集合；执行迭代计算，对于每个关节点，每次从所述候选关节点集合内任意选取两个候选点，基于所述相机参数并利用三角测量法计算得到关节点的三维坐标，并计算所述候选关节点集合内其余候选点的反投影误差；
根据针对不同关节点设置的目标反投影误差阈值参数，将计算得到的反投影误差小于对应的目标反投影误差阈值参数的关节点记录为内点，并记录每次迭代的内点的数量、反投影误差之和以及关节点的三维坐标；若所述迭代的内点的数量多于记录的内点的数量，或者所述迭代的内点的数量等于记录的内点的数量时且计算得到的反投影误差之和小于记录的反投影误差之和，则更新记录的内点的数量、反投影误差之和以及关节点的三维坐标；若所述记录的内点的数量等于候选关节点集合中候选点的数量或者迭代次数达到预设的最大迭代次数时终止迭代，并基于记录的内点进行三角测量计算得到各视角下关节点的三维坐标；根据所述各视角下关节点的三维坐标和关节点的连接关系，得到三维对象姿态。7.一种多视角三维对象姿态估计装置，其特征在于，包括：多视角对象图像获取单元，用于获取多视角对象图像；多视角对象图像处理单元，用于将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；二维对象姿态确定单元，用于将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；三维对象姿态确定单元，用于基于所述二维对象姿态和预设的相机参数确定三维对象姿态。8.根据权利要求7所述的多视角三维对象姿态估计装置，其特征在于，所述二维对象姿态确定单元，具体用于：将所述多视角目标图像输入到所述极线特征融合网络模型的编码层，得到相应的中间特征；利用所述极线特征融合网络模型的通道感知层确定所述中间特征对应的通道权重，对所述中间特征对应的通道进行加权，得到相应的加权特征；利用所述极线特征融合网络模型的对极变换层对多视角目标图像特征进行融合，得到相应的融合特征；利用所述极线特征融合网络模型的全卷积层对所述融合特征进行处理，得到对应的关节点置信图。9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1
‑
6任意一项所述的多视角三维对象姿态估计方法的步骤。10.一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1
‑
6任意一项所述的多视角三维对象姿态估计方法的步骤。

技术总结
本发明提供一种多视角三维对象姿态估计方法及装置。该方法包括：获取多视角对象图像，将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；基于所述二维对象姿态和预设的相机参数确定三维对象姿态。采用本发明公开的方法，通过极线特征融合，提高了对自遮挡和相似结构关节点的检测准确度，可在部署少量相机时取得更准确的三维对象姿态，从而进一步降低部署成本和部署难度。从而进一步降低部署成本和部署难度。从而进一步降低部署成本和部署难度。


技术研发人员：高伟 周宇东 吴毅红
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2021.07.12
技术公布日：2021/11/14