一种多视角三维对象姿态估计方法及装置与流程

1.本发明涉及计算机视觉技术领域，具体涉及一种多视角三维对象姿态估计方法和装置。另外，还涉及一种电子设备及处理器可读存储介质。


背景技术：

2.近年来，随着计算机技术的快速发展，计算机视觉技术在具体业务中的应用也越来越广泛。其中，多视角三维对象姿态估计技术是本领域的研究重点。多视角三维对象姿态估计是通过同步的多视角图像重建三维对象姿态的过程，其在动作捕捉、虚拟现实、人机交互等领域均有广泛应用前景。尤其是，随着深度学习技术的应用，促使三维对象姿态估计得到更快速的发展，深度学习技术能够使对象姿态估计在面对更复杂的背景时更具鲁棒性。但是基于视觉的方法在面对对象自遮挡、相似结构关节点检测等问题时，准确度会受到显著影响。
3.目前，多视角三维对象姿态估计方法通常包括二维对象关节点检测阶段和三维对象姿态重建阶段。其中，二维对象关节点检测在单视角下进行，三维对象姿态重建阶段利用鲁棒性方法重建对象的三维姿态。但是，由于在单视角下二维对象关节点检测易出现检测错误，在相机数量较少时，无法在三维对象姿态重建阶段恢复出正确的三维对象姿态。
4.为了解决上述技术问题，现有技术中通常使用深度神经网络在二维对象关节点检测阶段融合了多视角特征，以提高二维关节点检测准确度，但是在特征融合过程中，存在特征融合冗余以及不准确特征融合等问题，尤其对于具有相似结构的关节点，容易引起二维关节点检测错误。因此，如何更准确的融合多视角特征，提高结果准确度是亟待解决的技术问题。


技术实现要素：

5.为此，本发明提供一种多视角三维对象姿态估计方法及装置，以解决现有技术中存在的多视角三维对象姿态估计方案中检测精度和效率较差的问题。
6.第一方面，本发明提供一种多视角三维对象姿态估计方法，包括：获取多视角对象图像；
7.将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；
8.将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；
9.基于所述二维对象姿态和预设的相机参数确定三维对象姿态。
10.进一步的，将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图，具体包括：将所述多视角目标图像输入到所述极线特征融合网络模型的编码层，得到相应的中间特征；
11.利用所述极线特征融合网络模型的通道感知层确定所述中间特征对应的通道权重，对所述中间特征对应的通道进行加权，得到相应的加权特征；
12.利用所述极线特征融合网络模型的对极变换层对多视角目标图像特征进行融合，得到相应的融合特征；
13.利用所述极线特征融合网络模型的全卷积层对所述融合特征进行处理，得到对应的关节点置信图。
14.进一步的，基于所述关节点置信图确定各视角下的二维对象姿态，具体包括：利用非极大值抑制算法从所述关节点置信图提取关节点坐标，通过坐标变换确定各视角下关节点的二维坐标；根据所述各视角下关节点的二维坐标和关节点的连接关系，得到相应的二维对象姿态。
15.进一步的，所述极线特征融合网络模型是基于多视角对象图像样本数据、所述多视角对象图像样本数据对应的预测关节点置信图以及预设的标注关节点置信图通过反向传播算法训练得到的。
16.进一步的，将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像，具体包括：
17.将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并根据所述极线特征融合网络模型的输入宽高比，对所述对象包围框的范围进行同宽高比放缩；
18.根据放缩后的所述对象包围框的范围对输入的多视角对象图像进行裁剪，得到多视角目标图像。
19.进一步的，基于所述二维对象姿态和预设的相机参数确定三维对象姿态，具体包括：根据预设的关节点置信度阈值参数对所述二维对象姿态中的关节点进行筛选，确定候选关节点集合；执行迭代计算，对于每个关节点，每次从所述候选关节点集合内任意选取两个候选点，基于所述相机参数并利用三角测量法计算得到关节点的三维坐标，并计算所述候选关节点集合内其余候选点的反投影误差；
20.根据针对不同关节点设置的目标反投影误差阈值参数，将计算得到的反投影误差小于对应的目标反投影误差阈值参数的关节点记录为内点，并记录每次迭代的内点的数量、反投影误差之和以及关节点的三维坐标；
21.若所述迭代的内点的数量多于记录的内点的数量，或者所述迭代的内点的数量等于记录的内点的数量时且计算得到的反投影误差之和小于记录的反投影误差之和，则更新记录的内点的数量、反投影误差之和以及关节点的三维坐标；
22.若所述记录的内点的数量等于候选关节点集合中候选点的数量或者迭代次数达到预设的最大迭代次数时终止迭代，并基于记录的内点进行三角测量计算得到各视角下关节点的三维坐标；根据所述各视角下关节点的三维坐标和关节点的连接关系，得到三维对象姿态。
23.第二方面，本发明还提供一种多视角三维对象姿态估计装置，包括：
24.多视角对象图像获取单元，用于获取多视角对象图像；
25.多视角对象图像处理单元，用于将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角
目标图像；
26.二维对象姿态确定单元，用于将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；
27.三维对象姿态确定单元，用于基于所述二维对象姿态和预设的相机参数确定三维对象姿态。
28.进一步的，所述二维对象姿态确定单元，具体用于：
29.将所述多视角目标图像输入到所述极线特征融合网络模型的编码层，得到相应的中间特征；
30.利用所述极线特征融合网络模型的通道感知层确定所述中间特征对应的通道权重，对所述中间特征对应的通道进行加权，得到相应的加权特征；
31.利用所述极线特征融合网络模型的对极变换层对多视角目标图像特征进行融合，得到相应的融合特征；
32.利用所述极线特征融合网络模型的全卷积层对所述融合特征进行处理，得到对应的关节点置信图。
33.进一步的，所述二维对象姿态确定单元，具体还用于：利用非极大值抑制算法从所述关节点置信图提取关节点坐标，通过坐标变换确定各视角下关节点的二维坐标；根据所述各视角下关节点的二维坐标和关节点的连接关系，得到相应的二维对象姿态。
34.进一步的，所述极线特征融合网络模型是基于多视角对象图像样本数据、所述多视角对象图像样本数据对应的预测关节点置信图以及预设的标注关节点置信图通过反向传播算法训练得到的。
35.进一步的，所述多视角对象图像处理单元，具体用于：
36.将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并根据所述极线特征融合网络模型的输入宽高比，对所述对象包围框的范围进行同宽高比放缩；
37.根据放缩后的所述对象包围框的范围对输入的多视角对象图像进行裁剪，得到多视角目标图像。
38.进一步的，所述三维对象姿态确定单元，具体用于：根据预设的关节点置信度阈值参数对所述二维对象姿态中的关节点进行筛选，确定候选关节点集合；执行迭代计算，对于每个关节点，每次从所述候选关节点集合内任意选取两个候选点，基于所述相机参数并利用三角测量法计算得到关节点的三维坐标，并计算所述候选关节点集合内其余候选点的反投影误差；
39.根据针对不同关节点设置的目标反投影误差阈值参数，将计算得到的反投影误差小于对应的目标反投影误差阈值参数的关节点记录为内点，并记录每次迭代的内点的数量、反投影误差之和以及关节点的三维坐标；
40.若所述迭代的内点的数量多于记录的内点的数量，或者所述迭代的内点的数量等于记录的内点的数量时且计算得到的反投影误差之和小于记录的反投影误差之和，则更新记录的内点的数量、反投影误差之和以及关节点的三维坐标；
41.若所述记录的内点的数量等于候选关节点集合中候选点的数量或者迭代次数达
到预设的最大迭代次数时终止迭代，并基于记录的内点进行三角测量计算得到各视角下关节点的三维坐标；根据所述各视角下关节点的三维坐标和关节点的连接关系，得到三维对象姿态。
42.第三方面，本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的多视角三维对象姿态估计方法的步骤。
43.第四方面，本发明还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的多视角三维对象姿态估计方法的步骤。
44.采用本发明所述的多视角三维对象姿态估计方法，通过通道感知层与对极变换层来更准确的融合不同视角中间特征，基于极线特征融合提高了面对自遮挡以及相似结构关节点时具有更高检测准确度，可在部署少量相机时取得更准确的三维对象姿态，从而进一步降低部署成本和难度。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
46.图1为本发明实施例提供的多视角三维对象姿态估计方法的流程示意图；
47.图2为本发明实施例提供的极线特征融合网络模型的示意图；
48.图3为本发明实施例提供的极线特征融合网络模型中通道感知层的示意图；
49.图4为本发明实施例提供的极线特征融合网络模型中对极变换层的示意图；
50.图5为本发明实施例提供的多视角三维对象姿态估计装置的结构示意图；
51.图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
53.下面基于本发明所述的多视角三维对象姿态估计方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的多视角三维对象姿态估计方法的流程示意图，具体实现过程包括以下步骤：
54.步骤101：获取多视角对象图像。
55.在步骤101之前，需要预先进行多视角相机系统搭建。在本发明实施例中，具体可使用4台及以上相机(rgb相机)进行数据采集，不同视角的相机可同步采集数据。其中同步过程可由同步信号发生器产生信号控制多台相机运行。具体的，相机部署位置在空间中均匀分布，且相机朝向同一区域，以实现对同一对应姿态进行多视角对象图像采集。其中，所
述对象可以是指人体等具有对称关节点的对象，在此不做具体限定。在具体实施过程中，可将4台相机成水平环形分布，高度约1.5米，相邻相机间夹角约为90度。采集图像区域约为长4米，宽3米。
56.除此之外，还需要对相机参数进行标定。具体的，标定过程可使用多视角相机系统对棋盘格进行同步拍照，利用opencv等开源库对相机参数进行标定。所述相机参数包括内参数和外参数。其中，内参数包括相机焦距、光心、畸变参数，利用畸变参数对多视角对象图像进行畸变矫正。外参数包括相机旋转参数和位移参数。
57.步骤102：将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像。
58.在本步骤中，可将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框(比如人物包围框)检测，并根据极线特征融合网络模型的输入宽高比，对所述对象包围框的范围进行同宽高比放缩。根据放缩后的所述对象包围框的范围对输入的多视角对象图像进行裁剪，得到多视角目标图像。
59.具体的，在本发明实施例中，可使用yolov4网络作为目标检测网络模型进行检测，对象包围框可由其左上点坐标(x,y)表和右下点坐标(x
′
,y
′
)表示。根据极线特征融合网络模型的输入宽高比，对该对象包围框范围进行同宽高比放缩，根据放缩后的对象包围框范围对输入的多视角对象图像进行裁剪，超出多视角对象图像范围部分使用纯色填充，得到多视角目标图像。所述多视角目标图像包含相同对象，减少了后续对象关节点检测中背景环境的影响。
60.步骤103：将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态。
61.具体的，首先需要构建极线特征融合网络模型。如图2所示，该极线特征融合网络模型结构主要包括编码层，通道感知层以及对极变换层。
62.将所述多视角目标图像输入到所述极线特征融合网络模型的编码层，得到相应的中间特征；利用所述极线特征融合网络模型的通道感知层确定所述中间特征对应的通道权重，对所述中间特征对应的通道进行加权，得到相应的加权特征；利用所述极线特征融合网络模型的对极变换层对多视角目标图像特征进行融合，得到相应的融合特征；利用所述极线特征融合网络模型的全卷积层对所述融合特征进行处理，得到对应的关节点置信图。利用非极大值抑制算法从所述关节点置信图提取关节点坐标，通过坐标变换确定各视角下关节点的二维坐标；根据所述各视角下关节点的二维坐标和关节点的连接关系，得到相应的二维对象姿态。其中，所述极线特征融合网络模型是基于多视角对象图像样本数据、所述多视角对象图像样本数据对应的预测关节点置信图以及预设的标注关节点置信图通过反向传播算法训练得到的。利用该极线特征融合网络模型能够更准确的融合多视角图像特征，从而提高多视角三维对象结果的准确度。
63.在一个完整实施过程中，首先通过编码层从输入的多视角对象图像中提取中间特征，输入该多视角对象图像的尺寸为h
×
w
×
3，经过编码层编码，得到中间特征尺寸为h
′×
w
′×
c。其中h,w,h
′
,w
′
分别为输入的多视角对象图像和特征图的高和宽，c为特征图的通道数。在具体实施过程中，可使用去掉全连接层的resnet连接多个反卷积层作为编码层，输入
的多视角对象图像尺寸为256
×
256
×
3，经过编码层编码，得到中间特征尺寸为64
×
64
×
256。
64.举例而言，如图2所示，可选取第一视角和第二视角图像作为输入的多视角对象图像，通过编码层提取的中间特征分别作为第一中间特征和第二中间特征，通过通道感知层对第一中间特征和第二中间特征的不同通道计算权重，通道感知层基于通道注意力机制，根据特征的分布来赋予不同通道对应的不同权重。针对现有方法中误检测特征影响特征融合准确度造成检测错误的问题，本发明中利用通道感知层可以减小包含误检测特征通道对融合过程产生不利影响，从而提高了准确度。
65.其中，通道感知层计算过程如图3所示，包括：使用平均池化层处理每个通道特征图的空间信息，生成与每个通道特征图对应的描述符f
avg
。将所有通道的特征描述符输入到一个两层全连接感知器中，使用relu作为激活函数。通道感知层输出为各通道的权重，从而对每个通道进行加权，权重m
c
(f)计算过程如公式(1)：
66.m
c
(f)＝σ(w1(relu(w0(f
avg
))))
ꢀꢀ
(1)
67.其中，σ代表sigmoid函数，w0,w1∈r
c
×
c
为两层感知层参数权重，使用relu函数作为激活函数。在得到通道感知权重m
c
(f)后，通过权重和中间特征乘积实现对中间特征通道进行加权，得到相应的第一加权特征和第二加权特征。
68.在得到第一加权特征和第二加权特征后，通过对极变换层对多视角极线特征进行融合。如图4所示，该对极变换层对多视角极线特征进行融合的实现步骤具体包括：
69.第一加权特征记为f
u
(p
u
)∈r
h
×
w
×
c
，通过两视角对应的相机参数，对第一加权特征每个像素计算第二视角极线方程，极线方程可根据对极约束计算得到。对极约束是描述同一场景两个不同视角下图像中几何投影关系的一条重要公式，对极约束可以表述为：空间中存在三维点p，其在两个不同视角下投影点分别为p
u
、p
v
，若已知其中一个图像点p
u
，则该点对应三维点p位于由相机中心c
u
和p
u
定义的射线上，这条射线在相机c
v
视角中的投影直线记为l，l称为极线。而三维点p在c
v
视角中投影点p
v
必然在这条极线l上，这个约束被称为对极约束。记两个相机的投影矩阵为m
u
,m
v
∈r3×4，两个相机视点位置记为c
u
,c
v
∈r4，用齐次坐标表示。对于当前视角中的图像点为p
u
，极线l求解如公式(2)：
[0070][0071]
其中，表示m
u
的伪逆，即非方阵矩阵的广义逆；[
·
]
×
表示向量的斜对称矩阵形式；向量v＝(x,y,z)的斜对称矩阵形式如公式(3)：
[0072][0073]
在本发明实施例中，融合过程需要找到相邻视角上的点p
v
使其与当前视图中p
u
对应于相同的三维点p。但是，由于无法确定p
v
的准确位置，故使用沿极线l的所有采样特征加权求和得到的特征来近似替代，记为极线特征f
v
′
(p
v
)∈r
h
×
w
×
c
。其计算过程通过极限采样器利用极线方程沿着极线l与第二加权特征相交部分均匀采样k个样本点形成采样集合s，采样集合s中所有样本点的特征形成采样特征f
v
(p
s
)∈r
k
×
h
×
w
×
c
。通过双线性插值对亚像素点进行采样。根据第一加权特征和采样特征相似度计算采样特征的权重，并进行加权求和。极
线特征f
v
′
(p
v
)计算如公式(4)：
[0074][0075]
其中，p
s
表示采样集合s中的样本点，f
u
(p
u
)、f
v
(p
s
)表示点p
u
、p
s
位置上所有通道特征形成的特征向量，二元函数sim(*,*)通过计算两个向量之间的相似度对样本点特征进行加权。在本发明实施例中，可使用点积计算相似度。并对极线上采样向量进行加权得到加权求和得到极线特征向量，以两个输入视角为例，定义要估计二维姿态的视角作为当前视角，而另一个视角作为相邻视角，输出结果是融合后对应于当前视角的热图。利用对极约束，将相邻视角中需要的特征进行融合，以提高当前视角结果的准确性。其中所述的样本点、点等均为二维图像特征点。其中，二维图像特征点为在图像上进行均匀采样形成，不特指关节点，也包含图像其余位置的特征点。所述采样集合由二维图像特征点组成。
[0076]
将极线特征向量与第一加权特征得到融合特征。当得到极线特征f
′
v
(p
v
)后，需要将其与第一加权特征f
u
(p
u
)融合，得到融合特征f
fused
∈r
h
×
w
×
c
。融合阶段来自相邻视角的特征在加到当前视角的特征之前经过映射矩阵w进行变换，计算由公式(5)：
[0077]
f
fused
(p)＝f
u
(p) w(f
′
v
(p
u
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0078]
映射矩阵w由1
×
1卷积和bn层计算得到，以f
v
′
(p
v
)作为输入。
[0079]
进一步的，在得到融合特征后，通过全卷积层对融合特征进行处理，得到对应关节点置信图，通过非极大值抑制得到关节点二维坐标，结合关节点连接关系组成二维人体姿态。
[0080]
在训练过程中，对极线特征融合网络模型输出的关节点置信图与标注的关节点置信图计算预测误差：l＝||p
*
‑
p||1，其中p
*
表示标注置信图，p表示预测置信图，||*||1计算二者每像素值得l1距离。标注置信图通过在标注的二维关节点为中心，按照高斯分布计算标注关节点邻域标注值得到。利用反向传播算法减小预测误差，得到训练好的极线特征融合网络。
[0081]
在本发明实施例的模型训练过程中，可随机组合两个相邻视角进行训练。在推理阶段，对每个视角分别与其他视角进行融合。由于在融合特征后仍有全卷积层将特征映射为对应关节点置信图，其参数已固定，且是对应于两视角融合时学习到的参数。本发明在对全部视角特征融合后进行平均池化，以使特征具有与训练时同尺度的分布。
[0082]
步骤104：基于所述二维对象姿态和预设的相机参数确定三维对象姿态。
[0083]
具体的，根据预设的关节点置信度阈值参数对所述二维对象姿态中的关节点进行筛选，确定候选关节点集合；执行迭代计算，对于每个关节点，每次从所述候选关节点集合内任意选取两个候选点，基于所述相机参数并利用三角测量法计算得到关节点的三维坐标，并计算所述候选关节点集合内其余候选点的反投影误差；根据针对不同关节点设置的目标反投影误差阈值参数，将计算得到的反投影误差小于对应的目标反投影误差阈值参数的关节点记录为内点，并记录每次迭代的内点的数量、反投影误差之和以及关节点的三维坐标；若所述迭代的内点的数量多于记录的内点的数量，或者所述迭代的内点的数量等于记录的内点的数量时且计算得到的反投影误差之和小于记录的反投影误差之和，则更新记录的内点的数量、反投影误差之和以及关节点的三维坐标；若所述记录的内点的数量等于候选关节点集合中候选点的数量或者迭代次数达到预设的最大迭代次数时终止迭代，并基
于所述相机参数和记录的内点进行三角测量计算得到各视角下关节点的三维坐标；根据所述各视角下关节点的三维坐标和关节点的连接关系，得到三维对象姿态。其中，所述关节点表示不同部位的关节点，所述候选点表示同一关节点在不同视角下筛选后的检测点。所述候选关节点集合是由不同视角的二维关节点组成。
[0084]
在本发明具体实施过程中，基于所述相机参数可使用改进的三角测量方法计算三维人体姿态估计，其具体实现步骤包括：
[0085]
首先设定两个超参数，一个是关节点置信度阈值，另一个是反投影误差阈值。根据关节点置信度阈值对不同视角关节点进行筛选，筛选掉置信度小于关节点置信度阈值的关节点，得到候选关节点集合s
p
。若s
p
内关节点数量小于等于2，则选取全部视角关节点组成集合s
p
。
[0086]
进一步的，执行迭代计算，每次从候选关节点集合s
p
中选取两个候选点，基于所述相机参数使用三角测量方法得到关节点的三维坐标，然后对s
p
内其他候选点计算反投影误差，记反投影误差小于预设的反投影误差阈值的点为内点，记录每次迭代的内点的数量、反投影误差之和以及关节点的三维坐标。若迭代中内点的数量多于记录的内点的数量，或在内点的数量相同时计算的反投影误差之和小于记录的反投影误差之和，则更新记录的内点的数量、反投影误差之和以及关节点的三维坐标。具体的，可使用4台相机，最大迭代次数设置为10，相机数量增多时可增大最大迭代次数。当记录的内点的数量等于候选关节点集合s
p
中的候选点的数量时，则提前终止迭代，并基于所述相机参数使用记录的内点进行三角测量方法得到关节点的三维坐标，根据关节点的三维坐标和关节点的连接关系得到相应的三维人体姿态。其中，所述关节点表示不同部位的关节点，所述候选点表示同一关节点在不同视角下筛选后的检测点。
[0087]
需要说明的是，在反投影误差阈值的设置上，由于各关节点检测的难易度不同，对于如盆骨、头部、颈部等关节点检测结果更好，而手部、脚步等关节点误差大，因此，反投影误差的设置使用了分级阈值，比如对手脚等误差较大的关键阈值，可设置为其他关节点的2倍，当然在此不做具体限定。
[0088]
采用本发明实施例所述的多视角三维对象姿态估计方法，通过通道感知层与对极变换层来更准确的融合不同视角中间特征，基于极线特征融合提高了面对自遮挡以及相似结构关节点时具有更高检测准确度，可在部署少量相机时取得更准确的三维对象姿态，从而进一步降低部署成本和难度。
[0089]
与上述提供的一种多视角三维对象姿态估计方法相对应，本发明还提供一种多视角三维对象姿态估计装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的多视角三维对象姿态估计装置的实施例仅是示意性的。请参考图5所示，其为本发明实施例提供的一种多视角三维对象姿态估计装置的结构示意图。
[0090]
本发明所述的多视角三维对象姿态估计装置具体包括如下部分：
[0091]
多视角对象图像获取单元501，用于获取多视角对象图像。
[0092]
多视角对象图像处理单元502，用于将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像。
[0093]
二维对象姿态确定单元503，用于将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于关节点置信图确定各视角下的二维对象姿态。
[0094]
三维对象姿态确定单元504，用于基于所述二维对象姿态和预设的相机参数确定三维对象姿态。
[0095]
采用本发明实施例所述的多视角三维对象姿态估计装置，通过通道感知层与对极变换层来更准确的融合不同视角中间特征，基于极线特征融合提高了面对自遮挡以及相似结构关节点时具有更高检测准确度，可在部署少量相机时取得更准确的三维对象姿态，从而进一步降低部署成本和难度。
[0096]
与上述提供的多视角三维对象姿态估计方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图6所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)601、存储器(memory)602和通信总线603，其中，处理器601，存储器602通过通信总线603完成相互间的通信，通过通信接口604与外部进行通信。处理器601可以调用存储器602中的逻辑指令，以执行多视角三维对象姿态估计方法，该方法包括：获取多视角对象图像；将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；基于所述二维对象姿态和预设的相机参数确定三维对象姿态。
[0097]
此外，上述的存储器602中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：存储芯片、u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0098]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在处理器可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多视角三维对象姿态估计方法，该方法包括：获取多视角对象图像；将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；基于二维对象姿态和预设的相机参数确定三维对象姿态。
[0099]
又一方面，本发明实施例还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的
多视角三维对象姿态估计方法，该方法包括：获取多视角对象图像；将所述多视角对象图像输入到预设的目标检测网络模型中提取对象包围框，并基于所述对象包围框处理所述多视角对象图像，得到多视角目标图像；将所述多视角目标图像输入到预设的极线特征融合网络模型中融合多视角目标图像特征，得到相应的关节点置信图；基于所述关节点置信图确定各视角下的二维对象姿态；基于所述二维对象姿态和预设的相机参数确定三维对象姿态。
[0100]
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0101]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0102]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0103]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。