摄像设备标定方法、电子设备和存储介质与流程

1.本技术涉及视觉技术领域，尤其涉及一种摄像设备标定方法、电子设备和存储介质。


背景技术：

2.目前，随着分布式智能摄像系统在人工智能和计算机视觉领域的应用，对多摄像设备的标定要求也越来越高。由于分布式智能摄像系统往往需要部署数百甚至上千个摄像设备，以进行安保、安全或商业分析等应用。
3.然而，在实际应用过程中，如果采用常规的相机标定手段对如此大规模的摄像设备进行标定，不仅需要在每个摄像机前移动标定板，还要确保至少有两个摄像机能同时看清标定板平面以及板面上的标定特征。这种苛刻的要求不但限制了摄像机的的部署位置，且随着摄像设备部署位置的不同，对应标定板的移动规则也不同，导致大规模部署摄像设备的标定效率低下且很难保证标定的准确度。


技术实现要素：

4.本技术提供了一种摄像设备标定方法、电子设备和存储介质，把人作为标定基础，通过获取待监控区域内被跟踪对象人的图像帧序列，基于被跟踪对象的图像帧序列来完成摄像设备的标定，有效避免了使用传统标定板在部署大量摄像头标定过程中遇到的问题，旨在提高摄像设备标定效率的同时提高标定准确度。
5.第一方面，本技术实施例提供了一种摄像设备标定方法，所述方法包括：分别基于各摄像设备获取目标对象的图像帧序列，所述目标对象为待监控区域内的被跟踪对象；根据各所述图像帧序列，分别用预训练好的神经网络估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标；对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标；分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵；其中，所述第一变换矩阵为各第一摄像设备相对所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备；根据各所述第一变换矩阵和各所述第二变换矩阵，确定每对摄像设备之间的相对变换矩阵；重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标及其之后的步骤，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵；分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所
述目标对象三维中心坐标的所述各摄像设备的三维姿态。
6.第二方面，本技术实施例提供了一种电子设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上第一方面所述摄像设备标定方法的步骤。
7.第三方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述摄像设备标定方法的步骤。
8.本技术实施例提供了一种摄像设备标定方法、电子设备和存储介质，首先通过分别基于各摄像设备获取目标对象的图像帧序列，所述目标对象为待监控区域内的被跟踪对象；然后根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标，对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标；再分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵；其中，所述第一变换矩阵为各第一摄像设备相对所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备，根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵，重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵；最后分别根据每两个摄像设备之间的相对变化矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。通过获取待监控区域内被跟踪对象的图像帧序列，基于被跟踪对象的图像帧序列来自动完成多摄像设备的标定，有效避免了多摄像设备标定过程中对标定板进行部署的复杂过程以及由标定板部署引起的标定误差，能够提高摄像设备标定效率的同时提高标定准确度。
9.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术实施例的公开内容。
附图说明
10.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1是本技术一实施例提供的摄像设备标定方法的应用场景示意图；图2是本技术实施例提供的摄像设备标定方法的流程示意图；图3是图2中s202的具体实现流程图；图4是将所有相机最终标定的三维姿态渲染至3d界面中的渲染结果正视示意图；图5是将所有相机最终标定的三维姿态渲染至3d界面中的渲染结果俯视示意图；图6是本技术实施例提供的电子设备的示意性框图。
具体实施方式
12.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部风实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
13.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以风解、组合或部风合并，因此实际执行的顺序有可能根据实际情况改变。
14.需要说明的是，本技术提供的摄像设备标定方法、电子设备和存储介质，可以应用于分布式摄像设备系统中多摄像设备的标定。其中，多摄像设备包括至少两个摄像设备，对应的摄像设备包括相机、摄像头、深度视觉摄像机等。具体地，可以通过首先分别基于各摄像设备获取目标对象的图像帧序列，所述目标对象为待监控区域内的被跟踪对象；根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标；然后对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标；再分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵；其中，所述第一变换矩阵为各第一摄像设备相对所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备，根据各所述第一变换矩阵和各所述第二变换矩阵，确定每对摄像设备之间的相对变换矩阵，重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标及其之后的步骤，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵；最后根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。实现了以以待监控区域内被跟踪对象的图像帧序列来自动完成多摄像设备的标定，不仅有效避免了对标定板的复杂部署过程，且能够有效解决由于标定板部署过程不科学而导致的标定误差，有效提高摄像设备标定效率的同时提高标定准确度。
15.请查阅图1所示，图1是本技术一实施例提供的摄像设备标定方法的应用场景示意图。
16.由图1可知，本实施例提供的摄像设备标定方法应用于摄像设备标定系统10，该摄像设备标定系统10可以部署在大型监控场所，如商场、机场、展厅或者医院等场所，包括多个摄像设备101、电子设备102和目标对象103。其中，多个摄像设备101分别与电子设备102通信连接，且多个摄像设备101互相通信连接。
17.应理解，各摄像设备101可以单独检测并跟踪各自视野范围内的目标对象103，并拍摄各自视野范围内目标对象103的图像帧序列。其中，目标对象103可以是在监控区域内行走的目标行人、机器人或者可跟踪的移动对象。
18.各摄像设备101将各自拍摄的目标对象103的图像帧序列发送至电子设备102，电子设备102获取目标对象103的各图像帧序列，分别估计目标对象103在各摄像设备101拍摄下的二维关节坐标和三维骨骼坐标。具体地，在本实施例中，以目标对象103是人为例进行
示例性地说明。其中，二维关节坐标包括人体肩膀坐标、肘关节坐标、腰部坐标以及膝关节坐标等人体关节处的二维坐标，三维骨骼坐标包括三维人体姿态的点坐标。
19.应理解，当多个摄像设备101同时观测跟踪目标对象103时，可以通过将各摄像设备101跟踪拍摄到的目标对象103的关节特征点进行匹配映射，得到目标对象103在各摄像设备101所拍摄的图像帧中的二维关节坐标；进一步可以利用目标对象103在各摄像设备101拍摄的图像帧中的二维关节坐标，得到目标对象103在各摄像设备101拍摄的图像帧中的三维骨骼坐标；对各三维骨骼坐标进行融合处理，得到三维骨骼坐标的三维中心坐标后，利用角度n点pnp（perspective-n-point）算法对每对摄像设备拍摄的二维关节坐标和三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵。其中，第一变换矩阵为各第一摄像设备相对三维中心坐标的变换矩阵，第二变换矩阵为各第二摄像设备相对三维中心坐标的变换矩阵，每对摄像设备为各摄像设备101中具有公共视场的两个摄像设备，每对摄像设备包括第一摄像设备和第二摄像设备，进一步根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵；并重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵后，分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对目标对象103三维中心坐标的所述各摄像设备101的三维姿态。实现了不需要特殊的标定板，也不需要按照每个摄像设备的部署由工作人员凭经验或者感觉去制定复杂多摄像设备标定移动方案，只需被跟踪的目标对象在摄像设备的监控区域按照常规方式行走，就可以逐步自动标定完成多摄像设备中每台摄像设备，从而大大简化了多摄像设备的标定过程，不仅大大提高了多摄像设备的标定效率还避免了人工操作过程，提高标定的准确性。
20.请参阅图2所示，图2是本技术实施例提供的摄像设备标定方法的流程示意图。该摄像设备标定方法由图1所示的电子设备执行实现，其中，电子设备包括终端或者服务器。终端可以是手持终端设备、计算机、机器人或者智能可穿戴设备等；服务器可以单个服务器、本地服务器、云端服务器或者服务器集群。
21.由图2可知，本技术实施例提供的摄像设备标定方法包括步骤s201至步骤s204。详述如下：s201，分别基于各摄像设备获取目标对象的图像帧序列。
22.其中，所述目标对象为待监控区域内的被跟踪对象。例如，待监控区域内的被跟踪对象为人、机器人或者其他可以的物体。通过各摄像设备获取目标对象的图像帧序列，进而根据各摄像设备获取的目标对象的图像帧序列进行逐次进行各摄像设备的自动标定，能够有效避免使用标定板，也无需按照每个摄像设备的部署场景进行标定板的移动，避免了制定复杂标定板移动的方案，在大大简化了多摄像设备标定过程，提高标定效率的同时，避免了人工的参与，提高对多摄像设备标定的准确性。
23.具体地，待跟踪的目标对象只需在各摄像设备的监控区域内移动，例如，待跟踪的人在各摄像设备的监控区域内按照常规行走方式进行行走，通过各摄像设备可以分别获取待跟踪人的图像帧序列，根据各摄像设备获取的待跟踪人的图像序列可以逐步完成各摄像设备的标定。提高多摄像设备标定效率以及标定的准确性。
24.s202，根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下
的二维关节坐标和三维骨骼坐标。
25.在一实施例中，可以利用预训练的cnn神经网络对各图像帧序列中的每帧图像同时进行二维和三维关节点的识别，例如，每帧图像中包括人体图像，可以通过预训练的神经网络对每帧图像中的人体各关节点进行识别，得到人体在各摄像设备拍摄下的二维关节坐标和三维骨骼坐标。其中，人体各关节点包括头部、肩膀、肘关节、腰、膝关节等。
26.具体地，为了减少预训练的神经网络的识别误差，可以首先把目标对象在各摄像头拍摄的图像帧中裁剪出来，这样不仅一方面可以减少预训练的神经网络的运算量，还可以另一方面减少对关节点检测的误差。此外，还可以获取连续3帧的图像对跟踪的目标对象进行三维人体骨骼坐标的计算，并进行三维骨骼坐标取平均值融合的算法，进一步减少关节估计中带来的误差。
27.应理解，在本技术的实施例中，由于待标定的各摄像设备和被跟踪对象并不在一个平面的标定板上，因此，被跟踪对象需为可移动物体，例如人，这是因为在同一观测区域内的摄像设备是比较容易观测到可移动物体的关节点的，不会因为稍微的角度变化而失去被跟踪对象的特征。以保证各摄像设备均能获取到被跟踪对象的图像帧序列，进而依次完成各摄像设备的标定。
28.示例性地，如图图3所示，图3是图2中s202的具体实现流程图。由图3可知，s202包括步骤s2021和s2022。详述如下：s2021，分别提取各所述图像帧序列中所述目标对象的关节特征点，对所述关节特征点进行匹配映射，得到目标对象在各摄像设备拍摄下的二维关节坐标。
29.在一实施例中，分别提取各图像帧序列中目标对象的关节特征点，对关节特征点进行匹配映射，得到目标对象在各摄像设备拍摄下的二维关节坐标，包括：根据预训练的二维姿态检测模型检测各图像帧序列中的目标对象的关节特征点，匹配映射各关联图像帧中的关节特征点，得到目标对象在各摄像设备拍摄下的二维关节坐标。其中，关联图像帧为相同图像帧序列中的各图像帧。
30.具体地，可以从各摄像设备中获取连续的图像帧序列作为输入，例如获取3个图像帧序列作为预训练的二维姿态检测模型的输入，使用预训练的二维姿态检测模型检测各图像帧序列中目标对象的二维关节坐标。
31.此外，由于图像帧序列为多个摄像设备获取的，因此需要对根据不同摄像设备获取的图像帧序列识别得到的二维关节坐标进行匹配映射，以得到各摄像设备拍摄下的二维关节坐标。具体地，把从各图像帧中检测得到二维关节坐标对应进行匹配映射。例如，将从第一图像帧中检测得到的人体的头部和从与第一图像帧相邻的第二图像帧中检测得到的人体头部对应进行匹配映射。具体地，匹配映射的过程就是关联对应的过程。由于预训练的二维姿态检测模型能够输出二维关节坐标，但是由于二维关节坐标的检测实际上是很难区分方向的，例如，目标对象为人时，很难区分人体的左右手和左右脚。所以通过将对相邻图像帧之间检测得到的二维关节坐标进行匹配映射，可以有效对识别结果进行矫错。
32.s2022，根据所述二维关节坐标进行三维骨骼计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标。
33.其中，根据目标对象的二维关节坐标进行三维骨骼计算，得到目标对象在各摄像设备拍摄下的三维骨骼坐标，包括：将目标对象的二维关节坐标输入预训练的三维骨骼识
别模型进行计算，得到目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标。
34.s203，对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标。
35.在一实施例中，所述对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，包括：对各所述三维骨骼坐标进行去离群关节点和取连续帧均值处理，得到所述三维骨骼坐标的三维中心坐标。
36.在本实施例中，通过去除离群的三维骨骼坐标点和取连续帧的三维骨骼坐标的的平均值的方法融合各摄像机的三维骨骼坐标以优化三维骨骼坐标，进而取优化后的三维骨骼坐标的中心坐标为标定参考坐标，以提高对各摄像设备的标定准确度。
37.s204，分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵。
38.其中，所述第一变换矩阵为各第一摄像设备相对目标对象的所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备。
39.s205，根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵。
40.在具体实施时，所述根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵，包括：根据各所述第一变换矩阵和各所述第二变换矩阵，确定各所述第一摄像设备和各所述第二摄像设备之间的相对变换矩阵。其中，各所述第一变换矩阵和各所述第二变换矩阵均为旋转平移变化矩阵，所述旋转平移变化矩阵具体表征任意第一摄像设备相对目标对象三维中心坐标的三维姿态和第二摄像设备相对目标对象三维中心坐标的三维姿态之间的旋转平移变化矩阵。
41.s206，重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵。
42.应理解，在具体实施时，重复执行上述步骤s203至步骤s205，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵。其中，所有摄像设备中每两个摄像设备表征任意两个摄像设备，也就是说，本技术实施例确定出了所有的摄像设备两两之间的相对变换矩阵。这是由于在一个大的摄像系统下，并不是每对摄像设备每时每刻都能跟踪到被跟踪对象。因此，在本实施例中，首先用能观测到被跟踪对象的一对摄像设备进行相对变换矩阵计算，并不断重复执行该过程，直到得到所有摄像设备中任意两个摄像设备之间的相对变换矩阵为止。能够有效保证对摄像系统中每个摄像设备的标定，防止漏标定的同时，提高标定效率。
43.s207，分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
44.在一实施例中，所述分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态，包括：分别根据每两个摄像设备之间的相对变换矩阵和所述预定义的基准坐标，确定所述各摄像设备的
全局坐标；根据所述全局坐标和预设比例因子分别对所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行坐标转换，得到所述目标对象在各摄像设备中的三维姿态。
45.其中，根据全局坐标和预设比例因子分别对目标对象在所述各摄像设备拍摄下的三维骨骼坐标进行转换，得到目标对象在各摄像设备中的三维姿态，包括：根据全局坐标，依次将目标对象在所述各摄像设备拍摄下的三维骨骼坐标进行坐标转换，对转换后的三维骨骼坐标根据预设比例因子进行优化，得到目标对象在各摄像设备中的三维姿态。
46.其中，分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，确定各摄像设备的全局坐标，包括：定义任一摄像设备的坐标为预定义的基准坐标，根据各摄像设备之间的变换矩阵将各摄像设备的坐标基于预定义的基准坐标进行转换，得到各摄像设备的全局坐标。
47.在本实施例中，通过取每对能同时观测到待跟踪对象的摄像设备，使用 pnp算法标定每个摄像设备的外参，能够高效自动地完成对各摄像设备标定的同时，避免了人工进行标定板的布局和移动，提高对各摄像设备的标定准确率。
48.具体地，通过重复取每对能同时观测到待跟踪对象的摄像设备，使用 pnp算法标定每个摄像设备的外参的过程，可以求出所有的摄像设备之间的变换矩阵。其中，在本实施例中，变换矩阵为相对旋转和平移变换矩阵。例如，第一变换矩阵为第一相对旋转和平移变换矩阵，第二变换矩阵为第二相对旋转和平移变换矩阵。
49.此外，通过将多摄像设备中任意一个摄像设备的坐标定义为预定义的基准坐标，使用计算出的各摄像设备之间的相对旋转和平移变换矩阵，逐步统一所有摄像设备的坐标，可以把所有摄像设备都统一到一个全局坐标系下。以实现快速准确地对各摄像设备完成标定。
50.此外，预设比例因子为根据待跟踪对象的实际高度，例如根据人的实际身高计算得到的三维姿态的比例尺度因子，假设计算得到的待跟踪对象的头部关节点和脚部关节点的距离是17。而实际人的真正高度例如为1.7米，就能计算出来比例因子是1/10了。在本实施例中，通过根据待跟踪对象的比例因子优化各摄像设备在不同时刻求出的三维姿态，以得到各摄像设备的真实标定结果。
51.应理解，待跟踪对象的实际高度可以预先进行确定，在没有基于预设比例因子进行三维姿态优化之前，计算得到的各摄像设备的三维姿态是相对的数值。
52.通过上述分析可知，本实施例中用取平均值的方式聚合不同时刻的摄像设备拍摄的三维骨骼坐标进行摄像相比的三维姿态估计，能够减少来自三维姿态估计和pnp姿态估计带来的误差，获得对各摄像设备准确的标定结果。
53.此外，还可以将所有相机最终标定的三维姿态渲染至3d界面中。示例性地，如图4或图5所示，图4是将所有相机最终标定的三维姿态渲染至3d界面中的渲染结果正视示意图；图5是将所有相机最终标定的三维姿态渲染至3d界面中的渲染结果俯视示意图。
54.示例性地，在图4和图5中分别仅示出了摄像设备cam0、cam1和cam2。应理解，在实际应用中，摄像系统不限于仅包括摄像设备cam0、cam1和cam2，其对应可以包括任意数量的摄像设备。
55.通过上述分析可知，本技术实施例提供的摄像设备标定方法，首先通过分别基于各摄像设备获取目标对象的图像帧序列，所述目标对象为待监控区域内的被跟踪对象；然
后根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标，对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标；再分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵；其中，所述第一变换矩阵为各第一摄像设备相对所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备，根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵，重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵；最后分别根据每两个摄像设备之间的相对变化矩阵和预定义的基准坐标和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。通过获取待监控区域内被跟踪对象的图像帧序列，基于被跟踪对象的图像帧序列来自动完成多摄像设备的标定，有效避免了多摄像设备标定过程中对标定板进行部署的复杂过程以及由标定板部署引起的标定误差，能够提高摄像设备标定效率的同时提高标定准确度。
56.请参阅图6所示，图6是本技术实施例提供的电子设备的示意性框图。
57.示例性的，电子设备102包括处理器401和存储器402。
58.此外，根据前述实施例的描述可知，电子设备102是可以是终端设备或者服务器。所述终端设备包括但不限于手持终端、计算机、机器人或者智能可穿戴设备，所述服务器可以是单个服务器、本地服务器、云端服务器或者服务器集群等。
59.示例性的，处理器401和存储器402通过总线403连接，所述总线403比如为i2c（inter-integrated circuit）总线。
60.处理器401用于提供计算和控制能力，支撑整个电子设备的运行。处理器401可以是中央处理单元 (central processing unit，cpu)，该处理器401还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现场可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
61.具体地，存储器402可以是flash芯片、只读存储器 (rom，read-only memory)磁盘、光盘、u盘或移动硬盘等。
62.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术实施例方案相关的部分结构的框图，并不构成对本技术实施例方案所应用于其上的电子设备102的限定，具体的电子设备102可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
63.其中，处理器401用于运行存储在存储器402中的计算机程序，并在执行所述计算机程序时实现本技术实施例提供的上述摄像设备标定方法的步骤。
64.在一实施例中，处理器401用于运行存储在电子设备的存储器402中的计算机程序，并在执行所述计算机程序时实现如下步骤：
分别基于各摄像设备获取目标对象的图像帧序列，所述目标对象为待监控区域内的被跟踪对象；根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标；对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标；分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵；其中，所述第一变换矩阵为各第一摄像设备相对所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备；根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵；重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵；分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
65.在一实施例中，所述根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标，包括：分别提取各所述图像帧序列中所述目标对象的关节特征点，对所述关节特征点进行匹配映射，得到所述目标对象在所述各摄像设备拍摄下的所述二维关节坐标；根据所述二维关节坐标进行三维骨骼计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标。
66.在一实施例中，所述对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，包括：对各所述三维骨骼坐标进行去离群关节点和取连续帧均值处理，得到所述三维骨骼坐标的三维中心坐标。
67.在一实施例中，所述分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态，包括：分别根据每两个摄像设备之间的相对变换矩阵和所述预定义的基准坐标，确定所述各摄像设备的全局坐标；根据所述全局坐标和预设比例因子分别对所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行坐标转换，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
68.在一实施例中，所述根据所述全局坐标和预设比例因子分别对所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行转换，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态，包括：根据所述全局坐标，依次将所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行坐标转换，对转换后的所述三维骨骼坐标根据所述预设比例因子进行优化，得
到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
69.在一实施例中，所述根据各所述相对变换矩阵和所述预定义的基准坐标，确定所述各摄像设备的全局坐标，包括：根据各所述相对变换矩阵，确定所述各摄像设备之间的变换矩阵；定义任一所述摄像设备的坐标为所述预定义的基准坐标，根据所述各摄像设备之间的变换矩阵将所述各摄像设备的坐标基于所述预定义的基准坐标进行转换，得到所述各摄像设备的全局坐标。
70.在一实施例中，所述分别提取各所述图像帧序列中所述目标对象的关节特征点，对所述关节特征点进行匹配映射，得到所述目标对象在所述各摄像设备拍摄下的所述二维关节坐标，包括：根据预训练的二维姿态检测模型检测各所述图像帧序列中的目标对象的关节特征点，匹配映射各关联图像帧中的所述关节特征点，得到所述目标对象在所述各摄像设备拍摄下的所述二维关节坐标，所述关联图像帧为相同图像帧序列中的各图像帧。
71.在一实施例中，所述根据所述二维关节坐标进行三维骨骼计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标，包括：将所述二维关节坐标输入预训练的三维骨骼识别模型进行计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标。
72.应理解，本实施例提供的电子设备的具体原理和实现方式均与前述实施例中摄像设备对标定的方法中的实现过程对应相同，此处不再赘述。
73.此外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如下摄像设备标定方法的步骤：分别基于各摄像设备获取目标对象的图像帧序列，所述目标对象为待监控区域内的被跟踪对象；根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标；对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标；分别获取每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标，根据pnp算法分别对所述每对摄像设备拍摄的所述二维关节坐标和所述三维骨骼坐标进行分析，得到第一变换矩阵和第二变换矩阵；其中，所述第一变换矩阵为各第一摄像设备相对所述三维中心坐标的变换矩阵，所述第二变换矩阵为各第二摄像设备相对所述三维中心坐标的变换矩阵，所述每对摄像设备为所述各摄像设备中具有公共视场的两个摄像设备，所述每对摄像设备包括所述第一摄像设备和所述第二摄像设备；根据各所述第一变换矩阵和各所述第二变换矩阵，确定所述每对摄像设备之间的相对变换矩阵；重复执行对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，直至得到所有摄像设备中每两个摄像设备之间的相对变换矩阵；分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
74.在一实施例中，所述根据各所述图像帧序列，分别估计所述目标对象在所述各摄像设备拍摄下的二维关节坐标和三维骨骼坐标，包括：分别提取各所述图像帧序列中所述目标对象的关节特征点，对所述关节特征点进行匹配映射，得到所述目标对象在所述各摄像设备拍摄下的所述二维关节坐标；根据所述二维关节坐标进行三维骨骼计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标。
75.在一实施例中，所述对各所述三维骨骼坐标进行融合处理，得到所述三维骨骼坐标的三维中心坐标，包括：对各所述三维骨骼坐标进行去离群关节点和取连续帧均值处理，得到所述三维骨骼坐标的三维中心坐标。
76.在一实施例中，所述分别根据每两个摄像设备之间的相对变换矩阵和预定义的基准坐标，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态，包括：分别根据每两个摄像设备之间的相对变换矩阵和所述预定义的基准坐标，确定所述各摄像设备的全局坐标；根据所述全局坐标和预设比例因子分别对所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行坐标转换，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
77.在一实施例中，所述根据所述全局坐标和预设比例因子分别对所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行转换，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态，包括：根据所述全局坐标，依次将所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标进行坐标转换，对转换后的所述三维骨骼坐标根据所述预设比例因子进行优化，得到相对所述目标对象三维中心坐标的所述各摄像设备的三维姿态。
78.在一实施例中，所述根据各所述相对变换矩阵和所述预定义的基准坐标，确定所述各摄像设备的全局坐标，包括：根据各所述相对变换矩阵，确定所述各摄像设备之间的变换矩阵；定义任一所述摄像设备的坐标为所述预定义的基准坐标，根据所述各摄像设备之间的变换矩阵将所述各摄像设备的坐标基于所述预定义的基准坐标进行转换，得到所述各摄像设备的全局坐标。
79.在一实施例中，所述分别提取各所述图像帧序列中所述目标对象的关节特征点，对所述关节特征点进行匹配映射，得到所述目标对象在所述各摄像设备拍摄下的所述二维关节坐标，包括：根据预训练的二维姿态检测模型检测各所述图像帧序列中的目标对象的关节特征点，匹配映射各关联图像帧中的所述关节特征点，得到所述目标对象在所述各摄像设备拍摄下的所述二维关节坐标，所述关联图像帧为相同图像帧序列中的各图像帧。
80.在一实施例中，所述根据所述二维关节坐标进行三维骨骼计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标，包括：将所述二维关节坐标输入预训练的三维骨骼识别模型进行计算，得到所述目标对象在所述各摄像设备拍摄下的所述三维骨骼坐标。
81.具体地，本实施例提供的各步骤的具体原理和实现方式均与前述实施例中摄像设备标定方法实施例中的实现过程对应相同，此处不再赘述。
82.其中，所述计算机可读存储介质可以是前述实施例中所述电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等；或者，所述计算机可读存储介质可以是前述实施例中所述电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
83.应当理解，在此本技术中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。
84.还应当理解，在本技术和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
85.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。