一种变焦相机的标定方法、装置、终端设备和存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种变焦相机的标定方法、装置、终端设备和存储介质。


背景技术：

2.在图像测量以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，该几何模型的参数就是相机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个求解参数的过程就称为相机标定。
3.目前，对于变焦相机的标定，通常是将该变焦相机看做多个定焦相机，然后分别使用标定物进行标定。然而，采用这种方式的操作流程繁琐，对变焦相机进行标定的效率较低。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种变焦相机的标定方法、装置、终端设备和存储介质，能够提高对变焦相机进行标定的效率。
5.本技术实施例的第一方面提供了一种变焦相机的标定方法，包括：
6.确定变焦相机在指定显示区域中的拍摄范围；
7.在所述拍摄范围内显示标定图像；
8.控制所述标定图像在所述显示区域内多次移动，且在每次移动前均控制所述变焦相机拍摄所述拍摄范围内的图像，得到所述变焦相机在当前位姿下对应的目标图像；
9.调整所述变焦相机的位姿，然后返回确定变焦相机在指定显示区域中的拍摄范围的步骤，直至得到所述变焦相机在多个不同位姿下分别对应的目标图像；
10.根据所述变焦相机在多个不同位姿下分别对应的目标图像完成所述变焦相机的标定。
11.本技术实施例首先确定待标定的变焦相机在指定显示区域中的拍摄范围，在该拍摄范围内显示标定图像；接着，控制该标定图像在该显示区域内多次移动，且每次移动前都会控制该变焦相机拍摄相应的图像，从而得到该变焦相机在一个位姿下对应的目标图像；然后，调整该变焦相机的位姿，不断重复上述步骤，直至得到该变焦相机在多个不同位姿下对应的目标图像；最后，即可根据这些目标图像完成该变焦相机的标定。在上述变焦相机的标定过程中，无论是标定图像的显示和移动，还是变焦相机的位姿调整都无需人工手动操作，从而实现了变焦相机的自动化标定，与将变焦相机看做多个定焦相机进行标定的方法相比，提高了相机的标定效率。
12.在本技术的一个实施例中，所述标定图像为棋盘格图像，在所述拍摄范围内显示标定图像，可以包括：
13.根据该拍摄范围的尺寸，生成一幅对应的矩形的棋盘格图像，并将该生成的棋盘
格图像显示到该显示区域中的该变焦相机的拍摄范围之内。该棋盘格图像包含的方形棋盘格的数量和边长，可以根据该变焦相机的拍摄范围的尺寸合理设置。
14.在本技术的一个实施例中，为了实现相机位姿调整的自动化，可以将该变焦相机设置在一个相机支架上，而该相机支架则放在一个程控转盘上。电脑等终端设备和该程控转盘连接后，可以通过指定app(例如可以是一个用于实现自动化标定相机的应用程序)发送控制指令，控制该程控转盘顺时针或者逆时针转动设定的角度。
15.本技术实施例的第二方面提供了一种变焦相机的标定装置，包括：
16.拍摄范围确定模块，用于确定变焦相机在指定显示区域中的拍摄范围；
17.标定图像显示模块，用于在所述拍摄范围内显示标定图像；
18.标定图像移动模块，用于控制所述标定图像在所述显示区域内多次移动，且在每次移动前均控制所述变焦相机拍摄所述拍摄范围内的图像，得到所述变焦相机在当前位姿下对应的目标图像；
19.相机位姿调整模块，用于调整所述变焦相机的位姿，然后控制所述拍摄范围确定模块确定调整位姿后的所述变焦相机在所述指定显示区域中的拍摄范围，直至得到所述变焦相机在多个不同位姿下分别对应的目标图像；
20.相机标定模块，用于根据所述变焦相机在多个不同位姿下分别对应的目标图像完成所述变焦相机的标定。
21.本技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本技术实施例的第一方面提供的变焦相机的标定方法的步骤。
22.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本技术实施例的第一方面提供的变焦相机的标定方法的步骤。
23.本技术实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行本技术实施例的第一方面所述的变焦相机的标定方法的步骤。
24.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1是本技术实施例提供的变焦相机的标定方法的一个实施例的流程图；
27.图2是控制棋盘格图像向相机拍摄范围的上边界移动时对应的目标内角点的示意图；
28.图3是控制实心圆阵列图像向相机拍摄范围的上边界移动时对应的目标圆心的示意图；
29.图4是本技术实施例提供的变焦相机的标定方法的另一个实施例的流程图；
30.图5是本技术实施例提供的aruco图像的示意图；
31.图6是本技术实施例提供的一种变焦相机的标定系统的示意图；
32.图7是采用图6所示的标定系统对变焦相机进行标定的流程示意图；
33.图8是本技术实施例提供的变焦相机的标定装置的一个实施例的结构图；
34.图9是本技术实施例提供的一种终端设备的示意图。
具体实施方式
35.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
36.无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高相机标定精度是科研工作的重点所在。
37.目前，对于变焦相机的标定，通常是将该变焦相机看做多个定焦相机，然后分别使用标定物进行标定。然而，这种操作方式极其繁琐，对变焦相机进行标定的效率较低。
38.有鉴于此，本技术提出一种变焦相机的标定方法、装置、终端设备和存储介质，能够提高对变焦相机进行标定的效率。应当理解，本技术各个方法实施例的执行主体为各种类型的终端设备或服务器，比如手机、平板电脑、笔记本电脑、台式电脑和可穿戴设备等。
39.请参阅图1，示出了本技术实施例提出的一种变焦相机的标定方法，包括：
40.101、确定变焦相机在指定显示区域中的拍摄范围；
41.在进行变焦相机的标定工作前，首先设置好系统所需的各个硬件设备，例如待标定的变焦相机、相机支架、相机标定设备(例如电脑等各种类型的终端设备)以及指定的显示区域(例如一个大屏显示设备或者投影屏幕)，等等。将变焦相机安装在相机支架上，调整位姿使得该变焦相机的镜头对准该显示区域的合理位置(例如正中央位置)，然后开始执行步骤101。
42.用于标定相机的终端设备首先需要确定待标定的变焦相机在该显示区域中的拍摄范围(也称作视野范围，一般为一个矩形区域)，具体可以在该显示区域中显示已知位置信息的多个图案标记，然后控制该变焦相机拍摄该显示区域的图像，通过对拍摄得到的图像进行分析，可以结合图像中各个图案标记对应的位置信息以确定该变焦相机的拍摄范围。或者，也可以在调整好变焦相机的位姿后，根据经验人工设置得到该变焦相机的拍摄范围，本技术实施例对获得该变焦相机的拍摄范围的具体方式不做限制。确定变焦相机的拍摄范围的意义在于：为了完成变焦相机的标定，需要控制变焦相机拍摄标定图像得到对应的目标图像；而若不确定拍摄范围，在该显示区域中的任意区域(非拍摄范围内的区域)显示标定图像，则无论怎样控制变焦相机进行拍摄都得不到带有图案阵列的目标图像，这将导致无法完成变焦相机的标定。
43.102、在所述拍摄范围内显示标定图像；
44.在获得该变焦相机的拍摄范围后，在该拍摄范围内显示一个标定图像，该标定图像可以是带有固定间距图案阵列的图像，也可以是包括不规则图案且图案间距不固定的图像。标定图像例如可以是棋盘格图像、等间距实心圆阵列图像、网格图像、halcon7*7圆点图像以及十字尺图像等。一般来说，通过相机拍摄标定图像，经过标定算法的计算，可以得出相机的几何模型，从而完成相机的标定。具体的，该终端设备可以根据该拍摄范围的尺寸，生成一个对应尺寸的标定图像，并将该生成的标定图像显示到该显示区域中的该变焦相机的拍摄范围之内。例如，若该标定图像为棋盘格图像，则该棋盘格图像包含的方形棋盘格的数量和边长，可以根据该变焦相机的拍摄范围的尺寸合理设置。若该标定图像为实心圆阵列图像，则该棋盘格图像包含的实心圆的数量和直径，可以根据该变焦相机的拍摄范围的尺寸合理设置，以此类推。为了将该标定图像完整地显示在该拍摄范围之内，该标定图像的整体尺寸可设置为较小于该拍摄范围的尺寸。
45.103、控制所述标定图像在所述显示区域内多次移动，且在每次移动前均控制所述变焦相机拍摄所述拍摄范围内的图像，得到所述变焦相机在当前位姿下对应的目标图像；
46.接着，控制该标定图像在该显示区域内多次移动，具体可以是在该拍摄范围内多次移动，也可以使标定图像的边缘移动至该拍摄范围之外，但为了保证获取足够的图案阵列数据完成相机的标定工作，需尽量保持在该拍摄范围内移动或者移动至该拍摄范围以外的距离小于设定的阈值(指移动时，标定图像的大部分区域仍处于拍摄范围之内，只是小部分边缘区域处于拍摄范围之外)。
47.在每次移动之前，都会控制该变焦相机拍摄该拍摄范围内的图像，也即，整个处理过程如下：在未移动标定图像之前，控制该变焦相机拍摄一幅图像、控制该标定图像移动一次、控制该变焦相机拍摄下一幅图像、控制该标定图像移动下一次
…
以此类推，当该标定图像的最后一次移动结束后，可以再控制该变焦相机拍摄得到最后一幅图像。显然，若总共移动n次，则可以获得n 1幅图像，在这个过程中该变焦相机的位姿保持不变，故该n 1幅图像可以作为该变焦相机在当前位姿下对应的包含图案阵列的目标图像。也即，该变焦相机的每个位姿都能获得对应的多幅目标图像，每幅目标图像都带有图案阵列数据，以便后续根据这些目标图像完成变焦相机的标定。
48.在本技术的一个实施例中，控制所述标定图像在所述显示区域内多次移动，可以包括：
49.控制所述标定图像依次向所述拍摄范围的各个边界移动，其中，向所述拍摄范围的任意一个边界移动时，每次控制所述标定图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像符合预设的条件。
50.具体的，若该拍摄范围为一个矩形区域，具有上下左右总共4个边界，则可以依次控制该标定图像向该拍摄范围的上边界、下边界、左边界和右边界移动。其中，向该拍摄范围的任意一个边界移动时，每次控制该标定图像向该边界移动某个预设长度的距离，直至该变焦相机拍摄到的该拍摄范围内的图像符合某个预设的条件。例如，若该标定图像为棋盘格图像，在将该棋盘格图像向该拍摄范围的上边界移动时，每次可以向上移动0.5倍棋盘格方格边长的距离，直至该棋盘格图像到达该上边界，或者直至该棋盘格图像和该上边界之间的最小距离小于某个设定值；若该标定图像为实心圆阵列图像，在将该实心圆阵列图
像向该拍摄范围的上边界移动时，每次可以向上移动0.5倍实心圆直径的距离，直至该实心圆阵列图像到达该上边界，或者直至该实心圆阵列图像和该上边界之间的最小距离小于某个设定值，等等。当该标定图像向该拍摄范围的上边界移动结束时，可以将该标定图像恢复至初始位置(即未移动之前的位置)，然后控制该标定图像向该拍摄范围的其他方向(例如下边界)移动，以此类推。通过这样设置，对标定图像的移动控制方式简单，便于实现，能够方便地获得目标图像。
51.进一步的，所述标定图像为棋盘格图像，每次控制所述标定图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像符合预设的条件，可以包括：
52.每次控制所述棋盘格图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像中棋盘格的各个目标内角点和该边界之间的距离的平均值小于第二长度，或者直至所述变焦相机拍摄到的所述拍摄范围内的图像中棋盘格的任意一个内角点处于所述拍摄范围之外；其中，所述目标内角点为所述棋盘格包含的和与该边界之间的距离最近的内角点处于同一棋盘格行或者同一棋盘格列的所有内角点。第二长度要求大于第一长度，这是由于：第一长度是每次控制移动棋盘格图像移动的步进长度，若第二长度设置的太小(小于第一长度)，则在某次移动后，如果当前棋盘格的各个目标内角点和该边界之间的距离的平均值大于第二长度且小于第一长度(由于第二长度小于第一长度，可能出现这个情形)，则接下来会控制棋盘格图像继续向该边界移动第一长度的距离，那么移动后就会导致棋盘格图像的目标内角点移出拍摄范围的边界，造成棋盘格数据的缺失。
53.棋盘格图像的内角点是指在棋盘格图像中除去最外围一圈的棋盘格后，余下的所有棋盘格的角点，从这些角点中找到与该边界之间的距离最近的那个内角点，则该内角点以及和该内角点处于同一棋盘格行或者同一棋盘格列，且处于同一条棋盘格边界线上的所有内角点可以作为该边界对应的目标内角点。以当前控制该棋盘格图像向上边界移动为例，如图2所示，目标内角点为图2中用小黑圈标记出的处于同一棋盘格行(第二行的棋盘格)且处于同一条棋盘格边界线(第二行棋盘格的上边界线)上的多个内角点。在拍摄得到该拍摄范围内的图像之后，对该图像进行分析，分别检测每个目标内角点到该上边界之间的距离，然后计算得到这些距离的平均值。若该平均值小于某个预设的第二长度(例如1.5倍棋盘格方格边长)，则确定该棋盘格图像向上边界方向的移动结束，否则继续控制该棋盘格图像向上边界移动0.5倍棋盘格方格边长的距离，然后再次拍摄图像，进入下一次的判定流程。通过这样限定，可以避免棋盘格图像移动到拍摄范围之外，从而保证获得的目标图像是具有完整的棋盘格信息的，以提高后续执行相机标定的准确率。
54.另外，如果检测到该变焦相机拍摄到的该拍摄范围内的图像中棋盘格的任意一个内角点处于该拍摄范围之外(也即图像中该棋盘格的内角点不是全部可见)，同样可以确定该棋盘格图像在某个边界方向上的移动结束。通过这样设置，能够确保在拍摄得到的目标图像中具有该棋盘格图像的全部内角点，以便后续根据目标图像进行相机标定时(例如采用张正友标定法进行标定)，能够成功获取到棋盘格的内角点信息以完成标定。
55.进一步的，所述标定图像为实心圆阵列图像，每次控制所述标定图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像符合预设的条件，可以包括：
56.每次控制所述实心圆阵列图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像中实心圆阵列的各个目标圆心和该边界之间的距离的平均值小于第三长度，或者直至所述变焦相机拍摄到的所述拍摄范围内的图像中实心圆阵列的任意一个圆心处于所述拍摄范围之外；其中，所述目标圆心为所述实心圆阵列包含的和与该边界之间的距离最近的圆心处于同一实心圆行或者同一实心圆列的所有圆心。第三长度同样要求大于第一长度，这是由于：第一长度是每次控制移动棋盘格图像移动的步进长度，若第三长度设置的太小(小于第一长度)，则在某次移动后，如果当前实心圆阵列的各个目标圆心和该边界之间的距离的平均值大于第三长度且小于第一长度(由于第三长度小于第一长度，可能出现这个情形)，则接下来会控制实心圆阵列图像继续向该边界移动第一长度的距离，那么移动后就会导致实心圆阵列图像的目标圆心移出拍摄范围的边界，造成实心圆阵列数据的缺失。
57.实心圆阵列的目标圆心是指该实心圆阵列包含的和最近圆心处于同一实心圆行或者同一实心圆列的所有圆心，其中该最近圆心是指该实心圆阵列包含的与该边界之间的距离最近的圆心。以当前控制该实心圆阵列图像向上边界移动为例，如图3所示，目标圆心为图3中用小黑圈标记出的处于同一实心圆行(第一行的实心圆)的多个圆心。在拍摄得到该拍摄范围内的图像之后，对该图像进行分析，分别检测每个目标圆心到该上边界之间的距离，然后计算得到这些距离的平均值。若该平均值小于某个预设的第三长度(例如1.5倍实心圆直径)，则确定该实心圆阵列图像向上边界方向的移动结束，否则继续控制该实心圆阵列图像向上边界移动第一长度(例如可以是0.5倍实心圆直径)的距离，然后再次拍摄图像，进入下一次的判定流程。通过这样限定，可以避免实心圆阵列图像移动到拍摄范围之外，从而保证获得的目标图像是具有完整的实心圆阵列信息的，以提高后续执行相机标定的准确率。
58.另外，如果检测到该变焦相机拍摄到的该拍摄范围内的图像中实心圆阵列的任意一个圆心处于所述拍摄范围之外(也即图像中该实心圆阵列的圆心不是全部可见)，同样可以确定该实心圆阵列图像在某个边界方向上的移动结束。通过这样设置，能够确保在拍摄得到的目标图像中具有该实心圆阵列图像的全部圆心，以便后续根据目标图像进行相机的标定。
59.104、调整所述变焦相机的位姿，然后返回确定变焦相机在指定显示区域中的拍摄范围的步骤，直至得到所述变焦相机在多个不同位姿下分别对应的目标图像；
60.在得到该变焦相机在当前位姿下对应的目标图像(多幅包含图案阵列的拍摄范围内的图像)之后，可以调整该变焦相机的位姿，然后返回步骤101，不断重复步骤101
‑
104，直至得到该变焦相机在多个不同位姿下分别对应的目标图像。为了比较准确地完成该变焦相机的标定，一般至少需要获得该变焦相机在3个不同位姿下分别对应的目标图像。
61.在本技术的一个实施例中，所述变焦相机设置在相机支架上，所述相机支架设置在程控转盘上，所述调整所述变焦相机的位姿，可以包括：
62.控制所述程控转盘向第一方向转动预设角度，以调整所述变焦相机的位姿；
63.或者
64.控制所述程控转盘向所述第一方向的反方向转动所述预设角度，以调整所述变焦相机的位姿。
65.为了实现相机位姿调整的自动化，可以将该变焦相机设置在一个相机支架上，而该相机支架则放在一个程控转盘上。电脑等终端设备和该程控转盘电连接后，可以通过指定app(例如可以是一个用于实现自动化标定相机的应用程序)发送控制指令，控制该程控转盘顺时针或者逆时针转动设定的角度。
66.在本技术的一个实施例中，需要获取该变焦相机在9个不同位姿下分别对应的目标图像，此时调整相机位姿的整体流程可以包括：
67.(1)获取变焦相机在第一位姿(程控转盘处于初始位置)下对应的目标图像；
68.(2)控制程控转盘逆时针转动步进角度(例如3
°
)，获取变焦相机在第二位姿下对应的目标图像；
69.(3)控制程控转盘逆时针再次转动步进角度，获取变焦相机在第三位姿下对应的目标图像；
70.(4)控制程控转盘逆时针再次转动步进角度，获取变焦相机在第四位姿下对应的目标图像；
71.(5)控制程控转盘逆时针再次转动步进角度，获取变焦相机在第五位姿下对应的目标图像；
72.(6)控制程控转盘返回初始位置；
73.(7)控制程控转盘顺时针转动步进角度，获取变焦相机在第六位姿下对应的目标图像；
74.(8)控制程控转盘顺时针再次转动步进角度，获取变焦相机在第七位姿下对应的目标图像；
75.(9)控制程控转盘顺时针再次转动步进角度，获取变焦相机在第八位姿下对应的目标图像；
76.(10)控制程控转盘顺时针再次转动步进角度，获取变焦相机在第九位姿下对应的目标图像。
77.通过获取到的9个不同位姿下分别对应的目标图像(其中每个位姿下对应的目标图像都包含多幅标定图像)，可以比较准确地完成该变焦相机的标定工作。
78.105、根据所述变焦相机在多个不同位姿下分别对应的目标图像完成所述变焦相机的标定。
79.最后，即可根据该变焦相机在多个不同位姿下分别对应的目标图像完成所述变焦相机的标定。具体的，可以根据标定图像的类型，采用对应的标定算法完成该变焦相机的标定。例如，若该标定图像为棋盘格图像，则可以基于这些目标图像，采用张正友棋盘标定法完成该变焦相机的标定，以此类推。关于张正友棋盘标定法的具体描述可以参照现有技术，本技术不再赘述。
80.本技术实施例首先确定待标定的变焦相机在显示区域中的拍摄范围，在该拍摄范围内显示标定图像；接着，控制该标定图像在该显示区域内多次移动，且每次移动前都会控制该变焦相机拍摄相应的图像，从而得到该变焦相机在一个位姿下对应的目标图像；然后，调整该变焦相机的位姿，不断重复上述步骤，直至得到该变焦相机在多个不同位姿下对应的目标图像；最后，即可根据这些棋盘格图像完成该变焦相机的标定。上述过程实现了变焦相机的自动化标定，与将变焦相机看做多个定焦相机进行标定的方法相比，提高了相机的
标定效率。
81.请参阅图4，示出了本技术实施例提出的另一种变焦相机的标定方法，包括：
82.401、在指定显示区域中显示第一标记物图像，所述第一标记物图像包含多个不同的标记；
83.在设置好系统的各个硬件设备，调整待标定的变焦相机的镜头对准指定显示区域的合理位置(例如正中央位置)后，开始执行步骤401。
84.用于标定相机的终端设备会控制该显示区域显示一个标记物图像，该标记物图像包含多个不同的标记。具体的，该标记物图像可以是一个覆盖整个显示区域的全局图像，该图像中具有的各个标记物按照各自的位置进行排布，该终端设备已记录该图像中每个标记物的位置以及对应的id等信息。例如，该标记物图像可以是一个如图5所示的aruco图像，该aruco图像中排布着多个marker(标记)，其中每个marker都有对应的唯一id，该终端设备已知该aruco图像中每个marker的位置和对应的id，这里的位置是指每个marker在该aruco图像中的排列位置，例如每个marker分别处于aruco图像的第几行第几列的位置。在将该aruco图像显示在指定显示区域中后，由于在该指定显示区域中显示aruco图像的位置区域是终端设备可以设置的，故终端设备已知该aruco图像的整体在该指定显示区域中的位置坐标范围。然后，通过对该指定显示区域中的某个marker的二维码进行识别，可以得到该marker对应的id，进而可以根据该aruco图像的整体在该指定显示区域中的位置坐标范围以及该marker在该aruco图像中的排列位置确定该marker在该指定显示区域中的位置。
85.402、控制变焦相机拍摄所述第一标记物图像，得到第二标记物图像；
86.然后，控制该变焦相机拍摄该第一标记物图像，得到第二标记物图像。可以理解，由于该第一标记物图像是布满整个显示区域的全局图像，而该变焦相机的拍摄区域是无法覆盖整个显示区域的，故拍摄得到的该第二标记物图像是该第一标记物图像中的一部分区域。
87.403、对所述第二标记物图像进行识别，得到所述第二标记物图像包含的每个标记的识别结果；
88.接着，对该第二标记物图像进行识别，具体是对其包含的每个标记进行识别(例如识别每个marker的二维码)，从而得到该第二标记物图像中包含的每个标记的识别结果，该识别结果可以包括识别成功和识别失败两种类型。一般的，对于该第二标记物图像中显示完整的标记，能够识别成功；而对于该第二标记物图像中由于各类不同原因导致(例如处于图像边缘的不完整标记，或者由于各类噪声干扰而导致的标记显示不清晰等原因)的显示不完整或者显示不清晰的标记，则可能识别失败。
89.404、根据所述第二标记物图像包含的所述识别结果为成功的标记确定所述变焦相机在所述显示区域中的拍摄范围；
90.在获得该第二标记物图像包含的每个标记的识别结果之后，根据其中识别结果为成功的标记(记作第一标记)确定该变焦相机在该显示区域中的拍摄范围，确定得到的拍摄范围通常为一个矩形区域。具体的，可以根据该第二标记物图像中的每个识别结果为成功的标记的位置，采用最大矩形算法等方式计算得到该变焦相机的拍摄范围。例如，将该第二标记物图像中识别结果为成功的标记表示为“1”，识别结果为失败的标记表示为“0”，则可以将该第二标记物图像转化为一个由“0”和“1”构成的矩形区域，然后找出这个矩形区域中
全部元素都是“1”的最大子矩形，即为得到的该变焦相机的拍摄范围。通过对标记物图像进行识别的方式，能够比较准确地确定变焦相机的拍摄范围，且实施方便，便于实现。
91.进一步的，在对所述第二标记物图像进行识别，得到所述第二标记物图像包含的每个标记的识别结果之后，还可以包括：
92.(1)对于所述第二标记物图像包含的所述识别结果为失败的每个第二标记，均检测所述第二标记(即识别结果为失败的标记)所处的区域是否被所述第一标记(即识别结果为成功的标记)所处的区域包围；
93.(2)若所述第二标记所处的区域被所述第一标记所处的区域包围，则将所述第二标记的所述识别结果修改为成功。
94.对于该第二标记物图像中由于摩尔纹等干扰导致的识别失败的标记，由于这些标记并非处于图像边缘，也即这些标记也处于该变焦相机的拍摄范围之内，因此在确定该拍摄范围时，应当考虑这些标记。具体的，可以分别检测每个识别失败的标记所处的区域是否被识别成功的标记所处的区域所包围，针对其中被包围的识别失败的标记，将这些标记的识别结果修改为成功。这个过程可以称作孔洞填充，例如，将该第二标记物图像转化为一个由“0”和“1”构成的矩形区域(识别结果为成功的标记表示为“1”，识别结果为失败的标记表示为“0”)，由于识别失败的标记的数量通常远少于识别成功的标记的数量，故非处于图像边缘且识别失败的标记对应的“0”会成为该矩形区域中的各个孔洞(这些孔洞被识别成功的标记对应的“1”包围)，将这些孔洞填充(即将“0”修改为“1”)之后，采用最大矩形算法能够计算得到更准确的最大子矩形，也即能够得到更准确的该变焦相机的拍摄范围。需要说明的是，这些被填充的孔洞可以是单个“0”的孔洞，也可以是由相邻的多个“0”组成的孔洞，只要某个孔洞四周都被“1”包围，则将该孔洞填充为“1”。
95.在本技术的一个实施例中，在根据所述第二标记物图像包含的所述识别结果为成功的第一标记确定所述拍摄范围之后，还可以包括：
96.(1)将所述拍摄范围向四周扩大设定的尺寸，得到第一范围区域；
97.(2)在所述第一范围区域内显示第三标记物图像，所述第三标记物图像包含的标记的排布密度大于所述第一标记物图像包含的标记的排布密度；
98.(3)控制所述变焦相机拍摄所述第三标记物图像，得到第四标记物图像；
99.(4)对所述第四标记物图像进行识别，得到所述第四标记物图像包含的每个标记的识别结果；
100.(5)根据所述第四标记物图像包含的所述识别结果为成功的第三标记确定第二范围区域；
101.(6)将所述第二范围区域确定为更新后的所述拍摄范围。
102.在执行步骤401
‑
404之后，已经获得该变焦相机的拍摄范围，而为了得到更精确的拍摄范围，还可以继续执行上述步骤(1)
‑
(6)，完成精调拍摄范围的处理。具体的，首先将该拍摄范围向四周扩大设定的尺寸，得到第一范围区域，例如可以将该拍摄范围向四周扩大2个标记(marker)边长的距离，得到一个扩大的范围区域。然后，在该扩大的范围区域内显示标记排布密度相较于该第一标记物图像更大的第三标记物图像，例如，在该扩大的范围区域内显示marker边长更小的aruco图像，该aruco图像可以根据该扩大的范围区域的尺寸适应性的生成。接着，控制该变焦相机对该第三标记物图像进行拍摄，得到第四标记物图像，
对该第四标记物图像进行识别，得到其中每个标记的识别结果。最后，根据该第四标记物图像包含的识别结果为成功的标记确定一个范围区域，作为该变焦相机更新后的拍摄范围。另外，上述步骤(3)
‑
(5)中确定拍摄范围的具体方式类似于上述步骤402
‑
404，具体可以参照上述步骤402
‑
404中的相关说明。
103.405、在所述拍摄范围内显示标定图像；
104.406、控制所述标定图像在所述显示区域内多次移动，且在每次移动前均控制所述变焦相机拍摄所述拍摄范围内的图像，得到所述变焦相机在当前位姿下对应的目标图像；
105.407、调整所述变焦相机的位姿，然后返回在指定显示区域中显示第一标记物图像的步骤，直至得到所述变焦相机在多个不同位姿下分别对应的目标图像；
106.408、根据所述变焦相机在多个不同位姿下分别对应的目标图像完成所述变焦相机的标定。
107.关于步骤405
‑
408的具体描述，可以参照步骤102
‑
105。
108.本技术实施例首先确定待标定的变焦相机在指定显示区域中的拍摄范围，在该拍摄范围内显示标定图像；接着，控制该标定图像在该显示区域内多次移动，且每次移动前都会控制该变焦相机拍摄相应的图像，从而得到该变焦相机在一个位姿下对应的目标图像；然后，调整该变焦相机的位姿，不断重复上述步骤，直至得到该变焦相机在多个不同位姿下对应的目标图像；最后，即可根据这些目标图像完成该变焦相机的标定。上述过程实现了变焦相机的自动化标定，与将变焦相机看做多个定焦相机进行标定的方法相比，提高了相机的标定效率。另外，与本技术的第一个实施例相比，本实施例提出了一种确定变焦相机在显示区域中的拍摄范围的具体实施方式，能够比较准确地确定该变焦相机的拍摄范围，从而提高该变焦相机进行标定的准确性。
109.为了更清楚地说明本技术实施例提出的变焦相机的标定方法，下面列举一个实际的应用场景。
110.如图6所示，为本技术提出的一种变焦相机的标定系统的示意图，该标定系统包括待标定的变焦相机、相机支架、程控转盘、电脑和显示屏幕等硬件设备。
111.在标定该变焦相机之前，先将该变焦相机安装在相机支架上，并将该相机支架放置在程控转盘上，通过调整相机支架的高度以及程控转盘的角度，使得该变焦相机的镜头大致对准该显示屏幕的中央位置。
112.电脑作为整个标定系统的核心设备，负责控制程控转盘的转动、变焦相机的拍摄以及显示屏幕的显示等工作。在实际操作中，可以在该电脑中安装一个用于自动化标定变焦相机的应用程序，在将电脑和程控转盘、电脑和变焦相机、电脑和显示屏幕分别电连接后，操作人员可以在电脑中操作该应用程序，从而控制整个相机标定流程的实施，并记录通过标定获得的相机参数。
113.图7是采用图6所示的标定系统对变焦相机进行标定的流程示意图。如图7所示，相机标定流程基本包含以下步骤：
114.(1)在显示屏幕上显示全局的aruco图像；
115.(2)控制待标定的变焦相机拍照；
116.(3)对拍照得到的图像进行分析，得到该变焦相机的初始拍摄范围；
117.(4)将该初始拍摄范围外扩，并在外扩后的范围区域内显示标记排布密度更大的
aruco图像；
118.(5)根据该排布密度更大的aruco图像，确定精细调整后的拍摄范围；
119.(6)在该精细调整后的拍摄范围中显示棋盘格图像；
120.(7)控制该棋盘格图像在该显示屏幕内多次移动，且在每次移动前均控制变焦相机拍摄该拍摄范围内的图像，得到该变焦相机在当前位姿下对应的目标图像；
121.(8)判断是否获得足够数量的不同位姿下该变焦相机对应的目标图像，若是则执行步骤(9)，否则控制该程控转盘旋转指定角度，以改变该变焦相机的位姿，然后返回执行步骤(1)，继续获取该变焦相机在下一个位姿下对应的目标图像；
122.(9)基于该变焦相机在多个不同位姿下对应的目标图像，完成该变焦相机的标定。
123.上述步骤(1)
‑
(9)的执行主体都是电脑，该电脑上安装的用于相机标定的应用程序可以包含以下四部分：1.相机标定部分程序；2.相机与屏幕可视范围测定部分；3.相机拍照以及程控转盘控制部分；4.aruco板、棋盘格生成及显示部分。其中，对于相机标定部分，可以采用张正友棋盘标定法。对于相机与屏幕可视范围测定部分，也即相机的拍摄范围测定部分，主要通过包含多个marker的aruco板确定对应的相机拍摄范围。对于相机拍照以及程控转盘控制部分，可以通过程序模拟鼠标点击事件，控制相机以及转盘的相应应用程序进行相应动作。对于aruco板、棋盘格生成及显示部分，主要根据显示区域的长宽来确定aruco板、以及棋盘格图像的绘制。
124.显然，上述过程实现了变焦相机的自动化标定，从而可以有效提高变焦相机的标定效率。
125.应理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
126.上面主要描述了一种变焦相机的标定方法，下面将对一种变焦相机的标定装置进行描述。
127.请参阅图8，本技术实施例中一种变焦相机的标定装置的一个实施例包括：
128.拍摄范围确定模块801，用于确定变焦相机在指定显示区域中的拍摄范围；
129.标定图像显示模块802，用于在所述拍摄范围内显示标定图像；
130.标定图像移动模块803，用于控制所述标定图像在所述显示区域内多次移动，且在每次移动前均控制所述变焦相机拍摄所述拍摄范围内的图像，得到所述变焦相机在当前位姿下对应的目标图像；
131.相机位姿调整模块804，用于调整所述变焦相机的位姿，然后控制所述拍摄范围确定模块确定调整位姿后的所述变焦相机在所述指定显示区域中的拍摄范围，直至得到所述变焦相机在多个不同位姿下分别对应的目标图像；
132.相机标定模块805，用于根据所述变焦相机在多个不同位姿下分别对应的目标图像完成所述变焦相机的标定。
133.在本技术的一个实施例中，所述拍摄范围确定模块可以包括：
134.第一标记物图像显示单元，用于在所述显示区域中显示第一标记物图像，所述第一标记物图像包含多个不同的标记；
135.第一相机拍摄单元，用于控制所述变焦相机拍摄所述第一标记物图像，得到第二
标记物图像；
136.第一图像识别单元，用于对所述第二标记物图像进行识别，得到所述第二标记物图像包含的每个标记的识别结果；
137.第一拍摄范围确定单元，用于根据所述第二标记物图像包含的所述识别结果为成功的第一标记确定所述拍摄范围。
138.进一步的，所述拍摄范围确定模块还可以包括：
139.标记区域检测单元，用于对于所述第二标记物图像包含的所述识别结果为失败的每个第二标记，均检测所述第二标记所处的区域是否被所述第一标记所处的区域包围；
140.识别结果修改单元，用于若所述第二标记所处的区域被所述第一标记所处的区域包围，则将所述第二标记的所述识别结果修改为成功。
141.进一步的，所述拍摄范围确定模块还可以包括：
142.拍摄范围扩大单元，用于将所述拍摄范围向四周扩大设定的尺寸，得到第一范围区域；
143.第二标记物图像显示单元，用于在所述第一范围区域内显示第三标记物图像，所述第三标记物图像包含的标记的排布密度大于所述第一标记物图像包含的标记的排布密度；
144.第二相机拍摄单元，用于控制所述变焦相机拍摄所述第三标记物图像，得到第四标记物图像；
145.第二图像识别单元，用于对所述第四标记物图像进行识别，得到所述第四标记物图像包含的每个标记的识别结果；
146.第二拍摄范围确定单元，用于根据所述第四标记物图像包含的所述识别结果为成功的第三标记确定第二范围区域；
147.拍摄范围更新单元，用于将所述第二范围区域确定为更新后的所述拍摄范围。
148.在本技术的一个实施例中，所述标定图像移动模块可以包括：
149.边界移动单元，用于控制所述标定图像依次向所述拍摄范围的各个边界移动，其中，向所述拍摄范围的任意一个边界移动时，每次控制所述标定图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像符合预设的条件。
150.进一步的，所述标定图像为棋盘格图像，所述边界移动单元可以包括：
151.第一边界移动子单元，用于每次控制所述棋盘格图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像中棋盘格的各个目标内角点和该边界之间的距离的平均值小于第二长度，或者直至所述变焦相机拍摄到的所述拍摄范围内的图像中棋盘格的任意一个内角点处于所述拍摄范围之外；其中，所述目标内角点为所述棋盘格包含的和与该边界之间的距离最近的内角点处于同一棋盘格行或者同一棋盘格列，且处于同一条棋盘格边界线上的所有内角点，所述第二长度大于所述第一长度。
152.进一步的，所述标定图像为实心圆阵列图像，所述边界移动单元可以包括：
153.第二边界移动子单元，用于每次控制所述实心圆阵列图像向该边界移动第一长度的距离，直至所述变焦相机拍摄到的所述拍摄范围内的图像中实心圆阵列的各个目标圆心和该边界之间的距离的平均值小于第三长度，或者直至所述变焦相机拍摄到的所述拍摄范围内的图像中实心圆阵列的任意一个圆心处于所述拍摄范围之外；其中，所述目标圆心为
所述实心圆阵列包含的和与该边界之间的距离最近的圆心处于同一实心圆行或者同一实心圆列的所有圆心，所述第三长度大于所述第一长度。
154.在本技术的一个实施例中，所述变焦相机设置在相机支架上，所述相机支架设置在程控转盘上，所述相机位姿调整模块可以包括：
155.第一位姿调整单元，用于控制所述程控转盘向第一方向转动预设角度，以调整所述变焦相机的位姿；
156.第二位姿调整单元，用于控制所述程控转盘向所述第一方向的反方向转动所述预设角度，以调整所述变焦相机的位姿。
157.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1或图4表示的任意一种变焦相机的标定方法的步骤。
158.本技术实施例还提供一种计算机程序产品，当该计算机程序产品在终端设备上运行时，使得终端设备执行实现如图1或图4表示的任意一种变焦相机的标定方法的步骤。
159.图9是本技术一实施例提供的终端设备的示意图。如图9所示，该实施例的终端设备9包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92。所述处理器90执行所述计算机程序92时实现上述各个变焦相机的标定方法的实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能，例如图8所示模块801至805的功能。
160.所述计算机程序92可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器91中，并由所述处理器90执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。
161.所称处理器90可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
162.所述存储器91可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
163.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的
单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
164.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
165.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
166.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
167.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
168.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
169.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
170.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
171.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各
实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。