用于对摄像机校准进行评估的方法与流程

本发明涉及一种用于对摄像机校准进行评估的方法和一种用于执行该方法的装置。

背景技术

摄像机指的是摄影技术设备，所述摄影技术设备能够将静态的或者移动的图像记录在摄影胶片上或者以电子的方式记录在存储介质上或者通过接口进行传送。

校准指的是一个测量过程，该测量过程用于确定测量仪器相对于别的设备、参考设备的偏差。然后，在随后使用测量设备时考虑该偏差，用以校正读取的值。因此，在摄像机的校准的范畴中，以与参考摄像机的成像性能相比的方式确定该摄像机的成像性能。

将摄像机系统用作进行测量的仪器的前提是，以最准确的方式已知其几何形状成像性能。具体而言，这意味着必须已知成像函数，即一个点从三维世界到二维图像中的投影x＝(x,y,z)^T→u＝(u,v)^T。在确定该成像函数的参数时的误差或者选择了不适合的模型可能对所有后续的处理步骤具有严重的影响。

此外，由于摄像机系统的不断增长的使用，对用于确定所述模型参数的方法的需求增加。这应该也能够由外行人(Laien)来执行。

在进行摄像机校准时的两个已知的问题是：第一，系统误差，在所述系统误差的情况下，模型不能够或者不能够足够准确地描述实际的成像性能；第二，高的或者未知的剩余的参数不确定性，所述参数不确定性通常是过少的测量或观察的后果。为了能够识别这两个误差类型，需要专家知识和经验值，例如关于类似的摄像机系统如何表现的专家知识和经验值，或者需要昂贵的控制实验，如在摄影测量学中已知的那样。

技术实现要素：

在此背景下提出一种用于对摄像机校准进行评估的方法和一种用于对摄像机校准进行评估的装置。以下描述优选的实施方式。

所提出的方法用于对摄像机校准进行评估，其中，该方法用于对系统误差进行评估，为此求取第一品质标准(Gütemaβ)，该第一品质标准能够实现对该系统误差进行评估。

借助所述第一品质标准能够评估系统误差εbias，其中，通过在校准之后剩余的误差执行评估，其中，将潜在地由多个校准对象组成的总校准对象虚拟地分解为多个在物理上更小的校准对象，其中，为每个校准对象估计探测器噪声并将其组合成总估计，将所述总估计与总校准对象的探测器噪声的估计进行比较。

针对探测器噪声进行如下解释：探测器或特征探测器是一种图像处理算法，该算法提取图像中的显著部位(特征)的位置或图像坐标。在摄像机校准中，特征通常是棋盘状校准目标的角。因此，说的是角探测器。特征的探测通常不是完美的，即所提取的图像坐标(u,v)与真实的图像坐标有偏差。所述偏差通常被称为非相关噪声，所谓的探测器噪声。

因此，本申请的主题是一种方法，该方法能够实现对提到的系统误差进行评估或评估并且因此能够考虑该误差。

除了系统误差之外，还存在所谓的统计误差，为了评估该统计误差，在本方法的构型方案中求取第二品质标准。因此，在此提出所描述的方法的一种实施方式，在该实施方式中，考虑两个信息量大的误差标准和不确定性标准，其纯粹基于为了进行校准而进行的拍摄或者说测量。因此，在构型方案中提出两个品质标准和一种用于确定所述两个品质标准的方法，所述品质标准首先定量地评估系统误差，其次定量地评估剩余的不确定性。所述品质标准的结合不仅允许直接反馈给执行校准的人员，还允许评估现有的或者存在于设计中的校准方法和结构。

然后，在所述方法中，在考虑第二品质标准时，求取用于成像误差的预期值，其中，首先访问(zugegriffen)经优化的模型参数和其协方差矩阵，然后确定成像误差的矩阵，最后求取成像误差的预期值。

成像误差理解为在通常在校准的范畴中估计的摄像机模型与真实的摄像机之间的、在成像性能方面的差异。

成像误差的预期值是所谓的不确定性度量(Unsicherheitsmetrik)。在这里观察的第二品质标准是不确定性度量。因此进行量化：关于所估计的模型参数是多么不确定。因此，该不确定性度量同时相应于用于能够预期的统计误差的标准。在高的参数不确定性的情况下，在统计学方面产生更高的误差。不确定性度量的定义或者说构型方案在于，确定成像误差的预期值。因此，从模型参数中的不确定性推断出能够预期的成像误差。

例如，图像空间中的均方误差能够用作成像误差。替代地，也能够使用局部图像区域中的均方误差或者经校准的摄像机的特定应用中的误差。

例如，如下矩阵能够确定为矩阵：所述矩阵描述取决于所述模型参数中的误差的、成像误差的增加。

在详细地描述所述品质标准之后，在此也在可行性研究(所谓的概念验证，Proof-of-Concept)中说明所述品质标准。

对摄像机校准的评估通常通过在校准之后剩余的误差、即残差(Residuen)、即所述观察与通过估计的模型进行的所述预测之间的差进行。在大多数情况下，给出误差平方和的根、所谓的均方根误差(Root Mean Squared Error，RMSE)，或者类似的、反映校准数据组上的平均误差的标准。

适用的是：

其中，ui表示所观察的图像点，表示基于该模型进行估计的图像点。单个观察的数量是nobs，其中，所观察的每个图像点(ui＝(u,v)^T)相应地贡献两个观察。

残差由例如由于未建模的失真造成的系统误差和由于所谓的探测器噪声造成的随机误差组成。对所附附图中的棋盘角的探测具有随机且不相关的误差。

渐近地，对于RMSE适用的是：

或：

视误差类型而定地，其中，σ描述探测器噪声，nparam描述模型的参数的数量，并且∈bias描述系统误差。然而，通常不清楚各个量值(σ和∈bias)多高。这是一个普遍的问题，因为对于不同的摄像机-光学器件组合，σ通常是不同的。因此，为了基于RMSE判断摄像机系统，通常需要来自于相同的摄像机系统(其通常具有相同的设定，例如孔径和清晰度)的较早的校准的经验值。除此之外，RMSE不包含关于准确性的信息，借助所述信息能够基于现有的数据来估计模型参数。

为了判断所估计的参数的不确定性，通常使用来自于优化的参数的协方差矩阵：参数的方差越小，关于其值就越确定。然而，各个参数的方差不太适合用作品质标准，因为存在多个具有不同的参数的摄像机模型。这导致缺少可比性。为了改善这一点，已经存在一个方法，该方法通过蒙特卡罗模拟(Monte-Carlo Simulation)将参数不确定性传播到图像空间中并且由此评估图像中的最大的不确定性。除此之外，已提出一种方法，在该方法中，借助参数对摄像机模型的影响来对模型参数的不确定性(在此通过近似黑塞矩阵(Hesse-Matrix)量化)进行加权。

在此提出的方法在其不同的实施方式中与提到的方法明显不同，如下文详细描述的那样。

所提出的方法至少在构型方案中能够实现：提供信息量大的误差标准和不确定性标准，用以对基于校准主体的摄像机校准进行评估。该方法在一种实施方式中包括可能的误差的两个量值：第一是系统(模型)误差，第二是剩余的不确定性或方差。所述标准使应用者能够通过直接的反馈以目标明确的方式对校准进行评估和改善。这能够例如在系统误差的情况下通过选择更适合的模型或者在过高的不确定性的情况下通过接收附加的数据来实现。

此外，能够使用误差反馈，以便评估在后续的应用(例如自定位、三角测量等等)中的误差并且以便要求尽可能好的附加的测量。另外，所述品质标准也能够用于原则上对现有的或者新的校准方法和校准结构进行评估。

在此提出的品质标准允许对校准进行定量的评估，其中，所述品质标准不以关于当前的摄像机或者摄像机模型的经验值为前提。因此，所述品质标准尤其允许外行人能够评估并且可能直接改善校准结果。下面，详细列出其他优点。

由说明书和附图得出本发明的其他优点和构型方案。

显而易见的是，上文提到的和下文待阐述的特征不仅能够按相应给出的组合使用，还能够按其他的组合来使用或者单独使用，而不偏离本发明的范畴。

附图说明

图1示出所提出的用于针对摄像机校准的误差反馈和不确定性反馈的方法的概况；

图2示出所描述的方法的可能的流程的流程图；

图3示出所提出的方法的可视化；

图4示出所描述的方法的一种实施方案的流程图；

图5示出不确定性度量的使用的示例。

具体实施方式

根据实施方式在附图中示意性示出本发明，并且在下文中参考附图详细地描述本发明。

图1以三个示意图示出所描述的用于针对摄像机校准的误差反馈和不安全性反馈的方法的概况。第一个示意图根据三个棋盘图案示出摄像机校准，其中，对模型参数进行估计。得出模型参数、RMSE和协方差矩阵。第二个示意图12示出一种用于识别系统误差的方法。在此，RMSE进入(geht ein)(箭头16)。箭头18表示对模型的匹配。第三个示意图20示出一种用于确定在成像性能中的不确定性的方法。

起始点是基于校准主体的摄像机校准，在所述摄像机校准的情况下，从不同的角度拍摄定义明确的校准主体的图像。基于所述图像，(i)借助于外在的参数来估计摄像机的相对于例如每个图像中的多个校准主体的位置，并且(ii)借助于内在的参数θ来估计摄像机的模型参数。所述估计例如通过所谓的光束法平差(Bundle Adjustment)来进行，其中，借助非线性最小二乘法来优化校准成本函数(通常是回投影误差)。由该优化得出优化的模型参数残差以及所述模型参数的协方差矩阵∑θ。在这种标准摄像机校准之后，能够使用在此提出的方法。

为了识别系统误差(等式(2)和(3)中的∈bias)，提出：确定探测器噪声的独立的估计，这在下文中用表示。然后，能够使该独立的估计与基于校准结果的估计σcalib成比例。在不具有系统误差的校准的情况下，该比例应该接近1，因为∈bias消失。与此有偏差的值表明未建模的特性或者其他误差。

对于探测器噪声的独立的估计，需要使系统误差的影响最小化。现在，所提出的方法基于如下认识：系统误差、例如未建模的失真，在图像中局部地表现得更微不足道。因此，将校准对象虚拟地分解为V个在物理上更小的校准对象，分别独立地对所述在物理上更小的校准对象的位姿(即位置和取向)进行估计。假设所述估计局部地不具有系统误差、即是无偏差的，则对于虚拟的校准对象中的每个校准对象，相应于等式(2、3)得出对探测器噪声的评估：

其中，υ∈{1…V}。在该方法的第一变型(1A)中，将用于校准的棋盘校准主体分解为单个的图块(Kachel)，然后独立地对所述单个图块的位姿进行优化。然后，根据基于位姿参数的每个优化的残差的对RMSE值(RMSEυ)的计算，计算συ，其中，在这种情况下适用的是：nobs,virt＝8，因为每个图块贡献4个角并且因此贡献8个观察，并且nparam,virt＝6，因为一个位姿具有6个自由度。然后，将各个估计συ组合成总估计这例如通过求平均值来实现。在执行所述校准之后，能够根据等式(1)确定RMSEcalib。借助等式(2)并且假设不存在系统误差，得出：

现在来确定比例如果所述校准是无偏差的，则该值应该接近1并且在实践中低于阈值(Schwellwert或者说Threshold)τratio。下面，根据图2中的流程图再次以总结的方式复述该方法。

在第一步骤100中，根据等式(1)和(5)基于校准残差(其中，i∈{1…nobs/2})确定σcalib。

在第二步骤102中，将校准对象分解为V个虚拟的、局部的且独立的校准对象，其具有至少4个可测量的图像点，这相应于至少8个观察。

在第三步骤104中，对V个虚拟的校准对象中的每个校准对象的位姿参数进行优化，其中，不改变摄像机的成像性能的参数。确定在优化之后的剩余误差(残差)。

在第四步骤106中，根据等式(4)由所述残差确定συ，其中，在此，所有V个虚拟的校准主体的残差都用于计算RMSE。

在第五步骤108中，确定用于识别系统误差的品质标准

在第六步骤110中，如果则所述标准被视为不具有系统误差(无偏差)。

图3示出用于识别系统误差的方法的可视化。通过对数据点的局部的组进行单独的优化，能够实现探测器噪声的几乎无偏差的估计(附图标记150)。针对已借助不同复杂的摄像机模型进行校准的两个示例摄像机的结果(附图标记152)。对于摄像机1 160，需要具有两个径向失真参数的针孔摄像机模型，在更简单的模型的情况下，该方法识别系统误差。对于摄像机2 162，需要鱼眼模型。

图3示例性地示出借助该方法选择匹配的摄像机模型。

实际上，系统上受干扰的成像函数导致大于探测器的实际噪声水平σ。然而，这不构成问题，因为σcalib受系统误差的影响更强。通常，为了确定校准参数RMSEcalib和都应该使用稳健的估计方法，例如M估计器(具有稳健的成本函数的最大似然估计器)。在此重要的是，基于类似且兼容的方法来确定所有值。

通过在所估计的模型参数中的剩余的不确定性产生在摄像机校准的情况下的第二类型故障。第二品质标准或不确定性标准的目标是，对在摄像机的成像性能中的不确定性进行量化。由于由所述校准只得知参数的不确定性，因此必须量化参数误差Δθ对摄像机的成像性能的影响。

为此定义成像误差该成像误差描述在两个摄像机模型与之间的成像性能中的差异。为此参考图1。对于图像中的每个单个的像素ui,i＝1,…n，通过回投影(Rückprojektion)借助摄像机模型1确定配属的视线(Sichtstrahl)然后，选出所述视线上的3D点并且借助摄像机模型2将所述3D点再次投影到图像中。现在，成像误差量化原始的图像点ui的坐标和回投影的图像点的坐标中的平均差：

其中，是通过逆投影像素ui确定的3D点。通过高达二阶的泰勒近似，能够以如下方式来表述成像误差：

其中，矩阵定义为残差向量的雅可比矩阵Jres＝dres/dΔθ的乘积。

现在能够在数学上推导出，与真实的(未知的！)摄像机模型相比，通过如下公式借助协方差矩阵∑θ给出校准结果的成像误差的预期值：

这意味着：尽管真实的摄像机模型是未知的，但是与真实的摄像机模型相比，能够预测校准结果的预期的成像误差。该预期值trace(∑θ^1/2H∑θ^1/2)是不确定性度量。

具体而言，如根据图4中所附的流程图阐述的那样进行不确定性度量的计算。

在第一步骤200中，执行基于校准主体的校准，并且确定优化的模型参数和协方差矩阵∑θ。

在第二步骤202中，确定成像误差的矩阵H：

根据等式7将成像误差实施为估计的模型参数和参数误差Δθ的函数。

通过数字近似在优化的模型参数的位置上确定成像误差K的雅可比矩阵Jres＝dres/dΔθ。

确定

在第三步骤204中确定

下面给出不确定性度量的应用的一个示例。视数据组而定地，在校准时剩余有不确定性。这取决于照片(Aufnahmen)的数量和照片的信息含量。在上方示出用于信息量大的和信息量较少的照片的示例。在校准之后，所提出的不确定性度量表明图像中的能够预期的误差有多高。这随着数据点的数量和数据的信息含量的增加而降低。

在下一节中的图5示例性地示出，该度量如何为具有不同的数据组的校准量化剩余的不确定性。

该方法能够清楚地与现有的用于量化不确定性的方法区分开。

对所提出的度量的计算不需要昂贵的蒙特卡罗模拟。不是在所选择的一组点中的最大误差，而是所有像素的平均误差。在此提出的方法能够实现对：通过外在的参数考虑可能的补偿，以及对能够预测的成像误差的、应用特定的其他匹配。

可观察性表明校准成本函数在最差可观察的参数方向上的增长。相反，在此提出的方法观察所有参数方向的不确定性(不仅仅是最差可观察的参数方向)。除此之外，能够更好地阐释在此提出的度量：确定图像空间中的能够预期的误差，而可观察性表明校准成本函数的增长。

下面，根据真实的实验示出两个标准的行为。

在图3中，首先根据两个摄像机示出，如何纯粹基于比例来决定成像模型是否是足够的。为此，分别借助在复杂性方面增加的摄像机模型来校准两个摄像机。在图3中在下方的图形示意图在x轴上示出具有增长的复杂性的摄像机模型，在y轴上示出σcalib(虚线)和(实线)的相应的值。值σcalib和在此通过基于绝对中位差方法(MAD)的稳健的估计来确定，并且因此被称为校准MAD(calibration MAD)和探测器MAD(detector MAD)。能够看到，随着模型复杂性增加，校准MAD和探测器MAD的值如何变得几乎相同(比例大约为1)。由此能够看出，在给定的观察的情况下，所述模型能够在不具有系统误差的情况下描述成型行为。在此，绝对值不重要，并且能够剧烈波动。出于所述原因，过去总是需要用于具体的摄像机模型的专家知识和经验值。此外，在图3中上方，再一次示出将校准主体虚拟地分解为单个的图块(变型1A)。

图5示例性地示出不确定性标准的应用。通常，校准的剩余的不确定性取决于校准数据组。照片越多并且所述照片的信息量越大，剩余的不确定性就越小。图5示出摄像机1(图3，160)的校准。

已使用具有两个径向的失真参数的针孔摄像机模型。在此，如下照片是信息量特别大的：在所述照片中，校准主体在图像中是大的，并且在所述照片中，主体相对于摄像机具有极端的倾斜角。如下照片是信息量较少的：在所述照片中，主体定位得远离摄像机并且与摄像机正面平行。

外行人通常会进行不适合的(信息量少的)拍摄。在此提出的不确定性度量为此提供直接的反馈(在图5下方)：与在大量的和信息量大的照片的情况下相比，在借助少量的和信息量少的照片进行校准时，期望的成像误差明显更高。然后，视应用而定地，能够决定所述校准是否已经足够准确，或者是否需要更多测量。该度量的绝对值尤其与所选择的摄像机模型无关，因此能够跨越各种各样的校准进行比较。

在此提出的品质标准允许对校准进行定量的评估，其中，所述品质标准不以关于当前的摄像机或者摄像机模型的经验值为前提。因此，所述品质标准尤其使外行应用者能够评估并且可能直接改善校准结果。下面，详细列出其他优点。

系统误差的识别和量化：

迄今为止使用的标准，例如RMSE，包含由随机误差(探测器噪声)和系统误差组成的混合物。由于随机误差视摄像机而定地并且视角探测器而定地变化，由迄今为止使用的标准不能够看出是存在系统误差还是只存在强烈的噪声。在此提出的方法能够对噪声进行独立的估计并且因此能够使两个分量解耦。

借助所述方法能够识别几乎任意类型的系统误差，例如不充分的摄像机模型、错误的图像配属、校准主体中的误差等等。

在不添加新的数据或者参考实验的情况下进行识别和定量的评估，如在摄影测量学中通常常见的那样，但是需要高的附加花费。

所提出的标准与所基于的摄像机模型无关，因此能够普遍使用。

所提出的标准不以用于所检查的摄像机的经验值为前提。例如在纯粹基于RMSE的分析中，是这种情况。

剩余不确定性的量化

剩余的不确定性通常通过摄像机模型参数的(协)方差或者这些方差的和来表示。然而，存在大量不同的摄像机模型：从具有三个参数的简单的针孔摄像机到具有～10⁵个参数的局部摄像机模型。因此，难以阐释参数不确定性的规范，并且不能够跨越摄像机模型进行比较。所提出的方法将参数不确定性传播到图像空间中，并且由此提供用于图像中的不确定性的、能够阐释并且能够比较的标准。

所述方法能够实现参考实验的灵活的可匹配性：视应用而定地，例如能够预测在确定的图像区域中的期望的平均误差。替代图像空间中的误差地，也能够预测在摄像机视线的角度方面的误差。特定的应用，例如三角测量、自定位等等，也能够定义为参考实验。然后，这提供例如能够期望的二次方三角测量误差。

所述度量能够用于要求尽可能好的附加的测量。由此能够尽可能快地减少图像空间中的预期的误差。

对在此提出的度量的计算不需要昂贵的蒙特卡罗模拟。不是所选择的一组点的最大误差，而是关于所有像素的平均误差。在此提出的方法能够实现：通过外在的参数来考虑可能的补偿，以及对能够预测的成像误差的、应用特定的其他匹配。

可观察性表明校准成本函数在最差可观察的参数方向上的增长。相反，在此提出的方法观察所有参数方向的不确定性(不仅仅是最差可观察的参数方向)。除此之外，能够更好地阐释在此提出的度量：确定图像空间中的能够预期的误差，而可观察性表明校准成本函数的增长。

系统误差的识别

(1B)通常能够使用不同的用于估计值σcalib和συ的方法。在实践中，M估计器等稳健的估计器的使用或者绝对中位差的使用是特别重要的。

(1C)能够通过不同的方式将校准对象分解为多个虚拟的校准对象。在此，通常只适用的是：必须存在大于六个的独立的观察，借此所述估计是超定的。在恰好六个观察的情况下，能够估计位姿参数，然而不能够确定συ，因为RMSEυ＝0。例如，也能够使用六个角的组。

(1D)所述方法不限于平面的或者棋盘状的校准主体。例如，能够使用具有不位于一个平面上的圆形标记的校准主体。唯一的前提是，各个标记彼此之间的相对位置是已知的。在仅校准一个摄像机的情况下，在此可能甚至连关于校准主体的总尺寸(标度)的知识都不需要。

(1E)还能够由和σcalib计算替代的品质标准，例如：

或者很普遍地

(1F)另外，存在直接算出偏差项∈bias的可能性。为此，在等式(2)中使用RMSEcalib和并且变形为：

因此，能够定义其他可选的品质标准，例如：

(1G)由RMSE的预测得出品质标准的另一种类型的定义：

并且将其与RMSEcalib相关联。

上述等式中的一些在数学上能够是等价的，仅在推导方面有区别。

剩余不确定性的量化

(2B)为了加速计算，替代确定所有像素的成像误差地，能够确定关于一个子组的像素(例如在图像区域上分布的均匀的栅格)的成像误差

(2C)在确定的应用场景中，只有有限的图像区域是相关的。在这种情况下，替代确定所有像素的成像误差地，可以仅确定关于这个图像区域中的像素的成像误差除此之外，能够对图像区域进行不同程度的加权。

(2D)视应用而定地，在成像误差的情况下能够考虑，在内在参数方面的差通常能够通过外在的参数(摄像机的位置)的不同选择来补偿。因此，与关于等式6表示的误差相比，在这种情况下，成像误差更小。

在考虑外在因素的情况下替代的表述是：

其具有3D点

和外在因素[R/t]＝min[R/t]K (28)

(2E)替代图像空间中的误差地，也能够预测在摄像机视线的角度方面的误差。在这种情况下，成像误差不定义图像空间中的平均差(等式7)，而是定义在角度方面的平均差。

(2F)表达式也能够以如下方式进行表述(在数学上是等价的)：

其中，λi是矩阵Σθ^1/2HΣθ^1/2的本征值。

(2G)替代均方误差的预期值(以“像素²”为单位)地，能够使用由其得出的均方根：

(以像素为单位)。

这可能更容易阐释。

(2H)很普遍地，能够使用任意的函数