基于前向投影折射模型的水下相机标定方法及装置

1.本发明涉及水下标定领域，具体地，涉及一种基于前向投影折射模型的水下相机标定方法及装置。


背景技术：

2.水下相机标定技术，通常用于水下考古、水下机械手抓取、水下环境监测、水下航行器导航、水下形状重建、水下变形测量等多种水下应用场景，重要性不言而喻。水下成像时，当光线穿过不同介质之间的界面时，产生折射，导致出现难以消除的失真。因此，传统的空气中标定模型不再适用于水下成像，若继续应用，则会导致相当大的系统误差。
3.由于水下环境的复杂性，许多学者对如何削弱或消除水下环境对标定精度的影响进行了相关研究，主要分为三类：针孔成像法、等效补偿法和理论补偿法。针孔成像方法是在不考虑水下成像的特殊性的情况下，将针孔模型直接应用于水下成像中的相机标定和相应重建。等效补偿方法是将水下折射带来的影响与透镜的径向畸变或相机焦距的变化等效。理论补偿方法是根据光在不同介质中传播的实际轨迹，构造前向投影方程(从世界坐标系到像素坐标系)或反向投影方程(从像素坐标系到世界坐标系)。一般来说，前向投影法需要连续迭代解来优化和计算最优图像点，这很耗时，但精度很高。相比之下，反向投影法不需要复杂且大量的迭代优化来求解空间点，时间效率高但精度低。
4.目前的研究，一些模型需要在空气中进行事先校准，以计算相机的固有参数和畸变系数，进而进行后续的水下校准。更糟糕的是，部分模型必须在相同的位置和姿态下获得相同的空中和水下目标图像。此外，还需要很好地解决几个关键问题，例如计算时间短、测量精度高、简洁统一的多层折射模型。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于前向投影折射模型的水下相机标定方法及装置。
6.根据本发明的第一方面，提供一种基于前向投影折射模型的水下相机标定方法，包括：
7.初始化相机和标定板的位姿；
8.固定相机位姿后，多次改变标定板位姿，在水下进行多姿态标定；
9.基于张正友标定原理，辨识求解相机的内外参数初值；
10.基于前向投影折射模型和考虑介质厚度影响的多介质折射模型，对所述相机的内外参数初值进行迭代优化，辨识求解相机的内外参数终值，完成相机标定。
11.优选地，所述多次改变标定板位姿，在水下进行多姿态标定包括：
12.在相机的有效工作距离范围内，依次移动标定板至第j个位姿，相机拍摄此位姿下的标定板图像；
13.重复移动所述标定板位姿，直至标定板的位姿数量满足所述多姿态标定的数量要
求。
14.优选地，所述基于张正友标定原理，辨识求解相机的内外参数初值，包括：
15.对拍摄得到的水下每幅标定板图像，分别获取标定板的多个标志点在世界坐标系和图像坐标系下的对应坐标值；
16.基于所述多个标志点在世界坐标系和图像坐标系下的对应坐标值，根据单应性矩阵辨识求解相机的内外参数初值。
17.优选地，所述多介质折射模型，采用所述三阶的径向和切向畸变模型，对所述内外参数初值使用迭代方法，辨识求解相机的内外参数终值。
18.优选地，所述三阶的径向和切向畸变模型为：
[0019][0020]
式中：(x,y)是畸变前的图像坐标值，r2＝x2 y2，(xd,yd)是畸变后的图像坐标值，p1是相机的1阶切向畸变系数，p2是相机的2阶切向畸变系数，k1是相机的1阶径向畸变系数，k2是相机的2阶径向畸变系数，k3是相机的3阶径向畸变系数。
[0021]
优选地，所述所述基于前向投影折射模型构建的考虑介质厚度影响的多介质折射模型的数学表达式为：
[0022][0023]
式中：(xw,yw,zw)是世界坐标系下的空间三维点坐标值，r是3行3列的旋转变换矩阵，t是3行1列的平移变换矢量，(u0,v0)是像素坐标系下的图像坐标系原点坐标值，(u,v)是对应的像素坐标系下的二维坐标值，f是相机焦距，(f
x
,fy)是图像坐标系下的单位距离的像素数量，(c
x
,cy)是对应的比率，即，c
x
＝f
x
/f，cy＝fy/f。
[0024]
优选地，所述系数因子δ的数学表达式为：
[0025][0026]
式中：dc是介质i的厚度(相机光心到介质ii的距离)，dm是介质ii的厚度，zc是对应的相机坐标系下的三维空间点z轴坐标值，n1是介质i的折射率，n2是介质ii的折射率，n3是介质iii的折射率，na是介质i和介质ii的折射率之比，即，na＝n1/n2，nb是介质i和介质iii的折射率之比，即，nb＝n1/n3。
[0027]
优选地，所述多介质折射模型的数学表达式，从右至左，依次表示从世界坐标系到相机坐标系的刚体变换、从相机坐标系到图像坐标系的透视变换、从图像坐标系到像素坐标系的二次变换；
[0028]
所述多介质折射模型的刚体变换，与空气中的针孔模型有相同的形式和外参系数；多介质折射模型型的透视变换，与空气中的针孔模型有相同的形式但不同的系数；多介质折射模型的二次变换，与空气中的针孔模型有相同的形式和内参系数。
[0029]
优选地，相机和标定板在标定过程中始终位于水下。
[0030]
根据本发明的第二个方面，提供一种基于前向投影折射模型的水下相机标定装置，包括平面标定板、工业相机和上位机，所述水下标定装置采用任一项所述的基于前向投影折射模型的水下相机标定方法进行标定。
[0031]
与现有技术相比，本发明实施例具有如下至少一种有益效果：
[0032]
本发明实施例中的基于前向投影折射模型的水下相机标定方法及装置，无需在相同的位置和姿态下获得相同的空中和水下目标图像，亦无需事先在空气中标定，获得相机的固有参数和畸变系数，可直接用于水下相机标定，标定耗时短，标定精度高，标定参数多，适用范围广。
附图说明
[0033]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0034]
图1是本发明一较优实施例中的基于前向投影折射模型的水下相机标定方法流程图；
[0035]
图2是本发明一较优实施例中的基于前向投影折射模型的水下相机标定装置布局示意图；
[0036]
图3是本发明一较优实施例中的基于前向投影折射模型的水下相机标定方法的模型原理图；
[0037]
图中：1为平面标定板，2为工业相机，3为上位机。
具体实施方式
[0038]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0039]
为了便于理解本发明的技术方案，首先对本发明中涉及的三个模型及相互关系作简单说明。多介质折射模型：考虑多种介质厚度影响的模型，如在水下的标定，考虑介质厚度，为空气-玻璃-水的多介质折射模型。前向投影折射模型：按照从世界坐标系到像素坐标系的顺序，构造相应的折射模型。三阶的径向和切向畸变模型：是考虑相机畸变的一种模型，理论上来说，径向和切向畸变模型的阶数越高，相机标定的精度越高，但相对也更加复杂，标定效率更差。三阶的畸变模型，是权衡标定精度和标定效率的选择，既保证了标定精度，又保障了标定效率。三个模型的相互关系：多介质折射模型，是按照前向投影折射模型理论构建的，采用三阶的径向和切向畸变模型，利用levenberg-marquardt方法，辨识求解相机的内外参数终值，实现相机标定。
[0040]
基于上述发明构思，在本发明的实施例中，提供一种上述实施例的基于前向投影折射模型的水下相机标定方法，具体流程如图1所示，该水下相机标定方法包括如下步骤：
[0041]
s100，初始化相机和标定板的位姿；
[0042]
s200，固定相机位姿后，多次改变标定板位姿，在水下进行多姿态标定；
[0043]
s300，基于张正友标定原理，对s200的多姿态标定进行辨识求解，获得相机的内外参初值；
[0044]
s400，基于前向投影折射模型构建的考虑介质厚度影响的多介质折射模型和三阶的径向和切向畸变模型，对s300中相机的内外参数初值进行迭代优化，辨识求解相机的内外参数终值，完成相机标定。
[0045]
本实施例考虑介质厚度影响，会使折射模型更精准，水下标定的精度更高。具体来说，在水下的标定，若考虑介质厚度，则为空气-玻璃-水的折射模型，若未考虑介质厚度，则为空气-水的折射模型，很明显，前者考虑的变量更多，所以本实施例的模型相对更精准。
[0046]
在本发明的一个优选实施例中，实施s100，相机和标定板在标定过程中始终位于水下。本实施例中，平面标定板1可以采用圆斑标定板。在其他实施例中，也可以选择其他的标定板，如，棋盘格标定板。标定板的尺寸以及标志点的规格，可根据实际标定时工业相机的有效工作距离来选择。
[0047]
在本发明的一个优选实施例中，实施s200。在工作相机的有效工作距离范围内，依次移动标定板至第j个位姿，相机拍摄此位姿下的标定板图像，重复移动标定板位姿，直至标定板的位姿数量满足多姿态标定的数量要求。
[0048]
本实施例中，可以借助支架调整平面标定板1位姿，具体移动的路径和方式可以根据实际标定需要进行设计。在其他实施例中，也可以借助其他工具来调整标定板位姿。
[0049]
本实施例中，每次通过支架改变标定板位姿后，需等待数秒，待水基本静止后，控制相机拍摄此位姿下的标定板图像。
[0050]
在本发明的一个优选实施例中，实施s300，基于张正友标定原理，求解相机的非线性模型，对s200的每幅标定板图像的多个标志点坐标值进行迭代优化，根据单应性矩阵辨识求解相机的内外参数初值。具体为：
[0051]
s301，对s200拍摄得到的水下每幅标定板图像，分别获取标定板的多个标志点在世界坐标系和图像坐标系下的对应坐标值。
[0052]
s302，利用levenberg-marquardt方法，优化求解相机的内外参数初值。
[0053]
在本发明的一个优选实施例中，实施s400，包括两个并列的过程，即，基于三阶的径向和切向畸变模型，保证相机标定精度；基于前向投影折射模型，利用levenberg-marquardt方法，辨识求解相机的内外参数终值。
[0054]
进一步的，前向投影折射模型采用三阶的径向和切向畸变模型，数学表达式如下：
[0055][0056]
式中：(x,y)是畸变前的图像坐标值，r2＝x2 y2，(xd,yd)是畸变后的图像坐标值，p1是相机的1阶切向畸变系数，p2是相机的2阶切向畸变系数，k1是相机的1阶径向畸变系数，k2是相机的2阶径向畸变系数，k3是相机的3阶径向畸变系数。
[0057]
理论上来说，径向和切向畸变模型的阶数越高，相机标定的精度越高，但相对也更加复杂，标定效率更差。
[0058]
三阶的径向和切向畸变模型，是权衡标定精度和标定效率的选择，既保证了标定精度，又保障了标定效率。
[0059]
进一步的，利用levenberg-marquardt方法，优化求解相机的内外参数终值(相机参数，包括相机内参(即，f
x
、fy、u0、v0、畸变系数)和相机外参(即，旋转矩阵r、平移矢量t))。
[0060]
本实施例中，采用按照前向投影折射模型理论构建的多介质折射模型，是基于空气-玻璃-液体的多介质折射模型，在其他实施例中，也可以根据实际需求，选择其他的介质i-介质ii-介质iii的多介质折射模型。
[0061]
参照图3所示的水下相机标定模型原理图，当光线穿过不同介质表面时，沿着光线传播的方向产生了不同的折射角，该前向投影折射模型适用于单次折射和两次折射。在图3中，oc是光心，dc是介质i的厚度(相机光心到介质ii的距离)，dm是介质ii的厚度，pw(xw,yw,zw)是世界坐标系下的空间三维点坐标值，pc(xc,yc,zc)是相机坐标系下的对应三维点坐标值，v1是介质i的入射光线，v2是介质ii的折射光线，v3是介质iii的折射光线，θ1是介质i的入射角，θ2是介质ii的折射角，θ3是介质iii的折射角，o
w-x
wywzw
是世界坐标系，o
c-xcyczc是相机坐标系，o-xy是图像坐标系，δ是图像坐标系x轴与空间点在图像坐标系对应的考虑折射时和未考虑折射时的两个图像点所连直线的夹角。参照图3可知，空间点pc的坐标表达式如下：
[0062]
xc＝[d
c tanθ0 d
m tanθ1 (z
c-d
c-dm)tanθ2]cosδ
[0063]
yc＝[d
c tanθ0 d
m tanθ1 (z
c-d
c-dm)tanθ2]sinδ
[0064]
根据折射定律可知：
[0065]n1 sinθ1＝n
2 sinθ2＝n
3 sinθ3[0066]
式中，n1是介质i的折射率，n2是介质ii的折射率，n3是介质iii的折射率。
[0067]
在此基础上推导可知，前向投影折射模型的数学表达式如下：
[0068][0069]
式中：r是3行3列的旋转变换矩阵，t是3行1列的平移变换矢量，(u0,v0)是像素坐标系下的图像坐标系原点坐标值，(u,v)是对应的像素坐标系下的二维坐标值，f是相机焦距，(f
x
,fy)是图像坐标系下的单位距离的像素数量，(c
x
,cy)是对应的比率，即，c
x
＝f
x
/f，cy＝fy/f。
[0070]
较佳实施例中，系数因子δ的数学表达式如下：
[0071][0072]
式中：na是介质i和介质ii的折射率之比，即，na＝n1/n2，nb是介质i和介质iii的折射率之比，即，nb＝n1/n3。
[0073]
可见，本模型考虑不同的介质厚度，较于现有技术中的模型而言，其能够提高标定精度。
[0074]
上述前向投影折射模型，从右至左，依次表示从世界坐标系到相机坐标系的刚体变换、从相机坐标系到图像坐标系的透视变换、从图像坐标系到像素坐标系的二次变换。具体的，上述折射模型的刚体变换，与空气中的针孔模型有相同的形式和外参系数；折射模型
的透视变换，与空气中的针孔模型有相同的形式但不同的系数；折射模型的二次变换，与空气中的针孔模型有相同的形式和内参系数。
[0075]
本实施例中，按照前向投影折射模型理论构建的多介质折射模型，采用三阶的径向和切向畸变模型，利用levenberg-marquardt方法，辨识求解相机的内外参数终值，实现相机标定。标定耗时短，标定精度高，标定参数多，适用范围广。
[0076]
基于上述相同技术构思，本发明另一实施例中还提供一种基于前向投影折射模型的水下相机标定装置，参见图2，该系统包括平面标定板1、工业相机2和上位机3，所述水下标定装置采用上述任一项实施例中的基于前向投影折射模型的水下相机标定
[0077]
后续水下应用时，可根据实际需求，集成单组或多组工业相机，经上述的基于前向投影折射模型的水下相机标定方法进行标定后，在有效的工作距离范围内，应用于水下考古、水下机械手抓取、水下环境监测、水下航行器导航、水下形状重建、水下变形测量等多种场景。
[0078]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。