一种直立杆状目标三维先验的监控摄像头标定方法及系统与流程

本发明涉及摄像头标定，尤其涉及一种直立杆状目标三维先验的监控摄像头标定方法及系统。

背景技术：

1、现有相机标定技术主要包括基于规则标定板的标定方法、基于三维点与二维像素点对应关系的 pnp 位姿求解方法，以及基于消失点、竖直线段或场景结构先验的标定方法。其中，基于棋盘格、圆点阵列等规则标定板的方法通常通过采集标定板在不同姿态下的图像，建立已知几何点与图像点之间的对应关系，再通过非线性优化求解相机内参、畸变参数和外参。但该类方法依赖专用标定板和近距离可控采集环境，在已部署的道路、广场、园区等监控摄像头场景中，重新布设标定板成本高、遮挡多、远距离成像质量不稳定，且存在现场作业安全和批量实施困难等问题。

2、pnp 位姿求解技术能够在已知若干三维控制点及其二维像素投影的情况下求解相机位姿，代表性方法包括 epnp、sqpnp，以及 opencv 中的 solvepnp等实现。该类技术解决的是“已有可靠三维点-二维点对应后如何求解相机位姿”的数学问题，但并未解决监控场景中如何低成本、稳定地构造这些对应关系的问题。对于实际监控摄像头而言，现场可利用的杆状目标数量有限，空间分布可能不均，且 rtk测量点和像素标注均可能存在误差，单纯调用 pnp 或单次非线性优化流程容易出现焦距异常、主点漂移、翻滚角异常或局部拟合但整体不可部署等问题。

3、另有一些现有技术利用道路边缘、建筑边缘、竖直线、地平线或消失点等场景结构线索进行相机标定或姿态估计。这类方法能够减少对专用标定板的依赖，适合从自然场景中提取几何约束，但其通常依赖图像中的方向关系或相对几何关系，线段端点的真实三维坐标往往未知，且容易受视角、遮挡、检测误差和图像噪声影响。因此，该类方法一般难以直接输出与真实地理坐标一致的相机经纬度、高程、方位角、俯仰角等可部署参数，也缺少针对杆高一致性、留出点泛化误差和物理安装约束的综合校验机制。

4、综上，现有技术虽然分别提供了规则标定板标定、pnp 位姿求解以及场景结构先验标定等技术基础，但尚未形成一种面向已部署监控摄像头的完整闭环方案，此外，现有技术高度依赖专用标定板或理想控制点，难以适应大范围现场监控场景，在遮挡、少样本、杆子分布退化或 rtk数据存在噪声时鲁棒性不足，并且缺少高精度求解失败后的兜底方案及结果可用性判定机制。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种直立杆状目标三维先验的监控摄像头标定方法及系统。

2、一种直立杆状目标三维先验的监控摄像头标定方法，包括以下步骤：获取待标定摄像头可视范围内采集的杆子观测数据，所述观测数据包括杆子数量、脚点像素坐标、杆顶像素坐标、脚点三维坐标、杆高和图像宽高；判断杆子数量是否大于或等于预设最小值，若否，则返回数据不足状态；若是，则对所述观测数据中的三维数据进行质心化处理，并对每根杆子构造脚点和杆顶的三维-二维对应关系；构建从世界坐标系到像素坐标系的投影模型，并根据构建的投影模型设置三个由低到高的内参自由度等级；基于k折交叉验证选择最优自由度等级，并基于最优自由度等级，采用留二法获取第一候选标定参数，判断所述第一候选标定参数是否符合物理约束，若是，则将其作为目标标定参数输出；若否，则根据所述脚点像素坐标、杆顶像素坐标和杆高拟合ccsv模型，并进行焦距估计，得到候选焦距；根据所述候选焦距构造焦距候选集合，并采用多种求解器生成初始外参，对每个初始外参进行lm精修，采用留二法评估筛选出第二候选标定参数；判断所述第二候选标定参数是否符合物理约束，若是，则将其作为目标标定参数输出，若否，则输出不可计算。

3、在其中一个实施例中，所述构建从世界坐标系到像素坐标系的投影模型，包括：令相机内参矩阵为k，内参矩阵包含相机焦距

f和主点坐标（

c

x

,c

y），为：

4、；

5、定义相机外参，包括世界坐标系到相机坐标系的旋转矩阵r和平移向量t，并计算相机光心在世界坐标系中的位置；通过所述相机外参将世界坐标点

p

i,j转换至相机坐标系，计算其在归一化成像平面上的坐标(

x,y)，根据径向半径

r和一阶径向畸变系数

k

1，计算畸变后坐标(

x

d,

y

d)，为：

6、，；

7、通过相机内参的焦距和主点坐标得到像素坐标，为：

8、，；

9、式中，(

u,v)为像素坐标。

10、在其中一个实施例中，所述根据构建的投影模型设置三个由低到高的内参自由度等级，包括：所述内参自由度等级包括第一自由度等级、第二自由度等级和第三自由度等级，其中，所述第一自由度等级将像素焦距、旋转矩阵和平移向量作为待优化参数，固定一阶径向畸变系数为0，将主点坐标固定为图像中心，即：

11、

c

x=

w/2，

c

y=

h

img/2；

12、式中，

w为图像宽度，

h

img为图像高度；所述第二自由度等级在所述第一自由度等级的待优化参数基础上，将主点坐标作为待优化参数，固定一阶径向畸变系数为0；所述第三自由度等级在所述第二自由度等级的待优化参数基础上，将一阶径向畸变系数作为待优化参数；对每个自由度等级，以构建的投影模型为基础、最小化训练样本的重投影误差为优化目标，求解对应的候选标定参数，其中，重投影优化函数为：

13、；

14、式中，π (·)表示含可选径向畸变的相机投影函数，

c

tr为训练样本集合，p为世界坐标点，p为对应像素观测坐标。

15、在其中一个实施例中，所述基于k交叉验证选择最优自由度等级，包括：将杆状目标样本按预设随机种子划分为若干折，对每个自由度等级，在每一折划分中以训练杆子求解候选标定参数，并在验证杆子上计算地面反投影误差和杆高一致性误差；基于所述地面反投影误差和杆高一致性误差，计算每个自由度等级的综合评分，为：

16、；

17、式中，

e

te为各折验证集地面反投影误差的中位数，

e

h为杆高一致性误差，

α为预设的杆高一致性权重；对每个自由度等级统计其在各折中满足预设物理约束条件的折数比例，其中，所述物理约束条件包括焦距为正值、相机光心位于地物高程范围内、旋转矩阵与俯仰角和偏航角对应；若所述折数比例低于预设阈值，则舍弃对应自由度等级；若所述折数比例高于或等于预设阈值，则认定为有效自由度等级；在所述有效自由度等级中，选择所述综合评分最小的等级，作为最优自由度等级。

18、在其中一个实施例中，所述基于最优自由度等级，采用留二法获取候第一选标定参数，包括：根据所述最优自由度等级，对全部杆状目标样本执行留二法遍历；每次选择两根杆状目标作为验证集，其余杆状目标为训练集，求第一解候选标定参数，对于第a次划分，计算综合评分，公式为：

19、；

20、式中，和分别为第a次划分中训练集和验证集的地面反投影误差；将所述综合评分最小的候选解作为第一候选标定参数。

21、在其中一个实施例中，所述根据所述脚点像素坐标、杆顶像素坐标和杆高拟合ccsv模型，并进行焦距估计，得到候选焦距，包括：设脚点纵坐标偏移量为

y

f

=c

y

-v

i,0、杆高为

h

i、相机相对脚点高差为c、俯仰角为θ，则预测杆顶像素为：

22、；

23、通过最小化所述预测杆顶像素与所述杆顶像素坐标的残差，估计焦距、俯仰角和高差，公式为：

24、；

25、将估计得到的焦距作为焦距搜索的候选焦距，若拟合失败，则采用预设焦距初值作为候选焦距。

26、在其中一个实施例中，所述根据所述候选焦距构造焦距候选集合，并采用多种求解器生成初始外参，对每个初始外参进行lm精修，采用留二法评估筛选出第二候选标定参数，包括：根据所述候选焦距构造焦距候选集合f，对每个候选焦距构造固定主点的内参矩阵，为：

27、；

28、分别采用acepnp、sqpnp、epnp三种求解器生成初始外参，并对每个初始外参进行lm精修；对任一求解器得到的初始外参，计算训练对应点的像素重投影均方根误差：

29、；

30、在满足深度为正且物理约束通过的候选解中，保留像素重投影均方根误差小的候选解；以固定随机种子抽取预设次数的留二划分，对每个划分执行候选搜索，并计算所述候选解的综合评分，筛选出综合评分最小的候选解，得到第二候选标定参数。

31、在其中一个实施例中，所述采用acepnp求解器生成初始外参，包括：以三维点质心和三维pca主方向构造四个控制点；将每个三维点表示为控制点的重心组合：

32、，；

33、将控制点在相机坐标中的未知坐标展开为向量

x∈r12，由像素投影约束组装线性系统

mx=0；结合控制点间距约束、特征分解和kabsch配准旋转矩阵和平移向量；当三维点云pca最小奇异值与最大奇异值之比低于预设阈值时，判定所述acepnp求解器在当前点云分布下退化并跳过。

34、在其中一个实施例中，所述判断所述第二候选标定参数是否符合物理约束，包括：对所述第二候选标定参数提取相机光轴在世界坐标系中的方向，计算相机方位角与俯仰角，公式为：

35、，；

36、基于方位角和俯仰角构造零翻滚基准旋转，与实际旋转矩阵比较得到翻滚角

θ

roll；判断得到的第二候选标定参数是否符合物理约束，公式为：

37、，，；

38、式中，

θ

roll为翻滚角，

θ

a为方位角，

θ

pitch为俯仰角。

39、一种直立杆状目标三维先验的监控摄像头标定系统，用于实现如上所述的一种直立杆状目标三维先验的监控摄像头标定方法，包括：观测数据获取模块，用于获取待标定摄像头可视范围内采集的杆子观测数据，所述观测数据包括杆子数量、脚点像素坐标、杆顶像素坐标、脚点三维坐标、杆高和图像宽高；杆子数量判断模块，用于判断杆子数量是否大于或等于预设最小值，若否，则返回数据不足状态；对应关系构造模块，用于在杆子数量大于或等于预设最小值时，对所述观测数据中的三维数据进行质心化处理，并对每根杆子构造脚点和杆顶的三维-二维对应关系；自由度等级设置模块，用于构建从世界坐标系到像素坐标系的投影模型，并根据构建的投影模型设置三个由低到高的内参自由度等级；第一标定参数获取模块，用于基于k折交叉验证选择最优自由度等级，并基于最优自由度等级，采用留二法获取第一候选标定参数，判断所述第一候选标定参数是否符合物理约束，若是，则将其作为目标标定参数输出；焦距估计模块，用于在候选标定参数不符合物理约束时，根据所述脚点像素坐标、杆顶像素坐标和杆高拟合ccsv模型，并进行焦距估计，得到候选焦距；第二标定参数获取模块，用于根据所述候选焦距构造焦距候选集合，并采用多种求解器生成初始外参，对每个初始外参进行lm精修，采用留二法评估筛选出第二候选标定参数；物理约束判断模块，用于判断所述第二候选标定参数是否符合物理约束，若是，则将其作为目标标定参数输出，若否，则输出不可计算。

40、相比于现有技术，本发明的优点及有益效果在于：通过获取待标定摄像头可视范围内采集的杆子观测数据，判断杆子数量是否大于或等于预设最小值，若否返回数据不足，若是，对观测数据中的三维数据进行质心化处理，并对每根杆子构造脚点和杆顶的三维-二维对应关系，实现双点三维约束，以增强相机姿态、焦距和空间位置求解的几何可观测性；构建从世界坐标系到像素坐标系的投影模型，并基于其设置三个由低到高的内参自由度等级；基于k折交叉验证选取最优自由度等级，实现精度与稳定性的自适应平衡，采用留二法获取第一候选标定参数，判断第一候选标定参数是否符合物理约束， 若是则得到目标标定参数；若否，则启动兜底流程，根据脚点像素坐标、杆顶像素坐标和杆高拟合ccsv模型，进行焦距估计，得到候选焦距，构造焦距候选集合，采用多种求解器生成初始外参，并对其进行lm精修，采用留二法评估筛选出第二候选标定参数，判断其是否符合物理约束，若是，则将其作为目标标定参数输出，若否，则输出不可计算，通过双层标定流程的调度，提高了标定适用范围，能够在不依赖专用标定板的条件下，实现标定，提高监控摄像头标定结果的稳定性和可用性，且便于监控摄像头在道路、园区、广场等实际场景中的批量标定和部署。