一种高维超定方程的单目瞭望塔监控视频目标空间定位方法与流程

1.本发明属于监控视频目标空间定位技术领域，具体涉及一种高维超定方程的单目瞭望塔监控视频目标空间定位方法。


背景技术：

2.监控视频包含丰富的视觉信息，但不具备地理空间属性。因此，监控视频目标空间化表达一直是监控视频与地理信息融合方向的重点和难点。
3.单目ptz相机监控视频是目前视频监控领域中应该最为广泛的一种。传统单目ptz相机监控视频与地理场景的融合多采用视觉透视变换、像素特征匹配两种方式。其中，视觉透视变换具体包括透视变化矩阵和逆透视变换矩阵，以实现视频向地理空间中的投影和逆投影，该方式对相机在物理世界中的位置坐标、实际姿态参数的精度要求高。目前，大量单目瞭望塔监控设施存在地理空间坐标缺失、姿态参数为相对参数等问题，不仅难以适应实际工程生产工作，而且实用推广性有限。像素特征匹配则是采用视频与地理场景画面像素特征匹配途径，如 sift ransac方法，需在计算机上实时渲染出三维地理场景，通过场景模拟相机取景，与实际采集视频数据之间做特征匹配求解，但是当开启多个三维地理场景时，计算性能将骤然下降，难以在实际工程中应用。因此，发明一种适用于野外远距离的高精度定位方法对工程应用的推广具有重要意义。


技术实现要素：

4.发明目的：本发明旨在基于单目瞭望塔摄像机云台实时回传角度数据和视频画面地物的地理空间坐标，构建高维超定方程组，实现视地空间双向映射，从而解决单目瞭望塔摄像机监控视频目标与地理空间实时双向定位问题，扩大定位范围、提高定位精度。
5.技术方案：本发明的一种高维超定方程的单目瞭望塔监控视频目标空间定位方法，包括如下步骤：
6.步骤1、构建视地参考点：调节摄像机姿态，将摄像机画面中心点对准边界清晰的地物，同时在地图上找到该地物，记录此时的摄像机姿态和地物的地理空间坐标，作为视地参考点，记为p(x,y,z,p,t)。
7.步骤2、构建单目相机视地空间双向映射模型：单目相机视地空间双向映射模型的实质是摄像机旋转角(p,t)和地理空间坐标(x,y,z)一一对应的函数关系，可拆解为地理空间坐标到摄像机旋转角的地视映射模型和摄像机旋转角到地理空间坐标的视地映射模型，具体步骤如下：
8.步骤2.1、构建从(x,y,z)到(p,t)的坐标转换关系，建立对应高维超定方程，代入视地参考点，求解高维超定方程未知数，得到地理空间坐标到摄像机旋转角的地视映射模型。
9.步骤2.2、构建从(p,t)到(x,y,z)的坐标转换关系，建立对应高维超定方程，代入视地参考点，求解高维超定方程未知数，得到摄像机旋转角到地理空间坐标的视地映射模
型。
10.步骤3、误差评估与模型优化：将视地参考点的地理空间坐标带入模型中求得对应旋转角，计算地视转换误差，对误差较大的点进行调整或删除，直到均方根误差满足定位需求。将视地参考点的旋转角代入模型中求得对应地理空间坐标，计算视地转换误差，对误差较大的点进行调整或删除，直到均方根误差满足定位需求。
11.步骤4、地视转换：在地图定位范围内任意选定点p，获取该点地理空间坐标(x,y,z)，将(x,y,z)代入选定的地视定位模型，解算出对应的摄像机旋转角 (p',t)，由于地视转换模型存在一定的系统误差，需采用一种几何纠正方法优化，计算获取更高精度的摄像机旋转角(p,t)，然后通过网络连接远程控制摄像机姿态变换，使目标点位处于监控画面中心，实现地视转换。
12.步骤5、视地转换：在摄像机监控画面中任意选中目标点，通过一种简单的针孔模型方法，获取标定目标点时对应的摄像机外部参数(p,t)，将(p,t)代入单目相机视地空间双向映射模型，解得对应地理空间坐标(x,y,z)，并在地图上标识，实现视地转换。
13.进一步的，所述步骤1中，采集的视地参考点数量应不少于14组，以满足高维超定方程中未知数的解算需求。视地参考点应尽量均匀分布于摄像机的各个方向，以平衡定位范围内的定位精度。
14.进一步的，所述步骤2中，单目相机视地空间双向映射模型的实质是摄像机旋转角(p,t)和地理空间坐标(x,y,z)一一对应的函数关系，可拆解为地理空间坐标到摄像机旋转角的地视映射模型和摄像机旋转角到地理空间坐标的视地映射模型，具体步骤如下：
15.步骤2.1、构建从(x,y,z)到(p,t)的坐标转换关系，建立对应高维超定方程，见式(1)，
[0016][0017]
将式(1)转换为矩阵形式，见式(2)：
[0018][0019]
将步骤1中采集的任意13组地视参考点代入式(2)，采用最小二乘法求解矩阵，即可得到地理空间坐标到摄像机旋转角的地视映射模型。
[0020]
步骤2.2、构建从(x,y,z)到(p,t)的坐标转换关系，建立对应高维超定方程，见式(3)，
[0021][0022]
将上式转换为矩阵形式，见式(4)
[0023][0024]
将步骤1中采集的任意14组地视参考点代入式(4)，采用最小二乘法求解矩阵，即可得到摄像机旋转角到地理空间坐标的视地映射模型。
[0025]
进一步的，所述步骤3中，视地转换误差以参考点地理空间坐标和预测坐标间距离度量。地视转换误差以参考点旋转角和预测旋转角偏差度量。
[0026]
进一步的，所述步骤4中，通过地视模型计算出摄像机旋转角(p',t)后，对于摄像机任意姿态(p0,t0)，采用一种几何纠正方法，构建摄像机与选定点的三维空间关系，评估选定点坐标(x,y,z)与摄像机坐标(x0,y0,z0)的相对位置关系，以减弱视地转换模型带来的系统误差，获取地理空间坐标所对应的更高精度的摄像机旋转角(p,t)，p值计算见式(5)，
[0027][0028]
其中，s表示选定点坐标(x,y,z)与摄像机坐标(x0,y0,z0)间的距离。
[0029]
进一步的，所述步骤5中，采用的透视投影模型方法，即在摄像机内部参数固定的条件下，通过角度变换采集多张标定图像，确定摄像机内部参数和任一标定图像外部参数关系，经线性模型分析，可计算出任意图像的摄像机参数优化解，并利用最大似然法进行非线性求精，获得所需的摄像机参数(p,t)。
[0030]
有益效果：与现有技术相比，本发明具有以下优点：
[0031]
(1)本发明通过研究单目瞭望塔视频监测的数据特点和定位条件，首次提出将摄像机旋转角与地理坐标相关联，构建映射关系。通过监控画面与地图数据联动，远程控制摄像机，以实现目标的远程精确监控，极大提升单目高空瞭望塔视频的监测监管能力，有效服务于城市安防、森林防火等业务。
[0032]
(2)本发明基于高维超定方程，构建单目相机视地空间双向映射模型，能够通过有限数量的地视参考点标识，在较大范围内，实现高精度的视地空间双向定位。
附图说明
[0033]
图1为本发明流程图
[0034]
图2为视地参考点分布图
[0035]
图3为误差分析图
[0036]
图4为摄像机旋转角空间示意图
[0037]
图5为地视转换效果图
[0038]
图6为摄像机标定图像示意图
[0039]
图7为视地转换效果图
具体实施方式
[0040]
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0041]
如图1所示，本实施例的一种高维超定方程的单目瞭望塔监控视频目标空间定位方法，通过构建视地参考点的双向映射关系，输出定位参数，以实现视地双向定位，具体包括如下步骤：
[0042]
步骤1、构建视地参考点：调节摄像机姿态，将摄像机画面中心点对准边界清晰的地物，同时在地图上找到该地物，记录此时的摄像机姿态和地物的地理空间坐标，作为视地参考点，记为p1(x1,y1,z1,p1,t1)、p2(x2,y2,z2,p2,t2)、
……
、 pn(xn,yn,zn,pn,tn)，视地参考点数量不低于14组，且应尽量均匀分布于摄像机的各个方向，以平衡定位范围内的定位精度。如图2所示为视地参考点分布图，其中，阴影部分为摄像机视线被遮挡的不可视区域，因此无可选参考点。
[0043]
步骤2、构建单目相机视地空间双向映射模型：单目相机视地空间双向映射模型的实质是摄像机旋转角(p,t)和地理空间坐标(x,y,z)一一对应的函数关系，可拆解为地理空间坐标到摄像机旋转角的地视映射模型和摄像机旋转角到地理空间坐标的视地映射模型，具体步骤如下：
[0044]
步骤2.1、构建从(x,y,z)到(p,t)的坐标转换关系，建立对应高维超定方程，见式(1)，
[0045][0046]
将式(1)转换为矩阵形式，见式(2)：
[0047][0048]
将步骤1中采集的任意13组地视参考点代入式(2)，采用最小二乘法求解矩阵，即可得到地理空间坐标到摄像机旋转角的地视映射模型。
[0049]
步骤2.2、构建从(p,t)到(x,y,z)的坐标转换关系，建立对应高维超定方程，见式(3)，
[0050][0051]
将上式转换为矩阵形式，见式(4)
[0052][0053]
将步骤1中采集的任意14组地视参考点代入式(4)，采用最小二乘法求解矩阵，即可得到摄像机旋转角到地理空间坐标的视地映射模型。
[0054]
步骤3、误差评估与模型优化：将视地参考点的地理空间坐标带入模型中求得对应旋转角，计算地视转换误差，对误差较大的点进行调整或删除，直到均方根误差满足定位需求。将视地参考点的旋转角代入模型中求得对应地理空间坐标，计算视地转换误差，对误差较大的点进行调整或删除，直到均方根误差满足定位需求。视地转换误差以参考点地理空间坐标和预测坐标间距离度量。地视转换误差以参考点旋转角和预测旋转角偏差度量。如图3所示，单点定位算法可通过在三维地形剖面上穷举目标位置，实现目标物定位，是一种常用的瞭望塔监控视频定位方法，广泛应用于森林防火领域。随机森林作为一种准确率非常高的机器学习算法，其核心思想是集成学习，通过集成多棵决策树，获取倒内部生成误差的无偏估计，可以用于解决回归问题。因此，采用单点定位和随机森林拟合两种算法作为对比实验。图3(a)是预测地理坐标分布图，由图可见，单点定位算法预测结果误差较大，主要原因在于其对高程精度要求较高，且受云台安装倾斜的影响，其误差增大区域呈对称分布。图3(b)中，随着验证点离塔距离增大，随机森林方法误差逐渐增大，单点定位方法误差分布不稳定，而本算法误差稳定分布，且呈下降趋势。该现象表明，本算法提出的映射模型不受预测距离的影响，在视地拟合上具有优越性。图3(c)中，随机森林对于pan值预测误差较大，这是由于参考点数量有限，而随机森林拟合更适用于大数据预测场景。在参考点分布稀疏的区域，本算法误差有上升趋势。最后，在计算效率方面，本算法明显优于其他算法。
[0055]
表1是经过误差评估与模型优化后的视地转换映射模型计算的验证点预测结果的误差，其中视地转换误差以参考点地理坐标和预测坐标间距离d-error度量。地视转换误差以预测旋转角偏差p-error、t-error度量。
[0056]
表1定位实验结果
[0057][0058]
步骤4、地视转换：在地图定位范围内任意选定点p，获取该点地理空间坐标 (x,y,z)，将(x,y,z)代入选定的地视定位模型，解算出对应的摄像机旋转角(p',t)，由于地视转换模型存在一定的系统误差，对于摄像机任意姿态(p0,t0)，采用一种几何纠正方法，构建摄像机与选定点的三维空间关系，评估选定点坐标(x,y,z) 与摄像机坐标(x0,y0,z0)的相对位置关系，以减弱视地转换模型带来的系统误差，获取地理空间坐标所对应的更高精度的摄像机旋转角(p,t)，p值计算见式(5)，
[0059][0060]
其中，s表示选定点坐标(x,y,z)与摄像机坐标(x0,y0,z0)间的距离。
[0061]
根据旋转角控制摄像机姿态变换，使目标点位处于监控画面中心，实现地视转换。如图5所示为地视转换效果图，以摄像机为中心，在其周边按规律均匀选取16 个点，计算摄像机旋转角并在视频画面中标出地图点对应的地物。图中，16个定位点预测结果均位于画面中，60％以上的预测结果接近于画面中心，定位效果良好。
[0062]
步骤5、视地转换：在摄像机监控画面中任意选中目标点，采取针孔模型方法，在摄像机内部参数固定的条件下，通过角度变换采集多张标定图像，确定摄像机内部参数和任一标定图像外部参数关系，经线性模型分析，可计算出任意图像的摄像机参数优化解，并利用最大似然法进行非线性求精，获得所需的摄像机参数 (p,t)，如图6所示为摄像机标定图像示意图。将(p,t)代入单目相机视地空间双向映射模型，可解算对应地理空间坐标(x,y,z)，并在地图上标识，实现视地转换。如图7所示为视地转换效果图。视地转换可广泛应用于目标监测定位，为二维目标检测结果增加三维信息，在视频画面中绘制水塘电子围栏，将绘制点预测结果在地图中显示，预测结果与水塘轮廓基本吻合。
[0063]
综上所述，本发明基于单目瞭望塔摄像机云台实时回传角度数据和视频画面地物的地理空间坐标，构建超定方程组，实现视地空间双向映射，满足定位精度需求，解决单目
瞭望塔摄像机监控视频目标与地理空间实时双向定位问题，具有适用性强、定位范围广、定位精度高、数据实时回传等优点，本发明采用高维超定方程求解的方法，适用于少量样本学习，同时考虑定位点周围信息的影响，误差分布稳定。本发明不依赖准确的相机外参信息，如摄像机安装是否水平、地理坐标是否绝对精确，对于室外复杂环境定位有较强的适应能力。定位距离可达 500米以上，定位精度在20米以内，在城市安防、森林防火等场景中具有较高的应用价值。