一种基于无人机的钱塘江涌潮高度及传播速度测量方法

专利通过在沿江布设的视频探测装置，由其负责采集涌潮视频信息，在进行 分析处理和识别后，将涌潮视频信息通过无线网络发送到涌潮监测中心，该 方式的缺点就是视频探测装置是固定在江边，若需要得到不同河段的涌潮相 关数据，需架设多台设备，消耗大量的人力和物力，并且若需监测部位在距 离江边较远距离时，由于视野范围有限，监测范围仅局限在靠近岸边部分， 使得监测到的数据并不全面，在“基于音频特征识别的江河涌潮监测方法”(公 告号：cn101403636a)中，通过设置在水上的麦克风或设置在水下的声纳接 收音频信号，计算得到涌潮音频能量平均值，如果涌潮音频能量平均值大于 设定的阈值a则判断有涌潮并发出报警信号，该专利中的不足就是当涌潮的 音频特征不明显时无法达到涌潮的识别特征，而且无法识别涌潮高度等形态 特征，因此，本专利提供一种基于无人机的钱塘江涌潮高度测量方法，该方 法解决了视频监测视野范围受到局限的问题的同时，还增加了涌潮高度的测 量方法。
5.针对当前涌潮水文监测领域存在的上述问题，本发明设计了一种基于 无人机的钱塘江涌潮高度及速度测量方法，该方法解决了基于视频监测视野 范围受到局限的问题的同时，还增加了涌潮高度的测量方法，随着无人机技 术的快速发展，使得无人机的应用越来越广，通过利用无人机机动性强、便 捷、稳定的特点，搭载双目摄像头进行涌潮的拍摄，利用板载计算机将采集 到的图像信息进行涌潮的速度与高度计算，并将计算得到的速度传输给无人 机飞控模块，使无人机能够完成跟踪拍摄的任务，相比于岸边架设视频监控 装置，利用无人机机动性强的特点，能够在不同时刻以及不同地点监测到涌 潮的速度和高度的变化过程，为涌潮的科学分析提供了更加全面的数据分析。


技术实现要素：

6.本发明公开了一种基于无人机的钱塘江涌潮高度及传播速度测量方 法，通过利用无人机搭载双目摄像头的方式，更加全面、高效地监测涌潮在 传播过程中速度及高度的变化过程，为后续涌潮的研究提供更加全面的数据 支持。
7.为实现上述目的，本发明提供如下技术方案：
8.一种基于无人机的钱塘江涌潮高度及传播速度测量方法，包括以下步 骤：s1.无人机搭载板载计算机与双目摄像头作为硬件平台，飞向指定航点并悬停 等待，开启双目摄像头进入视频模式，镜头与江面成一定夹角朝向涌潮来时 方向，等待涌潮到来；s2.利用双目摄像头左右两个相机采集涌潮图像信息，得到两幅图像；s3.利用张正友标定方法对摄像机进行标定，得到摄像机的内参矩阵m和左 右两个摄像机物理坐标系之间的旋转矩阵r和平移矢量t；s4.分别对左、右摄像机拍摄的图像进行特征点监测、描述和匹配，得到可信 的特征点对；s5.根据所述可信的特征点对在所述左右两幅图像中的位置信息，同时使用双 目立体视觉三维测量的相关公式，计算特征点在主摄像机坐标系下的坐标；s6.根据计算得到的特征点在主摄像机坐标系下的坐标，可得到各特征点在不 同时刻所处的位置，即可求得这些特征点向前推进的速度，板载计算机将该 速度传输至无人机飞控模块，实现无人机的跟踪拍摄；
s7.根据所计算得到的特征点在主摄像机坐标系下的坐标，选取并筛选特征 点，从而计算涌潮的高度值；s8.板载计算机保存无人机在不同位置时涌潮的速度及高度数据，为后续涌潮 研究提供数据支持；
9.与现有技术相比，本发明的有益效果如下：
10.1)本发明中，可以同时计算涌潮高度和传播速度两个指标；
11.2)本发明中，利用无人机跟踪拍摄，可得到涌潮在前进过程中传播 速度和涌潮高度的变化情况；
12.3)本发明中，可利用无人机的机动性强的特点，可得到更大视野范 围的潮头任意点的传播速度和涌潮高度的数据；
附图说明
13.附图1为本发明的整体流程图。
14.附图2为本发明的特征点监测、匹配和筛选方法流程图。附图3为本发明的双目摄像头工作原理图。附图4为本发明的潮头线坐标点集图。附图5为本发明的潮头顶面与水平面点集图。
具体实施方式
15.下面结合附图和具体实施例，进一步阐明本发明。
16.本发明提供一种基于无人机的涌潮高度及传播速度测量方法，主要过 程如图1所示，通过无人机搭载双目摄像头，采集图像后选取特征点对，通 过选取的特征点对计算各特征点在主摄像机坐标系下的坐标位置，即为该特 征点的三维坐标，通过计算得到的三维坐标计算涌潮在一定时间内的速度和 高度，无人机再根据计算得到的高度进行跟随拍摄，得到涌潮在一段时间内 的速度和高度的变化情况，为后续涌潮的研究提供全面的数据支持，特征点 监测、匹配和筛选流程图如图2所示，在进行摄像头标定后，通过左右摄像 头进行图像采集工作，如图3所示为双目摄像头工作原理图，再有surf算 法进行特征点选取，通过flannbasedmatcher方法匹配特征点，最后通过 ransac方法筛选特征点。
17.具体过程如下：(1)无人机悬停等待：首先，无人机飞向指定航点并悬停等待，开启双目摄像头进入视频模式， 镜头与江面成一定夹角朝向涌潮来时方向，等待涌潮到来，无人机搭载板载 计算机以及一个双目摄像头作为硬件平台，板载计算机负责写入图像处理算 法，将采集到的图像进行图像处理，计算得到的速度值传输至无人机飞控模 块，使无人机能够与涌潮前进的速度同步，完成跟踪拍摄及涌潮高度测量任 务。(2)视频图像采集：利用双目摄像头的左右两个相机采集涌潮图像信息，得到两幅图像，双目 摄像头将这两幅图像传输至无人机的板载计算机上，进行后续的图像处理任 务，板载计算机通过处理每一帧图像的形式实时处理双目摄像头所拍摄的视 频。
(3)摄像头标定：相机成像系统中，共包含四个坐标系：世界坐标系、相机坐标系、图像坐 标系、像素坐标系，这四个坐标系之间的转换关系为：其中，(u，v，w)是世界坐标系下一个特征点的坐标，(u，v)为该点 对应的像素坐标系下的像素坐标，z为尺度因子。我们将矩阵：称为相机的内参矩阵，内参矩阵取决于相机的内部参数。我们将矩阵：称为相机的外参矩阵，外参矩阵取决于相机坐标系和世界坐标系的相对位 置，r表示旋转矩阵，t表示平移矩阵。(4)选取特征点对：该过程具体主要由特征点提取、特征点匹配以及特征点筛选组成：特征点提取采用的是surf(speeded up robust features,加速稳健特征)算 法，surf算法是一种稳健的图像识别和描述算法，它是sift的高效变种， 也是提取尺度不变特征，算法步骤与sift算法大致相同，但采用的方法不一 样，要比sift算法更高效，surf使用海森(hesseian)矩阵的行列式值作特征 点监测并用积分图加速运算，surf的描述子基于2d离散小波变换响应并 且有效地利用了积分图。特征点匹配采用的是flannbasedmatcher算法，它是一种近似法，算法更 快但是找到的是最近邻近似匹配，所以当我们需要找到一个相对好的匹配但 是不需要最佳匹配的时候往往使用这种匹配方法，当然也可以通过调整 flannbasedmatcher的参数来提高匹配的精度或者提高算法速度，但是相应地 算法速度或者算法精度会受到影响。特征点筛选采用的是ransac算法，该算法的具体步骤如下：步骤1：从样本集中随机抽选一个ransac样本，即4个匹配点对；步骤2：根据这4个匹配点对计算变换矩阵m；步骤3：根据样本集，变换矩阵m，和误差度量函数计算满足当前变换矩 阵的一致集，并返回一致集中元素个数；步骤4：根据当前一致集中元素个数判断是否最优(最大)一致集，若是则 更新当
前最优一致集；步骤5：更新当前错误概率p，若p大于允许的最小错误概率则重复(1)至 (4)继续迭代，直到当前错误概率p小于最小错误概率；(5)计算三维坐标：首先，按照下式计算得到左右摄像机拍摄图像中筛选的特征点在主摄像机 坐标系中的空间位置坐标：其中，(x，y，z)是所筛选特征点在主摄像机坐标系下的位置坐标，(x1， y1)是左摄像机拍摄图像中的特征点坐标，(x2，y2)是对应匹配的右摄像 头拍摄图像中的特征点坐标，f1、f2分别是左、右摄像机的焦距，r1、r2、
…
、 r9分别为步骤s3得到的旋转矩阵r中的元素，tx、ty、tz分别是步骤s3得到 的平移矢量t的元素。(6)计算涌潮速度并传输至无人机：步骤1：在t1时刻计算所有特征点在主摄像机坐标系下的位置坐标，筛选 点集中其y轴的值处于中间部分的坐标点，如图4所示即为筛选的特征点， 并选取这些坐标点在z轴上的坐标值作为这些坐标点与摄像头之间的距离， 依次选取一个坐标点，将其他所有坐标点的z轴值与其z轴值相减得到一个 偏差并取绝对值，并将这些绝对值相加得到一个总偏差量，直到计算完所有 坐标点与其他坐标点的总偏差量，比较所有坐标点的总偏差量，选取总偏差 量最小的那个坐标点的z轴值的大小作为涌潮与无人机之间的距离d1；步骤2：用上述同样的方式在t2时刻筛选多个涌潮上的特征点，计算其在 主摄像机坐标系下的位置坐标，并筛选可靠特征点即可测得所选特征点与无 人机距离d2；步骤3：通过计算t1、t2时刻内涌潮前进的距离d＝d1-d2，计算涌潮在t1 至t2时刻内的平均速度，若t1、t2相差足够小，即可作为涌潮在t1时刻的瞬 时速度；步骤4：无人机板载计算机计算得到瞬时速度后，将该速度传输至无人机 飞控模块，使得飞控发送指令控制电机转动，从而使无人机按照指定速度进 行飞行，达到无人机跟踪涌潮效果；(7)计算涌潮高度：涌潮高度是指潮头水面顶面与潮端前趾低水位的水位差，采用的是连续 时间内水位的急剧抬升高度，因此，可通过筛选潮头线上的最高点作为潮头 水面的顶面，筛选与潮端前趾近似的水平面作为潮头线的最低点，根据计算 得到的特征点在主摄像机坐标系下的坐标，选取多个y轴方向上最小的坐标 点作为涌潮的最低点，即为水平面的高度，如图4中水平面坐标点集即为所 选择的坐标点集，依次选取其中一个坐标点，将这个坐标点依次与其他坐标 点进行相减并取其绝对值得到多个偏差量，再将计算得到的每个坐标点的偏 差量相加得到其中一个坐标点与其他所有坐标点总的偏差量，最后比较每一 个坐标点
与其他所有高度值的总偏差量，选取总偏差量最小的坐标点作为涌 潮的最低点，若在这个点集中出现了误检测的点，那么，该点与其他所有点 总的偏差量大于所有其他点的总偏差量，选取多个y轴方向上的最高点作为 潮头顶面高度，如图4中潮头顶面坐标点集即为所选择的坐标点集，以相同 的方法在该点集中选取一个点的y轴坐标值作为潮头顶面高度值，最后得到 了潮头顶面与水平面的两个坐标点，通过计算这两个点在y轴方向上的差值 作为涌潮的高度。(8)保存数据：无人机在跟随涌潮拍摄的过程中同步进行涌潮高度的计算，实时保存无人 机在不同位置所拍摄涌潮的高度数据，为涌潮后续的研究提供数据支持。