一种基于无人机低空影像的海上养殖网箱识别方法与流程

本发明涉及低空影像识别，尤其涉及一种基于无人机低空影像的海上养殖网箱识别方法。

背景技术：

1、海上养殖网箱是海洋渔业养殖的重要基础设施，其数量、位置及分布范围等信息是海域监管、养殖规模统计和养殖设施巡查的重要依据。传统调查方式主要依赖人工巡查、船载观测或人工解译遥感影像，存在效率低、成本高且易受海况等因素影响的问题。随着无人机低空遥感技术的发展，利用无人机获取高分辨率海面影像进行海上养殖网箱自动识别，已成为海洋养殖智能监测的重要发展方向。目前，现有基于无人机影像的海上养殖网箱识别方法主要通过目标检测、边缘检测、矩形检测或语义分割等方式提取网箱特征。然而，海面波浪、光照反射、漂浮物遮挡及无人机姿态变化等因素容易导致网箱边缘出现断裂、缺失或模糊，使单纯依赖二维影像特征进行识别时容易产生漏检和误检，识别稳定性较差。

2、此外，现有技术通常对单帧影像独立进行线段或矩形检测，没有充分利用无人机连续拍摄形成的多视角空间几何信息，难以有效融合同一网箱框架的重复观测结果，容易将海面波纹、船舶边缘及浮桥等背景结构误识别为网箱框架。同时，现有区域分割方法大多依赖灰度、颜色或纹理等单一特征，缺乏对网箱几何结构及内外水面纹理差异的综合利用，在复杂海况下容易出现边界定位不准确、区域粘连或过分割等问题，影响网箱识别精度。

技术实现思路

1、本发明提供了一种基于无人机低空影像的海上养殖网箱识别方法，能够综合利用无人机序列影像、多视角空间几何信息、稀疏三维点云及网箱内外水面纹理差异，对候选网箱框架进行空间几何一致性验证，并结合形状先验和边界响应实现单个网箱实例区域的精确分割，提高复杂海况下海上养殖网箱识别的准确性、稳定性和鲁棒性。

2、一种基于无人机低空影像的海上养殖网箱识别方法，以下步骤：

3、s1：获取无人机在低空对目标海域进行连续拍摄所得到的序列影像，并对序列影像进行三维重建，输出稀疏三维点云以及所述序列影像中每一帧影像对应的相机位姿；

4、s2：从所述序列影像的每一帧影像中提取线段特征，利用所述相机位姿将提取到的所有线段特征统一反投影至同一水平参考面，融合生成稳定线段图，并在稳定线段图中通过闭合四边形检测，得到多个候选网箱框架四边形；

5、s3：利用所述稀疏三维点云对每个所述候选网箱框架四边形进行空间直线拟合与网箱框架刚体几何一致性验证，剔除不满足预设刚体约束的候选网箱框架四边形，得到确认网箱框架集合；

6、s4：针对确认网箱框架集合中的每个确认网箱框架，划定内部水面区域及外部环状邻域，分别计算表征水面波纹纹理的局域特征，并根据内部与外部局域特征的差异生成网箱边界响应图；

7、s5：将所述确认网箱框架作为形状先验，将所述网箱边界响应图作为外部能量项，构建能量函数并采用图割算法进行求解，分割得到单个网箱的实例区域。

8、可选的，所述s1具体包括：

9、s11：对所述序列影像逐帧提取sift特征点，并进行特征匹配，采用比值检验和随机抽样一致性算法剔除误匹配点对，得到可靠匹配点对集合；

10、s12：选择匹配点对数量最多且基线距离满足预设阈值的最优影像对作为初始像对，基于对极几何约束计算本质矩阵并分解，得到初始相机位姿，并对匹配点对进行三角化生成初始稀疏三维点；

11、s13：以重投影误差最小化为目标，采用光束法平差对所述初始相机位姿和初始稀疏三维点进行联合优化，得到优化后的初始重建结果；

12、s14：将剩余影像按照与当前重建点云的匹配数量从多到少的顺序依次注册至重建结果中，每注册一帧影像即执行一次局部光束法平差，直至所有影像注册完成，最后执行全局光束法平差，输出全局优化后的稀疏三维点云以及每一帧影像对应的相机位姿，所述相机位姿包括相机位置三维坐标和相机姿态角。

13、可选的，所述s2具体包括：

14、s21：采用lsd线段检测算法从所述序列影像的每一帧影像中提取初始线段，并根据预设的最小线段长度阈值滤除长度小于最小线段长度阈值的短线段，得到每帧影像的待投影线段集；

15、s22：针对每条所述待投影线段，将两个端点像素坐标分别与对应帧影像的相机位姿联合，构造从相机光心经对应端点的空间射线，计算空间射线与水平参考面的交点，得到该端点在水平参考面上的三维投影坐标，将待投影线段转换为水平参考面上的一条三维投影线段；

16、s23：将所有帧影像对应的所述三维投影线段统一变换至同一水平参考面坐标系中，基于各线段的方向角、线段间垂直距离及端点投影重叠度进行聚类，将属于同一真实框架边且相互重叠的多条投影线段合并为一条候选稳定线段，并以聚类内包括的原始投影线段数量作为所述候选稳定线段的置信度权值，滤除置信度权值低于预设阈值的孤立线段，输出由剩余候选稳定线段构成的稳定线段图。

17、可选的，所述稳定线段图中，按照顺时针或逆时针方向搜索四条候选稳定线段，判定相邻线段的首尾端点间距均小于预设闭合距离阈值且四条线段整体满足对边平行误差小于第一角度阈值、邻边垂直误差小于第二角度阈值的矩形几何约束，同时所围成矩形的边长落入预设网箱尺寸区间内，将所有满足条件的矩形提取为所述候选网箱框架四边形。

18、可选的，所述s3具体包括：

19、s31：针对每个候选网箱框架四边形，依次对候选网箱框架四边形四条边中的每条边执行空间邻域搜索，以对应边在水平参考面上的二维投影线段为中心线，沿垂直于所述中心线的方向向两侧各扩展第一邻域阈值，同时沿高程方向扩展第二邻域阈值，构建三维空间邻域包围盒，将所述稀疏三维点云中落入该包围盒内的三维点作为对应边的候选拟合点集；

20、s32：采用随机抽样一致性算法对每条边的所述候选拟合点集进行三维空间直线拟合，迭代选取包括内点数量最多的直线模型作为该边的拟合直线，并记录该拟合直线的方向向量、空间位置以及拟合内点数量与总点数的内点比率，若某条边的候选拟合点集数量小于最小点数阈值或内点比率低于预设比率阈值，则直接判定对应候选网箱框架四边形不满足几何一致性；

21、s33：对四条边分别拟合得到的四条空间直线进行刚体几何一致性联合验证，所述联合验证包括多个约束条件；

22、s34：剔除s32中拟合失败或s33中任意一项约束条件不满足的候选网箱框架四边形，将同时满足空间直线拟合成功且通过全部刚体几何一致性联合验证的候选网箱框架四边形输出为所述确认网箱框架集合。

23、可选的，所述约束条件具体包括：

24、共面性约束：计算四条空间直线上的所有内点至公共最佳拟合平面的平均距离，若平均距离大于预设共面距离阈值，则判定不满足共面性；

25、平行与垂直约束：分别计算对边方向向量的点积绝对值与180°夹角的余弦偏差、邻边方向向量的点积绝对值与90°夹角的余弦偏差，若对边方向向量夹角偏离180°超过第一角度容差或邻边方向向量夹角偏离90°超过第二角度容差，则判定不满足平行垂直约束；

26、对边尺寸一致性约束：计算两条对边的拟合直线长度之比，若该比值超出预设的对称比例范围，则判定不满足尺寸一致性。

27、可选的，所述s4具体包括：

28、s41：针对所述确认网箱框架集合中的每个确认网箱框架，以所述确认网箱框架的四条边线为基准，沿各边线的法线方向向框架内侧收缩第一预设宽度，得到内部边界线，由所述内部边界线围成的区域作为内部水面区域；沿各边线的法线方向向框架外侧扩展第二预设宽度，得到外部边界线，所述外部边界线与所述框架边线之间围成的环形区域作为外部环状邻域且所述第一预设宽度和所述第二预设宽度均根据当前影像的地面分辨率自适应设定；

29、s42：在所述内部水面区域和所述外部环状邻域内，分别采用固定尺寸的滑动窗口逐像素遍历，对每个窗口提取用于表征水面波纹纹理的局域特征向量；

30、s43：对于所述框架边线上的每个边线像素点，将所述内部水面区域中与边线像素点空间位置对应的内部像素点的局域特征向量，与所述外部环状邻域中与边线像素点空间位置对应的外部像素点的局域特征向量进行差异度量，所述差异度量采用加权欧氏距离计算得到边线像素点的初始边界响应值；

31、s44：将所有边线像素点的初始边界响应值进行归一化处理，使所有边线像素点的初始边界响应值映射至预设数值区间，作为各边线像素点的最终边界响应强度，并以所述确认网箱框架的四条边线为空间索引，将各边线像素点的最终边界响应强度按各边线像素点在影像中的实际像素坐标赋值，生成与确认网箱框架边界位置相对应的所述网箱边界响应图。

32、可选的，所述局域特征向量具体包括：

33、灰度统计特征：窗口内像素灰度值的均值、标准差、偏度及峰度；

34、纹理频谱特征：对窗口进行二维离散傅里叶变换后，提取径向频谱能量分布和角向频谱能量分布，以低频能量占比和高频能量占比作为频谱纹理描述子；

35、局部二值模式特征：采用旋转不变性均匀局部二值模式对窗口内像素进行编码，生成局部二值模式直方图，并计算局部二值模式直方图的熵值和主峰占比；

36、灰度共生矩阵特征：计算窗口内像素在多个方向上的灰度共生矩阵，提取各方向上的对比度、相关性、能量及同质性参数，取所有方向上的平均值作为最终纹理描述子。

37、可选的，s5具体包括：

38、s51：针对所述确认网箱框架集合中的每个确认网箱框架，以所述确认网箱框架的外接矩形为基础向外扩展预设扩展宽度，划定所述确认网箱框架对应的局部分割窗口，将所述局部分割窗口内的所有像素作为图割算法的节点，并为每个像素设置待求解的二值标签，所述二值标签取第一标签值表示像素属于网箱内部区域，取第二标签值表示像素属于网箱外部区域；

39、s52：基于所述确认网箱框架构建形状先验项，将所述确认网箱框架所围成的内部区域中的所有像素赋予第一先验概率值，将所述框架外部区域中的所有像素赋予第二先验概率值，且所述第一先验概率值大于所述第二先验概率值，由各像素的先验概率值构成形状先验能量项；

40、s53：基于所述网箱边界响应图构建边界能量项，对于所述局部分割窗口内的每对相邻像素，根据所述每对相邻像素在所述网箱边界响应图中对应位置处的边界响应强度，计算所述每对相邻像素之间的边界惩罚权重，所述边界响应强度越高则所述边界惩罚权重越小，所述边界响应强度越低则所述边界惩罚权重越大；

41、s54：基于所述形状先验能量项和所述边界能量项，结合预设的权重系数进行加权求和，构建图割算法的总能量函数。

42、可选的，所述s5还包括采用图割算法中的最小割/最大流算法对所述总能量函数进行全局优化求解，在保持相邻像素标签一致性的平滑约束下，求解使所述总能量函数达到全局最小值的各像素最优二值标签分配，将所有标签为所述第一标签值的像素所构成的连通区域作为确认网箱框架对应的单个网箱的实例区域。

43、本发明的有益效果：

44、本发明通过对无人机低空获取的序列影像进行三维重建，获得稀疏三维点云及相机位姿，并将多帧影像中的线段特征统一反投影至同一水平参考面进行融合，生成稳定线段图，再结合闭合四边形检测得到候选网箱框架四边形。相比传统基于单帧影像进行检测的方法，本发明利用多视角几何一致性，减小了海面波浪、光照反射及姿态变化等因素的影响，提高了网箱框架提取的完整性和稳定性，为后续网箱识别提供可靠的几何基础；

45、本发明利用稀疏三维点云对候选网箱框架四边形进行空间直线拟合，并结合共面性约束、平行与垂直约束及对边尺寸一致性约束进行刚体几何一致性联合验证，实现由二维几何检测向三维空间几何验证的提升，有效剔除海面漂浮物、船舶设施等形成的伪矩形结构，降低误检率。同时，结合确认网箱框架构建形状先验，并利用网箱内外水面纹理差异生成网箱边界响应图，实现几何约束与纹理信息的协同利用，提高了复杂海况下网箱边界识别的准确性和鲁棒性；

46、本发明以确认网箱框架构建形状先验能量项，以网箱边界响应图构建边界能量项，并采用图割算法进行全局能量优化，实现单个网箱实例区域的精确分割。相比传统分割方法，本发明综合利用形状约束、边界响应及像素连续性，使分割边界更加贴合真实网箱边缘，降低海面波纹、反光及水体扰动带来的误分割，提高了网箱实例分割的完整性、边界定位精度及复杂海况下的识别稳定性。