面向灌区闸门异常的无人机图像识别巡检系统的制作方法

摘要: 本发明涉及图像处理与图像识别,具体为面向灌区闸门异常的无人机图像识别巡检系统。背景技术:1、灌区闸门无人机巡检通常以固定航线、固定拍摄高度和预设云台角度获取闸门...
面向灌区闸门异常的无人机图像识别巡检系统的制作方法

本发明涉及图像处理与图像识别,具体为面向灌区闸门异常的无人机图像识别巡检系统。

背景技术:

1、灌区闸门无人机巡检通常以固定航线、固定拍摄高度和预设云台角度获取闸门可见光或红外图像,再结合飞行姿态、地理坐标和历史基准图像完成多时相对齐。现有处理流程多采用去雾、反光抑制、畸变校正、局部对比度增强等图像预处理方法改善水面反射、金属高光和远距离成像造成的纹理退化,随后利用目标检测或语义分割方法提取闸板、门槽、启闭机构和过流区域,并在分割结果上计算闸板位置、边缘形态、局部纹理及水流边界等视觉特征。对于开度异常、偏移、卡阻、裂缝、腐蚀或堵塞等状态,通常将当前特征与预设阈值、历史正常样本或训练得到的异常类别模型进行比较,再依据差异幅度或分类置信度输出异常类型及区域。此类方案能够完成单次图像中的目标定位和异常识别,但其识别依据主要建立在当前图像特征本身或当前图像与固定历史样本之间的直接比较关系上。

2、在多时相巡检场景中,较接近的处理方式是先利用闸门整体轮廓或局部特征点对当前图像和历史正常图像进行配准,再对对应区域实施像素差分、特征差分或深层特征距离计算,并把超过判别条件的区域作为异常候选。为减少配准误差,部分方案会引入飞行姿态、地理坐标、尺度变换和局部形变校正,使不同巡检时刻的闸门图像尽量落入同一空间位置;为适应闸门启闭状态变化,也可分别保存若干正常开度下的历史图像,并从中选取与当前状态最接近的样本进行比较。此类方式仍以选定一幅正常图像作为参照为基本前提,而闸板在正常启闭过程中会改变与门槽、启闭机构及过流区域之间的空间关系,同一开度附近还会伴随视角微偏、遮挡边界改变、水面波动和局部反光变化,使固定参照图像与当前图像之间产生大量并非由故障引起的差异。

3、难以在多时相无人机图像中把闸门正常运行状态变化所产生的视觉差异,与裂缝、偏移、卡阻、腐蚀、渗漏及漂浮物堵塞等异常所产生的真实结构或区域变化稳定分离。其原因是当前图像与历史图像之间的差异同时受到闸板正常开度变化、无人机拍摄姿态微小偏差以及局部环境外观变化影响,现有直接配准和样本差分方法只能减少空间错位,却不能说明某一差异是否属于正常状态变化允许的变化范围;若采用较宽松的差异容差,真实的轻微偏移、裂缝和边缘异常容易被正常变化掩盖,若采用较严格的差异判别,闸板位置变化、门槽相对关系变化以及水面边界变化又容易形成伪异常。因此,需要建立能够依据当前运行状态构造对应正常参照,并结合闸门构件之间固有拓扑关系对剩余差异进行约束判别的图像识别方式。

技术实现思路

1、本发明的目的在于提供面向灌区闸门异常的无人机图像识别巡检系统,可以解决上述背景技术中的问题。

2、为实现上述目的,本发明采取的技术方案为:

3、面向灌区闸门异常的无人机图像识别巡检系统,包括:获取当前巡检图像、历史正常图像及对应的无人机飞行姿态、地理坐标和闸门基准轮廓,将图像中的闸板、门槽、启闭机构及过流区域映射至统一的闸门构件基准坐标空间;

4、依据闸板位置、门槽相对关系和过流区域形态确定当前视觉运行状态,并由匹配所述当前视觉运行状态的历史正常图像生成反事实正常参考图像;

5、提取所述当前巡检图像与所述反事实正常参考图像的构件级差异表征,将所述构件级差异表征分解为正常状态变化可解释残差和不可解释残差;

6、依据闸门构件的相对位置关系、边界连续关系及历史稳定关系对不可解释残差进行拓扑一致性校验,形成闸门异常图像识别结果。

7、优选的,所述统一的闸门构件基准坐标空间的建立包括:基于无人机飞行姿态、地理坐标及闸门基准轮廓完成所述当前巡检图像与所述历史正常图像的初始投影配准;

8、分别提取闸板侧缘、门槽边界、启闭机构轮廓及过流区域分界形成构件锚点集合,并依据同一构件在不同时相中的锚点对应关系建立分区形变场;

9、对相邻构件共享边界设置连续约束,对闸板与门槽之间的相对几何关系设置拓扑保持约束,将经分区形变后的各构件共同映射至所述闸门构件基准坐标空间。

10、优选的,所述反事实正常参考图像的生成包括:以所述当前巡检图像中的闸板归一化位置、闸板与门槽相对距离以及过流区域边界形态构成视觉运行状态描述量,在所述历史正常图像中选取位于所述视觉运行状态描述量邻域内的多个构件级正常样本;

11、将所述多个构件级正常样本分别变换至当前巡检图像对应的构件基准位置,并在保持闸板、门槽和启闭机构拓扑对应关系的条件下对同一构件的正常表征进行状态插值,重构与所述当前视觉运行状态对应的反事实正常参考图像。

12、优选的,所述构件级差异表征包括构件位移差异、边缘连续性差异、局部纹理差异以及过流区域边界差异;

13、对所述历史正常图像中相邻运行状态的同类构件建立正常变化轨迹,将所述当前巡检图像与所述反事实正常参考图像之间的构件级差异表征投影至所述正常变化轨迹对应的可解释方向,并将投影分量记为所述正常状态变化可解释残差,将不能由所述正常变化轨迹重构的正交差异保留为不可解释残差,供拓扑一致性校验使用。

14、优选的,所述分区形变场按照闸板、门槽、启闭机构及过流区域分别建立局部映射,并为跨时相可稳定匹配的构件锚点赋予主约束,为受反光、遮挡或水面扰动影响而匹配不稳定的构件锚点赋予从约束;

15、当同一共享边界两侧的所述局部映射产生位置分歧时,根据所述共享边界在闸门构件拓扑中的连接关系联合修正对应局部映射,将闸板侧缘与门槽边界约束至同一基准方向,并将经联合修正后的构件边界作为后续反事实正常参考图像生成的空间基准。

16、优选的,所述状态插值以所述历史正常图像对应的视觉运行状态描述量为节点建立正常状态序列,并将每一节点中的闸板、门槽、启闭机构及过流区域分别保存为相互对应的构件表征;

17、对于所述当前视觉运行状态位于相邻正常状态节点之间的情形,依据当前闸板归一化位置确定节点间插值位置,同时以所述门槽相对距离和所述过流区域边界形态对插值位置进行一致性修正,再按照修正后的插值位置分别重构各构件并组合形成所述反事实正常参考图像。

18、优选的,所述正常变化轨迹按照构件类别分别建立,并将所述历史正常图像中同一构件随视觉运行状态连续变化的位移、边缘、纹理和区域边界表征按状态次序组织为联合轨迹;

19、对当前构件级差异表征进行分量分解时,先依据所述当前视觉运行状态在所述联合轨迹中确定局部轨迹段,再利用所述局部轨迹段允许的协同变化关系约束各类差异分量的共同投影,仅将满足协同变化关系的组合差异归入所述正常状态变化可解释残差。

20、优选的,所述拓扑一致性校验将所述不可解释残差回写至对应闸门构件,并依据异常残差与构件边界、构件连接关系及历史稳定区域之间的空间关系形成残差关联图;

21、对于跨越闸板与门槽对应边界并伴随相对位置异常的残差区域,按照关联边共同归并;

22、对于仅位于水面边界且未改变相邻构件关系的离散残差,保持为独立候选区域;

23、依据所述残差关联图中的构件归属和连接关系形成用于闸门异常图像识别的候选区域集合。

24、优选的,在组合各构件形成所述反事实正常参考图像之前,将所述当前巡检图像中的构件边界与按照修正后插值位置重构的正常构件边界进行双向对应检查;

25、对于能够在保持闸板、门槽和启闭机构连接次序的条件下形成都相对应的边界区域,保留对应区域参与正常构件表征组合;

26、对于因遮挡或反光造成边界缺失的局部区域,依据缺失区域两侧已建立对应关系的同一构件边界段确定补全位置,仅建立所述局部区域的空间对应,不对所述局部区域执行正常纹理插值。

27、优选的,对所述候选区域集合中的每一候选区域建立跨时相残差链,所述跨时相残差链记录候选区域在连续历史正常状态邻域中的构件归属、边界相交关系及不可解释残差位置;

28、将仅随正常状态节点变化而沿联合轨迹方向迁移的候选区域重新归入所述正常状态变化可解释残差,将在所述闸门构件基准坐标空间内持续偏离联合轨迹且保持同一拓扑归属的候选区域保留为异常识别区域,并以所述异常识别区域的构件归属、残差类别及空间位置构成所述闸门异常图像识别结果。

29、与现有技术相比,本发明的有益效果在于:

30、1.所采用的统一闸门构件基准坐标、状态条件化反事实正常参考和残差解耦处理,使当前巡检图像不再与任意固定历史图像直接比较,而是先依据闸板归一化位置、闸板与门槽相对距离及过流区域边界形态确定当前视觉运行状态,再从匹配状态的历史正常样本中重构与当前状态对应的正常参照。由此,闸门正常启闭引起的构件位移和过流区域形态变化可以在参照生成阶段被纳入正常变化范围;当前图像与反事实正常参考之间的构件位移、边缘连续性、局部纹理和区域边界差异继续沿历史正常变化轨迹进行分解,只将不能由该轨迹重构的差异保留为不可解释残差。由正常状态变化产生的差异量在进入异常判别前被削减,真实异常对应的剩余残差在空间位置和构件归属上更集中,降低正常开度变化被识别为异常的概率,并保留轻微偏移、裂缝及局部结构变化对应的差异信息。

31、2.在上述残差基础上,构件拓扑一致性校验进一步利用闸板、门槽、启闭机构及过流区域之间的相对位置关系、共享边界关系和历史稳定关系组织残差关联图,使残差判断从孤立像素或局部纹理比较转变为构件关系约束下的区域判别。跨越闸板与门槽对应边界且伴随相对位置异常的残差能够按照关联关系归并,而仅位于水面边界、未改变相邻构件关系的离散变化保持为独立候选;连续巡检数据还可依据跨时相残差链判断候选区域是否仅沿正常状态轨迹迁移,并将这类差异重新归入正常状态变化范围。配合分区形变场对不同构件分别校正、共享边界联合修正以及遮挡区域仅补全空间对应而不插值纹理,可减少局部反光、边界缺失和配准误差对异常区域形状的干扰,使异常区域的构件归属、空间位置和边界连续关系保持一致。