一种配网设备多模态识别方法及系统与流程

本发明涉及配网设备识别，具体为一种配网设备多模态识别方法及系统。

背景技术：

1、随着电网规模的扩大，基于多视角巡检图像的计算机视觉技术已广泛应用于配网设备的状态监测。现有的视觉识别方案通常依赖单一的二维图像特征进行目标检测与相机位姿估计。然而，在复杂野外巡检环境中，受限于光照变化与背景干扰，纯视觉特征匹配容易产生重投影发散现象，由于缺乏对配网设备部件之间刚性连接关系的约束，导致相机位姿解算精度与鲁棒性不足。

2、同时，现有方法在处理多视角数据时往往停留在二维图像层面的关联，未建立严密的三维空间几何体积模型。这使得系统在面对视角变化或树障干扰时，难以从物理空间层面区分目标部件是因视点阻挡导致的不可见，还是发生了真实的物理本体缺失，从而容易产生虚假的漏检测警报。

3、此外，配网设备包含大量微小金具部件，全局巡检图像输入识别网络后，微小部件的纹理特征容易在降采样过程中丢失，导致初次识别置信度偏低。现有技术难以在局部高分辨率细节保留与模型整体计算负载之间取得平衡，缺乏结合空间拓扑先验信息进行定向纠错的机制，导致对存疑微小目标的召回能力有限。

技术实现思路

1、针对现有技术的不足，本发明提供了一种配网设备多模态识别方法及系统，解决了现有配网设备视觉巡检中位姿解算缺乏物理拓扑约束导致精度低、难以精准区分视点遮挡与真实物理缺失，以及微小存疑部件漏检率高的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：本发明第一方面提供一种配网设备多模态识别方法，包括以下步骤：

3、获取多视角巡检图像及初始相机内外参数据，通过多模态视觉语言模型输出初始候选目标集合，并划分为锚定部件集合与辅助部件集合；

4、根据配网设备装配拓扑图谱建立联合优化目标函数并求解，输出优化后相机外参数据；

5、基于所述锚定部件集合拟合局部装配坐标系以计算预期部件的三维理论包围盒，利用所述优化后相机外参数据投影生成预期候选区域；

6、利用所述优化后相机外参数据对所述辅助部件集合进行校验，剔除未通过校验的目标；

7、向所述三维理论包围盒发射检测射线，根据相交状态判定所述预期部件为遮挡状态或缺失状态；

8、针对存疑目标，根据所述预期候选区域裁剪局部图块并生成提示词，输入所述多模态视觉语言模型获取复核结果，并映射至全局图像坐标系。

9、在一种可选的实施方式中，所述根据配网设备装配拓扑图谱建立联合优化目标函数并求解，输出优化后相机外参数据，包括：

10、通过多视图三角化获取所述锚定部件集合的初始三维空间点集合，并将所述初始三维空间点集合与所述配网设备装配拓扑图谱中的图谱拓扑节点进行坐标映射对齐；

11、提取连线属性标记为刚性连接的两个节点构成刚性约束节点对，获取对应所述刚性约束节点对的物理空间距离常量；

12、量化几何距离偏差作为视觉重投影误差项，计算空间距离形变量与所述物理空间距离常量之间的差值作为拓扑刚性约束惩罚项；

13、将所述视觉重投影误差项与所述拓扑刚性约束惩罚项进行组合构建所述联合优化目标函数并迭代求解，输出所述优化后相机外参数据。

14、在一种可选的实施方式中，所述基于所述锚定部件集合拟合局部装配坐标系以计算预期部件的三维理论包围盒，利用所述优化后相机外参数据投影生成预期候选区域，包括：

15、分别提取所述锚定部件集合对应的电线杆主轴方向向量与横担主轴方向向量，提取公垂线段的中点三维坐标，生成正交的局部装配坐标系轴向矩阵；

16、生成待检测预期部件的全局三维理论包围盒，利用转换矩阵及所述优化后相机外参数据计算所述全局三维理论包围盒顶点的实际二维像素坐标；

17、遍历提取所述实际二维像素坐标的横纵坐标极值构建最小外接正交矩形框，将其作为所述预期候选区域。

18、在一种可选的实施方式中，所述利用所述优化后相机外参数据对所述辅助部件集合进行校验，剔除未通过校验的目标，包括：

19、利用所述优化后相机外参数据构建多视角基础矩阵，将其与目标中心点齐次坐标相乘生成极线向量；

20、计算同类别候选目标中心点像素坐标到所述极线向量的垂直像素距离，若所有所述垂直像素距离均大于设定的极线容差阈值，则判定当前候选目标为单视角孤立噪声并从所述辅助部件集合中剔除。

21、进一步地，所述利用所述优化后相机外参数据对所述辅助部件集合进行校验，剔除未通过校验的目标，还包括：

22、对通过极线几何校验保留的多视角匹配候选目标组合求解实际检测三维坐标；

23、计算所述实际检测三维坐标与查询得到的父级节点三维坐标之间的实际检测空间欧氏距离；

24、若所述实际检测空间欧氏距离大于查询所得的最大空间距离阈值，判定所述多视角匹配候选目标组合违背物理空间装配连接条件并予以剔除。

25、在一种可选的实施方式中，所述向所述三维理论包围盒发射检测射线，包括：

26、将所述锚定部件集合对应的空间包围盒执行布尔并集操作，生成已知实体重建包围体积；

27、以相机光心三维坐标为起点，向所述三维理论包围盒的几何中心坐标构建所述检测射线；

28、计算所述检测射线穿过所述已知实体重建包围体积边界表面的路径参数集合，根据路径参数集合与目标路径长度的比对结果生成可见性指示变量，汇总获取无遮挡可见视角总数。

29、进一步地，所述根据相交状态判定所述预期部件为遮挡状态或缺失状态，包括：

30、若所述无遮挡可见视角总数大于或等于设定的无遮挡视角数量阈值，输出所述预期部件的状态为真实物理缺失状态；

31、若所述无遮挡可见视角总数小于所述无遮挡视角数量阈值，输出所述预期部件的状态为视点遮挡不可见状态。

32、在一种可选的实施方式中，所述针对存疑目标，根据所述预期候选区域裁剪局部图块，包括：

33、将置信度得分低于设定的二次复核置信度阈值的目标提取至存疑目标集合作为所述存疑目标；

34、将所述预期候选区域边界外扩计算得到的缓冲边距数值，生成局部裁剪窗口边界坐标；

35、根据所述局部裁剪窗口边界坐标对原始高分辨率图像数据矩阵执行矩阵切片操作，截取所述局部图块并记录坐标偏移常量。

36、进一步地，所述生成提示词，输入所述多模态视觉语言模型获取复核结果，并映射至全局图像坐标系，包括：

37、将目标理论三维方向向量和预期夹角数值转换为结构化自然语言字符序列组合生成所述提示词；

38、提取所述多模态视觉语言模型输出的复核结果中的复核局部二维边界框的相对像素坐标参数；

39、将所述相对像素坐标参数与所述坐标偏移常量执行矢量加法运算，回映射转换为绝对边界框角点坐标。

40、本发明第二方面提供一种配网设备多模态识别系统，应用上述第一方面所述的配网设备多模态识别方法，该系统包括：

41、数据获取模块，用于获取多视角巡检图像及初始相机内外参数据，通过多模态视觉语言模型输出初始候选目标集合，并划分为锚定部件集合与辅助部件集合；

42、联合优化模块，用于根据配网设备装配拓扑图谱建立联合优化目标函数并求解，输出优化后相机外参数据；

43、区域生成模块，用于基于所述锚定部件集合拟合局部装配坐标系以计算预期部件的三维理论包围盒，利用所述优化后相机外参数据投影生成预期候选区域；

44、协同纠错模块，用于利用所述优化后相机外参数据对所述辅助部件集合进行校验，剔除未通过校验的目标；

45、状态判定模块，用于向所述三维理论包围盒发射检测射线，根据相交状态判定所述预期部件为遮挡状态或缺失状态；

46、二次识别模块，用于针对存疑目标，根据所述预期候选区域裁剪局部图块并生成提示词，输入所述多模态视觉语言模型获取复核结果，并映射至全局图像坐标系。

47、本发明提供了一种配网设备多模态识别方法及系统。具备以下有益效果：

48、1、 本发明通过提取配网设备装配拓扑图谱中刚性约束节点对的物理空间距离常量，将其作为拓扑刚性约束惩罚项并与视觉重投影误差项组合，构建出联合优化目标函数，该机制克服了传统单一依赖图像特征进行位姿估计的局限，利用设备自身固有的物理拓扑连接关系对多视角三角化数据进行几何约束，提升了复杂野外巡检背景下相机外参数据解算的准确度与鲁棒性。

49、2、 本发明利用拟合的局部装配坐标系生成预期部件的三维理论包围盒，并结合锚定部件的已知实体重建包围体积向空间发射检测射线，通过计算检测射线在实体边界表面的路径参数来统计无遮挡可见视角总数，将常规的二维图像层面的目标漏检转化为了严密的三维空间几何相交分析，从而能够区分出预期部件是处于视点遮挡不可见状态还是真实的物理缺失状态，降低了巡检系统的误报率。

50、3、 本发明针对低置信度的存疑目标建立了一套局部图块裁剪与多模态复核的召回机制，通过计算局部裁剪窗口边界坐标在原始高分辨率图像上截取局部图块，并结合三维方向向量和夹角参数生成结构化提示词进行定向复核，该处理逻辑在保留微小部件原始纹理细节的同时降低了多模态视觉语言模型的整体计算负载，并通过预先记录的坐标偏移常量实现了复核结果向全局图像绝对坐标的精准回映射。