一种基于知识图谱与可逆ROI链的4C缺陷识别方法及系统与流程

本发明属于铁路接触网及铁路部件智能检测，具体涉及一种基于知识图谱与可逆roi链的4c缺陷识别方法及系统。

背景技术：

1、铁路接触网及其相关铁路部件，例如承力索、接触线、定位装置、吊弦、连接金具、螺栓、螺帽、销钉、线夹等，长期处于露天运行环境，容易受到振动、温差、风载、污秽、锈蚀以及列车受电弓动态作用的影响，进而产生松动、缺失、偏移、裂纹、破损、锈蚀等异常状态。上述异常若不能及时发现和处置，将影响铁路供电系统稳定性和行车安全。

2、4c检测车采集的接触网悬挂状态图像具有分辨率高、视场大、细节丰富等特点，能够记录螺栓、螺帽、销钉、吊弦线夹以及连接件等细粒度结构。然而，在自动识别场景中，高分辨率和大视场也带来了计算量大、显存占用高和小目标异常占比极低等问题。若直接将整帧图像输入单一检测模型识别所有细粒度缺陷，模型需要同时处理大尺度设备区域和极小尺度异常区域，容易出现漏检、误检和推理效率低的问题。

3、现有固定单级或两级识别流程难以适应铁路部件不同的装配层级；同时，已有多级roi方案通常未按真实处理顺序记录每级裁剪、缩放、填充及可选变换，使局部点、检测框、分割掩膜或分类结果的几何承载区域难以可靠回映。现有方案还缺少由父子结构知识驱动的多路径选择、回映后的父子几何校验和有界重试机制。

4、因此，需要一种以铁路部件层级知识图谱约束识别路径、以可逆roi参数链保证坐标可追溯，并对结果进行几何校验和跨帧复核的4c缺陷识别方案。

技术实现思路

1、本发明旨在提供一种基于知识图谱与可逆roi链的4c缺陷识别方法及系统，以解决不同结构复杂度铁路部件采用固定识别层级时适配性不足、连续多级roi裁剪后坐标难以准确回映、局部识别结果缺少父子几何校验以及单帧结果稳定性不足的问题。

2、为解决上述问题，本发明采用铁路部件层级知识图谱对递进路径、模型、roi策略、终止条件和父子几何约束进行统一配置，并以可逆roi参数链记录各级真实空间变换。

3、所述方法包括以下步骤：

4、步骤s1：获取4c检测装置采集的巡检视频或图像序列；对所述巡检视频进行解码抽帧，或对所述图像序列进行逐幅读取，得到待检测图像，建立含待检测图像的像素坐标系信息、帧序号、图像质量评分和遮挡比例的帧级记录；

5、步骤s2：加载预设的铁路部件层级知识图谱，所述铁路部件层级知识图谱中的节点表示设备区域、部件、子部件或异常类型，其中，异常类型节点关联预设的异常严重度等级；有向边表示父子递进路径并绑定模型标识、模型版本、任务类型、roi扩展策略、置信度阈值、风险等级、候选模型计算代价、候选模型历史误报率、终止条件和父子几何约束；

6、步骤s3：通过预先训练好的目标检测模型执行一级定位识别，得到包含当前级结果标识、当前级类别标签、当前级置信度分数、父级结果标识、当前级坐标系标识及当前级几何承载对象的当前级结果对象；其中，一级定位识别所得当前级几何承载对象为当前级检测框；为每一当前级结果对象建立对应的识别分支，并为每一识别分支建立对应的检测链；所述检测链为按照递进层级顺序关联各级结果对象和各级roi参数记录的有序记录序列；当一级定位识别未检出任何目标时，终止识别流程并记录识别结果为无一级目标；

7、步骤s4：以当前级类别标签查询铁路部件层级知识图谱，对模型可用且满足相应置信度阈值的候选有向边进行路由评分，选取一条或多条下一级路径；选取一条下一级路径时，将该下一级路径与当前识别分支关联；选取多条下一级路径时，分别建立与各条下一级路径一一对应的子分支，将各条下一级路径与对应的子分支关联，所述子分支从属于当前识别分支，并继承当前识别分支已形成的检测链和可逆roi参数链；无可用路径时，将当前识别分支标记为终止，记录终止原因为无可用路径，并转入步骤s7；

8、步骤s5：针对每一与选定的下一级路径相关联的识别分支，根据该下一级路径所绑定的roi扩展策略，基于该识别分支的当前级结果对象的几何承载对象，在来源图像中确定下一级roi区域，并对所述下一级roi区域进行裁剪、缩放、填充及实际需要的图像变换，得到下一级输入roi图像，并计算所述下一级输入roi图像的图像质量评分和遮挡比例，将所述下一级输入roi图像的图像质量评分和遮挡比例与对应的roi参数记录关联保存；记录实际裁剪区域、缩放比例、填充量、扩展系数、实际执行的图像变换参数和坐标系标识，形成当前级roi参数记录；其中，首次执行步骤s5时，建立该识别分支的可逆roi参数链，并将所述当前级roi参数记录作为该可逆roi参数链的首个记录；在后续递进中再次执行步骤s5时，将所述当前级roi参数记录追加至该识别分支的可逆roi参数链；首次执行时来源图像为所述待检测图像，再次执行时来源图像为上一级输入roi图像；

9、步骤s6：针对每一经过步骤s5处理的识别分支，按照与该识别分支相关联的下一级路径所绑定的任务类型和模型，对该识别分支对应的下一级输入roi图像执行检测、分类或分割，得到一个或多个下一级结果对象，包括检测结果对象、分割结果对象以及分类结果对象；其中，检测结果对象的几何承载对象为检测框，分割结果对象的几何承载对象为分割掩膜，分类结果对象的几何承载对象为所述下一级输入roi图像的图像边界所限定的区域；

10、步骤s7：更新各识别分支的检测链；对于经过步骤s5和步骤s6处理的识别分支，将对应的当前级roi参数记录、下一级路径识别状态及下一级结果对象追加至该识别分支的检测链；当该识别分支已被标记为无可用路径，或者达到终端节点、满足终止条件或未得到下一级结果对象时，终止该识别分支并记录相应终止原因；否则，将下一级结果对象更新为当前级结果对象并返回步骤s4；

11、步骤s8：检测链终止后，按可逆roi参数链逆序将末级结果回映至所述待检测图像的像素坐标系，并按铁路部件层级知识图谱的父子几何约束进行校验，校验通过时，将当前检测链标记为通过校验；校验不通过时，将当前检测链标记为疑似检测链并保留各级识别结果和可逆roi参数链供人工复核；

12、步骤s9：对标记为通过校验的检测链或标记为疑似检测链执行跨帧关联，分别计算可信度和风险优先级，并输出含层级关系、原始坐标、可逆roi参数链、模型版本、终止原因、可信度、风险优先级及复核状态的结构化结果，其中，所述原始坐标为回映至所述待检测图像的像素坐标系后的位置坐标。

13、进一步地，所述对模型可用且满足相应阈值的候选有向边进行路由评分，选取一条或多条下一级路径，包括：

14、先对各候选有向边所绑定的模型执行可用性校验；其中，当候选有向边所绑定的模型标识及模型版本对应的模型存在、所述模型能够成功加载、所述模型的输入尺寸与该候选有向边配置的模型输入尺寸相匹配，且所述模型的输出字段满足该候选有向边所绑定任务类型的输出要求时，判定所述模型可用；否则判定所述模型不可用，并记录对应的不可用原因；

15、剔除不可用模型或当前级置信度分数低于对应置信度阈值的候选有向边，并计算剩余候选有向边的路由评分；

16、在计算资源满足预设条件时，选取路由评分不低于路由阈值的一条或多条候选有向边；在计算资源受限时，按照路由评分由高至低选取前  条候选有向边， 为不小于1的预设整数；

17、其中，所述路由阈值为预设的评分下限值。

18、进一步地，通过下式计算剩余候选有向边的路由评分：

19、；

20、其中，为剩余候选有向边， 为当前级置信度分数， 为当前级输入图像的图像质量评分，为当前级输入图像的遮挡比例，表示当前级输入图像中遮挡区域面积占该图像区域总面积的比例；在第一次递进识别时，所述当前级输入图像为待检测图像，在后续递进识别时，所述当前级输入图像为上一递进循环生成的当前级roi图像； 为候选路径对应部件的风险等级， 为候选模型计算代价，候选模型在预设硬件、输入尺寸和批处理大小下测试得到，并归一化至[0,1]； 为候选模型历史误报率，表示候选有向边绑定的模型版本在验证数据或历史标注数据上的误报统计结果； 至  为非负权重。

21、进一步地，所述根据该下一级路径所绑定的roi扩展策略，基于该识别分支的当前级结果对象的几何承载对象，在来源图像中确定下一级roi区域，包括：

22、以当前级结果对象中的几何承载对象为基准，动态计算roi扩展系数，

23、利用roi扩展系数对当前级结果对象中的几何承载对象进行扩展得到下一级roi区域。

24、进一步地，动态计算roi扩展系数的公式为：

25、，

26、其中， 为类别  对应的基础扩展系数，为当前级输入图像的图像质量评分，为当前级输入图像的遮挡比例，表示当前级输入图像中遮挡区域面积占该图像区域总面积的比例；在第一次递进识别时，所述当前级输入图像为待检测图像，在后续递进识别时，所述当前级输入图像为上一递进循环生成的当前级roi图像，为当前级部件风险等级，为当前级置信度分数，为目标尺度归一化值，、、、 和  为非负权重， 和  分别为扩展系数下限和上限。

27、进一步地，所述利用roi扩展系数对当前级结果对象中的几何承载对象进行扩展得到下一级roi区域，包括：

28、以当前级结果对象中的几何承载对象的中心点作为扩展中心，将几何承载对象的宽度和高度分别乘以roi扩展系数，得到扩展后的下一级roi区域宽度和高度。

29、进一步地，扩展公式为：

30、 ，

31、其中，和分别表示几何承载对象的宽度和高度，为roi扩展系数，wk和hk分别为扩展后的下一级roi区域宽度和高度。

32、进一步地，所述对所述下一级roi区域进行裁剪、缩放、填充及实际需要的图像变换，包括：

33、在来源图像上按照下一级roi区域进行裁剪：若扩展后的roi区域超出来源图像边界，则将roi区域裁切到来源图像有效范围内；

34、将裁剪后的roi区域等比例缩放并填充至模型输入尺寸；设第级实际裁剪偏移量为，缩放比例为，左填充量和上填充量为，则来源图像坐标(uk−1,vk−1)映射至当前级图像坐标(uk,vk)的前向变换关系为：

35、；

36、其中，为识别层级数，为第级实际裁剪偏移量，为为第级缩放比例，为第级左填充量和上填充量，(uk−1,vk−1)为来源图像坐标，(uk,vk)为当前级图像坐标；

37、将第  级坐标映射至第  级坐标的对应的基础齐次变换矩阵为：

38、 ；

39、其中，仅在执行旋转、翻转、仿射变换或透视校正时，按照真实处理顺序将相应变换矩阵与所述基础齐次变换矩阵进行组合，得到第 k 级最终齐次变换矩阵，并将组合顺序和矩阵参数写入可逆roi参数链；当未执行所述附加图像变换时，令。

40、进一步地，步骤s7的终止条件包括以下至少一种：识别出最终缺陷类型；当前级节点为终端节点；当前级置信度分数低于置信度阈值；roi尺寸或分割掩膜面积低于最小尺度阈值；达到最大递进层级；不存在候选下一级节点；不存在模型可用且满足置信度阈值的下一级路径；父子类别关系不一致；关键安全部件未获得有效下一级结果而需保留疑似检测链。

41、进一步地，所述按所述可逆roi参数链逆序将末级结果对象逐级回映至所述待检测图像的像素坐标系，包括：

42、设末级为第  级，则齐次坐标为：，且齐次坐标满足：

43、，则末级坐标回映至原始图像坐标的关系为：

44、，

45、其中，为第k级最终齐次变换矩阵，齐次坐标表示第k级图像坐标的齐次坐标，k为末级层级序号；

46、当末级结果对象的几何承载对象为检测框时，回映检测框各角点并取其外接区域；当末级结果对象的几何承载对象为分割掩膜时，回映掩膜像素或边界点；当末级任务为图像分类时，以所述下一级输入roi图像的图像边界作为几何承载对象进行回映；存在透视变换时，对回映所得齐次坐标按第三分量归一化。

47、进一步地，所述按铁路部件层级知识图谱的父子几何约束进行校验，具体包括：

48、针对检测链中相邻层级的父级结果对象和子级结果对象，判断回映后的子级几何承载对象是否位于父级几何承载对象或铁路部件层级知识图谱预设允许区域内，并判断子级几何承载对象与父级几何承载对象之间的面积比例和相对位置是否落入对应的预设范围，得到各项适用父子几何约束的分项校验结果；

49、对所述分项校验结果进行归一化汇总，得到父子几何校验评分，并将所述父子几何校验评分与预设几何校验阈值进行比较；

50、当所述父子几何校验评分不低于所述预设几何校验阈值时，确定校验通过，并将当前检测链标记为通过校验；

51、当所述父子几何校验评分低于所述预设几何校验阈值且未达到预设重试上限时，将当前失败层级对应的父级几何承载对象按照roi扩展策略进行扩展，得到父级roi区域，并以所述父级roi区域为基础重新执行步骤s5至步骤s8；达到所述预设重试上限后，所述父子几何校验评分仍低于所述预设几何校验阈值时，确定校验不通过，将当前检测链标记为疑似检测链，并保留各级识别结果和可逆roi参数链供人工复核。

52、进一步地，所述分别计算可信度和风险优先级，包括：

53、根据所述检测链中相邻两级类别与铁路部件层级知识图谱中父子关系的匹配情况，生成知识图谱层级一致性评分；根据跨帧关联后同一部件在相邻帧中的异常类别一致性、置信度稳定性及回映坐标稳定性，生成跨帧一致性评分；读取所述帧级记录中待检测图像的图像质量评分、父子几何校验评分、铁路部件层级知识图谱中配置的部件风险等级和异常严重度等级，结合检测链中的各级置信度分数，分别计算可信度和风险优先级。

54、进一步地，计算可信度的公式为：

55、，

56、其中，为第k级置信度分数，为知识图谱层级一致性评分，为待检测图像的图像质量评分，为跨帧一致性评分，为父子几何校验评分，、、、和为经归一化的非负权重；

57、计算风险优先级的公式为：

58、，

59、其中，为当前检测链所对应知识图谱路径中配置的部件风险等级，为当前检测链末级异常类型节点所关联的异常严重度等级经归一化后得到的异常严重度评分，、和为非负权重；结构化缺陷识别结果同时保存可信度和风险优先级。

60、本发明另一方面提供了一种基于知识图谱与可逆roi链的4c缺陷识别系统，包括：

61、4c图像获取与质量评估模块1，用于获取4c检测装置采集的巡检视频或图像序列；对所述巡检视频进行解码抽帧，或对所述图像序列进行逐幅读取，得到待检测图像，建立含待检测图像的像素坐标系信息、帧序号、图像质量评分和遮挡比例的帧级记录；

62、知识图谱与识别链配置模块2，用于加载预设的铁路部件层级知识图谱，所述铁路部件层级知识图谱中的节点表示设备区域、部件、子部件或异常类型，其中，异常类型节点关联预设的异常严重度等级；有向边表示父子递进路径并绑定模型标识、模型版本、任务类型、roi扩展策略、置信度阈值、风险等级、候选模型计算代价、候选模型历史误报率、终止条件和父子几何约束；

63、一级定位识别模块3，用于通过预先训练好的目标检测模型执行一级定位识别，得到包含当前级结果标识、当前级类别标签、当前级置信度分数、父级结果标识、当前级坐标系标识及当前级几何承载对象的当前级结果对象；其中，一级定位识别所得当前级几何承载对象为当前级检测框；为每一当前级结果对象建立对应的识别分支，并为每一识别分支建立对应的检测链；所述检测链为按照递进层级顺序关联各级结果对象和各级roi参数记录的有序记录序列；当一级定位识别未检出任何目标时，终止识别流程并记录识别结果为无一级目标；

64、动态图谱路由模块4，用于以当前级类别标签查询铁路部件层级知识图谱，对模型可用且满足相应置信度阈值的候选有向边进行路由评分，选取一条或多条下一级路径；选取一条下一级路径时，将该下一级路径与当前识别分支关联；选取多条下一级路径时，分别建立与各条下一级路径一一对应的子分支，将各条下一级路径与对应的子分支关联，所述子分支从属于当前识别分支，并继承当前识别分支已形成的检测链和可逆roi参数链；无可用路径时，将当前识别分支标记为终止，记录终止原因为无可用路径，并触发检测链与终止控制模块8；

65、动态roi生成模块5，用于针对每一与选定的下一级路径相关联的识别分支，根据该下一级路径所绑定的roi扩展策略，基于该识别分支的当前级结果对象的几何承载对象，在来源图像中确定下一级roi区域，并对所述下一级roi区域进行裁剪、缩放、填充及实际需要的图像变换，得到下一级输入roi图像，并计算所述下一级输入roi图像的图像质量评分和遮挡比例，将所述下一级输入roi图像的图像质量评分和遮挡比例与对应的roi参数记录关联保存；

66、可逆参数链记录模块6，用于记录实际裁剪区域、缩放比例、填充量、扩展系数、实际执行的图像变换参数和坐标系标识，形成当前级roi参数记录；其中，首次运行此模块时，建立该识别分支的可逆roi参数链，并将所述当前级roi参数记录作为该可逆roi参数链的首个记录；在后续递进中再次运行此模块时，将所述当前级roi参数记录追加至该识别分支的可逆roi参数链；首次运行时来源图像为所述待检测图像，再次执行时来源图像为上一级输入roi图像；

67、多级递进识别模块7，用于针对每一经过动态roi生成模块5和可逆参数链记录模块6处理的识别分支，按照与该识别分支相关联的下一级路径所绑定的任务类型和模型，对该识别分支对应的下一级输入roi图像执行检测、分类或分割，得到一个或多个下一级结果对象，包括检测结果对象、分割结果对象以及分类结果对象；其中，检测结果对象的几何承载对象为检测框，分割结果对象的几何承载对象为分割掩膜，分类结果对象的几何承载对象为所述下一级输入roi图像的图像边界所限定的区域；

68、检测链与终止控制模块8，用于更新各识别分支的检测链；对于经过动态roi生成模块5、可逆参数链记录模块6和多级递进识别模块7处理的识别分支，将对应的当前级roi参数记录、下一级路径识别状态及下一级结果对象追加至该识别分支的检测链；当该识别分支已被标记为无可用路径，或者达到终端节点、满足终止条件或未得到下一级结果对象时，终止该识别分支并记录相应终止原因；否则，将下一级结果对象更新为当前级结果对象并触发所述动态图谱路由模块4继续执行；

69、坐标回映与父子几何校验模块9，检测链终止后，按可逆roi参数链逆序将末级结果回映至所述待检测图像的像素坐标系，并按铁路部件层级知识图谱的父子几何约束进行校验，校验通过时，将当前检测链标记为通过校验；校验不通过时，将当前检测链标记为疑似检测链并保留各级识别结果和可逆roi参数链供人工复核；

70、跨帧复核模块10，用于对标记为通过校验的检测链或标记为疑似检测链执行跨帧关联；

71、综合评分与结构化输出模块11，用于分别计算可信度和风险优先级，并输出含层级关系、原始坐标、可逆roi参数链、模型版本、终止原因、可信度、风险优先级及复核状态的结构化结果，其中，所述原始坐标为回映至所述待检测图像的像素坐标系后的位置坐标。

72、由于采用上述技术方案，本发明具有以下有益效果：

73、本发明通过预先建立的铁路部件层级知识图谱，将设备区域、部件、子部件及异常类型之间的父子层级关系与递进路径约束显式化、结构化。在递进识别过程中，系统以当前级类别标签查询知识图谱，在模型可用且满足置信度阈值条件的候选有向边中，按路由评分选取一条或多条下一级路径。与现有固定单级或两级级联方案相比，本发明允许同一父节点下选择不同深度和方向的识别路径，使结构简单的部件快速通过、结构复杂的部件逐级精细识别，有效减少无效计算，克服了固定级联流程适配性差的技术缺陷。

74、本发明通过在每一级roi生成过程中记录实际执行的裁剪偏移量、缩放比例、填充量、扩展系数及可选的旋转、翻转、仿射或透视变换参数，形成完整的可逆roi参数链。递进终止后，按照各级变换矩阵的逆序将末级结果对象（异常点、检测框、分割掩膜或roi边界）逐级回映至原始4c图像坐标系。与现有方案相比，本发明解决了连续多级roi裁剪后局部坐标难以准确恢复至原始图像的技术问题，为人工复核、缺陷精确定位和维修派工提供了可靠的空间定位依据。

75、本发明依据知识图谱中预设的父子几何约束，对回映后的子级结果是否位于父级检测框、父级分割掩膜或预设允许区域内进行校验，并检查面积比例和相对位置是否满足约束范围。校验失败时，在预设重试上限内扩大对应父级roi并重新执行识别与校验，达到上限仍失败时标记为疑似结果而非直接丢弃。与现有方案相比，本发明通过几何约束校验和限次重试机制，有效过滤了因裁剪误差或模型误检导致的跨部件误报，同时避免因无限重试造成处理过程不收敛，兼顾了可靠性和稳定性。

76、本发明将识别结果的可靠性与缺陷风险分开量化：结果可信度由各级置信度、层级一致性、图像质量、跨帧一致性和父子几何校验评分共同构成，反映自动识别的证据强度；风险优先级在可信度基础上独立融合部件风险等级和异常严重度，反映缺陷的维修紧迫程度。与现有方案相比，本发明避免了将高风险等同于高可信的混淆倾向，使复核人员能够根据可信度优先审查证据薄弱的疑似结果，同时根据风险优先级合理调配维修资源，提高了复核效率和维修决策的合理性。