铁路沿线缺陷检测的边缘配置切换与精细识别方法及系统与流程

本发明属于边缘端模型推理优化，具体涉及铁路沿线缺陷检测的边缘配置切换与精细识别方法及系统。

背景技术：

1、铁路沿线的设施和设备（如轨道、护栏、号牌、线路设备等）对铁路运输的安全性至关重要。然而，由于这些设施分布范围广、环境复杂、运行条件苛刻，其检查和维护工作历来是铁路运营的重要挑战。而在实现铁路沿线缺陷检测与识别时，往往会采用较多的模型对缺陷提取与识别，例如yolo模型、ocr识别技术和卡尔曼滤波模型等。而在实际场景下，铁路沿线缺陷识别模型往往部署在火车或者检测小车上，当模型被边缘部署时，模型持续消费视频帧，其服务速率决定输入队列是否积压；后续各个模型若逐帧调用，又会造成重复计算和显存竞争，导致整体缺陷识别效率降低。

2、现有pytorch-onnx-tensorrt链路能够解决模型格式转换，例如中国专利202511877040.9公开pytorch、onnx和tensorrt边缘部署及int8模型部署至巡检小车npu。却未具体解决资源和负载波动时如何选配置、切换时如何保持帧和轨迹一致、在线与离线如何共用业务链，以及如何利用轨迹优选降低后续模型调用。

3、现有边缘部署方案通常以模型格式转换、量化或单一精度切换为重点，缺少同时面向任务约束、设备资源和视频内容的运行时配置决策机制。特别是在铁路巡检视频连续到达、目标跨帧形成轨迹的情况下，仅改变推理引擎或批大小可能造成队列积压、活动轨迹中断、同一结果重复写入或高负载期间精细模型过度调用。

4、因此，需要一种能够对候选推理配置进行上线前健康校验、在运行时量化配置收益与切换成本、在切换期间保存帧水位和轨迹状态，并将在线低时延处理与离线补处理纳入统一结果版本体系的闭环推理优化方案。

技术实现思路

1、本发明公开了铁路沿线缺陷检测的边缘配置切换与精细识别方法及系统，拟解决缺陷检测模型边缘部署时推理配置难以稳定选择、配置切换易造成帧或轨迹状态不一致、精细模型重复调用以及在线与离线结果难以统一的技术问题。

2、为解决上述存在的技术问题，本发明采用的技术方案如下：

3、一种铁路沿线缺陷检测的边缘配置切换方法，包括以下步骤：

4、s1：获取初步检测模型和代表性样本，建立基线输出；所述基线输出为初步检测模型在边缘端上基于代表性样本的缺陷识别结果；

5、s2：基于初步检测模型构建配置池，使用代表性样本获取缺陷识别结果，执行一致性校验并形成健康配置池；

6、s3：接收视频任务并建立任务、片段、帧和轨迹标识，获取状态向量并计算配置负载率；

7、s4：根据s3中的配置负载率对健康配置池进行硬约束过滤，计算多目标代价确定目标配置；

8、s5：基于多目标代价、连续窗口数和配置最短驻留时间构建配置切换条件，根据配置切换条件进行配置切换。

9、本发明不依据单一设备利用率或固定阈值直接切换精度，而是先通过基线一致性指标形成健康配置池，再将任务状态、资源状态和内容状态拼接为状态向量，通过硬约束过滤与多目标代价共同确定可安全上线的目标配置。‌

10、进一步的，s2中配置池中第k个推理配置及其属性向量分别定义为：

11、

12、

13、为引擎标识，为精度，为输入尺寸，为批大小，为动态形状，为后处理版本；为时延，为吞吐，为峰值显存，为功耗或温升，为质量偏差，为健康状态；所述引擎标识包括batch=1、batch=4、batch=8或dynamic shape引擎，所述精度包括fp32、fp16和int8精度；

14、s2中一致性校验将使用配置池中配置用于初步检测模型，并使用代表性样本进行缺陷识别，根据缺陷识别结果与基线输出计算一致性校验指标，所述一致性校验指标包括检测框匹配率、类别一致率、平均置信偏差、漏检增量和候选输出与基线的交并比。当、、且时，配置进入健康池。

15、进一步的，s3中状态向量由任务状态、资源状态和内容状态拼接而成，状态向量具体为：

16、

17、式中，为任务状态，包括输入类型、时延上限、队列长度、到达帧率、优先级、网络状态及是否允许补处理；为资源状态，包括gpu/npu利用率、可用显存、cpu、温度、功耗、剩余存储和驻留引擎；为内容状态，包括目标数、小目标比例、平均置信度、模糊、遮挡、轨迹稳定度和难例比例；

18、s3中配置负载率的计算具体为：

19、

20、式中，视频到达率，由滑动窗口内进入队列的帧数除以窗口时长获得，配置服务率，由同一窗口内配置k完成推理的帧数除以窗口时长获得；表示队列将持续增长。

21、进一步的，s4中硬约束过滤具体为：

22、

23、为可用显存，为安全余量，为偏差上限，为结合当前负载预测的端到端时延；

24、s4中多目标代价具体为：

25、

26、式中，为预测时延，为积压风险，为资源占用，为温升风险，为质量偏差，为加载、预热和缓存迁移成本，为内容适配收益，各项归一化；

27、获取硬约束过滤条件下的最小多目标代价的配置为：

28、

29、进一步的，s5中配置切换条件为：、配置在连续n个窗口成立，且；

30、式中，为收益阈值，n为连续窗口数，为最短驻留时间；s5中所述配置切换触发类型包括普通触发和保护触发，对于两种配置切换触发类型均采用六状态安全校验机制进行安全切换；所述六状态安全切换分别为prepare、drain、snapshot、warmup、commit和rollback。

31、本发明将普通触发和保护触发与具体执行过程分离，利用prepare、drain、snapshot、warmup、commit和rollback六状态过程记录在途批次水位、活动轨迹快照及最后确认输出水位，使推理配置变化不重置轨迹跟踪器，并支持异常回滚。

32、一种铁路沿线缺陷检测的边缘精细识别方法，依据上述铁路沿线缺陷检测的边缘配置切换方法完成初步检测模型的边缘端部署后，还包括：

33、s6：使用s1到s5中确定的配置进行缺陷的初步检测，将结果输入轨迹跟踪器构造缺陷轨迹；

34、s7：计算同一轨迹中所有帧的优选质量用于确定优选帧，计算轨迹不确定度用于调度精细模型；

35、s8：根据上述轨迹优选帧执行位置标定，计算结果幂等键并反馈统计。

36、本发明对同一轨迹的候选帧计算优选质量和轨迹不确定度，以轨迹而非逐帧作为精细模型调用单位，在直接输出、精细推理和离线补处理之间进行选择，降低重复计算和显存竞争。

37、进一步的，s7中优选质量的计算具体为：

38、

39、式中，为置信度，为目标尺寸，为清晰度，为完整度，为遮挡，为贴边惩罚；

40、s7中轨迹不确定度的计算具体为：

41、

42、式中，h为类别熵，为轨迹内各帧类别概率；为跨帧类别不一致率，为低置信帧比例，为轨迹稳定度。

43、进一步的，s8中结果幂等键具体为：

44、

45、所述反馈更新计算当前配置的配置负载率，根据所述配置负载率执行步骤s3进行配置切换。

46、本发明以任务id、帧id、轨迹id、模型阶段/模型版本及处理版本构成幂等键，使在线结果、离线补处理结果、重试结果和回滚结果能够识别同一业务对象并按照版本规则合并，同时将运行统计反馈到状态向量以触发下一轮配置决策。

47、一种铁路沿线缺陷检测的边缘配置切换系统，包括基线输出模块、配置池管理模块、状态采集模块、约束决策模块和安全切换模块；

48、基线输出模块：用于获取初步检测模型和代表性样本，建立基线输出；所述基线输出为初步检测模型在边缘端上基于代表性样本的缺陷识别结果；

49、配置池管理模块：基于初步检测模型构建配置池，使用代表性样本获取缺陷识别结果，执行一致性校验并形成健康配置池；

50、状态采集模块：用于接收视频任务并建立任务、片段、帧和轨迹标识，获取状态向量并计算配置负载率；

51、约束决策模块：根据上述配置负载率对健康配置池进行硬约束过滤，计算多目标代价确定目标配置；

52、安全切换模块：基于多目标代价、连续窗口数和配置最短驻留时间构建配置切换条件，根据配置切换条件进行配置切换；

53、所述铁路沿线缺陷检测的边缘配置切换系统用于实现上述铁路沿线缺陷检测的边缘配置切换方法。

54、一种铁路沿线缺陷检测的边缘精细识别系统，所述铁路沿线缺陷检测的边缘精细识别系统根据上述的铁路沿线缺陷检测的边缘配置切换系统完成边缘端部署后，还包括初步检测与轨迹跟踪模块、轨迹优选与精细识别模块、位置标定与反馈更新模块；

55、初步检测与轨迹跟踪模块：使用上述边缘配置切换系统中确定的配置进行缺陷的初步检测，将结果输入轨迹跟踪器构造缺陷轨迹；

56、轨迹优选与精细识别模块：用于计算同一轨迹中所有帧的优选质量用于确定优选帧，计算轨迹不确定度用于调度精细模型；

57、位置标定与反馈更新模块：根据上述轨迹优选帧执行位置标定，计算结果幂等键并反馈统计。

58、综上所述，由于采用了上述技术方案，本发明的有益效果是：

59、1.本发明通过任务状态、资源状态和内容状态三类状态联合决策，不只依赖固定场景或单一精度阈值；通过硬约束过滤掉显存超限、偏差较大和高时延的预设配置，计算并选择其中多目标代价较小的配置，将时延、队列、显存、温度、功耗和内容难度转化为可计算的配置选择依据；同时，设计滞回和驻留策略降低频繁切换，有效降低了配置的切换频率。

60、2.本发明设计了prepare、drain、snapshot、warmup、commit和rollback六状态安全切换，通过帧水位、轨迹快照、幂等写入和回滚保证配置切换前后的数据一致性；

61、3.本发明计算轨迹质量和不确定度，并依据轨迹质量与不确定度调用精细化识别模型，将精细模型从逐帧调用改为按需调用；

62、4.本发明将配置切换划分为在线低延时处理与离线吞吐与补处理，实现了在线快速处理与离线补处理共享标识和版本。