边缘计算推理方法及相关设备与流程

本技术涉及视觉检测，更具体地说，本技术涉及一种边缘计算推理方法及相关设备。

背景技术：

1、随着智能制造、工业视觉检测以及边缘人工智能技术的不断发展，基于边缘计算终端的视觉检测系统因其低延迟、高实时性以及现场部署灵活等优势，逐渐应用于自动光学检测、智能质检、工业机器人等应用场景。作为实现工业设备实时感知与智能决策的重要技术手段，边缘计算推理过程的稳定性与确定性直接影响视觉检测系统的检测效率和检测结果可靠性。

2、然而，相关技术中，边缘计算终端通常需要同时执行图像采集、模型推理、数据传输等多个任务，各任务之间共享操作系统调度资源，导致外部触发事件与图像采集、推理处理之间存在时间不确定性；传统方法通常通过增加缓存容量、调整任务优先级或优化调度策略等方式降低任务延迟，但难以从根本上解决外部触发信号与推理任务之间无法严格对应的问题；特别是在多触发、高频采集或计算资源受限的场景下，容易出现图像帧与触发事件匹配偏差、推理任务等待时间增加以及推理结果时效性降低等问题。也即，相关技术中存在边缘计算推理过程中外部触发事件与推理任务对应关系不确定、推理时延不可控以及推理结果可靠性较低的技术问题。

技术实现思路

1、在本技术的 技术实现要素： 部分中，对相关技术方案进行了概括性说明，并引入了一系列简化表述的概念，相关内容将在具体实施方式部分中作进一步详细阐述。本发明内容部分不应被理解为对所要求保护的技术方案的关键特征或必要技术特征作出限定，也不用于限定所要求保护的技术方案的保护范围。

2、本技术提供的边缘计算推理方法及相关设备，能够通过建立外部触发事件与目标帧图像的确定性关联，并结合时序校验、推理路径动态切换以及推理数据追溯机制，能够提高边缘计算推理过程的时间确定性、结果可靠性和数据可追溯性。

3、第一方面，本技术提供一种边缘计算推理方法，应用于边缘计算终端，包括：获取外部触发信号对应的第一时刻和触发标识，其中，所述外部触发信号独立于所述边缘计算终端的内部任务调度时钟；基于所述触发标识，获取对应的目标帧图像以及所述目标帧图像的第二时刻；若所述第一时刻与所述第二时刻之间的时间差小于或等于预设偏差阈值，则基于第一推理路径对所述目标帧图像进行第一推理处理；若在所述第一推理处理的过程中，所述第一推理处理的预计总耗时大于预设推理时长上限，则终止所述第一推理处理，并基于第二推理路径对所述目标帧图像进行第二推理处理，以得到推理结果，否则，继续执行所述第一推理处理以得到所述推理结果，其中，所述第二推理处理的计算资源占用低于所述第一推理处理；输出推理数据包，所述推理数据包包括所述触发标识、所述第一时刻、所述第二时刻和所述推理结果。

4、在一些实施方式中，所述获取外部触发信号对应的第一时刻和触发标识，包括：通过硬件中断服务程序获取触发事件发生时的系统定时器计数值，将所述系统定时器计数值确定为所述第一时刻；基于所述外部触发信号的接收顺序，按照预设递增规则生成全局唯一序号作为所述触发标识。

5、在一些实施方式中，所述基于所述触发标识，获取对应的目标帧图像以及所述目标帧图像的第二时刻，包括：从图像采集设备的帧缓存队列中，检索帧捕获时间戳与所述第一时刻的时间差最小的所述目标帧图像；将所述目标帧图像的帧捕获时间戳确定为所述第二时刻。

6、在一些实施方式中，所述边缘计算推理方法还包括：若所述第一时刻与所述第二时刻之间的时间差大于所述预设偏差阈值，则获取与所述触发标识相邻的前一触发标识所对应的历史帧图像；对所述目标帧图像与所述历史帧图像执行帧间差分处理，得到差分图像；基于所述差分图像中非零像素的分布特征，判断所述目标帧图像是否为重复触发采集帧；若判定为重复触发采集帧，则采用所述历史帧图像对应的历史推理结果作为所述目标帧图像的推理结果，并生成包含复用标识的推理数据包；若判定为非重复触发采集帧，则生成包含无效状态标记和所述触发标识的检测结果。

7、在一些实施方式中，所述若在所述第一推理处理的过程中，所述第一推理处理的预计总耗时大于预设推理时长上限，则终止所述第一推理处理，包括：获取预设人工智能推理模型当前已执行完成的推理层数量以及所述预设人工智能推理模型的推理层总数量；根据所述已执行完成的推理层数量与所述推理层总数量的第一比值，以及从所述第一推理处理启动至当前时刻的已消耗推理时长，确定完成剩余推理层的预计剩余时长；获取所述边缘计算终端的当前工作温度以及神经网络处理器的当前负载率；根据所述当前工作温度与预设基准温度的第一偏差量，以及所述当前负载率与预设基准负载率的第二偏差量，对所述预计剩余时长进行修正，得到修正后的预计剩余时长；若所述已消耗推理时长与所述修正后的预计剩余时长之和大于所述预设推理时长上限，则向所述预设人工智能推理模型发送推理中止指令。

8、在一些实施方式中，所述第二推理路径包括基于预设轻量检测算法的推理处理，所述预设轻量检测算法部署于所述边缘计算终端中的独立硬件加速单元，所述独立硬件加速单元在所述边缘计算终端的系统初始化阶段完成资源锁定，以在运行期间不被其他任务抢占。

9、在一些实施方式中，在所述输出推理数据包之后，所述边缘计算推理方法还包括：获取预设统计周期内多个推理数据包中的所述第一时刻与所述第二时刻之间的时间差；根据多个所述时间差，确定所述预设统计周期内的触发-帧同步抖动分布；基于所述触发-帧同步抖动分布，对所述预设偏差阈值和/或所述预设推理时长上限进行调整。

10、在一些实施方式中，所述基于所述触发-帧同步抖动分布，对所述预设偏差阈值和/或所述预设推理时长上限进行动态调整，包括：获取所述边缘计算终端对应产线的产品良率数据；基于所述触发-帧同步抖动分布和所述产品良率数据，构建抖动-良率关联模型；根据所述抖动-良率关联模型，预测下一统计周期内不同推理时长配置下的预期良率；将所述预设推理时长上限调整至目标推理时长，所述目标推理时长使得所述预期良率满足预设良率约束条件且推理完成率最大化。

11、在一些实施方式中，所述输出推理数据包，包括：获取所述第一推理处理或所述第二推理处理对应输出的模型版本标识、置信度信息、降级指示信息以及所述目标帧图像对应的图像采集设备标识；基于所述边缘计算终端的唯一设备标识和当前时间戳，生成数据包摘要签名；将所述模型版本标识、所述置信度信息、所述降级指示信息、所述图像采集设备标识、所述数据包摘要签名与所述触发标识、所述第一时刻、所述第二时刻和所述推理结果组合为所述推理数据包。

12、第二方面，本技术还提供一种边缘计算推理装置，应用于边缘计算终端，包括：信号获取单元，用于获取外部触发信号对应的第一时刻和触发标识，其中，所述外部触发信号独立于所述边缘计算终端的内部任务调度时钟；图像获取单元，用于基于所述触发标识，获取对应的目标帧图像以及所述目标帧图像的第二时刻；时差处理单元，用于若所述第一时刻与所述第二时刻之间的时间差小于或等于预设偏差阈值，则基于第一推理路径对所述目标帧图像进行第一推理处理；推理处理单元，用于若在所述第一推理处理的过程中，所述第一推理处理的预计总耗时大于预设推理时长上限，则终止所述第一推理处理，并基于第二推理路径对所述目标帧图像进行第二推理处理，以得到推理结果，否则，继续执行所述第一推理处理以得到所述推理结果，其中，所述第二推理处理的计算资源占用低于所述第一推理处理；数据输出单元，用于输出推理数据包，所述推理数据包包括所述触发标识、所述第一时刻、所述第二时刻和所述推理结果。

13、第三方面，本技术还提供一种电子设备，包括：存储器和处理器，所述处理器用于执行所述存储器中存储的计算机程序时实现第一方面所述的边缘计算推理方法的步骤。

14、第四方面，本技术还提供一种计算机可读存储介质，存储有计算机可执行指令或计算机程序，所述计算机可执行指令或所述计算机程序被处理器执行时实现第一方面所述的边缘计算推理方法的步骤。

15、第五方面，本技术还提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本技术实施例提供的边缘计算推理方法的步骤。

16、综上，本技术通过获取独立于边缘计算终端内部任务调度时钟的外部触发信号对应的第一时刻和触发标识，并基于该触发标识获取对应的目标帧图像及第二时刻，可以建立外部触发事件与图像数据之间的对应关系，由于外部触发信号不受边缘计算终端内部任务调度影响，因此能够避免因操作系统任务调度、计算资源竞争等因素造成的触发事件与图像采集之间的对应关系不确定的问题，从而提高推理任务输入数据与实际触发事件之间的时间一致性；通过比较第一时刻与第二时刻之间的时间差，并在该时间差满足预设偏差阈值时才基于第一推理路径执行推理处理，可以对目标帧图像的时序有效性进行判断，能够筛选出与外部触发事件时间匹配的目标帧图像，减少由于触发信号与图像采集时刻偏差过大导致的推理结果不准确问题，提高边缘计算终端执行推理任务时的可靠性；在第一推理处理过程中，通过判断第一推理处理的预计总耗时是否超过预设推理时长上限，并在预计超过时终止第一推理处理，切换至计算资源占用更低的第二推理路径进行处理，可以避免复杂推理任务持续占用计算资源而导致推理任务无法及时完成的问题，由于第二推理路径的计算资源占用低于第一推理路径，因此能够在推理时间受到限制的情况下继续输出推理结果，从而提高推理过程的时间可控性；通过输出包含触发标识、第一时刻、第二时刻以及推理结果的推理数据包，可以保留外部触发事件、图像采集过程以及推理结果之间的关联信息，使后续能够基于推理数据包对推理过程进行追溯和分析，在保证推理任务与外部触发事件对应关系的基础上，还能够提高推理结果的数据完整性和可追溯性。综上所述，本技术提供的边缘计算推理方法通过建立外部触发事件与目标帧图像的确定性关联，并结合时序校验、推理路径动态切换以及推理数据追溯机制，能够提高边缘计算推理过程的时间确定性、结果可靠性和数据可追溯性。