面向端边云协同的多模态推理流水线并行加速方法与流程

摘要: 本技术涉及工业视觉检测,尤其涉及面向端边云协同的多模态推理流水线并行加速方法。背景技术:1、随着工业相机分辨率与产线运行速度的提升,单帧图像数据量急剧增加。传统...
面向端边云协同的多模态推理流水线并行加速方法与流程

本技术涉及工业视觉检测,尤其涉及面向端边云协同的多模态推理流水线并行加速方法。

背景技术:

1、随着工业相机分辨率与产线运行速度的提升,单帧图像数据量急剧增加。传统基于单节点、单批次的深度学习推理架构,受限于串行计算模式,已难以满足卷材表面缺陷检测对毫秒级延迟的实时性要求,导致检测结果滞后,无法及时驱动执行机构进行闭环控制。

2、在端边云协同部署场景下,端侧设备算力有限,而云侧服务器虽算力强大却存在网络传输延迟。现有技术缺乏对推理任务的合理切分与动态负载平衡策略,难以在计算资源与通信开销之间取得最优解,导致硬件利用率低下,无法充分发挥异构计算平台的潜能。

3、换卷时新旧卷材在基底纹理上存在固有差异,沿用旧背景特征会将正常差异误判为缺陷,引发大量误报与非计划停机。同时,传统点估计推理无法量化模型不确定性,级联网络中误差逐层累积,严重降低了系统在复杂动态工况下的检测可靠性与决策可信度。

技术实现思路

1、本技术的实施例提供面向端边云协同的多模态推理流水线并行加速方法,通过流水线并行提升实时吞吐量、物理换卷触发的背景特征重算消除换卷误报、区间估计与级联交运算提升决策可靠性,并具备快速恢复能力,实现了高实时性、高准确率的端边云协同多模态推理控制,为达到上述目的,本技术采用如下技术方案:

2、面向端边云协同的多模态推理流水线并行加速方法,所述方法包括:

3、获取当前时刻的工业传感数据,所述工业传感数据包括高分辨率图像及工艺参数;

4、响应于接收到的物理换卷信号,提取已存储的冻结背景前缀特征;

5、计算所述高分辨率图像与所述冻结背景前缀特征之间的像素级差值,生成残差特征张量;

6、将所述残差特征张量与工艺参数得到的参数向量按通道拼接,生成多模态融合向量;

7、将所述多模态融合向量按流水线微批次切分,依次输入至级联的卷积层与全连接层,对每层输出取逐元素激活函数,得到中间置信区间;

8、将相邻级联阶段输出的中间置信区间进行区间交运算,得到更新后的区间上下界,并作为最终控制决策区间输出;

9、将所述最终控制决策区间作为控制指令发送至产线执行机构;

10、响应于从所述产线执行机构接收到的下一物理换卷信号,重新计算所述冻结背景前缀特征,并将重新计算得到的冻结背景前缀特征用于下一时刻的像素级差值计算。

11、在某些可能实现的方式中,所述提取已存储的冻结背景前缀特征,包括:

12、解析所述物理换卷信号中携带的产线编号;

13、根据所述产线编号从非易失性存储区读取对应的冻结背景前缀特征;

14、将读取得到的冻结背景前缀特征作为当前推理周期的冻结背景前缀特征输出。

15、在某些可能实现的方式中,所述计算所述高分辨率图像与所述冻结背景前缀特征之间的像素级差值,生成残差特征张量,包括:

16、对所述高分辨率图像执行与冻结背景前缀特征相同的归一化变换,得到归一化图像张量;

17、将所述归一化图像张量与所述冻结背景前缀特征按对应像素位置执行逐元素减法,得到原始残差图;

18、对所述原始残差图执行逐元素绝对值运算,生成残差幅值图;

19、将所述残差幅值图输入至预设的阈值过滤层,生成残差特征张量。

20、在某些可能实现的方式中,所述将所述残差特征张量与工艺参数得到的参数向量按通道拼接,生成多模态融合向量,包括:

21、解析所述工艺参数,提取温度、张力及速度数值;

22、将所述温度、张力及速度数值分别映射至与残差特征张量通道维度相匹配的嵌入向量;

23、对所述嵌入向量执行层归一化处理,生成参数向量;

24、将所述残差特征张量与参数向量在通道维度执行拼接操作,生成多模态融合向量。

25、在某些可能实现的方式中,所述将所述多模态融合向量按流水线微批次切分,依次输入至级联的卷积层与全连接层,包括:

26、获取当前推理流水线的显存容量及单张图像特征尺寸;

27、根据所述显存容量及单张图像特征尺寸,计算单批次可容纳的最大图像帧数,作为微批次大小;

28、按照所述微批次大小,沿批次维度对所述多模态融合向量进行切片,生成多个微批次子向量;

29、记录每个微批次子向量在所述多模态融合向量中的原始批次索引;

30、按照所述原始批次索引的顺序,依次将各微批次子向量输入至级联的卷积层与全连接层。

31、在某些可能实现的方式中,所述对每层输出取逐元素激活函数,得到中间置信区间,包括:

32、将卷积层与全连接层输出的原始张量按通道维度等分为下限通道组与上限通道组;

33、对所述下限通道组执行逐元素的指数归一化变换,生成归一化下限子张量;

34、对所述上限通道组执行逐元素的指数归一化变换,生成归一化上限子张量;

35、在所述归一化下限子张量与归一化上限子张量之间执行逐元素比较,确保下限不大于上限;

36、将比较后的归一化下限子张量与归一化上限子张量沿通道维度按顺序拼接,组合为中间置信区间。

37、在某些可能实现的方式中,所述将相邻级联阶段输出的中间置信区间进行区间交运算,得到更新后的区间上下界,包括:

38、提取第一级联阶段输出的第一下限张量与第一上限张量;

39、提取第二级联阶段输出的第二下限张量与第二上限张量;

40、对每一张量位置,取两个下限张量中的较大值作为交运算后区间的下限,取两个上限张量中的较小值作为交运算后区间的上限;

41、将所述交运算后的下限张量与上限张量组合为更新后的区间上下界。

42、在某些可能实现的方式中,所述将所述最终控制决策区间作为控制指令发送至产线执行机构,包括:

43、解析所述最终控制决策区间的下限张量与上限张量;

44、计算所述下限张量与上限张量沿决策维度的中心值,生成控制量数值,将所述控制量数值作为执行机构驱动信号,将所述下限张量与上限张量保留用于下一轮推理周期的置信度校验;

45、根据所述控制量数值生成包括执行动作代码及持续时间的控制指令;

46、将所述控制指令写入与所述产线执行机构连接的通信端口。

47、在某些可能实现的方式中,所述响应于从所述产线执行机构接收到的下一物理换卷信号,包括:

48、监听与所述产线执行机构连接的反馈通道;

49、解析所述反馈通道中传输的设备状态报文;

50、当所述设备状态报文指示产线进入换卷状态时,判定为接收到下一物理换卷信号;

51、提取所述下一物理换卷信号中携带的新卷材纹理图像;

52、根据所述新卷材纹理图像,触发冻结背景前缀特征的重新计算流程;

53、将重新计算得到的冻结背景前缀特征关联至所述下一物理换卷信号对应的推理周期。

54、在某些可能实现的方式中,所述将重新计算得到的冻结背景前缀特征用于下一时刻的像素级差值计算,包括:

55、将重新计算得到的冻结背景前缀特征写入非易失性存储区,替换原存储区中的特征;

56、在下一时刻获取当前高分辨率图像时,同步调用替换后的冻结背景前缀特征;

57、对所述替换后的冻结背景前缀特征执行与所述高分辨率图像相同的归一化变换;

58、将归一化后的替换特征作为像素级差值计算的基准张量。

59、由上述技术方案可知,本技术具有如下有益效果:

60、1.本技术通过将推理过程拆分为多个流水线阶段并以微批次粒度并行执行,使各计算阶段在时间上高度重叠,有效提升了端到端的推理吞吐量,充分满足产线高速运转的实时性要求。同时,通过引入冻结背景前缀特征并结合物理换卷信号触发背景重算机制,确保检测基准始终与当前卷材的实际表面特性保持一致,从根本上消除了因背景基底变化引发的系统性误报,大幅减少了非计划停机频次,显著降低了产线误检带来的生产成本与运营干扰。

61、2.本技术将神经网络每层输出从传统的点估计扩展为区间估计,并结合级联区间交运算实现逐级一致性滤波,有效抑制了误差在深层网络中的累积与传播,显著提升了模型在复杂动态工况下的决策可靠性与准确率。此外,通过建立跨周期的决策区间一致性校验机制,有效防止了单帧图像异常引发的误动作。同时,采用原子写入方式将更新后的背景特征存入非易失性存储区,使系统遭遇重启后无需重新采集标定即可快速恢复检测,极大增强了产线的连续可用性与抗故障能力。