一种云边端协同的轻量化大模型缺陷检测系统

本发明属于轻量化大模型的，涉及了一种云边端协同的轻量化大模型缺陷检测系统。

背景技术：

1、半导体制造与精密光学元件生产等工业场景中，机器视觉缺陷检测系统是保障良率的重要环节。随着产线向高速和高集成度方向发展，待检图像数据流呈现出海量和高维的特性，且缺陷形态日益微弱和多样化。这给现有的检测技术带来了挑战，目前的检测痛点在于需要在满足产线毫秒级实时响应节拍的同时，实现对微弱异常或新型缺陷的准确识别。

2、申请公布号为cn120930709a的中国发明专利公开了面向复杂场景的ai大模型轻量化部署方法。该方法通过对预训练网络执行结构化剪枝和动态混合精度量化获得轻量化网络参数并部署于边缘设备，同时在检测到边缘推理结果包含异常特征时，通过计算边缘设备与云端教师模型输出概率分布的差异生成梯度更新指令，进而控制边缘设备进行网络参数的同步更新。

3、然而，上述现有技术在面对高吞吐量的工业图像数据流时仍存在局限性。该方案在边缘端仍需通过软件层面调用神经网络对全量输入数据进行完整的前向推理，这导致海量无缺陷的正常背景数据占用了较多的边缘计算资源；并且其模型动态演化依赖于异常概率分布比对以及软件层面的整体网络梯度同步，这种交互方式在传输复杂异常特征时容易引发较高的带宽消耗与处理延迟，难以在边缘端算力受限的条件下实现对海量正常样本的低开销过滤与底层检测特征库的低延迟快速适配。

4、因此，如何降低边缘端对海量正常背景数据的冗余计算开销并实现异常特征的低延迟靶向云边协同更新，是本领域亟待解决的技术问题。

技术实现思路

1、为了解决上述的问题，本发明提供了一种云边端协同的轻量化大模型缺陷检测系统。

2、一种云边端协同的轻量化大模型缺陷检测系统，包括：

3、特征生成模块，通过边缘计算单元对获取的原始像素矩阵信号进行频域转换，得到中间态特征张量阵列；

4、状态判定模块，测算中间态特征张量阵列的空间非零密度，并将空间非零密度与预设静态阈值进行比对，得到特征状态边界；

5、异常提取模块，响应于空间非零密度超过预设静态阈值，提取中间态特征张量阵列中的非零元素及其坐标，生成非零有效特征数组和非零位置索引掩码；

6、密钥封装模块，将非零有效特征数组和非零位置索引掩码进行合并与封装，生成加密特征数据流并发送至云端处理中心；

7、云端唤醒模块，解析接收的加密特征数据流以获取非零位置索引掩码，并映射云端大模型的物理显存地址池，以触发开启状态的频域感受野算子窗口；

8、梯度生成模块，将非零有效特征数组导入频域感受野算子窗口，通过基于语义特征的残差反向推导运算，生成目标梯度修正张量；

9、边缘演化模块，将目标梯度修正张量下发至边缘计算单元，通过覆写对应的物理寄存器内的寄存器增益权重状态，实现频域特征增益映射的本地自适应更新。

10、本发明进一步的方案，通过边缘计算单元对获取的原始像素矩阵信号进行频域转换，得到中间态特征张量阵列，包括以下步骤：

11、获取连续的原始像素矩阵信号，划拨边缘计算单元的物理内存区域作为物理缓存空间；

12、通过边缘计算单元的感知网络，对原始像素矩阵信号执行二维离散傅里叶变换，分离出幅度和相位分量，得到频域特征流；

13、将频域特征流按时间顺序写入物理缓存空间，得到包含时间、通道、垂直空间频率和水平空间频率维度的中间态特征张量阵列。

14、本发明进一步的方案，通过边缘计算单元的感知网络，对原始像素矩阵信号执行二维离散傅里叶变换，分离出幅度和相位分量，得到频域特征流，包括以下步骤：

15、提取单帧的原始像素矩阵信号中的像素强度值；

16、基于空间坐标与频域坐标，对像素强度值进行频域映射计算，得到包含幅度和相位信息的频域复数值；

17、从频域复数值中解耦提取幅度谱和相位谱，组合得到频域特征流。

18、本发明进一步的方案，测算中间态特征张量阵列的空间非零密度，并将空间非零密度与预设静态阈值进行比对，得到特征状态边界，包括以下步骤：

19、建立物理缓存空间内的静态随机存取存储器阵列与激活值寻址监控器的监控链路；

20、通过激活值寻址监控器，统计访问中间态特征张量阵列时绝对值大于预设本底噪声屏蔽阈值的非零寻址激活频次；

21、基于非零寻址激活频次与中间态特征张量阵列的元素总数量，换算得到空间非零密度；

22、响应于空间非零密度大于预设静态阈值，触发内部状态寄存器翻转，生成特征状态边界。

23、本发明进一步的方案，响应于空间非零密度超过预设静态阈值，提取中间态特征张量阵列中的非零元素及其坐标，生成非零有效特征数组和非零位置索引掩码，包括以下步骤：

24、响应于空间非零密度超过预设静态阈值，挂起当前主任务，向外部控制接口输出默认安全指令信号；

25、遍历中间态特征张量阵列，提取绝对值大于预设本底噪声屏蔽阈值的有效幅度元素及相位元素实值，组合成一维数组形式的非零有效特征数组；

26、将非零有效特征数组在中间态特征张量阵列中的多维坐标索引值组织成二维整数矩阵，作为包含多维坐标拓扑信息的非零位置索引掩码。

27、本发明进一步的方案，将非零有效特征数组和非零位置索引掩码进行合并与封装，生成加密特征数据流并发送至云端处理中心，包括以下步骤：

28、将非零有效特征数组与非零位置索引掩码进行关联排列，得到包含坐标与实值的关联排列数据；

29、基于边缘计算单元的媒体访问控制地址、当前时间戳以及数据包序列号执行加密摘要提取运算，生成首部定长哈希校验码；

30、将首部定长哈希校验码插入关联排列数据的头部寄存器位，经预共享密钥加密处理，生成加密特征数据流并发送至云端处理中心。

31、本发明进一步的方案，解析接收的加密特征数据流以获取非零位置索引掩码，并映射云端大模型的物理显存地址池，以触发开启状态的频域感受野算子窗口，包括以下步骤：

32、接收加密特征数据流，阻断输入云端大模型的全量图像推断任务，维持云端大模型中未激活神经元的休眠状态；

33、对加密特征数据流进行解密并验证首部定长哈希校验码，解析出非零位置索引掩码；

34、将非零位置索引掩码中的坐标序列转换为指向云端大模型多头自注意力模块的物理显存地址池的指针，定点触发开启状态的频域感受野算子窗口。

35、本发明进一步的方案，将非零有效特征数组导入频域感受野算子窗口，通过基于语义特征的残差反向推导运算，生成目标梯度修正张量，包括以下步骤：

36、通过数据总线将非零有效特征数组注入对应的频域感受野算子窗口；

37、调用云端大模型的局部频带注意力机制参数，将非零有效特征数组与特征空间中相邻的键向量进行加权匹配，执行基于语义特征的残差反向推导运算；

38、提取基于语义特征的残差反向推导运算产生的误差反向传播特征，生成维度与拓扑结构同非零有效特征数组一致的目标梯度修正张量。

39、本发明进一步的方案，将目标梯度修正张量下发至边缘计算单元，通过覆写对应的物理寄存器内的寄存器增益权重状态，实现频域特征增益映射的本地自适应更新，包括以下步骤：

40、接收目标梯度修正张量，提取首部定长哈希校验码进行反向溯源定位，确定产生异常特征的边缘计算单元内部的具体底层硬件；

41、向具体底层硬件发出指令，调取预先存储在缓冲队列中的原始前向幅度特征实值；

42、利用目标梯度修正张量中的梯度值，覆写物理寄存器内的寄存器增益权重状态，完成频域特征增益映射的本地自适应更新。

43、本发明进一步的方案，利用目标梯度修正张量中的梯度值，覆写物理寄存器内的寄存器增益权重状态，完成频域特征增益映射的本地自适应更新，包括以下步骤：

44、结合预设的硬件学习率与量化基数，将目标梯度修正张量中的特征梯度值转换为目标整数权重修正增量；

45、基于梯度上升逻辑，利用目标整数权重修正增量对物理寄存器内的原始系数值进行状态更新以生成新控制字；

46、将新控制字覆写入物理寄存器，完成寄存器增益权重状态的覆写。

47、综上所述，本发明包括以下有益技术效果：

48、1.通过边缘计算单元将原始像素矩阵信号转换为中间态特征张量阵列，并利用激活值寻址监控器测算其空间非零密度。通过与预设静态阈值比对，将正常稀疏样本的判定转化为硬件层面的边界比较操作，仅在特征异常密集时触发后续流程。该机制有效过滤了海量正常背景数据，降低了边缘端处理高吞吐量数据时的冗余计算开销。

49、2.在判定异常时，仅提取非零有效特征数组及非零位置索引掩码传输至云端，减少了图像传输的带宽消耗。云端基于非零位置索引掩码映射物理显存地址池，定点触发频域感受野算子窗口，替代了对全量图像的常规前向推理，将算力靶向聚焦于异常特征区域，提升了云端资源的处理效率与云边协同响应速度。

50、3.通过云端生成目标梯度修正张量，边缘计算单元接收后直接覆写对应物理寄存器内的寄存器增益权重状态。该机制无需执行软件层面的全局网络梯度同步或中断主服务进行固件烧录，将云端分析结果直接转化为边缘硬件参数的调整，实现了频域特征增益映射的本地自适应更新，缩短了模型演化延迟，改善了系统对微弱及新型缺陷的适应能力。