一种端云协同推理方法及系统与流程
本发明涉及端云协同,具体为一种端云协同推理方法及系统。
背景技术:
1、对矿用刮板输送机减速器进行磨损状态监测,是保障综采工作面连续运转的重要环节。目前工业现场普遍采用振动监测法,通过在轴承座等位置安装加速度传感器,实时获取设备振动加速度信号,并经快速傅里叶变换得到振动频谱。振动频谱是信号频域幅值分布的向量表示,能够反映不同频率成分的能量强度,而减速器磨损状态的改变往往对应特定频带能量的演变。在此基础上,利用深度学习模型对频谱进行分类,可实现磨损状态的自动判别。
2、为满足实时性要求,边缘计算网关等端侧设备常被部署于矿井现场,运行经过压缩的轻量化深度学习模型,直接对频谱进行本地推理。轻量化模型通常通过剪枝、量化或紧凑结构设计,使参数量和计算量大幅降低,以适配端侧有限的计算与存储资源。然而在实际工况中,刮板输送机的负载频繁波动,振动信号呈现非平稳特性,端侧模型因容量受限,容易对部分样本输出较低的置信度,难以稳定提供准确判断。
3、为弥补端侧模型能力的不足,端云协同成为一种常用方案。其基本思路是当端侧判定推理结果不可靠时,将该样本对应的数据上传至云端,由云端部署的大规模模型完成推理,并将结果返回。现有端云协同方式在数据上传时,通常直接传输原始振动时域信号或完整频谱特征向量,矿井通信带宽有限、传输成本高;部分方案采用传统的压缩编码方法,对频谱进行均匀量化或变换编码以降低数据量,但这些方法未区分频带对磨损判别的贡献差异,容易在压缩过程中抹平等效地损害关键频带的细节,使云端模型因信息缺失而难以提升难例识别的准确率。
4、综上,现有的端云协同监测方案,在传输频谱类特征时,未能利用端侧推理过程中已获得的关于频带重要性的感知信息来指导编码,导致在严格码率约束下,磨损敏感频带所保留的有效信息不足,限制了云端模型对不确定性样本的推理改善空间。故针对以上问题,提出下列方案。
技术实现思路
1、本发明的目的在于提供一种端云协同推理方法及系统,为了解决现有方案传输频谱时未利用端侧感知的频带重要性指导编码,导致关键频带信息损失、云端对难例推理改善有限的问题,设计双流频带竞争编码与显著性条件注入的协同机制,以求实现码率约束下优先保真磨损敏感频带、提升云端难例推理可靠性以及端侧模型持续自主优化的技术效果。
2、为解决上述技术问题,本发明是通过以下技术方案实现的:
3、本发明为一种端云协同推理方法,包括以下步骤:
4、端侧设备采集设备的振动信号并进行频域变换,获得频域特征向量;
5、将所述频域特征向量输入端侧推理模型,获得频带级的特征激活图与分类置信度;所述特征激活图表征各频带对分类决策的响应强度;
6、当所述分类置信度满足预设触发条件时,基于所述特征激活图生成各频带的显著性权重;
7、利用所述显著性权重对所述频域特征向量进行非均匀量化编码:依据显著性权重为各预划分频带差异化分配编码比特数,对各频带对应的频域子向量进行矢量量化得到量化索引,将量化索引与比特分配信息联合编码,生成包含频谱描述信息和显著性引导信息的协同码流,并将所述协同码流上传至云端服务器;所述云端服务器从所述协同码流中解码恢复出重构频域特征和显著性先验信息;
8、将所述重构频域特征与所述显著性先验信息进行逐元素加权并拼接,构造条件输入特征后,输入云端推理模型,获得最终推理结果;
9、将所述最终推理结果回传至所述端侧设备。
10、优选地,所述端侧设备采集设备的振动信号并进行频域变换,获得频域特征向量,具体包括:
11、将采集到的振动信号进行分段,对每段信号加窗并去除均值后计算快速傅里叶变换,获得单边幅值谱;对多段所述单边幅值谱进行平均,再进行对数频率缩放与线性插值,得到固定维度的频域特征向量。
12、优选地,所述端侧推理模型为轻量化卷积神经网络,其输出分支包括用于表征各频带对分类决策响应强度的频带激活图,以及经归一化处理后的分类置信度向量。
13、优选地,所述预设触发条件为:所述分类置信度的最大值低于预设的协同触发门限。
14、优选地,基于所述特征激活图生成各频带的显著性权重,包括:
15、对所述特征激活图进行高斯平滑,消除频带间毛刺;
16、对平滑后的激活图进行l1范数归一化,得到各频带的显著性权重。
17、优选地,所述利用所述显著性权重对所述频域特征向量进行非均匀量化编码,生成包含频谱描述信息和显著性引导信息的协同码流,包括:
18、将所述频域特征向量的频点按对数尺度预设规则划分为多个频带;
19、根据所述显著性权重计算每个频带的累计显著性;
20、依据所述累计显著性所占比例,为各个频带分配编码比特数;
21、利用预设的码本集合,根据各自分配的比特数对各频带对应的频域子向量进行矢量量化,得到量化索引;
22、将所述量化索引和比特分配信息进行联合编码,生成所述协同码流。
23、优选地,所述预设的码本集合为针对各频带维度与典型磨损工况预先聚类训练的多码本矢量量化码书族,且支持残差矢量量化结构;所述码本集合以压缩形式存储于所述端侧设备和所述云端服务器,初始部署时同步一致,升级时通过云端下发更新。
24、优选地,将所述重构频域特征与所述显著性先验信息进行融合后,输入云端推理模型,获得最终推理结果,包括:
25、将所述重构频域特征与所述显著性先验信息进行逐元素加权并拼接,得到条件输入特征向量;
26、对所述条件输入特征向量附加可学习的频带位置嵌入,并在序列首部添加类别令牌向量后,通过线性投影送入transformer编码器;
27、提取所述transformer编码器输出的类别令牌对应向量,经分类层处理后得到所述最终推理结果。
28、优选地,在将所述最终推理结果回传至所述端侧设备之后,还包括:
29、所述端侧设备将本次推理的所述频域特征向量、所述特征激活图以及所述云端推理模型输出的概率分布作为软标签,经置信度校验后存入本地缓存区;
30、当所述缓存区中的数据量达到设定阈值时,以所述软标签为目标,对所述端侧推理模型进行增量微调。
31、一种端云协同推理系统,用于实现如上述任一项所述的方法,包括:
32、端侧设备,配置有用于采集振动信号并进行频域变换的信号采集与处理模块、用于运行所述端侧推理模型的轻量推理模块、用于触发判定和生成协同码流的协同触发与编码模块、用于缓存样本与执行模型增量更新的本地训练模块、以及通信模块;
33、云端服务器,配置有用于解码恢复重构频域特征和显著性先验信息的解码与恢复模块、以及用于运行所述云端推理模型的云端推理模块;
34、其中,所述端侧设备通过所述通信模块将所述协同码流上传至所述云端服务器,所述云端服务器将所述最终推理结果回传至所述端侧设备。
35、本发明具有以下有益效果:
36、本发明通过端侧轻量网络初步推理并评估置信度,仅在置信度不足时触发端云协同,减少了云端调用频次与无效传输。利用双流频带竞争编码将频谱特征与显著性信息融合为紧凑码流,依据频带对磨损特征的重要程度差异化分配编码资源,在有限码率下保留任务关键频带信息,降低了传输数据量。云端解码后恢复频谱与显著性先验,并以此构造条件输入特征,引导大规模模型关注磨损敏感频段,提升了复杂工况下的推理可靠性。端侧利用云端反馈的软标签对轻量网络进行增量更新,使端侧模型逐步适应难例,形成自我优化的闭环,兼顾了实时性与模型泛化能力。
37、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com