一种基于大数据的工业数据批发存储管理方法与流程
本发明涉及大数据存储与管理,具体为一种基于大数据的工业数据批发存储管理方法。
背景技术:
1、随着工业物联网与智能制造的快速发展,工厂设备产生的数据规模从以tb计向pb乃至zb级跨越,工业大数据主要由传感器、伺服电机及控制系统输出的高频时序信号构成,具有数据量大、产生频率高、格式异构、价值密度不均等典型特征;
2、在存储架构层面,业界已广泛应用分布式存储技术承载海量数据,并引入分布式缓存层缓解冷热数据访问速度差异,在数据格式层面,列式存储文件格式被广泛用于大数据存储场景,支持行组级别的压缩与编码控制,在数据压缩领域,面向时序数据的gorilla无损压缩算法利用相邻时间戳差值和浮点数xor运算实现高效压缩,zstd算法通过字典训练机制实现高通用压缩比,上述压缩算法目前均以静态方式独立使用,尚无方法根据数据质量动态选择;
3、目前工业领域最接近本发明的技术方案为基于时序数据库的分层存储与统一压缩方案,其存在以下三个显著缺陷:
4、第一,存储分层决策缺乏工业语义感知能力,现有系统依据时间周期或查询频次机械地划分冷热数据层级,无法理解数据所承载的工业语义价值,导致高价值历史数据被错误归档至深冷存储,而大量冗余工况信号占据昂贵热存储资源,造成存储资源的严重错配;
5、第二,压缩策略一刀切无法兼顾工业数据价值保真与存储成本,工业数据天然包含高信噪比的关键突变信号和低信噪比的长期冗余信号两类截然不同的数据,现有统一压缩方案不能区分数据重要性,导致关键信号精度损失或冗余信号存储成本高企,二者无法同时兼顾;
6、第三,异构设备模式漂移导致批量写入中断的一致性问题,在工业现场,设备固件升级或传感器更换频繁,同一批次数据中往往混杂多种新旧格式,现有数据库系统面对批内多版本混合场景时,通常须中断写入服务以执行停机迁移,严重破坏工业数据批发存储的高可用性与写入原子性,为此,我们提出一种基于大数据的工业数据批发存储管理方法。
技术实现思路
1、本发明的目的在于提供一种基于大数据的工业数据批发存储管理方法,以解决现有技术中存在的存储资源错配、压缩策略粗放及模式漂移导致写入中断三大核心问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于大数据的工业数据批发存储管理方法,包括以下步骤:
3、接收工业数据批次,对批次内各记录的模式版本号进行检测,若批次内存在多个不同版本,则启动有向无环图归一化兼容处理,将批次内所有记录统一重构为目标模式格式后进入后续流程;
4、在摄取管道的内存缓冲阶段,对每个数据块提取一阶差分序列均值、信号方差、峰度及时序事件密度四维统计特征,构成原始特征向量;
5、利用预训练轻量级集成决策树模型对原始特征向量进行推理,经sigmoid函数映射输出语义价值评分;
6、同时基于信噪比统计模型计算物理质量评分;将两项评分加权融合,得到双维联合评分;
7、依据双维联合评分与预设高分阈值及低分阈值的比较结果,对每个数据块动态选择对应的压缩算法并路由至对应存储层;
8、其中,高分数据块采用改进gorilla无损压缩算法路由至热存储层,中分数据块采用lz4通用无损压缩算法路由至温存储层,低分数据块依据时序事件密度与信号方差的联合判定结果选择zstd字典深度压缩或降采样后再执行zstd字典压缩,并路由至冷存储层;
9、批次内全部数据块完成路由写入后,向主协调器发送批次写入完成确认,提交消息队列消费位移,保证端到端精确一次写入语义。
10、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
11、1.本发明通过引入双维联合评分机制,使存储分层决策从机械的时间逻辑升级为智能的价值逻辑,高价值工业数据无论产生时间早晚,均被准确路由至与其价值相匹配的存储层级,消除存储资源错配,显著提升历史关键数据的检索效率。
12、2.本发明通过构建基于联合评分的自适应差异化压缩路由引擎,实现高价值数据高保真存储、低价值数据极限压缩的精准匹配,关键工艺信号的物理特征得到无损保全,同时冗余工况数据的存储空间占用大幅压缩,系统整体存储成本可降低30%以上,同时不损失关键数据精度。
13、3.本发明通过提出批内多版本模式无缝兼容的有向无环图归一化重构管道,工业数据批发写入系统在面对混合格式批次时无需中断、无需人工干预,实现写入服务的高可用保障,杜绝因模式变更导致的数据丢失与业务中断。
1.一种基于大数据的工业数据批发存储管理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述特征提取步骤中,对包含个时序采样点且第个采样点测量值为的数据块,四维原始特征向量中各特征的计算方式如下:
3.根据权利要求1所述的方法,其特征在于,所述双维联合评分步骤中,集成决策树模型含棵决策树,对归一化特征向量的原始输出分数为各棵树叶节点得分与学习率乘积之和,经sigmoid函数映射得到语义价值评分;
4.根据权利要求1所述的方法,其特征在于,所述模式漂移有向无环图归一化处理包括:
5.根据权利要求4所述的方法,其特征在于,在有向无环图归一化处理过程中,利用消息队列消费位移的原子提交机制实现断点续传:未完成归一化处理的批次不提交消费位移,系统重启后从该批次的起始位移处重新拉取并处理,保证端到端精确一次写入语义。
6.根据权利要求1所述的方法,其特征在于,所述改进gorilla无损压缩算法在原始gorilla算法基础上增加对多通道工业信号的联合xor压缩优化,利用相邻通道间的信号相关性进一步提升压缩率。
7.根据权利要求1所述的方法,其特征在于,还包括元数据管理与生命周期联动步骤:
8.根据权利要求1所述的方法,其特征在于,所述预训练集成决策树模型采用历史标注工业数据集离线训练,标注标签包括正常工况、设备告警和突发故障三个等级,以二元交叉熵为损失函数,训练完毕后序列化为二进制文件供系统启动时一次性加载至内存,推理时无文件读写开销。
9.根据权利要求1所述的方法,其特征在于,所述预训练集成决策树模型替换为基于专家经验配置的轻量级规则引擎,所述规则引擎依据峰度及时序事件密度的阈值区间直接输出离散化语义价值等级,所述规则引擎的输出结果与物理质量评分共同参与后续加权融合与压缩路由决策,其余步骤与权利要求1保持一致。
10.根据权利要求1所述的方法,其特征在于,所述自适应压缩路由步骤中,完成双维联合评分计算后,将高分数据块发布至消息队列热主题,中分数据块发布至消息队列温主题,低分数据块发布至消息队列冷主题,三个主题分别由独立的消费者组订阅,各自执行对应的压缩算法并写入对应存储层,以发布-订阅解耦的方式实现差异化路由。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com