一种泛物联网硬件驱动兼容与分布式数据智能预处理架构及方法与流程
本发明涉及物联网硬件驱动适配、边缘分布式数据处理,具体为一种泛物联网硬件驱动兼容与分布式数据智能预处理架构及方法。
背景技术:
1、泛物联网广泛应用于工业过程监测、农林环境采集、市政设施感知、楼宇能耗运维等场景,现场布设的各类感知采集硬件、外设模块设备来源广泛,设备型号异构且通信协议、底层驱动程序碎片化,行业尚未形成统一通用的设备适配标准。
2、现有物联网系统部署方式中,新增类型的硬件设备接入组网后,通常需要技术人员针对性编写、调试专属驱动程序,才可实现设备正常挂载与数据采集。部分方案采用设备描述文件匹配方式实现驱动加载,但需为每种设备预先编写描述文件,未收录设备仍无法自动接入,设备规模化布设场景下接入适配成本高、部署周期长,设备迭代更替后的维护工作量较大。
3、同时,现有物联网数据处理多采用原始数据全量上传、云端集中处理的架构,现场采集的高频、大容量原始数据持续上传,占用大量通信带宽资源,云端集中承载全网运算任务,算力消耗集中,业务数据处理响应时延增加。边缘节点普遍缺乏分级、分层的数据预处理机制,无法在前端链路提前过滤无效数据、异常跳变数据及噪声数据;另有方案采用固定任务分配策略进行边缘计算调度,未考虑边缘节点实时负载动态变化,难以实现算力资源的动态均衡,容易出现局部节点任务集中、算力过载造成响应滞后,其余节点资源闲置的负载不均衡现象。
4、现有技术在异构设备驱动适配、边缘数据预处理与分布式任务调度三个环节均存在明显技术缺口。
5、发明所要解决的技术问题
6、本发明的目的在于克服现有泛物联网系统硬件驱动适配通用性差、异构设备接入成本高、云端集中处理负荷大、边缘算力资源分配不均衡的技术不足,提供一种泛物联网硬件驱动兼容与分布式数据智能预处理架构及方法,实现异构硬件基于底层特征匹配完成通用驱动适配接入,依托边缘节点负载状态实现分布式动态任务调度,通过分层预处理机制实现前端数据轻量化处理,降低网络传输冗余与云端运算负荷,提升整体系统运行稳定性与资源利用率。
7、技术方案
8、为解决上述技术问题,本发明采用如下技术方案:
9、一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,包括驱动兼容适配模块、分布式任务调度模块、分层数据预处理模块、本地缓存交互模块。驱动兼容适配模块的数据输出端连接分层数据预处理模块的数据输入端,分布式任务调度模块的任务下发端连接分层数据预处理模块的控制端,分层数据预处理模块的数据输出端连接本地缓存交互模块的输入端。驱动兼容适配模块通过识别硬件底层驱动特征信息,自动匹配通用驱动库完成异构硬件挂载适配,减少定制驱动开发工作;分布式任务调度模块实时采集各边缘节点算力、内存、网络负载参数,按照处理优先级动态分配预处理任务,实现全网算力资源均衡调度;分层数据预处理模块设置两级处理单元,分级完成数据校验、异常剔除、降噪规整处理;本地缓存交互模块对处理后有效数据进行分类缓存,采用差异化上传策略完成数据逐级传输。
10、在上述核心架构基础上,驱动兼容适配模块内置驱动特征库与动态适配单元,通过特征向量相似度匹配选取通用驱动模板并在参数域内试探握手完成适配,链路层握手成功后进一步读取硬件标识与模板校验签名比对确认,对多组成功握手参数选取通信质量最优者,运行期间持续监测链路质量并支持自动重适配,连续试探失败则降级为标准协议轮询模式;分布式任务调度模块采用主从架构部署于调度主节点,主节点故障时从节点按优先级选举并需获多数派确认后接管,超时未获确认则由下一优先级节点重新发起选举;分层数据预处理模块包括一级前端接入层粗处理单元与二级后端运算层精细化处理单元,并内置负载反馈调节单元,在全网综合负载持续超阈值时下调采样率或数据精度但保持基础降噪滤波完整执行,超限或突变数据强制全精度处理;本地缓存交互模块划分实时缓存区与归档缓存区,采用确认应答机制保障传输可靠性,并接收上级传输策略配置;整体架构部署于多级边缘节点组网,节点间具备点对点负载交互能力,主节点不可达时可临时旁路转发任务分片,主节点恢复后统一接管。
11、本发明中,云端平台仅作为预处理后数据的汇聚展示与长期存储节点以及静态策略参数的配置下发端,不参与实时数据预处理任务的动态调度决策,不直接向边缘节点下发实时调控指令;所有与数据预处理相关的任务分配、负载均衡、处理强度调整决策均由边缘侧分布式任务调度模块自主完成。
12、本发明同时提供对应的分布式数据智能预处理方法,依次完成硬件底层驱动特征识别与适配接入、一级粗处理实时过滤、边缘节点分布式动态任务分配、二级精细化处理、分级缓存差异化上传的自动化处理流程。
13、有益效果
14、与现有技术相比,本发明具有以下技术优势:
15、第一,本发明通过特征向量相似度匹配选取通用驱动模板,经参数域试探握手与标识校验签名比对锁定驱动参数,对多组可用参数选取通信质量最优者,运行期间支持链路质量监测与自动重适配。正常适配场景下新增设备无需人工编码,受限适配状态仅需辅助配置寄存器映射关系,相较于现有技术需为每种设备单独编写驱动或描述文件的方式,显著降低异构硬件接入适配难度与维护成本。
16、第二,本发明采用主从式分布式动态调度,主节点汇总各从节点实时负载后按处理优先级动态分配任务,主节点故障时从节点经多数派选举确认后接管,超时未获确认则由下一优先级节点重新选举,配合过载上报重分配与主节点不可达时点对点旁路转发机制,有效改善固定任务分配模式的算力闲置与过载问题,提升全网资源利用均衡性与系统可靠性。
17、第三,本发明设置两级分层预处理架构,一级前端接入层粗处理在驱动适配完成后立即执行,于数据接入端剔除异常、空白及超量程跳变数据,不依赖调度结果,仅有效数据进入二级处理与上传链路,大幅降低无效传输流量;负载反馈调节在全网满载时下调采样率但保持基础降噪完整执行,超限与突变数据强制全精度处理,兼顾算力受限场景下的系统稳定性与关键数据质量。
18、第四,本发明通过边缘侧分担预处理运算,有效分摊云端算力压力,缩短数据处理响应时延;结合确认应答上传机制保障传输可靠,适配大范围、多点位、多设备异构混杂的泛物联网规模化应用场景。
技术实现思路
1.一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,包括驱动兼容适配模块、分布式任务调度模块、分层数据预处理模块、本地缓存交互模块;
2.根据权利要求1所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述驱动兼容适配模块内置驱动特征库与动态适配单元,硬件上报的驱动特征参数构建为特征向量,动态适配单元计算该特征向量与驱动特征库条目的相似度,选取匹配度最高的通用驱动模板,在该模板通信参数域内逐组试探通信握手,握手成功则锁定驱动运行参数。
3.根据权利要求2所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述动态适配单元在链路层握手成功后,进一步向硬件设备发送标识读取指令,将返回的标识信息与驱动模板内置的校验签名进行比对,比对一致后方锁定驱动运行参数;对多组可供成功握手的参数组合,记录各组通信质量指标,优先选取误码率最低的参数组合;驱动运行期间持续监测链路通信质量,连续采集失败或校验错误次数超过预设门限时自动触发驱动参数重新适配流程;连续试探失败则降级为标准协议轮询模式并标记为受限适配状态,按内置寄存器地址映射表读取通用寄存器数值,数据以原始帧形式打标存储。
4.根据权利要求1所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述分布式任务调度模块采用主从架构部署于经负载选举产生的调度主节点,实时采集各从节点cpu算力占用率、内存使用率、网络带宽占用率负载数据,依据负载高低动态调整各节点数据处理任务分配量;调度主节点故障时,从节点按预设优先级列表依次广播选举消息,获得超过半数的从节点确认应答后方可接管调度角色;若在预设超时时间内未获得多数确认,则由下一优先级节点重新发起选举。
5.根据权利要求1所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述分层数据预处理模块包括一级前端接入层粗处理单元、二级后端运算层精细化处理单元;一级单元完成异常数据甄别剔除、基础有效性校验,二级单元完成数据降噪滤波、数值换算统计、分类打包精简处理。
6.根据权利要求5所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述分层数据预处理模块还内置负载反馈调节单元,用于实时获取边缘节点当前算力余量,当分布式任务调度模块判定全网节点综合负载参数均超过预设高负载阈值且持续超过预设观察时间窗口时,自动下调二级精细化处理单元的采样率或数据精度,基础降噪滤波处理步骤保持完整执行;对于超过预设阈值的超限数据或突变数据,标记为高优先级数据并强制全精度处理,不受降采样调整影响。
7.根据权利要求1所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述本地缓存交互模块划分实时缓存区域、归档缓存区域,对实时高频监测数据、周期归档数据分类存储,分别采用即时推送、定时批量上传两种传输模式;即时推送模式采用确认应答机制,收到上级节点或云端返回的成功接收确认应答后方可清除本地缓存副本,未收到确认时启动重试并将数据挂入重试队列;所述本地缓存交互模块接收上级节点下发的传输策略配置参数,据此调整上传节奏。
8.根据权利要求1所述一种泛物联网硬件驱动兼容与分布式数据智能预处理架构,其特征在于,所述架构部署于多级边缘节点组网中的每个节点,各节点分布式任务调度模块之间具备点对点负载信息交互能力;当调度主节点不可达或调度响应超时时,过载节点可将待处理任务分片通过点对点链路转发至相邻空闲节点临时旁路处理,调度主节点恢复后由主节点统一接管调度。
9.一种泛物联网硬件驱动兼容与分布式数据智能预处理方法,其特征在于,应用于权利要求1至8中任一项所述架构,包含如下步骤:
10.根据权利要求9所述一种泛物联网硬件驱动兼容与分布式数据智能预处理方法,其特征在于,步骤s1中硬件特征信息无法完全匹配驱动库条目时,将驱动特征参数构建为特征向量并计算相似度选取最接近通用驱动模板,在模板参数域内逐组试探握手,链路层连接后读取硬件标识与模板内置校验签名比对,比对通过后锁定驱动参数并启动采集;全部试探失败则降级为标准协议轮询模式,按寄存器映射表读取数据并以原始帧打标存储;步骤s2中各节点周期性向主节点上报负载,主节点汇总全局视图后动态调整任务分配比例,全程持续监测实现动态负载均衡;数据预处理过程中,全网综合负载均超预设高负载阈值且持续超观察时间窗口时,自动下调二级处理采样率或数据精度,基础降噪滤波保持完整执行,超限或突变数据强制全精度处理;主节点不可达或响应超时时,过载节点通过点对点链路将任务分片转发至相邻空闲节点临时旁路处理,主节点恢复后统一接管调度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com