一种物联网边缘网关的数据预处理方法和系统与流程

技术特征：
1.一种物联网边缘网关的数据预处理方法，其特征在于，通过远端服务器配置数据预处理模块；所述数据预处理模块包括异常数据处理单元、平稳数据处理单元和本地数据处理单元；所述远端服务器将所述数据预处理模块下发至边缘网关；所述边缘网关将所述数据预处理模块储存至本地存储器；所述边缘网关依据所述数据预处理模块对物联网终端装置上报的数据进行预处理；所述边缘网关将所述预处理后的数据存储到本地存储器，并同时上报到所述远端服务器。2.根据权利要求1所述的物联网边缘网关的数据预处理方法，其特征在于，所述异常数据处理单元的具体方法如下：根据应用场景和历史数据，设定数据异常判定阈值、异常恢复尝试阈值和异常采集频度；设置异常恢复尝试次数用于统计异常恢复尝试的次数；所述异常采集频度大于正常的数据采集频度；所述边缘网关依据所述数据异常判定阈值判定数据是否异常；如果数据正常且异常恢复尝试次数为零，则不做处理；如果数据正常且所述异常恢复尝试次数不为零，则向所述远端服务器发送告警恢复信息，同时将异常恢复尝试次数置为零，并通知所述物联网终端装置恢复正常采集频度；如果数据异常，当上述数据异常是首次发生的，则通知所述物联网终端装置采取所述异常采集频度采集数据，并向所述远端服务器上报告警信息；每经历一次数据异常恢复尝试，异常恢复尝试次数加1；如果所述异常恢复尝试次数超出所述异常恢复尝试阈值，则再次上报告警信息并等待人工恢复，否则，继续异常恢复尝试。3.根据权利要求1所述的物联网边缘网关的数据预处理方法，其特征在于，所述平稳数据处理单元的具体方法如下：依据应用场景设置正常上报频度；依据应用场景和最近采集到的多个数据设置平稳度阈值、平稳保持阈值和平稳上报频度；设置平稳维持长度用于统计平稳维持的时间周期数或次数；所述平稳上报频度小于所述正常上报频度；当数据波动低于平稳度阈值，所述平稳维持长度加1，否则，平稳维持长度恢复为零且采用所述正常上报频度进行数据上报；当所述平稳维持长度大于所述平稳保持阈值，数据采用所述平稳上报频度进行上报，否则，数据采取所述正常上报频度进行上报。4.根据权利要求1所述的物联网边缘网关的数据预处理方法，其特征在于，所述本地数据处理单元的具体方法如下：依据应用场景和本地存储容量设置本地存储容量阈值和本地存储时间阈值；所述边缘网关发现本地容量超出所述本地存储容量阈值，所述边缘网关将丢弃存储时间最久的本地数据；所述边缘网关发现本地存储数据超出所述本地存储时间阈值，所述边缘网关将丢弃存储时间超出的本地数据。5.根据权利要求1至4任一项所述的物联网边缘网关的数据预处理方法，其特征在于，所述数据预处理模块能够按通用模块对所有所述物联网终端装置采集的数据进行预处理，也能够对部分所述物联网终端装置采集的数据进行预处理，还能够对单台所述物联网终端采集的数据进行预处理。6.根据权利要求1至4任一项所述的物联网边缘网关的数据预处理方法，其特征在于，所述数据预处理模块能够在边缘网关本地配置并能同步到远端服务器，并能够在权限许可的情况下更新所述远端服务器上相应的所述数据预处理模块。
7.根据权利要求1至4任一项所述的物联网边缘网关的数据预处理方法，其特征在于，所述边缘网关含有轻量级数据库；所述轻量级数据库支持数据存储和计算。8.一种系统，其特征在于，包括：上述远端服务器、上述边缘网关和上述物联网终端装置；所述远端服务器和所述边缘网关，以及所述边缘网关和所述物联网终端装置是通过有线网络或无线网络进行连接；当系统运行时，能够执行如权利要求1至7中任一所述的物联网边缘网关的数据预处理方法。9.一种服务器，其特征在于，包括：处理器、存储器、网络接口和总线，所述存储器存储有所述处理器可执行的机器可读指令；当服务器运行时，所述网络接口完成与外部网络通信，所述处理器和所述存储器及所述网络接口之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一所述的物联网边缘网关的数据预处理方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的物联网边缘网关的数据预处理方法。

技术总结
本发明涉及一种物联网边缘网关的数据预处理方法；所述方法，包括：通过远端服务器配置数据预处理模块；所述数据预处理模块包括异常数据处理单元、平稳数据处理单元和本地数据处理单元；所述远端服务器将所述数据预处理模块下发至边缘网关；所述边缘网关将所述数据预处理模块储存至本地存储器；所述边缘网关依据所述数据预处理模块对物联网终端装置上报的数据进行预处理；所述边缘网关将所述预处理的数据存储到所述本地存储器，并同时上报到远端服务器。通过本发明，在保证数据可靠性的前提下，节省传输带宽和远端服务器存储资源，减轻远端服务器的负荷。服务器的负荷。服务器的负荷。


技术研发人员：张福军 张科
受保护的技术使用者：绿城科技产业服务集团有限公司
技术研发日：2022.02.23
技术公布日：2022/5/20