一种物联网边缘网关的数据预处理方法和系统与流程

1.本发明涉及物联网技术领域，具体涉及一种物联网边缘网关的数据预处理方法和系统。


背景技术：

2.传统的物联网网关即边缘网关，是连接物联网感知网络与远端服务器的桥梁，通过协议适配和转换，利用现有的成熟的有线或无线网络，实现感知网络与数据网络，以及不同类型感知网络之间的融合通信。另外，边缘网关还具备设备管理功能，运营商通过物联网网关可以管理底层的各感知节点，掌握各节点的相关信息，并实现远程控制。
3.但是，边缘网关在数据处理上目前主要采取透传模式，对各个物联网终端采集并上报的数据只采取直接转发，对明显异常或无效数据未做出预先处理，这无疑非必要并额外的增加了传输带宽以及远端服务器的负荷。
4.随着数字经济进一步的蓬勃发展，物联网终端数量将日益庞大，汇聚到远端服务器的数据量也将是海量，这对边缘网关至远端服务器间的数据带宽,远端服务器的性能、存储空间以及造价都提出了严峻的挑战。
5.申请日为2021年8月18日，申请公布日为2021年11月19日的cn202110947231.3的中国专利发明申请
ꢀ“
基于边缘计算的ai算法流程以及服务一体机”（申请人：中山政数大数据科技有限公司），该专利申请文献涉及了一种ai算法模块，通过该算法模块对感知侧采集的原始数据进行预处理。从该文献中可以看出，其预处理所取得效果为：1）减轻了云平台的计算负荷；2）提高了原始数据保真度和可靠性。但是，从感知侧网络到云平台间的数据传送量并没有变化，云平台的存储空间及网络带宽消耗也没有降低，云平台的计算负荷也没有明显下降。


技术实现要素：

6.本发明为有效解决上述问题，在保证数据可靠性的前提下，通过可灵活配置的数据预处理模块，通过边缘网关的计算和判断，减少无效或非必要数据的上传，节省传输带宽和远端服务器存储资源；减少远端服务器对无效或非必要数据的计算和判断，减轻远端服务器的负荷。具体发明内容如下。
7.通过远端服务器配置数据预处理模块；其中数据预处理模块包括异常数据处理单元、平稳数据处理单元和本地数据处理单元；远端服务器将配置好的数据预处理模块下发至边缘网关；边缘网关接收上述数据预处理模块并将其储存在本地存储器上；所述边缘网关依据该数据预处理模块对物联网终端装置上报的数据进行预处理；所述边缘网关将预处理好的数据存储到本地存储器，并同时上报到远端服务器。
8.上述的数据预处理模块包含的异常数据处理单元、平稳数据处理单元和本地数据处理单元的具体方法如下：1）异常数据处理单元：根据应用场景和历史数据，设定数据异常判定阈值、异常恢
复尝试阈值和异常采集频度；并且设置一个参量为异常恢复尝试次数，用于统计异常恢复尝试的次数；其中，上述异常采集频度大于正常的数据采集频度；边缘网关依据所述数据异常判定阈值判定数据是否异常；如果数据正常且异常恢复尝试次数为零，则不做处理；如果数据正常且所述异常恢复尝试次数不为零，则向所述远端服务器发送告警恢复信息，同时将异常恢复尝试次数置为零，并通知所述物联网终端装置恢复正常采集频度；如果数据异常，当上述数据异常是首次发生的，则通知所述物联网终端装置采取所述异常采集频度采集数据，并向所述远端服务器上报告警信息；每经历一次数据异常恢复尝试，异常恢复尝试次数加1；如果所述异常恢复尝试次数超出所述异常恢复尝试阈值，则再次上报告警信息并等待人工恢复，否则则继续异常恢复尝试。
9.进一步的，上述数据异常判定阈值可以是一个相对值，也可以是一个绝对值。
10.2）平稳数据处理单元：依据应用场景设置正常上报频度；依据应用场景和最近采集到的多个数据设置平稳度阈值、平稳保持阈值和平稳上报频度；并且设置一个参量为平稳维持长度，用于统计平稳维持的时间周期数或次数；其中，所述平稳上报频度小于所述正常上报频度；当数据波动低于平稳度阈值，所述平稳维持长度加1，否则，平稳维持长度恢复为零且采用所述正常上报频度进行数据上报；当所述平稳维持长度大于所述平稳保持阈值，数据采用所述平稳上报频度进行上报，否则，数据采取所述正常上报频度进行上报。
11.进一步的，上述平稳度阈值可以是一个相对值，也可以是一个绝对值。
12.3）本地数据处理单元：依据应用场景和本地存储容量设置本地存储容量阈值和本地存储时间阈值；所述边缘网关发现本地容量超出所述本地存储容量阈值，所述边缘网关将丢弃存储时间最久的本地数据；所述边缘网关发现本地存储数据超出所述本地存储时间阈值，所述边缘网关将丢弃存储时间超出的本地数据。
13.为适应不同的应用场景和网络拓扑结构，增加本方案的灵活性，所述数据预处理模块能够按通用模块对所有物联网终端装置采集的数据进行预处理，也能够对部分物联网终端装置采集的数据进行预处理，还能够对单台物联网终端采集的数据进行预处理。
14.为进一步的增加配置的便利性，数据预处理模块也可以在边缘网关本地配置，本地配置好的数据预处理模块能够依据客户需要上传至远端服务器，在权限许可时能够更新远端服务器上原先存储的数据预处理模块；进一步的，所述边缘网关含有轻量级数据库；所述轻量级数据库支持数据存储和计算。
15.通过本发明的技术方案的实施，可以达到以下效果：本发明的数据预处理方法可针对不同类型物联网设备灵活配置数据预处理模块，配置方便灵活；在保证数据可靠性的前提下，通过可灵活配置的数据预处理模块，通过边缘网关对数据的预处理，减少无效或非必要数据的上传，从而节省传输带宽和远端服务器存储资源；通过边缘网关对数据的预处理，减少远端服务器对无效或非必要数据的计算和判断，从而减轻远端服务器的负荷。
附图说明
16.为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普
通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例1的物联网边缘网关的数据预处理方法的流程示意图；图2为本发明实施例2的数据预处理模块的结构示意图；图3为本发明实施例3的数据预处理模块的异常数据单元的流程示意图；图4为本发明实施例4的数据预处理模块的平稳数据单元的流程示意图；图5为本发明实施例5的数据预处理模块的本地数据单元的流程示意图；图6为适于用来实现本发明实施例的一种系统的结构示意图；图7为适于用来实现本发明实施例的一种服务器的结构示意图。
具体实施方式
18.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式做进一步的详细描述。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
19.本发明旨在通过物联网边缘网关的数据预处理方法，在保证数据可靠性的前提下，减少无效和/或非必要数据的上传，节省传输带宽和远端服务器存储资源，减轻远端服务器的负荷。下面通过几个实施例加以阐述。
20.《实施例1》参见图1，本发明的一个具体实施例的步骤如下：步骤110：通过远端服务器100配置预处理模块，并下发给边缘网关200；步骤210：边缘网关200接收预处理模块并储存在本地存储器上；步骤310：物联网终端装置300采集数据并上报给边缘网关200；步骤220：边缘网关200接收物联网终端装置300采集并上报的数据；步骤230：边缘网关200从本地提取预处理模块；步骤240：边缘网关200依据预处理模块对数据进行处理；步骤250：边缘网关200存储有效数据到本地并上报给远端服务器100；步骤120：远端服务器100存储有效数据到本地并处理。
21.从实施例1可以看出，边缘网关200依据预处理模块，对原始数据进行是否有效的判断，降低了远端服务器100的负荷；同时，边缘网关200依据预处理模块只将有效数据上报给远端服务器100，节省了网络带宽资源。
22.《实施例2》参见图2，本发明数据预处理方法中一个数据预处理模块的构成示例。在本实施例中，数据预处理模块400包括异常数据处理单元410、平稳数据处理单元430和本地数据处理单元450。
23.其中，异常数据处理单元410主要完成异常数据的判断和异常恢复尝试，异常数据被边缘网关200拦截不进行上报，只上报告警信息，从而减少异常数据的无效传输，也减轻远端服务器的判别负担；平稳数据处理单元430，主要针对数据采集并上报频繁的场景，比如机房温度的检测和上报。当数据一直很稳定，没有超出设定的阈值，则数据上报的频度可以采取一个比正
常上报频度低的频度进行数据上报，这样就可以减少不必要的数据上报，从而即节省了网络带宽资源，又降低了远端服务器100的存储空间；本地数据处理单元450，主要为异常数据处理单元410和平稳数据处理单元430服务，及时剔除无效数据，保障边缘网关200有足够的资源留给数据预处理模块400。
24.《实施例3》参见图3，本发明数据预处理模块中一个异常数据处理的实施例。
25.步骤411：根据应用场景和历史数据，设定数据异常判定阈值、异常恢复尝试阈值和异常采集频度；其中，上述异常采集频度大于正常的数据采集频度；步骤412：边缘网关200获取物联网终端装置300上报的最新数据；步骤413：边缘网关200依据所述数据异常判定阈值判定数据是否异常；如果正常，则下一步；如果异常，则转至步骤418；步骤414：边缘网关200向远端服务器100正常上报数据；步骤415：边缘网关200判断异常恢复尝试次数是否为零，如果是，则转到步骤422，否则，下一步；步骤416：边缘网关200向远端服务器100发送告警恢复信息；步骤417：边缘网关200将异常恢复尝试次数置为零，并通知物联网终端装置300恢复正常采集频度；转至步骤412，继续异常数据监测和处理；步骤418：边缘网关200停止向远端服务器100上报数据；步骤419：判断异常恢复尝试次数是否为零，如果为零，则进入下一步；否则，进入步骤421；步骤420：边缘网关200向远端服务器100上报告警信息，并通知物联网终端装置300采用异常采集频度采集数据；步骤421：异常恢复尝试次数加1；步骤422：判断异常恢复尝试次数是否超出异常恢复尝试阈值，如果是，则下一步；否则，回到步骤412，继续异常数据监测和处理；步骤423：边缘网关200再次上报告警信息并等待人工恢复。
26.通过上述一个异常数据处理的实施例，不难看出，边缘网关200对数据进行是否异常监测，而不是直接转发给远端服务器100，从而减轻了远端服务器100的计算负荷。当出现数据异常时，边缘网关200会停止数据上报，只上报告警信息，同时做出异常恢复尝试；采取这种方法，阻止了无效的异常数据上传，节省了网络带宽资源；同时进行自主恢复尝试，同样降低了远端服务器100的计算负荷。当恢复尝试失败后，再次发出告警，从而保证了系统的可靠性。
27.《实施例4》参见图4，本发明数据预处理模块中一个平稳数据处理的实施例。
28.步骤431：依据应用场景设置正常上报频度；依据应用场景和最近采集到的多个数据设置平稳度阈值、平稳保持阈值和平稳上报频度；设置一个计数器：平稳维持长度，用于统计平稳维持的时间周期数或次数；其中，平稳上报频度小于正常上报频度；步骤432：获取接收到的最新数据；步骤433：判断数据波动是否低于平稳度阈值，如果是，则下一步；否则，转至步骤
437；步骤434：平稳维持长度加1；步骤435：判断平稳维持长度是否大于平稳保持阈值，如果是，则下一步；否则，回到步骤432，继续平稳数据判断和处理；步骤436：边缘网关200采用所述平稳上报频度进行数据上报，并转至步骤432，继续平稳数据判断和处理；步骤437：平稳维持长度恢复为零且采用正常上报频度进行数据上报，并转至步骤432，继续平稳数据判断和处理；通过本实施例，可以看出，当数据一直很稳定，波动没有超出设定的阈值，则数据上报的频度可以采取一个比正常上报频度低的频度上报，这样就可以减少不必要的数据上报，从而节省了网络带宽资源、降低了远端服务器100的存储空间。
29.《实施例5》参见图5，本发明数据预处理模块中一个本地数据处理的实施例。
30.步骤451：依据应用场景和本地存储容量设置本地存储容量阈值和本地存储时间阈值；步骤452：边缘网关200发现本地容量超出本地存储容量阈值，则丢弃存储时间最久的本地数据；步骤453：边缘网关200发现本地存储数据超出本地存储时间阈值，则丢弃存储时间超出的本地数据。
31.不难看出，通过本实施例的实施，边缘网关200能够及时剔除无效数据，保障有足够的预备存储资源。
32.图6为实现本技术实施例所提供的一种系统的结构示意图。如图6所示，上述系统包括：远端服务器100、边缘网关200和物联网终端装置300；所述远端服务器100和所述边缘网关200，以及所述边缘网关200和所述物联网终端装置300是通过有线网络或无线网络进行连接；当系统运行时，能够执行以上实施例中所述的物联网边缘网关的数据预处理方法。具体实现方式可参见实施例。
33.图7为实现本技术实施例所提供的一种服务器的结构示意图。如图7所示，上述服务器200包括处理器201、存储器202、网络接口203和总线204。
34.所述存储器202存储有处理器201可执行的机器可读指令；当服务器200运行时，所述网络接口203完成与外部网络通信，所述处理器201和所述存储器202及所述网络接口203之间通过所述总线204通信，所述机器可读指令被所述处理器202执行时执行以上实施例中所述物联网边缘网关的数据预处理方法，具体实现方式可参见实施例，在此不再赘述。
35.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述实施例中的一种物联网边缘网关的数据预处理方法，具体实现方式可参见实施例。
36.以上为本发明的部分实施例，尽管本发明的内容已经通过上述部分实施例做了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。