基于边缘智能的集线器采集器数据预处理方法及系统与流程

本发明涉及边缘计算，尤其涉及基于边缘智能的集线器采集器数据预处理方法及系统。

背景技术：

1、边缘计算技术领域涉及物联网感知设备、边缘节点、通信网关和应用平台之间的数据采集、近端计算、缓存存储和协同传输的信息处理方式。其中，集线器采集器数据预处理是指集线器采集器接收现场传感器或下位设备发送的原始数据，边缘节点在本地处理器中读取缓存队列，对数据帧进行预处理，并将预处理后的数据通过通信接口发送至服务器或平台数据库。

2、现有加油机现场数据采集通常面向多种硬件接口和通信协议直接解析并上传，设备来源混杂时缓存数据缺少连续状态整理，重复或微小波动数据持续占用传输资源，正常变化与突发异常混合进入发送链路，异常帧经统一压缩处理容易丢失原始信息，通信接口拥塞或芯片重传频繁时仍按固定次序发送，容易造成关键状态数据排队延迟，增加链路负荷与平台侧解析压力，并影响现场状态变化和异常事件的及时识别。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的基于边缘智能的集线器采集器数据预处理方法。

2、为了实现上述目的，本发明采用了如下技术方案，基于边缘智能的集线器采集器数据预处理方法，包括以下步骤：

3、接收加油机现场设备上传的原始数据帧，记录原始数据帧对应的现场设备地址、设备量程范围、采样时刻、原始采样字节序列、采样字节位数和校验结果，并记录原始数据帧对应的接口类型和协议类型，所述接口类型包括三线电流环、两线电流环、rs485、rs422、rs232、lonworks、以太网以及加油机厂家自定义硬件接口中的至少一种，所述协议类型包括http、tcp、udp、mqtt协议和ma-oil解析协议中的至少一种，按照现场设备地址对缓存队列中的原始数据帧进行归组得到来源序列；

4、从所述来源序列中选取校验结果为正常且采样时刻为最早的原始数据帧作为状态锚定帧，并解析提取锚定采样数值，读取状态锚定帧之后的原始数据帧，解析对应原始采样字节序列得到当前采样数值，并计算当前采样数值与锚定采样数值之间的采样偏移数值；

5、当采样偏移数值未超过最小有效变化门限时形成区间包络帧；当采样偏移数值超过最小有效变化门限且未超过突变门限时形成偏移描述帧；当采样偏移数值超过突变门限或校验结果为异常时形成保真数据帧；

6、根据通信接口空闲槽位数量和通信芯片重传计数，将保真数据帧、状态锚定帧、偏移描述帧和区间包络帧写入发送缓冲区，并输出预处理数据帧，所述预处理数据帧用于经http、tcp、udp或mqtt协议接入物联网平台。

7、具体而言，接收现场设备上传的原始数据帧的步骤包括：

8、获取通信接口接收现场设备上传的原始数据帧，所述通信接口采用模块化接口并兼容三线电流环、两线电流环、rs485、rs422、rs232、lonworks、以太网以及加油机厂家自定义硬件接口中的至少一种接口传输方式，依据帧头字段解析所述现场设备地址，并采集现场设备对应的所述设备量程范围；读取原始数据帧中采样时刻、原始采样字节序列和采样字节位数，并获取原始数据帧校验结果；按照所述现场设备地址对缓存队列中的所述原始数据帧进行顺序归组，生成所述来源序列；

9、采集所述设备量程范围对应的量程上限值和量程下限，计算所述量程上限与所述量程下限之间跨度，并依据所述采样字节位数确定采样可表达级数；

10、将所述量程跨度按照所述采样可表达级数换算为单级采样分辨值，并将不少于一个所述单级采样分辨值确定为所述最小有效变化门限；

11、按照所述设备量程范围对应的预设突变比例对所述量程跨度进行比例换算，并使换算结果大于所述最小有效变化门限，得到所述突变门限。

12、具体而言，所述校验结果的获取步骤包括：

13、获取所述原始采样字节序列和所述原始数据帧携带的帧校验字段，对所述原始采样字节序列进行校验运算，得到本地校验值；

14、将所述本地校验值与所述帧校验字段进行一致性比较，当所述本地校验值与所述帧校验字段一致时，将校验结果记录为正常；

15、当所述本地校验值与所述帧校验字段不一致时，将所述校验结果记录为异常，并将对应原始数据帧作为加油机接口传输异常或协议解析异常的待保真对象。

16、具体而言，解析原始采样字节序列的过程具体包括：

17、获取所述状态锚定帧或所述原始采样字节序列对应的字节排列标识和采样字节位数，按照所述字节排列标识确定高位字节与低位字节的排列方向，并按照所述采样字节位数确定有效位边界；

18、依据所述有效位边界从所述原始采样字节序列中提取有效采样字节段，并对所述有效采样字节段进行符号位识别和量纲换算，得到中间采样数值，其中，所述有效采样字节段包括加油机销售数据字段和运行监测字段中的至少一种，所述销售数据字段包括油站名称、交易时间、订单编号、油品类型、油枪号、单价、加油量、加油总金额、油枪升累计、油枪金额累计、员工卡号或用户卡号中的至少一种，所述运行监测字段包括提枪状态、正在加油状态、放枪状态、加油机在离线状态、历史泵码数据、累计金额和加油机设备信息中的至少一种；

19、当所述中间采样数值在所述设备量程范围内时，将所述中间采样数值记录为所述锚定采样数值或所述当前采样数值。

20、具体而言，计算所述采样偏移数值的步骤如下：

21、获取所述当前采样数值和所述锚定采样数值，计算所述当前采样数值与所述锚定采样数值之间的数值差，并保留所述数值差的方向标识，并关联所述数值差和所述方向标识生成所述采样偏移数值，其中，所述当前采样数值和所述锚定采样数值包括加油量、加油总金额、油枪升累计、油枪金额累计、历史泵码数据或累计金额中的至少一种数值型采集数据。

22、具体而言，所述区间包络帧的生成过程包括：

23、获取连续所述采样偏移数值未超过所述最小有效变化门限的多个原始数据帧，读取多个所述原始数据帧分别对应的所述采样时刻；

24、将最早采样时刻和最晚采样时刻确定为包络起止时间，并对多个所述当前采样数值进行大小比较，确定最小采样数值和最大采样数值；

25、将所述现场设备地址、所述包络起止时间、所述最小采样数值和所述最大采样数值进行关联，生成所述区间包络帧，所述区间包络帧用于表示同一加油机或同一油枪在连续采样期间销售数据或运行监测数据处于稳定变化区间。

26、具体而言，所述偏移描述帧的生成过程包括：

27、获取所述采样偏移数值超过最小有效变化门限且未超过突变门限的原始数据帧，并读取对应原始数据帧的所述采样时刻、所述现场设备地址和所述状态锚定帧，将所述采样偏移数值与锚定采样数值之间的偏移方向进行关联，并将所述采样时刻作为偏移发生时间；

28、将所述现场设备地址、所述状态锚定帧、所述偏移发生时间、所述采样偏移数值和所述偏移方向进行顺序封装，生成所述偏移描述帧，所述偏移描述帧用于描述加油量、加油总金额、油枪升累计、油枪金额累计、历史泵码数据或累计金额相对于状态锚定帧的有效变化。

29、具体而言，所述保真数据帧的生成过程包括：

30、获取所述采样偏移数值超过突变门限或所述校验结果为异常的原始数据帧，以及获取加油枪提枪、正在加油、放枪状态切换，加油机离线状态变化，或加油机设备信息变化对应的原始数据帧，并按照所述现场设备地址在所述来源序列中向前查找与所述当前原始数据帧相邻的前置数据帧；

31、当存在所述前置数据帧时，读取所述前置数据帧的所述采样时刻、所述原始采样字节序列和所述校验结果，与所述当前原始数据帧的所述采样时刻、所述原始采样字节序列和所述校验结果进行相邻关系标记；

32、当不存在所述前置数据帧时，将所述当前原始数据帧标记为单帧保真对象，基于所述相邻关系标记或所述单帧保真对象生成所述保真数据帧，所述保真数据帧保留对应接口类型、协议类型、原始采样字节序列和协议解析结果。

33、具体而言，输出预处理数据帧的过程包括：

34、获取通信接口空闲槽位数量和通信芯片重传计数，依据所述通信接口空闲槽位数量确定发送缓冲区的可写入帧容量，并依据所述通信芯片重传计数确定当前发送拥塞状态；

35、当所述当前发送拥塞状态未达到拥塞限制条件时，按照所述保真数据帧、所述状态锚定帧、所述偏移描述帧和所述区间包络帧的写入优先级，将不超过所述可写入帧容量的待发送帧写入发送缓冲区；

36、读取所述发送缓冲区中的待发送帧并附加输出顺序标识，生成所述预处理数据帧，并按照http、tcp、udp或mqtt协议中的至少一种协议输出至物联网平台；当网络传输异常时，将待发送帧进行本地缓存并在通信恢复后续传。

37、基于边缘智能的集线器采集器数据预处理系统，包括：

38、帧归组计算模块，用于接收现场设备上传的原始数据帧，记录原始数据帧对应的现场设备地址、设备量程范围、采样时刻、原始采样字节序列、采样字节位数和校验结果，并记录接口类型和协议类型，所述接口类型包括三线电流环、两线电流环、rs485、rs422、rs232、lonworks、以太网以及加油机厂家自定义硬件接口中的至少一种，所述协议类型包括http、tcp、udp、mqtt协议和ma-oil解析协议中的至少一种，按照现场设备地址对缓存队列中的原始数据帧进行归组得到来源序列，并根据设备量程范围和采样字节位数，计算最小有效变化门限和突变门限；

39、偏移解析模块，用于从所述来源序列中选取校验结果为正常且采样时刻为最早的原始数据帧作为状态锚定帧，并解析提取锚定采样数值，读取状态锚定帧之后的原始数据帧，解析对应原始采样字节序列得到当前采样数值，并计算当前采样数值与锚定采样数值之间的采样偏移数值，其中，所述当前采样数值包括加油量、加油总金额、油枪升累计、油枪金额累计、历史泵码数据或累计金额中的至少一种；

40、分级处理模块，用于当采样偏移数值未超过最小有效变化门限时，合并对应来源序列中原始数据帧采样时刻的起止时间、最小采样数值和最大采样数值，形成区间包络帧；当采样偏移数值超过最小有效变化门限且未超过突变门限时，保留采样时刻和采样偏移数值，形成偏移描述帧；当采样偏移数值超过突变门限或校验结果为异常时，提取同一现场设备地址对应的前置数据帧，并将前置数据帧与当前原始数据帧进行合并形成保真数据帧，并对加油枪提枪、正在加油、放枪状态切换，加油机在离线状态变化以及加油机设备信息变化对应的原始数据帧进行保真处理；

41、缓冲发送模块，用于根据通信接口空闲槽位数量和通信芯片重传计数，将保真数据帧、状态锚定帧、偏移描述帧和区间包络帧写入发送缓冲区，并输出预处理数据帧，所述缓冲发送模块还用于通过http、tcp、udp或mqtt协议接入物联网平台，并在网络异常时执行本地缓存和恢复续传。

42、与现有技术相比，本发明的优点和积极效果在于：

43、本发明中，按加油机现场设备地址归组原始数据帧并结合量程范围与采样字节位数设定变化判别边界，使连续采样数据在同一来源内获得统一比较基准，正常微小波动被收敛为区间包络，减少重复字节占用，超过有效变化范围但未触发突变的数据转化为偏移描述，保留变化趋势并压缩传输负载，突变或异常校验数据同前置数据帧合并保真，保证异常前后状态连续可追溯，再依据接口空闲槽位和重传计数安排发送顺序，使缓存压力和链路波动得到协调控制。