数据上传方法及装置、DTU设备与流程

本发明涉及数据传输，具体而言，涉及一种数据上传方法及装置、dtu设备。

背景技术：

1、终端设备（数据传输单元）作为物联网感知层与网络层的关键枢纽，广泛应用于工业物联网、环境监测、电力采集及车载数据采集等场景，主要负责连接现场传感器及串口设备，并将采集到的温湿度、电压、电流等原始数据通过4g/5g/nb等无线网络透传至云平台。目前，行业内普遍采用原始数据全量透传模式，即采集到的各类模拟量、开关量及累计量数据未经任何预处理直接完整上传，这种模式在周期性高频采集的应用场景中显得尤为突出。

2、然而，在高频采集场景下，现场环境数据往往具有稳定性高、相邻周期数据差值极小的特点，导致传统透传模式产生大量重复冗余数据。这不仅造成无线通信流量资源的严重浪费和长期运行成本的增加，还因数据包体积庞大而加剧了网络传输时延，在弱网环境下极易引发丢包或阻塞；此外，传统通用压缩算法（如zip、gzip）运算复杂、占用内存大，难以在资源受限的嵌入式mcu上高效运行，导致云端服务器也面临巨大的数据解析与存储压力。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种数据上传方法及装置、dtu设备，以至少解决相关技术中dtu设备因高频采集产生大量冗余数据，导致嵌入式平台算力资源浪费的技术问题。

2、根据本发明实施例的一个方面，提供了一种数据上传方法，包括：将当前采集的当前数据与基准数据进行比对，依据各数据类型的变化判定策略，筛选出需要上传的增量数据，其中，所述基准数据是在当前周期中用于作为基准的数据，所述基准数据包括以下至少之一：模拟量数据、开关量数据以及累计脉冲量数据；将所述增量数据进行处理，得到包含数据变化信息的待上传数据；将所述待上传数据上传至所述云端服务器。

3、可选地，将当前采集的当前数据与基准数据进行比对，依据各数据类型的变化判定策略，筛选出需要上传的增量数据，包括：确定所述当前数据的数据类型；根据所述数据类型确定目标的变化判定策略；根据所述目标变化判定策略对所述当前数据进行筛选,以得到所述增量数据。

4、可选地，根据所述数据类型确定目标变化判定策略，包括：在确定所述数据类型为模拟量数据时,确定所述目标变化判定策略为：计算所述当前数据与本地缓存区的所述基准数据的差值的绝对值，并计算相对变化百分比，其中，所述相对变化百分比为所述差值的绝对值与所述基准数据的比值，若所述绝对值大于预设绝对偏差阈值且所述相对变化百分比大于预设相对偏差阈值，确定数据发生变化，其中，所述相对变化百分比为所述差值的绝对值与所述基准数据的比值。

5、可选地，根据所述数据类型确定目标变化判定策略，包括：在确定所述数据类型为开关量数据时，确定所述目标变化判定策略为：若确定所述当前数据对应的数字信号状态相对于所述基准数据对应的基准数字信号状态发生翻转，确定数据发生变化。

6、可选地，根据所述数据类型执行相应的变化判定策略,以得到所述增量数据，包括：在确定所述数据类型为累计脉冲量数据时，确定所述目标变化判定策略为：计算所述当前数据与本地缓存区的所述基准数据的增量净差值；若所述增量净差值的绝对值大于预设最小计量步长阈值，确定数据发生变化。

7、可选地，将所述增量数据进行处理，得到包含数据变化信息的待上传数据，包括：将所述增量数据以轻量化定点编码方式进行压缩，得到编码压缩数据；将所述编码压缩数据以及传输控制信息按照预定协议格式进行拼接，得到拼接数据；将所述拼接数据进行封装，得到所述待上传数据。

8、可选地，在将所述待上传数据上传至所述云端服务器后，所述数据上传方法还包括：通过所述云端服务器提取所述待上传数据中的信息，得到所述增量数据；将所述云端服务器中的所述基准数据与所述增量数据进行融合，得到当前周期的完整数据。

9、可选地，所述数据上传方法还包括：在所述云端服务器将所述基准数据更新为所述完整数据；将所述完整数据存储至本地缓存区。

10、可选地，在得到增量数据后，所述数据上传方法还包括：若数据变化量大于物理允许最大突变阈值，取消所述增量数据上传操作，并确定所述当前数据的全部为需要上传的所述增量数据。

11、可选地，所述数据上传方法还包括：若所述数据变化量小于或等于所述物理允许最大突变阈值，执行所述增量数据上传操作。

12、根据本发明实施例的另一方面，还提供了一种数据上传装置，包括：比对单元，用于将当前采集的当前数据与基准数据进行比对，依据各数据类型的变化判定策略，筛选出需要上传的增量数据，其中，所述基准数据是在当前周期中用于作为基准的数据，所述基准数据包括以下至少之一：模拟量数据、开关量数据以及累计脉冲量数据；处理单元，用于将所述增量数据进行处理，得到包含数据变化信息的待上传数据；上传单元，用于将所述待上传数据上传至所述云端服务器。

13、可选地，所述比对单元包括：第一确定模块，用于确定所述当前数据的数据类型；第二确定模块，用于根据所述数据类型确定目标变化判定策略；执行模块，用于根据所述目标变化判定策略对所述当前数据进行筛选,以得到所述增量数据。

14、可选地，所述第二确定模块包括：第一确定子模块，用于在确定所述数据类型为模拟量数据时,确定所述目标变化判定策略为：计算所述当前数据与所述基准数据的差值的绝对值，并计算相对变化百分比，若所述绝对值大于预设绝对偏差阈值且所述相对变化百分比大于预设相对偏差阈值，确定数据发生变化，其中，所述相对变化百分比为所述差值的绝对值与所述基准数据的比值。

15、可选地，所述第二确定模块包括：第二确定子模块，用于在确定所述数据类型为开关量数据时，确定所述目标变化判定策略为：若确定所述当前数据对应的数字信号状态相对于所述基准数据对应的基准数字信号状态发生翻转，确定数据发生变化。

16、可选地，所述第二确定模块包括：第二确定子模块，用于在确定所述数据类型为累计脉冲量数据时，确定所述目标变化判定策略为：计算所述当前数据与所述基准数据的增量净差值，若所述增量净差值的绝对值大于预设最小计量步长阈值，确定数据发生变化。

17、可选地，所述处理单元包括：压缩模块，用于将所述增量数据以轻量化定点编码方式进行压缩，得到编码压缩数据；拼接模块，用于将所述编码压缩数据以及传输控制信息按照预定协议格式进行拼接，得到拼接数据；封装模块，用于将所述拼接数据进行封装，得到所述待上传数据。

18、可选地，所述数据上传装置还包括：提取单元，用于在将所述待上传数据上传至所述云端服务器后，通过所述云端服务器提取所述待上传数据中的信息，得到所述增量数据；计算单元，用于在所述云端服务器中将所述基准数据与所述增量数据进行融合，得到所述当前周期的完整数据。

19、可选地，所述数据上传装置还包括：更新单元，用于在所述云端服务器将所述基准数据更新为所述完整数据；存储单元，用于将所述完整数据存储至本地缓存区。

20、可选地，所述数据上传装置还包括：所述处理单元，还用于在得到增量数据后，若数据变化量大于物理允许最大突变阈值，取消所述增量数据上传操作，并确定所述当前数据的全部为需要上传的所述增量数据。

21、可选地，所述数据上传装置还包括：所述处理单元，还用于若所述数据变化量小于或等于所述物理允许最大突变阈值，执行所述增量数据上传操作。

22、根据本发明实施例的一个方面，提供了一种数据上传系统，所述数据上传系统使用上述中任一项所述的数据上传方法。

23、根据本发明实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行上述中任意一项所述的数据上传方法。

24、根据本发明实施例的一个方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的数据上传方法。

25、根据本发明实施例的一个方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时执行上述中任意一项所述的数据上传方法。

26、根据本发明实施例的一个方面，提供了一种dtu设备，其中，所述dtu设备使用上述中任一项所述的数据上传方法。

27、应用本技术的技术方案，上述数据上传方法中，获取当前周期中采集的当前数据，将该当前数据与基准数据进行比对，以依据各数据类型的变化判定策略，筛选出需要上传的增量数据；将增量数据进行处理，得到包含数据变化信息的待上传数据；将待上传数据上传至云端服务器，实现了在dtu端建立本地基准数据缓存，针对模拟量、开关量及累计脉冲量分别采用差异化的变化判定策略，仅当数据发生变化时才进行轻量化编码并上传，解决了相关技术中dtu设备因高频采集产生大量冗余数据，导致嵌入式平台算力资源浪费的技术问题。