数据报文处理方法、装置、设备及介质与流程

本技术涉及数据传输领域，尤其涉及一种数据报文处理方法、装置、设备及介质。

背景技术：

1、在工业数据采集过程中，通常是通过工业网关、仪器仪表、传感器等采集设备实时采集，然后将数据传输至工业物联网平台以进行分析与监控。而由于采集的工业数据量通常较大，导致在传输过程中通常存在明显的带宽浪费/流量消耗大、传输延迟较高、数据丢失等问题。所以，为了提高数据传输的效率，在进行数据传输之前对数据进行适当的压缩处理可以有效的提高数据传输效率。

2、现有技术中，对数据报文进行处理的方法通常采用单报文压缩的方式。具体的，采集设备在报文生成后，通常通过gnu压缩算法（gnu zip，gzip）、lempel-ziv-oberhumer 压缩算法（lzo）等数据压缩算法对每一个报文进行独立压缩，压缩后再进行网络传输。

3、然而，现有技术中的数据报文处理方法压缩比率较低，浪费数据传输带宽，难以提高数据传输的效率。

技术实现思路

1、本技术实施例提供数据报文处理方法、装置、设备及介质，用以解决现有技术中存在对数据报文处理方法压缩比率较低，资源利用率不高，难以提高数据传输的效率的问题。

2、第一方面，本技术实施例提供一种数据报文处理方法，包括：

3、获取第一数据报文，所述第一数据报文中包含多个词向量；

4、若所述第一数据报文为正常报文，则确定所述第一数据报文中每个词向量出现频率；

5、对出现频率大于预设频率的高频词向量，根据预设字典将所述高频词向量替换为对应的字符串，得到第二数据报文，所述预设字典是预先根据不同的词向量与对应的字符串构建得到的；

6、根据压缩算法，将所述第二数据报文进行压缩，得到第三数据报文。

7、在一种可能的实施方式中，所述根据预设字典将所述高频词向量替换为对应的字符串，得到第二数据报文，包括：

8、判断所述预设字典中是否存在与所述高频词向量对应的目标字符串；

9、若存在，则将所述高频词向量替换为目标字符串，得到第二数据报文。

10、在一种可能的实施方式中，所述方法还包括：

11、若不存在，则根据编码规则对所述高频词向量进行编码，生成对应的目标字符串；

12、将所述高频词向量与编码生成对应的目标字符串存储至所述预设字典；

13、将所述目标词向量替换为目标字符串并得到第二数据报文。

14、在一种可能的实施方式中，所述编码规则包括一下至少一项：哈希算法、字典压缩算法以及位图编码算法。

15、在一种可能的实施方式中，所述方法还包括：

16、将所述第一数据报文输入至深度学习模型中进行分类，获取所述深度学习模型输出的分类结果，所述分类结果用于指示所述第一数据报文为正常报文和异常报文；

17、其中，所述深度学习模型是预先根据样本数据报文以及分类结果标签进行训练得到的用于识别报文正常或异常的模型。

18、在一种可能的实施方式中，所述方法还包括：

19、若所述分类结果为异常报文，则输出报警信息，所述报警信息用于提示用户对所述第一数据报文进行处理。

20、在一种可能的实施方式中，所述得到第三数据报文之后，所述方法还包括：

21、将所述第三数据报文以及预设字典传输至其他通信设备。

22、第二方面，本技术实施例提供一种数据报文处理装置，包括：

23、获取模块，用于获取第一数据报文，所述第一数据报文中包含多个词向量；

24、确定模块，用于若所述第一数据报文为正常报文，则确定所述第一数据报文中每个词向量出现频率；

25、第一处理模块，用于对出现频率大于预设频率的高频词向量，根据预设字典将所述高频词向量替换为对应的字符串，得到第二数据报文，所述预设字典是预先根据不同的词向量与对应的字符串构建得到的；

26、第二处理模块，用于根据压缩算法，将所述第二数据报文进行压缩，得到第三数据报文。

27、在一种可能的实施方式中，所述第一处理装置，具体用于：

28、判断所述预设字典中是否存在与所述高频词向量对应的目标字符串；

29、若存在，则将所述高频词向量替换为目标字符串，得到第二数据报文。

30、在一种可能的实施方式中，所述第一处理装置，还用于：

31、若不存在，则根据编码规则对所述高频词向量进行编码，生成对应的目标字符串；

32、将所述高频词向量与编码生成对应的目标字符串存储至所述预设字典；

33、将所述目标词向量替换为目标字符串并得到第二数据报文。

34、在一种可能的实施方式中，所述编码规则包括一下至少一项：哈希算法、字典压缩算法以及位图编码算法。

35、在一种可能的实施方式中，所述第一处理装置，还用于：

36、将所述第一数据报文输入至深度学习模型中进行分类，获取所述深度学习模型输出的分类结果，所述分类结果用于指示所述第一数据报文为正常报文和异常报文；

37、其中，所述深度学习模型是预先根据样本数据报文以及分类结果标签进行训练得到的用于识别报文正常或异常的模型。

38、在一种可能的实施方式中，所述第一处理装置，还用于：

39、若所述分类结果为异常报文，则输出报警信息，所述报警信息用于提示用户对所述第一数据报文进行处理。

40、在一种可能的实施方式中，所述得到第三数据报文之后，所述第二处理装置，还用于：

41、将所述第三数据报文以及预设字典传输至其他通信设备。

42、第三方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

43、所述存储器存储计算机执行指令；

44、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面和/或第一方面各种可能的实施方式。

45、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

46、本技术实施例提供的数据报文处理方法、装置、设备及介质，首先，获取第一数据报文；之后，若第一数据报文为正常报文，则确定第一数据报文中每个词向量出现频率；然后，对出现频率大于预设频率的高频词向量，根据预设字典将高频词向量替换为对应的字符串，得到第二数据报文，至此，通过利用预设字典，将出现频率较高的词向量（即高频词向量）替换为预设字典中更短的字符串，在不丢失原始语义的前提下，显著减小数据报文的大小，节省存储与传输成本，并且使后续的压缩算法可以在更小的空间上发挥更高效的压缩性能；最后，根据压缩算法，将所述第二数据报文进行压缩，得到第三数据报文。通过这种方法，提高了对数据报文的压缩比率以及降低了数据报文在传输过程中的数据带宽，提高了数据传输的效率。