面向大语言模型的流量特征编码方法、装置、系统、设备及介质与流程

本发明实施例涉及信息处理，特别是涉及一种面向大语言模型的流量特征编码方法、装置、系统、设备及介质。

背景技术：

1、大语言模型（large language model，llm）的核心计算单元（transformer）只能处理高维稠密向量（embedding），无法直接理解原始数据包捕获格式（packet capture，pcap）报文、互联网协议（internet protocol，ip）地址字符串或json字段。因此，必须将网络流量中提取出的各类特征编码转换为模型可计算的数值形式。

2、现有技术提供的面向llm的流量特征编码方法，包括：首先，从原始网络报文（pcap/json）中提取结构化流量特征，并将该流量特征转换为字符串格式；然后，通过分词器（tokenizer）按照预先设置的词表，将字符串拆分成多个词元（token），输出token id；最后，以分隔符串联各流量特征的token id，形成token序列。

3、现有技术提供的技术方案，在流量特征为数值特征的情况下，由于拆分的token数量较多，且各个token之间是不连续的，例如，一个32位的浮点数特征12345.6789，在字符串化后可能被拆分为5-8个不连续的token，会导致token膨胀以及数值语义失真的问题。

技术实现思路

1、本发明实施例提供了一种面向大语言模型的流量特征编码方法、装置、系统、设备及介质，能够解决token膨胀以及数值语义失真的问题。

2、第一方面，本发明实施例公开了一种面向大语言模型的流量特征编码方法，所述方法包括：

3、确定流量特征对应的编码精度；

4、按照所述编码精度，对所述流量特征进行编码，生成流量特征编码；

5、将编码后的流量特征转化为十六进制字符串。

6、第二方面，本发明实施例公开了一种面向大语言模型的流量特征编码装置，所述装置包括：

7、第一模块，用于确定流量特征对应的编码精度；

8、第二模块，用于按照所述编码精度，对所述流量特征进行编码，生成流量特征编码；

9、第三模块，用于将编码后的流量特征转化为十六进制字符串。

10、第三方面，本发明实施例公开了一种面向大语言模型的流量特征编码系统，所述系统包括：

11、流量采集网元，用于获取原始流量包；

12、特征提取服务器，用于从所述原始流量包中提取流量特征，确定流量特征对应的编码精度，按照所述编码精度，对所述流量特征进行编码，生成流量特征编码，将编码后的流量特征转化为十六进制字符串。

13、第四方面，本发明实施例公开了一种电子设备，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行前述的方法。

14、第五方面，本发明实施例公开了一种非暂态计算机可读存储介质，存储有指令，所述指令使得处理器执行前述的方法。

15、第六方面，本发明实施例公开了一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行前述的方法。

16、与现有技术相比，本发明实施例包括以下优点：

17、本申请实施例提供的技术方案在对流量特征进行编码的过程中，采用流量特征对应的编码精度，生成流量特征编码，并且，将编码后的流量特征转化为十六进制字符串，跳过了现有技术采用的繁琐且低效的“字符串-分词”阶段，直接将流量特征压缩为固定长度（编码精）的底层字节流。这不仅直接压缩了token长度，还通过内存对齐和精度控制保证了网络特征在llm中的表征质量。有效解决了token膨胀以及数值语义失真的问题。

1.一种面向大语言模型的流量特征编码方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定流量特征对应的编码精度包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述重要度系数，确定所述流量特征对应的编码精度包括：

4.根据权利要求1所述的方法，其特征在于，所述按照所述编码精度，对所述流量特征进行编码，生成流量特征编码包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.一种面向大语言模型的流量特征编码装置，其特征在于，所述装置包括：

7.一种面向大语言模型的流量特征编码系统，其特征在于，所述系统包括：

8.一种电子设备，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据权利要求1至5中任一项所述的方法。

9.一种非暂态计算机可读存储介质，存储有指令，所述指令使得处理器执行根据权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行权利要求1至5中任一项所述的方法。