一种基于自监督的大数据匹配系统的制作方法
本发明涉及大数据匹配领域,尤其涉及一种基于自监督的大数据匹配系统。
背景技术:
1、随着计算机网络与互联网应用的快速发展,网络通信过程中产生的网络流大数据规模持续增长,网络大数据中承载的内容类型呈现出高度多样化和复杂化特征,现有网络大数据分析技术通常通过基于端口、协议字段或预定义规则对网络通信数据进行解析和匹配,部分技术引入特征统计或机器学习模型对通信负载进行内容识别,但整体上仍高度依赖人工经验规则或人工标注样本,难以适应未知协议、混合编码和动态变化的通信环境。
2、在实际应用中,现有技术普遍存在规则构建静态、候选数据区域定位粗糙、跨报文关联能力弱等问题,导致对通信负载中隐含的数据结构识别准确率有限,且在复杂网络环境下容易产生误匹配或低可信度结果,同时,现有方法往往缺乏统一的自监督判别机制,难以在无标签条件下对候选数据区域进行有效筛选和对匹配结果进行可靠性评估,制约了网络大数据匹配技术在高复杂度网络场景中的应用效果。
技术实现思路
1、本发明的一个目的在于提出一种基于自监督的大数据匹配系统,本发明基于自监督判别与规则动态调度方法,实现网络大数据精准匹配,具备无需标注、适应性强和结果可靠性高的优点。
2、根据本发明实施例的一种基于自监督的大数据匹配系统,包括:
3、网络流采集与会话标识模块,用于采集原始网络流大数据并进行会话标识,生成网络流大数据集合;
4、网络流时序重构模块,用于对网络流大数据执行时序关联处理,生成完整网络大数据报文;
5、报文字节预处理与统计模块,用于对完整网络大数据报文进行字节级预处理和统计分析,生成报文字节分布特征集合;
6、候选数据区域定位模块,用于定位完整网络大数据报文中的候选数据区域,生成候选数据区域集合;
7、规则构建与动态调度模块,用于基于候选数据区域特征构建数据匹配规则集合,并生成数据匹配规则调度序列;
8、规则驱动数据匹配模块,用于按照数据匹配规则调度序列执行数据匹配处理,生成数据匹配结果集合;
9、跨报文一致性校验模块,用于对数据匹配结果集合执行跨报文一致性校验,生成高可信度数据匹配结果。
10、可选的,模块之间通过如下方法实现:
11、采集网络通信过程中产生的原始网络流大数据,按照源地址、目的地址、源端口和目的端口对原始网络流大数据进行会话标识,生成网络流大数据集合;
12、对网络流大数据集合中的每一网络流执行时序关联处理,依据序列号连续性关系对网络流大数据进行拼接重构,生成完整网络大数据报文;
13、对完整网络大数据报文执行字节级预处理,形成连续的报文字节序列,并基于滑动窗口方式对报文字节序列进行局部统计分析,生成报文字节分布特征集合;
14、基于报文字节分布特征集合,对报文字节序列进行信息密度特征和结构特征分析,依据自监督判别准则从完整网络大数据报文中定位候选数据区域,生成候选数据区域集合;
15、针对候选数据区域集合,基于候选数据区域的字节分布特征、编码特征和结构边界特征,构建数据匹配规则集合,并从数据匹配规则集合中动态调度与候选数据区域特征相匹配的数据匹配规则,生成数据匹配规则调度序列;
16、按照数据匹配规则调度序列执行规则驱动的数据匹配处理,对符合文本数据匹配规则的候选数据区域执行结构化文本数据识别,对符合文件结构边界匹配规则的候选数据区域执行多媒体数据边界识别与数据截取,对符合编码区间匹配规则的候选数据区域执行编码语义数据识别,生成数据匹配结果集合;
17、对数据匹配结果集合执行跨报文一致性校验处理,通过分析同一类型数据匹配结果在不同完整网络大数据报文中的时序关联关系和重复稳定性,筛选得到高可信度数据匹配结果。
18、可选的,所述网络流大数据集合是指对原始网络流大数据按照源地址、目的地址、源端口、目的端口和传输协议类型进行会话标识、通信方向统一以及会话切分处理后形成的以网络流为基本单元组织的网络通信数据集合。
19、可选的,所述完整网络大数据报文的生成包括以下具体步骤:
20、针对网络流大数据集合中的每一网络流大数据,执行报文解析处理,提取每一报文对应的序列号、确认号、负载数据以及到达时间信息;
21、对同一网络流大数据中解析得到的全部报文按照到达时间顺序进行排序,并对排序后的报文中不包含负载数据的报文进行剔除,得到有效报文序列;
22、基于有效报文序列中各报文的确认号信息,对有效报文序列执行分组处理,将确认号相同的报文划分为同一确认号分组;
23、针对每一确认号分组,对确认号分组内的报文按照序列号递增顺序进行排序,形有序的报文序列;
24、依据序列号的连续关系,对报文序列执行顺序拼接,将相邻报文中的负载数据按照序列号顺序进行连接,形成重构后的负载数据;
25、当相邻报文之间存在负载数据重叠时,对重叠部分的负载数据进行去重,并与已重构的负载数据进行拼接;
26、在完成确认号分组内全部报文的拼接处理后,将拼接得到的重构负载数据与对应网络流大数据的会话标识字段及传输协议类型信息进行关联,生成对应的完整网络大数据报文。
27、可选的,所述报文字节分布特征集合的生成包括以下具体步骤:
28、接收完整网络大数据报文,从完整网络大数据报文中提取负载内容,并按照负载内容在完整网络大数据报文中的字节顺序生成报文字节序列;
29、对报文字节序列执行字节级预处理,得到预处理后的报文字节序列;
30、依据预设的滑动窗口长度与滑动步长,对预处理后的报文字节序列执行滑动窗口划分处理,沿预处理后的报文字节序列生成滑动窗口集合;
31、针对滑动窗口集合中的每一滑动窗口,统计各字节取值的出现次数,生成字节分布统计结果,并基于字节分布统计结果生成信息密度统计特征;
32、统计滑动窗口内落入预设可打印字符区间的字节数量,生成可打印字节统计特征;
33、统计滑动窗口内连续相同字节的最大连续长度,生成重复特性统计特征;
34、将各滑动窗口对应的字节分布统计结果、信息密度统计特征、可打印字节统计特征以及重复特性统计特征进行聚合,生成报文字节分布特征集合。
35、可选的,所述字节级预处理包括去除链路层填充字节、去除连续零值填充段以及去除拼接重构过程中形成的重复标记字节。
36、可选的,所述候选数据区域集合的生成包括以下具体步骤:
37、获取报文字节分布特征集合,并按照各滑动窗口在报文字节序列中的起始位置顺序对对应特征进行排序,形成窗口特征序列;
38、基于窗口特征序列中各滑动窗口对应的字节分布统计结果和信息密度统计特征,分别生成反映各滑动窗口字节信息集中程度的信息密度评分;
39、基于各滑动窗口对应的可打印字节统计特征和重复特性统计特征,分别生成反映各滑动窗口字节结构复杂程度的结构复杂度评分;
40、对信息密度评分和结构复杂度评分执行加权和,生成综合判别评分;
41、对同一完整网络大数据报文中所有滑动窗口对应的综合判别评分执行无标签分布统计处理,基于综合判别评分在当前完整网络大数据报文中的整体分布情况,生成自监督判别阈值;
42、将各滑动窗口对应的综合判别评分与自监督判别阈值进行比较,当综合判别评分大于或等于自监督判别阈值时,将对应滑动窗口标记为信息候选窗口;
43、对在窗口特征序列中位置连续且均被标记为信息候选窗口的多个滑动窗口执行合并处理,依据各滑动窗口在报文字节序列中的起始位置和终止位置,生成连续的信息候选字节区间,并将信息候选字节区间确定为候选数据区域;
44、对生成的候选数据区域进行汇总,形成候选数据区域集合。
45、可选的,所述数据匹配规则调度序列的生成包括以下具体步骤:
46、获取候选数据区域集合,并针对候选数据区域集合中的每一候选数据区域,依据该候选数据区域在完整网络大数据报文中的起始字节位置和结束字节位置,截取得到对应的候选数据区域字节片段;
47、针对每一候选数据区域字节片段,对候选数据区域字节片段的字节序列执行编码解析处理,生成编码特征;
48、依据候选数据区域字节片段在完整网络大数据报文中的起始边界字节变化状态、结束边界字节变化状态以及区域内部相邻字节变化状态,生成结构边界特征;
49、对候选数据区域字节片段的字节取值分布情况执行统计处理,生成字节分布特征;
50、构建数据匹配规则集合,所述数据匹配规则集合包括文本数据匹配规则、文件结构边界匹配规则和编码区间匹配规则,所述文本数据匹配规则和编码区间匹配规则的规则适用特征基于编码特征构建,所述文件结构边界匹配规则的规则适用特征基于结构边界特征构建;
51、针对每一候选数据区域,基于编码特征和结构边界特征,对数据匹配规则集合中的各数据匹配规则执行规则适用判定,筛选得到适用于该候选数据区域的候选数据匹配规则集合;
52、针对候选数据匹配规则集合,基于字节分布特征生成对应的规则调度评分,并依据规则调度评分对候选数据匹配规则进行排序,生成面向该候选数据区域的数据匹配规则调度序列。
53、可选的,所述数据匹配结果集合的生成包括以下具体步骤:
54、获取数据匹配规则调度序列,并提取对应的候选数据区域字节片段;
55、针对数据匹配规则调度序列中的每一数据匹配规则,读取该数据匹配规则的规则类型标识;
56、当规则类型标识指示为文本数据匹配规则时,调用该文本数据匹配规则的规则参数,对候选数据区域字节片段执行结构化文本数据识别处理,生成结构化文本数据识别结果;
57、当规则类型标识指示为文件结构边界匹配规则时,调用该文件结构边界匹配规则的规则参数,对候选数据区域字节片段执行多媒体数据边界识别与数据截取处理,生成多媒体数据边界识别与数据截取结果;
58、当规则类型标识指示为编码区间匹配规则时,调用该编码区间匹配规则的规则参数,对候选数据区域字节片段执行编码语义数据识别处理,生成编码语义数据识别结果;
59、将结构化文本数据识别结果、多媒体数据边界识别与数据截取结果和编码语义数据识别结果写入数据匹配结果集合。
60、可选的,所述高可信度数据匹配结果的生成包括以下具体步骤:
61、获取数据匹配结果集合,并为每一数据匹配结果分配结果标识,同时提取与结果标识关联的完整网络大数据报文标识、数据类型标识、结果字节片段指纹、起始字节位置和结束字节位置,生成结果索引集合;
62、依据数据类型标识对结果索引集合执行分组处理,生成类型结果索引集合,并在类型结果索引集合内部,按照完整网络大数据报文标识对应的时间先后顺序构建完整网络大数据报文时序序列;
63、在类型结果索引集合内部,依据结果字节片段指纹执行跨报文同一性聚合,将具有相同结果字节片段指纹的结果标识归入同一指纹簇,生成指纹簇集合;
64、基于指纹簇集合,统计每一指纹簇覆盖的不同完整网络大数据报文标识数量,并统计对应类型结果索引集合覆盖的不同完整网络大数据报文标识总数量,将不同完整网络大数据报文标识数量与不同完整网络大数据报文标识总数量的比值作为对应指纹簇的重复稳定性评分;
65、基于完整网络大数据报文时序序列,计算各指纹簇内部结果标识对应的完整网络大数据报文标识在完整网络大数据报文时序序列中的序号差值,生成对应指纹簇的时序关联评分;
66、计算各指纹簇内部结果标识对应的结果字节片段长度的平均值,并计算各指纹簇内部结果标识对应的起始字节位置的离散程度,基于离散程度与结果字节片段长度平均值生成对应指纹簇的位置一致性评分;
67、对每一指纹簇的重复稳定性评分、时序关联评分和位置一致性评分执行加权和,生成对应指纹簇的可信度评分,并将可信度评分与预设可信度阈值进行比较,筛选得到高可信度指纹簇集合;
68、将高可信度指纹簇集合中的结果标识映射至数据匹配结果集合,提取对应的数据匹配结果,生成高可信度数据匹配结果。
69、本发明的有益效果是:
70、本发明通过在网络通信数据处理流程中引入自监督判别机制与规则驱动匹配机制的有机结合,实现了对网络通信负载中潜在数据区域的精细化定位与高可靠性识别,通过对原始网络流大数据进行会话级重构,完整还原网络大数据报文结构,使后续分析不再受限于分片报文或乱序传输带来的信息缺失问题,在此基础上,通过字节级预处理与滑动窗口统计分析,构建多维度的报文字节分布特征,使系统能够在不依赖先验协议知识和人工标注样本的情况下,对网络通信负载的局部信息密度和结构特性进行刻画,为候选数据区域的自动发现提供可靠依据。
71、进一步地,本发明通过联合信息密度特征与结构复杂度特征,基于报文内部特征分布的自适应统计关系生成自监督判别阈值,有效避免了传统方法中固定阈值或人工经验阈值带来的适应性不足问题,使候选数据区域的定位能够随不同通信报文的特性动态调整,提升了对混合数据、未知协议数据以及非规则编码数据的识别能力,同时通过对连续候选窗口的自动合并,能够准确形成语义完整的候选数据区域,减少碎片化区域对后续匹配准确性的影响。
72、在数据匹配阶段,本发明通过区分编码特征与结构边界特征,构建文本数据匹配规则、文件结构边界匹配规则和编码区间匹配规则三类规则体系,并基于候选数据区域特征对规则进行动态调度,实现了规则与数据特征之间的精确对齐,相较于现有技术中规则静态调用或单一匹配策略的方式,该方法能够针对不同候选数据区域自动选择最优匹配路径,降低无关规则干扰,提高匹配效率和匹配精度。同时,通过引入规则调度评分机制,使规则执行顺序具备可量化依据,增强了系统整体匹配过程的稳定性和可控性。
73、此外,本发明在匹配结果输出阶段引入跨报文一致性校验机制,通过结果指纹、时序关联、重复稳定性和位置一致性等多维度约束,对不同通信报文中的匹配结果进行聚合与筛选,有效抑制偶发噪声和单报文异常带来的误匹配风险,从而输出高可信度的数据匹配结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com