一种网络异常检测方法、装置、电子设备及可读介质与流程
本发明涉及互联网,尤其涉及一种网络异常检测方法、装置、电子设备及可读介质。
背景技术:
1、随着低空经济的快速发展,无人机航拍、物流配送、农业植保等应用场景不断拓展,对低空通信网络提出了更高要求。当前低空通信网络建设主要遵循优先复用地面网、按需新建低空专网的原则,但地面移动通信网络的设计初衷是服务地面用户,难以匹配无人机图像传输、远程控制等业务对高带宽、高稳定性的需求,导致低空业务速率无法得到有效保障,网络异常时有发生。
2、现有的低空通信网络的异常检测多集中于地面网络场景,缺乏对低空通信三维覆盖复杂、切换频繁等特性的深入分析,难以直接适用于低空接入网络,且处理多源异构数据的能力较差,难以有效整合和利用多样化数据源,无法满足低空通信业务的高可靠性要求。
3、因此,如何实现对低空通信网络的快速、准确的异常事件预测是亟待解决的问题。
技术实现思路
1、本发明提供了一种网络异常检测方法、装置、电子设备及可读介质,以实现对低空通信网络的快速、准确的异常事件预测。
2、根据本发明的一方面,提供了一种网络异常检测方法,包括:
3、通过预先构建的分层流水线架构实时采集低空接入网络的多源话单数据,从所述多源话单数据提取与低空业务相关的有效样本;
4、基于所述有效样本构建低空接入网络异常探查与预测的时序样本序列;
5、构建异常探查与预测模型,并利用所述时序样本序列对异常探查与预测模型进行训练;
6、将实时话单数据输入训练完成的异常探查与预测模型,进行异常探查与预测结果分析。
7、可选的,所述分层流水线架构,包含接入层、解析层和输出层;相应的,通过预先构建的分层流水线架构实时采集低空接入网络的多源话单数据,包括:
8、通过所述接入层接入原始多源异构数据,所述多源异构数据包括来自实时消息中间件的数据流和来自批量文件系统的数据文件;
9、通过所述解析层通过插件化解码引擎,将不同格式的原始多源异构数据解析并映射为标准数据库模式,所述标准数据库模式包含用户卡标识、基站标识、接入时间和流量指标中的一种或多种;
10、通过所述输出层将标准化后的多源异构数据写入共享数据总线或时序数据库。
11、可选的,在实时采集多源话单数据时采用动态分区分配策略,以使同一用户卡的话单数据按时间顺序被消费,对采集的多源话单数据采用文件md5校验与偏移量双重校验,以实现断点续传与数据去重。
12、可选的,从所述多源话单数据提取与低空业务相关的有效样本,包括:
13、基于用户签约场景,筛选出属于低空业务的物联网卡用户话单;
14、基于预配置的接入点名称apn或策略与计费控制pcc字典,匹配并识别专用于低空业务的图像传输通道;
15、将满足上述任一条件的多源话单数据标记为有效样本。
16、可选的,基于所述有效样本构建低空接入网络异常探查与预测的时序样本序列,包括:
17、从所述有效样本中提取多维度特征,所述多维度特征包括空间与身份维度、业务与通道维度、时序与状态维度;
18、以用户-基站-apn通道为联合主键对所述有效样本进行分组,并根据时间顺序组织话单记录,构建时序样本序列,所述时序样本序列的特征字段包括:用户/终端标识、基站/小区标识、接入开始与结束时间、会话时长、会话总流量、上行流量和下行流量中的一种或多种。
19、可选的,所述构建异常探查与预测模型,包括:
20、采用编码器-解码器架构,其中编码器和解码器均包含6层隐藏层,每层配置8个注意力头;
21、引入正弦位置编码以保留时间序列的顺序信息,并将特征嵌入维度设定为512;
22、选用二元交叉熵损失函数作为目标函数,并采用adam优化器进行模型训练;
23、将时序样本序列按时间顺序划分为训练集和验证集,并采用早停机制防止模型过拟合。
24、可选的,进行异常探查与预测结果分析,包括:
25、对实时低空接入话单流进行滑动窗口探查,输出当前基站接入的异常概率;
26、当异常概率大于或等于预设阈值,且同时满足预设的速率下降幅度、会话驻留时间小于预设值、并符合预设时序规律时,标记为异常事件;
27、输出包括异常基站标识、异常发生时间、异常类型及置信度的预测结果。
28、根据本发明的另一方面,提供了一种网络异常检测装置,包括:
29、有效样本提取单元,用于通过预先构建的分层流水线架构实时采集低空接入网络的多源话单数据,从所述多源话单数据提取与低空业务相关的有效样本;
30、时序样本序列构建单元,用于基于所述有效样本构建低空接入网络异常探查与预测的时序样本序列;
31、模型训练单元,用于构建异常探查与预测模型,并利用所述时序样本序列对异常探查与预测模型进行训练;
32、数据输入单元,用于将实时话单数据输入训练完成的异常探查与预测模型,进行异常探查与预测结果分析。
33、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
34、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的网络异常检测方法。
35、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的网络异常检测方法。
36、本发明实施例的技术方案,通过预先构建的分层流水线架构实时采集低空接入网络的多源话单数据,提取与低空业务相关的有效样本;基于所述有效样本构建低空接入网络异常探查与预测的时序样本序列;构建异常探查与预测模型,并利用时序样本序列对异常探查与预测模型进行训练;将实时话单数据输入训练完成的异常探查与预测模型,进行异常探查与预测结果分析,解决了现有技术在低空接入网络场景下,难以有效处理多源异构数据,且在异常检测的实时性与准确性之间难以取得平衡,导致无法满足低空通信高可靠性要求的问题,取得了能够精准识别异常基站并前瞻性预测异常接入事件,显著提升低空接入网络异常探查与预测的准确性和可靠性的有益效果。
37、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种网络异常检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述分层流水线架构,包含接入层、解析层和输出层;相应的,通过预先构建的分层流水线架构实时采集低空接入网络的多源话单数据,包括:
3.根据权利要求2所述的方法,其特征在于,在实时采集多源话单数据时采用动态分区分配策略,以使同一用户卡的话单数据按时间顺序被消费,对采集的多源话单数据采用文件md5校验与偏移量双重校验,以实现断点续传与数据去重。
4.根据权利要求1所述的方法,其特征在于,从所述多源话单数据提取与低空业务相关的有效样本,包括:
5.根据权利要求1所述的方法,其特征在于,基于所述有效样本构建低空接入网络异常探查与预测的时序样本序列,包括:
6.根据权利要求1所述的方法,其特征在于,所述构建异常探查与预测模型,包括:
7.根据权利要求1所述的方法,其特征在于,进行异常探查与预测结果分析,包括:
8.一种网络异常检测装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的网络异常检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com