一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种异常检测方法及装置与流程

2021-10-26 19:30:00 来源:中国专利 TAG:
一种异常检测方法及装置与流程
本申请涉及通信
技术领域
,尤其涉及一种异常检测方法及装置。
背景技术
在网络运营过程中,网络变更的操作非常频繁,涉及众多网元。例如,网络变更操作可以包括升级,割接,扩容等。在网络变更时,核心网涉及的网元众多。尤其,在第五代(5thGeneration,5G)网络中,保证网络顺利安全地变更变得更加的重要。因此,在网络变更场景下,需要合适的异常检测功能,来保证在网络变更操作之后的一段时间内(观察期),尽快的发现网络异常,进行维护,确保网络变更成功,或者及时止损(如回退操作)。目前,现有的异常检测算法都是支撑日常网络场景的,并没有专门适合网络变更场景的异常检测方法。技术实现要素:本申请提供一种异常检测方法及装置,用以提出一种适合网络变更场景的异常检测方法,来实现在网络变更场景较快发现网络异常。第一方面,本申请提供了一种异常检测方法,该方法包括:根据第一业务的多个关键绩效指标(keyperformanceindicator,KPI)的第一值和第一神经网络模型确定第一矩阵,所述第一矩阵中包括在N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值;并根据所述第一矩阵确定所述N个时间点分别对应的异常结果,任一个时间点对应的异常结果为所述任一个时间点上所述第一业务是否异常;之后,根据所述异常结果和所述第一矩阵确定每个异常时间点上所述多个KPI的异常度,并根据所述每个异常时间点上所述多个KPI的异常度确定每个异常时间点上所述第一业务的异常类型;其中,所述多个KPI的预测值为基于所述第一神经网络模型得到的;所述第一神经网络模型基于所述第一业务的所述多个KPI的历史值确定;所述第一业务为多个业务中的任一个业务;N为大于或者等于1的整数;每个异常时间点上任一个KPI的异常度为所述任一个KPI对应的差值占所述多个KPI对应的差值的和值的百分比。通过上述方法,可以解决网络变更场景下KPI掉零和形变的问题,实现在网络变更场景较快发现网络异常,以便于运维人员可以尽快发现变更期网络异常,及时止损。在一种可能的设计中,在根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵之前,将多个KPI按照业务进行分类,得到多个业务分别对应的KPI,并在多个业务分别对应的KPI中选择任一个业务对应的KPI作为所述第一业务的多个KPI。通过上述方法,可以使不同的业务的异常检测互补干扰,并将异常检测的颗粒度控制在业务级,方便异常定位,使异常定位更加准确。在一种可能的设计中,根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵,具体方法可以为:基于所述多个KPI的第一值生成第二矩阵,所述第二矩阵中包括当前采集窗口之前的M个采集窗口中每个采集窗口中N个时间点上多个KPI的第二值;然后将所述第二矩阵输入所述第一神经网络模型,得到N个时间点上所述多个KPI的预测值;最后确定N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值,生成所述第一矩阵;其中,M为大于或者等于1的整数。通过上述方法可以准确地得到所述第一矩阵,也即得到所述多个KPI的实际数据与预测数据的残差,以便后续准确地进行异常定位。在一种可能的设计中,根据所述第一矩阵确定所述N个时间点分别对应的异常结果,具体方法可以为:基于所述第一矩阵中每个时间点的上多个KPI对应的差值确定每个时间点对应的一个KPI综合异常值;将每个时间点对应的KPI综合异常值与第一阈值确定所述每个时间点上所述第一业务是否异常;当一个时间点上的KPI综合异常值大于所述第一阈值时则确定在所述时间点上所述第一业务异常;当一个时间点上的KPI综合异常值小于或等于所述第一阈值时则确定在所述时间点上所述第一业务未异常;其中,所述第一阈值为第二阈值和第三阈值中的最大值;所述第二阈值为基于所述第一业务的所述多个KPI的未异常的历史值得到;所述第三阈值基于所述N个时间点的多个KPI的第一值与预设的异常百分比确定。通过上述方法,可以准备地确定所述第一业务在哪些时间点上异常,在哪些时间点上未异常,以便后续进一步进行存在异常的时间点上的具体异常定位。在一种可能的设计中,所述第三阈值基于所述N个时间点上的多个KPI的第一值与预设的异常百分比确定,具体方法可以为:将所述N个时间点对应的N个KPI综合异常值从大到小排序,得到排序后的KPI综合异常值;根据所述预设的异常百分比,在所述排序后的KPI综合异常值中确定所述异常百分比对应的目标KPI综合异常值;将确定的所述目标KPI综合异常值作为所述第三阈值;其中,每个时间点对应的综合异常值是基于由所述N个时间点上的多个KPI的第一值得到的所述第一矩阵中的每个时间点的上多个KPI对应的差值确定的。通过上述方法可以准确地得到第三阈值,以便在进行每个时间点上的异常判断时灵活结合第三阈值和第二阈值确定第一阈值,来抑制误报。在一种可能的设计中,根据所述每个异常时间点上所述多个KPI的异常度确定所述第一业务的异常类型,具体方法可以为:将每个异常时间点上的多个KPI的异常度从高到低进行排序,得到每个时间点上多个排序后的KPI的异常度;将每个异常时间点上前H个KPI的异常度对应的异常类型作为每个异常时间点上所述第一业务的异常类型;H为大于或者等于1的整数。通过上述方法,可以帮助运维人员快速定位异常的问题所在。第二方面,本申请还提供了一种异常检测装置,所述异常检测装置具有实现上述第一方面或第一方面的各个可能的设计示例中的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。在一个可能的设计中,所述异常检测装置的结构中可以包括多个处理单元,例如第一处理单元、第二处理单元和第三处理单元等,这些单元可以执行上述第一方面或第一方面的各个可能的设计示例中的相应功能,具体参见方法示例中的详细描述,此处不做赘述。在一个可能的设计中,所述异常检测装置的结构中包括存储器和处理器,所述处理器被配置为支持所述异常检测装置执行上述第一方面或第一方面的各个可能的设计示例中的相应的功能。所述存储器与所述处理器耦合,其保存所述异常检测装置必要的程序指令和数据。第三方面,本申请实施例提供的一种计算机可读存储介质,该计算机可读存储介质存储有程序指令,当程序指令在计算机上运行时,使得计算机执行本申请实施例第一方面及其任一可能的设计。示例性的,计算机可读存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括非瞬态计算机可读介质、随机存取存储器(random-accessmemory,RAM)、只读存储器(read-onlymemory,ROM)、电可擦除可编程只读存储器(electricallyEPROM,EEPROM)、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。第四方面,本申请实施例提供一种包括计算机程序代码或指令的计算机程序产品,当其在计算机上运行时,使得计算机可以实现上述第一方面中的任意一种可能的设计中的方法。第五方面,本申请还提供了一种芯片,所述芯片与存储器耦合,用于读取并执行所述存储器中存储的程序指令,以实现上述第一方面中的任意一种可能的设计中的方法。上述第二方面至第五方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面中的各种可能方案可以达到的技术效果说明,这里不再重复赘述。附图说明图1为本申请提供的一种5G网络变更场景的示意图;图2为本申请提供的一种异常检测方法的流程图;图3为本申请提供的一种KPI分组的示意图;图4为本申请提供的一种按照业务分类的KPI的示意图;图5为本申请提供的一种离线训练和在线检测的示意图;图6为本申请提供的一种传统神经网络的示意图;图7为本申请提供的一种生成神经网络的示意图;图8为本申请提供的一种递归神经网络的示意图;图9为本申请提供的一种LSTM网络的示意图;图10为本申请提供的一种compositeLSTM神经网络的示意图;图11为本申请提供的一种当前时间点和之前n个时间点之间的关系的示意图;图12为本申请提供的一种当前时间窗内的数据和之前n个连续时间窗内的所有数据的示意图;图13为本申请提供的一种神经网络的输入输出视图的示意图;图14为本申请提供的一种CompositeLSTM神经网络的输入输出的示意图;图15为本申请提供的一种CompositeLSTM的网络信息视图的示例;图16为本申请提供的一种网络变更操作前后数据的示意图;图17为本申请提供的一种采用CompositeLSTM应对网络变更场景KPI掉零和形变问题的效果示意图;图18为本申请提供的一种基于多个类型的KPI的测试效果图;图19为本申请提供的一种得到第一矩阵之后的流程示意图;图20为本申请提供的一种Iforest的原理示意图;图21为本申请提供的一种阈值示意图;图22为本申请提供的一种训练数据,检测数据和每个时间点上的KPI综合异常值的示意图;图23为本申请提供的一种异常时间点上的多个KPI的异常度的排序的示意图;图24为本申请提供的一种异常检测方法的流程的示意图;图25为本申请提供的一种异常检测装置的结构示意图;图26为本申请提供的一种异常检测装置的结构图。具体实施方式下面将结合附图对本申请作进一步地详细描述。本申请实施例提供一种异常检测方法及装置,用以提出一种适合网络变更场景的异常检测方法,来实现在网络变更场景较快发现网络异常。其中,本申请所述方法和装置基于同一技术构思,由于方法及装置解决问题的原理相似,因此装置与方法的实施可以相互参见,重复之处不再赘述。在网络运营过程中,相比日常监控场景,网络变更场景下的关键绩效指标(keyperformanceindicator,KPI)有如下特点:(1)成功率和业务量相关KPI在变更操作时刻掉零。因为网络变更操作(例如网元升级)存在复位或者踢出用户等操作,因此导致成功率和业务量相关KPI掉零。(2)业务量相关KPI在掉零之后,缓慢爬坡,此阶段KPI有形变。例如,在复位或者踢出用户等操作之后,用户会开始逐渐接入网络(如被踢出的用户重新加入升级的网元),业务量会缓慢爬坡。然而现有的异常检测算法均为支撑日常监控场景(即无KPI掉零和爬坡形变的场景),当前没专门适合网络变更场景的异常检测算法。由于变更场景下KPI的掉零和形变的特点,现有日常监控场景的异常检测算法会产生大量误报和漏报。并且,现有技术中通常为单指标异常检测,然而实际上只观测单指标难以支撑检测业务异常。例如,在业务正常的情况下,KPI会偶尔抖动,单指标异常检测会造成误报;又例如,即使出现局部小范围异常,KPI受到影响,但是因为系统韧性较好,鲁棒性较高,业务很快恢复正常,也无需异常上报,然而单指标异常检测误报;又例如,有时系统出现异常,但是在观测的KPI上没有明显体现,或者延迟体现,单指标异常检测会漏报或延迟上报。具体的,同一个业务内,相关的指标包括L1层主指标(成功率类等),L2层副指标(尝试次数等),L3层负向指标(失败错误码类,指向具体失败原因)。传统的单指标一般只监控关键的L1主指标,但是用户基数比较大,显示不明显,存在上述单指标异常检测会漏报、误报或者延迟上报的问题。基于上述问题,本申请提出一种适合网络变更场景的异常检测方法,解决网络变更场景下KPI掉零和形变的问题,同时针对以上提到的各种单指标异常检测存在的缺陷,来实现在网络变更场景较快发现网络异常。在本申请的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。为了更加清晰地描述本申请实施例的技术方案,下面结合附图,对本申请实施例提供的异常检测方法及装置进行详细说明。本申请实施例提供的异常检测方法适用于存在网络变更操作的网络中,例如,5G网络或者在未来通信的网络,如6G中。具体的,异常检测方法应用于网络中的众多网元,例如图1所示的5G网络变更场景中,网络变更操作升级、割接、扩容等会涉及到核心网包括的网元中的归属用户服务器(homesubscriberserver,HSS)、统一服务节点(unifiedservicenode,USN)、统一策略计费控制器(unifiedpolicyandchargingcontroller,UPCC)、通用语音业务服务器(advancetelephonyserver,ATS)、呼叫会话控制功能模块(callsessioncontrolfunction,CSCF)、统一网关(unifiedgateway,UGW)等。需要说明的是,图1所示的5G网络变更场景中,还可以包括其他网元,此处不再一一示出。图1中网元的名称仅仅作为示例,在未来通信中,如6G中,还可以称为其它名称,或者在未来通信中,如6G中,本申请涉及的网元还可以通过其它具有相同功能的实体或者设备等来替代,本申请对此均不作限定。这里做统一说明,后续不再赘述。本申请实施例提供的异常检测方法可以应用于上述图1中示出或未示出的网元,也可以应用于涉及网元中的芯片或芯片组。参阅图2所示,以执行主体为异常检测装置为例说明本申请提供的异常检测方法,所述方法的具体流程可以包括:步骤201:异常检测装置根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵,所述第一矩阵中包括在N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值;所述多个KPI的预测值为基于所述第一神经网络模型得到的;所述第一神经网络模型基于所述第一业务的所述多个KPI的历史值确定;所述第一业务为多个业务中的任一个业务;N为大于或者等于1的整数。其中,所述多个KPI为所述第一业务的相关指标,也即与所述第一业务相关。所述多个KPI包括所述第一业务的所有指标,例如,L1层主指标(成功率类等),L2层副指标(尝试次数等),L3层负向指标(失败错误码类,指向具体失败原因)等等。在一种可选的实施方式中,所述异常检测装置在根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵之前,需要对KPI进行基于业务的分组,具体的:所述异常检测装置将多个KPI按照业务进行分类,得到多个业务分别对应的KPI;并在多个业务分别对应的KPI中选择任一个业务对应的KPI作为所述第一业务的多个KPI。应理解,多个业务中任一个业务都可以作为第一业务,也即本申请中第一业务的异常检测流程可以代表所有业务的异常检测流程,所有业务的异常检测流程都可以按照第一业务的异常检测流程进行,并且多个业务之间的异常检测是互相独立的。具体的,每个业务对应的KPI可以以KPI分组表形式存在,所述多个业务可以包括注册相关业务(例如呼叫业务)、接入相关业务等等。在第一神经网络模型的离线训练过程中,将历史KPI按照业务进行分组(分类),得到多个业务的KPI分组表,例如图3中(a)所示;在线检测(即实时异常检测)过程中,将实时KPI按照业务进行分组,得到多个业务的KPI分组表,例如图3中的(b)所示。通过上述方法,把不同的业务的KPI相互分离,可以使不同业务的异常检测任务互不干扰。因为,如果把全网所有KPI放在一起做检测,除非出现全网异常,业务级颗粒度的异常很容易被淹没。并且,这样可以将异常检测的颗粒度控制在业务级,方便异常定位。另外,从算法角度来看,不同的KPI可以作为异常检测任务中的特征。KPI过多会触发“维度诅咒问题”,“维度诅咒问题”特指随着特征维度的增加会引入更多无关的特征维度,导致数据分析或者异常检测的性能下降,即低维度(特征)上的效应(如欧式距离)在高维度(特征)空间中会明显减弱。因此,将KPI按照业务分离,可以控制KPI个数,可以很好的保证算法性能。进一步地,传统的单指标异常检测往往只监控主指标。在网络异常出现的初期,在主指标上往往体现不显著,然而在副指标或负向指标上已经显示出来。例如,网络出现异常,失败次数增加,但是由于用户基数较大,成功率指标不会出现明显下降。本申请实施例中在相同业务内扩大指标监控范围(包含副指标,负向指标等),可以更早检测出异常。例如,图4示出了一种按照业务分类的KPI的示意图。其中,图4中仅以CSCF网元为例说明,在训练过程或实时异常检测过程均按照业务对KPI分类。其中,所述第一神经网络模型基于所述第一业务的所述多个KPI的历史值确定,也即所述第一神经网络模型是基于所述第一业务的所述多个KPI的历史值训练得到的,即对第一神经网络模型的离线训练过程,例如图5所示的离线训练过程。其中,通过所述第一业务的所述多个KPI的第一值和第一神经网络模型确定第一矩阵的过程可以为如图5所示的在线检测过程。具体的,通过第一神经网络模型学习多个KPI的特征(波形 相关性),在检测时多KPI同时进行预测,将得到的多个KPI的预测值对比实际值(这里即第一值),计算多KPI的第一矩阵。示例性的,本申请中的第一矩阵可以称之为残差矩阵。在一种可选的实施方式中,所述第一神经网络模型可以是合成的(composite)长短期记忆神经网络(longshorttermmemory,LSTM)神经网络。其中,所述compositeLSTM神经网络可以是结合编码-解码(Encoder-Decoder)框架和LSTM递归神经网络搭建的,融合了Encoder-Decoder框架和LSTM递归神经网络的特点。具体的,传统神经网络一般为有监督的形式,如深度神经网络(deepneuralnetwork,DNN),卷积神经网络(convolutionalneuralnetwork,CNN)等,即输出需要标签进行训练,例如图6所示的传统神经网络。但实际中,标签往往是很难大量获得的,比如图像识别和异常检测场景等。对此,本申请可以采用生成神经网络,即输出重建输入的形式训练神经网络,如图7所示的生成神经网络。其中隐藏层的神经元数一般少于输入/输出层,因此输入数据在隐藏层进行压缩,并有效提取出主要特征。如基于Encoder-decoder框架的自编码(autoencoder)等。而在处理时序数据如KPI等时,需要考虑时序上的相关性。对此,本申请可以采用递归神经网络,即隐藏层可以随时间更新,如图8所示的递归神经网络。上述生成神经网络为无监督模式,这里递归神经网络为有监督形式,最常见的递归神经网络为递归神经网络(recurrentneuralnetwork,RNN)。在本申请涉及的网络变更场景的异常检测中,往往没有异常标注,因此需要无监督算法。所以本申请在搭建第一神经网络模型时选择生成神经网络,借用Encoder-Decoder框架。因为KPI有明显的时序特征,适用于递归神经网络,同时还可以借用比RNN有更长时序记忆的LSTM网络。LSTM网络通过决定哪些信息遗忘或者储存等功能实现记忆较长时间的相关性,如图9所示的LSTM网络的示意图。基于此,本申请搭建的compositeLSTM神经网络融合了Encoder-Decoder框架和LSTM网络,具体的,compositeLSTM神经网络可以如图10所示,具体可以包括:重建部分:辅助神经网络自动提取KPI波形和关联性特征;预测部分:基于提取的特征进行多KPI预测,最终计算多KPI残差矩阵;预测(备)部分:没有融合Encoder-decoder框架,用于输出不考虑KPI关联性的预测输出和多KPI残差矩阵。因为多KPI残差矩阵可额外被其他算法作为输入利用。对于希望KPI之间残差互相不影响(不考虑关联性)的需求,如事件(incident)聚合定级定位,可采用此输出替代。进一步的,实时异常检测的时候,CompositeLSTM神经网络的核心目标为,基于学习的KPI特征(波形 关联性),对多KPI同时进行预测,然后得到的多个KPI的预测值和实际值对比,生成多KPI的残差矩阵。传统的预测方法会采用建立时间点之间的关系,即当前时间点和之前n个时间点内所有数据,如图11所示。本申请中由于网络变更场景中KPI存在掉零和形变的特征,因此需要设计出一种较为鲁棒的预测方法。CompositeLSTM神经网络本身已经比传统方法更加鲁棒。在此基础上,本申请改进了预测机制为建立时间窗之间的关系,即当前时间窗内的数据和之前n个连续时间窗内的所有数据,如图12所示。由于,传统方法是当前的点和之前n个点的关系,本申请的方法是当前的窗口数据和之前n个窗口数据的关系,因冗余空间更大,减少掉零的影响很明显,因此本申请的方法可以很好的减少单个时间点KPI掉零的影响。本申请把基于时间窗的预测机制应用在多个KPI的预测上面,可以得到神经网络的输入输出视图,如图13所示。由图13可以看到,多个KPI被作为一个整体的二维数据(时间点,不同KPI)由时间长度为L的窗口采集,然后建立之前回看(Lookback)=b个时间窗口{Ti-1,……,Ti-b}内的数据和之后看(Lookforward)=f个时间窗口{Ti,……,Ti f}的数据的关系,其中Ti为当前时间窗口。通过上述方法,可以使得多个KPI的预测更加鲁棒,这种方法还可以使得多个KPI之间的关联关系被神经网络充分学习。本申请中,为了适配上述基于时间窗的预测机制,神经网络需要进行相应的改进。首先,可以把CompositeLSTM神经网络的输入输出转换成张量(tensor)形式,如图14所示。图14中示出的为三维矩阵(样本,时间,特征),这里样本对应时间窗口内的时间点,时间对应不同的时间窗口,特征对应不同的KPI。本申请中,Lookforward一般设为1,lookback可据需调整。当然,Lookforward也可以设为其他值,本申请对此不作限定,为了便于描述,本申请仅以Lookforward设为1为例进行说明。例如,基于上述方法得到的CompositeLSTM的网络信息视图的示例可以如图15所示。其中,在图15所示的示例中,以17个KPI,以采样频率为5分钟/点为例,基于采样频率,选择建立当前窗口和之前4个小时内窗口的数据,以此设置Lookback=12*4=48,lookforward=1,所有隐藏层设置为50个神经元,隐藏层和输入层与输出层用LSTM网络连接。图15中也示出了CompositeLSTM的输入部分,重建部分和预测部分。基于上述方法,在本申请基于上述方法得到的第一神经网络模型进行实时异常检测时,所述异常检测装置根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵,具体方法可以为:所述异常检测装置基于所述多个KPI的第一值生成第二矩阵,并将所述第二矩阵输入所述第一神经网络模型,得到N个时间点上所述多个KPI的预测值;然后所述异常检测装置确定N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值,生成所述第一矩阵;其中,所述第二矩阵中包括当前采集窗口(也即当前时间窗口)之前的M个采集窗口中每个采集窗口中N个时间点上多个KPI的第二值;M为大于或者等于1的整数。其中,所述第二矩阵即按照图14中CompositeLSTM神经网络的输入的形式输入,得到N个时间点上所述多个KPI的预测值按照图14中的CompositeLSTM神经网络的输出的形式输出。在一种可选的实施方式中,将所述第二矩阵输入所述第一神经网络模型之前可以对所述第二矩阵进行数据预处理,完成归一化,数据格式适配等操作。需要说明的是,在所述第一神经网络模型的训练过程中,训练数据(即多个KPI的历史值)一般采用网络变更操作之前的至少大于3天的正常数据,可选的,一般采用一周7天的正常数据,例如图16所示。其中,算法训练支持鲁棒性,有一定容错能力,所以允许训练数据中出现少量异常数据点。但是大面积长时间数据异常则会严重数据训练。在异常检测过程中,网络变更操作开始时,即异常检测装置开始执行异常检测过程,例如图16所示。在网络变更操作开始后,每当新数据点到来,异常检测会连同历史数据和最新数据一同检测,即从变更前大于3天(一般为一周7天)到最新的数据时间点的数据均做检测。每当新数据到来,异常检测完成之后,只上报最新数据的时间点上的结果。需要说明的是,网络变更操作之后,一般一个小时内的检测结果不可信,所以不上报,原因如下:网络变更操作之后KPI有可能掉零,造成误报;一般采样频率为15分钟/点,一个小时以内仅采样4个点,数据量太少;网络变更操作之后,短时间内可能不采集数据,导致数据缺失。需要说明的是,在数据缺失时,为了保证数据时间上的连续性,上报数据的时候会补零或者插值。基于上述,图17示出了一种采用CompositeLSTM应对网络变更场景KPI掉零和形变问题的效果示意图。为便于展示,图17中仅对单指标的KPI进行测试,示出了网络变更之后的处理效果。首先,网络变更时刻掉零,造成的异常因为时间点已知,可以人工抑制掉。然后,对比预测和实际数据,可以看出网络变更时刻的掉零不影响后续数据的预测。即使在KPI的爬坡过形变程中,仍能对数据进行很好的预测,残差值一直处于较低状态。此外,还可以观察到CompositeLSTM相对于爬坡来说对突变比较敏感,对于轻微形变(如掉零后爬坡)有较好的鲁棒性。示例性的,图18示出了基于多个类型的KPI的测试效果图。其中,多个不同类型的KPI无需分类,可同时被CompositeLSTM的算法处理。CompositeLSTM基于学习到的波形和关联性特征,对多个KPI同时进行预测,实际数据和预测数据的偏离为残差值。其中,图18中每个KPI对应的示意图中,标识实际数据和预测数据的两条线基本重合,最下边一条线标识KPI对应的残差值,其中,为了便于查看,残差值对应的线是以残差值的平方示意的。多个KPI的关联性(如同升同降)被破坏,也会导致残差值升高,如图18中,第二个(由上至下)周期性KPI没有和其他KPI同升同降,关联被破环,因此也出现较高的残差值。同一时刻大面积KPI残差值较高,大概率指向业务异常;当只有单个或者很少量指标出现高残差,很可能只是KPI偶尔抖动,综合判断后会误报被抑制(单指标异常检测在这里会造成误报)。CompositeLSTM神经网络会输出多KPI残差矩阵,用于后续异常判断;也可以用于其他算法输入(当前已经用于的项目,如基于终身学习的异常检测,incident聚合定级)。步骤202:所述异常检测装置根据所述第一矩阵确定所述N个时间点分别对应的异常结果,任一个时间点对应的异常结果为所述任一个时间点上所述第一业务是否异常。示例性的,所述异常检测装置执行步骤202时,可以基于孤立森林算法(isolationforest,Iforest)对第一矩阵(也即残差矩阵,第一矩阵中的差值也即残差(值))进行处理,得到基于时间点的1/0异常结果,例如图19所示。其中可选的,“1”表示对应的时间点上所述第一业务异常(或未异常),“0”表示对应的时间点上所述第一业务未异常(或异常)。图19中,残差矩阵(也即第一矩阵)可以看作多维数据(样本,特征),不同KPI为特征,不同时间点为样本。因为多个KPI的残差已经没有明显的时序特征,所以可以不考虑时序特性。因此,对多指标的KPI异常检测的可以理解为:基于多KPI的残差(特征),综合判断异常的时间点(样本)。需要说明的是,本申请之所以采用Iforest算法,是因为:大量KPI同时异常时,业务大概率异常,因此需要适合检测全局异常点的算法;同时需要抑制单个/少量KPI抖动造成的误报,因此需要对局部异常点不敏感的算法;同时检测多个KPI的数量较多,因此需要适合高维数据检测的算法。综上,Iforest为比较合适的算法的。具体的,Iforest的基本原理可以如图20所示的原理示意图所示出:构建二叉搜索树,在每次分割特征空间的时候,在最大值和最小值内随机选择一个值进行切分。全局异常点在切割特征空间的时候,会更早的被分离孤立出来。因此,全局异常点在树中离根节点较近,深度较浅。而局部异常点和正常点一样很难被分离出来,在树中离根节点较远,深度较深。Iforest可以构造多颗树,形成森林,综合计算点的深度当作异常值。然而,传统的Iforest存在以下问题:Iforest根据先验知识(异常百分比)计算阈值,意味着总会有些样本(时间点)被检测为异常。如下所示的算法代码中:self._threshold_=np.percentile(self.decision_function(X),100.*self._contamination),机器学习算法库(Scikit-learn)中Iforest代码会根据污染(contamination)参数和综合残差值(decision_function(x)返回残差向量)计算阈值。也即这里假设被检测的数据中有多少百分比的数据被污染(及异常),然后根据这个百分比计算一个阈值。因此,即使为正常网络变更操作,还是有一些样本被误检测为异常,即会造成误报。对此,本申请对Iforest的阈值进行如下改进:已知训练数据为(或者可以保证)正常数据,可以根据训练数据的综合异常值计算阈值的下线,来抑制误报。可以利用训练数据的综合异常值的四分位距IQR来计算。其中,IQR是统计学中较为稳健的一种统计,类似于中位数,而不是平均数。训练数据的第一四分位距为Q1,第三四分位距为Q3,则四分位距为IQR=Q3-Q1。设Iforest计算的阈值为T_iforest,k为计算阈值下限的参数,k可以控制阈值的下线高低的值。则改进的阈值可以计算为:Max(T_iforest,Q3 k*IQR)。改进的Iforest算法应用程序接口(applicationprogramminginterface,API)可以如下:to_overall_anomalies_iForest(data=None,contamination=0.1,n_estimators=100,split_time=None,k=5);其中,contamination控制异常百分比;n_estimators为构建树的个数;split_time为网络变更操作时间点,用于取出训练数据;k控制阈值下限,k越大,下限越高。示例性的,图21示出的阈值示意图中,可以观察到传统Iforest计算出来的阈值会造成很多误报,改进后的阈值会相对更高,误报也被抑制掉了。基于上述方法,所述异常检测装置根据所述第一矩阵确定所述N个时间点分别对应的异常结果,具体方法可以为(也即基于Iforest算法的处理方法):所述异常检测装置基于所述第一矩阵中每个时间点的上多个KPI对应的差值确定每个时间点对应的一个KPI综合异常值;并将每个时间点对应的KPI综合异常值与第一阈值确定所述每个时间点上所述第一业务是否异常;当一个时间点上的KPI综合异常值大于所述第一阈值时,所述异常检测装置则确定在所述时间点上所述第一业务异常;当一个时间点上的KPI综合异常值小于或等于所述第一阈值时,所述异常检测装置则确定在所述时间点上所述第一业务未异常;其中,所述第一阈值为第二阈值和第三阈值中的最大值;所述第二阈值为基于所述第一业务的所述多个KPI的未异常的历史值得到;所述第三阈值基于所述N个时间点的多个KPI的第一值与预设的异常百分比确定。其中,所述第一业务的所述多个KPI的未异常的历史值即为网络变更操作之前的一些正常数据。其中,所述第一阈值即为上述涉及的改进的阈值,所述第二阈值为上述Q3 k*IQR,所述第三阈值为T_iforest。在一种可选的实施方式中,所述第三阈值基于所述N个时间点上的多个KPI的第一值与预设的异常百分比确定,具体可以方法为:所述异常检测装置将所述N个时间点对应的N个KPI综合异常值从大到小排序,得到排序后的KPI综合异常值;其中,每个时间点对应的综合异常值是基于由所述N个时间点上的多个KPI的第一值得到的所述第一矩阵中的每个时间点的上多个KPI对应的差值确定的;所述异常检测装置根据所述预设的异常百分比,在所述排序后的KPI综合异常值中确定所述异常百分比对应的目标KPI综合异常值,并将确定的所述目标KPI综合异常值作为所述第三阈值。例如,排序后的综合异常值有1,2,3,4,5,异常百分比是20%,也就是说有1个点为异常,那么这里的第三阈值就是4,大于4的点就是异常。步骤203:所述异常检测装置根据所述异常结果和所述第一矩阵确定每个异常时间点上所述多个KPI的异常度,每个异常时间点上任一个KPI的异常度为所述任一个KPI对应的差值占所述多个KPI对应的差值的和值的百分比。其中,所述异常检测装置执行步骤203的过程,可以如图19所示的KPI异常度计算过程,这样得到每个异常时间点上的KPI的异常度可以方便运维人员排查问题。具体的,异常时间点是指所述第一业务异常的时间点。步骤204:所述异常检测装置根据所述每个异常时间点上所述多个KPI的异常度确定每个异常时间点上所述第一业务的异常类型。具体的,所述异常检测装置根据所述每个异常时间点上所述多个KPI的异常度确定所述第一业务的异常类型,具体方法可以为:所述异常检测装置将每个异常时间点上的多个KPI的异常度从高到低进行排序,得到每个时间点上多个排序后的KPI的异常度,并将每个异常时间点上前H个KPI的异常度对应的异常类型作为每个异常时间点上所述第一业务的异常类型;H为大于或者等于1的整数。具体的,确定所述第一业务的异常类型,也即进一步定位异常所在。通过异常度排序的方法可以使运维人员更容易确定业务的异常类型。比如,L3层的指标,如鉴权失败次数,异常度排序较高,则本次异常大概率指向鉴权流程。在一种示例性的实施方式中,在步骤203中,所述异常检测装置进行KPI异常度计算之后,可以直接输出多个KPI的异常度排序结果,如图19所示。示例性的,所述异常检测装置在计算每个异常时间点上的KPI异常度排序时,设在异常时间点t上A个KPI的残差值为{x1,x2,…,xA},则A个KPI的异常度(百分比)分别为{x1/∑xi,x2/∑xi,…,xA/∑xi},∑xi是当前异常时间点t上所有残差值的和,基于算法最终会对以上KPI异常度进行排序输出。示例性的,基于上述描述,如图22所示的训练数据,检测数据和每个时间点上的KPI综合异常值,可以看到单个/少量KPI的异常在综合异常值上体现不明显,因此被抑制;在网络变更操作之后,出现异常,综合异常值相应变高。进一步地,基于Iforest得到的基于时间点的异常判断可以如下表1所示:表12019/8/138:30FALSE(异常)2019/8/138:35FALSE2019/8/138:40FALSE2019/8/138:45FALSE2019/8/138:50FALSE2019/8/138:55TRUE(未异常)2019/8/139:00TRUE2019/8/139:05TRUE2019/8/139:10TRUE2019/8/139:15TRUE2019/8/139:20TRUE经过计算多个KPI的异常度,在相应异常时间点上的排序可以如图23所示。其中,在图中仅示出了3个异常时间点排名前4个的KPI。基于此,可以确定此异常故障主要是在ATST侧接通率相关指标和业务。基于上述实施例,在一种具体的示例性的实施例中,本申请的异常检测方法的流程可以如图24所示,可以包括离线训练过程和在线实时检测过程。本申请,综合多指标KPI进行异常检测,解决单指标异常检测的误报和漏报问题。基于业务场景进行KPI分类,分别进行异常检测,可以缩小检测异常的业务颗粒度。利用深度神经网络学习历史多个KPI特征(波形 关联性),解决变更场景KPI形变问题。神经网络输出多KPI残差矩阵,即可以可用于本申请的异常判断,也可用于其他算法输入(例如,incident聚合和定级)。最后,本申请由改进的Iforest算法输出基于时间点的综合异常判断,同时为了方便运维人员定位问题,增加KPI异常度计算模块输出多KPI异常度排序。采用本申请实施例提供的异常检测方法,可以解决网络变更场景下KPI掉零和形变的问题,同时针对以上提到的各种单指标异常检测存在的缺陷,来实现在网络变更场景较快发现网络异常,以便于运维人员可以尽快发现变更期网络异常,及时止损。基于上述实施例,本申请实施例还提供了一种异常检测装置,用于实现如图2所示的实施例提供的异常检测方法。参阅图25所示,所述异常检测装置2500中包括第一处理单元2501、第二处理单元2502和第三处理单元2503,其中:所述第一处理单元2501用于根据第一业务的多个关键绩效指标KPI的第一值和第一神经网络模型确定第一矩阵,所述第一矩阵中包括在N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值;所述多个KPI的预测值为基于所述第一神经网络模型得到的;所述第一神经网络模型基于所述第一业务的所述多个KPI的历史值确定;所述第一业务为多个业务中的任一个业务;N为大于或者等于1的整数;所述第二处理单元2502用于根据所述第一矩阵确定所述N个时间点分别对应的异常结果,任一个时间点对应的异常结果为所述任一个时间点上所述第一业务是否异常;所述第三处理单元2503用于根据所述异常结果和所述第一矩阵确定每个异常时间点上所述多个KPI的异常度,每个异常时间点上任一个KPI的异常度为所述任一个KPI对应的差值占所述多个KPI对应的差值的和值的百分比;以及,根据所述每个异常时间点上所述多个KPI的异常度确定每个异常时间点上所述第一业务的异常类型。在一种可选的实施方式中,所述异常检测装置2500还可以包括:第四处理单元用于在所述第一处理单元根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵之前,将多个KPI按照业务进行分类,得到多个业务分别对应的KPI;在多个业务分别对应的KPI中选择任一个业务对应的KPI作为所述第一业务的多个KPI。在一种具体的实施方式中,所述第一处理单元2501在根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵时,具体用于:基于所述多个KPI的第一值生成第二矩阵,所述第二矩阵中包括当前采集窗口之前的M个采集窗口中每个采集窗口中N个时间点上多个KPI的第二值;将所述第二矩阵输入所述第一神经网络模型,得到N个时间点上所述多个KPI的预测值;确定N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值,生成所述第一矩阵;M为大于或者等于1的整数;。示例性的,所述第二处理单元2502在根据所述第一矩阵确定所述N个时间点分别对应的异常结果时,具体用于:基于所述第一矩阵中每个时间点的上多个KPI对应的差值确定每个时间点对应的一个KPI综合异常值;将每个时间点对应的KPI综合异常值与第一阈值确定所述每个时间点上所述第一业务是否异常;当一个时间点上的KPI综合异常值大于所述第一阈值时则确定在所述时间点上所述第一业务异常;当一个时间点上的KPI综合异常值小于或等于所述第一阈值时则确定在所述时间点上所述第一业务未异常;其中,所述第一阈值为第二阈值和第三阈值中的最大值;所述第二阈值为基于所述第一业务的所述多个KPI的未异常的历史值得到;所述第三阈值基于所述N个时间点的多个KPI的第一值与预设的异常百分比确定。具体的,所述第二处理单元2502在基于所述N个时间点上的多个KPI的第一值与预设的异常百分比确定所述第三阈值时,具体用于:将所述N个时间点对应的N个KPI综合异常值从大到小排序,得到排序后的KPI综合异常值;其中,每个时间点对应的综合异常值是基于由所述N个时间点上的多个KPI的第一值得到的所述第一矩阵中的每个时间点的上多个KPI对应的差值确定的;根据所述预设的异常百分比,在所述排序后的KPI综合异常值中确定所述异常百分比对应的目标KPI综合异常值;将确定的所述目标KPI综合异常值作为所述第三阈值。在一种可选的实施方式中,所述第三处理单元2503在根据所述每个异常时间点上所述多个KPI的异常度确定所述第一业务的异常类型时,具体用于:将每个异常时间点上的多个KPI的异常度从高到低进行排序,得到每个时间点上多个排序后的KPI的异常度;将每个异常时间点上前H个KPI的异常度对应的异常类型作为每个异常时间点上所述第一业务的异常类型;H为大于或者等于1的整数。采用本申请实施例提供的异常检测装置,可以解决网络变更场景下KPI掉零和形变的问题,实现在网络变更场景较快发现网络异常,以便于运维人员可以尽快发现变更期网络异常,及时止损。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(randomaccessmemory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。基于以上实施例,本申请实施例还提供了一种异常检测装置,所述异常检测装置,用于实现图2所示的异常检测方法。参阅图26所示,所述异常检测装置2600可以包括:处理器2601和存储器2602,其中:所述处理器2601可以是中央处理器(centralprocessingunit,CPU),网络处理器(networkprocessor,NP)或者CPU和NP的组合。所述处理器2601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegratedcircuit,ASIC),可编程逻辑器件(programmablelogicdevice,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammablelogicdevice,CPLD),现场可编程逻辑门阵列(field-programmablegatearray,FPGA),通用阵列逻辑(genericarraylogic,GAL)或其任意组合。其中,所述处理器2601和所述存储器2602之间相互连接。可选的,所述处理器2601和所述存储器2602通过总线2603相互连接;所述总线2603可以是外设部件互连标准(PeripheralComponentInterconnect,PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图26中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。在一种可选的实施方式中,所述存储器2602,用于存放程序等。具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。所述存储器2602可能包括RAM,也可能还包括非易失性存储器(non-volatilememory),例如一个或多个磁盘存储器。所述处理器2601执行所述存储器2602所存放的应用程序,实现上述功能,从而实现异常检测装置2600的功能。具体的,所述处理器2601用于与所述存储器2602耦合,调用所述存储器2602中的程序指令,执行以下操作以实现本申请实施例提供的异常检测方法:根据第一业务的多个关键绩效指标KPI的第一值和第一神经网络模型确定第一矩阵,所述第一矩阵中包括在N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值;所述多个KPI的预测值为基于所述第一神经网络模型得到的;所述第一神经网络模型基于所述第一业务的所述多个KPI的历史值确定;所述第一业务为多个业务中的任一个业务;N为大于或者等于1的整数;根据所述第一矩阵确定所述N个时间点分别对应的异常结果,任一个时间点对应的异常结果为所述任一个时间点上所述第一业务是否异常;根据所述异常结果和所述第一矩阵确定每个异常时间点上所述多个KPI的异常度,每个异常时间点上任一个KPI的异常度为所述任一个KPI对应的差值占所述多个KPI对应的差值的和值的百分比;根据所述每个异常时间点上所述多个KPI的异常度确定每个异常时间点上所述第一业务的异常类型。在一种可选的实施方式中,所述处理器2601在根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵之前,还用于:将多个KPI按照业务进行分类,得到多个业务分别对应的KPI;在多个业务分别对应的KPI中选择任一个业务对应的KPI作为所述第一业务的多个KPI。具体的,所述处理器2601在根据第一业务的多个KPI的第一值和第一神经网络模型确定第一矩阵时,具体用于:基于所述多个KPI的第一值生成第二矩阵,所述第二矩阵中包括当前采集窗口之前的M个采集窗口中每个采集窗口中N个时间点上多个KPI的第二值;将所述第二矩阵输入所述第一神经网络模型,得到N个时间点上所述多个KPI的预测值;确定N个时间点上所述多个KPI的预测值与所述多个KPI的第一值的差值,生成所述第一矩阵;M为大于或者等于1的整数。示例性的,所述处理器2601在根据所述第一矩阵确定所述N个时间点分别对应的异常结果时,具体用于:基于所述第一矩阵中每个时间点的上多个KPI对应的差值确定每个时间点对应的一个KPI综合异常值;将每个时间点对应的KPI综合异常值与第一阈值确定所述每个时间点上所述第一业务是否异常;当一个时间点上的KPI综合异常值大于所述第一阈值时则确定在所述时间点上所述第一业务异常;当一个时间点上的KPI综合异常值小于或等于所述第一阈值时则确定在所述时间点上所述第一业务未异常;其中,所述第一阈值为第二阈值和第三阈值中的最大值;所述第二阈值为基于所述第一业务的所述多个KPI的未异常的历史值得到;所述第三阈值基于所述N个时间点的多个KPI的第一值与预设的异常百分比确定。具体的,所述处理器2601在基于所述N个时间点上的多个KPI的第一值与预设的异常百分比确定所述第三阈值时,具体用于:将所述N个时间点对应的N个KPI综合异常值从大到小排序,得到排序后的KPI综合异常值;其中,每个时间点对应的综合异常值是基于由所述N个时间点上的多个KPI的第一值得到的所述第一矩阵中的每个时间点的上多个KPI对应的差值确定的;根据所述预设的异常百分比,在所述排序后的KPI综合异常值中确定所述异常百分比对应的目标KPI综合异常值;将确定的所述目标KPI综合异常值作为所述第三阈值。在一种可选的实施方式中,所述处理器2601在根据所述每个异常时间点上所述多个KPI的异常度确定所述第一业务的异常类型时,具体用于:将每个异常时间点上的多个KPI的异常度从高到低进行排序,得到每个时间点上多个排序后的KPI的异常度;将每个异常时间点上前H个KPI的异常度对应的异常类型作为每个异常时间点上所述第一业务的异常类型;H为大于或者等于1的整数。采用本申请实施例提供的异常检测装置,可以解决网络变更场景下KPI掉零和形变的问题,实现在网络变更场景较快发现网络异常,以便于运维人员可以尽快发现变更期网络异常,及时止损。基于以上实施例,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,该计算机程序被计算机执行时,所述计算机可以实现上述方法实施例提供的任一种异常检测方法。本申请实施例还提供一种计算机程序产品,所述计算机程序产品用于存储计算机程序,该计算机程序被计算机执行时,所述计算机可以实现上述方法实施例提供的任一种异常检测方法。本申请实施例还提供一种芯片,包括处理器和通信接口,所述处理器与存储器耦合,用于调用所述存储器中的程序使得所述芯片实现上述方法实施例提供的任一种异常检测方法。本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献

  • 日榜
  • 周榜
  • 月榜