异常用户设备的检测方法、装置、设备及存储介质与流程

1.本技术涉及通信领域，尤其涉及异常用户设备(user equipment，ue)的检测方法、装置、设备及存储介质。


背景技术：

2.随着第五代移动通信系统(fifth-generation，5g)万物互联时代的到来，由于5g基站部署密度高，且5g通信系统支持用户设备(user equipment，ue)海量接入，因而黑客容易控制大量ue组成的僵尸网络，对运营商网络进行信令分布式拒绝服务攻击(distributed denial of service attack，ddos)攻击。
3.也正因为如此，随着5g网络所连接的物联终端规模大幅增长，发现海量恶意ue并进行预警显得尤为关键。而如何对ue进行异常行为检测，基于准确的异常行为的检测结果来发现有威胁的ue，是一种有效的阻断ddos攻击的方法。


技术实现要素：

4.本技术实施例提供了一种异常用户设备的检测方法、装置、设备及存储介质，以使得检测结果更加准确，技术方案如下：
5.第一方面，提供了一种异常用户设备的检测方法，该方法应用于网络设备，包括：获取第一ue的行为数据，该第一ue的行为数据包括第一ue的标识、第一网元标识及第一行为序列，其中，第一行为序列用于描述第一ue的一系列行为，该第一行为序列是根据第一ue相关的信令数据生成的，而该第一ue相关的信令数据是由第一网元标识所标识的网元上报的。之后，该网络设备从预定的检测模型库中选择第一网元标识对应的检测模型集合，该第一网元标识对应的检测模型集合包括至少两个检测模型，该至少两个检测模型是基于ue群体中的各个第二ue的样本行为序列训练得到的，其中，针对ue群体中的任意一个选定的第二ue，该选定的第二ue的样本行为序列是根据第一网元标识所标识的网元在上报第一ue相关的信令数据之前上报的、选定的第二ue相关的信令数据生成的。该网络设备确定第一行为序列对应的目标检测模型，该目标检测模型是第一网元标识对应的检测模型集合中的一个检测模型；利用该目标检测模型对第一行为序列进行检测得到检测结果，该检测结果指示该第一ue是正常ue或是异常ue。
6.本技术实施例提供的方法，由于第一行为序列是根据第一网元标识所标识的网元上报的第一ue相关的信令数据生成的，而该第一网元能够反映第一ue所在区域位置。又由于第一行为序列能够反映该第一ue的行为习惯或业务，因此，在第一网元标识对应的至少两个检测模型中确定第一行为序列对应的目标检测模型，基于该目标检测模型来获取第一ue是正常ue还是异常ue的检测结果，能够降低因区域偏见造成的误报，使得检测结果的准确性更高。
7.在第一方面的一种可能的实现方式中，从预定的检测模型库中选择所述第一网元标识对应的检测模型集合之前，所述方法还包括：获取所述ue群体中的各个第二ue的样本
行为序列，从所述各个第二ue的样本行为序列中过滤得到多个正常行为序列，所述正常行为序列是指序列长度符合要求的行为序列；根据所述多个正常行为序列获取所述第一网元标识对应的至少两个样本行为序列集合，所述至少两个样本行为序列集合中的每个样本行为序列集合包括多个样本行为序列；根据所述至少两个样本行为序列集合分别训练所述至少两个检测模型，从而得到所述第一网元标识对应的检测模型集合。
8.在第一方面的一种可能的实现方式中，所述根据所述多个正常行为序列获取所述第一网元标识对应的至少两个样本行为序列集合，包括：确定所述多个正常行为序列各自对应的行为特征，对于所述多个正常行为序列中的一个选定的正常行为序列，所述选定的正常行为序列对应的行为特征为所述选定的正常行为序列所描述的ue的一系列行为所体现的通信过程中出现的行为特征；根据所述多个正常行为序列各自对应的行为特征，对所述多个正常行为序列进行聚类，从而得到至少两个正常行为序列集合，所述至少两个正常行为序列集合中的每个正常行为序列集合包括的正常行为序列所对应的行为特征具有相似性；根据所述至少两个正常行为序列集合，获取所述第一网元标识对应的至少两个样本行为序列集合。
9.在第一方面的一种可能的实现方式中，所述根据所述至少两个正常行为序列集合，获取所述第一网元标识对应的至少两个样本行为序列集合，包括：针对所述至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于所述选定的正常行为序列集合的数据量超过参考范围的最大值，对所述选定的正常行为序列集合中的正常行为序列进行采样，将采样得到的正常行为序列作为样本行为序列，从而得到所述第一网元标识对应的样本行为序列集合。
10.在第一方面的一种可能的实现方式中，所述对所述选定的正常行为序列集合中的正常行为序列进行采样，包括：根据所述选定的正常行为序列集合的数据量与所述参考范围的数据量之间的比例，确定所述选定的正常行为序列集合的采样数量；根据所述选定的正常行为序列集合的各个时间点的权重及所述采样数量，对所述选定的正常行为序列集合的各个时间点所对应的正常行为序列进行采样。
11.在第一方面的一种可能的实现方式中，所述根据所述至少两个正常行为序列集合，获取所述第一网元标识对应的至少两个样本行为序列集合，包括：针对所述至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于所述选定的正常行为序列集合的数据量低于参考范围的最小值，将所述选定的正常行为序列集合与所述至少两个正常行为序列集合中数据量低于参考范围的最小值的其他正常行为序列集合进行合并，得到合并后的正常行为序列集合；根据合并后的正常行为序列集合获取所述第一网元标识对应的样本行为序列集合。
12.在第一方面的一种可能的实现方式中，所述根据合并后的正常行为序列集合获取所述第一网元标识对应的样本行为序列集合，包括：响应于所述合并后的正常行为序列集合的数据量超过所述参考范围的最大值，对所述合并后的正常行为序列集合包括的正常行为序列进行采样，将采样得到的正常行为序列作为样本行为序列，得到所述第一网元标识对应的样本行为序列集合。
13.在第一方面的一种可能的实现方式中，所述检测模型为隐马尔可夫模型，所述根据所述至少两个样本行为序列集合训练所述至少两个检测模型，包括：根据所述至少两个
样本行为序列集合，分别训练对应的隐马尔可夫模型。
14.在第一方面的一种可能的实现方式中，所述确定所述第一行为序列对应的目标检测模型，包括：确定所述第一行为序列对应的行为特征，所述第一行为序列对应的行为特征为所述第一ue的一系列行为所体现的通信过程中出现的行为特征；根据所述第一行为序列对应的行为特征，在所述第一网元标识对应的至少两个检测模型中，确定所述第一行为序列对应的目标检测模型。
15.第二方面，提供了一种异常用户设备的检测装置，所述装置包括：
16.第一获取模块，用于获取第一用户设备ue的行为数据，所述第一ue的行为数据包括所述第一ue的标识、第一网元标识及第一行为序列，所述第一行为序列用于描述所述第一ue的一系列行为，所述第一行为序列是根据所述第一ue相关的信令数据生成的，所述第一ue相关的信令数据是由所述第一网元标识所标识的网元上报的；
17.选择模块，用于从预定的检测模型库中选择所述第一网元标识对应的检测模型集合，所述第一网元标识对应的检测模型集合包括至少两个检测模型，所述至少两个检测模型是基于ue群体中的各个第二ue的样本行为序列训练得到的，其中，针对所述ue群体中的任意一个选定的第二ue，所述选定的第二ue的样本行为序列是根据第一网元标识所标识的网元在上报第一ue相关的信令数据之前上报的、选定的第二ue相关的信令数据生成的；
18.确定模块，用于确定所述第一行为序列对应的目标检测模型，所述目标检测模型是所述第一网元标识对应的检测模型集合中的一个检测模型；
19.检测模块，用于利用所述目标检测模型对所述第一行为序列进行检测得到检测结果，所述检测结果指示所述第一ue是正常ue或是异常ue。
20.在第二方面的一种可能的实现方式中，所述装置还包括：
21.第二获取模块，用于获取所述ue群体中的各个第二ue的样本行为序列，从所述各个第二ue的样本行为序列中过滤得到多个正常行为序列，所述正常行为序列是指序列长度符合要求的行为序列；根据所述多个正常行为序列获取所述第一网元标识对应的至少两个样本行为序列集合，所述至少两个样本行为序列集合中的每个样本行为序列集合包括多个样本行为序列；
22.训练模块，用于根据所述至少两个样本行为序列集合分别训练所述至少两个检测模型，从而得到所述第一网元标识对应的检测模型集合。
23.在第二方面的一种可能的实现方式中，所述第二获取模块，用于确定所述多个正常行为序列各自对应的行为特征，对于所述多个正常行为序列中的一个选定的正常行为序列，所述选定的正常行为序列对应的行为特征为所述选定的正常行为序列所描述的ue的一系列行为所体现的通信过程中出现的行为特征；根据所述多个正常行为序列各自对应的行为特征，对所述多个正常行为序列进行聚类，从而得到至少两个正常行为序列集合，所述至少两个正常行为序列集合中的每个正常行为序列集合包括的正常行为序列所对应的行为特征具有相似性；根据所述至少两个正常行为序列集合，获取所述第一网元标识对应的至少两个样本行为序列集合。
24.在第二方面的一种可能的实现方式中，所述第二获取模块，用于针对所述至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于所述选定的正常行为序列集合的数据量超过参考范围的最大值，对所述选定的正常行为序列集合中的正常行为
序列进行采样，将采样得到的正常行为序列作为样本行为序列，从而得到所述第一网元标识对应的样本行为序列集合。
25.在第二方面的一种可能的实现方式中，所述第二获取模块，用于根据所述选定的正常行为序列集合的数据量与所述参考范围的数据量之间的比例，确定所述选定的正常行为序列集合的采样数量；根据所述选定的正常行为序列集合的各个时间点的权重及所述采样数量，对所述选定的正常行为序列集合的各个时间点所对应的正常行为序列进行采样。
26.在第二方面的一种可能的实现方式中，所述第二获取模块，用于针对所述至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于所述选定的正常行为序列集合的数据量低于参考范围的最小值，将所述选定的正常行为序列集合与所述至少两个正常行为序列集合中数据量低于参考范围的最小值的其他正常行为序列集合进行合并，得到合并后的正常行为序列集合；根据合并后的正常行为序列集合获取所述第一网元标识对应的样本行为序列集合。
27.在第二方面的一种可能的实现方式中，所述第二获取模块，用于响应于所述合并后的正常行为序列集合的数据量超过所述参考范围的最大值，对所述合并后的正常行为序列集合包括的正常行为序列进行采样，将采样得到的正常行为序列作为样本行为序列，得到所述第一网元标识对应的样本行为序列集合。
28.在第二方面的一种可能的实现方式中，所述检测模型为隐马尔可夫模型，所述训练模块，用于根据所述至少两个样本行为序列集合，分别训练对应的隐马尔可夫模型。
29.在第二方面的一种可能的实现方式中，所述确定模块，用于确定所述第一行为序列对应的行为特征，所述第一行为序列对应的行为特征为所述第一ue的一系列行为所体现的通信过程中出现的行为特征；根据所述第一行为序列对应的行为特征，在所述第一网元标识对应的至少两个检测模型中，确定所述第一行为序列对应的目标检测模型。
30.还提供一种异常ue的检测设备，该设备包括：存储器及处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现上述任一所述的异常ue的检测方法。
31.还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上任一所述的异常ue的检测方法。
32.提供了另一种通信装置，该装置包括：收发器、存储器和处理器。其中，该收发器、该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，以控制收发器接收信号，并控制收发器发送信号，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述任一种可能的实施方式中的方法。
33.作为一种示例性实施例，所述处理器为一个或多个，所述存储器为一个或多个。
34.作为一种示例性实施例，所述存储器可以与所述处理器集成在一起，或者所述存储器与处理器分离设置。
35.在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，rom)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
36.提供了一种计算机程序(产品)，所述计算机程序(产品)包括：计算机程序代码，当
所述计算机程序代码被计算机运行时，使得所述计算机执行上述各方面中的方法。
37.提供了一种芯片，包括处理器，用于从存储器中调用并运行所述存储器中存储的指令，使得安装有所述芯片的通信设备执行上述各方面中的方法。
38.提供另一种芯片，包括：输入接口、输出接口、处理器和存储器，所述输入接口、输出接口、所述处理器以及所述存储器之间通过内部连接通路相连，所述处理器用于执行所述存储器中的代码，当所述代码被执行时，所述处理器用于执行上述各方面中的方法。
附图说明
39.图1为本技术实施例提供的应用场景示意图；
40.图2为本技术实施例提供的异常ue的检测过程示意图；
41.图3为本技术实施例提供的异常ue的检测方法流程图；
42.图4为本技术实施例提供的获取检测模型的方法流程图；
43.图5为本技术实施例提供的获取检测模型的过程示意图；
44.图6为本技术实施例提供的训练检测模型的过程示意图；
45.图7为本技术实施例提供的模型训练及异常ue的检测过程示意图；
46.图8为本技术实施例提供的异常ue的检测装置的结构示意图；
47.图9为本技术实施例提供的异常ue的检测装置的结构示意图；
48.图10为本技术实施例提供的异常ue的检测设备的结构示意图。
具体实施方式
49.本技术的实施方式部分使用的术语仅用于对本技术的实施例进行解释，而非旨在限定本技术。
50.随着5g万物互联时代的到来，5g基站部署密度高，且支持ue海量接入，因而黑客容易控制大量ue组成的僵尸网络，对运营商网络进行信令ddos攻击。例如，以图1所示的应用场景为例，攻击者对被劫持ue即恶意ue做信令控制，此时基站侧(例如enb或gnb)会因为大量ue发起无线资源控制(radio resource control，rrc)连接建立过程而产生大量信令，如图1中的“大量信令1”所示。核心网会产生大量服务请求信令，引发信令ddos攻击。与此同时，核心网侧会处理大量鉴权流程信令，也会产生信令ddos攻击，如图1中所示的“大量信令2”、“大量信令3”、“信令数据2”和“信令数据3”等。
51.其中，大量信令1包括rrc用户连接信令等。大量信令2包括用户注册信令、连接信令、移动性管理信令等。大量信令3包括用户鉴权信令等，即实现第三代合作伙伴计划(3rd generation partnership project，3gpp)和非3gpp的接入认证。信令数据1-3包括从基站和网元上报的用户鉴权信令、rrc用户连接信令、用户注册信令、连接信令、移动性管理信令等。
52.由于该ddos攻击会导致用户无法上网、无法打电话、脱网等，使用户业务受损，用户体验差，且一次攻击受影响的网元数量大，业务影响范围广。因此，网管设备会收集各个网元及各个基站的信令数据，例如收集附图1中访问管理功能单元(access manage function，amf)、会话管理功能(session management function，smf)、认证服务器(authentication server function，ausf)等网元的信令数据，并将数据上报给检测设备。
例如，该检测设备是ddos检测设备，该ddos检测设备能够进行异常ue的检测以及ddos检测。
53.进一步地，为了给ddos检测提供重要的证据，一种阻断ddos攻击的有效方法是基于ue接入5g网元的信令行为序列进行异常ue的检测，进而发现恶意ue及行为信息。例如，以下述正常ue的行为序列及异常ue的行为序列为例进行说明。
54.正常ue的行为序列：attach(16:20:14)->service request(16:20:15)->tau(16:21:15)->tau(16:22:15)->detach(16:23:15)
55.异常ue的行为序列：attach(16:40:06)—>tau(16:40:07)—>tau(16:40:07)—>tau(16:40:08)—>attach(16:40:10)—>detach(16:40:15)—>tau(16:40:33)—>detach(16:40:44)
56.其中，上述行为序列中涉及的信令所代表的含义如下所示。
57.附着(attach)：代表开机附着流程。ue刚开机时，先进行物理下行同步，搜索测量进行小区选择，选择到一个合适或者可接纳的小区后，驻留并进行附着过程。
58.服务请求(service request)：代表需要发送或接收业务数据时的服务请求。
59.去附着(detach)：代表去附着流程。去附着往往为用户进入覆盖盲区(接入受限)或用户关机，ue执行的流程，与附着流程是逆过程。
60.周期性跟踪区更新(tracking area update，tau)：这种状态下ue不做业务，只是位置更新，比如周期性位置更新、移动性位置更新等。
61.正常ue接入后，会有位置更新，最后离开时会有去附着流程，信令的顺序会有一定的规律。而异常ue的接入附着和去附着的流程顺序是乱的，甚至是大量的循环流程。因此，检测设备通过相关算法建立正常ue的检测模型。检测模型用于对未知ue的行为序列(即检测样本)进行预测。预测的过程包括检测设备将未知ue的行为序列数据输入该检测模型后，获得检测模型输出的预测值。本技术实施例将检测模型的输出结果称为预测值。检测设备将得出的预测值与正常ue对应的输出值范围相比较，从而能够识别ue的异常行为。
62.然而，由于不同ue用户群体行为习惯(行业不同的人群或设备)或者业务不同(比赛、学校、演唱会等)，不同区域的ue在行为上可能存在差别。如果基于所有数据训练生成检测模型，会造成某些正常ue利用检测模型进行分类后得到的预测值明显偏离正常范围，从而产生误报。因此，如何提高异常ue的检测结果的准确性，成为了ddos检测的关键。
63.对此，本技术实施例提供了一种异常ue的检测方法，该方法通过先确定网元对应的检测模型集合，再根据行为序列从检测模型集合中确定对应的目标检测模型，基于该目标检测模型来检测异常ue。由于网元能够反映ue所在区域位置，选择出的检测模型集合与特定网元相对应，因此选择出的检测模型集合是基于与待检测ue处于相同位置区域的ue群体的历史样本行为数据训练出的，有助于消除因区域偏见带来的检测误报。又由于行为序列能够反映ue的行为习惯或业务，因此，采用从选择出的检测模型集合中进一步确定出的目标检测模型能够降低因行业或业务偏见造成的误报，使得检测结果的准确性更高。
64.可选地，该方法针对异常ue的检测过程可如图2所示。图2中，检测设备根据输入的某ue的实时行为数据中的网元标识找到对应的检测模型集合。例如以从图2中的检测模型库所包括的检测模型集合1、检测模型集合i和检测模型集合m中找到该ue对应的检测模型集合为网元i对应的检测模型集合为例进行说明。其中，检测模型集合是与网元对应的检测模型集合，每个检测模型集合包括至少两个检测模型。检测设备选择网元i对应的检测模型
集合后，再在该检测模型集合包括的检测模型中进一步确定对应的目标检测模型。例如，以从图2所示的检测模型1、检测模型2到检测模型n中确定出检测模型j为目标检测模型为例进行说明。之后，检测设备将基于实时数据获得的行为序列输入到对应目标检测模型后，通过该目标检测模型预测出此ue行为的得分。将该ue的行为的得分与预设阈值作比较，从而区分出是恶意即异常ue还是正常ue。
65.接下来，结合上述图1所示的应用场景及图2所示的检测过程，对本技术实施例提供的异常ue的检测方法进行说明。可选地，该异常ue的检测方法由检测设备来执行，例如由图1中的检测设备来执行。如图3所示，本技术实施例提供的异常ue的检测方法包括步骤301至步骤304。
66.301，获取第一ue的行为数据，第一ue的行为数据包括第一ue的标识、第一网元标识及第一行为序列，第一行为序列用于描述第一ue的一系列行为，第一行为序列是根据第一ue相关的信令数据生成的，第一ue相关的信令数据是由第一网元标识所标识的网元上报的。
67.其中，第一ue为待进行异常检测的ue，本技术实施例不对待进行异常检测的ue的数量进行限定，此处仅以第一ue为例进行说明，其他ue的异常检测方式均可参考该第一ue的检测过程。
68.可选地，第一ue的行为数据是实时获取到的数据，也是周期获取的数据。本技术实施例不对获取该待检测的第一ue的行为数据的时机及次数进行限定。关于第一ue的行为数据的内容，包括但不限于第一ue的标识、第一网元标识及第一行为序列。其中，第一行为序列用于描述第一ue的一系列行为，第一行为序列是根据第一ue相关的信令数据生成的，第一ue相关的信令数据由第一网元标识所标识的第一网元上报的。
69.例如，该第一ue的行为数据的数据格式为：[ue_id，网元_id，序列集合]。
[0070]
ue_id：ue的id是ue的唯一标识，例如国际移动用户识别码(international mobile subscriber identity，imsi)，或者网际协议(internet protocol，ip)等。
[0071]
网元_id：例如，是amf、smf、ausf等网元的唯一标识。以amf上报第一ue相关的信令数据为例，该网元_id为amf的标识。
[0072]
序列集合：也即第一行为序列，示例性地，该第一行为序列是信令与时间的组合形式[(信令,时间(s))]。
[0073]
例如：第一ue的行为数据为：[ue_2019001，网元_2019008，[(attach，121212)、(service,1545241)、(request,15423523)、(tau,11421212)、(detach，5541512)
…
]]。
[0074]
其中，2019001为第一ue的标识，2019008为第一网元的标识，而[(attach，121212)、(service,1545241)、(request,15423523)、(tau,11421212)、(detach，5541512)
…
]为第一行为序列。
[0075]
需要说明的是，第一行为序列中的时间包括但不限于是指信令发生的时间，示例性的，以时间戳来表示该信令发生的时间。例如，(attach，121212)中的121212代表attach发生的时间，也即121212是attach发生的时间戳。
[0076]
检测设备获取该第一ue的行为数据时，该检测设备与各个网元进行通信，以收集该第一ue相关的信令数据，从而生成第一行为序列，进一步得到第一ue的行为数据。
[0077]
302，从预定的检测模型库中选择第一网元标识对应的检测模型集合，第一网元标
识对应的检测模型集合包括至少两个检测模型，至少两个检测模型是基于ue群体中的各个第二ue的样本行为序列训练得到的。
[0078]
其中，针对ue群体中的任意一个选定的第二ue，选定的第二ue的样本行为序列是根据第一网元标识所标识的网元在上报第一ue相关的信令数据之前上报的、选定的第二ue相关的信令数据生成的。该选定的第二ue的样本行为序列用于描述该选定的第二ue的一系列行为。
[0079]
关于检测模型的训练过程可详见下面图4所述的方法，本技术实施例在此先不赘述。以训练得到n个检测模型集合，预定的检测模型库中包括该n个检测模型集合为例，如图2所示，针对检测设备获取的第一ue的行为数据，从预定的检测模型库包括的n个检测模型集合中，选择第一网元id相同的检测模型集合，即网元i-检测模型集合，作为该第一ue的行为数据中的第一网元标识对应的检测模型集合。
[0080]
例如，第一ue的行为数据为：[ue_2019001，网元_2019008，[(attach，121212)、(service,1545241)、(request,15423523)、(tau,11421212)、(detach，5541512)
…
]]，其中，第一网元id为“网元_2019008”，则网元模型集合2019008为第一网元标识对应的检测模型集合，选择该网元模型集合2019008作为该第一网元标识对应的检测模型集合，该检测模型集合包括至少两个检测模型。
[0081]
303，确定第一行为序列对应的目标检测模型，目标检测模型在第一网元标识对应的至少两个检测模型中。
[0082]
在示例性实施例中，检测设备确定第一行为序列对应的目标检测模型，包括：确定第一行为序列对应的行为特征，该第一行为序列对应的行为特征为第一ue的一系列行为所体现的通信过程中出现的行为特征；根据第一行为序列对应的行为特征，在第一网元标识对应的至少两个检测模型中，确定第一行为序列对应的目标检测模型。换句话说，检测设备根据第一行为序列对应的行为特征，从第一网元标识对应的至少两个检测模型中选择适用于第一行为序列的检测模型，将选择出的检测模型作为目标检测模型。
[0083]
在示例性实施例中，每个检测模型与行为特征相对应，确定第一行为序列对应的行为特征后，根据第一行为序列对应的行为特征，在第一网元标识对应的至少两个检测模型中，确定与该第一行为序列对应的行为特征相对应的检测模型，从而得到目标检测模型。
[0084]
例如，行为特征包括但不限于接入时长、信令发送频率、不同的信令计数等。确定检测模型集合为第一网元标识对应的检测模型集合后，根据第一行为序列确定第一行为序列对应的行为特征。仍以上述第一ue的行为数据为例，检测设备确定第一ue的接入时长，统计第一行为序列[(attach，121212)、(service,1545241)、(request,15423523)、(tau,11421212)、(detach，5541512)
…
]的信令发送频率、不同类型的信令计数等，将接入时长、信令发送频率、不同信令计数等中的一项或者多项作为第一行为序列对应的行为特征。之后，根据第一行为序列对应的行为特征，在第一网元标识对应的至少两个检测模型中，确定检测模型j为第一行为序列对应的目标检测模型，其中检测模型j中聚类中心的行为特征(即检测模型j中所有正常行为序列的行为特征的平均值)与第一行为序列对应的行为特征最为接近。利用检测模型j对第一行为序列进行检测得到检测结果。
[0085]
304，利用目标检测模型对第一行为序列进行检测得到检测结果，检测结果指示第一ue是正常ue或是异常ue。
[0086]
可选地，该目标检测模型是隐形马尔可夫(hidden markov model，hmm)模型等能够检测异常ue的模型，将第一行为序列输入目标检测模型后，可通过该目标检测模型来预测该第一ue为异常ue的概率。本技术实施例不对目标检测模型计算第一ue为异常ue的概率的方式进行限定，计算第一ue为异常ue的概率时，包括但不限于采用前向(forward)与后向(backward)算法，以及直接计算法(枚举)。前向后向算法是求第一个状态的前向概率或最后一个状态的后向概率，然后向后或向前递推即可。
[0087]
通过该目标检测模型得到第一行为序列的预测值即为异常ue的概率之后，将该预测值与ue阈值作比较，如果低于此阈值则为恶意ue即异常ue，大于等于ue阈值则为正常ue。其中，ue阈值可以是根据历史统计和经验设定的，例如，根据python的hmmlearn-0.2.1库预测模型的ue阈值约为-70，当然，也可以为其他ue阈值，该ue阈值的选取还可以根据统计结果进行更新调整，本技术实施例对ue阈值不进行限定。
[0088]
根据本技术实施例提供的方法，由于第一行为序列是根据第一网元上报的第一ue相关的信令数据生成的，而该第一网元能够反映第一ue所在区域位置。又由于第一行为序列能够反映该第一ue的行为习惯或业务，因此，在第一网元标识对应的至少两个检测模型中确定第一行为序列对应的目标检测模型，基于该目标检测模型来获取第一ue是正常ue还是异常ue的检测结果，能够降低因区域偏见造成的误报，使得检测结果的准确性更高。
[0089]
接下来，对上述检测模型的训练过程进行举例说明。可选地，参见图4，该检测模型的训练过程由检测设备执行，或者由其他网络设备执行。在检测模型的训练过程由其他网络设备执行的情况下，该检测设备从其他网络设备上获取已经训练好的检测模型。以检测设备训练检测模型为例，检测模型的训练过程包括但不限于如下几个步骤。
[0090]
401，获取ue群体中的各个第二ue的样本行为序列，从各个第二ue的样本行为序列中过滤得到多个正常行为序列，正常行为序列是指序列长度符合要求的行为序列。
[0091]
在示例性实施例中，检测设备获取ue群体中的各个第二ue的样本行为序列，针对ue群体中的任意一个选定的第二ue，该选定的第二ue的样本行为序列用于描述第二ue的一系列行为，该选定的第二ue的样本行为序列是根据第一网元标识所标识的网元在上报第一ue相关的信令数据之前上报的，选定的第二ue相关的信令数据生成的。
[0092]
需要说明的是，本技术实施例中为了与作为检测对象的第一ue相区分，将用以生成检测模型阶段所涉及的ue群体中的ue称为第二ue。可选地，该ue群体中包括第一ue，也就是说，ue群体中的一个第二ue即为第一ue。可选地，该ue群体中的所有第二ue不包括第一ue，但都是通过第一网元来上报相关的信令数据。第一网元对应的检测模型是在检测设备检测第一ue是否异常之前就已经训练好的，因而该ue群体中的各个第二ue的样本行为序列也是在检测第一ue是否异常之前获取。针对ue群体中的任意一个选定的第二ue，由于该选定的第二ue的样本行为序列是根据选定的第二ue相关的信令数据生成的，而该选定的第二ue相关的信令数据由第一网元标识所标识的第一网元上报的，因而该检测设备可预先获取第一网元上报的该选定的第二ue相关的信令数据，根据该选定的第二ue相关的信令数据生成该选定的第二ue的样本行为序列。之后，该检测设备将生成的该选定的第二ue的样本行为序列进行存储，以在训练第一网元对应的检测模型时使用。
[0093]
关于检测设备存储第二ue的样本行为序列的方式，本技术实施例不进行限定。由于该第二ue可能还通过其他网元上报了该第二ue相关的信令数据，因而该检测设备可预先
存储该第二ue的所有行为序列，而该第二ue的所有行为序列中包括由第一网元上报的信令数据生成的样本行为序列。为了区分第二ue的各个行为序列，检测设备按照第二ue的行为数据的数据格式进行存储。
[0094]
示例性的，第二ue的行为数据的内容，包括但不限于第二ue的标识、网元标识及样本行为序列。
[0095]
例如，该第二ue的行为数据的数据格式为：[ue_id，网元_id，序列集合]。
[0096]
ue_id：ue的id是ue的唯一标识，例如imsi，也可以是ip等。
[0097]
网元_id：例如，可以是amf、smf、ausf等网元的唯一标识。该网元标识可以是上报第二ue相关的信令数据的网元，包括但不限于第一网元，还可以包括第二网元。针对第一网元上报的信令数据所生成的样本行为序列，该网元_id为第一网元标识。
[0098]
序列集合：也即样本行为序列。针对第一网元上报的信令数据所生成的第二ue的样本行为序列，示例性地，该第二ue的样本行为序列是信令与时间的组合形式[(信令,时间(s))]。例如，第二ue的样本行为序列为：[(attach，121212)、(service,1545241)、(request,15423523)、(tau,11421212)、(detach，5541512)
…
]。
[0099]
获取该第二ue的样本行为数据时，检测设备通过与各个网元进行通信，以收集该第二ue的行为数据，或者直接从存储的历史数据中获取该第二ue的行为数据。
[0100]
示例性地，得到ue群体中的各个第二ue的样本行为序列之后，从各个第二ue的样本行为序列中过滤得到多个正常行为序列；根据多个正常行为序列获取第一网元标识对应的至少两个样本行为序列集合，该过程包括但不限于对各个第二ue的样本行为序列进行过滤、分类和聚类操作，以便后续的处理和操作，为后续模型训练提供良好的数据集。
[0101]
在示例性实施例中，从各个第二ue的样本行为序列中过滤得到多个正常行为序列，目的是过滤出第二ue的正常行为序列进行建模。本技术实施例不对过滤方式进行限定，例如，从各个第二ue的样本行为序列中过滤掉序列长度超过最大序列长度阈值和最小序列长度阈值的样本行为序列，即得到多个序列长度符合要求的正常行为序列。最大序列长度阈值和最小序列长度阈值是根据实际现网数据和算法效果统计和评估出的经验值，也可以在训练模型的过程中调整，本技术实施例不对最大序列长度阈值和最小序列长度阈值进行限定。例如，根据配置设定最大序列长度阈值的为100，最小序列长度阈值为50。
[0102]
针对该检测设备存储了第二ue的所有行为序列，而该第二ue的所有行为序列中包括由第一网元上报的信令数据生成的样本行为序列，也包括了其他网元比如第二网元上报的信令数据生成的行为序列的情况，为了区分第二ue的各个行为序列，按照第二ue的行为数据的数据格式进行存储。该情况下，由于每个网元接收的信令类型可以是不一样的，根据同一类别ue的行为进行建模能提高模型预测的准确率，降低产生误报率。因此，得到第二ue的多个行为数据，获取该第二ue的所有行为数据中的所有样本行为序列后，可以过滤出所有正常行为序列，根据正常行为序列对应的网元标识对正常行为序列进行分类，得到各个网元对应的正常行为序列。由此，可以从各个网元对应的正常行为序列中确定出第一网元对应的正常行为序列。
[0103]
示例性地，如图5所示，根据网元id分类出m个不同的正常行为序列组，一个网元id对应一个正常行为序列组。例如，得到正常行为序列组1至正常行为序列组m。其中，网元id所标识的网元包括但不限于amf、smf、ausf等，每种网元对应的正常行为序列组所包括的正
常行为序列的数量不止1个，网元的实际数量可根据网络的具体情况而变化。
[0104]
402，根据多个正常行为序列获取第一网元标识对应的至少两个样本行为序列集合，至少两个样本行为序列集合中的每个样本行为序列集合包括多个样本行为序列。
[0105]
其中，第一网元标识对应的至少两个样本行为序列集合用于训练第一网元标识对应的检测模型，本技术实施例不对样本行为序列集合的数量进行限定。
[0106]
得到多个正常行为序列组之后，从多个正常行为序列组中确定出第一网元对应的正常行为序列组，得到该第一网元对应的多个正常行为序列。根据多个正常行为序列获取第一网元标识对应的至少两个样本行为序列集合，包括但不限于如下几个步骤。
[0107]
4021，确定多个正常行为序列各自对应的行为特征，对于多个正常行为序列中的一个选定的正常行为序列，选定的正常行为序列对应的行为特征为选定的正常行为序列所描述的ue的一系列行为所体现的通信过程中出现的行为特征。
[0108]
确定多个正常行为序列各自对应的行为特征，目的是根据行为特征进一步对ue行为进行分类，为后续模型训练提供良好的数据集。由于行为习惯(行业不同的人群或设备)或者业务不同(比赛、学校、演唱会等)不同区域的用户行为可能存在差别，根据同一类别的ue行为训练检测模型，能提高检测模型的检测结果的准确率，降低产生误报率。
[0109]
示例性地，对于任意一个正常行为序列，确定出的该正常行为序列对应的行为特征包括但不限于ue的接入时长、信令发送频率及不同类型的信令计数等中的一项或多项。例如，正常行为序列对应的行为特征如下表1所示：
[0110]
表1
[0111]
特征举例接入时长1min信令发送频率(attach、service、request、tau、detach等)5m/min-20m/min不同的信令计数(attach、service、request、tau、detach等)3200/min
[0112]
4022，根据多个正常行为序列各自对应的行为特征，对多个正常行为序列进行聚类，从而得到至少两个正常行为序列集合，至少两个正常行为序列集合中的每个正常行为序列集合包括的正常行为序列所对应的行为特征具有相似性。
[0113]
根据多个正常行为序列各自对应的行为特征对多个正常行为序列进行聚类时，可使用scikit-learn中的k-means算法，本技术实施例不对聚类使用的算法进行限定。如图5所示，以聚类得到n个正常行为序列集合为例，也即是将行为特征相近即具有相似性的正常行为序列放在同一个正常行为序列集合中，形成n个正常行为序列集合(记录n个id)。正常行为序列集合的个数n可进行自动优化，聚类结果对应的行为特征可以存储在此检测模型之中，以使得检测模型与行为特征相对应，用以预测阶段即检测异常ue时使用。
[0114]
4023，根据至少两个正常行为序列集合，获取第一网元标识对应的至少两个样本行为序列集合。
[0115]
针对正常行为序列集合中的正常行为序列的数量过多或者过少时的情况，使得训练检测模型时的数据及大小在合理的范围内。当正常行为序列集合中的数据量过多时，后续模型的训练会容易发生过拟合现象，并且训练时间会增加；当正常行为序列集合中的数据量过少时，后续模型的训练会容易发生过拟合现象。示例性地，根据至少两个正常行为序列集合，获取第一网元标识对应的至少两个样本行为序列集合时，如图5所示，包括但不限
于如下三种情况。
[0116]
情况一：针对至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于选定的正常行为序列集合的数据量超过参考范围的最大值，对选定的正常行为序列集合中的正常行为序列进行采样，将采样得到的正常行为序列作为样本行为序列，从而得到第一网元标识对应的样本行为序列集合。
[0117]
针对该情况一，当某些正常行为序列集合的数据量超出参考范围(也可以称为训练集规模范围)的时候，按照时间点进行数据采集形成新的正常行为序列集合，即样本行为序列集合。其中，参考范围可根据经验设定，例如参考范围为9000-11000。在实施该方法时，该参考范围也可变化调整，例如基于配置设定并调整等，本技术实施例不对参考范围进行限定。
[0118]
示例性地，对选定的正常行为序列集合中的正常行为序列进行采样，包括：根据选定的正常行为序列集合的数据量与参考范围的数据量之间的比例，确定选定的正常行为序列集合的采样数量；根据选定的正常行为序列集合的各个时间点的权重及采样数量，对选定的正常行为序列集合的各个时间点所对应的正常行为序列进行采样。
[0119]
例如，根据选定的正常行为序列集合的数据量与参考范围的数据量之间的比例，确定选定的正常行为序列集合的采样数量时，以选定的正常行为序列集合的数据量为120，参考范围的数据量为100为例，该选定的正常行为序列集合的数据量与参考范围的数据量之间的比例为120:100，相应的，采样数量为100/120。根据选定的正常行为序列集合的各个时间点的权重时，以选定的正常行为序列集合中的正常行为序列为一天内的数据为例，该选定的正常行为序列集合中的正常行为序列可以按照小时分成24个时间点，并对每个时间点赋予权重。例如，按照日常统计的每小时数据量占比计算权重，数据量越大权重越大。
[0120]
情况二：根据至少两个正常行为序列集合获取第一网元标识对应的至少两个样本行为序列集合，包括：针对至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于选定的正常行为序列集合的数据量低于参考范围的最小值，将选定的正常行为序列集合与至少两个正常行为序列集合中数据量低于参考范围的最小值的其他正常行为序列集合进行合并，得到合并后的正常行为序列集合；根据合并后的正常行为序列集合获取第一网元标识对应的样本行为序列集合。
[0121]
针对该情况二，当选定的正常行为序列集合的数据量低于参考范围的最小值时，将选定的正常行为序列集合与该第一网元对应的正常行为序列集合中数据量低于参考范围的最小值的其他正常行为序列集合进行合并。如果合并后的正常行为序列集合的数据量大小在参考范围内，则将该合并后的正常行为序列集合作为第一网元标识对应的样本行为序列集合。
[0122]
在示例性实施例中，若合并后的正常行为序列集合中的正常行为序列过多，再按照上述情况一进行采样处理。因此，根据合并后的正常行为序列集合获取第一网元标识对应的样本行为序列集合，包括：响应于合并后的正常行为序列集合的数据量超过参考范围的最大值，对合并后的正常行为序列集合包括的正常行为序列进行采样，将采样得到的正常行为序列作为样本行为序列，得到第一网元标识对应的样本行为序列集合。
[0123]
情况三：根据至少两个正常行为序列集合获取第一网元标识对应的至少两个样本行为序列集合，包括：响应于至少两个正常行为序列集合中的任意一个选定的正常行为序
列集合的数据量在参考范围内，则将该选定的正常行为序列集合作为第一网元标识对应的样本行为序列集合。
[0124]
该种情况下，由于选定的正常行为序列集合的数据量在参考范围内时，因而不进行处理，直接形成训练集，即将选定的正常行为序列集合作为第一网元标识对应的样本行为序列集合。
[0125]
需要说明的是，上述情况一至情况三中的选定的正常行为序列集合为第一网元标识对应的多个正常行为序列集合中的任意一个正常行为序列集合。也就是说，对于第一网元标识对应的多个正常行为序列集合中的每个正常行为序列集合，如果符合情况一，就按照情况一的方式来获取样本行为序列集合。如果符合情况二，就按照情况二的方式来获取样本行为序列集合。如果符合情况三，就按照情况三的方式来获取样本行为序列集合。对于第一网元标识对应的多个正常行为序列集合包括情况一至情况三的两种或三种情况的组合，则可以分别按照不同情况分别处理。
[0126]
403，根据至少两个样本行为序列集合分别训练至少两个检测模型，从而得到第一网元标识对应的检测模型集合。
[0127]
在海量大数据规模下，由于算法复杂度高或原理的限制不能进行分布式运算，导致算法模型训练效率非常低，不能满足实际应用的要求。而在本技术实施例提供的方法中，由于样本行为序列集合为第一网元对应的样本行为序列集合，可以通过采用分布式方法训练该第一网元对应的各个检测模型，将各个检测模型组成该第一网元对应的检测模型集合，从而能够提高模型的训练速度。如图5所示，通过采用分布式方法，也即是以各个样本行为序列集合分别训练第一网元对应的各个检测模型，得到检测模型集合1至检测模型集合m。每个检测模型集合包括n个检测模型。以检测模型集合1为例，该检测模型集合1包括检测模型11至子检测模型1n。
[0128]
在示例性实施例中，检测模型为隐马尔可夫模型。示例性地，根据至少两个样本行为序列集合训练至少两个检测模型，包括：根据至少两个样本行为序列集合，分别训练对应的隐马尔可夫模型。
[0129]
例如，采用上述402获取的至少两个样本行为序列集合训练至少两个检测模型，生成n个hmm-检测模型集合(n为训练集即样本行为序列集合的数量)。训练检测模型的算法库有多种的，例如，隐马尔可夫模型工具包(hidden markov model toolkit，htk)、广义隐马尔科夫模型(general hidden markov model，ghmm)库(library)、umdhmm(是一种隐马尔可夫模型工具包)、jahmm java library(是一种通用java库)、hidden markov model(hmm)matlab工具箱(toolbox for matlab)、cl-hmm library(hmm library for common lisp，通用lisp的hmm库)、hmm数据包(是用于处理隐马尔可夫模型的haskell库)等，本技术实施例不对训练检测模型的算法库进行限定，例如，可以采用python的hmmlearn-0.2.1库为例来训练hmm-子检测模型。
[0130]
由于hmm模型有三个基本问题：评估观察序列概率、模型参数学习问题、预测问题。训练hmm就是学习hmm模型参数，即给定观测序列o＝{o1,o2,...on}，其中，o为每个ue的行为序列，如图6所示，应用最大期望算法估计模型λ＝(a,b,π)的参数，使该模型下观测序列的条件概率p(o|λ)最大。其中，a为状态转移概率矩阵，b为观测概率矩阵，π为初始状态概率向量。
[0131]
综上所述，上述异常ue的检测方法及上述检测模型的训练过程可参见图7所示的过程。例如，先基于从各个网元、基站采集信令数据，得到用于训练模型的第二ue的行为数据。通过数据预处理和样本采集得到训练集，即样本行为序列集合。之后，基于样本行为序列集合训练对应的hmm模型，得到检测模型，根据第一网元对应的各个检测模型得到该第一网元对应的检测模型集合。当有实时数据需要检测时，该实时数据可能包含正常ue的行为序列，也可能包含异常ue的行为序列。对实时数据进行预处理，即确定该实时数据对应的目标检测模型，进而通过该目标检测模型进行预测。得到的预测值与阈值比较之后，得到恶意ue还是正常ue的检测结果。除此之外，还可以将该检测结果发送给ddos检测设备，由该ddos检测设备进行ddos攻击的检测。
[0132]
根据本技术实施例提供的方法，由于第一行为序列是根据第一网元上报的第一ue相关的信令数据生成的，而该第一网元能够反映第一ue所在区域位置。又由于第一行为序列能够反映该第一ue的行为习惯或业务，因此，在第一网元标识对应的至少两个检测模型中确定第一行为序列对应的目标检测模型，基于该目标检测模型来获取第一ue是正常ue还是异常ue的检测结果，能够降低因区域偏见造成的误报，使得检测结果的准确性更高。
[0133]
在训练检测模型时，基于网元和时间点的权重分类采集数据，当数据量很大时，能有效降低数据量，当场景中某些区域某些时间数据量非常少的时候，通过将正常行为序列集合进行合并，避免数据量不足时的过拟合和欠拟合。
[0134]
此外，通过上述采集的方式获取样本行为序列集合的前提下，分别训练检测模型，能高效完成模型训练，减少资源开销。
[0135]
需要说明的是，4g场景下对应的基站和网元与5g不同，在数据量足够大的情况下，本技术实施例提供的上述异常行为的检测方法以及训练检测模型的过程除了可以应用于5g场景下，还可以应用于4g场景中。
[0136]
本技术实施例提供了一种异常ue的检测装置，该方法用于执行上述异常ue的检测方法。参见图8，该装置包括：
[0137]
第一获取模块801，用于获取第一用户设备ue的行为数据，第一ue的行为数据包括第一ue的标识、第一网元标识及第一行为序列，第一行为序列用于描述第一ue的一系列行为，第一行为序列是根据第一ue相关的信令数据生成的，第一ue相关的信令数据是由第一网元标识所标识的网元上报的。例如，该第一获取模块801所执行的功能可参见上述图3所示实施例中的步骤301。
[0138]
选择模块802，用于从预定的检测模型库中选择第一网元标识对应的检测模型集合，第一网元标识对应的检测模型集合包括至少两个检测模型，至少两个检测模型是基于ue群体中的各个第二ue的样本行为序列训练得到的，其中，针对ue群体中的任意一个选定的第二ue，选定的第二ue的样本行为序列是根据第一网元标识所标识的网元在上报第一ue相关的信令数据之前上报的、选定的第二ue相关的信令数据生成的。例如，该选择模块802所执行的功能可参见上述图3所示实施例中的步骤302。
[0139]
确定模块803，用于确定第一行为序列对应的目标检测模型，目标检测模型是第一网元标识对应的检测模型集合中的一个检测模型。例如，该确定模块803所执行的功能可参见上述图3所示实施例中的步骤303。
[0140]
检测模块804，用于利用目标检测模型对第一行为序列进行检测得到检测结果，检
测结果指示第一ue是正常ue或是异常ue。例如，该检测模块804所执行的功能可参见上述图3所示实施例中的步骤304。
[0141]
本技术实施例提供的装置，由于第一行为序列是根据第一网元上报的第一ue相关的信令数据生成的，而该第一网元能够反映第一ue所在区域位置。又由于第一行为序列能够反映该第一ue的行为习惯或业务，因此，在第一网元标识对应的至少两个检测模型中确定第一行为序列对应的目标检测模型，基于该目标检测模型来获取第一ue是正常ue还是异常ue的检测结果，能够降低因区域偏见造成的误报，使得检测结果的准确性更高。
[0142]
可选地，参见图9，附图8所示的异常ue的检测装置装置，进一步还包括第二获取模块805和训练模块806。
[0143]
第二获取模块805，用于获取ue群体中的各个第二ue的样本行为序列，从各个第二ue的样本行为序列中过滤得到多个正常行为序列，正常行为序列是指序列长度符合要求的行为序列；根据多个正常行为序列获取第一网元标识对应的至少两个样本行为序列集合，至少两个样本行为序列集合中的每个样本行为序列集合包括多个样本行为序列。例如，该第二获取模块805所执行的功能可参见上述图4所示实施例中的步骤401和402。
[0144]
训练模块806，用于根据至少两个样本行为序列集合分别训练至少两个检测模型，从而得到第一网元标识对应的检测模型集合。例如，该训练模块806所执行的功能可参见上述图4所示实施例中的步骤403。
[0145]
在示例性实施例中，第二获取模块805，用于确定多个正常行为序列各自对应的行为特征，对于多个正常行为序列中的一个选定的正常行为序列，选定的正常行为序列对应的行为特征为选定的正常行为序列所描述的ue的一系列行为所体现的通信过程中出现的行为特征；根据多个正常行为序列各自对应的行为特征，对多个正常行为序列进行聚类，从而得到至少两个正常行为序列集合，至少两个正常行为序列集合中的每个正常行为序列集合包括的正常行为序列所对应的行为特征具有相似性；根据至少两个正常行为序列集合，获取第一网元标识对应的至少两个样本行为序列集合。
[0146]
在示例性实施例中，第二获取模块805，用于针对至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于选定的正常行为序列集合的数据量超过参考范围的最大值，对选定的正常行为序列集合中的正常行为序列进行采样，将采样得到的正常行为序列作为样本行为序列，从而得到第一网元标识对应的样本行为序列集合。
[0147]
在示例性实施例中，第二获取模块805，用于根据选定的正常行为序列集合的数据量与参考范围的数据量之间的比例，确定选定的正常行为序列集合的采样数量；根据选定的正常行为序列集合的各个时间点的权重及采样数量，对选定的正常行为序列集合的各个时间点所对应的正常行为序列进行采样。
[0148]
在示例性实施例中，第二获取模块805，用于针对至少两个正常行为序列集合中的任意一个选定的正常行为序列集合，响应于选定的正常行为序列集合的数据量低于参考范围的最小值，将选定的正常行为序列集合与至少两个正常行为序列集合中数据量低于参考范围的最小值的其他正常行为序列集合进行合并，得到合并后的正常行为序列集合；根据合并后的正常行为序列集合获取第一网元标识对应的样本行为序列集合。
[0149]
在示例性实施例中，第二获取模块805，用于响应于合并后的正常行为序列集合的数据量超过参考范围的最大值，对合并后的正常行为序列集合包括的正常行为序列进行采
样，将采样得到的正常行为序列作为样本行为序列，得到第一网元标识对应的样本行为序列集合。
[0150]
在示例性实施例中，检测模型为隐马尔可夫模型，训练模块806，用于根据至少两个样本行为序列集合，分别训练对应的隐马尔可夫模型。
[0151]
在示例性实施例中，确定模块803，用于确定第一行为序列对应的行为特征，第一行为序列对应的行为特征为第一ue的一系列行为所体现的通信过程中出现的行为特征；根据第一行为序列对应的行为特征，在第一网元标识对应的至少两个检测模型中，确定第一行为序列对应的目标检测模型。
[0152]
关于附图9中第二获取模块805和训练模块806训练模型库的更多细节请参考前面方法实施例附图4、附图5和附图6的相关说明，在这里不再重复。
[0153]
在训练检测模型时，基于网元和时间点的权重分类采集数据，当数据量很大时，能有效降低数据量，当场景中某些区域某些时间数据量非常少的时候，通过将正常行为序列集合进行合并，避免数据量不足时的过拟合和欠拟合。
[0154]
此外，通过上述采集的方式获取样本行为序列集合的前提下，分别训练检测模型，能高效完成模型训练，减少资源开销。
[0155]
应理解的是，上述图8或图9提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0156]
图10为本技术实施例的异常ue的检测设备1000的硬件结构示意图。可选地，图10所示的异常ue的检测设备1000执行上述实施例的方法中检测设备执行的相应步骤。
[0157]
如图10所示，异常ue的检测设备1000包括处理器1001、存储器1002、网络接口1003和总线1006。其中网络接口1003可以通过无线或有线的方式实现，可选地，网络接口1003是网卡。上述处理器1001、存储器1002和网络接口1003通过总线1006连接。
[0158]
可选地，网络接口1003包括发送器和接收器，用于异常ue的检测设备1000接收信令数据。例如，接口1003用于支持接收网元发送的信令，执行上述图3所示实施例中301的处理步骤。处理器1001用于执行上述图3所示实施例中302-304的处理相关步骤。处理器1001和/或用于本文所描述的技术的其他过程。存储器1002包括操作系统10021和应用程序10022，用于存储程序、代码或指令，当处理器或硬件设备执行这些程序、代码或指令时可以完成方法实施例中涉及异常ue的检测设备1000的处理过程。可选的，存储器1002可以包括只读存储器(英文：read-only memory，缩写：rom)和随机存取存储器(英文：random access memory，缩写：ram)。其中，rom包括基本输入/输出系统(英文：basic input/output system，缩写：bios)或嵌入式系统；ram包括应用程序和操作系统。当需要运行异常ue的检测设备1000时，通过固化在rom中的bios或者嵌入式系统中的bootloader引导系统进行启动，引导异常ue的检测设备1000进入正常运行状态。在异常ue的检测设备1000进入正常运行状态后，运行在ram中的应用程序和操作系统，从而，完成方法实施例中涉及异常ue的检测设备1000的处理过程。
[0159]
可以理解的是，图10仅仅示出了异常ue的检测设备1000的简化设计。在实际应用
中，异常ue的检测设备1000可以包含任意数量的接口，处理器或者存储器。例如，如图10所示，该异常ue的检测设备1000还包括输入设备1004和显示器1005。该输入设备1004可用于输入检测相关的指令，显示器1005可用于显示该检测相关的指令，还可以显示异常ue的检测结果。此外，该异常ue的检测设备1000还可以与网管设备1100进行交互。例如，异常ue的检测设备1000从网管设备1100获取对应的指令等。
[0160]
应理解的是，上述处理器可以是中央处理器(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced risc machines，arm)架构的处理器。
[0161]
进一步地，在一种可选的实施例中，上述存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
[0162]
该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用。例如，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic random access memory，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data date sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0163]
还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现如上任一所述的异常ue的检测方法。
[0164]
本技术提供了一种计算机程序，当计算机程序被计算机执行时，可以使得处理器或计算机执行上述方法实施例中对应的各个步骤和/或流程。
[0165]
提供了一种芯片，包括处理器，用于从存储器中调用并运行所述存储器中存储的指令，使得安装有所述芯片的通信设备执行上述各方面中的方法。
[0166]
提供另一种芯片，包括：输入接口、输出接口、处理器和存储器，所述输入接口、输出接口、所述处理器以及所述存储器之间通过内部连接通路相连，所述处理器用于执行所述存储器中的代码，当所述代码被执行时，所述处理器用于执行上述各方面中的方法。
[0167]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者
从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk)等。
[0168]
以上所述的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本技术的具体实施方式而已，并不用于限定本技术的保护范围，凡在本技术的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本技术的保护范围之内。