基于机器学习的5G网络切片容灾切换方法及装置与流程

基于机器学习的5g网络切片容灾切换方法及装置
技术领域
1.本发明涉及通信网络技术领域，具体涉及一种基于机器学习的5g网络切片容灾切换方法及装置。


背景技术：

2.5g技术(第五代移动通信技术，5th generation mobile networks或5th generation wireless systems)是一种蜂窝移动通信技术，其具有数据速率高、延迟低、以及节约能源等特点，从而具有良好的应用前景。在5g技术中，通常采用网络切片的方式来为不同的应用场景提供隔离的网络环境，从而使不同的应用场景可以根据自身要求定制功能与特性。然而，当某网络切片发生故障时，将直接影响其服务的用户的使用体验，继而使得5g技术中网络切片的容灾切换尤为重要。
3.目前，5g网络容灾切换方式主要为人工切换方式，例如，由人工配置相应的切换阈值，当网络切片的相关性能达到预设阈值时，触发网络切片的容灾切换。
4.然而，发明人在实施过程中发现，现有技术中存在如下缺陷：现有技术中采用人工的切换方式，会大大降低5g网络切片的容灾切换精度，使得无法准确地把握切换时机及切换对象，并容易造成误操作及网络切片的频繁切换，大幅降低系统稳定性，影响用户体验，


技术实现要素：

5.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于机器学习的5g网络切片容灾切换方法及装置。
6.根据本发明的一个方面，提供了一种基于机器学习的5g网络切片容灾切换方法，包括：
7.针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息；其中，所述第一类信息包括该切片实例当前的性能指标以及该切片实例当前对应的用户体验感知指标；所述第二类信息包括该切片实例当前对应的用户sla需求指标，以及当前容灾池中可用网络切片的配置信息；
8.将所述第一类信息作为状态数据，以及将所述第二类信息作为条件数据，并将所述状态数据以及所述条件数据输入至预先训练好的切片容灾切换模型中；
9.基于所述切片容灾切换模型的输出结果，确定与该切片实例对应的目标切换动作；
10.采用所述目标切换动作对该切片实例对应的网络切片进行切换管理。
11.可选的，所述目标切换动作包括：不切换，或者，切换至目标网络切片。
12.可选的，所述基于所述切片容灾切换模型的输出结果，确定与该切片实例对应的目标切换动作进一步包括：
13.获取所述切片容灾切换模型输出的最优值函数；
14.将所述最优值函数对应的切换动作，确定为该切片实例对应的目标切换动作。
15.可选的，若所述目标切换动作为切换至目标网络切片，则在所述采用所述目标切换动作对该切片实例对应的网络切片进行切换管理之后，所述方法还包括：
16.根据预设时间段内该切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标，生成回报值；其中，所述预设时间段的起始时间晚于切换至目标网络切片的时间；
17.将所述回报值反馈至所述切片容灾切换模型，以实现所述切片容灾切换模型的优化。
18.可选的，所述预先训练好的切片容灾切换模型通过以下方式训练获得：
19.构建切片容灾切换模型；其中，所述切片容灾切换模型的输入数据包括异构的多状态数据以及多条件数据；
20.针对于任一历史切片实例，获取该历史切片实例对应的样本数据；其中，该历史切片实例对应的样本数据包括：该历史切片实例在预设历史时段内的性能指标、该历史切片实例在预设历史时段内对应的用户体验感知指标、该历史切片实例在预设历史时段内对应的用户sla需求指标、预设历史时段内容灾池中可用网络切片的配置信息，以及该历史切片实例在预设历史时段内的历史切换动作；
21.利用多个历史切片实例对应的样本数据对构建的切片容灾切换模型进行模型训练，以获得训练好的切片容灾切换模型。
22.可选的，在获取所述样本数据之后，所述方法还包括：对所述样本数据进行标准化处理。
23.可选的，所述性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率；
24.和/或，所述用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值；
25.和/或，所述用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；
26.和/或，所述可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
27.根据本发明的另一方面，提供了一种基于机器学习的5g网络切片容灾切换装置，包括：
28.获取模块，适于针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息；其中，所述第一类信息包括该切片实例当前的性能指标以及该切片实例当前对应的用户体验感知指标；所述第二类信息包括该切片实例当前对应的用户sla需求指标，以及当前容灾池中可用网络切片的配置信息；
29.输入模块，适于将所述第一类信息作为状态数据，以及将所述第二类信息作为条件数据，并将所述状态数据以及所述条件数据输入至预先训练好的切片容灾切换模型中；
30.确定模块，适于基于所述切片容灾切换模型的输出结果，确定与该切片实例对应的切换动作；
31.切换模块，适于采用所述切换动作对该切片实例对应的网络切片进行切换管理。
32.可选的，所述目标切换动作包括：不切换，或者，切换至目标网络切片。
33.可选的，所述确定模块进一步适于：获取所述切片容灾切换模型输出的最优值函数；
34.将所述最优值函数对应的切换动作，确定为该切片实例对应的目标切换动作。
35.可选的，所述装置还包括，反馈模块，适于若所述目标切换动作为切换至目标网络切片，则在所述采用所述目标切换动作对该切片实例对应的网络切片进行切换管理之后，
36.根据预设时间段内该切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标，生成回报值；其中，所述预设时间段的起始时间晚于切换至目标网络切片的时间；
37.将所述回报值反馈至所述切片容灾切换模型，以实现所述切片容灾切换模型的优化。
38.可选的，所述预先训练好的切片容灾切换模型通过以下方式训练获得：
39.构建切片容灾切换模型；其中，所述切片容灾切换模型的输入数据包括异构的多状态数据以及多条件数据；
40.针对于任一历史切片实例，获取该历史切片实例对应的样本数据；其中，该历史切片实例对应的样本数据包括：该历史切片实例在预设历史时段内的性能指标、该历史切片实例在预设历史时段内对应的用户体验感知指标、该历史切片实例在预设历史时段内对应的用户sla需求指标、预设历史时段内容灾池中可用网络切片的配置信息，以及该历史切片实例在预设历史时段内的历史切换动作；
41.利用多个历史切片实例对应的样本数据对构建的切片容灾切换模型进行模型训练，以获得训练好的切片容灾切换模型。
42.可选的，所述装置还包括：标准化处理模块，适于在获取所述样本数据之后，对所述样本数据进行标准化处理。
43.可选的，所述性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率；
44.和/或，所述用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值；
45.和/或，所述用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；
46.和/或，所述可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
47.根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
48.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于机器学习的5g网络切片容灾切换方法对应的操作。
49.根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于机器学习的5g网络切片容灾切换方法对应的操作。
50.根据本发明提供的基于机器学习的5g网络切片容灾切换方法及装置，针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息；将第一类信息作为状态
数据，第二类信息作为条件数据，输入至预先训练好的切片容灾切换模型中；基于切片容灾切换模型的输出结果，确定与该切片实例对应的目标切换动作；采用目标切换动作对该切片实例对应的网络切片进行切换管理。采用本方案，能够能够实时地、准确地确定出切片实例对应的网络切片的切换时机及切换对象，从而提升网络切换容灾切换精度，避免网络切片的频繁切换，提高系统稳定性，提升用户体验。
51.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
52.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
53.图1示出了根据本发明实施例一提供的一种基于机器学习的5g网络切片容灾切换方法的流程示意图；
54.图2示出了本发明实施例二提供的一种切片容灾切换模型训练方法的流程示意图；
55.图3示出了本发明实施例二提供的一种切片容灾切换模型结构示意图；
56.图4示出了根据本发明实施例三提供的一种基于机器学习的5g网络切片容灾切换装置的功能结构示意图；
57.图5示出了本发明实施例五提供的一种计算设备的结构示意图。
具体实施方式
58.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
59.实施例一
60.图1示出了根据本发明实施例一提供的基于机器学习的5g网络切片容灾切换方法的流程示意图。其中，所述方法可应用于5g网络设备中，本实施例对本方法具体的执行设备不作限定，例如其具体可以由5g网络中的nsmf(network slice management function，网络切片管理功能)单元执行等等。
61.本实施例中的切片实例(nsi，network slice instance)是一个真实运行的逻辑网络，其能满足一定网络特性或服务需求。一个切片实例可提供一种或多种服务。在实际的应用场景中，一个切片实例可对应于一个或多个网络切片。本实施例所述的5g网络切片容灾切换，即是针对于切片实例，实现该切片实例对应的网络切片的切换，从而保障该切换实例能够稳定地向相应的用户提供服务。
62.本实施例以切片网络中的任一切片实例为例，来阐明本实施例中基于机器学习的5g网络切片容灾切换方法的具体实施过程：
63.如图1所示，该方法包括以下步骤：
64.步骤s110：针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息。
65.具体地，第一类信息包括该切片实例当前的性能指标以及该切片实例当前对应的用户体验感知指标。其中，性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率等；而用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值等。
66.第二类信息包括该切片实例当前对应的用户sla(service-level agreement，服务等级协议)需求指标，以及当前容灾池中可用网络切片的配置信息。其中，用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
67.步骤s120：将第一类信息作为状态数据，以及将第二类信息作为条件数据，并将状态数据以及条件数据输入至预先训练好的切片容灾切换模型中。
68.本实施例预先训练有基于机器学习的切片容灾切换模型，从而在实际的在线容灾切换场景中，待步骤s110采集到切片实例对应的第一类信息及第二类信息之后，可将该第一类信息及第二类信息输入至该预先训练好的切片容灾切换场景中。其中，本实施例对具体的切片容灾切换模型的训练方式不作限定。
69.其中，在将第一类信息及第二类信息输入至训练好的切片容灾切换模型时，为提升该切片容灾切换模型的预测精度，本实施例具体是将第一类信息作为状态数据，而第二类信息作为条件数据进行输入。在实际的实施过程中，可将该切片实例当前的性能指标(含多个指标)整合为一条状态输入数据，将该切片实例当前对应的用户体验感知指标(含多个指标)整合为另一条状态数据，将该切片实例当前对应的用户sla需求指标整合为一条条件输入数据，而将当前容灾池中可用网络切片的配置信息整合为另一条条件输入数据，并将各条状态输入数据及各条条件输入数据分别通过输入层输入至切片容灾切换模型中。
70.可选的，为提升模型的预测效率，本实施例可进一步对输入数据进行标准化处理，本实施例对具体的标准化处理方式不作限定。
71.步骤s130：基于切片容灾切换模型的输出结果，确定与该切片实例对应的目标切换动作。
72.在将切片实例的第一类信息以及第二类信息输入至切片容灾切换模型后，可及时获取该切片容灾切换模型的输出结果。该切片容灾切换模型的输出结果包括最优值函数。具体地，与第一类信息及第二类信息的组合对应有相应的切换动作集，该切换动作集中包含有第一类信息作为状态数据，第二类信息作为条件数据时所对应的所有的切换动作，每个切换动作均对应于一个值函数，而最优值函数即为该切换动作集中所有切换动作对应的值函数中处于最优状态的值函数。
73.则在本步骤执行过程中，可获取切片容灾切换模型输出的最优值函数，进而将该最优值函数对应的切换动作，确定为该切片实例对应的目标切换动作。可选的，该目标切换动作包括不切换，或者，切换至目标网络切片。
74.在实际的实施过程中，为提升本方法实施效率，可通过相应的向量呈现该目标切换动作。其中，该向量长度与当前容灾池中可用网络切片的数量一致，该向量中每一位对应当前容灾池中一个可用网络切片，向量中的每一位中的值表征其对应的可用网络切片是否可以作为切换后的目标网络切片。例如，目标切换动作可以为{0，1，0，0，0，0}，则表明当前容灾池中可用网络切片的数量为6，其中，第二个可用网络切片可作为切换后的目标网络切片。
75.在一种可选的实施方式中，若目标网络切片为多个，则可采用预设方式从该多个目标网络切片中选择一个作为最终切换后的目标网络切片。该预设方式可以为随机选择方式，还可以根据各个目标网络切片对应的权重值选择最终切换后的目标网络切片。
76.步骤s140：采用目标切换动作对该切片实例对应的网络切片进行切换管理。
77.具体地，若目标切换动作为不切换，则保持该切换实例对应的网络切片不变；若目标切换动作为切换至目标网络切片，则表明当前该切换实例对应的网络切片已无法很好地为用户提供服务，从而可将该切换实例对应的网络切换切换至目标网络切片。
78.在一种可选的实施方式中，为进一步提升切片容灾切换模型的预测精度，提升最终目标切换动作的准确度，若目标切换动作为切换至目标网络切片，则本实施例在采用目标切换动作对该切片实例对应的网络切片进行切换管理之后，可根据预设时间段内该切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标，生成回报值(其中，该回报值可通过相应的回报函数生成)；其中，预设时间段的起始时间晚于切换至目标网络切片的时间；并将回报值反馈至切片容灾切换模型，以实现切片容灾切换模型的优化，从而能够确定出对切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标影响最小的切换动作，有利于提升容灾切换的精度。
79.由此可见，本实施例通过采用基于机器学习训练的切片容灾切换模型来判断当前切片实例的目标切换动作，从而能够实时地、准确地确定出切片实例对应的网络切片的切换时机及切换对象，从而提升网络切换容灾切换精度，避免网络切片的频繁切换，提高系统稳定性，提升用户体验；并且本方案无需人工配置切换规则，从而在降低误操作的基础上进一步降低人工成本；在此基础上，本实施例将第一类信息作为状态数据，第二类信息作为条件数据来作为切片容灾切换模型的输入数据，能够提升最终确定的目标切换动作的准确性，进一步提升系统稳定性及用户体验。
80.实施例二
81.图2示出了本发明实施例二提供的一种切片容灾切换模型训练方法的流程示意图。其中，该方法的执行载体可以与实施例一中基于机器学习的5g网络切片容灾切换方法的执行载体相同，也可以由单独的计算设备执行，并与实施例一中的执行载体进行信息交互。
82.如图2所示，该方法包括：
83.步骤s210：针对于任一历史切片实例，获取该历史切片实例对应的样本数据。
84.本实施例中，可从切片网络的历史数据中获取多个历史切片实例的相关数据，通过对历史数据的数据清洗，获得任一历史切片实例所对应的样本数据。
85.其中，任一历史切片实例对应的样本数据包含有三类：第一类数据为两种异构的状态数据，即该历史切片实例在预设历史时段内的性能指标以及该历史切片实例在预设历
史时段内对应的用户体验感知指标；第二类数据为条件数据，即该历史切片实例在预设历史时段内对应的用户sla需求指标以及预设历史时段内容灾池中可用网络切片的配置信息；第三类为结果数据，该结果数据具体为该历史切片实例在预设历史时段内的历史切换动作。
86.具体地，性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率等；而用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值等；用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
87.在实际的实施过程中，为便于后续对切片容灾切换模型的训练，本技术中，针对于任一历史切片实例，将该历史切片实例的多个性能指标整合为一条状态输入数据，将该历史切片实例对应的多个用户体验感知指标整合为另一条状态数据，将该历史切片实例预设历史时段内对应的用户sla需求指标整合为一条条件输入数据，而将历史时段内容灾池中可用网络切片的配置信息整合为另一条条件输入数据。
88.其中，本实施例对样本数据的具体展现形式不作限定，例如可以以向量的方式呈现。举例来说，历史切片实例a，在历史时段x内对应有n个性能指标，以及对应有m个用户体验感知指标，则状态输入数据可以为s1＝{s11、s12、s13、
…
、s1n}，s2＝{s21、s22、s23、
…
、s2m}；在历史时段x内对应有i个用户sla需求指标，容灾池中可用网络切片的配置信息为j条，则条件状态输入数据可以为c1＝{c11、c12、c13、
…
、c1i}，c2＝{c21、c22、c23、
…
、c2j}；而历史切换动作以向量表现时，该向量长度与当前容灾池中可用网络切片的数量一致，该向量中每一个元素对应容灾池中一个可用网络切片，向量中的每一个元素中的值表征其对应的可用网络切片是否可以作为切换后的目标网络切片。
89.可选的，在获取所述样本数据之后，可进一步地对样本数据进行标准化处理，以供基于标准化处理之后的数据进行模型训练。其中，本实施例对具体的标准化处理过程不作限定，例如，针对于每个维度数据，计算该维度数据的平均值及方差，并采用(x-mean)/std的方式获得标准化后的数据(其中，x为标准化前的数据，mean为该数据对应的维度数据的平均值，std为该数据对应的维度数据的方差)。通过对样本数据的标准化处理能够大幅提升模型的收敛速度以及模型的预测精度。
90.步骤s220：构建切片容灾切换模型。
91.本实施例中的切片容灾切换模型基于dqn(deep q-network，深度强化学习)模型构建。其中，dqn具有处理高维状态和离散动作上的特点。与现有技术中dqn模型不同的是，本实施例在传统dqn模型的基础上，将输入数据拓展为异构的多状态数据以及多条件数据，从而有利于提升最终切片容灾切换模型的预测精度。
92.如图3所示，本实施例中的切片容灾切换模型包含输入层、全连接层、随机舍弃层及输出层。其中，输入数据包括状态数据(如图3中的s(state))、条件数据(如图3中的c(condition))以及结果数据(如图3中的a)。具体地，状态数据之一的历史切片实例在预设历史时段内的性能指标(如图3中s1)依次经过相应的输入层及两层全连接层(其中，该两层
全连接层分别包含有128及64个神经元，其中神经元激活函数采用relu函数)提取出第一状态特性，同理，另一状态函数，历史切片实例在预设历史时段内对应的用户体验感知指标(如图3中s2)也依次经过相应的输入层及两层全连接层(其中，该两层全连接层分别包含有128及64个神经元)提取出第二状态特征；条件数据之一的该历史切片实例在预设历史时段内对应的用户sla需求指标(如图3中c1)依次经过相应的输入层及两层全连接层(其中，该两层全连接层分别包含有32及16个神经元，其中神经元激活函数采用relu函数)提取出第一条件特征，另一条件函数，预设历史时段内容灾池中可用网络切片的配置信息(如图3中c2)也依次经过相应的输入层及两层全连接层(其中，该两层全连接层分别包含有32及16个神经元，其中神经元激活函数采用relu函数)提取出第二条件特征；另外，结果数据，该历史切片实例在预设历史时段内的历史切换动作(如图3中a)也依次经过相应的输入层及两层全连接层(其中，该两层全连接层分别包含有16及8个神经元，其中神经元激活函数采用relu函数)提取出动作特征。
93.进一步地，将经过输入层及两层全连接层而提取出的第一状态特征、第二状态特征、第一条件特征、第二条件特征以及动作特征通过合并层(如图3中合并层sum)进行特征合并，合并后的特征经过有2个全连接层(该全连接分别包含有64及32个神经元)，且两个全连接层之后均包含一个随机舍弃层(如图3所示，随机舍弃概率为0.2)，最终通过输出层(包含1个神经元)输出qπ(s1,s2,c1,c2,a)。
94.步骤s230：利用多个历史切片实例对应的样本数据对构建的切片容灾切换模型进行模型训练，以获得训练好的切片容灾切换模型。
95.在实际的实施过程中，可将步骤s210获得的多个历史切片实例对应的样本数据按照预设比例拆分获得训练样本及测试样本，例如，可将80％的样本数据作为训练样本，而将20％的样本数据作为测试样本进行模型训练。
96.本实施例中，模型包含有相应的记忆库，在记忆库中使用经验回放来保存所有阶段的结果到一个回放存储器中。当训练神经网络时，从其中随机小批量选取来更新，从而解决了样本之间相互关联的问题，将大大提高系统的稳定性。
97.进一步地，在训练过程中，为避免动作选取局限性、丰富数据收集，引入贪婪算法来选取动作，以epsilon概率随机选取行动，以1-epsilon概率选取目前已知最优的行动。随着学习的不断深入，epsilon的值可以变得越来越小。
98.在实际的训练过程中，可采用随机权重初始化q函数，使得目标q函数qtarget＝q。在每一个回合的每一个时间步骤t下：给定一个初始化切片实例性能指标s1t和初始化切片用户体验感知指标s2t、初始化切片用户sla需求指标c1t和初始化切片容灾池中可用目标切片配置信息c2t，基于贪婪算法给出切片容灾切换动作at；进一步得到回报rt并到达新的切片实例性能指标s1t 1和新的切片实例用体验感知指标s2t 1；再将t时刻的(s1t,s2t,c1t,c2t,at,rt,s1t 1,s2t 1)存入回放缓存中；并从回放缓存中抽取出(s1i,s2i,c1i,c2i,ai,ri,s1i 1,s2i 1)；并计算目标值y＝ri maxqtarget(s1i 1,s2i 1,c1i,c2i,a)；进而更新q函数神经网络的参数使q(s1i,s2i,c1i,c2i,ai)逼近目标值；最后将更新后的q函数神经网络权重赋给qtarget＝q，并重新进行下一步训练。
99.模型在训练过程中，可训练1000个回合，批处理大小为32，回放缓存大小设置为50000。选择平均绝对值误差mse(mean squared error)作为损失函数即目标函数(loss＝'
mse')，梯度下降优化算法选择adam优化器用于改善传统梯度下降的学习速度。最终神经网络通过梯度下降，可以找到使目标函数最小的最优权重值，随着训练回合数的增加，训练误差也逐渐下降，模型逐渐收敛。最终在满足预设的训练结束标准(如误差小于预设阈值时)，结束训练，并输出训练好的切片容灾切换模型。
100.由此可见，采用本实施例训练方法获得的切片容灾切换模型具有较高的预测精度，从而有利于基于该切片容灾切换模型对实施的切片网络中的切片实例进行容灾切换管理。
101.实施例三
102.图4示出了根据本发明实施例三提供的一种基于机器学习的5g网络切片容灾切换装置的功能结构示意图。如图4所示，该装置包括：获取模块41、输入模块41、确定模块43、以及切换模块44。
103.获取模块41，适于针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息；其中，所述第一类信息包括该切片实例当前的性能指标以及该切片实例当前对应的用户体验感知指标；所述第二类信息包括该切片实例当前对应的用户sla需求指标，以及当前容灾池中可用网络切片的配置信息；
104.输入模块42，适于将所述第一类信息作为状态数据，以及将所述第二类信息作为条件数据，并将所述状态数据以及所述条件数据输入至预先训练好的切片容灾切换模型中；
105.确定模块43，适于基于所述切片容灾切换模型的输出结果，确定与该切片实例对应的切换动作；
106.切换模块44，适于采用所述切换动作对该切片实例对应的网络切片进行切换管理。
107.可选的，所述目标切换动作包括：不切换，或者，切换至目标网络切片。
108.可选的，所述确定模块进一步适于：获取所述切片容灾切换模型输出的最优值函数；
109.将所述最优值函数对应的切换动作，确定为该切片实例对应的目标切换动作。
110.可选的，所述装置还包括，反馈模块，适于若所述目标切换动作为切换至目标网络切片，则在所述采用所述目标切换动作对该切片实例对应的网络切片进行切换管理之后，
111.根据预设时间段内该切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标，生成回报值；其中，所述预设时间段的起始时间晚于切换至目标网络切片的时间；
112.将所述回报值反馈至所述切片容灾切换模型，以实现所述切片容灾切换模型的优化。
113.可选的，所述预先训练好的切片容灾切换模型通过以下方式训练获得：
114.构建切片容灾切换模型；其中，所述切片容灾切换模型的输入数据包括异构的多状态数据以及多条件数据；
115.针对于任一历史切片实例，获取该历史切片实例对应的样本数据；其中，该历史切片实例对应的样本数据包括：该历史切片实例在预设历史时段内的性能指标、该历史切片实例在预设历史时段内对应的用户体验感知指标、该历史切片实例在预设历史时段内对应
的用户sla需求指标、预设历史时段内容灾池中可用网络切片的配置信息，以及该历史切片实例在预设历史时段内的历史切换动作；
116.利用多个历史切片实例对应的样本数据对构建的切片容灾切换模型进行模型训练，以获得训练好的切片容灾切换模型。
117.可选的，所述装置还包括：标准化处理模块，适于在获取所述样本数据之后，对所述样本数据进行标准化处理。
118.可选的，所述性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率；
119.和/或，所述用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值；
120.和/或，所述用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；
121.和/或，所述可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
122.其中，本实施例中的具体实施过程可参照实施例一中相应部分的描述，本实施例在此不做赘述。
123.由此可见，采用本方案，能够能够实时地、准确地确定出切片实例对应的网络切片的切换时机及切换对象，从而提升网络切换容灾切换精度，避免网络切片的频繁切换，提高系统稳定性，提升用户体验。
124.实施例四
125.本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于机器学习的5g网络切片容灾切换方法。
126.可执行指令具体可以用于使得处理器执行以下操作：
127.针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息；其中，所述第一类信息包括该切片实例当前的性能指标以及该切片实例当前对应的用户体验感知指标；所述第二类信息包括该切片实例当前对应的用户sla需求指标，以及当前容灾池中可用网络切片的配置信息；
128.将所述第一类信息作为状态数据，以及将所述第二类信息作为条件数据，并将所述状态数据以及所述条件数据输入至预先训练好的切片容灾切换模型中；
129.基于所述切片容灾切换模型的输出结果，确定与该切片实例对应的目标切换动作；
130.采用所述目标切换动作对该切片实例对应的网络切片进行切换管理。
131.在一种可选的实施方式中，所述目标切换动作包括：不切换，或者，切换至目标网络切片。
132.在一种可选的实施方式中，可执行指令具体可以用于使得处理器执行以下操作：
133.获取所述切片容灾切换模型输出的最优值函数；
134.将所述最优值函数对应的切换动作，确定为该切片实例对应的目标切换动作。
135.在一种可选的实施方式中，可执行指令具体可以用于使得处理器执行以下操作：
136.根据预设时间段内该切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标，生成回报值；其中，所述预设时间段的起始时间晚于切换至目标网络切片的时间；
137.将所述回报值反馈至所述切片容灾切换模型，以实现所述切片容灾切换模型的优化。
138.在一种可选的实施方式中，所述预先训练好的切片容灾切换模型通过以下方式训练获得：
139.构建切片容灾切换模型；其中，所述切片容灾切换模型的输入数据包括异构的多状态数据以及多条件数据；
140.针对于任一历史切片实例，获取该历史切片实例对应的样本数据；其中，该历史切片实例对应的样本数据包括：该历史切片实例在预设历史时段内的性能指标、该历史切片实例在预设历史时段内对应的用户体验感知指标、该历史切片实例在预设历史时段内对应的用户sla需求指标、预设历史时段内容灾池中可用网络切片的配置信息，以及该历史切片实例在预设历史时段内的历史切换动作；
141.利用多个历史切片实例对应的样本数据对构建的切片容灾切换模型进行模型训练，以获得训练好的切片容灾切换模型。
142.在一种可选的实施方式中，可执行指令具体可以用于使得处理器执行以下操作：
143.对所述样本数据进行标准化处理。
144.在一种可选的实施方式中，所述性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率；
145.和/或，所述用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值；
146.和/或，所述用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；
147.和/或，所述可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
148.由此可见，采用本方案，能够能够实时地、准确地确定出切片实例对应的网络切片的切换时机及切换对象，从而提升网络切换容灾切换精度，避免网络切片的频繁切换，提高系统稳定性，提升用户体验。
149.实施例五
150.图5示出了本发明实施例五提供的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
151.如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(communications interface)504、存储器(memory)506、以及通信总线508。
152.其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述用于基于机器学习的5g网络切片容灾切换方法实施例中的相关步骤。
153.具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
154.处理器502可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
155.存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
156.程序510具体可以用于使得处理器502执行以下操作：
157.针对于任一切片实例，获取该切片实例对应的的第一类信息以及第二类信息；其中，所述第一类信息包括该切片实例当前的性能指标以及该切片实例当前对应的用户体验感知指标；所述第二类信息包括该切片实例当前对应的用户sla需求指标，以及当前容灾池中可用网络切片的配置信息；
158.将所述第一类信息作为状态数据，以及将所述第二类信息作为条件数据，并将所述状态数据以及所述条件数据输入至预先训练好的切片容灾切换模型中；
159.基于所述切片容灾切换模型的输出结果，确定与该切片实例对应的目标切换动作；
160.采用所述目标切换动作对该切片实例对应的网络切片进行切换管理。
161.在一种可选的实施方式中，所述目标切换动作包括：不切换，或者，切换至目标网络切片。
162.在一种可选的实施方式中，程序510具体可以用于使得处理器502执行以下操作：
163.获取所述切片容灾切换模型输出的最优值函数；
164.将所述最优值函数对应的切换动作，确定为该切片实例对应的目标切换动作。
165.在一种可选的实施方式中，程序510具体可以用于使得处理器502执行以下操作：
166.根据预设时间段内该切片实例的性能指标，和/或预设时间段内该切片实例的对应的用户体验感知指标，生成回报值；其中，所述预设时间段的起始时间晚于切换至目标网络切片的时间；
167.将所述回报值反馈至所述切片容灾切换模型，以实现所述切片容灾切换模型的优化。
168.在一种可选的实施方式中，所述预先训练好的切片容灾切换模型通过以下方式训练获得：
169.构建切片容灾切换模型；其中，所述切片容灾切换模型的输入数据包括异构的多状态数据以及多条件数据；
170.针对于任一历史切片实例，获取该历史切片实例对应的样本数据；其中，该历史切片实例对应的样本数据包括：该历史切片实例在预设历史时段内的性能指标、该历史切片实例在预设历史时段内对应的用户体验感知指标、该历史切片实例在预设历史时段内对应的用户sla需求指标、预设历史时段内容灾池中可用网络切片的配置信息，以及该历史切片实例在预设历史时段内的历史切换动作；
171.利用多个历史切片实例对应的样本数据对构建的切片容灾切换模型进行模型训练，以获得训练好的切片容灾切换模型。
172.在一种可选的实施方式中，程序510具体可以用于使得处理器502执行以下操作：
173.对所述样本数据进行标准化处理。
174.在一种可选的实施方式中，所述性能指标包括以下指标中的至少一种：切片流量、业务请求数量、请求成功率、请求时延、吞吐率、丢包率、以及掉话率；
175.和/或，所述用户体验感知指标包括以下指标中的至少一种：视频卡顿次数、页面延时、业务mos值、以及qoe值；
176.和/或，所述用户sla需求指标包括以下指标中的至少一种：时延、吞吐率、丢包率、掉话率、可靠性、服务范围、用户规模、隔离性、安全性、接入方式、以及max tp/site；
177.和/或，所述可用网络切片的配置信息包括以下信息中的至少一种：保证切片无线资源、最大切片无线资源、每qos流的保证流比特率、最大流比特率、隔离性、以及安全性。
178.由此可见，采用本方案，能够能够实时地、准确地确定出切片实例对应的网络切片的切换时机及切换对象，从而提升网络切换容灾切换精度，避免网络切片的频繁切换，提高系统稳定性，提升用户体验。
179.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
180.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
181.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
182.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
183.此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
184.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
185.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。