网络优化方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及移动通信技术领域，具体而言，本技术涉及一种网络优化方法、装置、电子设备及计算机存储介质。


背景技术：

2.移动通信领域中已经开发了各种专家方法，并已经用于优化具有各种目标的无线网络来解决各种性能问题。这些专家方法包括用于无线资源管理(radio resource management，rrm)和自组织网络(self-organizing network，son)的方法。网络优化作为一个全局优化的过程，当对某一小区进行参数调整时，很可能会影响到其相邻小区的网络状态，因此，网络优化不仅要局部(或小区)最优，而且要全局(或相邻多小区)最优。
3.目前，已有的针对移动通信网络优化的方案有主要包括：(1)通过人工制定规则表的方式进行网络自优化，通过查询各种网络状态，并根据专家制定的规则表做出相应调整；然而，该方案的规则表无法覆盖所有可能情况，且规则表应用到不同设备上的优化效果良莠不齐。(2)基于迭代优化模型的方式进行网络优化，通过对基站天线的各项参数进行遍历，测试分析采集到的网络数据信息，以周边地区网络性能最大化为目标，对采集到的样本数据与天线参数的不同组合进行迭代寻优，最终得到最佳参数组合，实现优化目标；然而，该方案的优化模型无法覆盖所有可能情况，如果遇到未知状态，则无法进行优化处理，导致优化失败。


技术实现要素：

4.本技术实施例提供了一种网络优化方法、装置、电子设备及计算机存储介质，可以融合模仿神经网络和深度强化学习模型进行网络优化方法，为移动通信网络动态优化的感知决策提供了解决方案。具体技术方案如下：
5.根据本技术实施例的一个方面，提供了一种网络优化方法，该方法包括：
6.获取目标优化小区当前的网络参数数据；
7.基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略，其中，模仿神经网络是基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练生成的，深度强化学习模型是基于模仿神经网络生成的；
8.根据网络优化策略，优化目标优化小区的网络参数。
9.在一种可能的实现方式中，基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练，生成模仿神经网络，包括：
10.从网络参数调优经验数据集中筛选出训练样本数据集，训练样本数据集中的每个训练样本均包括状态数据和动作数据，状态数据是目标优化小区的小区状态si，动作数据是目标优化小区从小区状态si转移到下一个小区状态s
i 1
所执行的动作ai，i为自然数；
11.将训练样本数据集中的每个训练样本的状态数据作为预定神经网络的输入数据，
通过模仿学习算法对预定神经网络进行训练，直至预定网络网络的输出数据与每个训练样本的状态数据所对应的动作数据之间的误差满足预定条件。
12.在一种可能的实现方式中，网络参数调优经验数据集中的每个网络参数调优经验数据均是五元组数据，五元组数据包括目标优化小区的小区标识、目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态、目标优化小区从当前状态转移到下一状态所执行的动作以及执行该动作后获得的奖励值；
13.其中，从网络参数调优经验数据集中筛选出训练样本数据集，包括：
14.根据目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态以及使目标优化小区从当前小区状态转移到下一小区状态所执行的动作，从网络参数调优经验数据集中筛选出训练样本数据集。
15.在一种可能的实现方式中，深度强化学习模型包括第一神经网络和第二神经网络；其中，基于模仿神经网络生成深度强化学习模型，包括：
16.根据模仿神经网络的结构构建第一神经网络和第二神经网络，并将模仿神经网络的参数复制给第一神经网络和第二神经网络；
17.基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，来确定第一神经网络的目标参数值θ，并在循环迭代的过程中，通过以预定间隔将目标参数值θ复制给第二神经网络，来更新第二神经网络的参数值θ’。
18.在一种可能的实现方式中，基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，确定第一神经网络的目标参数，包括：
19.通过第一神经网络，确定出使目标优化小区从当前小区状态s转移到下一小区状态s’所执行的动作a，并根据该动作a，确定q估计值；
20.通过第二神经网络确定q现实值；
21.根据q现实值与q估计值之间的差值，确定第一神经网络的损失函数；
22.求解损失函数最小化时对应的参数值，并将该参数值确定为目标参数值θ。
23.在一种可能的实现方式中，基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略，包括：
24.基于网络参数数据和目标优化小区的网络优化指标，直接确定通过模仿神经网络生成网络优化策略，并当模仿神经网络生成的网络优化策略无法满足要求时，确定通过深度强化学习模型生成网络优化策略。
25.在一种可能的实现方式中，在根据网络优化策略，优化目标优化小区的网络参数之后，还包括：
26.获取目标优化小区的优化后的网络参数，并将优化后的网络参数更新至目标优化小区的网络参数调优经验数据集中。
27.根据本技术实施例的另一个方面，提供了一种网络优化装置，该装置包括：
28.获取模块，用于获取目标优化小区当前的网络参数数据；
29.处理模块，用于基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略，其中，模仿神经网络是基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进
行训练生成的，深度强化学习模型是基于模仿神经网络生成的；
30.优化模块，用于根据网络优化策略，优化目标优化小区的网络参数。
31.在一种可能的实现方式中，该处理模型还用于基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练，生成模仿神经网络，其中，具体用于：
32.从网络参数调优经验数据集中筛选出训练样本数据集，训练样本数据集中的每个训练样本均包括状态数据和动作数据，状态数据是目标优化小区的小区状态si，动作数据是目标优化小区从小区状态si转移到下一个小区状态s
i 1
所执行的动作ai，i为自然数；
33.将训练样本数据集中的每个训练样本的状态数据作为预定神经网络的输入数据，通过模仿学习算法对预定神经网络进行训练，直至预定网络网络的输出数据与每个训练样本的状态数据所对应的动作数据之间的误差满足预定条件。
34.在一种可能的实现方式中，网络参数调优经验数据集中的每个网络参数调优经验数据均是五元组数据，五元组数据包括目标优化小区的小区标识、目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态、目标优化小区从当前状态转移到下一状态所执行的动作以及执行该动作后获得的奖励值；
35.其中，该处理模块在从网络参数调优经验数据集中筛选出训练样本数据集时，用于：
36.根据目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态以及使目标优化小区从当前小区状态转移到下一小区状态所执行的动作，从网络参数调优经验数据集中筛选出训练样本数据集。
37.在一种可能的实现方式中，深度强化学习模型包括第一神经网络和第二神经网络；其中，该处理模块在基于模仿神经网络生成深度强化学习模型时，用于：
38.根据模仿神经网络的结构构建第一神经网络和第二神经网络，并将模仿神经网络的参数复制给第一神经网络和第二神经网络；
39.基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，来确定第一神经网络的目标参数值θ，并在循环迭代的过程中，通过以预定间隔将目标参数值θ复制给第二神经网络，来更新第二神经网络的参数值θ’。
40.在一种可能的实现方式中，处理模块在基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，确定第一神经网络的目标参数时，用于：
41.通过第一神经网络，确定出使目标优化小区从当前小区状态s转移到下一小区状态s’所执行的动作a，并根据该动作a，确定q估计值；
42.通过第二神经网络确定q现实值；
43.根据q现实值与q估计值之间的差值，确定第一神经网络的损失函数；
44.求解损失函数最小化时对应的参数值，并将该参数值确定为目标参数值θ。
45.在一种可能的实现方式中，处理模块还用于：
46.基于网络参数数据和目标优化小区的网络优化指标，直接确定通过模仿神经网络生成网络优化策略，并当模仿神经网络生成的网络优化策略无法满足要求时，确定通过深度强化学习模型生成网络优化策略。
47.在一种可能的实现方式中，该装置还包括更新模块，该更新模块用于：
48.获取目标优化小区的优化后的网络参数，并将优化后的网络参数更新至目标优化
小区的网络参数调优经验数据集中。
49.根据本技术实施例的另一个方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现上述的网络优化方法的步骤。
50.根据本技术实施例的再一个方面，提供了一种计算机可读存储介质，计算机程序被处理器执行时实现上述的网络优化方法的步骤。
51.根据本技术实施例的一个方面，提供了一种计算机程序产品，计算机程序被处理器执行时实现上述的网络优化方法的步骤。
52.本技术实施例提供的网络优化方法，不仅可以直接基于模仿神经网络进行网络参数的优化调整，从而可以充分利用现有的网络参数调优经验，也可以通过在模仿经验神经网络基础上构建的深度强化学习模型，来对网络参数进行优化调整，从而可以充分利用深度强化学习模型能够快速收敛的优势，有效避免探索过程对网络造成不良影响；通过融合模仿神经网络和深度强化学习模型，将深度学习和强化学习结合起来，实现了两者的优势互补，从而为移动通信网络动态优化的感知决策提供了解决方案。
附图说明
53.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
54.图1为本技术实施例提供的一种移动通信网络的示意图；
55.图2为本技术实施例提供的一种蜂窝网络的示意图；
56.图3为本技术实施例提供的强化学习的过程示意图；
57.图4为本技术实施例提供的一种网络优化方法的流程示意图；
58.图5为本技术实施例提供的网络优化的基本原理示意图；
59.图6为本技术实施例提供的融合模仿神经网络和深度强化学习模型的网络动态优化装置的示意图；
60.图7为本技术实施例提供的网络优化的过程示意图；
61.图8为本技术实施例提供的深度强化学习模型的实现过程示意图；
62.图9为本技术实施例提供的一种网络优化装置的结构示意图；
63.图10为本技术实施例提供的一种电子设备的结构示意。
具体实施方式
64.下面结合本技术中的附图描述本技术的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本技术实施例的技术方案的示例性描述，对本技术实施例的技术方案不构成限制。
65.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该
一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“a和/或b”指示实现为“a”，或者实现为“a”，或者实现为“a和b”。
66.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
67.先对本技术涉及的相关技术及名词进行介绍和解释：
68.图1示出了一个移动通信网络，移动通信网络包括具有覆盖区域(或小区)的基站、多个移动装置和回程网络。如图1所示，基站建立与移动装置的上行链路连接和下行链路连接，这些连接用于承载移动装置与基站之间的双向传输数据，上行链路连接和下行链路连接承载的数据可以包括在移动装置之间传输的数据，也包括通过回程网络向或从远程端传输的数据。
69.术语“基站”是指用于提供对网络的无线接入和任何组件或组件的集合，例如增强型基站、宏小区、毫微微小区、wi-fi接入点等，基站可以根据一个或多个无线通信协议提供无线接入，例如长期演进lte、先进型长期演进lte-a、高速分组接入hspa等
70.术语“移动装置”是指能够与基站建立无线连接和组件或组件的集合，例如用户设备(user equipment,ue)、移动站(mobile station,sta)等。
71.蜂窝网络是一个典型的移动通信网络，蜂窝网络可以包括形成多个互连小区的基站，通过基站的布置，蜂窝网络可以在较大的地理区域上提供无线通信覆盖，并且使得无线通信装置能够与网络中任何地理位置的其他无线通信装置进行通信。图2示出了一个提供小区覆盖的多个基站的蜂窝网络，每个小区代表一个地理区域，小区覆盖的区域可以彼此不重叠，也可以部分重叠。每个小区具有六边形形状，每个基站可以位于小区的中心位置，也可以位于小区六边形的一角，并且覆盖相邻的3个六边形小区(或三扇区小区)。蜂窝网络可以具有特定的布局或拓扑，该特定的布局或拓扑包括基站之间的相对距离及其天线彼此相对的角度方向。图2所示的蜂窝网络仅作为简单示例，在不同应用实施场景下可以具体变化。
72.网络优化技术可以应用于蜂窝网络，用于对蜂窝网络的一个或多个参数或性能指标进行调整，进而提高蜂窝网络的性能。例如，蜂窝网络优化可以包括针对覆盖、容量、减少干扰等的优化或针对其他关键性能指标kpi的调节和优化。蜂窝网络参数可以包括天线电子倾角、天线方位角、天线机械倾角以及发射功率等。
73.在蜂窝网络中，相邻小区可以互相影响，使得与一个小区关联基站的设置改变可能影响相邻小区的网络性能，例如覆盖和容量，改变一个基站的参数设置以提高其小区的覆盖和容量，可能产生对其相邻小区的干扰，并可能减少这些相邻小区的覆盖和容量，以及整个网络的覆盖和容量。增加蜂窝网络中的小区数量可以导致相邻小区的相互作用的数量、关系、以及潜在干扰呈指数增长。因此蜂窝网络不仅受到每个单独小区的影响，还受到小区之间的关系影响，蜂窝网络的优化需要考虑这些影响因素。
74.模仿学习(imitation learning)是一种从专家示例中进行学习的方法，是一种让智能体(机器人)像人类专家一样能够进行智能决策的方法。利用这些专家示例来教会智能体进行智能决策就是模仿学习主要解决的问题。另外通过模仿学习的方法也可以构建一个
虚拟世界，从而允许智能体在其中自由地试错和学习。以网络优化为例，这里的专家示例指的是由最优或次优策略采集到的状态-动作序列，解析现有的网络参数调优经验数据，状态是小区参数，动作是与此小区相关联的基站的参数，将网络参数调优数据输入给神经网络，训练神经网络后，输入某小区参数，即可输出经验最优的基站调整参数。
75.图3示出了一个强化学习(reinforcement learning，简称rl)过程，其中，智能体(agent)与环境(environment)之间的动态交互，当智能体感知到环境状态(state)信息后，依据自己采取动作(action)所可能带来的奖赏(reward)，确定下一步动作，并进一步观测环境的反应，循环往复，直至收敛至某一稳态目标。
76.强化学习包含由2个主体和3个交互数据构成的5要素，2个主体分别是智能体和环境，3个交互数据分别是状态、动作和奖赏。其中，
77.智能体：通过执行动作、获取状态值、得到奖励来与环境进行交互的决策者。
78.环境：除智能体外的任何外界事物。
79.状态：所有能够影响智能体做出下一个动作的数据都被认为是智能体状态。
80.动作：智能体与环境交互的媒介，必须对环境起到一定控制作用，即能改变未来所获得的奖励。
81.奖励：一个标量反馈，衡量了智能体在状态时做的有多好。
82.深度强化学习(deep reinforcement learning)是将深度学习和强化学习结合起来从而实现感知到动作的端到端学习的一种全新算法。简单来说，就是像人类一样感知输入信息，然后通过深度神经网络，直接输出动作。深度强化学习具备使智能体实现真正完全自主的学习一种或者多种技能的潜力。
83.移动通信网络的动态优化是一个感知决策问题，深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对状态空间和动作空间复杂的感知问题比较束手无策。本技术实施例提出的融合模仿学习和深度强化学习的网络优化方法将深度学习和强化学习结合起来，优势互补，为移动通信网络动态优化的感知决策提供了解决方案。
84.下面通过对几个示例性实施方式的描述，对本技术实施例的技术方案以及本技术的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
85.图4为本技术实施例提供的网络优化方法的流程示意图，如图4所示，该方法包括：步骤s410，获取目标优化小区当前的网络参数数据；步骤s420，基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略，其中，模仿神经网络是基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练生成的，深度强化学习模型是基于模仿神经网络生成的；步骤s430，根据网络优化策略，优化目标优化小区的网络参数。
86.在本技术实施例中，可以通过与目标优化小区交互，以预定时间间隔为周期，来周期性采集并解析目标优化小区当前的网络参数数据，该网络参数数据包括但不限于小区状态数据、网络环境数据等，小区状态数据(或记作小区状态)包括但不限于小区业务量、小区资源利用率、小区参考信号接收质量、小区接入成功率等；网络环境数据(或记作网络环境)
包括但不限于基站性能指标数据和配置数据(例如方位角、发射数据)等。
87.在获取到目标优化小区当前的网络参数数后，可以基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络生成目标优化小区的网络优化策略，或者确定通过深度强化学习模型生成目标优化小区的网络优化策略，以优化目标优化小区的网络参数。在实际应用中，可以将目标优化小区当前的网络参数数作为输入数据，输入至模仿神经网络或深度强化学习模型中，模仿神经网络或深度强化学习模型的输出数据即为目标优化小区的网络优化策略(也可记作网络优化动作)。
88.网络参数调优经验数据集用于指代专家经验数据、历史数据以及可以用于在训练预定神经网络时帮助选择动作的其他数据。网络参数调优经验数据集可以用于训练预定神经网络以优化无线网络。网络参数调优经验数据集的使用可以帮助加速预定神经网络的训练。
89.在实际应用中，可以通过与目标优化小区集交互，定时离线采集网络调优参数数据源，并对采集到的网络调优参数数据源进行解析，生成网络参数调优经验数据集；接着，在此网络参数调优经验数据集的基础上，对预定神经网络进行训练，生成模仿神经网络，以用于对目标优化小区的网络参数进行优化调整。
90.生成模仿神经网络后，可以在该模仿神经网络的基础上，构建深度强化学习模型，该深度强化学习模型通过与目标优化小区的现实网络进行有限次交互后，可以快速收敛至某一稳定状态，进而可以对目标优化小区网络参数进行优化调整。
91.本技术实施例提供的网络优化方法，不仅可以直接基于模仿神经网络进行网络参数的优化调整，从而可以充分利用现有的网络参数调优经验，也可以通过在模仿经验神经网络基础上构建的深度强化学习模型，来对网络参数进行优化调整，从而可以充分利用深度强化学习模型能够快速收敛的优势，有效避免探索过程对网络造成不良影响；通过融合模仿神经网络和深度强化学习模型，将深度学习和强化学习结合起来，实现了两者的优势互补，从而为移动通信网络动态优化的感知决策提供了解决方案。
92.本技术实施例的基本原理如图5所示。在对本技术实施例进行详细介绍前，先对本技术实施例的模仿神经网络和深度强化学习模型中可能涉及到的状态、动作的奖励，在网络优化场景中进行具体定义，如下所示：
93.状态，包括基站性能指标统计和从ue提供的测量报告获得信息，例如小区业务量、小区资源利用率、小区参考信号接收质量rsrq、小区接入成功率等。可以根据具体的网络优化目标，选取合适小区指标子集作为小区状态空间。
94.动作，使得小区由当前状态s
t
转移到下一状态s
t 1
所执行的动作。小区动作包括用于调节与小区相关联的基站的参数，例如：小区发射功率、天线方位角、天线下倾角、小区接入门限、小区切换门限等。可以根据具体的网络优化目标，选取合适小区参数子集作为小区动作空间。
95.奖励，通过网络优化目标来设计成本函数来计算奖励，当优化目标不只一个时，可在奖励函数涉及时同时考虑，并通过设置权重体现目标的重要性。例如针对覆盖和干扰对网络进行优化，可以设计成本函数为：fc＝((w*n1) (1-w)*n2)/n，其中，w是权重系数，取值范围为[0,1]，n1是从小区的rsrp大于等于rsrp阈值的ue接收的mr数量，n2是从小区的rsrq大于等于rsrq阈值的ue接收的mr数量，n＝n1 n2。(w*n1)部分用于将覆盖的权重反映到成
本函数中，(1-w)*n2部分用于将干扰的权重反映到成本函数中。
[0096]
在本技术实施例的一种可能的实现方式中，在基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略的过程中，可以执行如下处理：基于网络参数数据和目标优化小区的网络优化指标，直接确定通过模仿神经网络生成网络优化策略，并当模仿神经网络生成的网络优化策略无法满足要求时，确定通过深度强化学习模型生成网络优化策略。
[0097]
在一个示例中，可以根据目标优化小区的网络优化指标变化情况，智能选择模仿神经网络或深度强化学习模型生成网络优化策略。在实际应用中，基于经验优先和少量探索的策略原则，可以优先考虑应用模仿神经网络，以充分利用现有网络参数调优经验数据集；在这种情况下，可以将目标优化小区当前的网络参数数作为输入数据，输入至模仿神经网络中，模仿神经网络的输出即为目标优化小区的网络优化策略(或记作网络优化动作)。当模仿神经网络生成的网络优化效果无法满足优化需求时，触发深度强化学习模型生成下一周期的网络优化策略；在这种情况下，可以将目标优化小区当前的网络参数数作为输入数据，输入至深度强化学习模型中，深度强化学习模型的输出即为目标优化小区的网络优化策略(或记作网络优化动作)。
[0098]
在本技术实施例的一种可能的实现方式中，在根据网络优化策略，优化目标优化小区的网络参数之后，还可以获取目标优化小区的优化后的网络参数，并将优化后的网络参数更新至目标优化小区的网络参数调优经验数据集中。
[0099]
在实际应用中，在优化目标优化小区的过程中，可以以预定时间间隔为周期，周期性获取目标优化小区的优化后的网络参数，并将优化后的网络参数更新至目标优化小区的网络参数调优经验数据集中。比如，与目标优化小区进行交互，周期性采集并解析优化后的通信基站性能指标数据和配置数据等网络参数，并将其作为网络参数调优经验数据集的增量更新，即通过不断将目标优化小区的优化后的网络参数更新至网络参数调优经验数据集中，来对已有的网络参数调优经验数据进行增量更新，从而对模仿神经网络和深度强化学习模型的记忆存储进行增量更新，进一步加速模仿神经网络和深度强化学习模型与小区网络环境交互学习的迭代过程。
[0100]
换言之，随着网络参数调优经验数据源持续解析，网络参数调优经验数据集会产生增量更新，基于产生的增量更新数据集，可以对模仿神经网络和深度强化学习模型的存储记忆进行增量更新，一方面，可以使得新建智能体(例如深度强度学习模型等)获得全量网络参数调优经验，另一方面，可以使得已建智能体学习到增量更新的网络参数调优经验，可以进一步加速智能体学习过程，降低与环境交互学习的迭代次数。
[0101]
在本技术实施例的一种可能的实现方式中，基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练，生成模仿神经网络的过程中，可以执行如下处理：首先，从网络参数调优经验数据集中筛选出训练样本数据集，训练样本数据集中的每个训练样本均包括状态数据和动作数据，状态数据是目标优化小区的小区状态si，动作数据是目标优化小区从小区状态si转移到下一个小区状态s
i 1
所执行的动作ai，i为自然数；接着，将训练样本数据集中的每个训练样本的状态数据作为预定神经网络的输入数据，通过模仿学习算法对预定神经网络进行训练，直至预定网络网络的输出数据与每个训练样本的状态数据所对应的动作数据之间的误差满足预定条件。
[0102]
其中，网络参数调优经验数据集中的每个网络参数调优经验数据均是五元组数据，五元组数据包括目标优化小区的小区标识、目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态、目标优化小区从当前状态转移到下一状态所执行的动作以及执行该动作后获得的奖励值。
[0103]
在一个示例中，五元组数据可以为如下所示的具体数学标识：
[0104]
(ic，s
t
，s
t 1
，a
t
，r
t
)
[0105]
其中，ic表示小区标识，s
t
表示小区当前状态，s
t 1
表示小区下一状态，a
t
表示使得小区由当前状态s
t
转移到下一状态s
t 1
所执行的动作，r
t
表示对所采取的动作a
t
后获得的奖励。
[0106]
具体地，从网络参数调优经验数据集中筛选出训练样本数据集的过程，可以为：根据目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态以及使目标优化小区从当前小区状态转移到下一小区状态所执行的动作，从网络参数调优经验数据集中筛选出训练样本数据集。
[0107]
上述生成模仿神经网络的过程可以分为两个主要阶段，第一个阶段是构建模仿神经网络的学习数据集(即训练样本数据集)；第二个阶段是模仿神经网络的建模，即通过训练预定神经网络来模仿学习训练样本数据集，来生成网络优化策略。其中：
[0108]
在构建模仿神经网络的训练样本数据集之前，可以预先离线采集小区的网络参数调优经验数据源，通过对网络参数调优经验数据源进行解析提取，可以获得一个网络参数调优经验数据集。
[0109]
在建模仿神经网络的学习数据集的过程中，由于已经获得了网络参数调优经验数据集，且现有的网络参数调优经验数据集往往给出了从一个性能较差的当前小区状态si转移到性能达标的下一小区状态s
i 1
(即当前小区状态si的下一小区状态)，所需要执行的动作ai，i为自然数(即i为0或正整数)；因此，可以从网络参数调优经验数据集中抽取出从小区状态到经验最优动作的模仿神经网络训练样本数据集a＝{(si，ai)}。其中，(si，ai)代表一个训练样本数据，si是模仿神经网络的输入x，该si可以看作是训练样本数据包括的状态数据，ai是模仿神经网络的输出y，该ai可以看作是训练样本数据包括的动作数据。
[0110]
接着，将训练样本数据集(例如{(si，ai)})中的每个训练样本的状态数据(例如si)作为预定神经网络的输入数据，通过模仿学习算法对预定神经网络进行训练，直至预定网络网络的输出数据(例如ai)与每个训练样本的状态数据所对应的动作数据之间的误差满足预定条件，从而得到训练好的模仿神经网络。比如，在模仿神经网络建模的过程中，可以利用预定神经网络来学习网络调优经验数据集，其中，预定神经网络的输入是问题小区(即目标优化小区)的小区状态，输出是最优或次优的经验动作(即预定网络网络的输出数据与每个训练样本的状态数据所对应的动作数据之间的误差满足预定条件)，执行此最优或次优的经验动作可以使得问题小区网络性能达标。
[0111]
本技术实施例的方法，通过应用模仿学习算法，创建模仿神经网络，学习网络参数调优经验数据集，生成小区状态至最优经验动作的网络优化策略，此模仿神经网络将作为后续深度强化学习模型构建的基础。
[0112]
在本技术实施例的一种可能的实现方式中，深度强化学习模型包括第一神经网络和第二神经网络；其中，在基于模仿神经网络生成深度强化学习模型的过程中，可以执行如
下处理：首先，根据模仿神经网络的结构构建第一神经网络和第二神经网络，并将模仿神经网络的参数复制给第一神经网络和第二神经网络；接着，基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，来确定第一神经网络的目标参数值θ，并在循环迭代的过程中，通过以预定间隔将目标参数值θ复制给第二神经网络，来更新第二神经网络的参数值θ’。
[0113]
在一种可能的实现方式中，在基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，确定第一神经网络的目标参数的过程中，可以执行如下处理：首先，通过第一神经网络，确定出使目标优化小区从当前小区状态s转移到下一小区状态s’所执行的动作a，并根据该动作a，确定q估计值；接着，通过第二神经网络确定q现实值；
[0114]
根据q现实值与q估计值之间的差值，确定第一神经网络的损失函数；接着，求解损失函数最小化时对应的参数值，并将该参数值确定为目标参数值θ。
[0115]
在实际应用中，本技术实施例中使用dqn(deep q network)来生成深度强化学习模型。dqn(deep q-network)是将q-learning与深度学习相结合，用深度神经网络代表价值函数来预测q值，并通过不断更新神经网络从而学习到最优的行动路径。其中，q learning算法是一种value-based的强化学习算法，q是quality的缩写，q函数q(state，action)表示在状态state下执行动作action的quality，也就是能获得的q value是多少。
[0116]
dqn包含2个结构相同但参数不同的神经网络eval_net(即上述的第一神经网络)和target_net(即上述的第二神经网络)。其中，刚开始的时候eval_net神经网络和target_net神经网络的参数是相同的，参数相对固定的就是target_net，用来获取q目标值或现实值(q_target)；而另一个不断更新的网络用来获取q评估值或估计值(q_eval)，但每过n次动作后都会将eval_net神经网络的参数同步给target_net神经网络，所以称target_net是相对固定的。这样做的原因是因为，q_target和q_eval两者之间的差就是损失函数，训练dqn的目的就是要使两者的差不断缩小，所以需要将target相对固定住这样方便收敛。换言之，eval_net神经网络用来预测q估计值，eval_net神经网络的参数通过学习与环境交互的网络参数数据(包括状态、动作和奖励等)实时更新；target_net神经网络用来预测q现实值，target_net神经网络的参数更新是定期从eval_net神经网络中复制而来的。
[0117]
生成深度强化学习模型的过程包括深度强化学习模型的初始化和深度强化学习模型的循环迭代，其中：
[0118]
深度强化学习模型的初始化包括如下几个步骤：
[0119]
a)构建2个与模仿神经网络结构相同的神经网络eval_net和target_net，2个神经网络对应的参数分别为θ和θ
′
。
[0120]
b)复制模仿神经网络的参数给eval_net神经网络和target_net神经网络。
[0121]
c)确定超参数：学习率α、折扣因子γ、target_net参数更新周期、记忆存储大小等。
[0122]
深度强化学习模型的循环迭代包括如下几个步骤：
[0123]
a)获取当前小区状态s；
[0124]
b)根据当前小区状态s，选择动作a，可以通过eval_net选择动作a，其中，a＝argmaxaq(s,a；θ)，即通过第一神经网络eval_net，确定出使目标优化小区从当前小区状态s转移到下一小区状态s’所执行的动作a；
[0125]
c)执行动作a，作用到小区环境上(比如执行动作a来对目标优化小区的网络参数进行优化)，环境状态迁移到状态s’(比如目标优化小区从当前小区状态s转移到下一小区状态s’)，并反馈奖赏r；
[0126]
d)将上述交互过程产生的数据(s,a,r,s’)存储到记忆存储内；
[0127]
e)计算q估计值，其中，q估计值＝步骤b)中动作a对应的q值q(s,a)；
[0128]
f)计算q现实值，其通过第二神经网络target_net给出，其中，q现实值＝γ*maxa′
q(s
′
,a
′
；θ
′
) r；
[0129]
g)计算q差值，其中，q差值＝(q现实-q估计)，并使用q差值定义第一神经网络eval_net的损失函数loss；
[0130]
h)求解损失函数loss最小化时的第一神经网络eval_net的参数θ；
[0131]
i)每隔n步，通过复制第一神经网络eval_net的参数给第二神经网络target_net，来更新target_net的参数θ
′
；
[0132]
重复执行上述的步骤a)至步骤i步)，直至深度强化学习模型收敛。
[0133]
通过上述一系列内容的描述，可以看出，本技术实施例的网络优化方法实际上主要包括5个功能模块，如图6所示，各个功能模型具体如下：
[0134]
1)网络优化经验解析模块：与各个目标优化小区进行交互，定时离线采集网络参数调优数据源，解析现有的网络参数调优数据源，生成网络参数调优经验数据集；
[0135]
2)模仿学习模块：构建模仿神经网络，应用模仿学习算法，学习网络参数调优经验数据集，生成小区状态至最优经验动作的策略映射的模仿神经网络；
[0136]
3)深度强化学习模块：构建深度强化学习模型(亦称作深度强化学习智能体)，复制模仿神经网络结构和参数值，使得深度强化学习智能体获得已有网络参数调优经验，经过与现实网络环境进行有限次的交互后，可以快速收敛至某一稳定状态，进而可以基于深度强化学习智能体对网络参数进行优化调整；
[0137]
4)网络数据实时解析模块：与各个目标优化小区进行交互，周期性采集并解析通信基站性能指标数据和配置数据等网络参数，更新小区模仿学习模块和深度强化学习模块推理下一周期的网络优化策略所需的网络环境、小区状态等输入数据(即网络参数数据)。
[0138]
5)网络优化算法选择模块：根据目标优化小区的网络优化指标变化情况，智能选择模仿神经网络或者深度强化学习模型生成网络优化策略，其中，优先选择模仿神经网络生成网络参数优化策略，并向相应的网络优化执行设备下发网络优化策略，若网络优化指标没得到明显改善(即模仿神经网络生成的网络优化策略无法满足要求)，则选择深度强化学习模型，通过深度强化学习模型与目标优化小区进行有限次交互后，生成网络参数优化策略，并向相应的网络优化执行设备下发网络优化策略。
[0139]
本技术实施例的网络优化方法的具体执行流程可以如图7所示，包括如下处理步骤：
[0140]
1)离线数据采集模块包括网络参数调优数据源、网络参数调优数据集和网络参数调优数据增量更新三个部分，其通过离线采集网络参数调优经验数据源，并对网络参数调优经验数据源进行解析提取，可以获得一个网络参数调优数据集(即网络参数调优经验数据集)，数据集中每一个元素由一个5元组构成，每一个5元组数据包括：标识小区的小区标识(例如目标优化小区的小区标识)、小区当前状态(例如目标优化小区的当前小区状态)、
小区下一状态(例如目标优化小区的当前小区状态的下一小区状态)，使小区当前状态转移到下一状态的动作(例如使小区当前状态转移到下一状态的动作)，以及对所采取动作后获取的奖励值。具体数学标识如下所示：
[0141]
(ic，s
t
，s
t 1
，a
t
，r
t
)
[0142]
其中，ic表示小区标识，s
t
表示小区当前状态，s
t 1
表示小区下一状态，a
t
表示使得小区由当前状态s
t
转移到下一状态s
t 1
所执行的动作，r
t
表示对所采取的动作a
t
后获得的奖励。
[0143]
需要说明的是，上述的网络参数调优数据增量更新即为下面步骤9)所介绍的内容。
[0144]
2)目标小区状态及网络环境模块实时解析环境数据，即通过实时解析目标优化小区的小区状态数据和网络环境数据等，即获取目标优化小区当前的网络参数数据。
[0145]
3)网络优化算法选择模块，根据判决策略选择模仿神经网络或者深度强化学习模型生成优化动作(即生成网络优化策略)，其中，优先考虑应用模仿神经网络，充分利用现有的网络参数调优经验数据集，当模仿神经网络的优化效果无法满足优化需求时，触发深度强化学习模型生成下一周期的网络优化动作(即网络优化策略)，融合了模仿神经网络的深度强化学习模型可以快速收敛，避免探索过程中对网络造成不良影响。
[0146]
模仿学习模块包括模仿学习数据集、模仿神经网络构建和模仿学习推理应用(即模仿神经网络的推理应用)三部分，这三部分分别对应下述的步骤4)-步骤6)：
[0147]
4)模仿学习模块构建模仿神经网络的学习数据集(即训练样本数据集)，因为现有的网络参数调优经验数据集，直接给出了从一个性能较差的当前状态s
t
转移到性能达标的下一状态s
t 1
，所需要执行的动作a
t
，因此可以从网络参数调优经验数据集中抽取出状态到经验最优动作的模仿神经网络训练样本数据集a＝{(si，ai)}。其中，(si，ai)代表一个样本，si是模型神经网络的输入x，ai是模仿神经网络的输出y。
[0148]
5)构建模仿神经网络，即通过学习网络参数调优数据集来进行模仿神经网络的建模，其中，输入是问题小区状态，输出是最优或次优经验动作，执行此动作可使得问题小区网络性能达标。
[0149]
6)模仿神经网络的推理应用，通过应用模仿学习算法，创建模仿神经网络，来学习网络参数调优经验数据集，并生成小区状态至最优经验动作的策略映射，此模仿神经网络将作为后续深度强化学习智能体构建的基础。
[0150]
7)-8)：深度强化学习模型的具体描述，其中，本技术实施例使用dqn(deep q network)来学习深度强化学习智能体。dqn包含2个结构相同但参数不同的神经网络eval_net(即第一神经网络)和神经网络target_net(即第二神经网络)，其中，eval_net神经网络用来预测q估计值，eval_net的参数通过学习与环境交互的数据(状态、动作和奖励)实时更新；target_net神经网络用来预测q现实值，target_net的参数更新是定期从eval_net中复制而来的。
[0151]
其中，深度强化学习模型与小区环境、模仿神经网络、网络参数调优经验数据集交互的具体过程如图8所示，步骤7)-8)的深度强化学习模型的具体描述如下所示：
[0152]
7)深度强化学习模型的初始化，包括如下几个步骤：
[0153]
a)构建2个与模仿神经网络结构相同的神经网络eval_net和target_net，2个神经
网络对应的参数分别为θ和θ
′
。
[0154]
b)复制模仿神经网络的参数给eval_net神经网络。
[0155]
c)确定超参数：学习率α、折扣因子γ、target_net参数更新周期、记忆存储大小等。
[0156]
8)深度强化学习模型的循环迭代，包括如下几个步骤：
[0157]
a)获取当前小区状态s；
[0158]
b)根据当前小区状态s，选择动作a，可以通过eval_net选择动作a，其中，a＝argmaxaq(s,a；θ)，即通过第一神经网络eval_net，确定出使目标优化小区从当前小区状态s转移到下一小区状态s’所执行的动作a；
[0159]
c)执行动作a，作用到小区环境上(比如执行动作a来对目标优化小区的网络参数进行优化)，环境状态迁移到状态s’(比如目标优化小区从当前小区状态s转移到下一小区状态s’)，并反馈奖赏r；
[0160]
d)将上述交互过程产生的数据(s,a,r,s’)存储到记忆存储内；
[0161]
e)计算q估计值，其中，q估计值＝步骤b)中动作a对应的q值q(s,a)；
[0162]
f)计算q现实值，其通过第二神经网络target_net给出，其中，q现实值＝γ*maxa′
q(s
′
,a
′
；θ
′
) r；
[0163]
g)计算q差值，其中，q差值＝(q现实-q估计)，并使用q差值定义第一神经网络eval_net的损失函数loss；
[0164]
h)求解损失函数loss最小化时的第一神经网络eval_net的参数θ；
[0165]
i)每隔n步，通过复制第一神经网络eval_net的参数给第二神经网络target_net，来更新target_net的参数θ
′
；
[0166]
重复执行上述的步骤a)至步骤i步)，直至深度强化学习模型收敛。
[0167]
9)网络参数调优经验增量更新，随着网络参数调优经验数据源的持续解析，网络参数调优经验数据集会产生增量更新，基于产生的增量更新数据集，可以对模仿神经网络和深度强化学习模型的存储记忆进行增量更新，一方面，使得新建智能体获得全量网络参数调优经验，另一方面，使得已建智能体学习到增量更新的网络参数调优经验，可以进一步加速智能体学习过程，降低与环境交互学习的迭代次数。
[0168]
根据上述介绍可以看出，本技术实施例基于模仿学习获得的模仿神经网络，可以充分利用现有网络参数调优经验数据集；结合模仿神经网络的深度强化学习模型，可以快速收敛，避免探索过程中对网络造成不良影响；网络参数调优经验数据集的持续增量更新，驱动模仿神经网络和深度强化学习模型的数据集的增量更新学习，可以进一步加速深度强化学习模型的学习过程，减少与网络环境的交互迭代学习次数。另外，经训练的神经网络可以有助于减少用以根据优化目标调节无线网络的小区参数需要的迭代数量，还可以有助于实现无线网络的一次性优化，即，可能仅需要对网络参数调节一次(而非迭代地)从而实现优化目标。
[0169]
本技术实施例提供了一种网络优化装置，如图9所示，该网络容量预测装置900可以包括：获取模块901、处理模块902及优化模块903，其中，
[0170]
获取模块901，用于获取目标优化小区当前的网络参数数据；
[0171]
处理模块902，用于基于网络参数数据和目标优化小区的网络优化指标，根据预设
的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略，其中，模仿神经网络是基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练生成的，深度强化学习模型是基于模仿神经网络生成的；
[0172]
优化模块903，用于根据网络优化策略，优化目标优化小区的网络参数。
[0173]
在一种可能的实现方式中，该处理模型还用于基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练，生成模仿神经网络，其中，具体用于：
[0174]
从网络参数调优经验数据集中筛选出训练样本数据集，训练样本数据集中的每个训练样本均包括状态数据和动作数据，状态数据是目标优化小区的小区状态si，动作数据是目标优化小区从小区状态si转移到下一个小区状态s
i 1
所执行的动作ai，i为自然数；
[0175]
将训练样本数据集中的每个训练样本的状态数据作为预定神经网络的输入数据，通过模仿学习算法对预定神经网络进行训练，直至预定网络网络的输出数据与每个训练样本的状态数据所对应的动作数据之间的误差满足预定条件。
[0176]
在一种可能的实现方式中，网络参数调优经验数据集中的每个网络参数调优经验数据均是五元组数据，五元组数据包括目标优化小区的小区标识、目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态、目标优化小区从当前状态转移到下一状态所执行的动作以及执行该动作后获得的奖励值；
[0177]
其中，该处理模块在从网络参数调优经验数据集中筛选出训练样本数据集时，用于：
[0178]
根据目标优化小区的当前小区状态、目标优化小区的当前小区状态的下一小区状态以及使目标优化小区从当前小区状态转移到下一小区状态所执行的动作，从网络参数调优经验数据集中筛选出训练样本数据集。
[0179]
在一种可能的实现方式中，深度强化学习模型包括第一神经网络和第二神经网络；其中，该处理模块在基于模仿神经网络生成深度强化学习模型时，用于：
[0180]
根据模仿神经网络的结构构建第一神经网络和第二神经网络，并将模仿神经网络的参数复制给第一神经网络和第二神经网络；
[0181]
基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，来确定第一神经网络的目标参数值θ，并在循环迭代的过程中，通过以预定间隔将目标参数值θ复制给第二神经网络，来更新第二神经网络的参数值θ’。
[0182]
在一种可能的实现方式中，处理模块在基于获取到的目标优化小区的当前小区状态s，通过对第一神经网络进行循环迭代，确定第一神经网络的目标参数时，用于：
[0183]
通过第一神经网络，确定出使目标优化小区从当前小区状态s转移到下一小区状态s’所执行的动作a，并根据该动作a，确定q估计值；
[0184]
通过第二神经网络确定q现实值；
[0185]
根据q现实值与q估计值之间的差值，确定第一神经网络的损失函数；
[0186]
求解损失函数最小化时对应的参数值，并将该参数值确定为目标参数值θ。
[0187]
在一种可能的实现方式中，处理模块还用于：
[0188]
基于网络参数数据和目标优化小区的网络优化指标，直接确定通过模仿神经网络生成网络优化策略，并当模仿神经网络生成的网络优化策略无法满足要求时，确定通过深度强化学习模型生成网络优化策略。
[0189]
在一种可能的实现方式中，该装置还包括更新模块，该更新模块用于：
[0190]
获取目标优化小区的优化后的网络参数，并将优化后的网络参数更新至目标优化小区的网络参数调优经验数据集中。
[0191]
本技术实施例的网络优化装置可执行本技术上述实施例所示的网络优化方法，其实现原理相类似，本技术各实施例的装置中的各模块所执行的动作是与本技术各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
[0192]
本技术实施例的网络优化装置，不仅可以直接基于模仿神经网络进行网络参数的优化调整，从而可以充分利用现有的网络参数调优经验，也可以通过在模仿经验神经网络基础上构建的深度强化学习模型，来对网络参数进行优化调整，从而可以充分利用深度强化学习模型能够快速收敛的优势，有效避免探索过程对网络造成不良影响；通过融合模仿神经网络和深度强化学习模型，将深度学习和强化学习结合起来，实现了两者的优势互补，从而为移动通信网络动态优化的感知决策提供了解决方案。
[0193]
本技术实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现确定网络覆盖的方法的步骤，与现有技术相比可实现：获取目标优化小区当前的网络参数数据；接着，基于网络参数数据和目标优化小区的网络优化指标，根据预设的判决策略，确定通过模仿神经网络或深度强化学习模型，生成网络优化策略，其中，模仿神经网络是基于预先获取到的目标优化小区的网络参数调优经验数据集对预定神经网络进行训练生成的，深度强化学习模型是基于模仿神经网络生成的；接着，根据网络优化策略，优化目标优化小区的网络参数。该电子设备不仅可以直接基于模仿神经网络进行网络参数的优化调整，从而充分利用现有的网络参数调优经验，也可以通过在模仿经验神经网络基础上构建的深度强化学习模型，来对网络参数进行优化调整，从而可以充分利用深度强化学习模型能够快速收敛的优势，有效避免探索过程对网络造成不良影响；通过融合模仿神经网络和深度强化学习模型，将深度学习和强化学习结合起来，实现了两者的优势互补，从而为移动通信网络动态优化的感知决策提供了解决方案。
[0194]
在一个可选实施例中提供了一种电子设备，如图10所示，图10所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
[0195]
处理器4001可以是cpu(central processing unit，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0196]
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是pci
(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0197]
存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
[0198]
存储器4003用于存储执行本技术实施例的计算机程序，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序，以实现前述方法实施例所示的步骤。
[0199]
本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
[0200]
本技术实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
[0201]
应该理解的是，虽然本技术实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本技术实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本技术实施例对此不限制。
[0202]
以上所述仅是本技术部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术的方案技术构思的前提下，采用基于本技术技术思想的其他类似实施手段，同样属于本技术实施例的保护范畴。