城市轨道交通列车节能优化方法、装置、设备及存储介质与流程

1.本发明属于轨道交通技术领域，具体涉及一种城市轨道交通列车节能优化方法、装置、设备及存储介质。


背景技术：

2.强化学习(reinforcement learning)这一名词源于行为心理学，表示生物为了趋利避害而更频繁实施对自己有利的行为策略。强化学习是一类特定的机器学习问题，在一个强化学习系统中，智能体可以观察环境，并根据观测做出行动，在行动后，智能体能够获得一个奖励，并通过奖励不断地改进行动决策。强化学习的过程就是智能体通过与环境的交互来获得最大化奖励的过程。
3.现今时代，以地铁为代表的城市轨道交通系统，以其准时快捷、安全舒适的特性，已经成为居民日常出行的重要选择。但由于轨道交通系统总运量较大，其能源消耗问题一直有待解决。根据现有的城市轨道系统能耗数据显示，占比最大的是列车的牵引能耗。基于此，可以通过调整城轨列车的牵引力，来达到降低整个轨道交通系统运行能耗的目的。
4.因此，关于城市轨道交通列车的节能优化研究具有重要的现实意义，如申请号为201910827467.6的发明专利申请公开的一种基于强化学习的城轨列车节能运行策略在线优化方法，该方法采用深度q学习算法，结合多目标速度调整模型，对能耗模型进行求解，达到列车的节能运行策略。但该方法采用q-learning算法，由于q网络的参数在频繁更新梯度的同时，又用于计算q网络和策略网络的梯度，因此学习过程很不稳定。


技术实现要素：

5.本发明旨在提供一种城市轨道交通列车节能优化方法、装置、设备及存储介质，以保证列车节能优化的稳定性和效率。
6.本发明通过以下技术手段实现解决上述技术问题的：
7.一方面，本发明实施例采用一种城市轨道交通列车节能优化方法，采用行车能耗ddpg模型进行行车策略选择，所述方法包括如下步骤：
8.s10、获取当前时刻所述列车运行环境下的状态信息和奖励值，所述奖励值采用奖励函数计算得到，所述奖励函数包括所述ddpg模型中的第一奖励函数和所述列车行车过程中牵引力所做功与行车准点结合的第二奖励函数；
9.s20、基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车以使所述列车下一时刻按照所述运行动作行车；
10.s30、将下一时刻确定为当前时刻，重复执行步骤s10～s20。
11.通过采用行车能耗模型获取当前时刻列车运行环境下的状态信息和奖励值，其中生成奖励值得奖励函数包括ddpg模型中的第一奖励函数和列车行车过程中牵引力所做功与行车准点结合的第二奖励函数，模型基于列车运行环境下状态信息和奖励值，选择运行动作下发至列车的安全系统以使列车下一时刻按照运行动作行车，将下一时刻确定为当前
时刻，利用行车能耗模型实时获取列车在行车过程中反馈的列车运行环境下的状态信息和奖励值。列车每执行一次运行动作，环境都会立刻反馈一个状态信息和奖励值，指导之后的操纵序列，以进行行车策略的更新与优化，最终获得一个收敛的理想的列车行车策略，达到节约能耗的目的。
12.进一步地，所述奖励函数的公式表示为：
13.r
β
(s)＝ωr(s) (1-ω)j(s)
14.其中，j(s)为所述ddpg模型中的奖励函数，r(s)为根据所述列车行车过程中牵引力所做功与行车准点结合的奖励函数，ω为占比，取值为0-1，r(s)＝α1(∫fvdt) α2(∑t-t0)，α1 v2＝1，∫fvdt为所述牵引力所做功，f是所述牵引力，v是所述列车行车速度，∑t-t0为所述列车行车时间偏差，t是实际行车时间，t0是列车运行区段运行时刻表中的时间。
15.进一步地，在基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车时，还包括：
16.引入随机噪声，将所述行车策略转换为随机过程，随机采样得到所述运行动作。
17.进一步地，在所述列车接收到所述运行动作时，还包括：
18.根据行车区段的限速图判断所述运行动作是否时危险动作；
19.若是，则发送动作请求指令以重新选择所述运行动作；
20.若否，则执行所述运行动作。
21.进一步地，所述行车能耗ddpg模型包括critic网络和actor网络，所述critic网络包括online策略网络和target策略网络，所述actor网络包括online q网络和target q网络，所述获取当前时刻所述列车运行环境下的状态信息和奖励值时，还包括：
22.所述critic网络将所述状态信息和所述奖励值变换为状态转换数据，并标记状态转换数据的优先级，其中，所述优先级按照所述奖励值的大小从高到低标记；
23.将标记优先级后的所述状态转换数据存储至重放内存缓冲区；
24.按照所述优先级的顺序，从所述重放内存缓冲区内抽取数据，以用于对所述critic网络和所述actor网络进行训练。
25.进一步地，所述方法还包括：
26.采用随机梯度下降法更新所述online q网络和所述online策略网络的参数；
27.采用soft update算法更新所述target网络和所述target策略网络的参数。
28.第二方面，本发明实施例提供一种城市轨道交通列车节能优化装置，采用行车能耗ddpg模型进行行车策略选择，所述装置包括：
29.获取模块，用于获取当前时刻所述列车运行环境下的状态信息和奖励值，所述奖励值采用奖励函数计算得到，所述奖励函数包括所述ddpg模型中的第一奖励函数和所述列车行车过程中牵引力所做功与行车准点结合的第二奖励函数；
30.决策模块，用于基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车以使所述列车下一时刻按照所述运行动作行车；
31.交互反馈模块，用于将下一时刻确定为当前时刻，执行所述获取模块动作。
32.进一步地，所述奖励函数的公式表示为：
33.r
β
(s)＝ωr(s) (1-ω)j(s)
34.其中，j(s)为所述ddpg模型中的奖励函数，r(s)为根据所述列车行车过程中牵引
力所做功与行车准点结合的奖励函数，ω为占比，取值为0-1，r(s)＝α1(∫fvdt) α2(∑t-t0)，α1 α2＝1，∫fvdt为所述牵引力所做功，f是所述牵引力，v是所述列车行车速度，∑t-t0为所述列车行车时间偏差，t是实际行车时间，t0是列车运行区段运行时刻表中的时间。
35.第三方面，本发明实施例提供了一种城市轨道交通列车节能优化设备，所述设备包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上所述的方法。
36.第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
37.本发明的优点在于：
38.(1)本发明通过采用行车能耗模型获取当前时刻列车运行环境下的状态信息和奖励值，其中生成奖励值得奖励函数包括ddpg模型中的第一奖励函数和列车行车过程中牵引力所做功与行车准点结合的第二奖励函数，通过将强化学习ddpg算法融入进城市轨道列车模型，列车每执行一次运行动作，环境都会立刻反馈一个状态信息和奖励值，指导之后的操纵序列，以进行行车策略的更新与优化，最终获得一个收敛的理想的列车行车策略，达到节约能耗的目的。
39.(2)在进行列车行车策略选择时，为action的决策机制引入随机噪声，将action的决策从确定性过程变为一个随机过程，再从这个随机过程中采样得到运行动作。通过将原先的确定性的定式选择运行动作转换为随机性的选择，可全面探索所有的运行动作。
40.(3)列车安全系统在接收到模型输出的运行动作时，根据区段的限速图评估策略的安全性，对超过限速的行车策略拒绝执行并进行惩罚，同时发送动作请求指令至决策系统以要求决策系统重新选择运行动作保障行车安全。
41.(4)在重放内存缓冲区(即经验池)中将每次学习的经验保存下来，并标记经验的优先级。不再对经验池中的样本进行随机抽取，而是根据优先级挑选样本训练。对于危害行车安全的操作将其优先级降到最低，对于准点到达但能耗并未降到最低的样本设置最高优先级，选择优先级高的样本进行优先训练，通过对于经验池样本的抽取遵循优先级原则，避免了无效样本的干扰，加强了对有潜力样本的学习，可以提高系统的学习效率和收敛速度。
42.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
43.下面结合附图，对本发明的具体实施方式进行详细描述：
44.图1是本发明实施例的城市轨道交通列车节能优化方法的流程图；
45.图2是本发明实施例的城市轨道交通列车节能优化的原理框图；
46.图3是本发明中ddpg模型的结构图；
47.图4是本发明实施例的城市轨道交通列车节能优化装置的结构图。
具体实施方式
48.为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
49.如图1所示，本实施例公开了一种城市轨道交通列车节能优化方法，采用行车能耗ddpg模型进行行车策略选择，所述方法包括如下步骤：
50.s10、获取当前时刻所述列车运行环境下的状态信息和奖励值，所述奖励值采用奖励函数计算得到，所述奖励函数包括所述ddpg模型中的第一奖励函数和所述列车行车过程中牵引力所做功与行车准点结合的第二奖励函数；
51.s20、基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车以使所述列车下一时刻按照所述运行动作行车；
52.s30、将下一时刻确定为当前时刻，重复执行步骤s10～s20。
53.需要说明的是，本发明通过采用行车能耗模型获取当前时刻列车运行环境下的状态信息和奖励值，其中生成奖励值得奖励函数包括ddpg模型中的第一奖励函数和列车行车过程中牵引力所做功与行车准点结合的第二奖励函数，通过将强化学习ddpg算法融入进城市轨道列车模型，列车每执行一次运行动作，环境都会立刻反馈一个状态信息和奖励值，指导之后的操纵序列，以进行行车策略的更新与优化，最终获得一个收敛的理想的列车行车策略，达到节约能耗的目的。
54.需要说明的是，ddpg算法(deep deterministic policy gradient)是将深度学习神经网络融合进dpg的策略学习方法，ddpg算法是一种离线的无环境模型算法，其使用了深度神经网络用于逼近值函数，ddpg可以用来解决连续动作空间问题。
55.如图3所示，ddpg算法包含actor-critic框架，分为critic网络和actor网络。critic网络使用神经网络近似值函数，输入动作action和观察observation(a,s)，输出q(s,a)。actor网络使用神经网络近似策略函数，输入观察observation(s)，输出action(a)。
56.ddpg算法可根据奖励reward更新critic网络，沿着critic建议的方向更新actor网络，训练出理想的actor网络，最终得到满意的列车运行策略。
57.需要说明的是，本实施例将强化学习ddpg算法融合进城市轨道列车模型，通过算法训练列车的运行策略，以达到节能优化的效果。
58.在一些实施例中，所述奖励函数的公式表示为：
59.r
β
(s)＝ωr(s) (1-ω)j(s)
60.其中，j(s)为所述ddpg模型中的奖励函数，r(s)为根据所述列车行车过程中牵引力所做功与行车准点结合的奖励函数，ω为占比，取值为0-1，r(s)＝α1(∫fvdt) α2(∑t-t0)，α1 α2＝1，∫fvdt为所述牵引力所做功，f是所述牵引力，v是所述列车行车速度，∑t-t0为所述列车行车时间偏差，t是实际行车时间，t0是列车运行区段运行时刻表中的时间。
61.需要说明的是，根据列车的区段运行时刻表和列车行车能耗公式，在列车行车过程中可以实时监督列车的运行情况是否满足时刻表的准点要求，以及能量的消耗情况。列车运行时刻的能耗可以表示为列车牵引力所做的功，本实施例将节约能量损耗作为目标，在不影响列车准点到达的情况下，尽可能的依靠改变行车策略达到降低能耗的目的。根据列车能耗模型，将行车过程中的牵引力做功代入ddpg算法的奖励函数，与原ddpg算法的奖励函数共同构成一个新的奖励函数，算法会沿着节约能源的方向不断改进，最终获得一个收敛的理想的列车行车策略。
62.相比较于强化学习领域中经常使用的q-learning、dqn算法，由于q网络的参数在频繁更新梯度的同时，又同时用于计算q网络和策略网络的梯度，因此学习过程很不稳定。
本发明实施例所使用的ddpg算法分别为策略网络、q网络各创建了两个神经网络拷贝，保证算法学习的稳定性和效率，使结果更容易达到收敛，同时十分适合解决有较大动作空间且连续的行车优化问题。
63.在一些实施例中，在基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车时，还包括：
64.引入随机噪声，将所述行车策略转换为随机过程，随机采样得到所述运行动作。
65.需要说明的是，在进行列车行车策略选择时，为action的决策机制引入随机噪声，将action的决策从确定性过程变为一个随机过程，再从这个随机过程中采样得到运行动作a
t
。通过将原先的确定性的定式选择运行动作转换为随机性的选择，可全面探索所有的运行动作。
66.在一些实施例中，如图2所示，在所述列车接收到所述运行动作时，还包括：
67.根据行车区段的限速图判断所述运行动作是否时危险动作；
68.若是，则发送动作请求指令以重新选择所述运行动作；
69.若否，则执行所述运行动作。
70.具体来说，本实施例在接收行车策略时，首先利用列车安全系统的判断机制，将训练的列车操纵序列绘制出速度-时间图像，对比行车区段的限速-路程图，筛选掉一些不符合要求的结果，即通过上一时刻的状态加上当前时刻的动作选择，计算出行车的速度，将行车的速度与行车区段的限速比较，在行车速度大于区段限速时，确定构成危险行车，需要重新选择运行动作，以避免危险行车，提高训练效果，同时对不符合安全规范的列车操纵序列设置较大的惩罚值。
71.需要说明的是，列车安全系统在接收到模型输出的运行动作时，根据区段的限速图评估策略的安全性，对超过限速的行车策略拒绝执行并进行惩罚，同时发送动作请求指令至决策系统以要求决策系统重新选择运行动作保障行车安全。
72.在一些实施例中，环境执行动作a
t
后，返回奖励值reward和新的环境运行状态s
t 1
，通过actor网络中的online策略网络将其转换为状态转换数据(s
t
,a
t
,r
t
,s
t 1
)，存入重放内存缓冲区replay memory buffer中，作为训练online网络的数据集，其中，s
t
,a
t
,r
t
,s
t 1
分别是区段状态、执行的动作、奖励值和下一区段的状态。
73.在一些实施例中，所述方法还包括：
74.标记状态转换数据的优先级，其中，所述优先级按照所述奖励值的大小从高到低标记；
75.将标记优先级后的所述状态转换数据存储至重放内存缓冲区；
76.按照所述优先级的顺序，从所述重放内存缓冲区内抽取数据，以用于对所述critic网络和所述actor网络进行训练。
77.需要说明的是，本实施例中对状态转换数据进行优先级标记，并存入重放内存缓冲区，对于危害行车安全的操作将其优先级降到最低，对于准点到达但能耗并未降到最低的样本设置最高优先级，形成从上到下优先级递减的sum-tree结构。
78.从重放内存缓冲区中，按照优先级顺序抽取数据，作为target策略网络、online策略网络、targetq网络和online q网络的小规模数据训练集，单个训练数据集表示为(s
t
,a
t
,r
t
,s
t 1
)，s
t
,a
t
,r
t
,s
t 1
分别表示t时刻列车的状态、采取的动作、获得的奖励函数值以及下
一段的状态。
79.需要说明的是，在重放内存缓冲区(即经验池)中将每次学习的经验保存下来，并标记经验的优先级。不再对经验池中的样本进行随机抽取，而是根据优先级挑选样本训练。对于危害行车安全的操作将其优先级降到最低，对于准点到达但能耗并未降到最低的样本设置最高优先级，选择优先级高的样本进行优先训练，通过对于经验池样本的抽取遵循优先级原则，避免了无效样本的干扰，加强了对有潜力样本的学习，可以提高系统的学习效率和收敛速度。
80.在一些实施例中，所述方法还包括：
81.采用随机梯度下降法更新所述online q网络和所述online策略网络的参数；
82.采用soft update算法更新所述target网络和所述target策略网络的参数。
83.如图4所示，本发明第二实施例还提出一种城市轨道交通列车节能优化装置，采用行车能耗ddpg模型进行行车策略选择，所述装置包括：
84.获取模块10，用于获取当前时刻所述列车运行环境下的状态信息和奖励值，所述奖励值采用奖励函数计算得到，所述奖励函数包括所述ddpg模型中的第一奖励函数和所述列车行车过程中牵引力所做功与行车准点结合的第二奖励函数；
85.决策模块20，用于基于所述列车运行环境下状态信息和奖励值，选择运行动作下发至所述列车以使所述列车下一时刻按照所述运行动作行车；
86.交互反馈模块30，用于将下一时刻确定为当前时刻，执行所述获取模块动作。
87.需要说明的是，本实施例中列车每执行一次运行动作，环境都会立刻反馈一个状态信息和奖励值，指导之后的操纵序列，以进行行车策略的更新与优化，最终获得一个收敛的理想的列车行车策略，达到节约能耗的目的。
88.在一些实施例中，所述列车能耗模型采用ddpg模型。
89.需要说明的是，ddpg算法(deep deterministic policy gradient)是将深度学习神经网络融合进dpg的策略学习方法，ddpg算法是一种离线的无环境模型算法，其使用了深度神经网络用于逼近值函数，ddpg可以用来解决连续动作空间问题。
90.需要说明的是，本实施例将强化学习ddpg算法融合进城市轨道列车模型，通过算法训练列车的运行策略，以达到节能优化的效果。
91.在一些实施例中，所述奖励函数的公式表示为：
92.r
β
(s)＝ωr(s) (1-ω)j(s)
93.其中，j(s)为所述ddpg模型中的奖励函数，r(s)为根据所述列车行车过程中牵引力所做功与行车准点结合的奖励函数，ω为占比，取值为0-1，r(s)＝α1(∫fvdt) α2(∑t-t0)，α1 α2＝1，∫fvdt为所述牵引力所做功，f是所述牵引力，v是所述列车行车速度，∑t-t0为所述列车行车时间偏差，t是实际行车时间，t0是列车运行区段运行时刻表中的时间。
94.需要说明的是，根据列车的区段运行时刻表和列车行车能耗公式，在列车行车过程中可以实时监督列车的运行情况是否满足时刻表的准点要求，以及能量的消耗情况。列车运行时刻的能耗可以表示为列车牵引力所做的功，本实施例将节约能量损耗作为目标，在不影响列车准点到达的情况下，尽可能的依靠改变行车策略达到降低能耗的目的。根据列车能耗模型，将行车过程中的牵引力做功代入ddpg算法的奖励函数，与原ddpg算法的奖励函数共同构成一个新的奖励函数，算法会沿着节约能源的方向不断改进，最终获得一个
收敛的理想的列车行车策略。
95.相比较于强化学习领域中经常使用的q-learning、dqn算法，由于q网络的参数在频繁更新梯度的同时，又同时用于计算q网络和策略网络的梯度，因此学习过程很不稳定。本发明实施例所使用的ddpg算法分别为策略网络、q网络各创建了两个神经网络拷贝，保证算法学习的稳定性和效率，使结果更容易达到收敛，同时十分适合解决有较大动作空间且连续的行车优化问题。
96.在一些实施例中，决策模块20，还包括：
97.噪声引入单元，用于引入随机噪声，将所述行车策略转换为随机过程，随机采样得到所述运行动作。
98.需要说明的是，在进行列车行车策略选择时，为action的决策机制引入随机噪声，将action的决策从确定性过程变为一个随机过程，再从这个随机过程中采样得到运行动作a
t
。通过将原先的确定性的定式选择运行动作转换为随机性的选择，可全面探索所有的运行动作。
99.在一些实施例中，增加列车安全系统，用于接收决策模块输出的行车策略，安全系统用于：
100.根据行车区段的限速图判断所述运行动作是否时危险动作；
101.若是，则发送动作请求指令以重新选择所述运行动作；
102.若否，则执行所述运行动作。
103.具体来说，本实施例在接收行车策略时，首先利用列车安全系统的判断机制，将训练的列车操纵序列绘制出速度-时间图像，对比行车区段的限速-路程图，筛选掉一些不符合要求的结果，避免危险行车，提高训练效果，同时对不符合安全规范的列车操纵序列设置较大的惩罚值。需要说明的是，列车安全系统在接收到模型输出的运行动作时，根据区段的限速图评估策略的安全性，对超过限速的行车策略拒绝执行并进行惩罚，同时发送动作请求指令至决策系统以要求决策系统重新选择运行动作保障行车安全。
104.在一些实施例中，环境执行动作a
t
后，返回奖励值reward和新的环境运行状态s
t 1
，通过actor网络中的online策略网络将其转换为状态转换数据(s
t
,a
t
,r
t
,s
t 1
)，存入重放内存缓冲区replay memory buffer中，作为训练online网络的数据集，其中，s
t
,a
t
,r
t
,s
t 1
分别是区段状态、执行的动作、奖励值和下一区段的状态。
105.在一些实施例中，所述决策模块20，还包括：
106.优先级标记单元，用于标记状态转换数据的优先级，其中，所述优先级按照所述奖励值的大小从高到低标记；
107.存储单元，用于将标记优先级后的所述状态转换数据存储至重放内存缓冲区；
108.抽取单元，用于按照所述优先级的顺序，从所述重放内存缓冲区内抽取数据，以用于对所述critic网络和所述actor网络进行训练。
109.需要说明的是，本实施例中对状态转换数据进行优先级标记，并存入重放内存缓冲区，对于危害行车安全的操作将其优先级降到最低，对于准点到达但能耗并未降到最低的样本设置最高优先级，形成从上到下优先级递减的sum-tree结构。
110.从重放内存缓冲区中，按照优先级顺序抽取数据，作为target策略网络、online策略网络、targetq网络和online q网络的小规模数据训练集，单个训练数据集表示为(s
t
,a
t
,rt
,s
t 1
)，s
t
,a
t
,r
t
,s
t 1
分别表示t时刻列车的状态、采取的动作、获得的奖励函数值以及下一段的状态。
111.需要说明的是，在重放内存缓冲区(即经验池)中将每次学习的经验保存下来，并标记经验的优先级。不再对经验池中的样本进行随机抽取，而是根据优先级挑选样本训练。对于危害行车安全的操作将其优先级降到最低，对于准点到达但能耗并未降到最低的样本设置最高优先级，选择优先级高的样本进行优先训练，通过对于经验池样本的抽取遵循优先级原则，避免了无效样本的干扰，加强了对有潜力样本的学习，可以提高系统的学习效率和收敛速度。
112.此外，本发明第三实施例还公开了一种双重最相关推荐设备，所述设备包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上实施例所述的方法。
113.此外，本发明第四实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上实施例所述的方法。
114.需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
115.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
116.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
117.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
118.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。