一种基于时空关系抽取的区域交通状况集成预测方法

1.本发明涉及交通预测技术领域，更具体地，涉及一种基于时空关系抽取的区域交通状况集成预测方法。


背景技术：

2.目前，智能交通系统在城市生活中发挥了重要作用，提高了出行效率。交通流预测是智能交通的重要组成部分，可以帮助交通管理人员提前了解交通信息变化，从而制定相应的控制策略。此外，对于出行者来说，可以根据预测结果制定合理的出行计划。行驶和停车都属于车辆的状态，因此，交通预测应该包括道路交通预测和停车状况预测。道路交通和停车饱和度都对整体交通有影响，它们共同决定了一个区域的交通状况。当前几乎所有的交通预测都将道路交通流预测和停车情况预测分开考虑。然而，道路交通流和停车情况密切相关，尤其是在一些热门的兴趣点附近，如医院、景区、大型商场等。一方面，巨大的交通流量给停车场带来了压力。例如，在节假日期间，一些景点的停车场全部饱和。另一方面，有限的停车位导致车辆在道路上低速巡航。据调查，寻找停车场或停车位造成的无效交通流量占城市道路交通流量的15％。此外，研究表明，30％的城市交通拥堵是由于寻找空车位的车辆造成的。这些车辆经常低速行驶，造成交通堵塞。因此，道路交通与停车状况之间有着密不可分的联系，如果分开预测，就不能完全掌握交通特征。
3.在已有研究中，无论是交通流预测还是停车场的车位占用预测都可以大致分为两类。一类是基于单一时间序列的预测模型，另一类是基于多因素影响的预测模型。基于单一时间序列的模型只利用预测目标的历史数据，例如早期预测采用的是基于统计学的模型，但是这种方法抗干扰能力低，预测结果不精准。
4.近年来，由于深度学习模型有强大的特征提取能力和样本空间拟合能力，很多学者开始基于深度学习模型开展交通流和停车位占用预测方法研究，只要有足够的历史数据就能预测下一时刻的交通流和停车状况，总体来说预测效果相比早期模型有所提升。基于多因素影响的预测模型除了利用预测目标的历史数据外，还会考虑其他因素对预测目标的影响。例如，在预测交通流时会考虑天气、空气质量的影响，在预测停车占用时会考虑交通速度、收费、节假日的影响。总体上，目前这类技术方案占比较少，所研究的影响因素也有限。尽管有些预测模型会考虑外部因素影响，但依然属于单任务模型，某些因素之间的相互影响并未得到充分利用。而如上所述道路交通和停车状况是相互影响、密切相关的。
5.综上，现有的交通流预测和停车情况预测或者各自独立预测，二者仅仅构成一种单向影响，忽略了两种交通活动之间的相互作用关系。并且，目前并没有明确的方法量化交通流和停车状况之间的时空关系。此外，现有神经网络在空间特征融合的方法上大多采用拼接的方式，但是拼接后的特征维度增加，变成了高维空间内的稀疏矩阵，训练模型时难以找寻梯度。而且如果两个有某种关联的矩阵拼接起来作为新的特征表示必定会存在信息冗余。


技术实现要素：

6.本发明的目的是克服上述现有技术的缺陷，提供一种基于时空关系抽取的区域交通状况集成预测方法，能够实现交通流与停车状况的集成预测，并提升了预测精度。
7.本发明的技术方案是：提供一种基于时空关系抽取的区域交通状况集成预测方法，包括以下步骤：
8.针对目标区域，构建道路的路网拓扑图和停车场的停车场拓扑图，其中，对于路网拓扑图，将道路作为图节点，节点之间的连接规则遵循道路的自然连接规则，每条路上的平均车速信息作为节点的特征，对于停车场拓扑图中，将停车场作为节点，采用最短路径法作为节点的连接规则，将停车场车位占用数量作为节点特征；
9.基于所述路网拓扑图和所述停车场拓扑图，利用构建的多任务模型架构获得路网中各条道路的平均车速预测结果以及停车场网络中各个停车场车位占用的预测结果，其中所述多任务模型架构包括时空抽取网络、异构图神经网络和时间序列模型。
10.与现有技术相比，本发明的优点在于，以路上车辆的平均速度和停车场内车位占用数分别作为道路交通流和停车情况的指标，建立多任务预测模型，集成预测区域交通情况，实现了基于时空关系抽取的区域交通状况集成预测。相对现有的单任务预测模型在预测过程交通流和停车不会产生相互作用关系，本发明同步预测一个区域内的交通状况，包括道路交通状况和停车状况，所提供的集成模型有着更宽阔的视野。此外，本发明根据交通流和停车之间的时空关系进行空间特征融合，不仅量化了二者之间的相关性，还进一步优化了模型，显著提升了区域交通状况的预测效果。
11.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
12.被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
13.图1是根据本发明一个实施例的基于时空关系抽取的区域交通状况集成预测方法的流程图；
14.图2是根据本发明一个实施例的深圳市罗湖区某一片区的道路和停车场可视化图；
15.图3是根据本发明一个实施例的路网拓扑图和停车场网络拓扑图；
16.图4是根据本发明一个实施例的时空关系抽取网络示意图；
17.图5是根据本发明一个实施例的空间特征提取及融合模型示意图；
18.图6是根据本发明一个实施例的集成预测模型结构示意图；
19.图7是根据本发明一个实施例的实验场景示意图；
20.图8是根据本发明一个实施例的万象街一天中的平均车速预测结果示意图；
21.图9是根据本发明一个实施例的华润万象城停车场一天中的车位占用数量预测结果示意图；
22.图10是根据本发明一个实施例的多任务集成预测模型和单任务预测模型一天中的精度对比示意图；
23.图11是根据本发明一个实施例的真实数据和预测数据关于道路交通和停车的互信息的对比示意图；
24.图12是根据本发明一个实施例的精度随道路交通和停车之间的互信息的变化示意图。
具体实施方式
25.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
26.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
27.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
28.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
29.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
30.本发明提出一种基于时空关系抽取的区域交通状况集成预测方法，可以同步预测路上车辆的平均速度和停车场车位占用数量。参见图1所示，所提供的方法包括以下步骤。
31.步骤s110，构建区域交通情况的拓扑图表征，包括路网拓扑图和停车场网络拓扑图。
32.图是一种非线性数据结构，邻接矩阵中含着十分丰富的连接关系信息。交通预测问题具有很强的空间依赖性，其中涉及到的路网和停车场网络非常适合用图结构来进行表征。例如，某条道路上的车辆流速受道路的空间拓扑结构所影响，拥堵路段上的车辆会向其它相互连通的路段扩散。同样，各个停车场之间也可构成一定的空间拓扑关系，某个停车场没有空车位后，车辆会向周边停车场转移。其中涉及到的各条路和各个停车场非常适合用图结构来进行表征。
33.为了直观易懂，截取一小块地图来介绍路网拓扑图和停车场网络拓扑图的建立过程。
34.图2左图为深圳市罗湖区某一小片区域在openstreetmap上的截图，右图为框内道路和停车场的矢量数据在arcgis中的显示。可以分别将道路和停车场构建成图结构。
35.图3中左图为路网拓扑图，将道路视为图节点。节点之间的连接规则遵循道路的自然连接规则。如果两条道路相交，则将两个节点连接起来。标记路网拓扑图为gr＝(vr,er)，vr表示所有节点的集合。vr＝{v1,v2,
…
,vn}，n为节点数量，er表示所有边的集合。另外，各个节点之间的连接关系用邻接矩阵ar表示，ar∈rn×n。将每条路上的平均车速信息作为节点的特征。每个节点的特征记为xr＝[x1,x2,
…
,x
t
,
…
,x
t
]。t是历史时间序列的长度，x
t
表示t时刻的节点特征，表示t时刻的所有节点特征，
[0036]
图3中右图为停车场网络拓扑图，将停车场视为节点。例如，可采用欧氏距离法作为连接节点的规则，但这种方式会丢失路网信息。优选地，采用最短路径法作为节点的连接
规则。计算两个停车场节点之间的最短道路距离，若该距离小于设定阈值(如600米)则将两个节点连接起来。类似地，标记路网拓扑图为g
p
＝(v
p
,e
p
)。v
p
＝{v1,v2,
…
,vm}，m为停车场数量。邻接矩阵用a
p
表示，a
p
∈rm×m。将停车场车位占用数量作为节点特征。t时间段内每个节点的特征记为x
p
＝[x1,x2,
…
,x
t
,
…
,x
t
]。表示t时刻的所有节点特征，
[0037]
在此步骤中，可以得到路网和停车场网络拓扑结构，包括邻接矩阵ar和a
p
，t时刻的节点特征表示和等。
[0038]
步骤s120，基于路网拓扑图和停车场网络拓扑图抽取交通流以及停车情况的时空关系。
[0039]
在某些情况下，道路上的交通流和停车场的停车情况存在密切关系。例如，医院附近的道路常常受到停车需求的影响而产生拥堵。通勤高峰时写字楼附近的道路上会有大量的车辆涌入停车场。而深夜时的住宅区停车场和道路则不会产生关联。本发明利用这种时空关系来融合停车场和交通流的空间特征，而不是简单的地理位置关系。
[0040]
那么如何抽取道路节点和停车场节点之间的时空关系呢。关系抽取方法在自然语言处理领域应用在抽取两个命名实体之间的关系，从而建立知识图谱。在本发明实施例中，各个停车场节点和道路节点则可以看作是单词，他们共同组成了区域交通状况这个句子，借鉴自然语言处理中实体关系抽取的方法来建立道路节点和停车场节点的时空关系拓扑图。
[0041]
时空关系抽取可采用多种类型的时间序列模型实现，如lstm(长短期记忆网络)和gru(循环门控单元)等。图4为时空关系抽取的网络结构，它由bigru(双向门控循环单元)和注意力机制构成。gru是一种循环神经网络，擅长对序列数据建模。但是普通的循环神将网络模型具有梯度消失，梯度爆炸，参数过多，难以训练等缺陷。lstm和gru成功地解决了上述问题。二者原理相似，即用门控机制控制输入、记忆等信息，从而在当前时间步做出预测。但是gru相比lstm来说参数更少，因而更容易训练。gru可以看作是lstm的变体。优选地，利用gru来提取停车场节点和道路节点之间的时空关系。gru模型的更新方式如下：
[0042]rt
＝σ(wr·
[h
t-1
,x
t
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0043]zt
＝σ(wz·
[h
t-1
,x
t
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0044][0045][0046]
其中，x
t
为t时刻的输入数据，它由某条道路上t时刻的平均车速和某个停车场内的车位占用数量拼接而成，h
t-1
为t-1时刻的隐藏状态，它包含了之前节点的相关状态。r
t
为重置门，用于控制忽略前一时刻状态信息的程度。z
t
为更新门，用于控制前一时刻的状态信息被带入到当前状态中的程度。为候选隐藏状态，也就是当前时刻的记忆信息。h
t
为t时刻的输出状态，它将被传递到下一节点。
[0047]
为了利用先验概率和后验概率充分提取特征，在一个实施例中，采用bigru(双向门控循环单元)。它由两个反方向的状态单元共同决定。
[0048]
[0049][0050][0051]
gru()函数是对输入数据的非线性变换，w
t
和v
t
分别是前向隐藏状态和后向隐藏状态的权重，t∈[1,t]。
[0052]
在图4中，注意力层(attention)的作用是区分多个隐藏状态的重要程度，并赋予不同的权重，bigru的输出v由各个隐藏状态加权求和得到，表示为：
[0053]ut
＝tanh(w
a1ht
)
ꢀꢀꢀꢀ
(8)
[0054][0055]
v＝∑
t
α
tht
ꢀꢀꢀꢀ
(10)
[0056]
时空关系抽取网络的最终输出由以下公式得到，它代表了节点之间的关系。
[0057][0058]
在一个实施例中，定义了四种关系，即：停车场影响交通流；交通流影响停车；交通流和停车二者相互影响；交通流和停车二者互不影响。在训练集中并不是所有的数据对所有标签，所以采用半监督的方式进行训练。由该时空关系抽取网络可以得到一片区域内停车场节点和道路节点所组成的异构拓扑图。这是一个带权有向图，权重由softmax函数输出得到。该异构拓扑图代表了交通流和停车之间的时空关系，可由带权有向邻接矩阵a
rp
表示，a
rp
∈r
(n m)
×
(n m)
。
[0059]
步骤s130，利用图卷积神经网络分别提取道路和停车场的空间特征，并融合二者的空间特征。
[0060]
如何将两类异构交通活动数据进行融合是需要解决的首要问题。城市的地理空间是关联所有城市活动的天然纽带，同一时间段内，处在相同地理空间当中的交通活动会呈现出某种特定的关联规律。因此将多个交通活动的空间特征进行融合建模是一个很好的解决办法。首先分别提取到该空间特征，然后在特征级别上根据上述提取到的时空关系利用异构图卷积神经网络进行空间特征融合，而不是采用简单的拼接融合方式，并且在异构图神经网络中构建了一种显示的注意力机制来提升模型训练速度。
[0061]
考虑到交通流和停车状况都具有一定的空间依赖性，首先分别提取到该空间特征，然后在特征级别上根据两类节点的时空关系进行空间特征融合。
[0062]
具体地，首先完成空间特征提取任务。传统的卷积神经网络研究的对象是具备欧式结构的数据。欧式结构数据最显著的特征是他们具有规则的空间结构，例如图像数据是规则的二维矩阵，语音数据是规则的一维矩阵。而图结构是一种复杂的非欧式结构，每个节点的邻居数目和节点顺序不确定，并且每个节点都有自己的特征。在空间语义特征提取任务中，图卷积神经网络解决了传统卷积神经网络的局限性，它可以同时考虑节点本身的特征信息和节点之间的连接信息。
[0063]
例如，一个两层的gcn(图卷积神经网络)模型表示如下：
[0064][0065]
x是特征矩阵，a是邻接矩阵。为了在聚合节点特征的过程中保留自身信息要给每
个节点添加自环。具体来说，可以通过邻接矩阵a和单位矩阵i相加来实现。然后对进行归一化处理，其中为度矩阵，w0和w1是权重矩阵，σ(
·
)代表激活函数，一般采用relu()作为激活函数。
[0066]
道路节点和停车场节点分别由gcn网络提取空间特征后得到的特征矩阵为：
[0067][0068][0069]
代表t时刻所有道路节点的高级特征表示，那么其中的某个道路节点的特征表示为同理某个停车场节点的特征表示为
[0070]
接下来，将这两个特征矩阵所代表的空间特征进行融合。如果这两类空间特征不具备相关性，那么则可将二者展平后拼接起来。但是考虑到在二者有一定的相关性的情况下，若拼接则会造成信息冗余。所以根据两类节点的时空关系进行特征融合。在前面的步骤中已经得到了该时空关系的加权有向拓扑图及其表征a
rp
，它由两类异构节点组成。相应地，利用异构图神经网络融合两类空间特征。
[0071]
异构图神经网络可以处理含有不同类别节点的拓扑图，完成相连节点之间的特征融合。异构图神经网络模型将不同的类型节点转换到同一语义空间，通过注意机制完成邻居节点的特征聚合。注意力系数反映了不同邻居节点相对于当前节点的重要性，需要反复训练得到。为了提升训练速度，在一个实施例中，引入先验知识作为注意力系数。即用时空关系拓扑图中节点之间的权重作为注意力系数。在邻居节点融合时只融合入邻居特征。因此，节点i与邻居节点融合后的特征为：
[0072][0073]
为当前节点i的特征。j是指向i的邻居节点，为节点j的特征。e为j和i组成的边的集合。αe为边的权重，αe＝a
rp
[j][i]。为节点i融合入度邻居节点特征后的特征。每个节点都按上述操作融合邻居节点的特征后，所有节点的特征表示为
[0074]
空间特征提取及融合的过程如图5所示，输入为交通流网络和停车网络的邻接矩阵和特征矩阵，经过gcn(图卷积神经网络)之后节点特征变为高级特征表示，然后由异构图神经网络和先验知识完成两类节点之间的特征融合。输出为融合后的整体交通特征表示
[0075]
步骤s140，基于融合的空间特征，进行时间特征提取以及交通状况预测。
[0076]
交通预测还具有时间依赖性。道路车辆流速和停车场的车位占用数都会随着时间的改变而改变。并且会在一定的周期内呈现出某种特定的变化规律，例如一天当中会在某些时间段出现高峰期，每周的数据变化趋势大致相同等。循环神经网络是处理时间序列的利器，例如利用gru(门控循环单元)进行时间特征提取并完成最终的预测。
[0077]
上述步骤s130完成了空间特征的提取及融合。在此步骤s140中，首先提取时间特
征。如前文所述gru适合处理序列数据，并且相对lstm来说参数较少容易训练。优选利用gru进行时间语义提取。
[0078]
具体地，本发明所提出的交通流及停车状况集成预测的总体模型结构如图6所示。这是一个多入多出的模型，也是多任务模型。模型的输入为道路历史平均车速信息和停车场历史车位占用数据gcn(图卷积神经网络)首先完成空间特征的提取，同时bigru提取道路节点和停车场节点的时空关系，得到所有节点的时空关系拓扑图。然后异构图神经网络(hgnn)结合时空关系完成两类节点的空间特征融合。最终由gru(门控循环单元)提取时间特征并完成预测。
[0079]
在图6中，模型的输出为路网中各条道路的平均车速预测结果，为停车场网络中各个停车场车位占用的预测结果。最终的预测结果表达式为：
[0080][0081][0082]
其中，h
t-1
为t-1时刻的隐藏状态，h
t
为t时刻的输出状态，它将被传递到下一节点。
[0083]
为进一步验证本发明的效果，选择深圳市罗湖区部分停车场及其周边的道路作为实验场景进行实验。实验中，收集了30天内每条道路的平均车速信息和每个停车场的停车位占用数据，在众多停车场和道路中，选择华润万象城停车场及其相邻的万象街作为预测对象。实验场景如图7所示，各个标志是华润万象城停车场，黑色线是万象街。
[0084]
在实验中，以两种方式完成交通状况的预测任务，第一种是通过其他学者提出的单任务模型(single task)分别预测道路平均速度和停车场车位占用数量，第二种是利用本发明所提出的多任务集成预测模型完成预测工作。
[0085]
图8和图9分别显示了万象街和华润万象城停车场的24小时真实数据和预测结果。在图8和图9中，分别示出了真实数据、本发明提出的多任务集成预测模型的预测数据以及基于单任务模型(对比实验)的预测数据。从真实数据可以看出，万象街上一天的平均速度波动较大，而停车场车位占用数变化相对平缓。此外，停车场的车辆数量在短时间内变化显著时，万象街的平均速度会很低，这表明无论车辆进入还是离开停车场，突发模式下的停车对道路交通的影响很大。
[0086]
尽管本发明模型和现有模型的预测结果都可以接受，基本接近真实数据。然而，实验发现，在停车场饱和度很高时，单任务预测模型的预测能力有明显的下降。为了找出原因，在测试集上计算每15个时间片的模型预测精度，并获得随时间变化的准确性。精度由如下公式计算：
[0087][0088]
图10是多任务集成预测模型和单任务预测模型一天当中的精度对比。可以看出，两种模型的精度在晚上9点到早上7点之间比较接近，而在其他时间，多任务集成预测模型的精度明显高于单任务预测模型，因此模型精度的变化与交通状况有关。晚上9点至早上7点之间，路上的车相对较少，停车位也很充足，这两种模型此时的准确率非常接近。但是随着停车数量从早上7:00急剧增加，单任务预测模型的预测精度下降，而在这种情况下，多任
务集成预测模型的精度略有增加。因此，认为这两种模型的准确性差异可能是由道路交通和停车之间的相关性引起的。
[0089]
为了证实这一观点，利用互信息来衡量道路上的平均速度与停车位占用数量之间的相关性。根据互信息的定义，互信息值越大，两个变量的相关性越强。实际交通状况和预测交通状况的相互信息随时间的变化分别如图11所示，分别示意了真实交通状况的互信息、单任务预测模型预测结果的互信息以及多任务集成预测模型预测结果的互信息。
[0090]
由图11可以看出，当交通流量较小时真实数据和两个预测数据的互信息都很小，彼此非常接近，这意味着在这种情况下道路交通与停车相互独立，同时两个模型的精度也很接近。当交通变得繁忙时，真实交通状况的互信息增加，单任务预测模型显然跟不上真实互信息的增长，但多任务集成预测模型总是能与真实互信息保持接近。值得注意的是，这个时候两种模型之间的预测精度差距恰好扩大了，因此推断道路交通和停车之间的互信息在交通状况预测中起着关键作用是合理的。
[0091]
图12是模型精度随道路交通和停车之间的互信息的变化，进一步证实了这个推论。从图中可以看出，当互信息较小时，两类模型的精度相差不大。当互信息增加时，多任务集成预测模型的精度明显优于单任务预测模型模型。这意味着单独预测只适用于处理交通活动相关性较低的情况，而面对复杂的真实交通环境，集成预测由于更好地理解了同一时空环境中不同交通活动之间潜在的、微妙的相关性，因而更具实用性。
[0092]
相对现有技术，本发明至少具有以下优势：
[0093]
1)、本发明考虑了区域交通不仅受到交通流量的影响，还受到同一区域停车饱和度的影响，利用二者之间的相互作用，提出了多任务集成预测模型，用于集成预测一个区域的道路交通情况和停车情况，该模型是一个多入多出模型，输入为交通流量和车位占用的历史数据，输出为所要预测的下一时间步的交通流和停车情况。
[0094]
2)、在某些情况下，道路交通和停车之间是有很很强的关联性的。尤其是在某些热门兴趣点附近，如景区，医院，大型商场周边的交通情况非常复杂。如何量化道路交通和停车之间的关联性目前还没有明确的方法。本发明利用双向门控循环单元来提取交通流和停车之间的时空关系，并表征成加权有向的拓扑图。这一方法成功量化了道路交通和停车的时空关系之间的相关性，该相关性也是提升模型精度的重要原因。
[0095]
3)、现有神经网络在空间特征融合的方法上通常采用拼接的方式，但是拼接后的特征维度增加，变成了高维空间内的稀疏矩阵，训练模型时难以找寻梯度。另外如果两个有某种关联的矩阵拼接起来作为新的特征表示则会存在信息冗余，而本发明提出一种新的特征融合方式，即根据时空关系进行空间特征融合。
[0096]
综上所述，本发明提出的基于时空关系抽取的区域交通状况集成预测方法，同步预测一个区域内的交通状况，包括交通流预测和停车状况预测。相比单独预测模型，本发明提供的集成模型能感知到更多的信息，模型视野更加宽阔。此外，量化表征了交通流和停车状况之间的时空关系，并根据该时空关系进行空间特征融合而不是采用简单的拼接。另外，利用图卷积神经网络来捕获空间特征，充分考虑了道路与道路之间的空间拓扑关系以及停车场与停车场之间的拓扑关系。进一步地，本发明还验证了交通流和停车之间的相关性对模型精度的影响。
[0097]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机
可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0098]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0099]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0100]
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 、python等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
[0101]
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0102]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0103]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0104]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0105]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。