基于双流特征提取网络的滑坡检测方法、无人机、介质

1.本技术涉及但不限于图像处理技术领域，尤其涉及一种基于双流特征提取网络的滑坡检测方法、无人机、介质。


背景技术：

2.山体滑坡是世界上发生相对频繁且严重的自然灾害，一旦滑坡危害发生，往往会导致交通阻塞，严重威胁人民的生命财产生命安全，基于此，需要对山体进行规律性的巡检，及时发现存在滑坡风险的区域并采取相应措施。传统的滑坡检测是依靠工作人员携带相关设备进行现场勘测，这种检测方式耗费大量的人工成本，且滑坡检测的效率较低。


技术实现要素：

3.本技术实施例提供了一种基于双流特征提取网络的滑坡检测方法、无人机、介质，能够有效提高滑坡检测的效率。
4.第一方面，本技术实施例提供了一种基于双流特征提取网络的滑坡检测方法，应用于无人机，所述方法包括：
5.确定巡检区域，所述巡检区域包括多个巡检节点；
6.根据多个所述巡检节点确定目标巡检路径；
7.根据所述目标巡检路径进行巡检并拍摄待检测图像；
8.将所述待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图；
9.将所述滑坡边界特征图和所述山体特征图进行多尺度融合处理，得到目标特征图；
10.根据所述目标特征图确定所述巡检区域的植被覆盖率；
11.获取降雨量信息，根据所述降雨量信息和所述植被覆盖率确定滑坡检测结果。
12.在一些实施例中，所述双流特征提取网络模型包括第一特征提取网络和第二特征提取网络，所述第一特征提取网络包括多个依次连接的第一基础卷积层；所述将所述待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图，包括：
13.将所述待检测图像输入至所述第一特征提取网络中依次连接的各个所述第一基础卷积层，得到所述山体特征图；
14.获取各个所述卷积层输出的第一中间特征图；
15.将各个所述第一中间特征图和所述待检测图像输入至所述第二特征提取网络进行特征提取，得到所述滑坡边界特征图。
16.在一些实施例中，所述第二特征提取网络包括第二基础卷积层、门卷积层和残差块，所述门卷积层的数量为多个，各个所述门卷积层之间通过所述残差块相连接，所述将各个所述第一中间特征图和所述待检测图像输入至所述第二特征提取网络进行特征提取，得
到所述滑坡边界特征图，包括：
17.获取第二中间特征图，所述第二中间特征图为所述待检测图像输入至所述第二基础卷积层得到的特征图；
18.将所述第一中间特征图和所述第二中间特征图进行融合处理，得到第三中间特征图；
19.将所述第三中间特征图输入至所述门卷积层进行门卷积运算，得到第二中间特征图；
20.将所述第一中间特征图和所述第二中间特征图输入至多个所述门卷积层，得到所述滑坡边界特征图。
21.在一些实施例中，所述将所述滑坡边界特征图和所述山体特征图进行多尺度融合处理，得到目标特征图，包括：
22.获取预设的金字塔池化模型；
23.将所述滑坡边界特征图和所述山体特征图输入至所述金字塔池化模型进行多尺度融合处理，得到所述目标特征图。
24.在一些实施例中，所述降雨量信息包括预设时间周期内的降雨天数、预设时间周期内的连续降雨天数、当前降雨量值和历史降雨量值，所述根据所述降雨量信息和所述植被覆盖率确定滑坡检测结果，包括：
25.根据所述预设时间周期内的降雨天数、所述当前降雨量值、所述历史降雨量值和所述植被覆盖率得到有效降雨量值；
26.根据预设的i-d阈值算法和所述预设时间周期内的连续降雨天数计算降雨临界值；
27.根据所述有效降雨量值和所述降雨临界值确定所述滑坡检测结果。
28.在一些实施例中，所述根据所述有效降雨量值和所述降雨临界值确定所述滑坡检测结果，包括：
29.计算所述有效降雨量值和所述降雨临界值的比值；
30.当所述比值大于或等于预设的参考阈值，确定所述滑坡检测结果为检测不通过；
31.当所述比值小于预设的参考阈值，确定所述滑坡检测结果为检测通过。
32.在一些实施例中，所述无人机与客户端通信连接，所述方法还包括：
33.在所述比值大于或等于所述参考阈值的情况下，确定所述目标特征图对应的目标位置信息；
34.将所述目标位置信息和所述滑坡检测结果发送至所述客户端，以使所述客户端在预设应用程序的界面上展示所述目标位置信息和所述滑坡检测结果。
35.第二方面，本技术实施例提供了一种无人机，包括：
36.巡检区域确定模块，所述巡检区域确定模块用于确定巡检区域，所述巡检区域包括多个巡检节点；
37.目标巡检路径确定模块，所述目标巡检路径确定模块用于根据多个所述巡检节点确定目标巡检路径；
38.待检测图像获取模块，所述待检测图像获取模块用于根据所述目标巡检路径进行巡检并拍摄待检测图像；
39.第一图像处理模块，所述第一图像处理模块用于将所述待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图；
40.第二图像处理模块，所述第二图像处理模块用于将所述滑坡边界特征图和所述山体特征图进行多尺度融合处理，得到目标特征图；
41.植被覆盖率确定模块，所述植被覆盖率确定模块用于根据所述目标特征图确定所述巡检区域的植被覆盖率；
42.滑坡检测结果确定模块，所述滑坡检测结果确定模块用于获取降雨量信息，根据所述降雨量信息和所述植被覆盖率确定滑坡检测结果。
43.第三方面，本技术实施例提供了一种无人机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于双流特征提取网络的滑坡检测方法。
44.第三方面，本技术实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于双流特征提取网络的滑坡检测方法。
45.本技术实施例提供了一种基于双流特征提取网络的滑坡检测方法、无人机、介质，方法包括：确定巡检区域，巡检区域包括多个巡检节点；根据多个巡检节点确定目标巡检路径；根据目标巡检路径进行巡检并拍摄待检测图像；将待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图；将滑坡边界特征图和山体特征图进行多尺度融合处理，得到目标特征图；根据目标特征图确定巡检区域的植被覆盖率；获取降雨量信息，根据降雨量信息和植被覆盖率确定滑坡检测结果。本技术实施例能够结合无人机以及双流特征提取网络模型对巡检区域进行滑坡检测，相比传统的人工巡检方法，本技术实施例的技术方案能够有效提高滑坡检测的效率。
附图说明
46.图1是本技术一个实施例提供的基于双流特征提取网络的滑坡检测方法的步骤流程图；
47.图2是本技术另一个实施例提供的得到滑坡边界特征图和山体特征图的步骤流程图；
48.图3是本技术另一个实施例提供的得到所述滑坡边界特征图的步骤流程图；
49.图4是本技术另一个实施例提供的得到目标特征图的步骤流程图；
50.图5是本技术另一个实施例提供的确定滑坡检测结果的步骤流程图；
51.图6是本技术另一个实施例提供的确定滑坡检测结果的步骤流程图；
52.图7是本技术另一个实施例提供的展示滑坡检测结果的步骤流程图；
53.图8是本技术另一个实施例提供的无人机的模块示意图；
54.图9是本技术另一个实施例提供的无人机结构图。
具体实施方式
55.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不
用于限定本技术。
56.可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
57.本技术实施例提供了一种基于双流特征提取网络的滑坡检测方法、无人机、介质，方法包括：确定巡检区域，巡检区域包括多个巡检节点；根据多个巡检节点确定目标巡检路径；根据目标巡检路径进行巡检并拍摄待检测图像；将待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图；将滑坡边界特征图和山体特征图进行多尺度融合处理，得到目标特征图；根据目标特征图确定巡检区域的植被覆盖率；获取降雨量信息，根据降雨量信息和植被覆盖率确定滑坡检测结果。本技术实施例能够结合无人机以及双流特征提取网络模型对巡检区域进行滑坡检测，相比传统的人工巡检方法，本技术实施例的技术方案能够有效提高滑坡检测的效率。
58.下面结合附图，对本技术实施例作进一步阐述。
59.如图1所示，图1是本技术一个实施例提供的基于双流特征提取网络的滑坡检测方法的步骤流程图，本技术实施例提供了一种基于双流特征提取网络的滑坡检测方法，应用于无人机，该方法包括但不限于有以下步骤：
60.步骤s110，确定巡检区域，巡检区域包括多个巡检节点；
61.步骤s120，根据多个巡检节点确定目标巡检路径；
62.步骤s130，根据目标巡检路径进行巡检并拍摄待检测图像；
63.步骤s140，将待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图；
64.步骤s150，将滑坡边界特征图和山体特征图进行多尺度融合处理，得到目标特征图；
65.步骤s160，根据目标特征图确定巡检区域的植被覆盖率；
66.步骤s170，获取降雨量信息，根据降雨量信息和植被覆盖率确定滑坡检测结果。
67.需要说明的是，本实施例的无人机可以采用任意型号的无人机，能够确保续航能力足够完成巡检即可，并且为了获取待检测图像，可以在无人机中搭载遥感设备，本实施例对无人机具体的硬件结构不做改进，能够实现功能即可；巡检区域可以根据实际需求设定，在巡检区域内包括多个巡检节点即可，巡检节点中包括有一个起点，在巡检过程中，无人机从起点出发，途径该区域内所有节点，最终再返回起点，在路过每个节点时利用遥感设备来采集影像。
68.需要说明的是，本技术实施例并不限制确定目标巡检路径的具体方法，可以是通过遗传算法或者蚁群算法针对目标巡检区域的多个巡检节点进行路径规划得到。
69.可以理解的是，在得到无人机的目标巡检路径之后，可以根据目标巡检路径在巡检区域进行多次巡检，并拍摄待检测图像，将待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图，再将滑坡边界特征图和山体特征图进行多尺度融合处理，得到目标特征图，根据目标特征图确定巡检区域的植被覆盖率，进而根据降雨量信息和植被覆盖率确定滑坡检测结果，根据本技术的技术方案，能够
结合无人机以及双流特征提取网络模型对巡检区域进行滑坡检测，相比传统的人工巡检方法，具有较强的灵活性和便捷性，能够有效提高滑坡检测的效率，并且可以按照人工设定的路线对指定区域进行数据采集，可以极大程度上减小人力成本，提高滑坡检测的效率，同时无人机上配有高清数字化设备，可以采集高清的滑坡图片数据，进一步提高了检测的精度。
70.另外，参照图2，在一实施例中，双流特征提取网络模型包括第一特征提取网络和第二特征提取网络，第一特征提取网络包括多个依次连接的第一基础卷积层，图1所示实施例中的步骤s140还包括但不限于有以下步骤：
71.步骤s210，将待检测图像输入至第一特征提取网络中依次连接的各个卷积层，得到山体特征图；
72.步骤s220，获取各个第一基础卷积层输出的第一中间特征图；
73.步骤s230，将各个第一中间特征图和待检测图像输入至第二特征提取网络进行特征提取，得到滑坡边界特征图。
74.需要说明的是，第一特征提取网络可以是任意的主干语义分割网络，将待检测图像输入至第一特征提取网络进行特征提取的具体过程可以为：将待检测图像输入到第一特征提取网络，得到高为宽为的输出山体特征图，m为卷积的步距；具体过程可以为：输入至第一特征提取网络的待检测图像的高度为h，宽度为w，记为i，通过第一特征提取网络进行特征提取，记为m
θ
(i)，θ为参数，输出高度为宽度为山体特征图，记为o，其中m为卷积的步距。
75.另外，参照图3，在一实施例中，第二特征提取网络包括第二基础卷积层、门卷积层和残差块，门卷积层的数量为多个，各个门卷积层之间通过残差块相连接，图2所示实施例中的步骤s230包括但不限于有以下步骤：
76.步骤s310，获取第二中间特征图，第二中间特征图为待检测图像输入至第二基础卷积层得到的特征图；
77.步骤s320，将第一中间特征图和第二中间特征图进行融合处理，得到第三中间特征图；
78.步骤s330，将第三中间特征图输入至多个门卷积层进行门卷积运算，得到滑坡边界特征图。
79.需要说明的是，由于估计语义分割和语义边界的任务密切相关，本技术实施例提供了一种基于门卷积机制的门卷积层，设置于第二特征提取网络中，该层促进了信息从山体特征到滑坡边界特征的流动，门卷积层使得第二特征提取网络只处理边界相关信息，门卷积层将两个支流(即第一特征提取网络和第二特征提取网络)关联起来，其中，山体表征提取流(即第一特征提取网络)已经对山体特征进行了分割处理，从而让山体滑坡边界提取流(即第二特征提取网络)可以采用简单的网络架构，实现高分辨率地提取滑坡边界特征图。获取滑坡边界特征图的具体过程可以为：首先，将第一中间特征图o
t
和第二中间特征图c
t
进行融合处理，得到第三中间特征图β
t
，具体实现公式为：
80.β
t
＝σ(c
1*1
(c
t
||o
t
))；
81.其中，t∈0,1...,m,t表示通过门卷积的次数，m表示使用门卷积层的数量，||表示
融合操作，c
1*1
表示1x1的卷积层，σ表示sigmoid函数；为了更好地对带有重要边界信息的区域进行加权，将第三中间特征图输入至门卷积层输入至多个门卷积层(各个门卷积层之间通过残差块相连接)进行门卷积运算，得到滑坡边界特征图其中(i,j)表示特征图中每一个像素点的位置，其计算公式如下：
[0082][0083]
其中，表示门卷积运算，
⊙
表示点积运算，w
t
表示通道权重。
[0084]
另外，在一实施例中，在执行图1所示实施例中的步骤s140之前，本技术实施例提供的基于双流特征提取网络的滑坡检测方法还包括有以下步骤：对无人机拍摄到的待检测图像进行图像预处理。
[0085]
可以理解的是，对待检测图像进行图像预处理主要目的是消除待检测图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而提高后续待检测图像应用的可靠性。
[0086]
需要说明的是，本技术实施例并不限制对待检测图像进行图像预处理的具体方式，对待检测图像进行预处理的公式可以如下：
[0087][0088]
其中，为对待检测图像为标准化后的图像数据，的计算公式为：
[0089][0090]
其中，ε为一个微小正数，μb表示输入的待检测图像数据的均值，σ2表示输入数据的方差，μb和σ2的计算公式为：
[0091][0092][0093]
其中，将无人机拍摄到的待检测图像数据集为b＝{x1,x2...xm}，m表示待检测图像的总数，xi表示第i个待检测图像。可以理解的是，基于上述的预处理公式，能够对待检测图像均值μb为0，σ2为1的输出通过训练学习进行了缩放和平移的操作，从而保证了待检测图像的非线性程度，从而降低了异常数据的影响，缓解了梯度消失问题，大大加快双流特征提取网络模型的收敛速度，提升训练速度。
[0094]
另外，参照图4，在一实施例中，图1所示实施例中的步骤s150包括但不限于有以下步骤：
[0095]
步骤s410，获取预设的金字塔池化模型；
[0096]
步骤s420，将滑坡边界特征图和山体特征图输入至金字塔池化模型进行多尺度融合处理，得到目标特征图。
[0097]
可以理解的是，将滑坡边界特征图和山体特征图输入至金字塔池化模型进行多尺度融合处理，得到目标特征图，能够将区域特征与边界特征相结合，保持多尺度上下文信
息，进而为提高滑坡检测结果的准确性提供有效的数据基础。
[0098]
另外，在金字塔池化模型的训练过程中，为了对分割图(即山体特征图)和边缘图(即滑坡边界特征图)都进行监督，其中对边缘图的监督使用滑坡边界损失函数，对分割图监督使用融合分割损失函数，将二者求和得到总的损失函数，损失函数的具体公式如下：
[0099][0100]
其中，表示滑坡边界损失函数，表示融合分割损失函数，μ1，μ2表示二者的权重，是预测的山体分割的边缘，是预测的山体分割的类别概率，c是真实的山体分割的边缘，预测的山体分割的类别概率。
[0101]
其中，的表达式为：
[0102][0103]
其中，p
·
分别代表的和η对应的真实的植被与裸地边缘分割点和预测的植被与裸地边缘分割点的点集合，该函数作用主要是不断缩小预测图提取到的边缘和真实值中本身就是边缘的像素点之间的差异；表示预测图像中的像素点是否为植被与裸地边缘分割点，表达式如下：
[0104][0105]
其中，其中argkmax表示求参数最大值的集合函数，从预测的概率分布中获取预测图；g表示高斯滤波，用来消除高斯噪声，
▽
表示求函数梯度，用于提取图像的边缘；
[0106]
其中，的表达式为：
[0107][0108]
其中，的表达式为：
[0109][0110]
其中，p表示特征图上所有的像素点，k表示分割类别，此处分为两类，裸地和植被，表示第一特征提取网络输出的信息量，表示阈值函数，th为设定的阈值，当s》th,输出s，μ3,μ4都是权重参数。
[0111]
另外，在一实施例中，降雨量信息包括预设时间周期内的降雨天数、预设时间周期内的连续降雨天数、当前降雨量值和历史降雨量值，参照图5，图1所示实施例中的步骤s170包括但不限于有以下步骤：
[0112]
步骤s510，根据预设时间周期内的降雨天数、当前降雨量值、历史降雨量值和植被覆盖率得到有效降雨量值；
[0113]
步骤s520，根据预设的i-d阈值算法和预设时间周期内的连续降雨天数计算降雨临界值；
[0114]
步骤s530，根据有效降雨量值和降雨临界值确定滑坡检测结果。
[0115]
需要说明的是，植被覆盖率即针对目标特征图中山体植被图像信息与裸地图像信息之间的概率分布，具体实现公式可以如下：
[0116]
f＝p(y|o,c)＝f
γ
；
[0117]
其中，o为山体特征图，c为滑坡边界特征图，p(y|o,c)表示经过金字塔池化模型融合后输出的预测分布，f为植被覆盖率。
[0118]
需要说明的是，有效降雨量值的计算公式如下：
[0119]vd
＝fv0 f
2v1
... f
nvn
；
[0120]
其中，f为植被覆盖率，vn为当前降雨量值，n为预设时间周期内的降雨天数，v0、v1为历史降雨量值，vd为有效降雨量值。
[0121]
需要说明的是，根据预设的i-d阈值算法计算降雨临界值的具体实现公式为：
[0122]
i＝i0 a
×
db；
[0123]
其中，i为当前降雨临界值，i0为初始降雨临界值，a、b分别为拟合参数，d为预设时间周期内的连续降雨天数，本技术实施例再次不对预设时间周期做限制，本领域技术人员可以根据实际需求进行调整。
[0124]
另外，在一实施例中，无人机与客户端通信连接，参照图6，图5所示实施例中的步骤s530包括但不限于有以下步骤：
[0125]
步骤s610，计算有效降雨量值和降雨临界值的比值；
[0126]
步骤s620，当比值大于或等于预设的参考阈值，确定滑坡检测结果为检测不通过；
[0127]
步骤s630，当比值小于预设的参考阈值，确定滑坡检测结果为检测通过。
[0128]
需要说明的是，有效降雨量值和降雨临界值的比值可以确定为滑坡事件的发生概率系数，计算公式为：
[0129][0130]
预设的参考阈值可以设置为1，当h小于1时，几乎不可能发生滑坡，确定滑坡检测结果为检测通过；当h的大于或等于1时，判定为会发生滑坡，确定滑坡检测结果为检测不通过，且h的取值越大，滑坡的危害程度就越高，需要及时采取应急措施，从而有效提高获取滑坡检测结果的效率。
[0131]
另外，在一实施例中，无人机与客户端通信连接，参照图7，本技术实施例提供的基于双流特征提取网络的滑坡检测方法还包括但不限于有以下步骤：
[0132]
步骤s710，在比值大于或等于参考阈值的情况下，确定目标特征图对应的目标位置信息；
[0133]
步骤s720，将目标位置信息和滑坡检测结果发送至客户端，以使客户端在预设应用程序的界面上展示目标位置信息和滑坡检测结果。
[0134]
可以理解的是，在比值大于或等于参考阈值的情况下，即当前的比值对应的目标特征图所在的山体区域存在滑坡风险，需要及时排查，确定该目标特征图对应的目标位置信息，将目标位置信息和滑坡检测结果发送至客户端，实现滑坡预警，以使相关检查人员能够根据客户端的信息获取山体位置，预测滑坡发生的地点，便于制定滑坡灾害的防治以及风险规避计划，减小或消除人民生命财产安全或者经济损失。
[0135]
另外，参照图8，图8是本技术另一个实施例提供的无人机的模块示意图，在一实施
例中，本技术实施例提供了一种无人机800，该无人机800包括：
[0136]
巡检区域确定模块810，巡检区域确定模块810用于确定巡检区域，巡检区域包括多个巡检节点；
[0137]
目标巡检路径确定模块820，目标巡检路径确定模块820用于根据多个巡检节点确定目标巡检路径；
[0138]
待检测图像获取模块830，待检测图像获取模块830用于根据目标巡检路径进行巡检并拍摄待检测图像；
[0139]
第一图像处理模块840，第一图像处理模块840用于将待检测图像输入至预先训练好的双流特征提取网络模型进行特征提取，得到滑坡边界特征图和山体特征图；
[0140]
第二图像处理模块850，第二图像处理模块850用于将滑坡边界特征图和山体特征图进行多尺度融合处理，得到目标特征图；
[0141]
植被覆盖率确定模块860，植被覆盖率确定模块860用于根据目标特征图确定巡检区域的植被覆盖率；
[0142]
滑坡检测结果确定模块870，滑坡检测结果确定模块870用于获取降雨量信息，根据降雨量信息和植被覆盖率确定滑坡检测结果。
[0143]
另外，参考图9，图9是本技术另一个实施例提供的无人机结构图，本技术的一个实施例还提供了一种无人机900，该无人机900包括：存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序。
[0144]
处理器920和存储器910可以通过总线或者其他方式连接。
[0145]
实现上述实施例的基于双流特征提取网络的滑坡检测方法所需的非暂态软件程序以及指令存储在存储器910中，当被处理器920执行时，执行上述实施例中的应用于无人机900的基于双流特征提取网络的滑坡检测方法，例如，执行以上描述的图1中的方法步骤s110至步骤s170、图2中的方法步骤s210至步骤s230、图3中的方法步骤s310至步骤s340、图4中的方法步骤s410至步骤s420、图5中的方法步骤s510至步骤s530、图6中的方法步骤s610至步骤s630和图7中的方法步骤s710至步骤s720。
[0146]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0147]
此外，本技术的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述无人机900实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的应用于无人机的基于双流特征提取网络的滑坡检测方法，例如，执行以上描述的图1中的方法步骤s110至步骤s170、图2中的方法步骤s210至步骤s230、图3中的方法步骤s310至步骤s340、图4中的方法步骤s410至步骤s420、图5中的方法步骤s510至步骤s530、图6中的方法步骤s610至步骤s630和图7中的方法步骤s710至步骤s720。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非
暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。