调度异常检测方法、装置、设备及存储介质与流程

1.本发明涉及智能物流技术领域，尤其涉及一种调度异常检测方法、装置、设备及存储介质。


背景技术：

2.在智能仓储行业随着客户需求进一步趋向于个性化和定制化，sku越来越多，以及物流作业场景的不断变化，较高的作业效率，充分利用空间，可以跨巷道多向行驶，且配置灵活柔性的四向穿梭车，受到越来越多企业的关注。
3.但是传统技术中，四向穿梭车面对复杂环境时，无法自动识别，导致运输效率降低，例如：当货物、托盘以及货架存在异常时，四向穿梭车无法正常运输货物，再或者在四向穿梭车行驶路径上存在障碍物时，也会导致无法正常运输货物。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种调度异常检测方法、装置、设备及存储介质，旨在解决现有技术四向穿梭车无法实现复杂环境下的货物运输的技术问题。
6.为实现上述目的，本发明提供了一种调度异常检测方法，所述方法包括以下步骤：
7.在接收到调度指令时，根据所述调度指令确定待检测方向；
8.获取在所述待检测方向上的目标点云面信息；
9.通过预设异常检测模型对所述目标点云面信息进行检测，获得检测结果；
10.在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示。
11.可选地，所述检测结果包括货物位置检测结果、托盘倾斜检测结果以及障碍物检测结果，所述通过异常检测模型对所述目标点云面信息进行检测，获得检测结果，包括：
12.通过预设区域划分模型对所述目标点云面信息进行区域划分，获得货物区域点云信息、托盘区域点云信息以及路径区域点云信息；
13.对所述货物区域点云面信息进行货物位置检测，获得货物位置检测结果；
14.对所述托盘区域点云面信息进行托盘倾斜检测，获得托盘倾斜检测结果；
15.对所述路径区域点云面信息进行障碍物检测，获得障碍物检测结果。
16.可选地，所述对所述货物区域点云信息进行货物倾斜检测，获得货物倾斜检测结果，包括：
17.根据所述货物区域点云信息确定货物位置信息；
18.根据所述货物位置信息与预设货物位置信息确定货物偏差距离；
19.根据所述货物偏差距离，获得货物倾斜检测结果。
20.可选地，所述对所述托盘区域点云信息进行托盘倾斜检测，获得托盘倾斜检测结
果，包括：
21.对所述托盘区域点云信息进行点云聚类，获得目标托盘点云信息；
22.根据所述目标托盘点云信息确定第一侧距离平均值与第二侧距离平均值；
23.根据所述第一侧距离平均值与所述第二侧距离平均值确定平均距离差值；
24.将所述平均距离差值与预设托盘倾斜距离阈值进行对比，得到托盘倾斜检测结果。
25.可选地，所述对所述路径区域点云面信息进行障碍物检测，获得障碍物检测结果，包括：
26.获取所述路径区域点云面信息中的点云数量；
27.将所述点云数量与预设点云数量阈值进行对比，得到障碍物检测结果。
28.可选地，所述获取所述待检测方向上的目标点云面信息，包括：
29.获取在所述待检测方向上的初始点云面信息；
30.通过预设点云滤波模型对所述初始点云面信息进行点云滤波；
31.获取目标点云法向量，并根据所述目标点云法向量对点云滤波后的点云面信息进行点云筛选，获得目标点云面信息。
32.可选地，所述将所述初始点云面信息通过预设点云滤波模型进行点云滤波，包括：
33.获取初始点云面信息中的体素信息；
34.通过预设下采样模型对所述体素信息进行下采样处理，并调整所述体素信息中的体素大小与体素半径，以完成对所述初始点云面信息的点云滤波。
35.此外，为实现上述目的，本发明还提出一种调度异常检测装置，所述调度异常检测装置包括：
36.方向确定模块，用于在接收到调度指令时，根据所述调度指令确定待检测方向；
37.信息获取模块，用于获取在所述待检测方向上的目标点云面信息；
38.异常检测模块，用于通过预设异常检测模型对所述目标点云面信息进行检测，获得检测结果；
39.异常预警模块，用于在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示。
40.此外，为实现上述目的，本发明还提出一种调度异常检测设备，所述调度异常检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的调度异常检测程序，所述调度异常检测程序配置为实现如上文所述的调度异常检测方法的步骤。
41.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有调度异常检测程序，所述调度异常检测程序被处理器执行时实现如上文所述的调度异常检测方法的步骤。
42.本发明公开了在接收到调度指令时，根据所述调度指令确定待检测方向；获取在所述待检测方向上的目标点云面信息；通过预设异常检测模型对所述目标点云面信息进行检测，获得检测结果；在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示，与现有技术相比，本发明通过根据用户发出的调度指令确定待检测方向，并获取该待检测方向上的点云面信息，在通过预设异常检测模型对所述目标点云面信息进行检测，在该检测方向上的点云面信息存在异常信息时，向上位机进行预警，避
免了四向穿梭车无法实现复杂环境下的货物运输的技术问题。
附图说明
43.图1是本发明实施例方案涉及的硬件运行环境的调度异常检测设备的结构示意图；
44.图2为本发明调度异常检测方法第一实施例的流程示意图；
45.图3为本发明调度异常检测方法一实施例的四向穿梭机相机安装位置示意图；
46.图4为本发明调度异常检测方法一实施例的货架结构示意图；
47.图5为本发明调度异常检测方法第二实施例的流程示意图；
48.图6为本发明调度异常检测方法一实施例的货物偏移示意图；
49.图7为本发明调度异常检测方法第三实施例的流程示意图；
50.图8为本发明调度异常检测装置第一实施例的结构框图。
51.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
52.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
53.参照图1，图1为本发明实施例方案涉及的硬件运行环境的调度异常检测设备结构示意图。
54.如图1所示，该调度异常检测设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
55.本领域技术人员可以理解，图1中示出的结构并不构成对调度异常检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
56.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及调度异常检测程序。
57.在图1所示的调度异常检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明调度异常检测设备中的处理器1001、存储器1005可以设置在调度异常检测设备中，所述调度异常检测设备通过处理器1001调用存储器1005中存储的调度异常检测程序，并执行本发明实施例提供的调度异常检测方法。
58.本发明实施例提供了一种调度异常检测方法，参照图2，图2为本发明一种调度异常检测方法第一实施例的流程示意图。
59.本实施例中，所述调度异常检测方法包括以下步骤：
60.步骤s10：在接收到调度指令时，根据所述调度指令确定待检测方向。
61.需要说明的是，本实施例方法的执行主体可以是具有数据传输、数据采集以及数据处理功能的调度异常检测设备，例如：控制计算机、服务器以及四向穿梭机的控制器等，本实施例对此不做具体限制，在本实施例以及下述实施例中，将会以四向穿梭机的控制器为例进行说明。
62.值得说明的是，调度指令是指用户通过调度系统发出的控制指令，用于控制四向穿梭机向某一方向移动，并执行对应的货物运输操作，其中，调度系统可以是基于plc控制器的系统，还可以是其他具有相同或者相似功能的系统，例如：调度控制平台、调度控制软件以及小程序等，本实施例对此不作具体限制。
63.可以理解的是，在控制四向穿梭机进行物流作业时，由于仓库内的货物都存放在货架上，且货架的排放都是固定的，在具体实施过程中，四向穿梭机可以只通过前后左右四个方向上的切换运动，从而到达预定位置。
64.易于理解的是，待检测方向是指四向穿梭机在接收到调度指令后，下一时刻行驶的方向。
65.步骤s20：获取在所述待检测方向上的目标点云面信息。
66.应当说明的是，目标点云面信息是指通过安装在四向穿梭机上的图像采集设备采集到的点云面信息，其中，参考图3，图像采集设备可以是分别安装在四向穿梭机四个方向上的相机，且所述目标点云面信息中根据点云高度分为上、中、下三个区域，三个区域分别对应的为货架上的货物、货架上的托盘以及行驶路径。
67.在具体实现中，参考图4，由于四向穿梭机在采集点云面信息时，可能存在运动的情形，所以在对点云面信息进行区域划分时，通过点云高度进行划分可能不准确，且实时性较差，本实施例中可以采用预设区域划分模型进行区域划分。
68.步骤s30：通过预设异常检测模型对所述目标点云面信息进行检测，获得检测结果。
69.应当理解的是，预设异常检测模型用于对目标点云面信息进行异常检测，具体可为检测货物区域的货物是否存在偏移；托盘区域是否存在倾斜；四向穿梭机的行驶路径上是否存在障碍物。
70.步骤s40：在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示。
71.在具体实现中，检测结果为存在异常信息是指货物区域的货物存在偏移、托盘区域存在倾斜以及四向穿梭机的行驶路径上存在障碍物中的任意一种情况存在时，则检测结果存在异常，此时，将会生成预警信息，用于提醒用户需要人工介入。
72.可以理解的是，预警信息在显示形式上可以为文字提醒、声音提醒以及闪烁提醒等，本实施例对此不做具体限制。
73.需要说明的是，在生成预警信息之后，四向穿梭机的plc控制器可以通过将预警信息通过数据通信的方式，将预警信息转发至服务器，以使服务器转发预警信息至上位机中的调度系统，以实现对于异常检测结果的预警，此外，在四向穿梭机接收调度指令时，也可以通过上位机中的的调度系统发送调度指令至服务器，以使服务器转发该调度指令至四向穿梭机的plc控制器，控制四向穿梭机完成后续的异常检测，其中，数据通信可以是通过蓝牙或者网络通信等数据通信方式，本实施例对此不做具体限制。
74.此外，在本实施例中，上位机可以包括但不限于：客户端、控制显示端以及调度系统对应的设备等，本实施例对此不作具体限制。
75.本实施例公开了在接收到调度指令时，根据所述调度指令确定待检测方向；获取在所述待检测方向上的目标点云面信息；通过预设异常检测模型对所述目标点云面信息进行检测，获得检测结果；在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示，本实施例通过根据用户发出的调度指令确定待检测方向，并获取该待检测方向上的点云面信息，在通过预设异常检测模型对所述目标点云面信息进行检测，在该检测方向上的点云面信息存在异常信息时，向上位机进行预警，避免了四向穿梭车无法实现复杂环境下的货物运输的技术问题。
76.参考图5，图5为本发明一种调度异常检测方法第二实施例的流程示意图。
77.基于上述第一实施例，在本实施例中，所述步骤s30，包括：
78.步骤s301：通过预设区域划分模型对所述目标点云面信息进行区域划分，获得货物区域点云信息、托盘区域点云信息以及路径区域点云信息。
79.需要说明的是，预设区域划分模型用于对待检测方向上的相机采集到的目标点云面信息进行区域划分，具体划分为货物区域点云信息、托盘区域点云信息以及路径区域点云信息，以便于后续对货物区域点云信息、托盘区域点云信息以及路径区域点云信息分别进行异常检测。
80.在具体实现中，预设区域划分模型可以是基于随机采样一致性算法建立的区域划分模型，还可以是其他具有相同或者相似功能的模型，本实施例对此不做具体限制。
81.步骤s302：对所述货物区域点云面信息进行货物位置检测，获得货物位置检测结果。
82.应当说明的是，在对货物区域点云面信息进行货物位置检测是指检测货物位置是否存在偏移，由于同一批货物之间，货物的尺寸或者大小都是固定的，货物在货架的托盘上的摆放也是确定好的，摆放原则是中心对称，即货物在托盘上的位置一侧超出托盘另一侧依旧在托盘内，就被视为货物位置存在偏移。
83.例如，对于托盘上面货物上的点云横向边界可以通过左右边缘5cm的点云横向坐标的平均值求出，以左边为例，先求出左边点云距离边缘5cm处点云的横向坐标的平均值，然后与货物正常状态下左边缘5cm点云的横向左边的平均值进行比较，若差值大于阈值，则认为超出则存在货物偏移。
84.进一步地，为了精准的确定货物的位置是否存在偏移，所述步骤s302，包括：
85.根据所述货物区域点云信息确定货物位置信息；
86.根据所述货物位置信息与预设货物位置信息确定货物偏差距离；
87.根据所述货物偏差距离，获得货物倾斜检测结果。
88.可以理解的是，货物位置信息可以通过货物区域点云面信息的点云数量确定，在存在货物的区域，点云数量要远多于没有货物的区域。
89.其中，预设货物位置信息可以是根据货物的尺寸，进而确定的货物相对于托盘的摆放位置，还可以是用户设置的存放位置，本实施例对此不做具体限制。
90.在具体实现中，参考图6，图6中a图所示的情况为货物正常存放，b图所示的情况为货物向左偏移，c图所示的情况为货物向右偏移，b图与c图都可以被视为存在货物位置偏
差。
91.步骤s303：对所述托盘区域点云面信息进行托盘倾斜检测，获得托盘倾斜检测结果。
92.值得说明的是，对所述托盘区域点云面信息进行托盘倾斜检测是指检测托盘是否存在倾斜，其中，在正常情况下，托盘的位置与货架的位置相重合，是不会发生倾斜的，但是由于托盘摆放或者取货影响的原因，导致托盘发生倾斜，因此，需要先对托盘的角度进行倾斜检测，以便于后续进行货物取放。
93.进一步地，为了精准的检测托盘是否存在倾斜，所述步骤s303，包括：
94.对所述托盘区域点云信息进行点云聚类，获得目标托盘点云信息；
95.根据所述目标托盘点云信息确定第一侧距离平均值与第二侧距离平均值；
96.根据所述第一侧距离平均值与所述第二侧距离平均值确定平均距离差值；
97.将所述平均距离差值与预设托盘倾斜距离阈值进行对比，得到托盘倾斜检测结果。
98.需要说明的是，点云聚类是指将一个区域的点云通过拟合或者聚类的形式视为一个整体，以分别获取托盘两侧对应的第一侧距离平均值与第二侧距离平均值，其中，第一侧距离平均值与第二侧距离平均值分别是指四向穿梭机相对于托盘的左右两侧的左侧距离平局值与右侧距离平均值。
99.在具体实现中，通过聚类托盘面左右两侧点云，以获得左侧点云纵向平均值与右侧点云纵向平均值，再求出左侧点云纵向平均值与右侧点云纵向平均值之间的差值，当差值大于阈值时则认为托盘倾斜，其中预设托盘倾斜距离阈值可以是由用户设置的距离阈值，例如：5cm等，本实施例对此不做具体限制。
100.步骤s304：对所述路径区域点云面信息进行障碍物检测，获得障碍物检测结果。
101.应当理解的是，对所述路径区域点云面信息进行障碍物检测是指检测四向穿梭机的行驶区域上是否存在障碍物，其中，障碍物可以是货架或者其他杂物等，本实施例对此不做具体限制。
102.进一步地，所述步骤s304，包括：
103.获取所述路径区域点云面信息中的点云数量；
104.将所述点云数量与预设点云数量阈值进行对比，得到障碍物检测结果。
105.在具体实现中，通过检测路径区域中轨道范围内的点云数量，在点云数量大于预设点云数量阈值，则认为四向穿梭机的行驶路径上存在障碍物。
106.本实施例公开了通过预设区域划分模型对所述目标点云面信息进行区域划分，获得货物区域点云信息、托盘区域点云信息以及路径区域点云信息；对所述货物区域点云面信息进行货物位置检测，获得货物位置检测结果；对所述托盘区域点云面信息进行托盘倾斜检测，获得托盘倾斜检测结果；对所述路径区域点云面信息进行障碍物检测，获得障碍物检测结果，本实施例通过预设区域划分模型将采集到的额点云面信息进行区域划分，获得货物区域点云信息、托盘区域点云信息以及路径区域点云信息，再分别对货物区域点云信息进行货物位置检测、托盘区域点云信息进行托盘倾斜检测以及路径区域点云信息进行障碍物检测，以确定是否存在调度异常，极大的提高了四向穿梭机在复杂环境内的货物运输能力。
107.参考图7，图7为本发明一种调度异常检测方法第三实施例的流程示意图。
108.基于上述第一实施例，在本实施例中，所述步骤s20，包括：
109.步骤s201：获取在所述待检测方向上的初始点云面信息。
110.在本实施例中，只需要对货物、托盘以及行驶路径进行异常检测，但是通过深度相机获得深度点云中，可能存在其他的环境干扰，为了减少异常检测的工作量，提高检测效率，还可以预先与采集的初始点云面信息进行滤波处理。
111.其中，初始点云面信息是指通过深度相机直接采集到的点云面信息，该初始点云面信息中可能存在有其他背景或者杂物干扰。
112.步骤s202：通过预设点云滤波模型对所述初始点云面信息进行点云滤波。
113.需要说明的是，预设点云滤波模型用于对初始点云面信息进行点云滤波，以剔除明显的非货物、托盘面、障碍物点云，其中，预设点云滤波模型可以是基于pcl降采样函数构建的点云滤波模型，本实施例对此不做具体限制。
114.进一步地，所述步骤s202，包括：
115.获取初始点云面信息中的体素信息；
116.通过预设下采样模型对所述体素信息进行下采样处理，并调整所述体素信息中的体素大小与体素半径，以完成对所述初始点云面信息的点云滤波。
117.此外，在本实施例中，为稳定发布点云的频率，对超过某一阈值数目的点云进行稀疏化处理，其中，发布点云的频率的稳定性，可以通过监控topic频率或者调节半径滤波中半径点云阈值以及下采样中的体素大小来得出，本实施例对此不做具体限制。
118.步骤s203：获取目标点云法向量，并根据所述目标点云法向量对点云滤波后的点云面信息进行点云筛选，获得目标点云面信息。
119.在具体实现中，采用pcl降采样函数，通过控制体素大小，半径滤波，降噪，再通过点云的法向量做一个粗过滤，剔除明显的非货物、托盘面、障碍物点云，以获得可以用于异常检测的目标点云面信息。
120.本实施例公开了获取在所述待检测方向上的初始点云面信息；通过预设点云滤波模型对所述初始点云面信息进行点云滤波；获取目标点云法向量，并根据所述目标点云法向量对点云滤波后的点云面信息进行点云筛选，获得目标点云面信息，本实施例通过对深度相机采集的点云面图像进行滤波、过滤以及降噪等处理，以减少杂物或者背景对于异常检测的影响。
121.此外，本发明实施例还提出一种存储介质，所述存储介质上存储有调度异常检测程序，所述调度异常检测程序被处理器执行时实现如上文所述的调度异常检测方法的步骤。
122.由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
123.参照图8，图8为本发明调度异常检测装置第一实施例的结构框图。
124.如图8所示，本发明实施例提出的调度异常检测装置包括：
125.方向确定模块10，用于在接收到调度指令时，根据所述调度指令确定待检测方向。
126.信息获取模块20，用于获取在所述待检测方向上的目标点云面信息。
127.异常检测模块30，用于通过预设异常检测模型对所述目标点云面信息进行检测，
获得检测结果。
128.异常预警模块40，用于在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示。
129.本实施例公开了在接收到调度指令时，根据所述调度指令确定待检测方向；获取在所述待检测方向上的目标点云面信息；通过预设异常检测模型对所述目标点云面信息进行检测，获得检测结果；在所述检测结果为存在异常信息时，生成预警信息，并将所述预警信息发送至上位机进行显示，本实施例通过根据用户发出的调度指令确定待检测方向，并获取该待检测方向上的点云面信息，在通过预设异常检测模型对所述目标点云面信息进行检测，在该检测方向上的点云面信息存在异常信息时，向上位机进行预警，避免了四向穿梭车无法实现复杂环境下的货物运输的技术问题。
130.在一实施例中，所述异常检测模块30，还用于通过预设区域划分模型对所述目标点云面信息进行区域划分，获得货物区域点云信息、托盘区域点云信息以及路径区域点云信息；对所述货物区域点云面信息进行货物位置检测，获得货物位置检测结果；对所述托盘区域点云面信息进行托盘倾斜检测，获得托盘倾斜检测结果；对所述路径区域点云面信息进行障碍物检测，获得障碍物检测结果。
131.在一实施例中，所述异常检测模块30，还用于根据所述货物区域点云信息确定货物位置信息；根据所述货物位置信息与预设货物位置信息确定货物偏差距离；根据所述货物偏差距离，获得货物倾斜检测结果。
132.在一实施例中，所述异常检测模块30，还用于对所述托盘区域点云信息进行点云聚类，获得目标托盘点云信息；根据所述目标托盘点云信息确定第一侧距离平均值与第二侧距离平均值；根据所述第一侧距离平均值与所述第二侧距离平均值确定平均距离差值；将所述平均距离差值与预设托盘倾斜距离阈值进行对比，得到托盘倾斜检测结果。
133.在一实施例中，所述异常检测模块30，还用于获取所述路径区域点云面信息中的点云数量；将所述点云数量与预设点云数量阈值进行对比，得到障碍物检测结果。
134.在一实施例中，所述信息获取模块20，还用于获取在所述待检测方向上的初始点云面信息；通过预设点云滤波模型对所述初始点云面信息进行点云滤波；获取目标点云法向量，并根据所述目标点云法向量对点云滤波后的点云面信息进行点云筛选，获得目标点云面信息。
135.在一实施例中，所述信息获取模块20，还用于获取初始点云面信息中的体素信息；通过预设下采样模型对所述体素信息进行下采样处理，并调整所述体素信息中的体素大小与体素半径，以完成对所述初始点云面信息的点云滤波。
136.应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
137.需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
138.另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的调度异常检测方法，此处不再赘述。
139.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵
盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
140.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
141.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
142.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。