道路识别方法和装置与流程

1.本公开涉及地图技术领域，可应用于自动驾驶和智能交通领域。


背景技术：

2.随着机器人和自动驾驶的发展，基于激光雷达点云的三维感知技术发挥越来越重要的作用。激光雷达由于其优秀的距离测量能力，尤其在安全性非常重要的自动驾驶领域里得到了广泛的使用。其中，基于雷达点云的三维目标检测是自动驾驶感知能力的核心技术，也是后续跟踪、路径规划等的前提。
3.在移动测绘或者自动驾驶领域，随车获取到的点云数据是制作真三维高精地图、构建路面信息模型等等需求的直接数据来源，其中点云道路的识别是其能否高质量制图和建模的关键。


技术实现要素：

4.本公开提供了一种道路识别方法、装置、设备、存储介质以及计算机程序产品。
5.根据本公开的第一方面，提供了一种道路识别方法，包括：获取预定时间内按预定时序间隔采集的全景图像集合和点云数据；将全景图像集合中的全景图像分别进行图像语义分割，识别出每张全景图像中像素点的类别；将点云数据按扫描时间分段，抽取出预定时间内的中间时间段对应的目标点云数据；将目标点云数据分别映射到每张全景图像中，得到目标点云数据中每个点在不同全景图像中的类别集合；对每个点的类别集合进行统计分析，确定出类别为道路的点。
6.根据本公开的第二方面，提供了一种道路识别装置，包括：获取单元，被配置成获取预定时间内按预定时序间隔采集的全景图像集合和点云数据；分割单元，被配置成将全景图像集合中的全景图像分别进行图像语义分割，识别出每张全景图像中像素点的类别；分段单元，被配置成将点云数据按扫描时间分段，抽取出预定时间内的中间时间段对应的目标点云数据；映射单元，被配置成将目标点云数据分别映射到每张全景图像中，得到目标点云数据中每个点在不同全景图像中的类别集合；分析单元，被配置成对每个点的类别集合进行统计分析，确定出类别为道路的点。
7.根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
8.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
9.根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面所述的方法。
10.本技术实施例提供的道路识别方法和装置，基于多时序融合的全景影像，结合点
云分割和图像语语义分割，充分发挥图像丰富的纹理信息和点云数据的空间信息，大幅度提高点云数据的道路识别正确率，精确提取路面点云，为高精地图或者路面建模发挥重要作用。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1是本技术可以应用于其中的示例性系统架构图；
14.图2是根据本技术道路识别方法的一个实施例的流程图；
15.图3a-3c是根据本技术道路识别方法的一个实施例的效果图；
16.图4是根据本技术道路识别方法的又一个实施例的流程图；
17.图5a-5e是根据本技术道路识别方法的又一个实施例的效果图；
18.图6是根据本技术道路识别方法的应用场景的示意图；
19.图7是根据本技术检测目标的装置的一个实施例的结构示意图；
20.图8是适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.图1示出了可以应用本技术实施例的道路识别方法和装置的示例性系统架构100。
23.如图1所示，系统架构100可以包括无人车(也称自动驾驶车)101、102，网络103、数据库服务器104和服务器105。网络103用以在无人车101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
24.无人车101、102中安装有驾驶控制设备以及激光雷达、毫米波雷达等采集点云数据的设备。还安装有摄像头用于采集全景图像。驾驶控制设备(又称为车载大脑)负责无人车的智能控制。驾驶控制设备可以是单独设置的控制器，例如可编程逻辑控制器(programmable logic controller，plc)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。
25.需要说明的是，实践中无人车中还可以安装有至少一个传感器，例如，、重力传感器、轮速传感器等。某些情况下，无人车中还可以安装有gnss(global navigation satellite system，全球导航卫星系统)设备和sins(strap-down inertial navigation system，捷联惯性导航系统)等等。
26.数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以包括全景图像和与全景图像
对应的样本标签。这样，用户也可以通过无人车101、102，从数据库服务器104所存储的样本集中选取样本。
27.服务器105也可以是提供各种服务的服务器，例如对无人车101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用无人车101、102采集的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的图像语义分割模型)发送给无人车101、102。这样，用户可以应用生成的图像语义分割模型进行全景图像分割，再将分割结果与点云数据结合，从而识别出道路。
28.这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。数据库服务器104和服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。数据库服务器104和服务器105也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
29.需要说明的是，本技术实施例所提供的道路识别方法一般由服务器105执行。相应地，道路识别装置一般也设置于服务器中。在无人车处理能力强的情况下，也可由无人车执行本技术实施例所提供的道路识别方法。相应的，道路识别装置一般也设置于无人车中。
30.需要指出的是，在服务器105可以实现数据库服务器104的相关功能的情况下，系统架构100中可以不设置数据库服务器104。
31.应该理解，图1中的无人车、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的无人车、网络、数据库服务器和服务器。
32.继续参见图2，其示出了根据本技术的道路识别方法的一个实施例的流程200。该道路识别方法可以包括以下步骤：
33.步骤201，获取预定时间内按预定时序间隔采集的全景图像集合和点云数据。
34.在本实施例中，道路识别方法的执行主体(例如图1所示的服务器或无人车)可以从无人车获取全景图像和点云数据。无人车的摄像头按预定时序间隔(例如1张/秒)采集全景图像，激光雷达也按预定扫描时间采集点云数据。每次根据预定时间内采集的全景图像进行道路识别，可以提高检测精度。例如，获取2秒内连续3张全景图像和2秒内扫描到的点云数据。无人车在行驶过程中可实时采集全时序全景图像和点云数据。可分段针对预定时间内的全景图像和点云数据执行步骤202-205，然后再将识别结果汇总，得到完整的道路信息。例如，先根据0-2秒的数据识别道路，再根据2-4秒的数据识别道路，以此类推，可以实时识别道路信息，最终得到完整的道路识别结果。
35.优选的，全景图像的数量为奇数，这样可以在点云映射到全景图像的类别不同时，根据少数服从多数的原则确定点云的类别。
36.步骤202，将全景图像集合中的全景图像分别进行图像语义分割，识别出每张全景图像中像素点的类别。
37.在本实施例中，可通过图像语义分割模型(例如efficientps)将全景图像集合中的全景图像分别进行图像语义分割。如图3a所示，左侧为原始的全景图像，右侧为分割后的全景图像。不同颜色的像素点代表了不同类别。从而可以从全景图像中提取出道路区域。
38.步骤203，将点云数据按扫描时间分段，抽取出预定时间内的中间时间段对应的目
标点云数据。
39.在本实施例中，按照全景影像的采集时序间隔(如每帧图像的采集间隔为1s)和采集时间，对应于点云自身的扫描时间(gpstime)属性，将点云按照gpstime进行分段，将处于同一时序内的点云分为一段。例如：t-1，t,t 1秒分别拍摄三帧全景图像，则t时刻对应的t时序段为t-0.5到t 0.5秒的这一秒时间段，将这一秒时间内扫描的点云分为一段。将抽取出的点云数据作为目标点云数据。
40.步骤204，将目标点云数据分别映射到每张全景图像中，得到目标点云数据中每个点在不同全景图像中的类别集合。
41.在本实施例中，可将点云数据从世界坐标系下转换到图像坐标系。可采用常规的坐标系转换方法，先将点云数据从世界坐标系下转换到相机坐标系，再从相机坐标系转换到图像坐标系。需要的先验知识和条件：相机标定、激光雷达和相机联合标定、相机内参、相机和雷达外参。从而将目标点云数据中每个点映射到全景图像中，可将全景图像中相同坐标像素点的类别当作点云的类别。同一激光点映射到不同的全景图像中得到的类别可能不同，需要进一步统计分析确定其类别。如图3b所示，从上到下依次为t-1，t，t 1时序段点云坐标计算到t时刻全景图像上效果。
42.步骤205，对每个点的类别集合进行统计分析，确定出类别为道路的点。
43.在本实施例中，每个激光点从不同时刻的图像中分别获取类别信息。每个激光点获得多个分类值，取多个分类值的众数值作为最终点云的分类值。例如，一个激光点映射到5帧全景图像中，如果有3帧全景图像的类别为道路，则该激光点的类别为道路。
44.本技术实施例提供的道路识别方法，利用了全景图像具有较高语义分割准确率的优点，提高了点云分类的准确度，为点云处理提供了新的思路和方向。在高精度地图制图和自动驾驶及智慧城市数据处理中具有非常高的实用价值。
45.在本实施例的一些可选的实现方式中，全景图像集合包括三张全景图像；以及对每个点的类别集合进行统计分析，确定出类别为道路的点，包括：对于目标点云数据中每个点，若该点在三张全景图像的类别均不同，则取中间时刻的全景图像对应的类别作为该点的类别，否则，取三个类别的众数值作为该点的类别；根据目标点云数据中每个点的类别确定出类别为道路的点。
46.采集过程中，点云的扫描是时间连续的，拍摄图像则是是间断的。
47.为使激光点的类别值对应足够多的影像数据参考，使用连续拍摄的三帧图像作为一段特定点云数据的匹配参照。
48.即当前时间为t时刻，t时序段的点云类别由t-1，t，t 1这3个时刻所拍摄的3帧图像所对应的分割图像进行对点云进行映射赋类(映射赋类：将点云单点坐标计算到分割图像中，该图像像素代表的分类类别即为该点云单点的类别)。如此每个激光点从三帧不同时刻的图像中分别获取类别信息。每个激光点获得三个分类值，取三个分类值的众数值作为最终点云的分类值，若三个值各不相同，则取t时刻分割图像映射赋类的类别值。
49.使用连续的3张分割图像融合在对应时间的一段点云中，由于图像中存在汽车等移动物体，部分被遮挡及类别冲突的激光点可根据其中2张图像对应的类别来确定，减少了错分的概率。如图3c所示，从上到下依次为：t时序段点云，从t-1，t，t 1图像中获得的分类值。
50.在本实施例的一些可选的实现方式中，将目标点云数据分别映射到每张全景图像中，包括：将目标点云数据的世界坐标转换成当地水平坐标；将当地水平坐标转换成惯性传感器坐标；将惯性传感器坐标转换成全景球坐标；将全景球坐标转换成分割图像二维坐标；将分割图像二维坐标分别映射到每张全景图像中。
51.点云数据坐标转换为图像坐标的方法，还可利用共线关系来转换点云坐标系。
52.1)将世界坐标系转换为当地水平坐标系，计算公式为
[0053][0054][0055]
式中：[x,y,z]
native
为点云当地水平坐标；[x,y,z]
world
为点云大地坐标；[x,y,z]
img
为图像拍摄时对应位置坐标；e
world
为世界坐标转换矩阵；b,l,h为图像对应大地坐标。
[0056]
2)将当地水平坐标系转换为惯性传感器坐标，计算公式为
[0057][0058][0059]
式中：[x,y,z]
imu
为惯性传感器坐标；e
native
为当地水平坐标转换矩阵；α为横滚角；β俯仰角；γ为偏航角。
[0060]
3)惯性传感器坐标转换为全景球坐标，计算公式为
[0061][0062][0063]
式中：[x,y,z]g为全景球坐标，也可写作[xg,yg,zg]；δxδyδz为坐标系的三个平移量；r为点云到球心的距离；l为全景球半径；ek为转换矩阵。
[0064]
4)全景球坐标对应的分割图像二维坐标，计算公式为
[0065]
[0066][0067]
式中：(xs,ys)为图像中像素的二维坐标。
[0068]
这种坐标转换方式不需要进行相机参数标定。
[0069]
请参见图4，其示出了本技术提供的道路识别方法的一个实施例的流程400。该道路识别方法可以包括以下步骤：
[0070]
步骤401，获取预定时间内按预定时序间隔采集的全景图像集合和点云数据。
[0071]
步骤402，将全景图像集合中的全景图像分别进行图像语义分割，识别出每张全景图像中像素点的类别。
[0072]
步骤403，将点云数据按扫描时间分段，抽取出预定时间内的中间时间段对应的目标点云数据。
[0073]
步骤404，将目标点云数据分别映射到每张全景图像中，得到目标点云数据中每个点在不同全景图像中的类别集合。
[0074]
步骤405，对每个点的类别集合进行统计分析，确定出类别为道路的点。
[0075]
步骤401-405与步骤201-205基本相同，因此不再赘述。
[0076]
步骤406，对目标点云数据进行平面拟合分割，得到至少一个点云平面，将至少一个点云平面中包括道路的点的点云平面确定为预分类道路平面。
[0077]
在本实施例中，可利用常见三维霍夫变换，对点云进行平面拟合分割，得到各个分割平面点云。每个平面中包含多个点云。如图5a(原始点云)和图5b(平面分割点云)所示。利用步骤405中的粗分类结果(如图5c所示)，对每个平面点云进行道路类别的精细分类。判断每个平面中的点云是否存在粗分类结果中的道路点类别。若该平面中包含粗分类的道路点，则该分割平面为预分类道路平面。
[0078]
可选地，可将全时序的点云识别结果合并后，再进行平面拟合分割。
[0079]
步骤407，从预分类道路平面集合中过滤掉非道路平面。
[0080]
在本实施例中，对预分类道路平面分析，剔除潜在的错误平面：
[0081]
剔除条件：1、平面中路面点类在整个平面点中所占的比例p，2、平面法向量与竖直方向的夹角t。
[0082]
按照以下原则，对预分类道路平面进行分析：
[0083]
如果t》第一角度(例如45度)，则该平面设为非道路平面；
[0084]
如果t》第二角度(例如25度)并且p《预定比例阈值(例如0.75,)则该平面设为非道路平面。
[0085]
其中，第一角度大于第二角度。这样可以过滤掉马路牙子、围墙等物体的侧面区域。
[0086]
步骤408，将从预分类道路平面集合中筛选出的道路平面中的点全部设为道路点。
[0087]
在本实施例中，将步骤407中剩余的预分类道路平面中的点全部设为道路点，完成点云道路识别的细分类(如图5d所示)。经过纹理贴图后最终道路点云提取结果图5e所示，具有较高精度的路面边缘并且没有将车辆点错分为路面点和路缘点。
[0088]
本实施例的道路识别方法，结合了前沿的点云平面分割方法和全景图像的语义分割方法，利用了全景图像具有较高语义分割准确率的优点和点云平面分割具有较高局部信
息一致性的优点，将两者优点结合到一起，进一步提高了点云分类的准确度，为点云处理提供了新的思路和方向。在高精度地图制图和自动驾驶及智慧城市数据处理中具有非常高的实用价值。
[0089]
进一步参见图6，图6是根据本实施例的道路识别方法的一个应用场景的示意图。在图6的应用场景中，无人车在行驶过程中实时采集全景图像和点云数据。无人车通过图像语义分割模型对全景图像进行识别，从每张全景图像中提取出道路区域。无人车还将原始点云数据进行分段。对于t时序的点云数据，需要t-1、t、t 1三个时刻的全景图像的道路区域辅助识别。将t时序的点云数据分别映射到这3张全景图像中，得到同一激光点在不同全景图像中的类别，如果至少2张全景图像中的类别表示该激光点是道路，则该激光点是道路。此时得到的是粗分类结果。再将每个时序的点云的粗分类结果合并后进行细分类。基于路面点的三维霍夫变化对对点云进行平面拟合分割。再进行分析剔除潜在的错误平面，局部优化点云细分类结果。最后再将细分类为道路的平面点全部设为道路点，得到最终道路图。
[0090]
继续参见图7，作为对上述各图所示方法的实现，本技术提供了一种道路识别装置的一个实施例。该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0091]
如图7所示，本实施例的道路识别装置700可以包括：获取单元701、分割单元702、分段单元703、映射单元704和分析单元705。其中，获取单元701，被配置成获取预定时间内按预定时序间隔采集的全景图像集合和点云数据；分割单元702，被配置成将全景图像集合中的全景图像分别进行图像语义分割，识别出每张全景图像中像素点的类别；分段单元703，被配置成将点云数据按扫描时间分段，抽取出预定时间内的中间时间段对应的目标点云数据；映射单元704，被配置成将目标点云数据分别映射到每张全景图像中，得到目标点云数据中每个点在不同全景图像中的类别集合；分析单元705，被配置成对每个点的类别集合进行统计分析，确定出类别为道路的点。
[0092]
在本实施例的一些可选的实现方式中，装置700还包括拟合单元(附图中未示出)，被配置成：对目标点云数据进行平面拟合分割，得到至少一个点云平面；将至少一个点云平面中包括道路的点的点云平面确定为预分类道路平面。
[0093]
在本实施例的一些可选的实现方式中，分析单元705进一步被配置成：将平面法向量与竖直方向的夹角大于第一角度的预分类道路平面确定为非道路平面。
[0094]
在本实施例的一些可选的实现方式中，分析单元705进一步被配置成：将平面法向量与竖直方向的夹角大于第二角度，并且平面中道路点在整个平面点中占比小于预定比例阈值的预分类道路平面确定为非道路平面。
[0095]
在本实施例的一些可选的实现方式中，分析单元705进一步被配置成：将从预分类道路平面集合中筛选出的道路平面中的点全部设为道路点。
[0096]
在本实施例的一些可选的实现方式中，全景图像集合包括三张全景图像；以及分析单元705进一步被配置成：对于目标点云数据中每个点，若该点在三张全景图像的类别均不同，则取中间时刻的全景图像对应的类别作为该点的类别，否则，取三个类别的众数值作为该点的类别；根据目标点云数据中每个点的类别确定出类别为道路的点。
[0097]
在本实施例的一些可选的实现方式中，映射单元704进一步被配置成：将目标点云
数据的世界坐标转换成当地水平坐标；将当地水平坐标转换成惯性传感器坐标；将惯性传感器坐标转换成全景球坐标；将全景球坐标转换成分割图像二维坐标；将分割图像二维坐标分别映射到每张全景图像中。
[0098]
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0099]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0100]
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行流程200或400所述的方法。
[0101]
一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行流程200或400所述的方法。
[0102]
一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现流程200或400所述的方法。
[0103]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0104]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0105]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0106]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如道路识别方法。例如，在一些实施例中，道路识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的道路识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行道路识别方法。
[0107]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0108]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0109]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0110]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0111]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0112]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0113]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例
如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0114]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。