一种障碍物展示方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及计算机视觉、增强现实(ar)、自动驾驶、车联网等领域。


背景技术：

2.在车辆行驶、泊车等场景中关注驾驶安全是尤为重要的问题，比如车辆行驶过程中突然闯入的人，泊车过程中车辆周边区域的其他车辆等，这些都是影响驾驶安全的障碍物。如何展示障碍物，从而提醒用户避开障碍物以提高驾驶安全是要解决的问题。


技术实现要素：

3.本公开提供了一种障碍物展示方法、装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种障碍物展示方法，包括：
5.根据采集的多视角图像进行图像拼接处理，得到全景图像；所述全景图像用于表征车辆周边区域各个视角位置的图像；
6.从所述多视角图像中的第一图像中解析出障碍物信息，根据所述障碍物信息得到ar目标对象；
7.在所述车辆的车载终端展示所述全景图像、及叠加在所述全景图像上位置动态调整的所述ar目标对象。
8.根据本公开的另一方面，提供了一种障碍物展示装置，包括：
9.拼接单元，用于根据采集的多视角图像进行图像拼接处理，得到全景图像；所述全景图像用于表征车辆周边区域各个视角位置的图像；
10.解析单元，用于从所述多视角图像中的第一图像中解析出障碍物信息，根据所述障碍物信息得到增强现实ar目标对象；
11.展示单元，用于在所述车辆的车载终端展示所述全景图像、及叠加在所述全景图像上位置动态调整的所述ar目标对象。
12.根据本公开的另一方面，提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与该至少一个处理器通信连接的存储器；其中，
15.该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
16.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
17.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
18.采用本公开，可以根据采集的多视角图像进行图像拼接处理，得到全景图像，该全景图像用于表征车辆周边区域各个视角位置的图像。从该多视角图像中的第一图像中解析
出障碍物信息，可以根据该障碍物信息得到ar目标对象，在该车辆的车载终端展示该全景图像、及叠加在该全景图像上位置动态调整的该ar目标对象，从而，可以提高驾驶安全。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本公开的限定。其中：
21.图1是根据本公开实施例的车辆与云端后台服务器通信的应用场景示意图；
22.图2是根据本公开实施例的障碍物展示方法的流程示意图；
23.图3是根据本公开实施例的应用示例中泊车过程展示引导线的应用场景示意图；
24.图4是根据本公开实施例的应用示例中车辆行驶过程多摄像头多视角采集的应用场景示意图；
25.图5-图7是根据本公开实施例的应用示例中车辆行驶过程多视角展示ar目标对象的应用场景示意图；
26.图8是根据本公开实施例的应用示例中泊车过程多视角中任一视角展示ar目标对象的应用场景示意图；
27.图9是根据本公开实施例的应用示例中泊车过程多视角中任一视角展示ar目标对象与车辆间感知交互的应用场景示意图；
28.图10是根据本公开实施例的障碍物展示装置的组成结构示意图；
29.图11是用来实现本公开实施例的障碍物展示方法的电子设备的框图。
具体实施方式
30.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
31.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
32.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
33.根据本公开的实施例，图1是根据本公开实施例的车辆与云端后台服务器通信的应用场景示意图，包括：后台服务器100、行驶的多个车辆(以车辆107-车辆109为例进行标识)，以及用于该后台服务器与该多个车辆间通信的“云”106。该后台服务器一侧可以采用
该分布式集群系统，示例性的描述了可以利用该分布式集群系统收集该多个车辆上报的数据，该分布式集群系统可以作为用于控制该多个车辆的云控平台，辅助该多个车辆处理诸如车辆定位、车辆数据分析、车辆避障、车辆调度、车辆报警等操作。其中，以车辆避障为例，一种情况可以是基于该多个车辆上报的图像数据(如车辆采集的多视角图像)进行图像拼接处理，得到全景图像，从多视角图像中解析出障碍物信息并据此生成对应障碍物的ar目标对象，将该ar目标对象和该全景图像返回给相应车辆，以便该车辆可以自行进行叠加处理，以最终在车载终端展示出该全景图像、及叠加在该全景图像上位置动态调整的该ar目标对象，从而，可以根据所展示的该ar目标对象实现避障操作。另一种情况可以是基于该多个车辆上报的图像数据(如车辆采集的多视角图像)进行图像拼接处理，得到全景图像，从多视角图像中解析出障碍物信息并据此生成对应障碍物的ar目标对象，将该ar目标对象叠加在该全景图像后返回给相应车辆，以便车载终端可以直接展示出该全景图像、及叠加在该全景图像上位置动态调整的该ar目标对象，从而，可以根据所展示的该ar目标对象实现避障操作。如图1所示，在该分布式集群系统中包括多个节点(如服务器集群101、服务器102、服务器集群103、服务器104、服务器105)，以车辆避障为例，多个节点间可以共同执行一个或多个与车辆避障相关的处理任务(如图像拼接处理、图像解析处理、叠加ar目标对象到全景图像的处理等)。可选地，该分布式集群系统中的多个节点可以基于车辆避障的全部流程执行该车辆调度任务，该多个节点也可以分别执行车辆避障的部分流程，并以协同合作的方式共同执行该车辆避障任务。可选地，在每一轮车辆避障任务完成后，多个节点之间都可以进行数据交换(如数据同步)。
34.根据本公开的实施例，提供了一种障碍物展示方法，图2是根据本公开实施例的障碍物展示方法的流程示意图，该方法可以应用于障碍物展示装置，例如，该装置可以部署于终端、集群系统或其它处理设备执行的情况下，可以实现障碍物展示等处理。其中，终端可以为用户设备(ue，user equipment)、移动设备、个人数字处理(pda，personal digital assistant)、手持设备、计算设备、车载终端、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，该方法可以应用于图1所示的任一车辆的车载终端中，包括：
35.s201、根据采集的多视角图像进行图像拼接处理，得到全景图像；所述全景图像用于表征车辆周边区域各个视角位置的图像。
36.s202、从所述多视角图像中的第一图像中解析出障碍物信息，根据所述障碍物信息得到增强现实ar目标对象。
37.s203、在所述车辆的车载终端展示所述全景图像、及叠加在所述全景图像上位置动态调整的所述ar目标对象。
38.s201-s203的一示例中，车辆可以采集多视角图像，如通过位于车辆前/后/左/右的传统摄像头及红外摄像头采集第一视角图像、第二视角图像、第三视角图像及第四视角图像，该第一视角图像、该第二视角图像、该第三视角图像及该第四视角图像构成该多视角图像。其中，传统摄像头及红外摄像头的类型和数量可以根据场景需要配置，比如，在夜间场景或停车场能见度不高的泊车场景中，车辆前/后/左/右都采用红外摄像头，或者至少在车辆前/后采用红外摄像头，以避免追尾等交通事故，提高驾驶安全；比如，在白天场景中车辆前/后/左/右都采用传统摄像头。将该第一视角图像、该第二视角图像、该第三视角图像
及该第四视角图像进行图像拼接处理，得到该全景图像。从该多视角图像中的所有图像进行图像解析，如果从所有图像中的一个或多个图像中解析出障碍物信息，则根据该障碍物信息得到ar目标对象(如通过3d建模得到该ar目标对象)。最终，在车辆的车载终端展示用于避障操作的画面，该画面包括：该全景图像及叠加在该全景图像上的该ar目标对象(该ar目标对象的位置可以跟随车辆行驶过程中的位移进行动态调整)。
39.采用本公开，可以根据采集的多视角图像进行图像拼接处理，得到全景图像，该全景图像用于表征车辆周边区域各个视角位置的图像。从该多视角图像中的第一图像中解析出障碍物信息，可以根据该障碍物信息得到ar目标对象，在该车辆的车载终端展示该全景图像、及叠加在该全景图像上位置动态调整的该ar目标对象，从而，可以提高驾驶安全。
40.一实施方式中，从多视角图像中的第一图像中解析出障碍物信息，根据障碍物信息得到ar目标对象，获取障碍物信息数据库，对多视角图像中的第一图像进行解析，得到多个待识别对象。在障碍物信息数据库中查询该多个待识别对象，将与该障碍物信息数据库相匹配的待识别对象确定为障碍物信息。根据该障碍物信息进行3d建模处理，得到该ar目标对象。采用本实施方式，通过图像解析得到多个待识别对象，为了确定该多个待识别对象是否为障碍物，可以在障碍物信息数据库中进行查询，若查询到与该障碍物信息数据库相匹配的待识别对象，则认为该待识别对象为障碍物，进行3d建模处理后即可得到该ar目标对象，从而可以精确的识别出障碍物，并据此建模得到对应障碍物的ar目标对象，便于后续基于ar目标对象的展示进行避障操作，提高了驾驶安全。
41.一实施方式中，还包括：在多视角图像中的第一图像中解析出障碍物的情况下发起测距处理，得到该障碍物与该车辆之间的第一距离。采用本实施方式，发现障碍物，车辆可以发起测距处理，通过测距处理精准的得到障碍物与车辆之间的实际距离，便于后续实时检测该实际距离的变化，动态调整ar目标对象的展示位置。
42.一实施方式中，障碍物信息包括但不限于：行人、二轮车、三轮车、当前车辆周边的其他车辆、停车场的柱子，展位在停车场车位上的锥桶、地锁、禁停牌等。采用本实施方式，可以对各类障碍物信息进行解析及识别，识别精度高。
43.一实施方式中，还包括：在车辆行驶过程中，实时检测车辆的位置变化，继续执行测距处理，得到障碍物与车辆之间的第二距离。ar目标对象相对于该车辆的位置变化，可以基于该测距处理进行展示位置的动态调整，由第一距离调整为第二距离。采用本实施方式，可以实时检测障碍物与车辆之间的实际距离并动态捕捉该实际距离的变化，以便动态调整ar目标对象的展示位置，该展示位置由上一次测距处理得到的第一距离调整为经当前测距处理得到的第二距离。换言之，障碍物与车辆之间的实际距离是动态调整的，ar目标对象的位置也随之动态调整(即：叠加在全景图像上的该ar目标对象，其位置是动态调整的)。精准的捕捉该ar目标对象的位置变化，便于后续基于ar目标对象的展示进行避障操作，提高了驾驶安全。
44.一实施方式中，还包括：在车辆行驶过程中，实时检测车辆的位置变化，继续执行测距处理，得到障碍物与车辆之间的第三距离，在第三距离小于等于安全距离阈值的情况下发出报警提示信息。采用本实施方式，除了可以通过测距处理来精准的捕捉该ar目标对象的位置变化，还可以根据测距处理，车辆感知到与该障碍物之间的距离小于等于安全距离阈值，从而及时发出报警提示信息给驾驶员，提高了驾驶安全。
45.下面对上述本公开实施例提供的障碍物展示方法进行示例说明。
46.在整个驾驶过程中关注驾驶安全是尤为重要的问题，比如道路上行驶的车辆会遇到突然闯入的人，道路检修时路面上设有故障，这些都是影响驾驶安全的障碍物。尤其在泊车场景中提高驾驶安全更为重要，虽然泊车场景中车速较慢，但是泊车场景多在停车场，停车场的环境昏暗、道路狭窄且有很多障碍物，而且泊车的倒车过程还会有视觉盲区。
47.可以通过车辆搭载全景式监控影像系统(around view monitor，avm)进行辅助，以提高驾驶安全。图3是根据本公开实施例的应用示例中泊车过程展示引导线的应用场景示意图，如图3所示，包括车辆301，在车辆301上设置的车载终端304及多个停车位(如停车位302-停车位303)，车辆301在进入停车场后自动开启该avm，并在车载终端304的显示屏上显示avm画面，以根据该avm画面进行泊车操作。在倒车时切换avm画面中的视图，显示相应的引导信息(如一对引导线305)以进行泊车引导。考虑到在动态驾驶过程中，驾驶员往往需要仔细分辨avm画面中的该引导信息后再做出正确的判断和人工决策，费时且准确率不高。
48.无论是在车辆行驶场景或泊车场景中，都需要驾驶员关注车辆周边的障碍物，在泊车场景中还需要将障碍物的识别及展示与上述引导信息相结合，以更好的辅助安全驾驶过程。针对该障碍物的识别及展示，可以在该avm画面中叠加与障碍物对应的ar目标对象，考虑到ar目标对象的位置可以跟随车辆的移动进行动态调整，且车辆与ar目标对象之间存在用于标识空间位置关系的深度信息，提高了感知能力，无需驾驶员根据avm画面进行人工决策，便于驾驶员快速了解周边障碍物以及距离信息，从而提高了驾驶安全。以下结合图4-图9具体阐述如下。
49.图4是根据本公开实施例的应用示例中车辆行驶过程多摄像头多视角采集的应用场景示意图，如图4所示，包括车辆401，在车辆401上设置的车载终端404，在车辆401的前/后/左/右位置还设置有摄像头(如传统摄像头和/或红外摄像头)，分别记为摄像头a、摄像头b、摄像头c、摄像头d，通过摄像头a采集第一视角图像，通过摄像头b采集第二视角图像，通过摄像头c采集第三视角图像，通过摄像头d采集第四视角图像，对该第一视角图像、该第二视角图像、该第三视角图像及该第四视角图像进行图像拼接处理，得到全景图像。其中，该第一视角图像、该第二视角图像、该第三视角图像及该第四视角图像构成多视角图像。在车辆401的行驶过程中车载控制模块与车载终端404进行交互，开启avm并在车载终端404的显示屏上显示avm画面，以根据该avm画面辅助车辆驾驶操作。
50.图5-图7是根据本公开实施例的应用示例中车辆行驶过程多视角展示ar目标对象的应用场景示意图，如图5所示为进行图像拼接处理后得到的全景图像，开启avm后可以在车载终端的显示屏上显示avm画面，以根据该avm画面中的全景图像辅助车辆驾驶操作。该全景图像中叠加ar目标对象(如行人)，并根据车辆的位置变化动态展示该ar目标对象与车辆之间的距离。需要指出的是，开启avm后不仅可以在车载终端的显示屏上显示avm画面中的全景图像及叠加的该ar目标对象，还可以根据驾驶需要在avm画面中切换多视角图像中的不同视图。如图6所示为多视角图像中的前视图，可以在前视图根据车辆的位置变化动态展示该该ar目标对象与车辆之间的距离，相应的，还可以发出报警提示信息“请注意车辆周围的环境！”。如图7所示为多视角图像中的左右视图，可以根据左右视图监控左侧道路及右侧道路的路口及周边环境信息。
51.图8所示为泊车场景中多视角展示ar目标对象的应用场景示意图，如图8所示以多
视角图像中的后视图为例，开启avm后不仅可以在车载终端的显示屏上显示avm画面中的全景图像，还可以切换到后视图显示，并在后视图中叠加ar目标对象(如停车位的障碍物)。
52.图9是根据本公开实施例的应用示例中泊车过程多视角中任一视角展示ar目标对象与车辆间感知交互的应用场景示意图，如图9所示，包括车辆901，在车辆901上设置的车载终端904及多个停车位(如停车位902-停车位903)，车辆901在进入停车场后自动开启该avm，并在车载终端904的显示屏(可以为具备人机交互功能的hmi人机界面)上显示avm画面，以根据该avm画面进行泊车操作。在车辆901的前/后/左/右位置还设置有摄像头(如传统摄像头和/或红外摄像头)，分别记为摄像头a、摄像头b、摄像头c、摄像头d，通过摄像头a采集第一视角图像，通过摄像头b采集第二视角图像，通过摄像头c采集第三视角图像，通过摄像头d采集第四视角图像，在车载控制模块(图中未显示)中对该第一视角图像、该第二视角图像、该第三视角图像及该第四视角图像进行图像拼接处理，得到全景图像。如果泊车操作为倒车，则采集方向盘转动角度，生成倒车引导线，即：在倒车时切换avm画面中的视图，显示相应的引导信息(如一对倒车引导线905)以进行泊车引导。
53.在动态驾驶过程中，驾驶员不需要分辨avm画面中的该引导信息再做出正确的判断和人工决策，只需要结合在该avm画面中显示的该全景图像、及在该全景图像上叠加的ar目标对象906’(如障碍物906对应的ar目标对象)，通过测距处理(如通过设置于车辆的超声波雷达发出超声波后遇到障碍物的反弹，从而计算出车辆与障碍物之间的距离)得到用于表示车辆与ar目标对象906’之间的深度信息就可以直接决策(比如执行避障操作后泊车)，通过该深度信息增加了空间感知能力，省时且驾驶安全高。其中，该ar目标对象906’还可以在其外边框叠加显著的报警提示标识，该报警提示标识可以根据实时的测距处理进行变化，比如，车辆距离该ar目标对象906’还有15厘米，在该ar目标对象906’上叠加黄色标识进行提醒，车辆距离该ar目标对象906’还有10厘米，安全距离越来越小，则该ar目标对象906’上叠加的黄色标识变为红色标识。还可以根据实时的测距处理发出不同的报警提示声音，以提高驾驶安全。
54.根据本公开的实施例，提供了一种障碍物展示装置，图10是根据本公开实施例的障碍物展示装置的组成结构示意图，如图10所示，障碍物展示装置1000包括：拼接单元1001，用于根据采集的多视角图像进行图像拼接处理，得到全景图像；所述全景图像用于表征车辆周边区域各个视角位置的图像；解析单元1002，用于从所述多视角图像中的第一图像中解析出障碍物信息，根据所述障碍物信息得到增强现实ar目标对象；展示单元1003，用于在所述车辆的车载终端展示所述全景图像、及叠加在所述全景图像上位置动态调整的所述ar目标对象。
55.一实施方式中，所述解析单元，用于获取障碍物信息数据库；对所述多视角图像中的第一图像进行解析，得到多个待识别对象；在所述障碍物信息数据库中查询所述多个待识别对象，将与所述障碍物信息数据库相匹配的待识别对象确定为所述障碍物信息；根据所述障碍物信息进行3d建模处理，得到所述ar目标对象。
56.一实施方式中，还包括测距单元，用于在所述多视角图像中的第一图像中解析出障碍物的情况下发起测距处理，得到所述障碍物与所述车辆之间的第一距离。
57.一实施方式中，还包括位置动态调整单元，用于在所述车辆行驶过程中，实时检测所述车辆的位置变化，继续执行所述测距处理，得到所述障碍物与所述车辆之间的第二距
离；所述ar目标对象相对于所述车辆的位置变化，基于所述测距处理进行展示位置的动态调整，由所述第一距离调整为所述第二距离。
58.一实施方式中，还包括报警单元，用于在所述车辆行驶过程中，实时检测所述车辆的位置变化，继续执行所述测距处理，得到所述障碍物与所述车辆之间的第三距离；所述第三距离小于等于安全距离阈值的情况下，发出报警提示信息。
59.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
60.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
61.图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
62.如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(rom)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(ram)1103中的计算机程序，来执行各种适当的动作和处理。在ram 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、rom 1102以及ram 1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。
63.电子设备1100中的多个部件连接至i/o接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
64.计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如障碍物展示方法。例如，在一些实施例中，障碍物展示方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由rom 1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到ram 1103并由计算单元1101执行时，可以执行上文描述的障碍物展示方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行障碍物展示方法。
65.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器
可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
66.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
67.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
68.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
69.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
70.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
71.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
72.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。