路径规划方法、装置、电子设备及可读存储介质与流程

1.本公开的实施例涉及路径规划技术领域，尤其涉及一种路径规划方法、装置、电子设备及可读存储介质。


背景技术：

2.路径规划需要求解的是在一定约束条件下一组顶点的最优访问顺序，是外卖配送、物流、出行等场景下都会面临的基础问题。在外卖配送场景中，路径规划需要计算的是骑手配送过程中，应该按照怎样的顺序访问外卖运单的取点和送点。例如，a取和a送分别为运单a的取点和送点，对于部分运单，可能已经完成了取餐动作，因此只有送点，例如c送。在路径规划的过程中需要考虑各个点的位置、时间约束等，规划出骑手访问这些路径点的合理顺序。路径规划是外卖配送场景中的关键问题，外卖配送中的运单指派、骑手调度等各项决策都需要准确的路径规划。作为行业内最领先和最复杂的多人多点实时调度系统，“美团超脑”在高峰时期每小时执行路径规划算法约29亿次，路径规划算法的求解性能和质量会对调度环节带来显著影响。
3.传统的路径规划方法包括元启发式方法和深度学习方法等，然而，元启发式方法在每次迭代过程中对解的调整可能很小，需要较多轮迭代搜索才能获得较好的解，时间消耗较大，最终可能会因会时间有限，迭代次数不足影响求解质量；而深度学习方法对于模型结构和参数有很大的依赖性，通常需要反复调整才能获得较理想效果，对于部分问题场景，例如路径较长的时候，求解效果不够理想。


技术实现要素：

4.本公开的实施例提供一种路径规划方法、装置、电子设备及可读存储介质，用以减少所需的迭代次数和求解时间，可以避免对于网络单次求解质量的依赖，通过若干次迭代，不断尝试对当前解进行改进，从而找到更好的解。
5.根据本公开的实施例的第一方面，提供了一种路径规划方法，包括：
6.根据目标用户持有的订单，获取多个位置对应的初始规划路径、所述目标用户对应的用户特征信息和所述订单对应的订单信息；
7.将所述初始规划路径、所述用户特征信息和所述订单信息输入至训练好的路径规划模型，并由所述路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成所述多个位置对应的第一规划路径；
8.在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径；
9.将所述第二规划路径更新为所述第一规划路径，迭代执行设定次数的所述在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径的步骤；
10.在迭代执行设定次数后，获取由所述路径规划模型输出的所述多个位置对应的目标规划路径。
11.可选地，在所述将所述初始规划路径、所述用户特征信息和所述订单信息输入至训练好的路径规划模型之前，还包括：
12.将所述初始规划路径、所述用户特征信息和所述订单信息输入至初始路径规划模型，并由所述初始路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成中间规划路径；
13.将所述中间规划路径和所述初始规划路径代入目标路径函数，得到所述初始规划路径对应的初始函数值，及所述中间规划路径对应的中间函数值；
14.在所述初始函数值小于所述中间函数值的情况下，更新所述初始路径规划模型的模型参数；
15.将所述初始规划路径更新为所述中间规划路径，并迭代执行所述将所述初始规划路径、所述用户特征信息和所述订单信息输入至初始路径规划模型，至所述更新所述初始路径规划模型的模型参数的步骤，直至所述初始函数值大于或者等于所述中间函数值。
16.可选地，所述由所述路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成所述多个位置对应的第一规划路径，包括：
17.调用所述路径规划模型的特征编码层对所述用户特征信息和订单信息进行编码，分别得到用户特征编码和订单编码；
18.调用所述路径规划模型的解码层对所述用户特征编码和所述订单编码进行解码处理，获取所述多个位置对应的位置概率，并根据所述位置概率生成所述多个位置对应的第一规划路径。
19.可选地，所述根据所述位置概率生成所述多个位置对应的第一规划路径，包括：
20.根据所述位置概率，按照位置概率由高到低的顺序对所述多个位置进行排序，得到所述第一规划路径。
21.可选地，所述用户特征信息包括用户配送效率信息、接单上限信息和骑手当前已接单数量信息，所述订单信息包括：待接单位置信息和送单位置信息。
22.根据本公开的实施例的第二方面，提供了一种路径规划装置，包括：
23.初始规划路径获取模块，用于根据目标用户持有的订单，获取多个位置对应的初始规划路径、所述目标用户对应的用户特征信息和所述订单对应的订单信息；
24.第一规划路径生成模块，用于将所述初始规划路径、所述用户特征信息和所述订单信息输入至训练好的路径规划模型，并由所述路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成所述多个位置对应的第一规划路径；
25.第二规划路径获取模块，用于在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径；
26.路径规划迭代执行模块，用于将所述第二规划路径更新为所述第一规划路径，迭代执行设定次数的所述第二规划路径获取模块；
27.目标规划路径获取模块，用于在迭代执行设定次数后，获取由所述路径规划模型输出的所述多个位置对应的目标规划路径。
28.可选地，还包括：
29.中间规划路径生成模块，用于将所述初始规划路径、所述用户特征信息和所述订单信息输入至初始路径规划模型，并由所述初始路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成中间规划路径；
30.中间函数值获取模块，用于将所述中间规划路径和所述初始规划路径代入目标路径函数，得到所述初始规划路径对应的初始函数值，及所述中间规划路径对应的中间函数值；
31.模型参数更新模块，用于在所述初始函数值小于所述中间函数值的情况下，更新所述初始路径规划模型的模型参数；
32.模型参数循环更新模块，用于将所述初始规划路径更新为所述中间规划路径，并迭代执行所述中间函数值获取模块和所述模型参数更新模块，直至所述初始函数值大于或者等于所述中间函数值。
33.可选地，所述第一规划路径生成模块包括：
34.特征信息编码单元，用于调用所述路径规划模型的特征编码层对所述用户特征信息和订单信息进行编码，分别得到用户特征编码和订单编码；
35.第一规划路径生成单元，用于调用所述路径规划模型的解码层对所述用户特征编码和所述订单编码进行解码处理，获取所述多个位置对应的位置概率，并根据所述位置概率生成所述多个位置对应的第一规划路径。
36.可选地，所述第一规划路径生成单元包括：
37.第一规划路径获取子单元，用于根据所述位置概率，按照位置概率由高到低的顺序对所述多个位置进行排序，得到所述第一规划路径。
38.可选地，所述用户特征信息包括用户配送效率信息、接单上限信息和骑手当前已接单数量信息，所述订单信息包括：待接单位置信息和送单位置信息。
39.根据本公开的实施例的第三方面，提供了一种电子设备，包括：
40.处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一项所述的路径规划方法。
41.根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的路径规划方法。
42.本公开的实施例提供了一种路径规划方法、装置、电子设备及可读存储介质。通过根据目标用户持有的订单，获取多个位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，将初始规划路径、用户特征信息和订单信息输入至训练好的路径规划模型，并由路径规划模型根据用户特征信息和所述订单信息对所述初始规划路径进行处理，生成多个位置对应的第一规划路径，在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径，将第二规划路径更新为第一规划路径，迭代执行设定次数的在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径的步骤，在迭代执行设定次数后，获取由路径规划模型输出的多个位置对应的目标规划路径。本公开的实施例通过借助强化学习和深度神经网络，
自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间，且借助元启发式框架，避免对于网络单次求解质量的依赖，通过若干次迭代，不断尝试对当前解进行改进，从而找到更好的规划路径。
附图说明
43.为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1为本公开的实施例提供的一种路径规划方法的步骤流程图；
45.图2为本公开的实施例提供的另一种路径规划方法的步骤流程图；
46.图3为本公开的实施例提供的一种路径规划装置的结构示意图；
47.图4为本公开的实施例提供的另一种路径规划装置的结构示意图。
具体实施方式
48.下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。
49.实施例一
50.参照图1，示出了本公开的实施例提供的一种路径规划方法的步骤流程图，如图1所示，该路径规划方法具体可以包括如下步骤：
51.步骤101：根据目标用户持有的订单，获取多个位置对应的初始规划路径、所述目标用户对应的用户特征信息和所述订单对应的订单信息。
52.本公开实施例可以应用于为多个位置进行路径规划的场景中。
53.目标用户是指需要进行路径规划的用户，在本实施例中，目标用户可以为订单配送用户等。
54.多个位置是指目标用户持有订单中所包含的位置，可以理解地，一个订单配送用户可以接一个或多个订单(如外卖订单等)，每个订单对应于两个位置，即接单位置和送单位置。
55.初始规划路径是指根据目标用户持有订单中的多个位置进行初始规划得到的路径，在本示例中，初始规划路径可以是按照订单中多个位置距离目标用户的远近距离进行依次排序得到的规划路径(由近及远的顺序)等等，具体地，对于初始规划路径的获取方式可以根据业务需求而定，本实施例对此不加以限制。
56.用户特征信息是指目标用户对应的特征信息，在本示例中，用户特征信息可以包括：目标用户配送订单的效率、目标用户同时接订单的上限、目标用户当前的情况(配送订单途中或接单途中等)信息等，订单信息可以包括：订单所处城市、时间段、运单特征(如取单位置和送单位置的相关特征)等信息。
57.在需要对目标用户的路径进行规划时，可以根据目标用户持有的订单，获取多个
位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，进而，执行步骤102。
58.步骤102：将所述初始规划路径、所述用户特征信息和所述订单信息输入至训练好的路径规划模型，并由所述路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成所述多个位置对应的第一规划路径。
59.路径规划模型是指用于对包含多个位置的路径进行规划的模型。
60.第一规划路径是指采用路径规划模型对目标用户持有订单中包含的多个位置进行路径规划，得到的规划路径。
61.在获取初始规划路径、用户特征信息和订单信息之后，可以将初始规划路径、用户特征信息和订单信息输入至预先训练好的路径规划模型，以由路径规划模型根据用户特征信息和订单信息对初始规划路径进行处理，以生成多个位置对应的第一规划路径，并由路径规划模型输出第一规划路径。对于该处理过程将在下述实施例二中进行详细描述，本公开实施例在此不再加以赘述。
62.在得到第一规划路径的情况下，执行步骤103。
63.步骤103：在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径。
64.预设条件是指由业务人员预先设置的用于判定路径规划模型输出的规划路径是否满足的条件，在本示例中，可以采用模拟退火算法的思路，也即在路径规划模型进行路径规划的过程中，可以维护被称为温度的状态t，在迭代过程中会根据选定的冷却函数对温度进行更新。在得到新的解(即路径规划模型输出的规划路径)时，会根据当前解和新解的目标函数差距以及当前的温度计算出接受新解的概率。通常在定义该概率时，可以使得当温度较高时更容易接受目标函数不太好的解，而随着温度下降，要求会越来越严格，只有目标函数更好的解才更有可能被接受。通过这种方法，在前期温度较高时，能够更自由的在解空间中进行探索，后期随着温度下降，则会逐步收敛到较好的解上。
65.第二规划路径是指采用路径规划模型对目标用户持有订单中包含的多个位置重新进行路径规划得到的规划路径。
66.在得到路径规划模型输出的第一规划路径之后，可以判断得到的第一规划路径是否满足预设条件，具体地，以退火算法思路为例，在获取第一规划路径之后，可以获取第一规划路径和初始规划路径对应的目标函数，结合两个目标函数计算得到两个规划路径的函数差距，以及当前的温度计算出接受新解的概率，结合函数差距和接受概率判断第一规划路径是否满足预设条件。
67.在判定第一规划路径不满足预设条件的情况下，可以将第一规划路径、用户特征信息和订单信息输入至路径规划模型，然后，由路径规划模型根据用户特征信息和订单信息对第一规划路径进行处理，以生成多个位置对应的第二规划路径。
68.在得到第二规划路径之后，执行步骤104。
69.步骤104：将所述第二规划路径更新为所述第一规划路径，迭代执行设定次数的所述步骤103。
70.设定次数是指由业务人员预先设置的迭代执行路径规划的次数。
71.在得到第二规划路径之后，可以将第二规划路径更新为第一规划路径，并迭代执行设定次数的上述步骤103。
72.在迭代执行设定次数的上述步骤103之后，执行步骤105。
73.步骤105：在迭代执行设定次数后，获取由所述路径规划模型输出的所述多个位置对应的目标规划路径。
74.目标规划路径是指最终得到的为目标用户持有订单的多个位置规划的路径。
75.在迭代执行设定次数的上述步骤103之后，可以获取由路径规划模型输出的最后一次迭代过程输出的规划路径，并将该规划路径作为目标规划路径。
76.当然，在迭代过程中，在出现路径规划模型输出的规划路径满足预设条件时，可以停止迭代过程，并将该规划路径作为目标规划路径。
77.本公开的实施例通过借助强化学习和深度神经网络，自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间。
78.本公开的实施例提供的路径规划方法，通过根据目标用户持有的订单，获取多个位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，将初始规划路径、用户特征信息和订单信息输入至训练好的路径规划模型，并由路径规划模型根据用户特征信息和所述订单信息对所述初始规划路径进行处理，生成多个位置对应的第一规划路径，在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径，将第二规划路径更新为第一规划路径，迭代执行设定次数的在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径的步骤，在迭代执行设定次数后，获取由路径规划模型输出的多个位置对应的目标规划路径。本公开的实施例通过借助强化学习和深度神经网络，自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间，且借助元启发式框架，避免对于网络单次求解质量的依赖，通过若干次迭代，不断尝试对当前解进行改进，从而找到更好的规划路径。
79.实施例二
80.参照图2，示出了本公开的实施例提供的另一种路径规划方法的步骤流程图，如图2所示，该路径规划方法具体可以包括如下步骤：
81.步骤201：根据目标用户持有的订单，获取多个位置对应的初始规划路径、所述目标用户对应的用户特征信息和所述订单对应的订单信息。
82.本公开实施例可以应用于为多个位置进行路径规划的场景中。
83.目标用户是指需要进行路径规划的用户，在本实施例中，目标用户可以为订单配送用户等。
84.多个位置是指目标用户持有订单中所包含的位置，可以理解地，一个订单配送用户可以接一个或多个订单(如外卖订单等)，每个订单对应于两个位置，即接单位置和送单位置。
85.初始规划路径是指根据目标用户持有订单中的多个位置进行初始规划得到的路径，在本示例中，初始规划路径可以是按照订单中多个位置距离目标用户的远近距离进行依次排序得到的规划路径(由近及远的顺序)等等，具体地，对于初始规划路径的获取方式
可以根据业务需求而定，本实施例对此不加以限制。
86.用户特征信息是指目标用户对应的特征信息，在本示例中，用户特征信息可以包括：目标用户配送订单的效率、目标用户同时接订单的上限、目标用户当前的情况(配送订单途中或接单途中等)信息等，订单信息可以包括：订单所处城市、时间段、运单特征(如取单位置和送单位置的相关特征)等信息。
87.在需要对目标用户的路径进行规划时，可以根据目标用户持有的订单，获取多个位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，进而，执行步骤202。
88.步骤202：将所述初始规划路径、所述用户特征信息和所述订单信息输入至初始路径规划模型，并由所述初始路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成中间规划路径。
89.初始路径规划模型是指还未进行模型参数调整的路径规划模型。
90.中间规划路径是指由初始路径规划模型对初始规划路径进行处理，生成的中间规划路径。
91.在获取初始规划路径、用户特征信息和订单信息之后，可以将初始规划路径、用户特征信息和订单信息输入至初始路径规划模型，并由初始路径规划模型根据用户特征信息和订单信息对初始规划路径进行处理，从而可以生成中间规划路径。
92.在得到中间规划路径之后，执行步骤203。
93.步骤203：将所述中间规划路径和所述初始规划路径代入目标路径函数，得到所述初始规划路径对应的初始函数值，及所述中间规划路径对应的中间函数值。
94.在得到中间规划路径之后，可以将中间规划路径和初始规划路径代入目标路径函数，以得到初始规划路径对应的初始函数值，及中间规划路径对应的中间函数值。
95.在得到初始函数值和中间函数值之后，执行步骤204。
96.步骤204：在所述初始函数值小于所述中间函数值的情况下，更新所述初始路径规划模型的模型参数。
97.在得到初始函数值和中间函数值之后，可以比较初始函数值和中间函数值之间的大小关系。
98.在初始函数值大于或者等于中间函数值的情况下，表示初始路径规划模型已经能够满足路径规划的需求，无需进行后续的处理过程。
99.而在初始函数值小于中间函数值的情况下，则更新初始路径规划模型的模型参数。
100.步骤205：将所述初始规划路径更新为所述中间规划路径，并迭代执行所述步骤202，至所述步骤204，直至所述初始函数值大于或者等于所述中间函数值。
101.在更新初始路径规划模型的模型参数之后，可以将初始规划路径更新为中间规划路径，并迭代上述步骤202至步骤204，直至初始函数值大于或者等于中间函数值，至此完成初始路径规划模型的模型参数的调整过程，从而得到最终的路径规划模型。
102.步骤206：调用所述路径规划模型的特征编码层对所述用户特征信息和订单信息进行编码，分别得到用户特征编码和订单编码。
103.在得到路径规划模型之后，可以将初始规划路径、用户特征信息和订单信息输入
至预先训练好的路径规划模型，以由路径规划模型根据用户特征信息和订单信息对初始规划路径进行处理，具体地，可以调用路径规划模型中的特征编码层对用户特征信息和订单信息进行编码，以得到用户特征信息对应的用户特征编码，及订单信息对应的订单编码，在本实施例中，特征编码层以encoder为例，输入的特征包括：当前整体环境的特征，例如城市、时间段；骑手特征，例如骑手的效率、接单上限、骑手当前的情况；运单特征，例如取点和送点的相关特征。原始特征输入后，首先进行embedding等预处理操作。因为输入的运单是一个序列，其中会有一些与顺序无关的信息以及运单之间相互关联的信息，这里是通过multi-head self-attention网络对运单序列的特征进行提取和处理，最后经由全连接层得到encoder的输出。
104.在获取用户特征编码和订单编码之后，执行步骤207。
105.步骤207：调用所述路径规划模型的解码层对所述用户特征编码和所述订单编码进行解码处理，获取所述多个位置对应的位置概率，并根据所述位置概率生成所述多个位置对应的第一规划路径。
106.在获取用户特征编码和订单编码之后，可以调用路径规划模型的解码层对用户特征编码和订单编码进行解码处理，以获取多个位置对应的位置概率，并根据位置概率生成多个位置对应的第一规划路径，具体地，decoder部分用于对编码后的输入特征进行解码和输出，由于路径中包含多个点，因此需要递归进行多轮输入输出得到新的路径。例如首先将encoder的结果输入得到第一个路径点p1，之后将p1输入得到第二个路径点p2，重复该过程，直到得到所有路径点。decoder的内部主要由gru(gated recurrent unit)组成，通过gru能够记忆一部分序列信息，之后通过softmax，得到选择各个路径点的概率，然后选择概率最大的路径点。例如此前已经选取了b取和c送，当前可选的路径点集合为(a取、a送、b送)，在该轮循环中输入c送，将gru的结果通过softmax，例如分别得到概率为(0.7，0.2，0.1)，那么在本轮循环选择a取，继续进行下轮计算。
107.在获取到每个位置对应的位置概率之后，可以根据位置概率按照位置概率由高到低的顺序对多个位置进行排序，从而得到第一规划路径。
108.步骤208：在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径。
109.预设条件是指由业务人员预先设置的用于判定路径规划模型输出的规划路径是否满足的条件，在本示例中，可以采用模拟退火算法的思路，也即在路径规划模型进行路径规划的过程中，可以维护被称为温度的状态t，在迭代过程中会根据选定的冷却函数对温度进行更新。在得到新的解(即路径规划模型输出的规划路径)时，会根据当前解和新解的目标函数差距以及当前的温度计算出接受新解的概率。通常在定义该概率时，可以使得当温度较高时更容易接受目标函数不太好的解，而随着温度下降，要求会越来越严格，只有目标函数更好的解才更有可能被接受。通过这种方法，在前期温度较高时，能够更自由的在解空间中进行探索，后期随着温度下降，则会逐步收敛到较好的解上。
110.第二规划路径是指采用路径规划模型对目标用户持有订单中包含的多个位置重新进行路径规划得到的规划路径。
111.在得到路径规划模型输出的第一规划路径之后，可以判断得到的第一规划路径是
否满足预设条件，具体地，以退火算法思路为例，在获取第一规划路径之后，可以获取第一规划路径和初始规划路径对应的目标函数，结合两个目标函数计算得到两个规划路径的函数差距，以及当前的温度计算出接受新解的概率，结合函数差距和接受概率判断第一规划路径是否满足预设条件。
112.在判定第一规划路径不满足预设条件的情况下，可以将第一规划路径、用户特征信息和订单信息输入至路径规划模型，然后，由路径规划模型根据用户特征信息和订单信息对第一规划路径进行处理，以生成多个位置对应的第二规划路径。
113.可以理解地，第二规划路径与第一规划路径的获取过程类似，本实施例在此不再加以赘述。
114.在得到第二规划路径之后，执行步骤208。
115.步骤209：将所述第二规划路径更新为所述第一规划路径，迭代执行设定次数的所述步骤208。
116.设定次数是指由业务人员预先设置的迭代执行路径规划的次数。
117.在得到第二规划路径之后，可以将第二规划路径更新为第一规划路径，并迭代执行设定次数的上述步骤208。
118.在迭代执行设定次数的上述步骤208之后，执行步骤209。
119.步骤210：在迭代执行设定次数后，获取由所述路径规划模型输出的所述多个位置对应的目标规划路径。
120.目标规划路径是指最终得到的为目标用户持有订单的多个位置规划的路径。
121.在迭代执行设定次数的上述步骤103之后，可以获取由路径规划模型输出的最后一次迭代过程输出的规划路径，并将该规划路径作为目标规划路径。
122.当然，在迭代过程中，在出现路径规划模型输出的规划路径满足预设条件时，可以停止迭代过程，并将该规划路径作为目标规划路径。
123.本公开的实施例通过借助强化学习和深度神经网络，自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间。
124.本公开的实施例提供的路径规划方法，通过根据目标用户持有的订单，获取多个位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，将初始规划路径、用户特征信息和订单信息输入至训练好的路径规划模型，并由路径规划模型根据用户特征信息和所述订单信息对所述初始规划路径进行处理，生成多个位置对应的第一规划路径，在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径，将第二规划路径更新为第一规划路径，迭代执行设定次数的在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径的步骤，在迭代执行设定次数后，获取由路径规划模型输出的多个位置对应的目标规划路径。本公开的实施例通过借助强化学习和深度神经网络，自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间，且借助元启发式框架，避免对于网络单次求解质量的依赖，通过若干次迭代，不断尝试对当前解进行改进，从而找到更好的规划路径。
125.实施例三
126.参照图3，示出了本公开的实施例提供的一种路径规划装置的结构示意图，如图3所示，该路径规划装置300具体可以包括如下模块：
127.初始规划路径获取模块310，用于根据目标用户持有的订单，获取多个位置对应的初始规划路径、所述目标用户对应的用户特征信息和所述订单对应的订单信息；
128.第一规划路径生成模块320，用于将所述初始规划路径、所述用户特征信息和所述订单信息输入至训练好的路径规划模型，并由所述路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成所述多个位置对应的第一规划路径；
129.第二规划路径获取模块330，用于在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径；
130.路径规划迭代执行模块340，用于将所述第二规划路径更新为所述第一规划路径，迭代执行设定次数的所述第二规划路径获取模块；
131.目标规划路径获取模块350，用于在迭代执行设定次数后，获取由所述路径规划模型输出的所述多个位置对应的目标规划路径。
132.本公开的实施例提供的路径规划装置，通过根据目标用户持有的订单，获取多个位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，将初始规划路径、用户特征信息和订单信息输入至训练好的路径规划模型，并由路径规划模型根据用户特征信息和所述订单信息对所述初始规划路径进行处理，生成多个位置对应的第一规划路径，在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径，将第二规划路径更新为第一规划路径，迭代执行设定次数的在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径的步骤，在迭代执行设定次数后，获取由路径规划模型输出的多个位置对应的目标规划路径。本公开的实施例通过借助强化学习和深度神经网络，自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间，且借助元启发式框架，避免对于网络单次求解质量的依赖，通过若干次迭代，不断尝试对当前解进行改进，从而找到更好的规划路径。
133.实施例四
134.参照图4，示出了本公开的实施例提供的另一种路径规划装置的结构示意图，如图4所示，该路径规划装置400具体可以包括如下模块：
135.初始规划路径获取模块410，用于根据目标用户持有的订单，获取多个位置对应的初始规划路径、所述目标用户对应的用户特征信息和所述订单对应的订单信息；
136.中间规划路径生成模块420，用于将所述初始规划路径、所述用户特征信息和所述订单信息输入至初始路径规划模型，并由所述初始路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成中间规划路径；
137.中间函数值获取模块430，用于将所述中间规划路径和所述初始规划路径代入目标路径函数，得到所述初始规划路径对应的初始函数值，及所述中间规划路径对应的中间函数值；
138.模型参数更新模块440，用于在所述初始函数值小于所述中间函数值的情况下，更
新所述初始路径规划模型的模型参数；
139.模型参数循环更新模块450，用于将所述初始规划路径更新为所述中间规划路径，并迭代执行所述中间函数值获取模块和所述模型参数更新模块，直至所述初始函数值大于或者等于所述中间函数值；
140.第一规划路径生成模块460，用于将所述初始规划路径、所述用户特征信息和所述订单信息输入至训练好的路径规划模型，并由所述路径规划模型根据所述用户特征信息和所述订单信息对所述初始规划路径进行处理，生成所述多个位置对应的第一规划路径；
141.第二规划路径获取模块470，用于在所述第一规划路径不满足预设条件的情况下，将所述第一规划路径、所述用户特征信息和所述订单信息输入至所述路径规划模型，得到所述多个位置对应的第二规划路径；
142.路径规划迭代执行模块480，用于将所述第二规划路径更新为所述第一规划路径，迭代执行设定次数的所述第二规划路径获取模块；
143.目标规划路径获取模块490，用于在迭代执行设定次数后，获取由所述路径规划模型输出的所述多个位置对应的目标规划路径。
144.可选地，所述第一规划路径生成模块460包括：
145.特征信息编码单元461，用于调用所述路径规划模型的特征编码层对所述用户特征信息和订单信息进行编码，分别得到用户特征编码和订单编码；
146.第一规划路径生成单元462，用于调用所述路径规划模型的解码层对所述用户特征编码和所述订单编码进行解码处理，获取所述多个位置对应的位置概率，并根据所述位置概率生成所述多个位置对应的第一规划路径。
147.可选地，所述第一规划路径生成单元462包括：
148.第一规划路径获取子单元，用于根据所述位置概率，按照位置概率由高到低的顺序对所述多个位置进行排序，得到所述第一规划路径。
149.可选地，所述用户特征信息包括用户配送效率信息、接单上限信息和骑手当前已接单数量信息，所述订单信息包括：待接单位置信息和送单位置信息。
150.本公开的实施例提供的路径规划装置，通过根据目标用户持有的订单，获取多个位置对应的初始规划路径、目标用户对应的用户特征信息和订单对应的订单信息，将初始规划路径、用户特征信息和订单信息输入至训练好的路径规划模型，并由路径规划模型根据用户特征信息和所述订单信息对所述初始规划路径进行处理，生成多个位置对应的第一规划路径，在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径，将第二规划路径更新为第一规划路径，迭代执行设定次数的在第一规划路径满足预设条件的情况下，将第一规划路径、用户特征信息和订单信息输入至路径规划模型，得到多个位置对应的第二规划路径的步骤，在迭代执行设定次数后，获取由路径规划模型输出的多个位置对应的目标规划路径。本公开的实施例通过借助强化学习和深度神经网络，自动学习合适的解变换规则，从而高效的在解空间中进行探索，减少所需的迭代次数和求解时间，且借助元启发式框架，避免对于网络单次求解质量的依赖，通过若干次迭代，不断尝试对当前解进行改进，从而找到更好的规划路径。
151.本公开的实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存
储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的路径规划方法。
152.本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的路径规划方法。
153.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
154.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
155.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
156.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。
157.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
158.本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
159.应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
160.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
161.以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。
162.以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。