一种基于离散随机性动态规划的空载出租车路径规划方法

1.本发明涉及交通运输规划与管理中的公共交通领域，特别涉及一种基于离散随机性动态规划的空载出租车路径规划方法。


背景技术：

2.随着城市经济的快速发展和居民生活水平的稳固提高，城市交通方式日益多样，出租车以其灵活的特点、点对点的服务形式，在城市道路交通中发挥着重要的作用。然而，在提高居民出行便利性的同时，也出现了一系列的运营问题，其中比较突出的是出租车的空驶问题。空载出租车在城市道路中漫无目的地巡游存在以下问题：
3.(1)造成环境污染和道路资源的浪费：以中国台北市和深圳市为例，出租车的空驶里程占比均在40％以上，其中深圳市出租车的空驶时间占比高达49.2％，即出租车在一半的时间里都处于漫无目的巡游状态；
4.(2)加剧关键区域高峰时段道路资源紧张的局面：以中国香港为例，出租车在城市交通组成占比约为25％，而在关键区域占比高达50％-60％，发挥着重要的作用，空载出租车不合理的巡游则会影响关键区域的整体交通环境。
5.鉴于此，有必要合理地规划空载出租车路径，以此来降低空载率，提高长期收益。现有的空载出租车路径规划在集计化展示、gps数据和道路网联系方面仍存在较多问题，有些空载出租车路径规划方法中未考虑长期收益，在非集计的路径层面往往需要花费大量的算力，存在数据缺失等问题，同时需要标定大量的模型参数，取得的效果一般。


技术实现要素：

6.发明目的：针对以上问题，本发明目的是提供一种基于离散随机性动态规划的空载出租车路径规划方法，利用该方法对空载出租车的路径进行规划，降低车辆空载率，提高出租车的长期收益。
7.技术方案：本发明的一种基于离散随机性动态规划的空载出租车路径规划方法，包括如下步骤：
8.s10、将目标区域进行网格化，收集所述目标区域出租车gps历史数据，根据gps历史数据筛选出租车到达的网格；
9.s20、基于实际路网，以收益最大化为目标建立基于网格的离散随机性动态规划模型；
10.空载出租车在移动过程中相当于在相邻网格之间进行移动，当前网格与相邻网格之间通过向上、向下、向左、向右、或停留在原位置进行网格的转移，不同的网格代表不同的状态，针对每次转移对应的状态建立状态价值函数，在不同状态转移中寻找最优状态价值函数；
11.s30、利用策略迭代法计算离散随机性动态规划模型中的参数，将得到的参数带入到模型中，计算最优策略下对应的最优价值，得到空载出租车的推荐路线。
12.进一步，以收益最大化为目标建立基于网格的离散随机性动态规划模型包括：
13.利用离散随机性动态规划的状态价值的贝尔曼最优方程描述所述的最优状态价值函数，表达式为：
[0014][0015]
式中v
*
(s)表示网格s对应的最优价值；a表示动作，包括向上、向下、向左、向右和停留在原位置中的任意一种，分别用数字1、2、3、4、0表示，a表示由动作a所构成的动作集合；π(a|s)表示在网格s所采取动作的概率分布；v
*
(s
′
)表示当前网格的下一网格s
′
对应的最优价值；γ表示衰减系数，取值范围大于0小于1；表示在网格s下采取动作a产生的回报，与目标区域的出租车收费标准相关，表达式为：
[0016][0017]
式中α(d
ss
′
)表示出租车行驶成本对于距离的函数；β(d
ss
′
)表示出租车行驶收入对于距离的函数；d
ss
′
表示出租车从网格s行驶到网格s
′
的平均距离，表达式为：
[0018][0019]
式中d
ij
表示网格s中第i个结点到网格s
′
中第j个结点的最短距离，结点代表交叉口，ns表示网格s中的道路结点总数，ns′
表示网格s
′
中的道路结点总数；
[0020]
表示在网格s采取动作a转移到网格s
′
的概率，为出租车在网格s上客、前往网格s
′
下客的概率，表达式为：
[0021][0022]
式中number qs表示所有起点在网格s、对应的所有讫点的数量；number qs(s
′
)表示所有起点在网格s、对应的位于网格s
′
的讫点的数量；
[0023]
对于空载出租车，在网格s[m][n]采取动作a时分为两种情况，接到乘客或未接到乘客，两种不同状态转移情况对应不同的状态价值，根据两种情况将基于网格的空载出租车离散随机性动态规划的最优状态价值描述为：
[0024][0025]
式中p
pickup
(s)表示在网格s的接客概率，表达式为：
[0026][0027]
式中number j(s)表示网格s中接客点的数量；number k(s)表示网格s中空驶点的数量。
[0028]
进一步，所述将目标区域进行网格化，收集所述目标区域出租车gps历史数据，根
据gps历史数据筛选出租车到达的网格包括：
[0029]
将目标区域在地理空间上进行网格化，选取矩形目标区域，将目标区域在地理空间层面上划分为m行、n列的若干网格，每个网格为正方形，网格与网格之间紧密相接、无空隙，将第m行、第n列的网格记为s[m][n]，所有网格构成集合s；
[0030]
将收集到的出租车gps历史数据进行预处理，获取有效数据集，每辆出租车信息包括车辆编号、经度、纬度、速度、时间、载客状态，其中载客状态为1时表示车上载客，载客状态为0时表示车上无客；
[0031]
将所述有效数据集按照车辆编号进行分组，分成以下集合：接客点集合j、起点在网格s所对应的所有讫点集合qs、载客点集合z、空驶点集合k，将分组后的每组数据按照时间先后进行排序；
[0032]
在网格集合s中遍历所有网格s[m][n]，筛选出包含载客点集合z或空驶点集合k的网格，将筛选出的网格计入出租车到达网格集合s
available
。
[0033]
进一步，将载客状态由0变为1时，第一个1所对应的数据计入接客点集合j；对于所有从s出发的点，当载客状态由1变为0时，第一个0所对应的数据计入起点在s所对应的所有讫点的集合qs；将载客状态为1的所有点计入载客点集合z，将载客状态为0的所有点计入空驶点集合k。
[0034]
进一步，将收集到的出租车gps历史数据进行预处理，获取有效数据集包括：清除存在空值的数据、速度大于120km/h的数据、超出目标区域经纬度范围的数据、载客状态始终为0或始终为1的数据、持续载客时长或持续空驶时长超过5小时的数据、持续载客距离或持续空驶距离超过100千米的数据。
[0035]
进一步，策略迭代分为策略评估和策略提升两个阶段，在策略评估阶段，初始化每个网格的状态价值为0，进行迭代至状态价值收敛；
[0036]
进入策略提升阶段，利用贪婪思想通过取最大值来更新π(a|s)，将取得最大状态价值的动作a对应的概率分布提升至100％，反复进行提升至策略收敛时输出当前策略，此时对应最优策略，所对应的状态价值为最优价值，空载出租车按照最优策略行驶获得长期的最大收益；
[0037]
对最优状态价值进行标准化，输出每个网格s标准化后的状态价值，表达式为：
[0038][0039]
式中，v
*
(s)
standard
表示网格s标准化后的最优状态价值；表示所有网格的最优价值的最小值；表示所有网格的最优价值的最大值；
[0040]
对序贯决策的长度进行限值，求解模型得到最优决策序列的结构为(s1,s2,s3,
……
,sn)，利用接客概率序列进行限值，限值公式为：
[0041][0042]
式中si表示最优决策序列中的第ρ个网格，n表示最优决策序列的长度，ε表示限制采用的阈值，当空载出租车进行到第n个决策时，此时有(1-ε)的可能性已经接到乘客。
[0043]
有益效果：本发明与现有技术相比，其显著优点是：
[0044]
1、基于离散随机性动态规划对空载出租车进行路径规划，根据真实的道路网和出租车gps数据建立数学模型，有效提高空载出租车的长期收益，为空载出租车的路径规划提供了相应的方法支撑，具有科学性、准确性、合理性和有效性；
[0045]
2、对目标区域进行了网格划分，依托数据的集计模型，有效避免了因数据缺失或异常值对于路径规划结果的干扰，提高了路径规划的稳定性，为解决相关问题提供了借鉴思路；
[0046]
3、以网格的形式对空载出租车的路径决策进行展示，相对于路径更加直观，灵活性更强，满足社会对其高效、可靠、环保、科学的要求，同时提高整个城市出租车的时空资源利用率和服务品质。
附图说明
[0047]
图1是本发明的方法流程图；
[0048]
图2是本发明所述的实施例的出租车可达网格示意图；
[0049]
图3是本发明所述的实施例的实际路网示意图；
[0050]
图4是本发明所述的实施例的策略迭代过程示意图；
[0051]
图5是本发明所述的实施例的网格最优状态价值示意图；
[0052]
图6是本发明所述的实施例的空载出租车路径规划示意图。
具体实施方式
[0053]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。
[0054]
本实施例所述的一种基于离散随机性动态规划的空载出租车路径规划方法，流程图如图1所示，包括如下步骤：
[0055]
s10、将目标区域进行网格化，收集所述目标区域出租车gps历史数据，根据gps历史数据筛选出租车到达的网格。
[0056]
将目标区域在地理空间上进行网格化，选取矩形目标区域，将目标区域在地理空间层面上划分为m行、n列的若干网格，每个网格为边长b米的正方形，网格与网格之间紧密相接、无空隙，m、n的数值与网格边长b的大小和目标区域的大小相关，第m行、第n列的网格记为s[m][n]，所有网格构成集合s。
[0057]
将收集到的出租车gps历史数据进行预处理，获取有效数据集，每辆出租车信息包括车辆编号、经度、纬度、速度、时间、载客状态，其中载客状态为1时表示车上载客，载客状态为0时表示车上无客。对数据进行预处理的规则包括：清除存在空值的数据、速度大于120km/h的数据、超出目标区域经纬度范围的数据、载客状态始终为0或始终为1的数据、持续载客时长或持续空驶时长超过5小时的数据、持续载客距离或持续空驶距离超过100千米的数据。
[0058]
将有效数据集按照车辆编号进行分组，分成以下集合：接客点集合j、起点在网格s所对应的所有讫点集合qs、载客点集合z、空驶点集合k，将分组后的每组数据按照时间先后进行排序。将载客状态由0变为1时，第一个1所对应的数据计入接客点集合j；对于所有从网格s出发的点，当载客状态由1变为0时，第一个0所对应的数据计入起点在网格s所对应的所
有讫点的集合qs；将载客状态为1的所有点计入载客点集合z，将载客状态为0的所有点计入空驶点集合k。
[0059]
在网格集合s中遍历所有网格s[m][n]，筛选出包含载客点集合z或空驶点集合k的网格，将筛选出的网格计入出租车到达网格集合s
available
。
[0060]
s20、基于实际路网，以收益最大化为目标建立基于网格的离散随机性动态规划模型；
[0061]
空载出租车在移动过程中相当于在相邻网格之间进行移动，规定出租车的下一状态仅由上一状态决定，状态与状态之间通过动作实现转移，不同状态下具有不同的动作集合，不同的动作对应不同的回报。当前网格与相邻网格之间通过向上、向下、向左、向右、或停留在原位置进行网格的转移，不同的网格代表不同的状态，针对每次转移对应的状态建立状态价值函数，在不同状态转移中寻找最优状态价值函数，正是由于下一状态受上一状态影响，利用离散随机性动态规划模型可以有效保证出租车在移动过程中长期收益的最大化。
[0062]
利用离散随机性动态规划的状态价值的贝尔曼最优方程描述所述的最优状态价值函数，表达式为：
[0063][0064]
式中v
*
(s)表示网格s对应的最优价值；a表示动作，包括向上、向下、向左、向右和停留在原位置中的任意一种，分别用数字1、2、3、4、0表示；π(a|s)表示在网格s所采取动作的概率分布；v
*
(s
′
)表示当前网格的下一网格s
′
对应的最优价值；γ表示衰减系数，取值范围大于0小于1；表示在网格s下采取动作a产生的回报，与目标区域的出租车收费标准相关，表达式为：
[0065][0066]
式中α(d
ss
′
)表示出租车行驶成本对于距离的函数；β(d
ss
′
)表示出租车行驶收入对于距离的函数；d
ss
′
表示出租车从网格s行驶到网格s
′
的平均距离，表达式为：
[0067][0068]
式中d
ij
表示网格s中第i个结点到网格s
′
中第j个结点的最短距离，结点代表交叉口，ns表示网格s中的道路结点总数，ns′
表示网格s
′
中的道路结点总数；
[0069]
表示在网格s采取动作a转移到网格s
′
的概率，为出租车在网格s上客、前往网格s
′
下客的概率，表达式为：
[0070][0071]
式中number qs表示所有起点在网格s、对应的所有讫点的数量；number qs(s
′
)表示所有起点在网格s、对应的位于网格s
′
的讫点的数量。
[0072]
对于空载出租车，在网格s[m][n]采取动作a时分为两种情况，接到乘客或未接到乘客，若接到乘客，出租车的下一状态将会根据乘客目的地所位于的网格；若未接到乘客，
出租车将会根据动作巡游至下一网格。两种不同状态转移情况对应不同的状态价值，根据两种情况将基于网格的空载出租车离散随机性动态规划的最优状态价值描述为：
[0073][0074]
式中p
pickup
(s)表示在网格s的接客概率，表达式为：
[0075][0076]
式中number j(s)表示网格s中接客点的数量；number k(s)表示网格s中空驶点的数量。
[0077]
s30、利用策略迭代法计算离散随机性动态规划模型中的参数，将得到的参数带入到模型中，计算最优策略下对应的最优价值，得到空载出租车的推荐路线。
[0078]
策略迭代分为策略评估和策略提升两个阶段，在策略评估阶段，初始化每个网格的状态价值为0，进行迭代至状态价值收敛。
[0079]
进入策略提升阶段，利用贪婪思想通过取最大值来更新π(a|s)，将取得最大状态价值的动作a对应的概率分布提升至100％，反复进行提升至策略收敛时输出当前策略，此时对应最优策略，所对应的状态价值为最优价值，空载出租车按照最优策略行驶获得长期的最大收益。
[0080]
对最优状态价值进行标准化，输出每个网格s标准化后的状态价值，表达式为：
[0081][0082]
式中，v
*
(s)
standard
表示网格s标准化后的最优状态价值；表示所有网格的最优价值的最小值；表示所有网格的最优价值的最大值。
[0083]
对序贯决策的长度进行限值，求解模型得到最优决策序列的结构为(s1,s2,s3,
……
,sn)，考虑到在行驶途中出租车会接到乘客，无法完整走完整条预设的决策序列从而导致决策的冗余，因此有必要对决策序列的长度n进行讨论并加以限制，利用接客概率序列进行限值，限值公式为：
[0084][0085]
式中si表示最优决策序列中的第ρ个网格，n表示最优决策序列的长度，ε表示限制采用的阈值，当空载出租车进行到第n个决策时，此时有(1-ε)的可能性已经接到乘客。
[0086]
以深圳市市区某区域为例，对本发明的技术方案进一步的详细说明。
[0087]
(1)将目标区域在地理空间上进行网格化：
[0088]
目标区域的范围为经度113.7667至114.6167，纬度22.45至22.867，划分的网格为边长500米的正方形，研究区域划分为92行，187列。
[0089]
(2)提取出租车gps的有效数据：
[0090]
本次深圳市出租车gps数据记录了深圳市的797辆出租车在2013年10月22日单日gps数据，共计2539371条，提取有效数据，将收集到的历史数据进行清洗，规则包括：清除存在空值的数据、清除速度大于120公里每小时或小于0公里每小时的数据、清除超出经度范围113.7667至114.6167以及纬度范围22.45至22.867的数据、清除载客状态始终为0或始终为1的数据、清除持续载客时长或持续空驶时长超过5小时的数据、清除持续载客距离或持续空驶距离超过100千米的数据，经数据清洗后保留1974682条有效数据；经数据集成后接客点集合j共计26742条数据、载客点集合z共计1022650条数据、空驶点集合k共计950130条数据。
[0091]
(3)根据有效的gps数据筛选出租车可达的网格：
[0092]
在网格集合s中遍历所有网格s[m][n]，从中筛选出包含载客点集合z或空驶点集合k的网格，将其计入出租车可达网格集合s
available
，出租车可达网格示意图如图2所示，其中黑色方框表示到达的网格。
[0093]
(4)基于实际路网，以最大化收益为目标建立基于网格的离散随机性动态规划模型，使用arcgis对深圳市实际路网计算各个网格内结点之间的最短路距离，实际路网如图3所示。根据2021年11月2日的92号汽油油价为7.58元/升，设出租车每百公里油耗7.5升，则每公里燃油成本折合0.5685元，同时本案例以深圳市00：00至01：00的收费标准为例，确定α(d
ss
′
)和β(d
ss
′
)的表达式为：
[0094]
α(d
ss
′
)＝0.5685d
ss
′
[0095][0096]
设置模型中的衰减系数γ＝0.6，共计进行19次策略提升，迭代总计算次数为386次，最终得到最优策略以及此时所对应的最优状态价值，策略迭代过程示意图如图4所示，横轴为迭代次数，纵轴为所有网格最优状态价值的均值，最终通过求算得到的各网格的最优价值见图5所示，最优价值的数值即为出租车在对应网格中，采取最优的路径策略所对应得到的最大收益。
[0097]
(5)利用策略迭代法求解模型，并对结果进行可视化展示，将空载出租车坐标设置为(55，25)，同时将未接到乘客的累计概率ε设置为0.05，可得到输出的总决策次数为9次，动作依次为向左、向左、向左、向下、向下、向下、向右、停留、停留，最终坐标为(58，23)，空载出租车路径规划示意图如图6中箭头所示。