多式联运动态路径规划与避障调度方法、智能体及系统与流程

摘要: 本发明涉及物流运输调度与人工智能,具体涉及一种基于强化学习的多式联运动态路径规划与避障调度方法、智能体及系统。背景技术:1、多式联运是指同一运输任务在起运地与目...
多式联运动态路径规划与避障调度方法、智能体及系统与流程

本发明涉及物流运输调度与人工智能,具体涉及一种基于强化学习的多式联运动态路径规划与避障调度方法、智能体及系统。

背景技术:

1、多式联运是指同一运输任务在起运地与目的地之间使用公路、铁路、水路、航空或场内转运中的至少两种运输方式,并在港口、铁路场站、物流园区、机场货站或其他换装节点完成运输方式转换。实际运行中,端到端路径是否可执行,不仅取决于线路距离和运输成本,还取决于班次时刻、线路容量、换装作业时窗、场站设备、车辆或船舶状态、危险品许可、冷链供能以及局部通道占用等动态条件。运输任务执行过程中,路段关闭、节点不可用、资源占用、容量下降、班次变化、作业时隙冲突或转运连接失效,会使原路线的局部区段或者全部剩余路径不再可行。

2、现有技术中,多式联运路径规划通常采用运筹学优化方法或强化学习方法。运筹学优化方法依赖静态假设,难以刻画天气、拥堵等不确定性,新节点或通道适配慢,滚动重规划成本高。强化学习方法将路径与调度视为时序决策,由智能体基于历史或仿真数据学习策略以应对变化。然而,现有强化学习方法在应用于真实多式联运执行环境时,面临以下技术问题:

3、强化学习策略输出的是基于当前观测形成的名义调度动作。该名义动作可能在发送前被安全约束修正或替换,也可能因通信失败而未被外部系统接收;即使已经发送,也可能出现延迟执行、部分执行、执行偏差、拒绝执行或回执缺失。策略名义动作、安全映射动作、成功发送动作和经反馈证据确认的实际执行动作属于不同层级的动作事实,若不加区分地统一作为实际动作,将导致动作与状态事实错配,使强化学习状态转移与真实环境不一致。

4、并且,现有方案在发送前预测阶段和执行确认阶段往往采用不同的评价规则或模型版本。当执行回执迟到到达时,系统的评价规则可能已经发生变化,导致预测时评价为可行的动作,在执行确认时用不同规则重新评价可能变为不可行,造成评价口径漂移,破坏强化学习信用分配的可比性和可靠性。

技术实现思路

1、针对上述技术问题,本发明提供一种基于强化学习的多式联运动态路径规划与避障调度方法、智能体及系统,用以在异步执行反馈条件下,保证强化学习策略的信用分配可信,使预测评价与确认评价基于同一可复算的度量框架,并且,仅经过确认的动作—状态转移进入策略更新,同时以确认可达性驱动有边界重规划,避免评价口径漂移、动作—状态事实错配、搜索截断误判、重规划边界不确定以及未确认数据污染强化学习经验。

2、第一方面,本发明提供一种基于强化学习的多式联运动态路径规划与避障调度方法,包括:

3、获取当前确认位置、时变运输网络状态和时间索引障碍包络,根据所述时变运输网络状态构建时变运输图,确定从所述当前确认位置至下游出口锚点的活动路线区段契约,以及所述活动路线区段契约的剩余约束,所述剩余约束包括硬约束;

4、根据预设的强化学习调度策略,在所述活动路线区段契约限定的动作空间内生成名义调度动作;

5、为当前决策周期分配决策标识,并创建与所述决策标识绑定的评价器快照,所述评价器快照包含评价器版本、评价规则、判断阈值和搜索计算上限,所述评价器快照在当前决策周期内保持不变;

6、预测所述名义调度动作执行后的运输状态,通过状态投影将所述运输状态转换为预测路线状态,并根据所述评价器快照中的评价规则计算所述名义调度动作的预测可达性值和搜索状态,所述搜索状态至少包括搜索空间穷尽状态和计算上限截断状态;

7、根据所述硬约束、所述预测可达性值和所述搜索状态,将所述名义调度动作映射为可发送映射动作或安全拒绝标记;

8、在发送所述可发送映射动作并收到外部接口的接收确认后,记录发送动作,所述发送动作与所述决策标识和所述评价器快照关联;

9、根据与所述发送动作匹配的执行反馈和状态证据,形成确认动作和确认局部状态,或者形成待确认记录;

10、将所述确认局部状态通过所述状态投影转换为确认路线状态,并根据与所述决策标识绑定的所述评价器快照计算确认可达性值;

11、当所述确认可达性值低于所述判断阈值或所述搜索状态为计算上限截断时,以当前确认位置为起始边界、以原剩余路径中第一个可衔接的下游锚点为结束边界执行有边界剩余路径重规划;所述有边界剩余路径重规划是指以当前确认位置为起始边界、以原剩余路径中第一个可衔接的下游锚点为结束边界的重规划;

12、仅将包含所述确认动作、确认局部状态和实际奖励的状态转移用于更新所述预设的强化学习调度策略。

13、优选的,所述时变运输图通过采集运输网络节点与边、运输方式、预计通行时间、容量、资源可用区间、班次或作业时隙、运输对象确认位置、历史确认路径片段和动态障碍观测构建;

14、所述时间索引障碍包络描述预测时域内节点、边、资源或连接的不可用区间、容量边界或占用概率边界,并采用预设置信水平下的保守边界、置信区间上界或概率分位值形成用于硬约束判断的占用区间;

15、所述活动路线区段契约包括:当前确认起始锚点、下游出口锚点、允许节点和边集合、最晚离开时间、剩余时间窗、容量及资源约束、剩余风险预算以及最大重规划扩展范围;

16、所述活动路线区段契约仅在确认到达所述下游出口锚点后,冻结已完成路线区段,以所述下游出口锚点作为下一路线区段的起始锚点,依据剩余路线骨架和最新确认约束生成下一契约版本,名义调度动作、可发送映射动作或发送动作不触发契约版本更新。

17、优选的,所述评价规则包括路径搜索和排序规则、硬约束类型及其判定规则、归一化尺度和聚合权重;所述评价器快照还包含路线区段契约版本和二级计算预算;

18、所述评价器快照在首个名义调度动作进入评价前创建,将评价器版本、路径搜索和排序规则、硬约束类型及其判定规则、归一化尺度、聚合权重、判断阈值、搜索计算上限、路线区段契约版本和决策标识绑定于所述评价器快照;

19、所述评价器快照的生命周期状态包括活动、已确认、已排除、无法确认和已释放;仅当相应发送动作已经确认、因安全拒绝或确定未接收而排除、已经确认未执行,或者达到保留期限并关闭为无法确认后,将活动快照转为已释放;释放后保留快照标识、参数摘要和审计哈希;迟到回执到达时,根据原决策标识调入原评价器快照执行确认可达性评价,不切换为当前默认评价器版本。

20、优选的,所述预测所述名义调度动作执行后的运输状态包括:根据当前确认局部状态、所述名义调度动作和所述时间索引障碍包络,预测动作执行后的预计离开当前区段的时间、预计进入的下一节点或边、预计资源占用区间、预计消耗时间和风险预算;

21、所述通过状态投影将所述运输状态转换为预测路线状态包括:调用局部-全局状态投影函数,根据预测局部状态和所述活动路线区段契约形成预测路线状态,所述预测路线状态至少包括路线位置、下一衔接节点、剩余时间窗、剩余风险预算、后续连接或班次可用性以及已确认路径前缀;

22、所述根据所述评价器快照中的评价规则计算预测可达性值和搜索状态包括:依据预测到达时间和时间索引障碍包络,将当前时变运输图从决策时刻推进至预测时刻,更新节点、边、容量、资源和时隙的预测可用状态,得到预测基础图;

23、根据预测路线状态和预测剩余约束裁剪所述预测基础图,形成预测残余图;

24、在所述预测残余图中按照固定综合代价依次枚举无环路径并校验时间窗、风险预算、容量、资源和节点边可用性硬约束,在取得前k条无环可行路径、搜索空间穷尽或达到搜索计算上限时停止,k为预设整数,并记录搜索空间穷尽状态或计算上限截断状态;

25、仅当搜索空间穷尽且未取得可行路径时,认定预测可达性值为零;达到计算上限但未取得可行路径时,返回评价不确定标记;

26、对于所取得的前k条可行路径,以综合代价最小的可行路径为基准路径,分别计算时间裕量和风险裕量,并按照所述评价器快照中的聚合权重、归一化尺度和判断阈值计算预测可达性值,所述预测可达性值不低于所述判断阈值时确定为可发送候选。

27、优选的,根据所述硬约束、所述预测可达性值和所述搜索状态,将所述名义调度动作映射为可发送映射动作或安全拒绝标记包括:

28、根据即时硬约束和预测可达性阈值形成安全动作集合;所述名义调度动作满足准入条件时保留为映射动作,不满足条件但存在其他安全动作时修正或替换为映射动作,不存在满足条件的动作时输出安全拒绝标记;

29、所述安全拒绝标记在动作发送前形成,用于形成安全干预标签,不形成发送动作和实际状态转移;

30、所述在发送所述可发送映射动作并收到外部接口的接收确认后记录发送动作包括:

31、仅当映射动作为可发送网络调度动作时,通过控制接口、api、消息接口、rpa执行器或设备适配器发送;发送记录同时保存决策标识、路线区段契约版本和评价器快照标识;

32、仅当外部接口返回已接收结果或存在可验证的接收证据时,将外部接口实际接收的载荷记录为发送动作;通信失败且外部未接收时,不记录发送动作,也不记为安全拒绝。

33、优选的,所述根据与所述发送动作匹配的执行反馈和状态证据形成确认动作和确认局部状态,或者形成待确认记录包括:

34、为发送动作关联任务标识、路径版本、路线区段标识、局部决策标识、发送序号和幂等标识;

35、采集设备回执、业务流水、运输对象位置、节点进入或离开记录、资源占用变化、障碍观测及作业完成状态,并与发送动作事实进行匹配;

36、当发送动作、执行反馈和状态证据满足一致性条件时,根据实际执行量重建确认动作、确认局部下一状态、动作持续时间和实际奖励,所述确认动作能够与发送动作相同或因部分执行、执行偏差或外部系统修正而不同;

37、在外部系统明确拒绝执行且未执行后的状态能够确定时,形成采用预设空操作编码的确认未执行动作,并以确认未执行后的状态和可复算奖励构成确认事实;

38、当已发送但反馈缺失、证据不足或证据冲突时,仅形成待确认记录,所述待确认记录不定义确认动作、确认下一状态和实际奖励,不形成强化学习状态转移;

39、后续根据迟到回执、补充证据或人工核对结果,将待确认记录晋升为确认执行记录,或者在明确拒绝执行且未执行后的状态与奖励均可确定时晋升为确认未执行空操作记录,仍无法确定时关闭为无法确认记录;

40、部分执行时,仅当已经执行的部分能够拆分为可识别的原子调度动作,且能够根据证据确定对应的下一状态和实际奖励时,以确认执行量形成确认转移,其余未确认部分保留在待确认记录中。

41、优选的,将所述确认局部状态通过所述状态投影转换为确认路线状态,并根据与所述决策标识绑定的所述评价器快照计算确认可达性值包括:

42、将确认局部下一状态通过与预测阶段相同的局部-全局状态投影函数和同一活动路线区段契约转换为确认路线状态;

43、根据确认路线状态、确认时刻的网络可用性包络和确认剩余约束形成确认残余图;

44、调用与发送前预测阶段绑定于同一决策标识的原评价器快照,采用相同的路径搜索与排序规则、k值、硬约束类型及判定规则、归一化尺度、聚合权重和判断阈值,计算确认可达性值;

45、确认阶段允许输入最新确认位置、确认时间、确认资源占用和确认障碍事实,但不改变快照中的评价规则;

46、确认评价因达到搜索计算上限且尚未取得可行路径而返回不确定标记时,先按照所述评价器快照中预设的二级计算预算继续搜索;

47、二级预算结束后仍不确定的,触发保守的有边界重规划或人工复核;

48、所述有边界剩余路径重规划包括:

49、起始边界为确认路线状态在时变运输图中对应的当前确认节点、当前边终点或可安全切换锚点;

50、初始结束边界为原剩余路径中第一个未受当前障碍包络影响、仍满足硬约束且能够与原路线衔接的下游锚点;

51、初始搜索子图包括起始边界、结束边界、受影响节点和边及其预设一跳邻接范围;

52、初始搜索子图无可行路径时,按照一跳邻接范围、预设时间范围或下一个路线区段锚点逐级扩大;

53、达到最大跳数、最大节点数量、最大计算时间或路线区段契约规定的最大扩展范围,且扩展搜索空间已经穷尽仍无可行路径,或者原下游锚点已经失效时,从当前确认位置对全部未确认剩余路径执行重规划;

54、仅达到计算上限但搜索空间尚未穷尽时,记录为评价不确定;已确认完成的路径前缀不进入搜索子图。

55、优选的,所述仅将包含所述确认动作、确认局部状态和实际奖励的状态转移用于更新所述预设的强化学习调度策略包括:

56、仅当确认动作、确认下一状态、实际奖励、动作持续时间和确认依据均已确定时,形成实际动作经验并写入实际动作经验池;

57、所述实际动作经验中的动作字段保存确认动作;确认未执行动作在空操作编码、未执行后的确认状态、实际奖励和确认依据均可确定时,作为确认转移进入实际动作经验池;

58、名义调度动作被保留、修正、替换或安全拒绝时,形成安全干预标签,所述安全干预标签至少包括名义调度动作、映射动作或安全拒绝标记、干预类型、约束原因、动作修正量、预测可达性值以及可达性不足量;

59、安全拒绝时,动作修正量由预设拒绝编码或名义调度动作至拒绝动作的确定编码表示;可达性不足量定义为预测阈值与预测可达性值之差的非负部分;通信失败不写入安全干预标签池;已发送待确认记录进入独立待确认区,不进入实际动作经验池或安全干预标签池;待确认样本不参加任何策略损失、价值损失、干预分类损失、动作修正损失或可达性校准损失计算;

60、所述预设的强化学习调度策略采用演员-评论家结构,评论家的时序差分目标根据确认转移和动作持续时间折扣计算,演员目标为最大化确认动作价值并降低预计需要安全干预的名义调度动作概率;安全干预标签用于计算干预类型分类损失、动作修正量回归损失或策略干预惩罚;预测可达性与确认可达性的校准损失仅使用同时具有数值型预测评价和数值型确认结果的记录。

61、第二方面,与所述方法相对应的,本发明还提供一种基于强化学习的多式联运动态路径规划与避障调度智能体,包括:

62、网络状态及区段契约形成模块,用于获取当前确认位置、时变运输网络状态和时间索引障碍包络,根据所述时变运输网络状态构建时变运输图,确定从所述当前确认位置至下游出口锚点的活动路线区段契约及其剩余约束,所述剩余约束包括硬约束;

63、强化学习调度动作生成模块,用于根据预设的强化学习调度策略,在所述活动路线区段契约限定的动作空间内生成名义调度动作;

64、统一可达性评价及快照管理模块,用于为当前决策周期分配决策标识,创建与所述决策标识绑定的评价器快照,所述评价器快照包含评价器版本、评价规则、判断阈值和搜索计算上限,并在当前决策周期内保持不变;

65、局部-全局状态投影模块,用于预测所述名义调度动作执行后的运输状态,通过状态投影将所述运输状态转换为预测路线状态,并根据所述评价器快照中的评价规则计算所述名义调度动作的预测可达性值和搜索状态,所述搜索状态至少包括搜索空间穷尽状态和计算上限截断状态;

66、动作映射及发送模块,用于根据所述硬约束、所述预测可达性值和所述搜索状态,将所述名义调度动作映射为可发送映射动作或安全拒绝标记,在发送所述可发送映射动作并收到外部接口的接收确认后,记录发送动作,所述发送动作与所述决策标识和所述评价器快照关联;

67、执行状态确认模块,用于根据与所述发送动作匹配的执行反馈和状态证据,形成确认动作和确认局部状态,或者形成待确认记录;

68、确认评价模块,用于将所述确认局部状态通过所述状态投影转换为确认路线状态,并根据与所述决策标识绑定的所述评价器快照计算确认可达性值;

69、有边界重规划模块,用于当所述确认可达性值低于所述判断阈值或所述搜索状态为计算上限截断时,以当前确认位置为起始边界、以原剩余路径中第一个可衔接的下游锚点为结束边界执行有边界剩余路径重规划;所述有边界剩余路径重规划是指以当前确认位置为起始边界、以原剩余路径中第一个可衔接的下游锚点为结束边界的重规划;

70、强化学习更新模块,用于将包含所述确认动作、确认局部状态和实际奖励的状态转移用于更新所述预设的强化学习调度策略。

71、第三方面,本发明还提供一种基于强化学习的多式联运动态路径规划与避障调度系统,包括上述调度智能体,以及数据采集接口和工具执行适配器;所述数据采集接口用于获取时变运输网络状态、时间索引障碍包络、执行反馈和状态证据,并提供给所述调度智能体;所述工具执行适配器用于将所述调度智能体输出的可发送映射动作发送至外部系统,并接收外部接口的接收确认和执行反馈。

72、与现有技术相比,本发明具有以下有益效果:

73、1. 本发明通过为当前决策周期分配决策标识并创建与决策标识绑定的评价器快照,使发送前预测阶段和执行确认阶段复用同一评价器快照中的评价规则、判断阈值和搜索计算上限。同时,通过评价器快照的生命周期管理,在发送动作确认、排除或关闭为无法确认后才释放活动引用并保留审计哈希,迟到回执到达时仍根据原决策标识调入原评价器快照执行确认评价,不切换为当前默认评价器版本。由此保证两个阶段采用可复算的一致评价口径,使强化学习信用分配具有可比性和可靠性。

74、2. 本发明通过名义调度动作、可发送映射动作、发送动作和确认动作的四阶段事实隔离,只有确认动作、确认局部状态和实际奖励均已确定的状态转移才用于更新强化学习调度策略。通过将待确认记录排除在强化学习损失计算之外,使通信失败、回执缺失或证据不足的数据不污染实际动作经验池。通过明确拒绝执行且未执行后的状态可确定时形成采用预设空操作编码的确认未执行动作,使“确认未执行”与“待确认”“通信失败”“安全拒绝”被正确区分。通过部分执行时仅在已执行部分能够拆分为可识别的原子调度动作且能确定对应的下一状态和实际奖励时形成确认转移,避免将不确定的部分执行错误记录为完整成功样本。

75、3. 本发明通过当确认可达性值低于判断阈值或搜索状态为计算上限截断时,以当前确认位置为起始边界、以原剩余路径中第一个可衔接的下游锚点为结束边界执行有边界剩余路径重规划,使重规划范围被限制在最小必要范围内,降低无条件完整剩余路径重规划的计算规模。通过区分搜索空间穷尽状态和计算上限截断状态,仅当搜索空间穷尽且未取得可行路径时才认定不可达,防止因计算预算不足而错误生成不可达标签。通过确认评价因达到搜索计算上限而返回不确定标记时先执行二级计算预算、仍不确定时触发保守重规划或人工复核,使评价不确定状态得到保守处理。

76、4. 本发明通过活动路线区段契约仅在确认到达下游出口锚点后滚动,且名义调度动作、可发送映射动作或发送动作不触发契约版本更新,防止预测动作或发送动作提前改变后续动作边界。通过时间索引障碍包络采用预设置信水平下的保守边界、置信区间上界或概率分位值形成用于硬约束判断的占用区间,使动态障碍预测的不确定性被显式纳入安全判断。

77、5. 本发明通过局部-全局状态投影函数将预测局部状态和确认局部状态分别转换为预测路线状态和确认路线状态,使局部动作的执行效果能够在全局残余图中被一致评价,避免局部动作在当前区段可执行但投影到多式联运残余图后使后续路径不可达。通过在预测残余图中按照固定综合代价依次枚举无环路径并校验硬约束,在取得前k条无环可行路径、搜索空间穷尽或达到搜索计算上限时停止,使路径搜索过程具有确定性和可复算性。通过以综合代价最小的可行路径为基准路径计算时间裕量和风险裕量,保证可达性评价的保守性和一致性。

78、6. 本发明通过安全动作集合的形成以及名义调度动作的保留、修正、替换或安全拒绝,使硬约束违规动作不因奖励较高而被放行;安全拒绝标记在动作发送前形成,不形成发送动作和实际状态转移。通过发送记录同时保存决策标识、路线区段契约版本和评价器快照标识,使每次发送动作均可追溯至对应的决策周期和评价规则版本;通信失败且外部未接收时不记录发送动作,也不记为安全拒绝,使通信失败与安全拒绝被正确区分。

79、7. 本发明通过为发送动作关联任务标识、路径版本、路线区段标识、局部决策标识、发送序号和幂等标识,并采集设备回执、业务流水、运输对象位置、节点进入或离开记录、资源占用变化、障碍观测及作业完成状态进行匹配,使执行状态确认具有充分的事实依据。通过待确认记录不定义确认动作、确认下一状态和实际奖励,不形成强化学习状态转移,且后续根据迟到回执、补充证据或人工核对结果进行晋升或关闭,使未确认数据不污染实际动作经验池,同时为迟到回执保留恢复确认的通道。

80、8. 本发明通过安全干预标签至少包括名义调度动作、映射动作或安全拒绝标记、干预类型、约束原因、动作修正量、预测可达性值以及可达性不足量,使安全干预标签具有完整的可追溯信息,支持策略学习降低重复提出同类违规动作的概率。通过通信失败不写入安全干预标签池、已发送待确认记录进入独立待确认区、待确认样本不参加任何策略损失、价值损失、干预分类损失、动作修正损失或可达性校准损失计算,使不同可信等级的数据被严格隔离,避免低可信数据污染策略训练。

81、9. 本发明通过预设的强化学习调度策略采用演员-评论家结构,评论家的时序差分目标根据确认转移和动作持续时间折扣计算,演员目标为最大化确认动作价值并降低预计需要安全干预的名义调度动作概率,使策略更新同时优化任务完成效果和安全干预概率。通过安全干预标签用于计算干预类型分类损失、动作修正量回归损失或策略干预惩罚,使策略能够从安全干预事件中学习。通过预测可达性与确认可达性的校准损失仅使用同时具有数值型预测评价和数值型确认结果的记录,使可达性校准模型仅基于可信数据进行训练,提高预测可达性值的准确性。