一种面向集装箱码头智能堆场决策的数据同步方法及系统与流程
本发明属于集装箱码头智能管控,尤其涉及一种面向集装箱码头智能堆场决策的数据同步方法、系统及存储介质。
背景技术:
1、集装箱码头堆场作业具有任务并发度高、局部状态变化快、封场区域动态调整以及决策调用时效要求高等特点。智能堆场决策模块在执行当前箱位分配、封场避让和预分配准备等任务时,需要调用在场箱数据、作业指令数据、场地封场数据、场地结构数据、历史箱数据、预录数据和船期数据等多类业务特征数据,以获得与当前决策任务对应的堆场状态和作业约束。
2、不同类别业务特征数据对当前决策任务的影响程度、允许更新间隔和空间关联范围并不相同。在场箱数据、作业指令数据和场地封场数据通常直接影响当前任务的可执行性和候选范围,允许的同步间隔较短;场地结构数据、历史箱数据、预录数据和船期数据主要用于结构约束、历史参考或后续业务准备,允许的同步间隔相对较长。若对上述数据采用统一频率、统一范围和统一机制进行同步,容易出现关键数据因资源竞争而更新滞后、低时效数据被重复刷新、局部任务触发全场范围更新以及当前任务所需多类输入数据时效状态不一致等情况。
3、此外,在高频写入、覆盖更新和多类数据并发读取的场景下,若同步结果在完成单类数据更新后即直接提供给智能堆场决策模块,当前任务可能同时读取到不同同步时刻形成的数据组合;当同步线程、内存、数据库连接及网络传输资源受限时,该问题还可能伴随关键同步任务排队等待和无关数据占用同步资源。
4、因此,需要一种面向当前智能堆场决策任务的数据同步方法,根据各类业务特征数据与当前任务之间的决策关联程度、数据同步陈旧程度、空间重合关系和变化情况确定同步优先级,并结合有限同步资源实施差异化同步;同时,在当前任务所需关键数据均满足各自时效窗口后形成任务快照,以降低无效刷新和输入数据时效不一致对智能堆场决策的影响。
技术实现思路
1、本发明的目的在于提供一种面向集装箱码头智能堆场决策的数据同步方法及系统,以解决当前智能堆场决策场景下关键数据响应滞后、低时效业务特征数据重复刷新、局部决策任务触发全场更新以及决策输入数据时效状态不一致的问题。
2、为实现上述发明目的,本发明提供了一种面向集装箱码头智能堆场决策的数据同步方法,包括:
3、s1、采集智能堆场决策所需的业务特征数据;其中,所述业务特征数据包括:在场箱数据、作业指令数据、场地封场数据、场地结构数据、历史箱数据、预录数据和船期数据,并形成待同步数据集;
4、s2、识别当前智能堆场决策任务类型,确定当前决策任务对应的决策对象空间范围和关键数据类别集合;
5、s3、根据各类业务特征数据对当前决策任务的决策关联度、同步陈旧度、空间匹配度和变化频度,计算任务感知同步优先评分,并依据所述任务感知同步优先评分进行时效分级,形成高时效同步任务和低时效同步任务;
6、s4、对于能够形成空间映射的高时效同步任务,在当前决策对象空间范围及其相邻扩展范围内执行事件触发同步与短周期增量同步;对于无法形成空间映射但属于当前决策任务对应的关键数据类别集合的高时效同步任务,按照当前决策任务关联的业务主键或业务标识筛选对应记录执行增量同步;对低时效同步任务执行长周期同步、延后同步或批量同步;
7、s5、在有限同步资源约束下,依据所述任务感知同步优先评分对高时效同步任务和低时效同步任务进行动态调度;
8、s6、将同步结果写入非关系型数据库redis的暂存区,并在当前决策任务对应的关键数据类别集合中的各类业务特征数据均满足各自时效窗口要求时生成面向智能堆场决策模块可读的任务快照。
9、在一个优选实施方式中,所述待同步数据集并非按照固定静态优先级进行统一同步,而是以当前决策任务为中心,对各类业务特征数据执行任务感知的同步优先评估。不同于仅依据数据变更频率或数据库更新顺序进行同步控制的方案,本发明将数据同步的目标由“数据尽快传播”进一步限定为“当前决策任务所需关键数据在同一任务快照判定时刻下均满足各自时效窗口要求”,从而减少由于输入窗口不一致造成的决策偏差。
10、在一个优选实施方式中,所述当前决策任务类型至少包括当前箱位分配任务、封场避让任务和预分配准备任务。不同任务对应不同的决策对象空间范围和关键数据类别集合。通过先识别任务,再限定同步范围,能够避免局部任务触发全场数据同步,从而降低无效同步成本。
11、在一个优选实施方式中,针对第类业务特征数据,在当前决策任务d下构建任务感知同步优先评分。
12、;
13、式(1)和式(2)中,i为业务特征数据类别索引;d为当前智能堆场决策任务标识;t为优先评分判定时刻;为第i类业务特征数据的任务感知同步优先评分;为决策关联度,表示该类数据与当前任务的关联程度;为同步陈旧度,表示该类数据距最近一次成功同步的相对时效状态;为空间匹配度,表示本次更新范围与当前决策对象空间范围的重合程度;为变化频度,表示该类数据在统计窗口内的变化程度;α、β、γ和δ分别为上述四项指标的权重系数,并满足式(2)。
14、其中,取值为0至1,为非负数;越大,表示该类数据在当前同步周期中的同步优先级越高。
15、式(1)将决策关联度、同步陈旧度、空间匹配度和变化频度按权重进行加权合成,所得任务感知同步优先评分用于后续时效分级和有限同步资源下的任务调度。所述决策关联度根据当前决策任务对应的关键数据类别集合及各类业务特征数据对当前任务的影响程度确定。
16、优选地,将关联程度划分为0级至4级,并将等级值除以4归一化至0至1;相应等级配置存储于任务识别单元的任务—数据关联配置中。所述权重系数可根据当前任务对实时性、空间相关性和变化敏感性的要求预先设定,并结合历史同步日志和决策任务日志进行回放调整。在一个优选实施例中,取。
17、上述优选权重的取值依据为,先根据各指标对当前任务可执行性、数据时效、空间局部性和短时变化的影响程度确定相对权重,再利用历史同步日志和决策任务日志进行回放,以关键数据超时情况、任务快照时效通过情况和同步等待时间作为校核指标,在满足关键数据时效要求的候选组合中确定。
18、在一个优选实施方式中,采用分级阈值ζ对任务感知同步优先评分进行时效分级:时划分为高时效同步任务,时划分为低时效同步任务。可根据历史业务特征数据和系统时效要求确定,在一个优选实施例中取。
19、所述分级阈值ζ用于平衡高时效同步任务的覆盖范围与同步资源占用,其取值可通过历史业务回放比较不同阈值下的关键数据超时情况、高时效同步任务数量及同步等待时间确定;ζ=0.60为兼顾关键数据及时同步和资源占用的优选实施值。
20、在一个优选实施方式中,所述同步陈旧度按下式计算:
21、;
22、式(3)中,t为当前判定时刻;为第i类业务特征数据最近一次成功同步并完成redis暂存写入的时刻;为所述类业务特征数据允许的最大同步间隔;为同步陈旧度。计算时以实际陈旧时间得到表示仍处于允许时效窗口内,表示达到时效上限,表示已超过允许时效窗口。
23、式(3)由单类业务特征数据的时效约束归一化得到,使不同同步间隔要求的数据能够在统一尺度下比较。可根据数据源更新周期、当前任务时效要求和接口调用能力预先设定,并结合历史业务日志进行调整。所述最大同步间隔的取值原则为:不小于数据源接口能够稳定支持的最小有效调用间隔,且不大于当前决策任务对该类数据可容忍的最大陈旧时间,并结合高峰业务时段的实际同步延迟进行校核。
24、在一个优选实施方式中,所述空间匹配度按下式计算:;
25、式(4)中,为第i类业务特征数据本次更新涉及的空间集合,为当前决策任务d对应的决策对象空间集合;“∩”表示集合交集,“|·|”表示按统一堆场位置粒度统计的标准位置单元数量;为空间匹配度。对于含有箱区、贝位、排位、源位置、目标位置或封场区间字段的数据,由相应空间字段形成;可通过任务关联关系映射到目标区域的数据,由任务识别单元形成;无法形成空间映射时令=∅并取。
26、式(4)以当前决策对象空间所包含的标准位置单元数量为基准计算覆盖比例:无空间重合时,完全覆盖时,部分覆盖时按重合比例取值。所述标准位置单元优选采用箱区—贝位—排位粒度,取值依据在于上述位置字段能够由在场箱、作业指令和场地封场数据稳定映射,并能够区分当前决策任务实际关注的局部区域;实际系统具备更细粒度位置编码时,可按照相同计算规则进一步细化。
27、在一个优选实施方式中,所述变化频度按下式计算:;
28、式(5)中,为截至判定时刻t的滑动统计窗口内,第i类业务特征数据经业务主键和版本信息去重后的有效变化次数;为统计窗口包含的标准统计时隙数量;为每个标准统计时隙对应的平均有效变化次数。越大,表示所述类业务特征数据在当前统计窗口内变化越频繁。
29、式(5)采用滑动窗口内有效变化次数的时隙平均值,以减小单个瞬时事件对评分的影响。可根据业务特征数据变化周期和系统响应要求设定,在一个优选实施例中以1秒为标准统计时隙并取=20。所述统计窗口的取值应兼顾平滑性与响应性:窗口应覆盖若干连续有效变化事件以减小单次突发造成的评分波动,同时不宜过长以避免降低对快速变化的响应;可通过历史日志比较评分波动幅度和关键变化响应延迟后确定。
30、在一个优选实施方式中,对高时效同步任务执行事件触发同步与短周期增量同步,对低时效同步任务执行长周期同步、延后同步或批量同步。其中,对于能够形成空间映射的高时效同步任务,在当前决策对象空间范围及其相邻扩展范围内按照空间重合关系执行局部增量同步,不对与当前任务无关的区域执行刷新;对于无法形成空间映射但属于当前决策任务关键数据类别集合的高时效同步任务,按照当前任务关联的业务主键、箱号、箱标识、船名、航次或其他业务标识筛选对应记录执行记录级增量同步,不对所述类业务特征数据执行全量刷新。低时效同步任务则根据当前资源占用和任务排队情况采用长周期、延后或批量方式执行。
31、在一个优选实施方式中,所述同步结果并非直接对智能堆场决策模块可见,而是先写入redis暂存区。当前决策任务对应的关键数据类别集合为非空集合,至少包含一类被当前任务调用的业务特征数据。只有当中的各类业务特征数据均满足各自时效窗口要求时,才将对应数据组织为任务快照供智能堆场决策模块读取。
32、另一方面,本发明还提供了一种面向集装箱码头智能堆场决策的时效分级数据同步系统,用于执行上述面向集装箱码头智能堆场决策的数据同步方法,所述系统包括:数据采集单元、任务识别单元、优先评分计算单元、范围约束同步单元、资源调度单元、redis暂存单元、任务快照单元和数据服务单元,其中,
33、数据采集单元、任务识别单元、优先评分计算单元、范围约束同步单元、资源调度单元、redis暂存单元、任务快照单元和数据服务单元;其中,
34、数据采集单元,其用于采集智能堆场决策所需的业务特征数据并形成待同步数据集;
35、任务识别单元,其用于识别当前智能堆场决策任务类型并确定当前决策对象空间范围和关键数据类别集合;
36、优先评分计算单元,其用于根据决策关联度、同步陈旧度、空间匹配度和变化频度计算任务感知同步优先评分,并依据所述任务感知同步优先评分形成高时效同步任务和低时效同步任务;
37、范围约束同步单元,其用于对能够形成空间映射的高时效同步任务在当前决策对象空间范围及其相邻扩展范围内执行局部增量同步,对无法形成空间映射但属于关键数据类别集合的高时效同步任务按照当前决策任务关联的业务主键或业务标识执行记录级增量同步,并对低时效同步任务执行长周期同步、延后同步或批量同步;
38、资源调度单元,其用于在有限同步资源约束下依据所述任务感知同步优先评分确定同步任务执行组合,使评分较高的同步任务具有较高的被调度优先级;
39、redis暂存单元,其用于将同步结果写入redis暂存区,关联记录源更新时间戳和版本号,并根据上游版本号或源更新时间戳执行缓存记录的新旧判断;
40、任务快照单元,其用于根据当前决策任务的关键数据类别集合执行时效窗口判定,并在所述关键数据类别集合中的各类业务特征数据均满足各自时效窗口要求时生成任务快照;
41、数据服务单元,其用于向智能堆场决策模块提供任务快照读取服务。
42、本发明还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现面向集装箱码头智能堆场决策的时效分级数据同步方法。
43、与现有技术相比,本发明的有益效果是,本发明通过采集在场箱各数据,并形成待同步数据集,识别当前智能堆场决策任务类型,确定当前决策任务对应的决策对象空间范围和关键数据类别集合;根据决策关联度、同步陈旧度、空间匹配度和变化频度计算同步优先评分,并进行时效分级和有限资源动态调度;对可形成空间映射的高时效数据在决策范围及相邻扩展范围内执行局部增量同步,同步结果写入redis暂存区,关键数据满足各自时效窗口时生成任务快照供智能堆场决策模块读取。本发明实现了面向当前决策任务的关键业务特征数据优先同步,降低在场箱数据、作业指令数据和场地封场数据等高时效业务特征数据的等待时间,提高了智能堆场决策对现场变化的响应能力;实现了面向当前决策任务的时效分级同步、空间范围约束同步、有限资源动态调度和任务快照生成。
44、尤其,本发明通过决策对象空间范围约束,将高时效同步限定在当前任务相关的箱区、贝位、排位或封场区间及其相邻扩展范围内,减少全场范围无差别更新形成的同步开销。
45、尤其,本发明根据任务感知同步优先评分并结合有限同步资源实施动态调度,使高时效同步任务在资源受限或高并发情况下获得优先执行条件,提高同步资源利用效率和运行稳定性。
46、尤其,本发明通过redis暂存区与任务快照机制,使当前决策任务对应的关键数据类别集合中的各类数据在同一任务快照判定时刻均满足各自时效窗口要求后再向智能堆场决策模块提供,降低不同步时效状态数据组合引起的决策偏差风险;
47、尤其,本发明基于现有码头业务系统中的在场箱、作业指令、场地封场、场地结构、历史箱、预录和船期数据实现,不改变上述业务特征数据的基本业务含义,有利于在现有码头业务系统的数据同步层和缓存服务层中实施。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com