一种基于强化学习的智慧物业服务资源调度方法与流程
本发明涉及智慧物业服务资源调度,尤其涉及一种基于强化学习的智慧物业服务资源调度方法。
背景技术:
1、现有智慧物业服务资源调度通常根据任务优先级、执行时段、服务位置和资源可用情况,采用人工规则、启发式算法或通用预测模型安排人员、设备及服务顺序。此类方法能够完成基本任务分配,但对门禁许可、作业资格、区域开放和设备可用等执行前提多采用独立判断,难以统一处理不同前提状态的有效区间及其共同作用时间。
2、在连续调度过程中,前一任务结束后仍然有效的执行前提可能被后一任务继续利用,部分前提也可能已经失效。现有方法通常整体保留或整体清除历史任务状态,难以按前提状态分别继承有效信息,容易造成可用状态丢失或失效状态继续参与调度。
3、此外,现有优化方法多依据计划结果评价候选调度,未将候选动作与对应模型状态同步验证,也缺少依据实际执行结果修正调度策略的闭环,导致任务越界、资源冲突或执行中断后难以及时调整后续任务和资源安排。
4、因此,如何提供一种基于强化学习的智慧物业服务资源调度方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于强化学习的智慧物业服务资源调度方法,本发明采用改进rwkv模型与霜冰优化算法相结合的方法,通过服务执行前提状态划分服务准入时空片段,并按任务状态地址承接关系重组矩阵值状态和词元移位状态,生成候选调度动作;在此基础上,利用调度奖励执行硬霜冰穿刺和正向贪婪选择,并依据实际执行奖励更新动作输出参数,实现物业服务任务与资源的动态调度,具有状态继承准确、资源冲突少、调度适应性强和执行效率高的优点。
2、根据本发明实施例的一种基于强化学习的智慧物业服务资源调度方法,包括如下步骤:
3、s1、汇集物业信息,关联物业服务任务与执行约束,形成物业运行对象;
4、s2、归并执行约束为服务执行前提状态,按有效区间划分服务准入时空片段;
5、s3、将任务写入时长及前提状态匹配的服务准入时空片段,按剩余有效性建立任务状态地址承接关系;
6、s4、改进rwkv模型依据承接关系将前提状态对应至wkv矩阵行范围,从对应地址读取矩阵行,按原行序重组任务前驱矩阵值状态,同步读取对应通道词元移位状态;
7、s5、时间混合模块依据任务前驱矩阵值状态和通道词元移位状态递推,将结果保存至任务新状态地址,更新有效前提状态对应地址并清除失效地址,生成候选调度动作;
8、s6、按完成任务时长扣除越界及资源冲突时长计算调度奖励,霜冰优化算法对候选调度动作和新状态地址同步执行硬霜冰穿刺,经临时状态递推和正向贪婪选择确定优化调度动作及对应地址;
9、s7、按优化调度动作绑定物业服务资源,按准入与执行事件更新片段运行状态;
10、s8、按运行状态和任务结果形成执行奖励,以执行奖励与调度奖励之差更新改进rwkv模型的动作输出参数,保留可承接前提状态地址,重排未完成任务并释放资源,形成下一轮调度状态。
11、可选的,所述s1具体包括:
12、s11、汇集物业信息,统一时间基准和空间位置标识,合并服务对象、记录内容相同且时段重叠的记录,形成物业基础信息;
13、s12、按服务对象、服务位置和服务内容对物业基础信息分组,将执行时间连续的记录归入同一物业服务任务,将时间中断的记录分开,形成物业服务任务;
14、s13、按照服务位置对应和有效时段交叠,从物业基础信息中提取各物业服务任务对应的执行约束,将物业服务任务与执行约束关联,形成物业运行对象。
15、可选的,所述s2具体包括:
16、s21、按照物业服务任务归集物业运行对象中的执行约束,统一执行约束的起止时刻和空间位置,按时间先后排列执行约束;
17、s22、合并空间位置相同、约束内容一致且有效时间连续的执行约束,记录合并结果的开始时刻和结束时刻,形成服务执行前提状态;
18、s23、按同一任务各服务执行前提状态有效区间的起止时刻划分连续区间,保留各状态共同有效的区间并关联空间位置,形成服务准入时空片段。
19、可选的,所述s3具体包括:
20、s31、读取任务执行时长和服务执行前提状态,在服务准入时空片段内确定任务执行区间,保留被各前提状态有效区间共同覆盖的片段;
21、s32、将物业服务任务写入保留片段并分配任务状态地址,按开始时刻排列同一服务位置的任务;
22、s33、按时间倒序以前序任务结束时刻截取各前提状态剩余有效区间,并与当前任务执行区间求交;
23、s34、交集覆盖当前任务执行区间且对应前提状态内容和服务位置相同时,将最近前序任务状态地址作为当前任务对应前提状态的来源地址,未命中时保持地址独立,形成任务状态地址承接关系。
24、可选的,所述改进rwkv模型包括输入嵌入层、依次连接的多个rwkv块、输出归一化层和输出头。
25、可选的,所述s4具体包括:
26、s41、各rwkv块的wkv头以键向量维度为行、值向量维度为列,按服务执行前提状态划分连续行范围,并将各行范围与同索引词元移位通道对应;
27、s42、将时间混合模块整体读取矩阵值状态的通路改为按行范围读取,依据任务状态地址承接关系确定各行范围的来源任务状态地址;
28、s43、从来源任务状态地址读取同一wkv头的对应矩阵行,保持列索引不变,按原行索引写入当前任务对应位置;
29、s44、未形成来源地址、来源地址失效或矩阵行缺失时,以模型初始化矩阵值状态的同索引行补足,与已读取矩阵行共同形成任务前驱矩阵值状态;
30、s45、从各矩阵行来源地址读取同一rwkv块前一时刻输入向量的对应通道,缺失时以模型初始化输入的同索引通道补足,按原索引重组通道词元移位状态。
31、可选的,所述s5具体包括:
32、s51、输入嵌入层生成首个rwkv块输入,各rwkv块将当前块输入与通道词元移位状态混合并投影,形成接收向量、键向量、值向量和门控向量;
33、s52、读取wkv头的时间衰减向量,键向量转置乘以值向量形成键值外积矩阵,将时间衰减向量按行乘入任务前驱矩阵值状态并叠加外积矩阵,形成更新矩阵值状态;
34、s53、读取wkv头的时间优先向量,按行乘入键值外积矩阵,与任务前驱矩阵值状态相加后由接收向量左乘,形成wkv头读出结果;
35、s54、将更新矩阵值状态和对应rwkv块当前输入保存至任务新状态地址,将当前块输入作为通道词元移位状态;
36、s55、任务结束时前提状态仍有效,将对应地址更新为任务新状态地址及原行范围并同步对应通道,前提状态失效则删除对应地址;
37、s56、wkv头读出结果经头归一化、门控调制和输出投影,由输出头生成任务执行时刻和资源选择的动作概率,并按动作概率抽取候选调度动作。
38、可选的,所述s6具体包括:
39、s61、将候选调度动作参数与对应任务新状态地址按任务顺序相邻写入个体位置向量;
40、s62、以完成任务时长扣除片段越界时长和资源冲突时长形成调度奖励,将调度奖励作为个体适应度并按种群极值归一化,极值相同时取一;
41、s63、零至一随机数低于归一化适应度时执行硬霜冰穿刺,同步替换最优个体中同一任务的动作参数和新状态地址;
42、s64、复制改进rwkv模型当前状态形成临时状态副本,按替换后的任务顺序和新状态地址递推,地址未命中、矩阵行缺失或前提状态失效时恢复替换前内容;
43、s65、重新计算调度奖励,奖励增大时保留替换,否则恢复,完成正向贪婪选择,迭代结束后读取奖励最大的动作及对应地址,形成优化调度动作及对应新状态地址。
44、可选的,所述s7具体包括:
45、s71、从优化调度动作读取任务执行区间和资源选择,将物业服务资源分配至对应任务,并在任务服务位置对应片段记录占用区间;
46、s72、按服务位置和事件时刻匹配准入事件,将准入时刻写入对应片段;
47、s73、接收执行开始和结束事件,以准入时刻与执行开始时刻的较晚者作为实际开始时刻,读取执行结束时刻和任务执行结果,计算越界时长并按片段边界修正,形成实际执行区间;
48、s74、将同一资源在不同任务实际执行区间的重叠时长记为资源冲突时长,将实际执行区间、任务执行结果、越界时长和资源冲突时长写入对应片段,形成片段运行状态。
49、可选的,所述s8具体包括:
50、s81、按任务执行结果区分已完成任务和未完成任务,以已完成任务实际执行时长扣除片段越界时长和资源冲突时长,形成执行奖励;
51、s82、前提状态结束时刻晚于任务实际结束时刻时,保留优化调度动作对应新状态地址及行范围,形成可承接前提状态地址,否则删除对应地址;
52、s83、按任务实际结束时刻修正资源占用结束时刻,删除修正时刻后的占用记录,释放未关联其他任务的资源;
53、s84、从未完成任务时长中扣除实际执行时长,保留未占用区间能够连续容纳剩余时长且前提状态有效的片段,并按最早开始时刻排列任务;
54、s85、读取输出头对优化调度动作生成的动作概率,以执行奖励减调度奖励所得差值乘入动作概率对数关于输出头参数的梯度,沿所得梯度更新输出头参数;
55、s86、将排列后的未完成任务关联可承接前提状态地址、保留片段和可分配资源,形成下一轮物业服务资源调度状态。
56、本发明的有益效果是:
57、本发明通过归并物业服务任务对应的执行约束,形成服务执行前提状态,并按照各前提状态的有效区间划分服务准入时空片段,使物业服务任务能够在满足执行时长和前提状态的时间范围内进行安排,减少因前提状态失效、服务位置不符或执行时段冲突造成的调度失配。
58、本发明通过改进rwkv模型,将不同前提状态对应的历史矩阵行按任务状态地址分别读取并依原行序重组,同时同步承接词元移位状态,使仍然有效的前提状态能够按状态粒度延续,失效状态能够及时清除,避免历史任务状态整体保留或整体丢弃造成的信息混用,提高连续任务之间状态承接的准确性。
59、本发明进一步利用霜冰优化算法对候选调度动作及对应状态地址同步优化,并通过调度奖励、临时状态递推和正向贪婪选择降低片段越界及资源冲突;结合实际执行结果形成执行奖励并更新动作输出参数,使调度策略能够依据任务执行情况持续调整,从而提高物业服务资源利用率、任务完成效率和动态调度适应性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com