一种基于强化学习的自助餐配餐调度策略优化方法与流程
本技术涉及数据处理,具体涉及一种基于强化学习的自助餐配餐调度策略优化方法。
背景技术:
1、自助餐饮业态在商业综合体、企业食堂及连锁餐饮场景中广泛普及,其核心运营挑战在于多品类菜品的实时补给调度,不同于点餐制餐厅,自助餐场景下顾客取餐行为完全自主,菜品消耗速率受就餐高峰时段分布、顾客口味偏好结构和菜品之间关联取餐习惯等多重因素叠加驱动。由于备餐补给决策长期依赖人工经验,导致在高峰时段极易出现热门菜品断档与冷门菜品积压并存的结构性失衡局面。
2、针对补给调度问题,现有技术早期方案以固定阈值触发补给为主,即响应于菜品盛器剩余量低于预设容量比例,向后厨发出补给请求。随后,基于时序预测的方法通过对历史消耗曲线建模来预判未来需求量,从而前置补给时间窗口。近年来,强化学习方法被引入配餐调度领域,以当前库存水位和近时段消耗速率等特征作为环境状态,以补给哪道菜和补给多少作为动作空间,以菜品可用率和备餐成本的加权指标作为奖励信号,训练调度智能体。
3、然而,现有强化学习调度模型在构建环境状态时,将每道菜品的补给决策视为相互独立的子任务分别建模,忽视了菜品之间真实存在的序贯消费依存关系。由于在实际取餐场景中,顾客的取餐行为并非随机独立,当某道热门主菜耗尽断档后,其替代菜品的取用频率会在短时间内显著提升,形成跨菜品的需求转移效应。若现有强化学习状态向量中不包含邻近替代菜品的当前库存状态维度,导致智能体在感知到某菜品消耗速率突然加快时,无法区分这究竟是该菜品本身需求自然增长,还是其他菜品耗尽后的替代性溢出需求。这种状态感知盲区会使得调度决策陷入振荡,即智能体对替代菜品实施大量补给后,原菜品的补给也相继触发,替代需求随即回落,造成库存过剩,并在下一轮同类场景到来时仍会重复相同的错判,形成系统性资源错配。
技术实现思路
1、为了解决现有强化学习配餐调度模型因菜品独立状态建模而无法感知跨菜品替代需求转移,进而引发调度振荡和补给资源错配的现有技术问题,本技术提供一种基于强化学习的自助餐配餐调度策略优化方法。
2、在第一方面中,本技术提供一种基于强化学习的自助餐配餐调度策略优化方法,包括:从历史取餐记录中提取菜品间的序贯依存强度,并基于序贯依存强度构建有向加权菜品依存图以识别替代对;获取各菜品的当前库存水位与消耗速率,结合替代对与有向加权菜品依存图计算需求转移压力,并拼接为增广状态向量;基于需求转移压力、当前库存水位以及补给动作,计算包含可用性奖励、补给成本惩罚以及过度补给惩罚的即时奖励,以构建级联感知奖励函数;将增广状态向量输入至决策网络,结合级联感知奖励函数进行训练,并利用训练后的决策网络输出在线调度执行的补给动作。
3、通过将自助餐场景下长期被调度系统忽视的跨菜品序贯消费依存关系显式化为有向加权图结构,并通过需求转移压力将该图的实时拓扑状态注入强化学习的状态表示,消除了智能体在替代断档引发速率突增与自然需求增长之间的感知盲区。配合级联感知奖励函数对过度补给行为施以与转移压力正相关的动态惩罚,在保证补给资源投入基本可控的同时,有效降低了多品类调度场景下因状态感知盲区引发的补给振荡频率,改善了跨菜品补给决策的协调性,使得调度方案在高峰时段菜品需求发生替代性转移时仍能保持稳定和合理的资源分配。
4、优选的,所述从历史取餐记录中提取菜品间的序贯依存强度,并基于所述序贯依存强度构建有向加权菜品依存图以识别替代对,包括:统计顾客单次就餐行程内连续取用不同菜品的共现次数以及单道菜品的总出现次数;计算所述共现次数与所述总出现次数的比值作为所述序贯依存强度;筛选高于预设百分位阈值的所述序贯依存强度对应的菜品对,构建所述有向加权菜品依存图;在所述有向加权菜品依存图中,将双向的所述序贯依存强度均高于所述预设百分位阈值且属于同一菜品类目标签的菜品对,识别为所述替代对。
5、通过统计共现次数与总出现次数的比值,并结合自适应的百分位阈值筛选显著菜品对,能够反映当前菜单结构下顾客实际取餐行为规律,为后续增广状态向量的构建提供结构化的先验依赖关系,消除独立建模方式下替代需求转移信息缺失的感知盲区。
6、优选的,所述结合所述替代对与所述有向加权菜品依存图计算需求转移压力,并拼接为增广状态向量,包括:在所述有向加权菜品依存图中,将与目标菜品构成所述替代对的相邻菜品划分为替代邻居集合;计算所述替代邻居集合中各相邻菜品的库存亏缺度;将所述库存亏缺度与对应的所述序贯依存强度进行加权求和,得到所述目标菜品对应的所述需求转移压力;计算所述消耗速率的一阶差分,并将所述当前库存水位、所述消耗速率、所述需求转移压力以及所述一阶差分组合,最终拼接为所述增广状态向量。
7、通过将替代邻居的库存亏缺度按历史依存强度加权汇聚为单一的需求转移压力特征,使得智能体得以在同一状态输入中同时观测单菜品的局部供需态势与跨菜品的替代需求传导信号,填补了传统独立建模方式下跨菜品感知缺失所引发的调度振荡漏洞。
8、优选的,所述基于所述需求转移压力、所述当前库存水位以及补给动作,计算包含可用性奖励、补给成本惩罚以及过度补给惩罚的即时奖励,包括:判断所述当前库存水位是否处于断档状态;若未处于断档状态,则赋予固定的正向奖励值作为所述可用性奖励;若处于断档状态,则依据历史断档事件引发的客诉量与补给成本的比例关系确定断档惩罚系数,并将所述断档惩罚系数的负值作为所述可用性奖励,以参与计算所述即时奖励。
9、优选的,所述基于所述需求转移压力、所述当前库存水位以及补给动作,计算包含可用性奖励、补给成本惩罚以及过度补给惩罚的即时奖励,包括:获取后厨当前并行执行的补给任务数,并计算所述补给任务数与最大并行产能上限的比值,得到产能占用率;基于历史补给成本总量与断档惩罚总量的比值确定基准权重;利用所述产能占用率对所述基准权重进行线性放大,得到动态成本权重;将所述动态成本权重与所述补给动作对应的补给量相乘,得到所述补给成本惩罚,以参与计算所述即时奖励。
10、优选的,所述基于所述需求转移压力、所述当前库存水位以及补给动作,计算包含可用性奖励、补给成本惩罚以及过度补给惩罚的即时奖励,包括:统计历史非高峰时段的单次补给量均值与标准差,确定补给量阈值;判断所述补给动作对应的补给量是否超过所述补给量阈值;当所述补给量超过所述补给量阈值且所述需求转移压力大于零时,利用预设的惩罚系数对所述需求转移压力进行加权,得到所述过度补给惩罚,以参与计算所述即时奖励。
11、通过将替代需求转移压力直接嵌入奖励函数的过度补给惩罚分量,在训练阶段为智能体建立明确的因果反馈,引导智能体学会区分替代性溢出需求与自然需求增长,有效抑制了传统奖励设计下持续强化误判所导致的调度振荡行为。
12、优选的,所述结合所述级联感知奖励函数进行训练,包括:在仿真环境中依据历史时段分布回放菜品消耗速率序列;当检测到仿真环境中的关联菜品库存降至零时,将所述关联菜品断档前的消耗速率按所述序贯依存强度的比例叠加至目标菜品的消耗速率中,以复现需求溢出过程;利用所述级联感知奖励函数计算反馈值,并以最大化累积折扣全局奖励为目标更新所述决策网络的参数,直至满足双条件收敛准则完成所述训练。
13、优选的,所述直至满足双条件收敛准则完成所述训练,包括:在连续多个评估回合内,统计所有菜品的平均断档率以及总补给动作次数;将所述平均断档率与历史基线方案的断档率进行比对,并将所述总补给动作次数与所述历史基线方案同期的总补给次数进行比对;当所述平均断档率低于所述历史基线方案的断档率,且所述总补给动作次数不高于所述历史基线方案同期的总补给次数时,判定满足所述双条件收敛准则并完成所述训练。
14、优选的,所述利用训练后的决策网络输出在线调度执行的补给动作,包括:以固定时间间隔采集各菜品的实时库存水位,并实时计算对应的所述增广状态向量;将实时的所述增广状态向量输入至所述训练后的决策网络,输出候选补给动作集合;结合各菜品的所述当前库存水位与所述消耗速率计算预计断档剩余时间;依据所述预计断档剩余时间对所述候选补给动作集合进行优先级排序,将超出当前可执行产能上限的补给请求进行排队缓发,最终输出所述在线调度执行的补给动作。
15、优选的,所述利用训练后的决策网络输出在线调度执行的补给动作,还包括:在预设的运营周期结束后,采集实际消耗序列并追加至历史数据集中;采用滑动窗口方式,基于更新后的所述历史数据集重新计算所述序贯依存强度;同步更新所述有向加权菜品依存图的边权重以及所述级联感知奖励函数中的统计基准,以维持所述在线调度执行的补给动作的自适应能力。
16、本技术通过深度挖掘历史取餐记录中的序贯消费依存关系,构建出能够精准反映菜品间替代效应的图结构,并将这种跨菜品的需求转移压力创新性地融入强化学习的状态空间中,赋予了智能体全局视角的感知能力,有效避免了因局部状态盲区导致的误判。
17、此外,本技术在实际在线调度执行过程中,结合动态产能约束与优先级排队机制,不仅保障了高峰期后厨资源的合理分配,还通过滑动窗口机制实现了对季节性口味变化和菜单更新的持续自适应,大幅提升了自助餐运营的智能化水平与服务质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com