一种基于大模型的自适应咖啡制作优化方法及系统与流程
本技术涉及自适应控制,尤其涉及一种基于大模型的自适应咖啡制作优化方法及系统。
背景技术:
1、随着咖啡消费市场的持续扩大和智能家居设备的普及,消费者对咖啡制作设备提出了自适应调整参数和持续优化出品品质的期望,推动咖啡制作技术向智能化方向演进。
2、目前,现有的咖啡制作优化方法中已有采用在线强化学习框架的方案,该方案通过在每次制作完成后根据实际萃取率和用户反馈对策略网络进行参数更新,使得设备能够在持续使用过程中逐步适应当前咖啡豆品种和用户口味偏好。然而,在线强化学习方法在参数更新过程中对策略网络的全部网络参数施加无差别的更新策略,未能区分不同网络参数对已学习历史任务的关键程度,导致每次参数更新均对所有参数产生同等幅度的调整作用。由于上述无差别更新策略的存在,当设备在长期使用中不断适应新的咖啡豆品种或新的用户偏好时,新数据的梯度更新方向与旧任务的最优参数方向之间产生冲突,新数据的参数调整不可避免地覆盖了为先前品种优化得到的参数值,使得设备在早期使用阶段习得的萃取策略发生退化。
3、综上所述,现有技术中存在由于在线强化学习在持续学习过程中缺乏对历史任务关键参数的保护机制,导致设备在适应新知识时发生灾难性遗忘,进一步影响咖啡制作设备长期运行后对早期适应品种的萃取精度和出品一致性的技术问题。
技术实现思路
1、本技术的目的是提供一种基于大模型的自适应咖啡制作优化方法及系统,用以解决现有技术中存在由于在线强化学习在持续学习过程中缺乏对历史任务关键参数的保护机制,导致设备在适应新知识时发生灾难性遗忘,进一步影响咖啡制作设备长期运行后对早期适应品种的萃取精度和出品一致性的技术问题。
2、鉴于上述问题,本技术提供了一种基于大模型的自适应咖啡制作优化方法及系统。
3、第一方面,本技术提供了一种基于大模型的自适应咖啡制作优化方法,通过一种基于大模型的自适应咖啡制作优化系统实现,包括:获取标准数据集后进行离线预训练,生成通用萃取基座;获取实时状态输入所述通用萃取基座进行制作推理,输出目标制作参数并执行,获得实时制作参数序列;根据所述实时制作参数序列生成综合奖励分值,基于所述综合奖励分值对所述通用萃取基座进行参数更新后存入经验缓存池。
4、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:获取多种咖啡豆在标准萃取条件下的状态-动作组合,作为标准数据集;采用逆强化学习算法从所述标准数据集中提取隐性奖励函数;以所述标准数据集和所述隐性奖励函数作为训练数据,对初始策略网络进行跨任务训练,生成元学习基座策略网络及初始参数;以所述元学习基座策略网络在所述标准数据集上的训练过程为依据,计算所述元学习基座策略网络中初始参数元素值,所述初始参数元素值用于表征初始参数对已学习任务的贡献敏感度;将所述隐性奖励函数、所述元学习基座策略网络及初始参数、所述初始参数元素值共同封装为通用萃取基座。
5、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:状态包括环境参数与咖啡豆属性参数,动作为对应状态下研磨参数及萃取参数的制作参数。
6、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:状态包括环境参数与咖啡豆属性参数,动作为对应状态下研磨参数及萃取参数的制作参数。进一步,本技术还包括:以所述标准数据集为输入,初始化隐性奖励函数候选值;基于所述隐性奖励函数候选值求解候选策略,并计算所述候选策略下的期望状态-动作组合;计算所述期望状态-动作组合与所述标准数据集的状态-动作组合差异,反向调整所述隐性奖励函数候选值,重复迭代直至所述状态-动作组合差异收敛,将收敛后的隐性奖励函数候选值确定为所述隐性奖励函数。
7、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:将所述标准数据集按多种咖啡豆划分为多个元训练任务;从所述多个元训练任务中随机提取第一元训练任务;在所述第一元训练任务中,对所述初始策略网络执行梯度更新,得到第一任务参数;以所述第一任务参数在第一验证子集上的损失为第一外层优化目标,反向传播更新所述初始策略网络的初始参数,直至遍历所述多个元训练任务。
8、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:采集实时环境参数与实时咖啡豆属性参数,编码为实时状态;将所述实时状态输入所述元学习基座策略网络,输出目标研磨参数与目标萃取参数,作为目标制作参数;将所述目标制作参数下发至咖啡制作执行机构执行,当监测得到实时制作参数基于所述目标制作参数的偏离程度超过预设偏离阈值时,调用所述元学习基座策略网络生成补偿制作参数并下发,获取实时制作参数序列。
9、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:在制作完成后,将所述实时制作参数序列输入隐性奖励函数,获得隐性奖励分值序列;将所述隐性奖励分值以及基于所述实时制作参数序列输入大模型生成的稠密语义奖励分值进行加权融合,生成综合奖励分值;以所述综合奖励分值为优化目标,计算所述元学习基座策略网络的策略梯度,并根据所述策略梯度对所述元学习基座策略网络的初始参数进行更新,得到优化参数;将所述实时状态、所述实时制作参数序列及所述综合奖励分值作为经验记录存入经验缓存池。
10、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:获取用户反馈评分;将所述实时制作参数序列按照时间顺序排列为时序状态矩阵,将所述用户反馈评分对应的语义描述文本与所述时序状态矩阵构造为提示词输入大模型,根据所述大模型内置的咖啡萃取知识对所述时序状态矩阵中的每个时间步输出子奖励分值,构成所述稠密语义奖励分值。
11、优选地,所述一种基于大模型的自适应咖啡制作优化方法还包括:当所述经验缓存池中关于同种咖啡豆对应经验记录的累积数量达到预设重训触发条件时,以所述经验缓存池中的全部经验记录为训练数据进行全局梯度更新,并在全局梯度更新完成后重新计算所述元学习基座策略网络在优化参数下的优化参数元素值,其中,对所述初始参数元素值大于预设重要性阈值的初始参数施加第一更新步长约束,对所述初始参数元素值小于等于所述预设重要性阈值的初始参数施加第二更新步长约束,所述第一更新步长约束的限幅程度大于所述第二更新步长约束的限幅程度。
12、第二方面,本技术还提供了一种基于大模型的自适应咖啡制作优化系统,用于执行如第一方面所述的一种基于大模型的自适应咖啡制作优化方法,包括:通用萃取基座生成模块,用于获取标准数据集后进行离线预训练,生成通用萃取基座;实时制作参数序列获得模块,用于获取实时状态输入所述通用萃取基座进行制作推理,输出目标制作参数并执行,获得实时制作参数序列;经验缓存池存入模块,用于根据所述实时制作参数序列生成综合奖励分值,基于所述综合奖励分值对所述通用萃取基座进行参数更新后存入经验缓存池。
13、本技术中提供的技术方案,至少具有如下技术效果或优点:通过实现网络参数在持续学习过程中依据与历史任务的关联程度被施加差异化更新约束、在吸收新反馈信息的同时维持已习得品种萃取策略稳定性的技术目标,达到设备在长期运行和持续使用后仍能对全部已适应咖啡豆品种保持初始适配精度、萃取参数输出一致性不随新品种引入而退化的技术效果。
14、上述说明仅是本技术技术方案的概述,为了能够更清楚地了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其他目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其他特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com