一种数据驱动的易腐品年龄分层库存优化方法及系统

本发明涉及供应链管理系统，具体涉及一种数据驱动的易腐品年龄分层库存优化方法及系统。

背景技术：

1、固定保质期的易腐农产品，如新鲜食品、水果蔬菜、牛奶、鸡蛋等具有保质期短、需求波动性高、库存损耗严重等特点，其供应链管理面临显著挑战；在多产品、多渠道的分销体系中，传统方法存在库存年龄建模粗糙、消费者选择行为未建模、优化目标单一、缺乏需求侧调控手段、动作空间维度过高等技术缺陷。如何动态掌握各渠道的库存状态并据此调整补货策略，成为影响易腐品保存质量与降低损耗的关键；近年来，随着人工智能和数据驱动方法的发展，深度学习和强化学习等先进算法已被引入供应链管理领域，尤其是在库存控制与补货优化场景中，旨在解决静态模型和方法难以应对的复杂动态决策问题，逐步成为产业界关注的热点。

2、现有的技术主要存在以下技术瓶颈：

3、第一，在目标层面，上述方法均将利润与包括过期成本在内的各类经济成本合并为单一标量奖励函数进行优化。这种单目标建模方式在数学上消除了利润与物理损耗之间的非凸性，使得算法只能收敛到帕累托前沿上的某一个点，无法为控制系统提供完整的、覆盖从“激进盈利”到“激进减损”全频谱的最优策略集。

4、第二，许多库存控制方法以预测需求或固定随机需求为前提，将消费者需求视为外生给定变量，未在库存状态转移过程中刻画消费者面对不同年龄层、不同折扣价格的同一商品时的离散选择行为。因此，折扣动作对销售分配、缺货和过期的反馈关系不够真实。

5、第三，现有神经网络决策方法若直接输出各年龄层折扣系数，容易产生违反业务物理规律的动作，例如旧货售价高于新货售价。若仅通过惩罚项或事后修正处理该问题，训练时的策略概率、执行动作和梯度更新之间可能不一致。

6、第四，现有技术往往侧重离线模型训练，缺少从实时库存状态直接生成订货量等库存管理策略的完整工程闭环。

技术实现思路

1、本发明提出的一种数据驱动的易腐品年龄分层库存优化方法及系统，以解决上述背景技术的问题。

2、为实现上述目的，本发明采用了以下技术方案：本发明的一种数据驱动的易腐品年龄分层库存优化方法，包括以下步骤：

3、s1.构建易腐品库存动态系统的数字化孪生环境；

4、s2.根据数字化孪生环境构建偏好条件化的双目标控制网络；

5、s3.采用基于理想点偏差的可微切比雪夫标量化方法进行所述双目标控制网络的强化学习训练；

6、s4.根据训练结果采用顺序掩码采样机制生成满足折扣单调性约束的折扣动作。

7、优选的，所述数字化孪生环境按决策周期循环，在每个周期期初，定义年龄分层库存状态向量：

8、

9、其中，为固定保质期周期数，为年龄为的产品库存量；

10、所述数字化孪生环境的状态转移过程包括：根据订货量更新库存、基于多项logit消费者选择模型模拟不同年龄层产品的随机需求与实际销量、执行库存老化与物理过期、并计算包含周期利润与负过期量的二维即时奖励向量，其中，为本周期末的过期量。

11、优选的，所述双目标控制网络以当前库存状态和经营偏好向量为输入，输出订货动作与各年龄层产品的折扣动作；所述网络包括：

12、状态编码器，用于将年龄分层库存状态映射为状态特征向量；

13、偏好嵌入层，用于将所述经营偏好向量映射为偏好特征向量；

14、actor策略网络，用于根据所述状态特征向量与偏好特征向量，生成订货量离散概率分布以及各年龄层产品的折扣系数离散概率分布；

15、critic价值网络，用于根据所述状态特征向量与偏好特征向量，独立输出两个目标各自的累积折扣回报估计值与。

16、优选的，所述强化学习训练的过程包括：

17、通过端点预训练确定利润目标与减损目标的单周期归一化参考点及累积理想参考点；

18、在策略采样阶段，采用混合偏好采样策略以覆盖完整偏好空间；

19、在每次策略更新时，分别计算两个目标的时序差分误差和广义优势估计，得到二维优势向量：

20、

21、利用可微切比雪夫标量化函数将当前状态价值与优势向量组合，计算标量化优势：

22、

23、并以此驱动策略网络的近端策略优化更新。

24、优选的，所述s4包括：

25、所述顺序掩码采样机制按年龄从新到旧的顺序，依次为每个有库存的年龄层确定折扣系数；对于年龄层，其可选折扣档位的上界被强制限定为紧邻较新年龄层，已选定的折扣档位，并通过掩码操作将非法档位的概率质量置零，经重新归一化后采样，以保证生成的折扣序列严格满足。

26、优选的，所述多项logit消费者选择模型为：

27、对于有库存的年龄层集合，消费者选择购买年龄层商品的概率为：

28、

29、其中，效用函数，为商品基础吸引力参数，为价格敏感系数，为新鲜度敏感系数，表示剩余可销售周期数；

30、消费者的总需求服从gamma-poisson混合分布，并通过多项分布将分配到各年龄层及不购买选项。

31、优选的，所述可微切比雪夫标量化函数采用基于logsumexp的平滑最小函数实现：

32、

33、其中，

34、为平滑温度参数；

35、所述混合偏好采样策略包括三个阶段：

36、第一阶段，从参数的二维dirichlet分布中随机采样偏好；

37、第二阶段，在每轮数据采集中，强制添加两个极端偏好点和对应的完整轨迹；

38、第三阶段，在训练收敛期，切换为在偏好空间均匀分布的多个网格点上进行遍历采样，以细化中间偏好区域的策略质量。

39、优选的，所述s3的训练过程中还引入偏好多样性正则化项，该项强制要求：对于同一状态下的两个不同偏好向量和，由actor策略网络输出的动作概率分布之间的kl散度，与所述两个偏好向量之间的欧氏距离成比例；所述正则化项用于防止条件策略网络对不同偏好输出趋于一致，从而保证帕累托前沿的完整性。

40、优选的，所述顺序掩码采样机制在训练阶段和推理阶段均保持一致：在训练阶段，用于计算联合动作的对数概率及策略梯度；在推理阶段，用于确定性解码输出满足单调性约束的折扣系数。

41、一种数据驱动的易腐品年龄分层库存优化系统，包括：

42、状态编码模块，用于获取当前库存中各年龄层商品的数量向量及需求上下文特征，构成系统状态；

43、双目标奖励计算模块，用于在执行折扣动作后，分别计算利润奖励和过期损失惩罚，输出双目标奖励向量；

44、偏好条件化策略网络模块，包括actor网络和critic网络，所述actor网络接收状态与偏好权重的拼接向量并输出折扣动作概率分布；

45、顺序掩码模块，用于根据库存中各年龄层商品的剩余保质期信息，在动作概率分布上施加单调性掩码，屏蔽违反折扣单调性约束的动作；

46、消费者选择建模模块，用于基于mnl模型计算消费者在给定折扣价格下对各年龄层商品的选择概率及期望销售量；

47、可微切比雪夫标量化模块，用于采用ppo算法结合可微切比雪夫标量化损失函数，对所述偏好条件化策略网络进行训练更新；

48、决策输出模块，用于根据当前状态和偏好权重，输出各年龄层商品的最优折扣率向量并对接在线部署接口。

49、由上述技术方案可知，本发明提供了一种数据驱动的易腐品年龄分层库存优化方法。与现有技术相比本发明具有以下优势：

50、1.本发明针对具有固定保质期和年龄分层结构的易腐品库存控制系统，构建两个独立优化目标的马尔可夫决策过程模型，并采用切比雪夫标量化方法进行求解的完整技术框架；从系统架构层面保证了利润－物理损耗权衡的非凸性能被完整刻画。

51、2.本发明通过构建基于logsumexp平滑近似的可微切比雪夫标量化模块，并将其嵌入价值估计网络的计算图，实现每时间步的即时标量化td误差计算；解决了传统多目标强化学习方法必须在回合结束后才能进行标量化的技术限制，使得标准近端策略优化的所有单步学习机制可直接应用于易腐品库存的双目标控制问题。

52、3.本发明通过采用从年龄最新到最老的顺序掩码采样技术，从动作生成的概率计算层面强制执行年龄越大、折扣力度越大的单调性约束；从算法底层概率机制上保证了输出定价指令的物理可行性，违规概率严格为零。

53、4.本发明通过特定的偏好采样策略与网络优化正则化手段相结合，确保最终生成的策略集能够完整且均匀地覆盖非凸帕累托前沿；从数据供给和优化约束两个维度协同保障了帕累托最优策略集的完整性与可辨识性，使得单个神经网络模型能够内化从激进盈利到激进减损的全部控制策略。