一种基于零售商店以及餐厅数据的预测系统及方法与流程

1.本发明涉及计算机技术领域，具体涉及一种基于零售商店以及餐厅数据的预测系统及方法。


背景技术：

2.零售或者餐饮业务指标数据的预测系统架构较多采用的是迁移和借鉴常规的机器学习系统，即训练模型和部署预测服务分离成两个阶段来实现，这种系统架构虽然通用，但在业务预测领域会面临如下问题：业务数据预测是一个日期时间持续的比较高频以及固定周期的预测过程，如果采用模型训练和预测服务部署相分离的方式，会出现重新训练模型和重新启动预测服务部署新模型的阶段过渡，这个阶段过渡对于客户来说是不自动化、不灵敏的，客户希望这个预测服务是持久的、有在线预测能力的，一经部署之后不需要产生额外运维工作量的。部署之后算法模型的迭代优化更新能够在其内部自动实现，是一个全自动化无感的。
3.业务数据是一个有日期时间周期规律的时间序列类型数据，时间序列数据有一定的趋势、周期规律，这种趋势和周期规律与时间变化有较强的关联，比如短期内的趋势反转现象出现、不同时间区间的周期频率问题。时间序列数据预测模型需要考虑训练数据的时间区间、节假日、促销以及特殊事件等影响，为解决这些影响因素对预测效果的影响，一般常规的做法是重新构造新特征、重新训练新模型，然后重新部署上线新的预测服务。一旦涉及新特征、新模型、新部署就会带来预测请求输入结构的变化，与1）相比又会增加客户预测请求输入的数据结构变化,着一系列连锁改变，相当于重新构建了另外一套数据预测系统，这种整个系统级别的版本迭代是比较重的，对使用客户和产品开发来说都不是最优的解决方案。
4.业务数据的预测往往是辅助于管理和运营决策的，有时候某种有计划性的运营决策会对预测效果有比较强的影响，这时仅仅用假如新特征重新训练模型的系统架构，对于客户的持续运营和快速应变来说显然不够灵敏。较多情形下，指标的预测值还需要结合特定职能部门和人员的使用情况做相应的再加工处理才能符合其应用实际，这种可能带来的一系列有序的后处理环节。对于常规的离线训练然后部署模型的架构而言是不能够适用的，需要开辟新的预测架构思路。


技术实现要素：

5.本发明要解决的技术问题是提供一种基于零售商店以及餐厅数据的预测系统。
6.为了解决上述技术问题，本发明采用的技术方案是：一种基于零售商店以及餐厅数据的预测系统，包括：api接口，用于输入包括目标metadata信息和目标起止日期的预测请求数据；数据集存储单元，用于将不同的门店、不同的时间颗粒度的业务明细数据进行聚合存储；模型配置模块，包括训练集配置信息、特征工程配置信息、模型超参配置信息；数据转换模块，用于特征列计算以及对训练集进行转换计算；训练模型模块，具有初始模型结
构，用于将训练集带入初始模型结构中，训练出一个模型对象并缓存；执行预测模块，将预测请求和模型数据进行关联，生成预测输入数据集合，然后再通过模型对象计算出目标日期范围内的对应预测目标的值。
7.在某些实施方式中，训练集配置信息包括不同的客户不同的门店和不同的时间颗粒度的模型metadata信息，特征工程配置信息包括相关特征项及时间特性，模型超参配置信息包括模型类型，算法类型。
8.本发明要解决的又一技术问题是一种基于以上任意一项实施方式所述的基于零售商店以及餐厅数据的预测系统完成预测的预测方法。
9.为了解决上述技术问题，本发明采用的技术方案是：一种基于以上任意一项权利要求所述的预测系统完成预测的预测方法,包括步骤：步骤一：向api接口输入预测请求；步骤二：根据预测请求中的metadata信息和预测起止日期，在模型配置模块中查询获得以下与预测请求匹配的配置内容：相关训练集配置信息、相关特征工程配置信息、相关模型超参配置信息，并根据预测请求中的metadata信息和预测起止日期，从数据集存储单元中查询出包含有起止日期数据的相关数据集合；步骤三：数据转换模块将依据步骤二中的所述相关特征工程配置信息结合步骤二中的所述起止日期数据进行特征列计算，并将所有计算出的特征列汇集成初始训练集，数据转换模块再结合所述相关训练集配置信息，将所述初始训练集转换为包含有训练集信息的统一维度训练集；步骤四：将步骤三的所述训练集信息及所述相关模型超参配置信息代入设计的模型结构中，训练出并缓存一个模型对象；步骤五：数据转换模块将根据步骤一中的预测请求及步骤二中的配置内容，结合步骤三中的所述统一维度训练集生成预测输入数据集合；步骤六：将步骤五中的预测输入数据集合应用到步骤四中的模型对象中，采用xgboost算法执行预测计算，得到预测数据，完成对零售商店以及餐厅数据的预测。
10.在某些实施方式中，步骤三中还包括基于所述初始训练集，进行特征模型训练及预测，获得相关特征的预测值，再结合步骤二中的相关特征工程配置信息，进行特征计算，最后将所有计算出的特征列汇聚成包含有所述相关特征的预测值的初始训练集。
11.在某些实施方式中，所述相关模型超参配置信息中包括预测后处理配置信息，该方法还包括步骤七：数据转换模块将所述预测后处理配置信息，结合步骤六中的预测数据进行相应的预测后处理操作计算，并返回最终的预测结果。
12.在某些实施方式中，所述后处理操作计算包括数据取整、异常值修正、特殊日期数据处理。
13.本发明的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案等。
14.由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明通过将模型训练与执行预测融合在一个流程里，免了模型版本管理和新模型重新部署、重新启动预测服务，将常规的机器学习过程的离线训练模型和在线部署模型两个环节融合一体，以达到即时学习即刻训练瞬时预测的一站式效益，省去了由于离线训练模型的各种不同特征工程带来的复杂的预测接口服务调整、以及不同超参优化带来的模型版本管理和挑选最优模型部署上线问题，预测请求的api接口是固定的，只需提供必要的metadata信息和预测起止
日期，这个预测请求结构不会随着训练模型特征结构的变化、其他附加后处理环节的变化而变化，能够基于实时数据的预测系统架构，预测系统一经部署，不需要随模型版本更新、预测输入结构变化而频繁重启服务，免去一系列的运维工作，帮助零售等企业客户缩减了大量的it运维工时成本，使零售等企业客户更加专注于自身业务的运营上，该预测系统的实时预测能力也为企业的高效运营、灵活决策、快速决策提供了强有力的支撑。
附图说明
15.附图1为本发明的结构示意图；附图2为本发明的流程示意图；附图3为本发明中特征列计算流程图。
具体实施方式
16.如附图所示，本发明提供了一种基于零售商店以及餐厅数据的预测系统，本发明能够根据不同零售商店以及餐厅指标数据的不同时间颗粒度进行实时的预测结果输出。
17.该预测系统包括api接口，用于输入包括目标metadata信息和目标起止日期的预测请求数据；数据集存储单元，用于将不同的门店、不同的时间颗粒度的业务明细数据进行聚合存储，将客户的业务明细数据分属于不同门店按不同时间颗粒度进行聚合存储于数据集存储单元中；模型配置模块，包括训练集配置信息、特征工程配置信息、模型超参配置信息；数据转换模块，用于特征列计算以及对训练集进行转换计算；训练模型模块，具有初始模型结构，用于将训练集带入初始模型结构中，训练出一个模型对象并缓存；执行预测模块，将预测请求和模型数据进行关联，生成预测输入数据集合，然后再通过模型对象计算出目标日期范围内的对应预测目标的值。
18.数据转换模块实现了对数据预测处理和预测后处理环节中的一些转换计算。当模型配置中指定了需要做的转换计算，数据转换模块就是在整个系统预测流程中实现转换计算，该模块实现的转换计算函数或方法是可重用的、对称的，如取对数转换，在生成训练数据时可使用，在生成预测输入数据时也可以使用，是可重用性的，再如对训练数据和预测输入数据做了对数转换之后，在最终的预测结果上还要做相应的指数转换，使得预测值和训练数据的目标是统一数量级维度的，这是数据变换对称性的。
19.由于将训练模型模块和执行预测模块融合为一个整体模块，相关训练集配置信息以及模型超参配置信息就需要一个高效的配置管理模块来支撑，模型配置模块就起到了这个作用。
20.训练集配置信息包括不同的客户不同的门店和不同的时间颗粒度的模型metadata信息，特征工程配置信息包括相关特征项及时间特性，模型超参配置信息包括模型类型，算法类型。
21.通过以上基于零售商店以及餐厅数据的预测系统进行预测，具体步骤包括：步骤一：向api接口输入预测请求；步骤二：根据预测请求中的metadata信息和预测起止日期，在模型配置模块中查询获得以下与预测请求匹配的配置内容：相关训练集配置信息、相关特征工程配置信息、相关模型超参配置信息，并根据预测请求中的metadata信息和预测起止日期，从数据集存储
单元中查询出包含有起止日期数据的相关数据集合，起止日期数据还支持动态计算，如往年阴历/阳历同期；步骤三：本实施例中，数据转换模块将依据步骤二中的所述相关特征工程配置信息结合步骤二中的所述起止日期数据采用对数转换进行特征列计算，并将所有计算出的特征列汇集成初始训练集，或者，基于该初始训练集，进行特征模型训练及预测，获得相关特征的预测值，再结合步骤二中的相关特征工程配置信息，采用对数转换进行特征列计算，最后将所有计算出的特征列汇聚成包含有相关特征的预测值的初始训练集，数据转换模块在本实施例中采用指数转换，再结合所述相关训练集配置信息，将初始训练集转换为包含有训练集信息的统一维度训练集；步骤四：将步骤三的训练集信息及相关模型超参配置信息代入设计的模型结构中，训练出并缓存一个模型对象；步骤五：本实施例中，数据转换模块采用对数转换将根据步骤一中的预测请求及步骤二中的配置内容，结合步骤三中的所述统一维度训练集生成预测输入数据集合；步骤六：将步骤五中的预测输入数据集合应用到步骤四中的模型对象中，采用xgboost算法执行预测计算，得到预测数据，完成对零售商店以及餐厅数据的预测，xgboost算法模型中分线性回归和多分类，采用xgboost模型时可以根据数据类型选择不同的模型进行预测，本实施例中采用线性回归模型，线性回归公式为，函数称为y对的“回归函数”，在机器学习领域，线性回归模型标记为：，本实施例中，形式为：，其中y是预测函数，w是模型参数，x是特征输入，b是偏置量；步骤七：数据转换模块将所述预测后处理配置信息，结合步骤六中的预测数据进行相应的预测后处理操作计算，并返回最终的预测结果，后处理操作计算包括数据取整、异常值修正、特殊日期数据处理。
22.本发明中，数据转换模块中包含多种计算方法，如矩阵变换、对数变换、指数变换，矩阵变换具体公式为：，，可以进行分位值、对数、异常值等相关处理；对数变换是将有偏数据经过对数变换后更加接近正态分布,数据序列a经过对数转换后变成序列。
23.本发明所设计的预测系统中训练模型模块和执行预测模块是集成在一起的，和传统常规的预测系统不同的是，本发明所设计的预测系统中只缓存训练出的模型中间结构，为接下来的推理过程提供模型支持。在执行预测模块中，预测系统会根据预测调用请求传来的metadata信息去和模型配置的metadata信息进行关联，并按相应的配置生成预测输入数据，然后再通过模型对象的方法推理出目标日期范围内的对应预测目标的值。
24.上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人
士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。