一种基于Flink的大数据离线与实时商品推荐方法与流程

技术特征：
1.一种基于flink的大数据离线与实时商品推荐方法，其特征在于，包括以下步骤：s1:首先，对使用的数据集预处理，来获取用户的商品评分表，所述数据集包括用户行为数据与商品明细数据，先获取所有种类的用户行为对于商品的权重，再通过权重与商品的用户行为得分获取到用户评分表与商品明细表，并将用户评分表与商品明细表导入hbase数据库；s2:根据用户评分表与商品明细表以及flink的大数据，进行离线推荐，主要包括基于统计的推荐、基于商品的协同过滤、基于商品内容的推荐以及基于隐语义模型的协同过滤，再根据用户所有的历史数据，调用设定的离线推荐方法进行周期性的数据分析；s3:实现离线推荐后，根据用户实时行为数据流进行实时的商品推荐，主要包括基于flink窗口机制统计实时热门商品topn和根据实时推荐原则，利用flink和优先级实时推荐算法进行基于商品优先级的实时推荐，需当用户给出一次或几次评分后，实时更新出推荐结果。2.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s1中，获取到用户对每个商品的评分表的具体步骤包括：s21:构建包含用户行为的成对比较矩阵，即表示准则层或目标层所有因素针对上一层某一个因素的相对重要性的比较；s22:利用一致性指标和一致性比率，对成对比较矩阵进行一致性检验，并根据一致性指标选择性的对数值进行调整；s23:根据并利用成对比较矩阵的最大特征根求解其对应的归一化特征向量，获取到准则层各个行为对目标层的权重，求解出权重向量以及每个商品的用户行为得分，经过统计，即获取到用户评分表与商品明细表。3.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s2中，所述基于统计的推荐是数据集根据所述用户打分表、商品推荐，通过flink table&sql api实现统计推荐，最后存入hbase离线推荐数据库，所述商品推荐分为历史热门商品、近期热门商品与历史好评商品三部分。4.根据权利要求3所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，所述历史热门商品是统计所有打分中打分数最多的商品，是按照从大到小排序；所述近期热门商品是分别按照打分数与时间戳排序，统计打分数最多的商品；所述历史好评商品是统计商品的平均打分数，再按照从大到小排序。5.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s2中，所述基于商品的协同过滤是用户商品根据用户打分表，和通过商品共现次数与商品出现次数计算商品之间的同现相似度，再将数据存入hbase离线推荐数据库。6.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s2中，所述基于商品内容的推荐是根据商品明细表，提取每个商品的id、名称、种类以及标签字段内容，然后利用自定义tdidf方法求解与某个商品相似度最高的前n个商品，并存入hbase离线推荐数据库中。7.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s2中，所述基于隐语义模型的协同过滤是根据用户打分表，通过flinkml实现交替最小二乘算法als，获取离线的用户商品推荐列表，最后，存入hbase离线推荐数据库。
8.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s3中，所述统计实时热门商品topn是数据源基于flink滑动窗口机制，每隔几分钟输出最近一段时间内的用户产生行为次数最多的前n个商品，即实时热门商品topn。9.根据权利要求1所述的基于flink的大数据离线与实时商品推荐方法，其特征在于，步骤s3中，所述优先级实时推荐算法的计算步骤包括：s91:首先，用户对商品发生一次行为，计算对其打分，触发实时推荐的一次计算；s92:根据所述商品相似度，选出与商品相似度最高的几个商品作为商品集合；s93:获取用户最近时间内的打分数量，作为打分集合；s94:对每个商品，通过公式计算其推荐优先级，再生成一组商品列表；s95:将商品列表和实时推荐结果进行合并，获得最新的推荐结果。

技术总结
本发明公开了一种基于Flink的大数据离线与实时商品推荐方法，包括对使用的数据集预处理，获取并将用户评分表与商品明细表导入Hbase数据库；根据用户评分表与商品明细表进行离线推荐，主要包括基于统计的推荐、基于商品的协同过滤、基于商品内容的推荐以及基于隐语义模型的协同过滤；根据用户实时行为数据流进行实时的商品推荐，主要包括基于Flink窗口机制统计实时热门商品topN和根据实时推荐原则，利用Flink和优先级实时推荐算法进行基于商品优先级的实时推荐。本发明通过离线推荐时，充分利用商品的有效信息，实现了基于内容的商品相似度计算；通过实时推荐时，引入商品推荐的优先级概念，在Flink中实现了基于优先级推荐算法进行基于推荐优先级的实时推荐。级推荐算法进行基于推荐优先级的实时推荐。级推荐算法进行基于推荐优先级的实时推荐。


技术研发人员：李小超 谢水庚 何伟 郝志强 刘雪妍
受保护的技术使用者：北京航天云路有限公司
技术研发日：2021.10.28
技术公布日：2022/3/4