基于多维度用户数据的大数据智能推荐引擎及实现方法与流程

本发明属于广电行业大数据处理，具体涉及基于多维度用户数据的大数据智能推荐引擎及实现方法。

背景技术：

1、在广电行业数字化转型背景下，业务推荐系统成为提升用户粘性、提高营销转化率的核心工具。现有广电行业推荐系统普遍存在以下技术缺陷：

2、数据维度单一，现有系统仅依托关系型数据库（mysql）存储用户订购记录、缴费记录等基础业务数据，未采集机顶盒使用行为、宽带流量消耗、终端活跃状态等多维度行为数据，无法刻画用户完整使用习惯与业务偏好。

3、推荐逻辑僵化，推荐规则以硬编码方式写入系统代码，新增缴费活动推荐、宽带升级推荐等场景时，需修改代码并重新部署，开发周期长达7至10个工作日，场景适配效率低。

4、第三，权限管控缺失，未按广电“市级－区级－网格级”多级管理架构设置地域权限，易导致数据泄露，且无法满足不同区域网格经理的个性化推荐需求。

5、因此，亟需基于多维度用户数据的大数据智能推荐引擎及实现方法来解决上述问题。

技术实现思路

1、为了解决上述现有技术中存在的技术问题，本发明提出了基于多维度用户数据的大数据智能推荐引擎及实现方法，构建数据采集、处理、画像、规则、执行、反馈和权限的推荐引擎，解决了现有技术数据维度单一、推荐逻辑僵化、权限管控缺失的问题，显著提升推荐精准度、场景适配效率和数据处理效率。

2、为实现上述目的，本发明提供如下技术方案：

3、基于多维度用户数据的大数据智能推荐引擎及实现方法，包括：

4、数据采集层，用于采集广电用户全链路行为数据，覆盖终端行为数据、业务行为数据和互动行为数据三类维度，并设置数据质量校验规则对采集数据进行校验。其中，终端行为数据包括机顶盒型号、活跃状态、点播/直播时长、频道偏好，以及宽带终端的onu/cm/ppoe设备信息、流量消耗、在线时长等数据，通过终端日志采集工具以5分钟粒度实时同步至原始数据库；业务行为数据包括用户缴费记录、订购记录、账户信息等数据，由boss系统每日全量同步至原始数据库；互动行为数据包括用户点播/直播内容分类、增值业务试用记录、报修工单等数据，由互动平台实时同步至原始数据库。数据质量校验包括过滤非法值，校验表内id关系、字段逻辑，表间id生成规则、字段名及枚举值一致性。

5、数据处理层，基于clickhouse分布式计算库对同步后的数据进行特征计算，包括终端特征、业务特征和互动特征，并将计算后的特征数据同步至mysql应用库。数据同步通过同步工具将原始数据库数据按“5分钟增量+每日全量”同步至clickhouse；特征计算包括终端特征、业务特征、互动特征，将计算后特征数据按10分钟粒度同步至mysql应用库，对空网格、单宽带用户空客户状态等特殊数据标记处理。

6、用户画像层，基于所述特征数据构建三层标签体系，包括基础属性标签、行为特征标签和业务偏好标签，并按预设更新机制进行标签更新。基础属性标签包括用户级别、状态、付费模式、代扣状态、地域、终端类型；行为特征标签包括数字/宽带终端活跃状态、近30天缴费频次、余额等级、宽带流量消耗等级、夜间点播时长占比，业务偏好标签包括直播/点播内容偏好、宽带带宽需求、增值业务偏好。标签更新机制为基础属性每日全量更新，行为特征每10分钟增量更新，业务偏好每周全量更新。

7、规则引擎层，提供可视化配置界面，支持在无需修改代码的条件下配置缴费场景、宽带场景、互动场景和增值场景四大推荐场景的推荐规则，并按预设优先级顺序执行规则匹配。规则配置模块提供可视化界面，支持新增/修改/删除规则，无需修改代码，规则维度包括用户标签、地域、时间、推荐业务。缴费场景规则包括余额小于100元且未参加缴费活动时推荐缴费活动，欠费时推送欠费预警加缴费渠道；互动场景规则包括机顶盒符合置换条件时推荐置换加开通互动基础业务；宽带场景规则包括未装广电宽带时推荐100m免费体验，流量峰值大于当前带宽80%时推荐升级，套餐到期小于等于7天时推荐续订优惠；增值场景规则包括包月增值用户推荐包年，单产品用户推荐点播会员包，活动期推荐优惠套餐。规则执行逻辑按“地域权限→标签匹配→规则优先级”执行，规则优先级顺序为欠费预警大于余额提醒大于宽带升级大于增值推荐大于互动置换。

8、效果反馈层，用于收集推荐执行后的用户反馈数据，形成推荐效果闭环评估。

9、推荐执行层，基于规则匹配结果进行人群圈选和推送执行，支持多种圈选模式和推送渠道，并实时展示推送状态。人群圈选按规则筛选用户，支持三种圈选模式即首日全量后续增量、全部增量、全部全量，结果支持导出；推送配置支持企业微信、短信、邮件渠道，推送状态分为待审核、审核驳回、待推送、推送中、已推送、已过期、已取消，实时展示进度；预警适配支持余额/欠费预警金额多选，产品到期支持多天预警，余额/欠费数据表融合为一张表统一配置。

10、权限管控层，按广电多级管理架构设置地域权限层级，对用户画像查询、规则配置、人群圈选和推送结果进行权限管控。权限层级分为市级、区级、网格级；管控范围包括用户画像查询、规则配置、人群圈选、报表查看等操作均受地域权限限制，单用户全景视图仅展示权限范围内数据，权限配置支持单个角色关联内/外部数据，配置查看上一级及多选其他层级权限，适配广电多级架构。

11、作为本发明的同一构思，本发明还提供了基于多维度用户数据的大数据智能推荐实现方法，包括以下步骤：

12、s1，多维度用户行为数据采集与预处理：通过终端日志采集工具和数据平台分别采集终端行为数据、业务行为数据和互动行为数据，实时同步至oracle原始数据库，并对采集数据进行质量校验，过滤非法值，校验表内id关系和字段逻辑一致性；

13、s2，跨库数据同步：分布式任务调度系统按预设定时规则生成同步任务实例，全局参数自动计算为同步前两天的数据以规避源端数据生成延迟，先清理clickhouse计算库中对应日期分区的旧数据，再通过seatunnel数据同步组件按用户id分片并以10个并发线程读取oracle原始数据库中的增量数据，每批写入10万行，写入过程中启用一致性校验、容错重试机制，同步失败时触发异常提醒，同步完成后记录执行日志，加密后写入clickhouse计算库；

14、s3，特征计算与用户画像构建：基于clickhouse分布式计算能力，对同步后的全量数据计算多维度特征，包括终端特征、业务特征和互动特征，将计算后的特征映射为三层用户标签，包括基础属性标签、行为特征标签和业务偏好标签，按初始全量加每日增量机制更新标签，形成用户画像并同步至mysql应用库；

15、s4，推荐规则匹配与人群圈选：通过可视化规则引擎界面配置缴费、宽带、互动、增值四大场景的推荐策略，按用户地域权限过滤用户画像数据，按“地域权限→标签匹配→规则优先级”顺序执行规则匹配，规则优先级顺序为欠费预警大于余额提醒大于宽带升级大于增值推荐大于互动置换，筛选目标用户并生成推送人群列表；

16、s5，精准推荐执行与状态管控：选择企业微信、短信或邮件推送渠道并配置推送内容，对余额预警和欠费预警配置多金额规则，对产品到期预警配置多天数规则，将余额数据和欠费数据融合为一张表统一配置，按配置触发推送并实时展示推送进度，推送状态包括待审核、审核驳回、待推送、推送中、已推送、已过期和已取消。

17、1.推荐精准度提升：多维度数据构建的用户画像覆盖深度特征，推荐转化率提升，无效推送占比降低。

18、2.场景适配效率提升：可配置规则引擎将新增推荐场景的开发周期从 7-10个工作日缩短至1个工作日内，降低开发成本。

19、3.数据处理效率提升：clickhouse 分布式计算使千万级数据查询响应时间缩短，满足实时推荐需求。

20、4.数据安全保障：地域权限管控适配广电多级架构，避免数据泄露，符合合规要求。

21、5.营销效率优化：精准推送使网格经理营销效率提升 30% 以上，减少推送资源浪费。