一种多源数据的智能分发系统及方法与流程

摘要: 本发明涉及数据处理,尤其是一种多源数据的智能分发方法及系统。背景技术:1、大型企业、业务中心等组织机构业务系统充斥着大量实时业务数据(流式)、非实时业务数据(批...
一种多源数据的智能分发系统及方法与流程

本发明涉及数据处理,尤其是一种多源数据的智能分发方法及系统。

背景技术:

1、大型企业、业务中心等组织机构业务系统充斥着大量实时业务数据(流式)、非实时业务数据(批量)、业务保障数据(离线)以及业务管理(结构化表)等多模态异构数据,这些数据由于未经合理管理和使用,逐渐成为“数据沼泽”。当前数据运用主要存在如下问题:一是数据资产固定,分发模式“千人一面”。现有的业务系统采用发布-订阅模式,依赖用户主动检索数据资产。在海量数据中,用户难以精准找到所需数据。系统缺乏对用户行为习惯的感知,无法实现数据找人。二是数据采集、处理、分发架构割裂。由于企业数据采集、处理和分发一般通过不同的系统或采用不同的技术路线(如kafka+ods+api网关)分别实施,数据需多次落地、格式转换,不仅引入较高的端到端延迟(通常在分钟级),且各层之间缺乏协同感知,导致链路资源冗余。

技术实现思路

1、发明目的:本发明的目的是提供一种多源数据的智能分发系统及方法,用于实时情报处理、非实时业务保障系统等多模态业务场景下的数据采集、质量核验、关联图谱构建及基于用户画像的自适应数据分发,解决现有技术中采集-处理-分发三层架构割裂、缺乏数据个性化适配的问题。

2、技术方案:本发明所述的一种多源数据的智能分发系统,包括数据采集分系统、数据处理分系统和数据分发分系统;

3、数据采集分系统用于从异构业务系统中获取多源数据并转化为标准化数据记录;

4、数据处理分系统用于对所述标准化数据记录进行字段质量核验筛选合格数据记录;

5、数据分发分系统用于生成个性化数据主动推送策略并向用户推送数据资产,包括:系统预设若干个数据主题,根据用户对数据主题的偏好、数据格式的偏好以及访问时效构建用户画像特征向量,对若干个用户进行聚类分析并计算各簇的聚类中心向量;将聚类中心向量作为数据主题特征向量;

6、根据所述合格数据记录的内容和质量构建数据资产特征向量,根据数据资产特征向量和数据主题特征向量计算数据主题与数据资产之间的匹配度;

7、采用基于用户的协同过滤算法构建用户主题偏好矩阵,通过奇异值分解计算用户对各数据主题的综合偏好评分,并根据综合偏好评分更新所述用户画像特征向量;

8、根据所述综合偏好评分、更新的用户画像特征向量、所述数据主题特征向量计算用户对于各数据主题的综合匹配度,根据所述综合匹配度向用户推荐数据主题,按照所述匹配度从高到低向用户推送数据资产。

9、进一步地,根据用户对数据主题的偏好、数据格式的偏好以及访问时效构建用户画像特征向量包括:

10、;

11、其中,为用户画像特征向量,为主题偏好特征向量,为时效性偏好特征,为格式偏好特征向量;

12、根据用户在预设时间窗口内对每个数据主题的行为数据计算主题偏好特征向量;

13、根据用户在预设时间窗口内每次访问的时效性计算时效性偏好特征;

14、根据用户对不同格式的数据的交互次数计算所述格式偏好特征向量。

15、进一步地,字段质量核验的方法包括:

16、对所述标准化数据记录中的每个字段进行类型推断,将推断出的实际类型与预设期望类型进行匹配比对,计算数据类型核验得分;

17、根据所述标准化数据记录的重要性标签及是否存在空值情况,计算空值质量评分;

18、根据所述数据类型核验得分和所述空值质量评分计算所述标准化数据记录的字段质量核验评分;

19、所述字段质量核验评分高于其相应阈值的数据记录为合格数据记录。

20、进一步地,根据所述合格数据的内容和质量构建数据资产特征向量包括:

21、所述数据资产特征向量;

22、其中,为内容特征,为元数据特征,为质量特征;

23、根据数据资产包含的合格数据记录中的文本与数据主题的得到匹配度计算所述内容特征;

24、根据数据资产包含的合格数据记录的数据新鲜度、更新频率、数据源可信度、数据规模和访问热度计算所述元数据特征;

25、根据数据资产包含的合格数据记录的所述字段质量核验评分计算所述质量特征。

26、进一步地,根据数据资产特征向量和数据主题特征向量计算数据主题与数据资产之间的匹配度包括:

27、通过计算数据资产特征向量和数据主题特征向量之间的余弦相似度计算第一匹配度;

28、根据数据资产质量评分对所述第一匹配度进行加权计算,得到数据主题与数据资产之间的匹配度;

29、其中,数据资产质量评分为数据资产中包含的所有合格数据记录的所述字段质量核验评分的平均值。

30、进一步地,所述综合匹配度分数为内容相似度、综合偏好评分和主题平均质量评分的加权和;

31、其中,根据用户画像特征向量和数据主题之间的余弦相似度计算内容相似度;

32、根据第一匹配度与其相应阈值确定与数据主题关联的数据资产,根据数据主题关联的所有数据资产的数据资产质量评分的平均值计算主题平均质量评分。

33、进一步地,选择综合匹配度高于用户的个性化推送阈值的数据主题进行推荐;

34、根据用户对整体点击率以及对推荐的数据主题的点击率动态更新所述个性化推送阈值。

35、本发明所述的一种多源数据的智能分发方法,包括以下步骤:

36、从异构业务系统中获取多源数据并转化为标准化数据记录;

37、对所述标准化数据记录进行字段质量核验筛选合格数据记录;

38、生成个性化数据主动推送策略并向用户推送数据资产,包括:系统预设若干个数据主题,根据用户对数据主题的偏好、数据格式的偏好以及访问时效构建用户画像特征向量,对若干个用户进行聚类分析并计算各簇的聚类中心向量;将聚类中心向量作为数据主题特征向量;

39、根据所述合格数据记录的内容和质量构建数据资产特征向量,根据数据资产特征向量和数据主题特征向量计算数据主题与数据资产之间的匹配度;

40、采用基于用户的协同过滤算法构建用户主题偏好矩阵,通过奇异值分解计算用户对各数据主题的综合偏好评分,并根据综合偏好评分更新所述用户画像特征向量;

41、根据所述综合偏好评分、更新的用户画像特征向量、所述数据主题特征向量计算用户对于各数据主题的综合匹配度,根据所述综合匹配度向用户推荐数据主题,按照所述匹配度从高到低向用户推送数据资产。

42、本发明所述的电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被加载至处理器时实现所述的多源数据的智能分发方法。

43、本发明所述的计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现所述的多源数据的智能分发方法。

44、有益效果:与现有技术相比,本发明的优点在于:

45、(1)本发明采用三层架构端到端一体化设计,将数据采集、处理、分发融合为一条智能管道,消除中间数据冗余落地环节,降低端到端延迟,减少存储冗余。

46、(2)本发明在分发侧进行个性化主动推送,从传统人找数据转变为数据找人,通过用户画像感知需求、数据主题智能聚合、个性化按需推送,显著提升数据使用效率。

47、(3)本发明实现处理和分发跨层协同:数据处理分系统的质量标签可直接供数据分发分系统使用,数据分发分系统的用户需求可反向指导数据处理分系统的数据主题策略优化。

48、(4)统的数据资产管理依赖人工为每个数据集标注主题标签。当数据量达到数千甚至上万张表时,人工标注成本极高,且标注标准难以统一,统一主题可能在不同人员手中被标注为不同名称。本发明将数据资产主题归类从人工标注升级为数学相似度自动匹配,消除了人工标注不一致和人力资源消耗,实现数据资产随用户群体偏好演化的动态自适应。

49、(5)本发明实现了自适应闭环优化,用户反馈持续修正画像模型和推送策略,使分发精度随使用时间不断提升。