基于会员行为的数据关联分析方法、系统及存储介质与流程

1.本发明属于互联网信息处理技术领域，尤其涉及一种基于会员行为的数据关联分析方法及系统。


背景技术：

2.当前，不同场景下对会员行为类的关联分析处理，主要过程如图1所示，都是按不同场景主题分表建模，分场景多次扫表、多次关联、分场景，多份存储，会造成多次读表、多次重复关联、多张结果表按日期分区多份存储的现象，造成计算资源、存储资源、人力资源的重复过度使用。
3.互联网行业发展迅速，企业业务与日俱增，相应地维度和度量会增多，关联逻辑也会不断调整变更，现有技术中，对结果表结构和数据更有调整表结构、重刷历史数据的现实情况，造成资源计算量大，重复性工作。
4.基于多张结果表数据，往往要进一步完成不同的会员类(新老买家类、复购类、生命周期类、高价值rfm类等)分析，也需要根据各自算法分别计算分表存储。
5.上述的关联分析处理方法，对数据表的存储量大，计算资源大，人力资源容易存在重复过度使用的情况。


技术实现要素：

6.本发明的目的是，提供一种基于会员行为的数据关联分析方法及系统，以解决现有技术中数据表的存储量大，计算资源大，人力资源容易存在重复过度使用的技术问题。
7.为解决上述技术问题，本发明的第一方面，提供了一种基于会员行为的数据关联分析方法，该方法包括：
8.对会员行为来源数据进行一次扫描和一次关联解析，计算出多个场景分类标识，且合成一个有序的场景分类标识数组字段；
9.根据每个场景分类标识数组字段，汇总统计出各不同场景分类下的所有维度项和指标项数据，并追加到一张会员行为全量表中；
10.通过封装的自定义函数来解析会员行为数组字段，解析得到所需场景和维度组合下的会员的各类行为数据。
11.进一步地，当新增分析场景时，则将新增的场景分类标识作为新的数据元素并追加到所述场景分类标识数组字段中，并在会员行为数组字段扩展新的度量字段，其它数据维持不变。
12.进一步地，所述会员行为来源数据包括会员行为主表和从表，从表用于主表的拉宽或筛选条件，包括事实表和其它维度表，将所述主表和从表一次关联，得到不同场景分类标识并合成一个场景分类标识数组字段，然后下沉源表主表或中间表中。
13.进一步地，所述的源主表中包含的字段包括源表主键字段、分析维度字段、分析度量字段和场景分类标识数组字段。
14.进一步地，每个场景包含不同的维度组合，根据场景分类标识数组筛选，分别汇总统计出各个场景类别下的维度下和指标项数据，并带出场景标识。
15.进一步地，所述的会员行为全量表包括场景标识、维度组合和会员行为数组，其中，会员行为数组格式为时间粒度、指标项、数值，按照一定的顺序排列。
16.进一步地，分析得到的会员的各类行为数据包括：新老买家类型、复购率、生命周期、高价值度。
17.本发明的另一方面，还提供了一种基于会员行为的数据关联分析系统，该系统包括：
18.数据关联模块，用于对会员行为来源数据进行一次扫描和一次关联解析，计算出多个场景分类标识，且合成一个有序的场景分类标识数组字段；
19.数据汇总模块，根据每个场景分类标识数组字段，汇总统计出各不同场景分类下的所有维度项和指标项数据，并追加到一张会员行为全量表中；
20.数据分析模块，通过封装的自定义函数来解析会员行为数组字段，解析得到所需场景和维度组合下的会员的各类行为数据。
21.本发明的第三方面，还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其中，计算机程序被处理器运行时执行本发明第一方面所述的方法的步骤。
22.与现有技术相比，本发明所提供的一种基于会员行为的数据关联分析方法及系统，具有如下技术效果：
23.1、本发明的会员行为源表数据只需通过一次读取、一次关联、主表冗余增加场景分类标识数组字段的方式进行计算汇总，操作简单、高效，且大大节省了存储资源和计算资源。
24.2、通过本发明的关联方法，当需求关联逻辑亟需调整时，可以快速高效替换原有逻辑，同时支撑下游应用场景的扩展；历史数据的初始化也可以一次遍历全表一次关联，全量更新。
25.3、本发明基于会员行为全量表，和其会员全量行为数组字段，通过封装udf函数(用户自定义函数)解析提取新老买家类、复购类、生命周期类、高价值rfm类等会员行为标签身份，灵活且高效支撑了不同场景和维度组合粒度下的会员分析。
附图说明
26.图1是现有技术中对会员行为数据进行关联分析的方法流程图。
27.图2是本发明实施例的基于会员行为的数据关联分析方法的流程图。
28.图3是现有技术处理方案与本发明处理方案的处理流程对比图。
29.图4是本发明实施例的基于会员行为的数据关联分析系统的架构图。
具体实施方式
30.以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。如在说明书及权利要求当中使用了某些词汇来指称特定部件。本领域技术人员应可理解，硬件或软件制造商可能会用不同名词来称呼同一个部件。本说明书及权利要
求并不以名称的差异来作为区分部件的方式，而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
31.下面结合附图和具体实施例对本发明做进一步详细说明。
32.如图2、图3所示，本发明实施例公开了一种基于会员行为的数据关联分析方法，包括如下步骤：
33.步骤1、对会员行为来源数据进行一次扫描和一次关联解析，计算出多个场景分类标识，且合成一个有序的场景分类标识数组字段。
34.通过一次性读取会员行为涉及的数据源表，将源表进行数据关联，解析出场景分类标识且合成一个有序的场景分类标识数组字段，存储到源表主表中，可以得到源表主键字段(或联合主键字段)、分析维度字段(包含会员编码字段)、分析度量字段和场景分类标识数组字段。
35.会员行为主要是会员下单产生行为数据，以会员的订单行为为例，通过对订单行为数据处理，得到不同场景和维度组合下的会员类分析结果，如从三个场景视角(主站运营角度、品牌供应商角度、店铺角度)分别查看不同商品类目的新老买家类、复购率类、生命周期类、高价值类等会员行为数据。其中，订单行为的来源数据主要是以记录会员订单行为天表为代表的主表，以及其它从表，包括相关的事实表、相关的维度表为依据，从表主要用于主表的拉宽，也可作为筛选过程中的过滤条件。一次读取数据源表，将主表和从表一次关联，得到三个场景分类标识合并成一个分类标识数组字段，下沉到源表主表中或一张中间表中。每个场景下包含不同的维度组合，根据分类标识数组筛选，分别汇总统计出各个场景类别下的维度项和所有指标项，并带出场景标识。
36.步骤2、根据每个场景分类标识数组字段，汇总统计出各不同场景分类下的所有维度项和指标项数据，并追加到一张会员行为全量表中。
37.每个场景包含不同维度组合，根据场景分类标识数组筛选，分别汇总统计出各个场景下需要分析的维度组合和所有指标项，根据场景分类标识数组和维度组合字段再分别带出场景标识。
38.如下表1所示，将全部维度和全部指标项数据追加到一张会员行为全量表，获得场景标识、全部分析维度、会员全量行为数组在内的数据结构，其中，会员全量行为数组的结构表示可以为"{时间粒度1:{指标项1:数值1；...；指标项n:数值n}；...；时间粒度m:{指标项1:数值1；...；指标项n:数值n}}")。
39.表1全量表数据结构
[0040][0041]
以会员的订单行为数据为例的一条全量记录示例性如下表2所示：
[0042]
表2会员订单行为数据表样例
[0043][0044][0045]
在该步骤中，可形成不同的维度组合样例，由于形成了带有场景标识的全量行为数组，会员行为源表数据只需通过一次读取、一次关联、主表冗余增加场景分类标识数组字
段的方式进行计算汇总，操作简单、高效，且节省存储资源和计算资源。
[0046]
步骤3、通过封装的自定义函数来解析会员行为数组字段，解析得到所需场景和维度组合下的会员的各类行为数据。
[0047]
会员全量行为数组包含每个会员的全量的行为数据，通过封装udf函数解析会员全量行为数组字段，如解析任意时间段内所有店铺的复购会员数(udf函数可以通过传参开始时间、结束时间，获取这段时间购买情况，来判断是否复购，进而算出复购会员数)；同理可以支撑多数的会员分析场景，如一个明细场景下其维度组合上的新老买家、复购留存、生命周期、frm等会员类指标。举例来说，统计店铺视角下的当年某店铺的次新买家，限定场景标识为场景，通过开窗函数可以得到会员的整体首购日期，通过封装函数来解析会员行为数组，可以得出所有会员在所有店铺的店铺首购日期，当店铺首购日期发生在当年，且首购日期小于整体首购日期，即为次新买家，由此进行去重汇总可以统计出次新买家数，次新买家订单量、次新买家销售数量、次新买家付款金额等相关数据，这些数据可用于工作人员的分析。
[0048]
在该步骤中，基于会员行为全量表，和其会员全量表内的行为数组字段，通过封装udf函数解析提取新老买家类、复购类、生命周期类、高价值rfm类等会员行为标签身份，灵活且高效支撑了不同场景和维度组合粒度下的会员分析。
[0049]
此外，在本发明的一个优选实施例中，当新增分析场景时，在步骤1的基础上新增一个场景分类标识作为新的数组元素，追加到数组字段中，数组字段的长度也相应地增加；在会员行为全量表上扩展新的度量字段或维度字段，现有数据不变；再经过步骤3处理，得到新的场景标识、全部分析维度、会员全量行为数组数据，追加到全量表中即可。上述调整，使得当需求关联逻辑亟需调整时，可以快速高效替换原有逻辑，同时支撑下游应用场景的扩展；历史数据的初始化也可以一次遍历全表一次关联，全量更新。
[0050]
本发明实施例中的数据关联方法，通过将会员行为源表数据一次读取、一次关联、一次存储、到处领用，有效避免了数据复算，极大节省了存储资源、计算资源的开销；按场景 维度组合粒度全量存储，会员行为信息均存储到一个数组字段中，各种会员类分析场景调用udf函数解析该数组字段即可，快速灵活，一表多用，省去了单独建立各标签的过程中的资源消耗；极大提高人效，节省存储成本与算力开销的前提下，灵活的支撑了不同维度组合场景下的会员新老类、复购留存类、生命周期类、高价值rfm类等一系列会员行为的分析。在保证数据准确性的前提下，节约了存储资源，降低了计算开销，提高了出数时效性，充分提高了数据的易用性，极大的提高人效，解放人力，同时方法本身也具备极好的扩展性。
[0051]
此外，替代地，上述方法能够通过计算机程序产品，即计算机可读存储介质来实现。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的
计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0052]
再请参照图4所示，本发明的另一实施例，还提供了一种基于会员行为的数据关联分析系统，该系统包括：数据关联模块、数据汇总模块和数据分析模块。其中，
[0053]
数据关联模块，用于对会员行为来源数据进行一次扫描和一次关联解析，计算出多个场景分类标识，且合成一个有序的场景分类标识数组字段；
[0054]
数据汇总模块，根据每个场景分类标识数组字段，汇总统计出各不同场景分类下的所有维度项和指标项数据，并追加到一张会员行为全量表中；
[0055]
数据分析模块，通过封装的自定义函数来解析会员行为数组字段，解析得到所需场景和维度组合下的会员的各类行为数据。
[0056]
此外，本实施例中的数据关联分析系统还包括扩展模块，用于新增场景分类标识数组至数组字段中，并更新会员行为全量表。
[0057]
通过本发明实施例中的数据关联分析系统，可以实现对会员行为源表的一次扫表、一次关联，适用于多场景调用分析，有效节省算力达到70％、节省存储达到80％以上；可以实现在不修改表结构和增加开发工作量的同时，支撑频繁的关联逻辑调整变更，实现起来更加简易；基于会员全行为全量表，通过解析数组字段，还可以实现高效灵活支撑不同维度组合下的会员类场景分析，充分提高了数据的易用性，也极大提高了人效，解放了人力，同时也具备良好的扩展性。
[0058]
值得注意的是，以上所述仅为本发明的较佳实施例，并非因此限定本发明的专利保护范围，本发明还可以对上述各种零部件的构造进行材料和结构的改进，或者是采用技术等同物进行替换。故凡运用本发明的说明书及图示内容所作的等效结构变化，或直接或间接运用于其他相关技术领域均同理皆包含于本发明所涵盖的范围内。