一种零售全渠道交易数据大数据清洗系统的制作方法
本发明涉及大数据清洗,尤其涉及一种零售全渠道交易数据大数据清洗系统。
背景技术:
1、随着企业将业务全面拓展至线上电商、直播带货、私域小程序等多元渠道,交易数据的来源变得极为分散且实时性要求极高。特别是遇到大促或秒杀活动时,系统面临的瞬时写入压力可达日常峰值流量的百倍乃至千倍。然而,许多传统或早期建设的数据清洗架构,往往基于固定的物理服务器或传统的单体数据库构建,其处理能力的上限是静态的。当流量陡增时,这种刚性架构无法迅速扩展计算或存储资源,导致数据摄入管道首先出现积压。更核心的问题在于,为了保证实时报表和库存同步,系统通常采用内存优先的快速写入策略,数据在落盘确认前会短暂驻留在内存缓冲区内。一旦请求堆积超出系统预设的负载阈值,就会触发服务降级甚至宕机,此时缓冲区中尚未持久化到磁盘的交易明细,便会随着进程崩溃而永久丢失。这种丢失不仅是技术层面的数据缺失,更会直接导致企业对账不平、销售业绩计算失真、用户积分或优惠券发放错误等严重的业务后果,因此在现有的零售全渠道交易数据大数据清洗系统中存在流量洪峰下的系统稳定性下降并导致数据丢失的问题。
技术实现思路
1、本技术实施例通过提供一种零售全渠道交易数据大数据清洗系统,解决了现有技术中零售全渠道交易数据大数据清洗系统中存在流量洪峰下的系统稳定性下降并导致数据丢失的问题,实现了提高系统稳定性的效果。
2、本技术实施例提供了一种零售全渠道交易数据大数据清洗系统,包括:
3、多渠道数据采集模块:根据预设的数据库连接串建立与线上数据源的连接,拉取数据源的历史数据,调用时间戳窗口获取新增数据,将历史数据与新增数据标准化记为标准化源数据;
4、流量缓冲模块:标记所有零售业务类型,依据零售业务类型在消息队列中建立不同主题分区,将标准化源数据发送至对应的主题分区并以日志形式顺序写入磁盘,其他模块以拉取模式从队列中主动调用标准化源数据;
5、弹性资源调度模块:根据标准化源数据流量创建数据清洗任务,监控消息队列的标准化源数据积压量,对标准化源数据积压量进行阈值对比,根据阈值对比结果判定流量高峰期,调用底层云平台进行弹性资源调度,再次监控消息队列的标准化源数据积压量,若标准化源数据积压量小于预设积压量,逐步缩容并释放闲置的计算资源,若标准化源数据积压量大于或等于预设积压量,接入智能数据清洗模块;
6、智能数据清洗模块:从消息队列拉取标准化源数据,剔除标准化源数据中的无效数据,通过关键字段关联客户主数据,构建统一的客户标识进行初步清洗,调用智能模型进行补充缺失值,并对敏感信息进行脱敏处理,将处理后的标准化源数据写入内存缓冲区,当内存缓冲区达到预设大小或预设时间阈值,将处理后的标准化源数据写入最终存储文件;
7、数据质量监控与告警模块:从各个模块采集全流程核心指标,收集并优化全流程日志,对全流程核心指标进行实时计算,得到全流程核心指标质量评估值,当全流程核心指标质量评估值大于或等于预设质量阈值时,系统自动触发告警,联动弹性资源调度模块进行紧急弹性资源调度。
8、进一步的,根据预设的数据库连接串建立与线上数据源的连接,拉取数据源的历史数据,调用时间戳窗口获取变更后数据,包括:
9、通过预设的数据库连接串和加密凭证与线上数据源建立安全连接,采用分页查询拉取源库中的全量历史数据,并记录当前时间作为水位线;以固定频率执行基于时间戳字段的窗口查询,获取该窗口内的变更后数据;
10、其中全量历史数据包括:订单主表数据、订单明细数据和支付流水数据,变更后数据包括:新增后数据、状态更新数据和属性变更数据。
11、进一步的,标记所有零售业务类型,依据零售业务类型在消息队列中建立不同主题分区,包括:
12、枚举并定义系统支持的所有零售业务类型,为每种业务类型分配一个全局唯一的主题名称,在消息队列中间件中按这些主题名称依次创建对应的主题分区,根据预期数据吞吐量为每个主题配置合适的分区数量;
13、建立业务类型与主题分区的路由映射表,依据业务类型精准路由发送至对应的主题分区。
14、进一步的,根据标准化源数据流量创建数据清洗任务,监控消息队列的标准化源数据积压量,包括:
15、为流量缓冲模块中定义的每一个业务主题分别创建一个独立的数据清洗任务,每个任务绑定消费对应的一个或多个主题分区,并设置初始并行度;
16、系统以固定频率查询每个消息队列在每个主题分区上的当前偏移量和分区末端偏移量,计算分区当前偏移量和分区末端偏移量的差值记为该分区的积压量,将各分区的积压量累加得到业务主题的标准化源数据积压量。
17、进一步的,对标准化源数据积压量进行阈值对比,根据阈值对比结果判定流量高峰期,调用底层云平台进行弹性资源调度,包括:
18、将标准化源数据积压量大于或等于预设积压量阈值进行对比,若当标准化源数据积压量大于或等于预设积压量阈值,判定为流量高峰期;
19、调用底层云平台进行弹性资源调度具体流程为:根据积压业务主题的总积压量和单并发处理速度,计算清空当前积压所需的理论并发数,结合该主题的总分区数,确定目标并行度,调用云平台扩缩容api,轮询云平台api查询新实例的状态,等待新资源就绪。
20、进一步的,从消息队列拉取标准化源数据,剔除标准化源数据中的无效数据,包括:
21、从流量缓冲模块的消息队列中按批次拉取各业务主题分区中的标准化源数据,每个清洗任务实例对应消费指定的一个或多个分区,并记录消费偏移量;
22、对每条标准化源数据依次执行以下无效数据过滤规则包括:字段空值校验、格式校验、逻辑校验和测试数据过滤,校验不通过的记录直接丢弃并记录丢弃日志。
23、进一步的,通过关键字段关联客户主数据,构建统一的客户标识进行初步清洗,包括:
24、从剔除无效数据后的标准化源数据中提取用于识别客户的关键字段,以关键字段为联合查询条件,向客户主数据存储发起查询请求,检索是否存在对应的客户主数据记录;
25、若检索到匹配的客户主数据记录,直接获取其内部的唯一客户标识并关联到当前数据记录上,若未检索到匹配记录,则判断该数据对应的是一个未知客户,按预设规则为未知客户生成一个临时唯一客户标识,同时将临时记录写入待处理队列,将完成无效数据剔除和唯一客户标识关联后的数据记录记为初步清洗的结果进行输出。
26、进一步的,调用智能模型进行补充缺失值,并对敏感信息进行脱敏处理,将处理后的标准化源数据写入内存缓冲区,包括:
27、将已完成无效数据剔除和唯一客户标识关联的数据记录中仍存在缺失值的字段,封装成特征向量后调用预训练的智能补全模型进行推理预测,智能补全模型输出补全值后回填至对应字段,并标记该字段的补全来源;
28、对数据记录中的敏感字段,根据预设的脱敏规则表识别字段类型,调用对应的脱敏算法进行转换;
29、将完成所有清洗步骤的完整数据记录,批量写入内存状态缓冲区。
30、进一步的,当内存缓冲区达到预设大小或预设时间阈值,将处理后的标准化源数据写入最终存储文件,包括:
31、系统持续监控内存缓冲区的当前大小和数据在缓冲区内的停留时间,与预设的触发阈值进行实时比对包括:写入大小阈值和时间阈值;
32、当缓冲区达到预设大小或预设时间阈值时,系统将缓冲区内的数据批量提交,以列式存储格式或行式存储格式写入分布式文件系统的最终存储文件中;
33、系统向消息队列提交当前已处理数据的消费偏移量,随后清空内存缓冲区以准备接收下一批次数据,若写入失败则触发重试机制,重试仍失败则发送通知至数据质量监控与告警模块记录异常,保留缓冲区数据不提交偏移量,等待重新处理。
34、进一步的,从各个模块采集全流程核心指标,收集并优化全流程日志,对全流程核心指标进行实时计算,得到全流程核心指标质量评估值,包括:
35、在各模块的关键处理节点预埋监控探针,以固定频率主动收集各模块的核心指标值,包括多渠道数据采集模块的数据接入延迟和吞吐量、流量缓冲模块的各主题分区积压量、弹性资源调度模块的当前并行度和资源利用率、智能数据清洗模块的处理延迟和丢弃率;
36、从各模块的日志文件中实时采集运行日志,统一推送至日志聚合中心,按模块名称和业务主题建立索引,通过日志解析规则将非结构化的原始日志转换为结构化字段,剔除冗余日志和重复堆栈信息;
37、对全流程核心指标进行实时计算,得到全流程核心指标质量评估值,具体流程为:;其中,为全流程核心指标质量评估值,为第i个核心指标值,为第i个核心指标值的权重系数,n为核心指标值的数量。
38、本发明一种零售全渠道交易数据大数据清洗系统的技术效果和优点:
39、1、采用时间戳左开右闭区间查询,配合位移提交确认机制,确保增量数据既不会重复获取也不会遗漏,全量历史数据采用分页拉取方式,避免一次性加载海量数据导致系统内存溢出,数据写入时采用预写日志的多副本同步机制,确保每条数据在返回成功确认前已被至少两个物理节点保存,即使单个节点发生故障,数据也能从其他副本恢复,实现了恢复点目标趋近于零的效果。
40、2、通过调用底层云平台的扩缩容接口,在数秒内完成计算资源的弹性扩展,扩容后的并行度以当前并行度的两倍与主题分区总数之间的较小值为上限,确保扩容操作在分区数的约束下有效,避免无限扩容造成资源浪费。
41、3、通过全流程数据血缘追踪和结构化日志索引,当系统出现异常时,运维人员可以快速定位到具体业务主题、处理环节和时间点的问题,大幅缩短故障排查时间。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com