一种无界流数据关联处理方法、装置、设备及存储介质与流程

技术特征：
1.一种无界流数据关联处理方法，其特征在于，包括：获取主数据流和与所述主数据流关联的关联数据流；确定所述主数据流的主数据获取路径，以及所述关联数据流的关联数据获取路径，所述主数据获取路径或所述关联数据获取路径包括本地缓存，所述本地缓存用于存储变更频率大于设定频率阈值的业务数据；基于所述主数据获取路径获取目标主数据，基于所述关联数据获取路径获取目标关联数据；对所述目标主数据和所述目标关联数据进行关联处理，得到关联处理结果。2.根据权利要求1所述的方法，其特征在于，所述确定所述主数据流的主数据获取路径，以及所述关联数据流的关联数据获取路径，包括：根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径。3.根据权利要求2所述的方法，其特征在于，所述连接类型包括内连接和右外连接，所述根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径，包括：确定所述主数据获取路径为实时数据流，所述关联数据获取路径为实时数据流及存储空间，所述存储空间包括本地缓存和持久化存储单元。4.根据权利要求3所述的方法，其特征在于，所述基于所述关联数据获取路径获取目标关联数据，包括：获取所述主数据流和所述关联数据流之间的关联键；将所述关联键作为主键从实时数据流中获取实时关联数据，根据所述目标主数据和所述实时关联数据确定所述目标主数据中未匹配到的未匹配主数据；将所述未匹配主数据的关联键作为主键从所述存储空间中获取所述未匹配主数据对应的存储关联数据；将所述实时关联数据和所述存储关联数据合并去重，得到所述目标关联数据。5.根据权利要求2所述的方法，其特征在于，所述连接类型包括左外连接和全外连接，所述根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径，包括：确定所述主数据获取路径为实时数据流及存储空间，所述关联数据获取路径为实时数据流，所述存储空间包括本地缓存和持久化存储单元。6.根据权利要求5所述的方法，其特征在于，所述基于所述主数据获取路径获取目标主数据，包括：获取所述主数据流和所述关联数据流之间的关联键；将所述关联键作为主键从实时数据流中获取实时主数据，根据所述目标关联数据和所述实时主数据确定所述目标关联数据中未匹配到的未匹配关联数据；将所述未匹配关联数据的关联键作为主键从所述存储空间中获取所述未匹配关联数据对应的存储主数据；将所述实时主数据和所述存储主数据合并去重，得到所述目标主数据。7.根据权利要求1所述的方法，其特征在于，所述获取主数据流和与所述主数据流关联
的关联数据流，包括：响应于检测到的数据处理请求，根据所述数据处理请求的数据处理类型确定主数据流以及关联条件；根据所述关联条件确定所述主数据流关联的关联数据流，以及所述主数据流与所述关联数据流之间的关联键。8.根据权利要求6所述的方法，其特征在于，所述方法还包括：确定所述主数据流与所述关联数据流的连接类型；根据所述连接类型从所述主数据流和所述关联数据流中选取一数据流作为存储数据流；将所述关联键作为所述存储数据流的存储主键，基于所述存储主键将所述存储数据流进行存储。9.一种无界流数据关联处理装置，其特征在于，包括：数据流获取模块，用于获取主数据流和与所述主数据流关联的关联数据流；获取路径确定模块，用于确定所述主数据流的主数据获取路径，以及所述关联数据流的关联数据获取路径，所述主数据获取路径或所述关联数据获取路径包括本地缓存，所述本地缓存用于存储变更频率大于设定频率阈值的业务数据；数据获取模块，用于基于所述主数据获取路径获取目标主数据，基于所述关联数据获取路径获取目标关联数据；数据处理模块，用于对所述目标主数据和所述目标关联数据进行关联处理，得到关联处理结果。10.一种计算机设备，其特征在于，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1
‑
8中任一所述的无界流数据关联处理方法。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1
‑
8中任一所述的无界流数据关联处理方法。

技术总结
本发明实施例公开了一种无界流数据关联处理方法、装置、设备及存储介质，所述方法包括：获取主数据流和与所述主数据流关联的关联数据流；确定所述主数据流的主数据获取路径，以及所述关联数据流的关联数据获取路径，所述主数据获取路径或所述关联数据获取路径包括本地缓存，所述本地缓存用于存储变更频率大于设定频率阈值的业务数据；基于所述主数据获取路径获取目标主数据，基于所述关联数据获取路径获取目标关联数据；对所述目标主数据和所述目标关联数据进行关联处理，得到关联处理结果。本发明实施例提供的方法保证了快速变化的数据、对状态变更敏感的数据关联准确性，避免了数据流延迟或网络抖动时数据的丢失，提高了数据处理的准确度。数据处理的准确度。数据处理的准确度。


技术研发人员：安金龙
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2021.03.08
技术公布日：2021/12/6