一种数据处理方法及装置与流程

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：接收第一文件；判断所述第一文件是否为联机文件；在确定所述第一文件为联机文件的情况下，为所述第一文件添加标识信息；确定包括所述标识信息的文件的总数，所述包括所述标识信息的文件，包括所述第一文件；在所述总数等于上游节点下发的联机文件的总数量的情况下，将包括所述标识信息的文件写入至数据湖中，其中，所述联机文件的总数量，根据上游节点下发的联机文件清单确定。2.根据权利要求1所述的方法，其特征在于，所述为所述第一文件添加标识信息，包括：为所述第一文件添加尾缀信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在确定所述第一文件不是联机文件的情况下，将所述第一文件写入所述数据湖中，并在文件上传清单中添加所述第一文件对应的记录；确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中；若所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，则在文件到齐清单中添加所述第一文件所属的表的记录。4.根据权利要求3所述的方法，其特征在于，所述确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，包括：比对所述文件上传清单和文件配置表，确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，所述文件配置表中包括多个表所包括的文件清单，所述多个表包括所述第一文件所属的表。5.根据权利要求4所述的方法，其特征在于，所述比对所述文件上传清单和文件配置表，确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，包括：提取所述第一文件的索引信息，所述索引信息用于指示所述第一文件所属的表；基于所述索引信息，从所述文件上传清单中确定具备所述索引信息的至少一个记录；基于所述索引信息，从所述文件配置表中确定所述第一文件所属的表的文件清单；比对所述至少一个记录和所述第一文件所属的表的文件清单，确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中。6.一种数据处理装置，其特征在于，所述装置包括：接收单元，用于接收第一文件；判断单元，用于判断所述第一文件是否为联机文件；第一添加单元，用于在确定所述第一文件为联机文件的情况下，为所述第一文件添加标识信息；第一确定单元，用于确定包括所述标识信息的文件的总数，所述包括所述标识信息的文件，包括所述第一文件；第一写入单元，用于在所述总数等于上游节点下发的联机文件的总数量的情况下，将包括所述标识信息的文件写入至数据湖中，其中，所述联机文件的总数量，根据上游节点下发的联机文件清单确定。
7.根据权利要求6所述的装置，其特征在于，所述第一添加单元，用于为所述第一文件添加尾缀信息。8.根据权利要求6所述的装置，其特征在于，所述装置还包括：第二写入单元，用于在确定所述第一文件不是联机文件的情况下，将所述第一文件写入所述数据湖中，并在文件上传清单中添加所述第一文件对应的记录；第二确定单元，用于确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中；第二添加单元，用于若所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，则在文件到齐清单中添加所述第一文件所属的表的记录。9.根据权利要求8所述的装置，其特征在于，所述第二确定单元，用于：比对所述文件上传清单和文件配置表，确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，所述文件配置表中包括多个表所包括的文件清单，所述多个表包括所述第一文件所属的表。10.根据权利要求9所述的装置，其特征在于，所述比对所述文件上传清单和文件配置表，确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中，包括：提取所述第一文件的索引信息，所述索引信息用于指示所述第一文件所属的表；基于所述索引信息，从所述文件上传清单中确定具备所述索引信息的至少一个记录；基于所述索引信息，从所述文件配置表中确定所述第一文件所属的表的文件清单；比对所述至少一个记录和所述第一文件所属的表的文件清单，确定所述第一文件所属的表中的文件是否均已经写入至所述数据湖中。

技术总结
本申请公开了一种数据处理方法，可以应用于金融领域或者其它领域。该方法包括：接收第一文件，判断所述第一文件是否为联机文件。在确定所述第一文件为联机文件的情况下，为所述第一文件添加标识信息；进一步地，确定包括所述标识信息的文件的总数；在所述总数等于上游节点下发的联机文件的总数量的情况下，将包括所述标识信息的文件写入至数据湖中，其中，所述联机文件的总数量，根据上游节点下发的联机文件清单确定。由于所述总数等于上游节点下发的联机文件的总数量，说明所有联机文件均已接收完成。利用本方案，在确定所有联机文件均已接收完成的情况下，才将联机文件写入至数据湖中，从而避免将存在缺失的联机文件写入数据湖而浪费I/O资源。而浪费I/O资源。而浪费I/O资源。


技术研发人员：操庐宁
受保护的技术使用者：中国银行股份有限公司
技术研发日：2022.09.05
技术公布日：2022/11/11