一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

文件处理方法、装置、电子设备和存储介质与流程

2021-12-17 22:08:00 来源:中国专利 TAG:


1.本发明涉及计算机技术领域,尤其涉及一种文件处理方法、装置、电子设备和存储介质。


背景技术:

2.业务处理中,为了减少系统之间数据传输的次数,可以通过文件传输的方式进行数据传输,每个文件中可以包括多条数据。现有技术中,系统接收文件后,需要对文件中的数据进行对应的业务处理、存储处理结果并向对端返回结果文件。但是,在系统因故障等原因中断对文件的处理后,如果系统需要继续对文件进行处理,则需要按照文件处理的过程依次判断文件中各数据的处理进度,进而才能继续对文件进行处理,不仅操作复杂,还会降低文件处理的效率。


技术实现要素:

3.有鉴于此,本发明实施例提供一种文件处理的方法、装置、电子设备和存储介质,能够解决中断对文件的处理后,需要依次判断文件中各数据的处理进度,才能继续对文件进行处理,不仅操作复杂,还降低文件处理效率的问题。
4.为实现上述目的,根据本发明实施例的一个方面,提供了一种文件处理的方法。
5.本发明实施例的一种文件处理的方法包括:获取已下载文件,触发写入事务,以获取已下载文件的文件信息,将所述文件信息写入文件下载记录表,标记所述文件下载记录表中已下载文件对应的业务状态为待处理;查询所述文件下载记录表中业务状态为待处理的待处理文件,触发业务处理事务,以对待处理文件执行业务处理,并将所述待处理文件的业务状态更新为处理中;查询所述文件下载记录表中业务状态为处理中的待上传文件,触发上传事务,以获取待上传文件对应的业务处理结果,进而生成结果文件并上传,将所述待上传文件的业务状态更新为处理成功。
6.在一个实施例中,查询所述文件下载记录表中业务状态为待处理的待处理文件之前,还包括:
7.将所述已下载文件中的各行数据写入文件行记录明细表,在所述文件行记录明细表中标记各所述行数据对应的业务状态为待处理。
8.在又一个实施例中,所述触发业务处理事务,以对待处理文件执行业务处理,并将所述待处理文件的业务状态更新为处理中,包括:
9.查询所述文件行记录明细表中是否包括属于所述待处理文件的、且业务状态为待处理的待处理行数据;
10.若否,将文件下载记录表中待处理文件对应的业务状态更新为处理中;若是,则读取所述文件行记录明细表中所述待处理行数据,为每个所述待处理行数据触发业务处理事务,以执行对应的业务处理,基于业务处理结果更新所述待处理行数据对应的业务状态。
11.在又一个实施例中,所述执行业务处理,基于业务处理结果更新所述待处理行数
据对应的业务状态,包括:
12.调用预设的校验模型,对所述待处理行数据执行数据校验,得出校验结果;
13.若所述校验结果为合格,则对所述待处理行数据执行业务处理,得出业务处理结果,在所述处理结果为成功时,将所述待处理行数据对应的业务状态更新为成功;若所述校验结果为不合格,则确定所述待处理行数据的业务处理结果为失败,将所述待处理行数据对应的业务状态更新为失败。
14.在又一个实施例中,所述文件信息包括业务类型;
15.为每个所述待处理行数据触发业务处理事务,包括:
16.从所述文件下载记录表中查询所述待处理文件的业务类型,以为每个所述待处理行数据触发所述业务类型对应的业务处理事务。
17.在又一个实施例中,将所述已下载文件中的各行数据写入文件行记录明细表,包括:
18.获取所述已下载文件中包括行数据的数量,以基于单次写入数量计算所述行数据的拆分批次,进而对所述行数据拆分,得出拆分结果,基于所述拆分结果,将所述行数据写入文件行记录明细表。
19.在又一个实施例中,所述触发写入事务,包括:
20.基于所述已下载文件中包括数据,计算所述已下载文件的校验标识,以判断所述文件下载记录表中是否包括所述校验标识;
21.若是,则忽略所述已下载文件;若否,则为所述已下载文件触发对应的写入事务。
22.为实现上述目的,根据本发明实施例的另一方面,提供了一种文件处理的装置。
23.本发明实施例的一种文件处理的装置包括:写入单元,用于获取已下载文件,触发写入事务,以获取已下载文件的文件信息,将所述文件信息写入文件下载记录表,标记所述文件下载记录表中已下载文件对应的业务状态为待处理;处理单元,用于查询所述文件下载记录表中业务状态为待处理的待处理文件,触发业务处理事务,以对待处理文件执行业务处理,并将所述待处理文件的业务状态更新为处理中;上传单元,用于查询所述文件下载记录表中业务状态为处理中的待上传文件,触发上传事务,以获取待上传文件对应的业务处理结果,进而生成结果文件并上传,将所述待上传文件的业务状态更新为处理成功。
24.在一个实施例中,所述写入单元,还用于:
25.将所述已下载文件中的各行数据写入文件行记录明细表,在所述文件行记录明细表中标记各所述行数据对应的业务状态为待处理。
26.在又一个实施例中,所述处理单元,具体用于:
27.查询所述文件行记录明细表中是否包括属于所述待处理文件的、且业务状态为待处理的待处理行数据;
28.若否,将文件下载记录表中待处理文件对应的业务状态更新为处理中;若是,则读取所述文件行记录明细表中所述待处理行数据,为每个所述待处理行数据触发业务处理事务,以执行对应的业务处理,基于业务处理结果更新所述待处理行数据对应的业务状态。
29.在又一个实施例中,所述处理单元,具体用于:
30.调用预设的校验模型,对所述待处理行数据执行数据校验,得出校验结果;
31.若所述校验结果为合格,则对所述待处理行数据执行业务处理,得出业务处理结
果,在所述处理结果为成功时,将所述待处理行数据对应的业务状态更新为成功;若所述校验结果为不合格,则确定所述待处理行数据的业务处理结果为失败,将所述待处理行数据对应的业务状态更新为失败。
32.在又一个实施例中,所述文件信息包括业务类型;
33.所述处理单元,具体用于:
34.从所述文件下载记录表中查询所述待处理文件的业务类型,以为每个所述待处理行数据触发所述业务类型对应的业务处理事务。
35.在又一个实施例中,所述写入单元,具体用于:
36.获取所述已下载文件中包括行数据的数量,以基于单次写入数量计算所述行数据的拆分批次,进而对所述行数据拆分,得出拆分结果,基于所述拆分结果,将所述行数据写入文件行记录明细表。
37.在又一个实施例中,所述写入单元,具体用于:
38.基于所述已下载文件中包括数据,计算所述已下载文件的校验标识,以判断所述文件下载记录表中是否包括所述校验标识;
39.若是,则忽略所述已下载文件;若否,则为所述已下载文件触发对应的写入事务。
40.为实现上述目的,根据本发明实施例的再一个方面,提供了一种电子设备。
41.本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例提供的文件处理的方法。
42.为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。
43.本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例提供的文件处理的方法。
44.上述发明中的一个实施例具有如下优点或有益效果:本发明实施例中,对于已下载文件,可以触发写入事务,将其文件信息写入文件下载记录表中,标记对应的业务状态为待处理,以等待业务处理的流程;对于文件下载记录表中业务状态为待处理的待处理文件,可以触发业务处理事务执行对应的业务处理,并将业务状态更新为处理中,以等待结果上传的流程;对于文件下载记录表中业务状态为处理中的待上传文件,可以触发上传事务执行对应的业务结果上传的流程。本发明实施例中,将文件的处理过程适度拆分,并将拆分后的各部分通过触发事务的方式进行处理,各事务的执行相互独立,如此在对文件进行处理时,即使文件处理发生中断,也可以基于对应事务的执行情况直接确定出文件的处理进度,对未处理完的文件,基于事务再次触发来继续进行处理,而不需要依次判断文件中各数据的处理进度,不仅操作简单,还可以提高文件处理的效率。
45.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
46.附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
47.图1是根据本发明实施例的文件处理的方法的一种主要流程的示意图;
48.图2是根据本发明实施例的文件下载记录表的一种示意图;
49.图3是根据本发明实施例的文件行记录明细表的一种示意图;
50.图4是根据本发明实施例的文件上传明细表的一种示意图;
51.图5是根据本发明实施例的文件写入的方法的一种主要流程的示意图;
52.图6是根据本发明实施例的文件业务处理的方法的一种主要流程的示意图;
53.图7是根据本发明实施例的结果文件上传的方法的一种主要流程的示意图;
54.图8是根据本发明实施例的文件处理的装置的主要单元的示意图;
55.图9是本发明实施例可以应用于其中的又一种示例性系统架构图;
56.图10是适于用来实现本发明实施例的计算机系统的结构示意图。
具体实施方式
57.以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
58.需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以互相组合。
59.本发明实施例提供了一种文件处理系统,可以用于基于文件进行数据传输,并对文件进行处理的场景,例如,以文件处理系统与某银行系统之间数据传输,办理积分业务为例。银行系统可以将添加积分的用户数据通过ftp将文件传输至业务处理系统,文件处理系统完成积分添加的业务处理后,将结果文件上传到ftp返回给银行系统。
60.具体的,文件处理系统将文件的处理流程拆分为三部分,分别为文件写入、业务处理和结果上传,并为每个部分设置对应的事务,即写入事务、业务处理事务和上传事务,对文件处理时可以通过执行对应事务的方式完成。
61.本发明实施例提供了一种文件处理的方法,该方法可由文件处理系统执行,如图1所示,该方法包括:
62.s101:获取已下载文件,触发写入事务,以获取已下载文件的文件信息,将文件信息写入文件下载记录表,标记文件下载记录表中已下载文件对应的业务状态为待处理。
63.其中,系统之间通常会预先约定文件存储位置,如文件存储服务器,具体可以为ftp。发送文件的系统可以将文件存储至约定的存储位置,文件处理系统可以从约定的存储位置下载文件。文件被下载后可以生成临时文件,即已下载文件,文件处理系统可以获取已下载文件,然后为其触发写入事务。写入事务用于执行将文件写入文件下载记录表的流程,其在被触发时可以获取已下载文件的标识,进而可以基于标识获取已下载文件的文件信息,然后将文件信息均写入文件下载记录表中存储,并同时将该待下载文件的业务状态标记为待处理,待处理表示该文件可以执行下一步处理,写入事务执行后可以执行事务提交。事务提交成功,表示待下载文件写入成功,事务提交失败表示待下载文件写入失败,此时可以回滚事务,即重新对该已下载文件执行写入事务。
64.文件下载记录表中可以包括文件的文件信息,例如,可以包括文件名称、下载批次标识、下载时间、业务状态等等。具体可以如图2所示,为一种文件下载记录表的示意图。
65.本发明实施例中,为了避免对同一文件执行重复的写入操作,文件下载记录表中
还可以存储各文件的校验标识,其中校验标识可以为基于文件所包括的数据计算得出的。则在本步骤中为已下载文件触发写入事务之前,还可以先基于该已下载文件中包括的数据,来计算已下载文件的校验标识,以判断文件下载记录表中是否包括该已下载文件的校验标识。若是,说明文件下载记录表中已经写入了该已下载文件的文件信息,则可以忽略该已下载文件;若否,说明文件下载记录表中还未写入了该已下载文件的文件信息,则可以为已下载文件触发对应的写入事务。
66.需要说明的是,文件下载记录表中还可以存储文件的业务类型,以便于后续对文件执行业务处理。本发明实施例中,一方面可以通过业务类型字段来存储业务类型,文件中通常会包括该文件对应的业务类型,则文件下载记录表中将其存储至对应的字段即可;另一方面可以通过文件名称来表示业务类型,此时文件下载记录表存储文件名称即可,例如,业务类型为计算积分,则文件名称可以为jifen_123,业务类型为注册,则文件名称可以为zhuce_123。
67.本发明实施例中,每个文件通常会包括多条数据,数据可以以数据表的方式存储,数据表中每一行数据可以作为一个行数据。在文件处理时,需要对每个行数据执行对应的业务处理。为了便于业务处理,本发明实施例中还可以设置文件行记录明细表,用于存储已下载文件中每个行数据的数据信息,所以本步骤触发写入事务后,还可以执行将已下载文件中的各行数据写入文件行记录明细表存储、在文件行记录明细表中标记各行数据对应的业务状态为待处理的步骤。文件行记录明细表可以包括行数据所属文件的文件名称或文件标识、行数据的行标识、行数据的业务状态等等,行数据的业务状态为待处理表示其可以执行业务处理的流程。如图3所示为一种文件行记录明细表的示意图。
68.需要说明的是,在文件包括行数据较多时,通常需要分批次将行数据写入文件行记录明细表。具体的,本发明实施例中可以预先设置每次写入行数据的数量,即单次写入数量,然后获取已下载文件中包括行数据的数量,进而可以基于单次写入数量计算出已下载文件中行数据的拆分批次,以对行数据进行拆分,得出拆分结果,最后基于拆分结果将行数据写入文件行记录明细表中并存储。例如,如果行数据的数量为1万,单次写入数量为1000,则可以将行数据拆分为10个批次写入文件行记录明细表中。
69.s102:查询文件下载记录表中业务状态为待处理的待处理文件,触发业务处理事务,以对待处理文件执行业务处理,并将待处理文件的业务状态更新为处理中。
70.其中,已下载文件写入文件下载记录表时,业务状态会被标记为待处理,以表示需要执行业务处理,所以本步骤中可以查询文件下载记录表中业务状态为待处理的文件,即待处理文件,以执行业务处理。查询出待处理文件后,可以为其触发业务处理事务,业务处理事务触发后,可以对执行对应的业务处理,得出处理结果,并将待处理文件的业务状态更新为处理中,表示可以执行后续的处理流程。
71.本发明实施例中,由于文件包括多个行数据,需要每个行数据均执行业务处理,得出处理结果之后才可以更新业务状态,所以本步骤触发业务处理事务的执行过程可以具体为:查询文件行记录明细表中是否包括属于待处理文件的、且业务状态为待处理的待处理行数据;若否,将文件下载记录表中待处理文件对应的业务状态更新为处理中;若是,则读取文件行记录明细表中待处理行数据,为每个待处理行数据触发业务处理事务,以执行对应的业务处理,基于业务处理结果更新待处理行数据对应的业务状态。
72.在查询出待处理文件后,可以先从文件行记录明细表查询待处理文件是否包括业务状态为待处理的行数据,即查询文件行记录明细表中是否包括属于待处理文件的、且业务状态为待处理的待处理行数据。若否,说明待处理文件中行数据均被业务处理,即待处理文件已经处理完成,则此时可以将文件下载记录表中待处理文件对应的业务状态更新为处理中,表示待处理文件可以执行后续结果上传流程;若是,说明待处理文件中有行数据未被业务处理,则读取文件行记录明细表中待处理行数据,并为每个待处理行数据触发对应的业务处理事务,即每个行数据触发单独的业务处理事务,以执行对应的业务处理,进而基于业务处理结果更新待处理行数据对应的业务状态。
73.由于各文件对应的业务类型不同,所以处理各文件中行数据的业务处理事务也相同,所以本发明实施例中,在为行数据触发业务处理事务时,需要先确定业务类型,具体可以执行为:从文件下载记录表中查询待处理文件的业务类型,以为每个待处理行数据触发该业务类型对应的业务处理事务。业务处理事务被触发后可以获取对应行数据的数据信息,进而可以执行业务处理,得出处理结果。待处理行数据的业务处理成功时,处理结果存储后可以将待处理行数据在文件行记录明细表中业务状态更新为成功,并提交事务;待处理行数据的业务处理不成功时,需要对待处理行数据重新处理,即回滚事务,此时不需要更新待处理行数据在文件行记录明细表中业务状态。
74.需要说明的是,文件中各行数据在被执行业务处理时还需要进行数据校验,以避免数据不合格而导致业务处理不成功。具体可以执行为:调用预设的校验模型,对待处理行数据执行数据校验,得出校验结果;若校验结果为合格,则对待处理行数据执行业务处理,得出业务处理结果,在处理结果为成功时,将待处理行数据对应的业务状态更新为成功;若校验结果为不合格,则确定待处理行数据的业务处理结果为失败,将待处理行数据对应的业务状态更新为失败。校验结果为不合格,则不需要再执行业务处理,可以直接确定待处理行数据的业务处理结果为失败,进而可以将其对应的业务状态更新为失败。若校验结果为合格,则对待处理行数据执行业务处理,得出业务处理结果,在处理结果为成功时,将待处理行数据对应的业务状态更新为成功;在处理结果为不成功时,待处理行数据对应的业务状态不更新,可以重新对该待处理行数据触发业务处理事务。
75.需要说明的是,对各行数据处理后,均会存储其处理结果,如果处理结果为失败,还可以存储失败原因,以便于对端系统基于处理结果进行分析。
76.s103:查询文件下载记录表中业务状态为处理中的待上传文件,触发上传事务,以获取待上传文件对应的业务处理结果,进而生成结果文件并上传,将待上传文件的业务状态更新为处理成功。
77.其中,待处理文件完成业务处理后,业务状态会被标记为处理中,以表示需要执行结果上传,所以本步骤中可以查询文件下载记录表中业务状态为处理中的文件,即待上传文件,以执行结果上传。查询出待上传文件后,可以为其触发上传事务,上传事务触发后,可以获取待上传文件对应的业务处理结果,进而生成结果文件并上传,将待上传文件的业务状态更新为处理成功。
78.本发明实施例中,可以设置文件上传明细表,在将结果文件上传后,可以将待上传文件的上传信息写入文件上传明细表,以便于文件上传结果的记录和存储。如图4所示,为一种文件上传明细表的示意图。
79.需要说明的是,本发明实施例中,结果文件可以根据需求设置,例如,结果文件中第一行可以为公司相关的描述,第二行可以为文件对接的属性名称,第三行之后可以为各行数据的处理结果,最后一行可以为结尾行,字段与字段之间用分隔符分割开。文件处理系统基于文件中行数据的处理结果可以生成所需的结果文件。
80.本发明实施例中,将文件的处理过程适度拆分,并将拆分后的各部分通过触发事务的方式进行处理,各事务的执行相互独立,如此在对文件进行处理时,即使文件处理发生中断,也可以基于对应事务的执行情况直接确定出文件的处理进度,对未处理完的文件,基于事务再次触发来继续进行处理,而不需要依次判断文件中各数据的处理进度,不仅操作简单,还可以提高文件处理的效率。
81.下面结合图1所示的实施例,对本发明实施例的步骤s101中文件写入的方法进行具体说明。如图5所示,该方法包括:
82.s501:获取已下载文件。
83.其中,本发明实施例中可以通过下载job执行文件下载任务。
84.s502:基于已下载文件中包括的数据,计算已下载文件的校验标识。
85.其中,本发明实施例中,校验标识表示可以基于哈希算法计算,即基于已下载文件所包括数据计算对应的哈希值,来确定为校验标识。
86.s503:判断文件下载记录表中是否包括校验标识,若是,则忽略已下载文件;若否,则执行步骤s504。
87.s504:触发写入事务。
88.由于文件被下载时生成的为临时文件,此时被触发对应的写入事务后,可将已下载文件存储至数据库等位置。
89.s505:获取已下载文件的文件信息,将文件信息写入文件下载记录表,标记文件下载记录表中已下载文件对应的业务状态为待处理。
90.s506:将已下载文件中的各行数据写入文件行记录明细表,在文件行记录明细表中标记各行数据对应的业务状态为待处理。
91.s507:判断写入是否成功,若是,则提交事务;若否,则回滚事务。
92.如果步骤s505和s506执行成功,即表示写入成功,则可以存储步骤s505和s506执行后的文件下载记录表和文件行记录明细表,提交事务。如果步骤s505和s506未执行成功,即表示写入失败,则可以回滚该已下载文件的写入事务,即执行步骤s501。
93.本发明实施例中,基于事务将文件处理形成统一的高可用解决方案,对业务处理流程通过拆分的方式,拆解成三个事务,可以通过三个定时任务轮训的方式来处理文件,将文件写入、业务处理、结果上传独立开来,互不影响;当文件过大时,也不会导致解析文件后立即执行业务的整体大事务而导致降低系统性能的问题;当系统重启或者其它不可控因素导致某各文件处理失败时,通过下一次的事务触发执行即可补偿。
94.下面结合图1所示的实施例,对本发明实施例的步骤s102中文件业务处理的方法进行具体说明。如图6所示,该方法包括:
95.s601:查询文件下载记录表中业务状态为待处理的待处理文件。
96.本发明实施例中可以通过预设的业务处理job执行本发明实施例。
97.s602:查询文件行记录明细表中是否包括属于待处理文件的、且业务状态为待处
理的待处理行数据,若否,则将文件下载记录表中待处理文件对应的业务状态更新为处理中;若是,则执行步骤s603。
98.s603:读取文件行记录明细表中待处理行数据,并为每个待处理行数据触发对应的业务处理事务。
99.s604:对每个待处理行数据,调用预设的校验模型,对待处理行数据执行数据校验,得出校验结果。
100.数据校验可以包括两部分,分别为基础数据校验和业务数据校验。基础数据校验可包括校验某个字段的数据类型是否为预设的数字类型。业务数据校验可以包括校验用户id字段中的用户id是正确。
101.数据校验的结果包括合格和不合格。
102.s605:判断校验结果是否为合格,若否,则确定待处理行数据的业务处理结果为失败,将待处理行数据在文件行记录明细表中业务状态更新为失败;若是,则执行步骤s606。
103.s606:对待处理行数据执行业务处理,判断业务处理是否成功,若是,则将待处理行数据在文件行记录明细表中业务状态更新为成功;若否,则回滚事务。
104.业务处理成功后,可以将待处理行数据的处理结果存储,并将待处理行数据在文件行记录明细表中业务状态更新为成功;业务处理不成功后,需要回滚该待处理行数据的业务处理事务。
105.在待处理行数据处理完成后,可以提交事务。对待处理行数据的校验和对应的业务处理,可以分别抽象出处理接口,以调用不同业务模块实现。
106.本发明实施例中,基于事务将文件处理形成统一的高可用解决方案,对业务处理流程通过拆分的方式,拆解成三个事务,可以通过三个定时任务轮训的方式来处理文件,将文件写入、业务处理、结果上传独立开来,互不影响;当文件过大时,也不会导致解析文件后立即执行业务的整体大事务而导致降低系统性能的问题;文件中每一行数据的业务处理,均可以通过对应的事务单独执行业务操作,都是独立的小事务,互不影响。当系统重启或者其它不可控因素导致某各文件处理失败时,通过下一次的事务触发执行即可补偿。
107.下面结合图1所示的实施例,对本发明实施例的步骤s103中结果文件上传的方法进行具体说明。如图7所示,该方法包括:
108.s701:查询文件下载记录表中业务状态为处理中的待上传文件。
109.本发明实施例中可以通过预设的上传job执行本发明实施例。
110.s702:触发上传事务,获取待上传文件对应的业务处理结果,生成结果文件。
111.对待上传文件,为了保证其包括行数据均已经处理完成,在触发上传事务之前,还可以在此通过文件下载记录表查询待上传文件所包括行数据中是否存在业务状态为待处理的行数据。若是,说明该待上传文件还有行数据未处理,则不触发上传事务;若否,则说明该待上传文件的行数据已处理完成,则触发上传事。
112.s703:判断待上传文件的结果文件是否已上传,若是,则将待上传文件的业务状态更新为处理成功;若否,则执行步骤s704。
113.本步骤可以通过查询服务端是否存在待上传文件的结果文件,来判断待上传文件的结果文件是否已上传。
114.s704:将结果文件上传至对应的服务端,并将待上传文件的业务状态更新为处理
成功。
115.对应的服务端具体可以为文件对接的系统之间约定的服务器。
116.本发明实施例中,基于事务将文件处理形成统一的高可用解决方案。对业务处理流程通过拆分的方式,拆解成三个事务,可以通过三个定时任务轮训的方式来处理文件,将文件写入、业务处理、结果上传独立开来,互不影响;当文件过大时,也不会导致解析文件后立即执行业务的整体大事务而导致降低系统性能的问题;当系统重启或者其它不可控因素导致某各文件处理失败时,通过下一次的事务触发执行即可补偿。
117.为了解决现有技术存在的问题,本发明实施例提供了一种文件处理的装置800,如图8所示,该装置800包括:
118.写入单元801,用于获取已下载文件,触发写入事务,以获取已下载文件的文件信息,将所述文件信息写入文件下载记录表,标记所述文件下载记录表中已下载文件对应的业务状态为待处理;
119.处理单元802,用于查询所述文件下载记录表中业务状态为待处理的待处理文件,触发业务处理事务,以对待处理文件执行业务处理,并将所述待处理文件的业务状态更新为处理中;
120.上传单元803,用于查询所述文件下载记录表中业务状态为处理中的待上传文件,触发上传事务,以获取待上传文件对应的业务处理结果,进而生成结果文件并上传,并将所述待上传文件的业务状态更新为处理成功。
121.应理解的是,实施本发明实施例的方式与实施图1所示实施例的方式相同,在此不再赘述。
122.本发明实施例的一种实现方式中,所述写入单元801,还用于:
123.将所述已下载文件中的各行数据写入文件行记录明细表,在所述文件行记录明细表中标记各所述行数据对应的业务状态为待处理。
124.本发明实施例的又一种实现方式中,所述处理单元802,具体用于:
125.查询所述文件行记录明细表中是否包括属于所述待处理文件的、且业务状态为待处理的待处理行数据;
126.若否,将文件下载记录表中待处理文件对应的业务状态更新为处理中;若是,则读取所述文件行记录明细表中所述待处理行数据,为每个所述待处理行数据触发业务处理事务,以执行对应的业务处理,基于业务处理结果更新所述待处理行数据对应的业务状态。
127.本发明实施例的又一种实现方式中,所述处理单元802,具体用于:
128.调用预设的校验模型,对所述待处理行数据执行数据校验,得出校验结果;
129.若所述校验结果为合格,则对所述待处理行数据执行业务处理,得出业务处理结果,在所述处理结果为成功时,将所述待处理行数据对应的业务状态更新为成功;若所述校验结果为不合格,则确定所述待处理行数据的业务处理结果为失败,将所述待处理行数据对应的业务状态更新为失败。
130.本发明实施例的又一种实现方式中,所述文件信息包括业务类型;
131.所述处理单元802,具体用于:
132.从所述文件下载记录表中查询所述待处理文件的业务类型,以为每个所述待处理行数据触发所述业务类型对应的业务处理事务。
133.本发明实施例的又一种实现方式中,所述写入单元801,具体用于:
134.获取所述已下载文件中包括行数据的数量,以基于单次写入数量计算所述行数据的拆分批次,进而对所述行数据拆分,得出拆分结果,基于所述拆分结果,将所述行数据写入文件行记录明细表。
135.本发明实施例的又一种实现方式中,所述写入单元801,具体用于:
136.基于所述已下载文件中包括数据,计算所述已下载文件的校验标识,以判断所述文件下载记录表中是否包括所述校验标识;
137.若是,则忽略所述已下载文件;若否,则为所述已下载文件触发对应的写入事务。
138.应理解的是,实施本发明实施例的方式与实施图1、图5、图6或图7所示实施例的方式相同,在此不再赘述。
139.本发明实施例中,将文件的处理过程适度拆分,并将拆分后的各部分通过触发事务的方式进行处理,各事务的执行相互独立,如此在对文件进行处理时,即使文件处理发生中断,也可以基于对应事务的执行情况直接确定出文件的处理进度,对未处理完的文件,基于事务再次触发来继续进行处理,而不需要依次判断文件中各数据的处理进度,不仅操作简单,还可以提高文件处理的效率。
140.根据本发明的实施例,本发明实施例还提供了一种电子设备和一种可读存储介质。
141.本发明实施例的电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行本发明实施例所提供的文件处理的方法。
142.图9示出了可以应用本发明实施例的文件处理的方法或文件处理的装置的示例性系统架构900。
143.如图9所示,系统架构900可以包括终端设备901、902、903,网络904和服务器905。网络904用以在终端设备901、902、903和服务器905之间提供通信链路的介质。网络904可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
144.用户可以使用终端设备901、902、903通过网络904与服务器905交互,以接收或发送消息等。终端设备901、902、903上可以安装有各种客户端应用。
145.终端设备901、902、903可以是但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
146.服务器905可以是提供各种服务的服务器,服务器可以对接收到的文件处理请求等数据进行分析等处理,并将处理结果(例如结果文件
‑‑
仅为示例)反馈给终端设备。
147.需要说明的是,本发明实施例所提供的文件处理的方法一般由服务器905执行,相应地,文件处理的装置一般设置于服务器905中。
148.应该理解,图9中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
149.下面参考图10,其示出了适于用来实现本发明实施例的计算机系统1000的结构示意图。图10示出的计算机系统仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
150.如图10所示,计算机系统1000包括中央处理单元(cpu)1001,其可以根据存储在只读存储器(rom)1002中的程序或者从存储部分1008加载到随机访问存储器(ram)1003中的程序而执行各种适当的动作和处理。在ram 1003中,还存储有系统1000操作所需的各种程序和数据。cpu 1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
151.以下部件连接至i/o接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至i/o接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
152.特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(cpu)1001执行时,执行本发明的系统中限定的上述功能。
153.需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd

rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
154.附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分,上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规
定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
155.描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括写入单元、处理单元和上传单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,写入单元还可以被描述为“写入单元的功能的单元”。
156.作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行本发明所提供的文件处理的方法。
157.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献