一种针对模型训练的数据读取方法、设备、介质及产品与流程

本说明书一个或多个实施例涉及人工智能和数据解析，尤其涉及一种针对模型训练的数据读取方法、设备、介质及产品。

背景技术：

1、目前，人工智能技术已经逐渐影响人们的日常生活，通过使用基于人工智能技术而构建出的人工智能模型，可以实现诸如信息查询、无人驾驶、图文生成、智能医疗等诸多应用场景，从而为人们带来了便利。

2、为保证人工智能模型能够持续为用户提供优质服务，在实际应用中，需要定期对人工智能模型进行模型训练。而为了查看模型训练过程中所产生的各项指标，需要从事件日志文件中解析出这些指标数据，以对模型训练过程进行评估。

3、然而，目前往往需要等待模型训练完成后，再对产生的事件日志文件进行整体解析，这就导致无法在模型训练过程中实时查看所产生的指标数据。而且，由于模型训练所产生的事件日志文件的数据量往往较大，因此需要耗费较多的资源对其进行解析，这也进一步地使得需要花费较长的时间才能从事件日志文件中解析出所需的指标数据，显著降低了获取指标数据的效率。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供技术方案如下：

2、根据本说明书一个或多个实施例的第一方面，提出了一种针对模型训练的数据读取方法，所述方法包括：

3、从正在执行的模型训练任务产生的事件日志文件中增量采集事件记录的字节流，针对所述事件日志文件中的每条事件记录，该事件记录中包含有该事件记录对应训练事件产生的事件数据，以及用于校验所述事件数据完整性的第一校验码，第一校验码在事件记录中占据第一校验码长度的字节；

4、在所述字节流中选取读取位置，以及，确定需要读取出的事件数据在所述字节流中所占据的字节长度，作为第一字节流长度；

5、基于所述读取位置，从所述字节流中读取所述第一字节流长度的字节，作为待校验事件数据，并按照预设的校验码生成方式，生成所述待校验事件数据对应的待验证事件校验码，以及，从所述第一字节流长度之后的位置读取所述第一校验码长度的字节，作为读取出的第一校验码；

6、若确定所述待验证事件校验码与所述第一校验码相匹配，则将所述待校验事件数据作为读取出的事件数据，否则，按照指定滑动步长在所述字节流中重新选取读取位置，直至满足预设的停止读取条件为止；

7、将读取出的事件数据存储在数据库中，以在响应读取事件数据的读取请求时，从所述数据库中读取存储的事件数据并展示。

8、根据本说明书一个或多个实施例的第二方面，提出了一种针对模型训练的数据读取装置，所述装置包括：

9、采集模块，从正在执行的模型训练任务产生的事件日志文件中增量采集事件记录的字节流，针对所述事件日志文件中的每条事件记录，该事件记录中包含有该事件记录对应训练事件产生的事件数据，以及用于校验所述事件数据完整性的第一校验码，第一校验码在事件记录中占据第一校验码长度的字节；

10、确定模块，在所述字节流中选取读取位置，以及，确定需要读取出的事件数据在所述字节流中所占据的字节长度，作为第一字节流长度；

11、读取模块，基于所述读取位置，从所述字节流中读取所述第一字节流长度的字节，作为待校验事件数据，并按照预设的校验码生成方式，生成所述待校验事件数据对应的待验证事件校验码，以及，从所述第一字节流长度之后的位置读取所述第一校验码长度的字节，作为读取出的第一校验码；

12、校验模块，若确定所述待验证事件校验码与所述第一校验码相匹配，则将所述待校验事件数据作为读取出的事件数据，否则，按照指定滑动步长在所述字节流中重新选取读取位置，直至满足预设的停止读取条件为止；

13、存储模块，将读取出的事件数据存储在数据库中，以在响应读取事件数据的读取请求时，从所述数据库中读取存储的事件数据并展示。

14、根据本说明书一个或多个实施例的第三方面，提出了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述所述方法的步骤。

15、根据本说明书一个或多个实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述所述方法的步骤。

16、根据本说明书一个或多个实施例的第五方面，提出了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述所述方法的步骤。

17、从本说明书提供的针对模型训练的数据读取方法可以看出，从正在执行的模型训练任务产生的事件日志文件中增量采集事件记录的字节流，之后，在采集到的字节流中选取读取位置，以及确定需要读取出的事件数据在字节流中占据的字节长度，作为第一字节流长度，之后，基于该读取位置，从字节流中读取第一字节流长度的字节，作为待校验事件数据，并按照预设的校验码生成方式，生成待校验事件数据对应的待验证事件校验码，以及，从第一字节流长度之后的位置读取第一校验码长度的字节，作为读取出的第一校验码。若确定待验证事件校验码与第一校验码相匹配，则将待校验事件数据作为读取出的事件数据，否则，在采集到的字节流中按照指定滑动步长重新选取读取位置，直至满足预设的停止读取条件为止。将读取出的事件数据存储在数据库中，以在响应读取事件数据的读取请求时，从数据库中读取存储的事件数据并展示。

18、从上述方法可以看出，通过增量采集事件记录的字节流，可以将模型训练过程不断产生的各训练事件的事件数据逐渐存储到数据库中，这使得在后续查看事件数据的过程中，不需要对产生的事件日志文件整体进行解析，只需要从数据库中查询出所需的事件数据即可，极大提高了针对模型训练过程中产生的事件数据的浏览效率。

1.一种针对模型训练的数据读取方法，所述方法包括：

2.如权利要求1所述的方法，针对每条事件记录，该事件记录中还包含有用于表示事件数据在事件记录中占据第一字节流长度字节的长度数据，以及用于校验所述长度数据完整性的第二校验码，长度数据在事件记录中占据第二字节流长度的字节，第二校验码在事件记录中占据第二校验码长度的字节；

3.如权利要求1所述的方法，所述数据库包括：第一数据库和第二数据库；

4.如权利要求3所述的方法，所述第一数据库包括：时序数据库；所述第二数据库包括：关系型数据库。

5.如权利要求1所述的方法，从正在执行的模型训练任务产生的事件日志文件中增量采集事件记录的字节流，包括：

6.如权利要求5所述的方法，通过所述采集组件，从所述事件日志文件中增量采集事件记录的字节流，包括：

7.如权利要求5所述的方法，通过所述采集组件，将采集的字节流追加写入预设的存储系统中，包括：

8.如权利要求7所述的方法，根据所述起始写入位置，向所述存储系统中发送写入指令，以使所述存储系统根据从所述写入指令解析出的所述起始写入位置，将所述采集组件当前采集的字节流追加写入，包括：

9.如权利要求8所述的方法，所述方法还包括：

10.一种针对模型训练的数据读取装置，所述装置包括：

11.一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如权利要求1~8中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1~8中任一项所述方法的步骤。

13.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如权利要求1~8中任一项所述方法的步骤。