大批量代码仓库的分析方法、装置、设备及介质与流程

摘要: 本发明涉及过程优化、业务过程优化,尤其涉及一种大批量代码仓库的分析方法、装置、设备及介质。背景技术:1、在金融和医疗领域中,均存在大量代码仓库,企业在做研发效能...
大批量代码仓库的分析方法、装置、设备及介质与流程

本发明涉及过程优化、业务过程优化,尤其涉及一种大批量代码仓库的分析方法、装置、设备及介质。

背景技术:

1、在金融和医疗领域中,均存在大量代码仓库,企业在做研发效能统计、代码质量扫描、安全审计或开源治理时,经常需要周期性分析大量代码仓库。

2、相关技术中使用简单串行执行,将代码仓库逐个拉取和分析。但是如果一个代码仓库在拉取和分析时存在问题,就会拖慢整个批次的分析进度。

3、所以,如何能够加快整个大批次代码仓库的分析速度,成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供一种大批量代码仓库的分析方法、装置、设备及介质,以解决大批次代码仓库分析速度较慢的技术问题。

2、第一方面,提供了一种大批量代码仓库的分析方法,包括:

3、生成代码仓库对应的任务单元;所述任务单元用于记录任务状态和重试次数;

4、对大批量代码仓库进行分片得到不同分区,并为所述分区配置对应的执行单元,以使所述执行单元基于所述分区确定待执行队列;将所述待执行队列中的代码仓库依次分配到空闲的并发槽位,将分配有并发槽位的代码仓库拉取到本地;判断拉取到本地是否成功;如果拉取到本地成功,进行完整性校验;如果完整性校验成功,则执行正式分析校验;

5、如果正式分析校验成功,则确定并更新所述任务状态为分析成功;如果拉取到本地失败、完整性校验失败或正式分析校验失败,则确定对应的失败类型,判断失败类型对应的代码仓库是否需要执行补强操作,如果需要则执行补强操作;在执行补强操作后更新重试次数,如果所述重试次数超过预设次数,则确定并更新所述任务状态为永久分析失败;如果所述重试次数未超过预设次数,则重新执行所述补强操作;其中,所述补强操作包括:执行所述失败类型对应的预处理,将所述代码仓库重新加入到待执行队列,重新执行所述将所述待执行队列中的代码仓库依次分配到空闲的并发槽位的步骤;

6、在所有代码仓库的任务状态均被确定为分析成功或分析永久失败后,则基于所有所述任务单元中的任务状态,生成大批量代码仓库的分析报告。

7、第二方面,提供了一种大批量代码仓库的分析装置,包括:

8、第一生成单元,用于生成代码仓库对应的任务单元;所述任务单元用于记录任务状态和重试次数;

9、分片单元,用于对大批量代码仓库进行分片得到不同分区,并为所述分区配置对应的执行单元,以使所述执行单元基于所述分区确定待执行队列;将所述待执行队列中的代码仓库依次分配到空闲的并发槽位,将分配有并发槽位的代码仓库拉取到本地;

10、判断单元,用于判断拉取到本地是否成功;如果拉取到本地成功,进行完整性校验;

11、执行单元,用于如果完整性校验成功,则执行正式分析校验;

12、确定单元,用于如果正式分析校验成功,则确定并更新所述任务状态为分析成功;

13、补强单元,用于如果拉取到本地失败、完整性校验失败或正式分析校验失败,则确定对应的失败类型,判断失败类型对应的代码仓库是否需要执行补强操作,如果需要则执行补强操作;在执行补强操作后更新重试次数,如果所述重试次数超过预设次数,则确定并更新所述任务状态为永久分析失败;如果所述重试次数未超过预设次数,则重新执行所述补强操作;其中,所述补强操作包括:执行所述失败类型对应的预处理,将所述代码仓库重新加入到待执行队列,重新执行所述将所述待执行队列中的代码仓库依次分配到空闲的并发槽位的步骤;

14、第二生成单元,用于在所有代码仓库的任务状态均被确定为分析成功或分析永久失败后,则基于所有所述任务单元中的任务状态,生成大批量代码仓库的分析报告。

15、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述大批量代码仓库的分析方法的步骤。

16、第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述大批量代码仓库的分析方法的步骤。

17、上述大批量代码仓库的分析方法、装置、计算机设备及存储介质所实现的方案中,使用与代码仓库对应的任务单元记录任务状态和重试次数,将大批量代码仓库分成不同分区,并利用与分区对应的执行单元针对该分区进行分析,当出现失败时可以基于失败类型进行对应的补强操作,并在重试次数超过预设次数时确定任务状态为永久分析失败,将正式分析校验成功的代码仓库的任务状态确定为分析成功,最后将所有代码仓库对应的任务单元的记录的任务状态进行总结,生成大批量代码仓库的分析报告,这样通过将大批量代码仓库进行分区,并利用与分区对应的执行单元针对分区进行分析,不同分区分析之间不会互相影响,最终可以快速生成大批量代码仓库的分析报告。

1.一种大批量代码仓库的分析方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对大批量代码仓库进行分片得到不同分区,并为所述分区配置对应的执行单元的步骤包括:

3.根据权利要求1所述的方法,其特征在于,在所述将所述待执行队列中的代码仓库依次分配到空闲的并发槽位的步骤之前,还包括:确定所述待执行队列中代码仓库所需空闲的并发槽位的数量。

4.根据权利要求3所述的方法,其特征在于,在所述将所述待执行队列中的代码仓库依次分配到空闲的并发槽位的步骤之前,还包括:

5.根据权利要求4所述的方法,其特征在于,在所述将所述代码仓库重新加入到待执行队列的步骤之前,还包括:确定所述代码仓库在所述待执行队列中的位置;

6.根据权利要求3所述的方法,其特征在于,所述确定所述待执行队列中的代码仓库所需空闲的并发槽位的数量的步骤包括:

7.根据权利要求1所述的方法,其特征在于,所述将分配有并发槽位的代码仓库拉取到本地的步骤包括:

8.一种大批量代码仓库的分析装置,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述大批量代码仓库的分析方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述大批量代码仓库的分析方法的步骤。