批处理文件的质量检测方法与流程

1.本发明涉及文件处理技术领域，特别涉及一种批处理文件的质量检测方法。


背景技术：

2.在传统批处理程序中，经常因为外部系统输入的批量文件质量无法控制，容易导致批处理程序产生非预见性的异常，尤其是夜间的批处理程序，若发生异常就会涉及到数据检查、数据修复以及程序修复等诸多问题，需大量人力和时间去解决这些问题。
3.因此有必要提供一种批处理文件的质量检测方法，可以对文件的字段格式和数据量阈值等多维度进行检查，以降低批处理程序因文件质量问题导致异常发生的概率。


技术实现要素：

4.本发明的目的在于提供一种批处理文件的质量检测方法，可以对文件的字段格式和数据量阈值等多维度进行检查，以降低批处理程序因文件质量问题导致异常发生的概率。
5.为了解决上述问题，本发明提供了一种批处理文件的质量检测方法，包括以下步骤：
6.在主程序内设置检查矩阵配置文件，检查矩阵配置文件包括批量待检查文件的信息和各待检查文件待检查项对应的插件信息，其中，各待检查文件待检查项对应的插件包括文件校验值检查插件、文件记录阈值检查插件和文件字段检查插件；
7.主程序定时调用并解析所述检查矩阵配置文件；
8.根据所述待检查文件的信息获取待检查文件；
9.根据各待检查文件待检查项对应的插件信息获取对应的插件；
10.根据对应的插件进行检测，其中，文件校验值检查插件对当前待检查文件的内容进行校验检测，文件记录阈值检查插件对当前待检查文件的行数进行检测，文件字段检查插件对当前待检查文件中字段的长度及字段的内容进行检测；
11.将检测不通过的文件的信息及其检测不通过的类型输出至告警日志中。
12.可选的，在所述批处理文件的质量检测方法中，所述待检查文件的信息包括文件号、文件名和文件路径。
13.可选的，在所述批处理文件的质量检测方法中，根据各待检查文件待检查项对应的插件信息获取对应的插件，插件包括：文件校验值检查插件、文件记录阈值检查插件和/或文件字段检查插件。
14.可选的，在所述批处理文件的质量检测方法中，当对应的插件为文件校验值检查插件时，检测方式如下：
15.根据所述检查矩阵配置文件中待检查文件的信息同时获取校验文件和源文件，比对校验文件的内容和源文件的内容，若相符，则判断为检测通过，反之，则判断为检测不通过。
16.可选的，在所述批处理文件的质量检测方法中，当对应的插件为文件记录阈值检查插件时，检测方式如下：
17.获取所述检查矩阵配置文件中预设的各待检查文件的行数阈值，比较当前待检查文件预设的行数阈值和实际的行数阈值，若实际的行数阈值小于等于预设的行数阈值，则判断为检测通过，若实际的行数阈值超出预设的行数阈值，则判断为检测不通过。
18.可选的，在所述批处理文件的质量检测方法中，当对应的插件为文件字段检查插件时，文件字段检查插件包含一内容配置文件，所述内容配置文件包含检测选择配置参数和检测预设参数，以对当前待检查文件中字段的长度及字段的内容进行检测。
19.可选的，在所述批处理文件的质量检测方法中，根据检测选择配置参数进行选择的方式如下：
20.内容配置文件提供抽样开关配置，根据全量检查文件或抽样检查文件的需求选择是否开启抽样开关。
21.可选的，在所述批处理文件的质量检测方法中，文件字段检查插件的检测方式如下：
22.获取所述检测预设参数中的字符长度预设值，记录当前待检查文件的字符长度实际值，进行比较，若匹配，则判断为检测通过，反之，则判断为检测不通过；
23.获取所述检测预设参数中预设的字段位置、字段必填属性以及字段内容格式，记录当前待检查文件实际的字段位置、字段必填属性以及字段内容格式，进行比较，若全部匹配，则判断为检测通过，反之，则判断为检测不通过；
24.其中，字符长度、字段位置、字段必填属性以及字段内容格式中任一一种不匹配，则判断为文件字段检查插件检测不通过。
25.可选的，在所述批处理文件的质量检测方法中，检测不通过的类型包括文件校验值检查插件检测不通过、文件记录阈值检查插件检测不通过和文件字段检查插件检测不通过中的至少一种。
26.可选的，在所述批处理文件的质量检测方法中，日志分析程序实时监控并分析日志，若出现告警日志及时发送预警。
27.在本发明所提供的批处理文件的质量检测方法中，通过在检查矩阵配置文件中预设检测方式和不同维度的检查插件，用于对待检查文件进行检测，并将检测不通过的文件通过告警日志方式进行警示。意于保证充足时间的提前对异常文件进行人工干预处理，降低现有批处理程序因文件质量问题导致异常发生的概率，作为批处理程序前置的补充步骤，增加了批处理程序的健壮性，减少了因批处理程序异常而产生的非必要的运维成本。
附图说明
28.图1为本发明实施例提供的质量检测方法的流程图。
具体实施方式
29.下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
30.如果本文所述的方法包括一系列步骤，则本文所呈现的这些步骤的顺序并非必须是可执行这些步骤的唯一顺序，且一些所述的步骤可被省略和/或一些本文未描述的其他步骤可被添加到该方法中。
31.在传统批处理程序中，经常因为外部系统输入的批量文件质量无法控制，容易导致批处理程序产生非预见性的异常，尤其是夜间的批处理程序，若发生异常就会涉及到数据检查、数据修复以及程序修复等诸多问题，需大量人力和时间去解决这些问题。
32.因此有必要提供一种批处理文件的质量检测方法，如图1所示，图1为本发明实施例提供的质量检测方法的流程图，所述质量检测方法包括以下步骤：
33.在主程序内设置检查矩阵配置文件，检查矩阵配置文件包括批量待检查文件的信息和各待检查文件待检查项对应的插件信息，其中，各待检查文件待检查项对应的插件包括文件校验值检查插件、文件记录阈值检查插件和文件字段检查插件；
34.主程序定时调用并解析所述检查矩阵配置文件；
35.根据所述待检查文件的信息获取待检查文件；
36.根据各待检查文件待检查项对应的插件信息获取对应的插件；
37.根据对应的插件进行检测，其中，文件校验值检查插件对当前待检查文件的内容进行校验检测，文件记录阈值检查插件对当前待检查文件的行数进行检测，文件字段检查插件对当前待检查文件中字段的长度及字段的内容进行检测；
38.将检测不通过的文件的信息及其检测不通过的类型输出至告警日志中。
39.通常的，所述待检查文件和所述插件可以存储于计算机存储设备中，不放在所述检查矩阵配置文件中，所述检查矩阵配置文件仅存储各待检查文件和各插件的名称及查找路径(插件入口)等。在定时调用所述检查矩阵配置文件之间，主程序会提前加载插件入口程序，以便后续直接调用插件。
40.优选的，本发明可以对文件的字段格式和数据量阈值等多维度进行检查，同时还可以随监测需求的变化扩展自定义的检查逻辑(例如增加不同维度的检查插件)，以实现在批处理程序执行前对待检查文件进行监测，并对异常提前告警。本发明只需投入较低的运维成本提前介入处理异常文件，以降低批处理程序因文件质量问题导致异常发生的概率。
41.通常的，所述待检查文件的信息包括文件号、文件名和文件路径。
42.在一个实施例中，所述检查矩阵配置文件的格式如下：
[0043][0044]
检查矩阵配置文件的内容说明如下：
[0045]
检查矩阵配置文件第一行为配置头。配置头前三列为待检查文件位置信息，包括文件号(fileid)、文件名(filename)以及文件路径(filepath)；配置头从第四列开始到末尾均为插件程序号，插件程序号与每个插件程序对应，主程序根据插件程序号从插件程序包中加载指定插件，例如主程序会根据样例中插件程序号“checkok”从插件程序包中加载插件程序“fun_checkok.sh”。
[0046]
从检查矩阵配置文件的第二行开始，内容为文件体，前三列为文件号、文件名和文
件路径，文件名和文件路径中可以使用通配符“？”和“*”代替不确定的一个和多个字符；第四列开始的内容为文件头中插件程序号对应的插件的输入参数。主程序遍历检查矩阵配置文件的文件头和文件体，对文件体每一行对应的文件使用插件程序根据插件输入参数进行相应的检查。
[0047]
优选的，根据各待检查文件待检查项对应的插件信息获取对应的插件，插件包括：文件校验值检查插件、文件记录阈值检查插件和/或文件字段检查插件。即，所述待检查文件待检查项对应的插件可能为文件校验值检查插件、文件记录阈值检查插件和文件字段检查插件中的至少一个，也可能是多个。
[0048]
可选的，在所述批处理文件的质量检测方法中，当对应的插件为文件校验值检查插件时，检测方式如下：
[0049]
根据所述检查矩阵配置文件中待检查文件的信息同时获取校验文件和源文件，比对校验文件的内容和源文件的内容，若相符，则判断为检测通过，反之，则判断为检测不通过。
[0050]
在一个实施例中，文件校验值检查插件的检查逻辑依托于待检查文件的源文件和附带的校验文件。例如文件名为“card”的文件除了源文件外，还存在一个“card.ok”校验文件，校验文件保存一串校验信息。文件校验值检查插件计算得出校验值，与校验文件中的校验信息进行对比，若不一致则检测不通过。
[0051]
进一步的，当对应的插件为文件记录阈值检查插件时，检测方式如下：
[0052]
获取所述检查矩阵配置文件中预设的各待检查文件的行数阈值，比较当前待检查文件预设的行数阈值和实际的行数阈值，若实际的行数阈值小于等于预设的行数阈值，则判断为检测通过，若实际的行数阈值超出预设的行数阈值，则判断为检测不通过。
[0053]
再进一步的，当对应的插件为文件字段检查插件时，文件字段检查插件包含一内容配置文件，所述内容配置文件包含检测选择配置参数和检测预设参数，以对当前待检查文件中字段的长度及字段的内容进行检测。
[0054]
具体的，根据检测选择配置参数进行选择的方式如下：内容配置文件提供抽样开关配置，根据全量检查文件或抽样检查文件的需求选择是否开启抽样开关。全量检查时将遍历文件全文，逐行检查文件记录。抽样检查时将通过指定算式抽取文件前中后三处记录样本进行检查。
[0055]
文件字段检查插件的检测方式如下：获取所述检测预设参数中的字符长度预设值，记录当前待检查文件的字符长度实际值，进行比较，若匹配，则判断为检测通过，反之，则判断为检测不通过；获取所述检测预设参数中预设的字段位置、字段必填属性以及字段内容格式，记录当前待检查文件实际的字段位置、字段必填属性以及字段内容格式(实际的字段位置通过定位加偏移量的方式确定，实际的字段必填属性通过判断是否填写进行确定，实际的字段内容格式采用正则表达式表示)，进行比较，若全部匹配，则判断为检测通过，反之，则判断为检测不通过；其中，字符长度、字段位置、字段必填属性以及字段内容格式中任一一种不匹配，则判断为文件字段检查插件检测不通过。
[0056]
较佳的，检测不通过的类型包括文件校验值检查插件检测不通过、文件记录阈值检查插件检测不通过和文件字段检查插件检测不通过中的至少一种。
[0057]
进一步的，日志分析程序实时监控并分析日志，若出现告警日志及时发送预警，以
及时通知运维和开发人员进行处理。
[0058]
综上，在本发明所提供的批处理文件的质量检测方法中，通过在检查矩阵配置文件中预设检测方式和不同维度的检查插件，用于对待检查文件进行检测，并将检测不通过的文件通过告警日志方式进行警示。意于保证充足时间的提前对异常文件进行人工干预处理，降低现有批处理程序因文件质量问题导致异常发生的概率，作为批处理程序前置的补充步骤，增加了批处理程序的健壮性，减少了因批处理程序异常而产生的非必要的运维成本。
[0059]
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。