一种基于云计算的档案信息查验方法及档案查验终端与流程
本发明涉及档案数字化管理以及云计算数据处理,具体为一种基于云计算的档案信息查验方法及档案查验终端。
背景技术:
1、随着档案管理数字化、网络化程度不断提高,电子档案已经广泛应用于行政管理、工程建设、企业经营、人事管理以及其他业务活动中。档案在形成、归档、移交、利用以及长期保存过程中,通常需要经过多个业务系统以及多个管理环节,不同业务系统生成的档案数据在文件格式、字段名称、字符编码、数据结构以及版本管理方式等方面可能存在差异。因此,在档案接收、归档或者利用过程中,通常需要对档案的真实性、完整性以及档案信息的一致性进行查验。
2、现有的档案信息查验方式通常采用人工核对或者基于档案编号、档案名称等关键字段进行数据库查询比对。例如,档案管理人员将待查验档案中的档案编号、形成单位、形成时间等信息录入档案管理系统,通过档案管理系统查找对应的已归档数据,再由人工对两份档案进行比较。该方式在档案数量较少时能够完成基本查验,但是随着数字档案数量以及档案数据规模不断增加,人工查验所需要的时间较长,且查验结果容易受到操作人员经验以及工作状态的影响,难以满足大批量档案快速查验的要求。
3、目前,也存在利用计算机对电子档案进行自动比对的技术方案。其中一种方式是对整份电子档案计算散列值,并将待查验档案的散列值与历史归档档案的散列值进行比较,以判断档案内容是否发生变化。但是,该方式通常只能判断整份档案是否发生改变。当散列值不一致时,难以进一步确定发生改变的具体页面、段落、附件或者数据位置,仍然需要重新读取并比较整份档案,从而增加档案异常定位以及人工复核的工作量。
4、另一方面,档案查验不仅涉及文件内容本身,还可能涉及档案编号、档案名称、档案类型、形成单位、形成时间、责任人员、版本标识以及关联档案编号等多种档案属性。现有的一些档案查验系统通常仅针对单个字段或者少量字段进行直接比对,缺少对不同档案字段之间关联关系的校验。例如,当档案形成时间与档案版本、档案形成单位与档案类型之间存在逻辑关联时,仅判断单个字段是否相同,难以及时发现字段之间存在的逻辑异常。
5、同时,同一档案在形成和使用过程中可能经历多次修改,并形成多个历史版本。现有技术中,对于档案版本的管理多通过版本编号或者文件名称进行区分,缺少针对相邻档案版本的数据指纹、形成时间以及版本递进关系进行联合查验的机制。当档案历史版本发生遗漏、替换或者版本关联关系异常时,难以准确判断当前档案是否沿正确的历史版本链形成。
6、此外,在采用服务器或者云端平台进行档案查验时,通常需要将完整档案上传至服务器进行处理。对于数据量较大的档案,完整上传会占用较多网络带宽以及云端存储和计算资源。当档案中包含具有访问权限限制的信息时,将整份档案上传至云端还会扩大受限档案数据的传输范围。即使只有少量内容存在异常,现有方案仍可能需要重新上传或者重新处理完整档案,造成不必要的数据传输和计算资源消耗。
7、因此,本技术提出一种基于云计算的档案信息查验方法及档案查验终端。
技术实现思路
1、本发明的目的在于提供一种基于云计算的档案信息查验方法及档案查验终端,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于云计算的档案信息查验方法,包括:
3、获取档案查验终端采集的待查验档案原始数据,并对所述待查验档案原始数据进行标准化处理,得到标准化档案数据;
4、按照预设数据分块规则将所述标准化档案数据划分为多个档案数据块,分别计算各所述档案数据块对应的块级数据指纹,并根据多个所述块级数据指纹生成对应于所述待查验档案的聚合根指纹;
5、从所述标准化档案数据中提取档案关键字段,对所述档案关键字段进行标准化处理得到标准化档案字段集合,根据所述标准化档案字段集合、所述聚合根指纹以及档案属性信息生成档案查验任务,并将所述档案查验任务发送至云端查验平台;
6、所述云端查验平台根据所述档案属性信息从档案基准数据资源中确定与所述待查验档案相对应的候选基准档案,并将所述档案查验任务分配至对应的云计算节点;
7、通过所述云计算节点,根据所述聚合根指纹和所述块级数据指纹对所述待查验档案进行档案完整性查验,根据所述标准化档案字段集合与所述候选基准档案对应的基准字段集合进行档案信息一致性查验,并根据所述待查验档案对应的版本信息和档案历史版本数据进行档案版本连续性查验,得到档案查验特征集合;
8、根据所述档案查验特征集合确定异常档案数据块以及档案查验结果;
9、当存在所述异常档案数据块时,所述云端查验平台向所述档案查验终端发送对应于所述异常档案数据块的二次查验请求,所述档案查验终端根据所述二次查验请求向所述云端查验平台发送对应的目标档案数据块;
10、根据所述目标档案数据块进行二次查验,根据二次查验结果更新所述档案查验结果,并生成与所述档案查验任务对应的查验证据记录;
11、将所述档案查验结果返回所述档案查验终端。
12、作为本技术技术方案一个具体的方案,所述待查验档案原始数据至少包括档案正文数据、档案图像数据、档案元数据以及档案附件数据中的一种或多种;
13、所述档案关键字段至少包括档案编号、档案名称、档案类型、形成单位、形成时间、责任人员、档案页数、密级信息、版本标识以及关联档案编号中的一种或多种。
14、作为本技术技术方案一个具体的方案,所述对待查验档案原始数据进行标准化处理,包括:
15、识别所述待查验档案原始数据对应的数据格式;
16、将不同数据格式的档案数据转换为预设标准数据格式;
17、对文本型档案数据进行字符编码统一、空白字符处理以及字段格式统一;
18、对图像型档案数据进行方向校正和版面区域划分,并提取所述图像型档案数据中的文本信息;
19、将处理后的不同类型档案数据按照统一档案数据结构进行关联,得到所述标准化档案数据。
20、作为本技术技术方案一个具体的方案,所述分别计算各所述档案数据块对应的块级数据指纹,并根据多个所述块级数据指纹生成对应于所述待查验档案的聚合根指纹,包括:
21、采用预设散列算法分别计算各所述档案数据块的数据摘要,得到多个所述块级数据指纹;
22、按照各所述档案数据块在所述待查验档案中的排列关系对多个所述块级数据指纹进行组合;
23、对组合后的多个所述块级数据指纹进行逐层聚合运算,得到所述聚合根指纹;
24、将所述聚合根指纹与所述待查验档案对应的档案标识进行关联。
25、作为本技术技术方案一个具体的方案,所述云端查验平台根据所述档案属性信息从档案基准数据资源中确定与所述待查验档案相对应的候选基准档案,包括:
26、根据档案类型标识确定对应的档案查验数据域;
27、根据档案编号、档案来源标识和至少一个所述档案关键字段从所述档案查验数据域中检索得到至少一个候选档案;
28、计算所述待查验档案与各所述候选档案之间的字段匹配程度;
29、根据所述字段匹配程度确定所述候选基准档案。
30、其中,所述档案基准数据资源至少包括标准归档数据库、档案历史版本数据库以及与所述云端查验平台通信连接的权威业务数据源中的一种或多种。
31、作为本技术技术方案一个具体的方案,所述档案信息一致性查验包括:
32、分别建立所述标准化档案字段集合中的档案关键字段与所述基准字段集合中对应基准字段之间的映射关系;
33、分别确定各所述档案关键字段与对应基准字段之间的字段匹配结果;
34、根据预设档案字段约束规则,对至少两个存在关联关系的档案关键字段进行关联一致性判断;
35、根据所述字段匹配结果和关联一致性判断结果确定字段异常信息。
36、作为本技术技术方案一个具体的方案,所述档案版本连续性查验包括:
37、获取所述待查验档案的当前版本标识、当前形成时间以及上一版本档案指纹;
38、根据所述当前版本标识从所述档案历史版本数据中确定上一版本档案;
39、分别判断所述上一版本档案的档案指纹与所述上一版本档案指纹是否一致、当前形成时间是否晚于所述上一版本档案的形成时间以及当前版本标识是否符合预设版本递进规则;
40、根据判断结果确定所述待查验档案的版本连续性查验结果。
41、作为本技术技术方案一个具体的方案,所述在所述档案查验终端根据所述二次查验请求向所述云端查验平台发送对应的目标档案数据块之前,还包括:
42、确定所述目标档案数据块对应的档案访问权限;
43、当所述目标档案数据块中存在超出当前档案查验任务访问权限的数据字段时,对所述数据字段进行脱敏处理或者加密处理;
44、将处理后的目标档案数据块、目标档案数据块的数据块标识以及目标档案数据块对应的块级数据指纹发送至所述云端查验平台。
45、作为本技术技术方案一个具体的方案,所述根据档案查验特征集合确定异常档案数据块以及档案查验结果,包括:
46、分别根据所述档案完整性查验、档案信息一致性查验以及档案版本连续性查验得到完整性异常参数、一致性异常参数以及版本异常参数;
47、按照预设权重对所述完整性异常参数、一致性异常参数以及版本异常参数进行融合,得到档案异常评分;
48、根据参与查验的档案基准数据资源可信等级、有效匹配字段数量以及完成查验的数据块数量确定查验可信度;
49、根据所述档案异常评分和所述查验可信度确定档案正常、档案待复核或者档案异常的档案查验结果。
50、一种及档案查验终端,包括:
51、档案数据获取模块,用于获取待查验档案原始数据;
52、档案预处理模块,用于对所述待查验档案原始数据进行标准化处理,得到标准化档案数据;
53、档案分块模块,用于按照预设数据分块规则将所述标准化档案数据划分为多个档案数据块;
54、档案指纹生成模块,用于分别计算各所述档案数据块对应的块级数据指纹,并根据多个所述块级数据指纹生成对应于所述待查验档案的聚合根指纹;
55、字段提取模块,用于从所述标准化档案数据中提取档案关键字段,对所述档案关键字段进行标准化处理得到标准化档案字段集合;
56、查验任务生成模块,用于根据所述标准化档案字段集合、所述聚合根指纹以及档案属性信息生成档案查验任务;
57、通信模块,用于将所述档案查验任务发送至云端查验平台,并接收所述云端查验平台返回的档案查验结果;
58、二次查验处理模块,用于在接收到所述云端查验平台发送的二次查验请求时,根据所述二次查验请求确定异常档案数据块对应的目标档案数据块,并将所述目标档案数据块发送至所述云端查验平台;
59、权限处理模块,用于获取所述档案查验任务对应的查验用户权限以及所述目标档案数据块对应的档案访问权限,并根据所述查验用户权限和所述档案访问权限确定目标档案数据块中的受限数据字段;
60、对所述受限数据字段进行脱敏或者加密处理后,通过所述通信模块向所述云端查验平台发送处理后的目标档案数据块。
61、与现有技术相比,本发明的有益效果是:
62、本发明通过档案查验终端获取待查验档案原始数据,并对不同格式、不同数据类型的档案正文数据、档案图像数据、档案元数据以及档案附件数据进行标准化处理,将不同来源的档案数据转换为统一的数据组织形式。因此,可以减少由于文件格式、字符编码、字段表达形式以及数据结构不同而对档案查验造成的影响,为后续档案数据分块、字段比对以及版本查验提供统一的数据基础。
63、同时,按照预设数据分块规则将标准化档案数据划分为多个档案数据块,并分别生成块级数据指纹,同时根据多个块级数据指纹形成对应于整份档案的聚合根指纹。通过聚合根指纹能够对待查验档案整体内容进行快速完整性判断;当聚合根指纹存在异常时,可以进一步利用块级数据指纹定位发生变化的具体档案数据块。相对于仅针对整份档案生成单一散列值的方式,不仅能够判断档案是否发生变化,而且能够缩小异常数据的定位范围,提高档案异常定位效率。
64、通过云端查验平台根据档案类型标识、档案编号、档案来源标识以及档案关键字段从档案基准数据资源中确定候选基准档案,并利用云计算节点执行档案查验任务,可以利用云计算环境中的分布式计算资源对多个档案查验任务进行并行处理,从而提高大批量档案数据的处理能力以及查验效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com