一种数据发布处理方法、装置、设备及存储介质与流程
本技术涉及计算机领域,尤其涉及一种数据发布处理方法、装置、设备及存储介质。
背景技术:
1、数据发布处理是指对待发布数据进行标注和检测,并在发布校验通过后发布相应数据的过程。现有的数据发布处理方法通常包括数据采集、标注处理、检测处理、发布校验和数据发布等环节。
2、然而,现有的数据发布处理方法中的各环节通常分别独立进行,各环节针对同一数据生成的相关信息也相互分散。当需要追溯某个标注处理结果或标注过程中产生的质量问题时,往往需要在多个功能模块的操作日志之间查找,导致难以高效追溯,进而影响数据发布处理的效率。
技术实现思路
1、本技术实施例提供了一种数据发布处理方法、装置、设备及存储介质,以能够对某个标注处理结果或标注过程中产生的质量问题进行高效追溯,提高数据发布处理的效率。
2、第一方面,本技术实施例提供了一种数据发布处理方法,包括:
3、获取待标注的多个数据对象,所述多个数据对象的数据格式支持标注处理;
4、基于所述多个数据对象中的每个数据对象,生成所述每个数据对象对应的标注上下文对象,并将所述每个数据对象的基础信息写入所述每个数据对象对应的标注上下文对象中;
5、获取所述每个数据对象的标注处理结果,并将所述每个数据对象的标注处理结果写入所述每个数据对象对应的标注上下文对象中;
6、对所述每个数据对象的标注处理结果进行质量检测,得到所述每个数据对象对应的质量检测结果,并将所述每个数据对象的质量检测结果写入所述每个数据对象对应的标注上下文对象中;
7、在所述每个数据对象的质量检测结果表示质量检测通过的情况下,对所述每个数据对象进行发布校验,得到所述每个数据对象对应的发布校验结果,并将所述每个数据对象的发布校验结果写入所述每个数据对象对应的标注上下文对象中;
8、在检测到所述每个数据对象的发布校验结果合格的情况下,基于所述每个数据对象对应的标注上下文对象,对所述每个数据对象进行发布。
9、可选地,所述获取所述每个数据对象的标注处理结果,包括:
10、获取所述每个数据对象的预标注处理结果,并将所述每个数据对象的预标注处理结果写入所述每个数据对象对应的标注上下文对象中;
11、基于所述每个数据对象的预标注处理结果,确定所述每个数据对象对应的标注处理状态,所述标注处理状态包括待确认状态或待复核状态;
12、获取所述多个数据对象中处于所述待确认状态的第一数据对象的确认结果;
13、在所述确认结果表示所述第一数据对象未通过确认的情况下,将所述第一数据对象的标注处理状态改为待复核状态;
14、获取所述多个数据对象中处于所述待复核状态的第二数据对象的复核意见;
15、在所述复核意见表示所述第二数据对象通过复核的情况下,基于所述第二数据对象的预标注处理结果,得到所述第二数据对象的标注处理结果。
16、可选地,所述对所述每个数据对象进行发布校验,得到所述每个数据对象对应的发布校验结果,包括:
17、对所述每个数据对象进行问题检测,得到所述每个数据对象的问题检测结果,所述问题检测结果用于指示所述每个数据对象是否存在目标质量问题;
18、将存在所述目标质量问题的数据对象的发布校验结果确定为发布校验不通过;
19、基于不存在目标质量问题的数据对象对应的标注上下文对象中存储的基础信息、标注处理结果和质量检测结果,对所述不存在目标质量问题的数据对象进行发布校验,得到所述不存在目标质量问题的数据对象对应的发布校验结果。
20、可选地,所述基于所述每个数据对象对应的标注上下文对象,对所述每个数据对象进行发布,包括:
21、基于所述每个数据对象对应的标注上下文对象,生成发布版本,所述发布版本包括所述多个数据对象、所述每个数据对象对应的标注上下文对象中存储的内容及发布时间;
22、基于所述发布版本,生成数据交付包,所述数据交付包用于对所述每个数据对象进行发布。
23、可选地,所述对所述每个数据对象的标注处理结果进行质量检测,得到所述每个数据对象对应的质量检测结果,包括:
24、获取所述每个数据对象分别在多个质量检测维度下的质量得分;
25、基于所述每个数据对象在所述多个质量检测维度中的每个质量检测维度下的质量得分,得到所述每个数据对象对应的质量检测结果。
26、可选地,所述基于所述每个数据对象在所述多个质量检测维度中的每个质量检测维度下的质量得分,得到所述每个数据对象对应的质量检测结果,包括:
27、基于所述每个数据对象在多个质量检测维度下的质量得分,生成所述每个数据对象对应的质量总得分;
28、在所述多个数据对象中存在质量总得分大于或等于质量得分阈值的第三数据对象的情况下,确定所述第三数据对象对应的质量检测结果为质量检测通过;
29、在所述多个数据对象中存在质量总得分小于质量得分阈值的第四数据对象的情况下,基于所述第四数据对象在每个质量检测维度下的质量得分,生成所述第四数据对象在每个质量检测维度下对应的质量问题对象,所述质量问题对象用于表示所述第四数据对象在所述每个质量检测维度下的质量问题以及所述质量问题是否需要进行人工处理;
30、在所述质量问题对象指示对应的质量问题需要人工处理的情况下,获取所述质量问题的人工处理结果;
31、在所述人工处理结果指示所述质量问题处理完成的情况下,确定所述第四数据对象对应的质量检测结果为质量检测通过。
32、可选地,所述获取待标注的多个数据对象,所述多个数据对象的数据格式支持标注处理,包括:
33、确定原始数据的配置信息;
34、基于所述配置信息,获取多个原始数据,并获取所述多个原始数据中的每个原始数据的数据类型;
35、根据所述每个原始数据的数据类型,确定所述每个原始数据的可标注内容;
36、基于所述每个原始数据的数据类型和所述每个原始数据的可标注内容,生成所述每个原始数据对应的数据对象。
37、第二方面,本技术实施例提供了一种数据发布处理装置,包括:
38、数据对象获取模块,用于获取待标注的多个数据对象,所述多个数据对象的数据格式支持标注处理;
39、上下文对象生成模块,用于基于所述多个数据对象中的每个数据对象,生成所述每个数据对象对应的标注上下文对象,并将所述每个数据对象的基础信息写入所述每个数据对象对应的标注上下文对象中;
40、标注处理结果获取模块,用于获取所述每个数据对象的标注处理结果,并将所述每个数据对象的标注处理结果写入所述每个数据对象对应的标注上下文对象中;
41、质量检测模块,用于对所述每个数据对象的标注处理结果进行质量检测,得到所述每个数据对象对应的质量检测结果,并将所述每个数据对象的质量检测结果写入所述每个数据对象对应的标注上下文对象中;
42、发布校验模块,用于在所述每个数据对象的质量检测结果表示质量检测通过的情况下,对所述每个数据对象进行发布校验,得到所述每个数据对象对应的发布校验结果,并将所述每个数据对象的发布校验结果写入所述每个数据对象对应的标注上下文对象中;
43、数据发布模块,用于在检测到所述每个数据对象的发布校验结果合格的情况下,基于所述每个数据对象对应的标注上下文对象,对所述每个数据对象进行发布。
44、第三方面,本技术实施例提供了一种电子设备,所述设备包括:处理器、存储器、系统总线;
45、所述处理器以及所述存储器通过所述系统总线相连;
46、所述存储器用于存储程序,所述程序包括指令,所述指令当被所述处理器执行时使所述处理器执行上述数据发布处理方法的任一实现步骤。
47、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在电子设备上运行时,使得所述电子设备执行上述数据发布处理方法的任一实现步骤。
48、从以上技术方案可以看出,本技术实施例具有以下优点:
49、在本技术实施例中,可以获取待标注的多个数据对象,多个数据对象的数据格式支持标注处理。随后,可以基于多个数据对象中的每个数据对象,生成每个数据对象对应的标注上下文对象,并将每个数据对象的基础信息写入对应的标注上下文对象中。进一步地,可以获取每个数据对象的标注处理结果,并将每个数据对象的标注处理结果写入对应的标注上下文对象中。接着,可以对每个数据对象的标注处理结果进行质量检测,得到每个数据对象对应的质量检测结果,并将每个数据对象的质量检测结果写入对应的标注上下文对象中。在每个数据对象的质量检测结果表示质量检测通过的情况下,可以对每个数据对象进行发布校验,得到每个数据对象对应的发布校验结果,并将每个数据对象的发布校验结果写入对应的标注上下文对象中。在检测到每个数据对象的发布校验结果合格的情况下,可以基于每个数据对象对应的标注上下文对象,对每个数据对象进行发布。
50、由此可见,本技术实施例通过为每个数据对象设置对应的标注上下文对象,将每个数据对象的基础信息以及标注处理、检测处理和发布校验处理等环节的结果存储在对应的标注上下文对象中,使同一数据对象在不同处理环节的结果能够持续关联,并汇总在标注上下文对象中。这样一来,既可以在进行数据发布处理的过程中,通过标注上下文对象了解数据对象在每个环节的处理情况;又可以在数据发布处理后,通过标注上下文对象对数据对象的发布过程中产生的质量问题进行高效追溯,从而提升数据发布处理的效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com