元数据自动处理方法、装置、终端设备和存储介质与流程

本申请涉及数据处理，尤其涉及一种元数据自动处理方法、装置、终端设备和存储介质。

背景技术：

1、随着大数据技术的快速发展，来自不同来源、不同模态的海量数据急剧增长。从这些海量数据中自动提取元数据，是实现数据有效管理、检索和分析的基础。

2、目前，较为常见的元数据提取方式中，通常采用预先配置的处理规则，即为特定格式或类型的数据设定对应的处理策略，并按照该处理策略执行元数据提取。但是，随着数据类型和来源的日益丰富，元数据提取任务的复杂度和多样性显著增加。如何实现对不同特征数据的精细化处理，提升元数据提取的精度与处理效率，是当前需要解决的问题。

技术实现思路

1、本申请实施例提供了一种元数据自动处理方法、装置、终端设备和存储介质，可实现对不同特征数据的精细化处理，提升元数据提取的精度与处理效率。

2、第一方面，本申请实施例提供了一种元数据自动处理方法，包括：

3、获取待处理的原始数据；

4、对所述原始数据进行格式识别，根据格式识别结果从多种预定采样策略中确定目标采样策略，并按照所述目标采样策略从所述原始数据中读取数据片段作为采样数据；

5、根据所述采样数据的字节分布特征，确定所述采样数据与多种预定模态的匹配程度；

6、根据各所述预定模态对应的特征提取规则，对所述采样数据进行特征提取，获得各预定模态的特征描述数据；

7、根据所述匹配程度，对所述预定模态的特征描述数据进行合成处理，生成所述原始数据的多模态特征描述数据；

8、基于所述多模态特征描述数据，在算法性能画像数据库中进行匹配，确定适配所述原始数据的目标元数据处理算法；

9、基于所述目标元数据处理算法对所述原始数据执行元数据提取处理，得到元数据。

10、第二方面，本申请实施例提供了一种元数据自动处理装置，包括：

11、原始数据获取单元，用于获取待处理的原始数据；

12、数据采样单元，用于对所述原始数据进行格式识别，根据格式识别结果从多种预定采样策略中确定目标采样策略，并按照所述目标采样策略从所述原始数据中读取数据片段作为采样数据；

13、模态匹配程度确定单元，用于根据所述采样数据的字节分布特征，确定所述采样数据与多种预定模态的匹配程度；

14、特征数据提取单元，用于根据各所述预定模态对应的特征提取规则，对所述采样数据进行特征提取，获得各预定模态的特征描述数据；

15、多模态数据合成单元，用于根据所述匹配程度，对所述预定模态的特征描述数据进行合成处理，生成所述原始数据的多模态特征描述数据；

16、目标算法确定单元，用于基于所述多模态特征描述数据，在算法性能画像数据库中进行匹配，确定适配所述原始数据的目标元数据处理算法；

17、元数据处理单元，用于基于所述目标元数据处理算法对所述原始数据执行元数据提取处理，得到元数据。

18、第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的元数据自动处理方法。

19、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的元数据自动处理方法。

20、第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使终端设备执行如上述第一方面所述的元数据自动处理方法。

21、本申请实施例中，首先获取待处理的原始数据并进行格式识别，根据识别结果从多种预定采样策略中确定与原始数据格式匹配的目标采样策略，按照目标采样策略从原始数据中读取具有代表性的数据片段作为采样数据，大幅降低了后续处理的数据量，减少计算开销；然后根据采样数据的字节分布特征，确定采样数据与多种预定模态的匹配程度，并分别根据各预定模态对应的特征提取规则，对采样数据进行特征提取获得各模态的特征描述数据，使得不同模态下的内容特征均能被充分提取，再根据匹配程度对各模态的特征描述数据进行合成处理，生成统一表征原始数据内容与结构属性的多模态特征描述数据；进而基于该多模态特征描述数据，在算法性能画像数据库中进行匹配，确定适配该原始数据的目标元数据处理算法，实现根据数据自身的内容特征为其匹配相应的处理算法，避免不同特征数据被同一算法处理导致的精度损失；最后，基于目标元数据处理算法对原始数据执行元数据提取处理，得到元数据。本申请方案实现了数据格式识别、自适应采样、多模态特征合成与算法动态匹配的协同处理，对不同特征的数据进行精细化处理，可有效提升元数据提取的精度和处理效率。

1.一种元数据自动处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述原始数据进行格式识别，按层级递进策略执行，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述采样数据的字节分布特征，确定所述采样数据与多种预定模态的匹配程度，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述匹配程度，对所述预定模态的特征描述数据进行合成处理，生成所述原始数据的多模态特征描述数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述算法性能画像数据库通过以下方式构建：

6.根据权利要求1所述的方法，其特征在于，所述基于所述多模态特征描述数据，在算法性能画像数据库中进行匹配，确定适配所述原始数据的目标元数据处理算法，包括：

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

8.一种元数据自动处理装置，其特征在于，包括：

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的元数据自动处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的元数据自动处理方法。