面向多模态数据的资产语义自动标注方法及系统与流程

本发明涉及数据处理，更具体地说，涉及一种面向多模态数据的资产语义自动标注方法及系统。

背景技术：

1、随着企业数字化转型的深入，数据资产管理已成为企业信息化建设的核心任务之一。当前，企业数据资产呈现出多源、异构、多模态的显著特征，不仅包含传统的关系型数据库表等结构化数据，还广泛涉及文本报告、图像、音视频、半结构化文档等多种非结构化或半结构化数据形式。为了提升数据资产的可用性和可理解性，资产语义标注技术应运而生，其目的是为各类数据资产赋予机器可读、人可理解的语义标签，从而支撑数据检索、数据治理、数据共享与交换等上层应用。

2、现有技术中，针对多模态数据的资产标注主要采用以下几种方式：一是基于规则的方法，针对不同模态分别设计特征提取规则和标签映射规则，再将各模态的标注结果进行简单合并；二是基于单模态深度学习模型的方法，分别为文本、图像、音频等模态训练独立的分类或标注模型，通过后期拼接或投票策略生成统一标注；三是基于关键词匹配或模板填充的方法，从元数据或数据内容中抽取显式词汇作为标签。

3、然而，现有技术在实际应用基于独立模型分别标注再后期融合的策略无法建立跨模态数据之间的深层语义关联，导致多模态资产之间形成新的信息孤岛，难以实现真正的语义级统一检索和关联分析；现有标注方法生成的语义描述缺乏层次化结构和业务知识引导，往往仅输出扁平化的关键词列表，无法与数据资产所属业务领域的本体体系建立有效映射，使得标注结果脱离业务语义，资产虽“被标注”却难以被业务人员理解和使用；对非结构化和半结构化数据的语义抽取能力不足，大量隐藏在文档、图片、音视频中的暗数据游离于资产管理体系之外，难以获得高质量、可解释的语义标注；自动标注结果的准确性缺乏分层校验和可解释性保障，纯黑盒的深度学习方法虽然泛化能力强但标注错误难以追溯和修正，而纯规则方法又无法适应复杂多变的真实业务场景。

4、因此，如何对多模态数据资产进行高效、一致、可解释且具备业务语义关联的自动标注，成为本领域亟待解决的技术难题。

技术实现思路

1、本发明要解决的技术问题在于如何对多模态数据资产进行高效、一致、可解释且具备业务语义关联的自动标注，针对现有技术的上述缺陷，提供一种面向多模态数据的资产语义自动标注方法及系统。

2、一方面

3、一种面向多模态数据的资产语义自动标注方法，包括以下步骤：

4、s1、多源异构数据资产接入与预处理，采集企业内部的多模态数据资产并进行格式标准化的模态内容解析，得到预处理后的多模态数据集；

5、s2、构建模态统一语义表征空间，采用因果掩码的多头跨模态注意力机制融合各模态特征，并通过跨模态原型对比学习将融合后的特征映射至统一语义空间，生成统一语义表征向量；所述因果掩码的多头跨模态注意力机制使得第i个模态的注意力权重仅能计算当前及之前模态的特征，所述跨模态原型对比学习采用可学习的原型向量以及包含原型吸引项和原型分散正则项的损失函数；

6、s3、构建可微分本体引导的分层语义推理网络，将业务本体模型中的概念节点及关系嵌入为向量，采用树形长短期记忆网络treelstm生成分层语义标签树中每个标签节点的嵌入向量；计算统一语义表征向量与各标签节点嵌入向量的匹配分数，所述匹配分数引入深度衰减因子；对于匹配分数低于第一阈值且高于第二阈值的候选标签，应用神经符号推理规则集合进行知识引导推理增强，所述推理规则采用可微分张量操作实现，迭代执行直至收敛，并记录推理路径；

7、s4、沿分层语义标签树结构执行置信度自底向上和自顶向下的双向传播，根据传播后的最终置信度确定采纳标签、拒绝标签或进入精化步骤的待校验标签；

8、s5、采用基于沙普利加权的多智能体链式推理精化，设置四个智能体分别执行语义一致性校验、层次结构校验、跨模态关联校验和业务规则校验，计算各智能体对标注质量的沙普利值作为权重，通过加权投票产生最终标注结果，并通过自我对弈强化学习更新各智能体的策略网络；

9、s6、将精化后的语义标注结果关联至业务本体模型，构建多模态资产语义知识图谱，并将推理路径以可解释形式存储；

10、s7、基于标注反馈数据对s2至s5中的模型进行增量持续学习。

11、优选的，所述s2中因果掩码的多头跨模态注意力机制具体为：

12、为每个模态的特征向量分别学习查询、键、值的线性变换矩阵，通过计算查询与键的相似度并施加因果掩码矩阵得到注意力权重，所述因果掩码矩阵中，当目标模态的索引小于源模态的索引时掩码值为负无穷，否则掩码值为零；利用所述注意力权重对值向量进行加权求和，并经层归一化后得到各模态的融合特征向量。

13、优选的，所述s2中跨模态原型对比损失函数包括第一项和第二项；所述第一项用于使数据资产的统一语义表征向量靠近对应的语义原型向量；所述第二项用于强制不同语义原型向量之间的欧氏距离不小于预设的最小间距，两项加权求和构成总损失。

14、优选的，所述s3中树形长短期记忆网络treelstm生成标签节点嵌入向量的方式为：对于分层语义标签树中的每个节点，将父节点的嵌入向量和对应的业务本体概念嵌入向量共同输入树形长短期记忆网络treelstm单元，递归计算得到该节点的嵌入向量；所述匹配分数的计算方法为：计算统一语义表征向量与标签节点嵌入向量的余弦相似度，再乘以深度衰减因子，所述深度衰减因子为以标签节点在树中的深度为自变量的负指数函数。

15、优选的，所述s3中神经符号推理规则集合中的每条规则具有若前提条件成立则推出结论的形式，具体为：将当前候选标签的置信度表示为激活向量，每条规则的前提条件通过多个前提概念激活值的最小值计算规则满足程度，并将结论概念的激活值更新为原激活值与规则满足程度中的较大者；迭代应用所有规则直至激活向量收敛，根据收敛后的激活向量生成新增的候选标签及对应的推理路径。

16、所述s4中置信度双向传播具体包括：自底向上传播时，将子节点的置信度乘以预设的向上传播权重后与父节点的当前置信度比较，取较大值更新父节点置信度；自顶向下传播时，将父节点的置信度乘以预设的向下传播权重后与子节点的当前置信度比较，取较大值更新子节点置信度；所述向上传播权重和向下传播权重根据本体关系类型预先设定。

17、优选的，所述s5中基于沙普利值加权的多智能体决策具体为：将四个智能体视为合作博弈的参与者，预先定义价值函数，该函数用于评估任意智能体子集在验证集上的综合标注性能；对每个智能体，计算其在所有可能子集上的边际贡献度的平均值作为该智能体的沙普利值；最终标注结果为所有候选标签集中，使得各智能体赞同程度的沙普利值加权和最大的标签集。

18、优选的，所述s5中自我对弈强化学习步骤具体为：在模拟环境中，四个智能体轮流扮演标注器和判别器角色，判别器对已有标注结果按照预设规则引入冲突和错误，标注器尝试修正并生成新的标注结果；强化学习的奖励函数由精确率、召回率和推理路径完整度三者的乘积构成；采用近端策略优化算法更新各智能体的策略网络参数。

19、优选的，所述s6中构建多模态资产语义知识图谱包括：将每个数据资产作为一个节点，将该资产对应的语义标签作为另一类节点，使用资源描述框架三元组表示资产节点与标签节点之间的具有标签关系，并在所述关系边上附加置信度分数和指向推理路径节点的解释链接；所述推理路径节点记录规则触发序列、注意力权重分布和置信度传播轨迹。

20、优选的，所述s7中增量持续学习采用弹性权重巩固方法，在优化新样本的损失函数时加入正则项，所述正则项为：针对每个模型参数，用该参数在旧任务中的fisher信息值乘以当前参数与旧任务参数之差的平方，再乘以预设的正则系数，对所有参数求和后作为正则项。

21、另一方面

22、一种面向多模态数据的资产语义自动标注系统，用于执行任一项的所述方法，包括：

23、数据接入与预处理模块，配置为采集多模态数据资产，并对所述多模态数据资产进行格式标准化、去噪和模态内容解析，输出预处理后的多模态数据集；

24、因果跨模态编码模块，与所述数据接入与预处理模块连接，配置为对所述预处理后的多模态数据集中各模态数据分别进行浅层特征提取，采用因果掩码的多头跨模态注意力机制将各模态特征进行自适应加权融合，输出跨模态融合特征；其中，所述因果掩码使得当前模态的注意力计算仅能访问当前及之前模态的特征；

25、原型对比学习模块，与所述因果跨模态编码模块连接，配置为将所述跨模态融合特征通过线性映射投影至统一语义空间，生成统一语义表征向量；所述原型对比学习模块内部维护可学习的语义原型向量集合，并通过包含原型吸引项和原型分散正则项的对比学习损失函数对所述统一语义表征向量的空间分布进行约束，使语义相近的数据资产在统一语义空间中相互靠近，语义相异的数据资产相互远离；

26、可微分本体推理模块，与所述原型对比学习模块连接，配置为存储业务本体模型，所述业务本体模型包含领域概念节点的嵌入向量、概念属性嵌入向量及概念关系嵌入向量；所述可微分本体推理模块采用树形长短期记忆网络，以分层语义标签树中各节点的父节点嵌入和对应概念嵌入为输入，递归生成各标签节点的嵌入向量；所述可微分本体推理模块还配置为计算所述统一语义表征向量与各标签节点嵌入向量的匹配分数，并根据所述匹配分数与预设阈值的关系生成候选语义标签集；对于匹配分数处于第一阈值与第二阈值之间的模糊候选标签，所述可微分本体推理模块应用可微分的神经符号推理规则进行知识引导推理增强，迭代更新标签置信度直至收敛，并记录推理路径；

27、分层置信度传播模块，与所述可微分本体推理模块连接，配置为沿所述分层语义标签树结构对所述候选语义标签集中的置信度进行自底向上和自顶向下的双向传播，其中自底向上传播时将子节点置信度加权合并至父节点，自顶向下传播时将父节点置信度加权传递至子节点，根据传播后的最终置信度确定采纳标签、拒绝标签或进入校验的待校验标签；

28、沙普利值多智能体校验模块，与所述分层置信度传播模块连接，配置为包含语义一致性校验智能体、层次结构校验智能体、跨模态关联校验智能体和业务规则校验智能体；所述沙普利值多智能体校验模块预先定义评估任意智能体子集标注性能的价值函数，计算每个智能体在所有子集上的边际贡献平均值作为该智能体的沙普利值权重，并通过各智能体对候选标签集的赞同程度进行加权投票，对所述待校验标签执行精化校验，输出最终语义标注结果；所述沙普利值多智能体校验模块还配置有自我对弈强化学习单元，用于在模拟环境中交替扮演标注器和判别器角色以更新各智能体的策略网络；

29、知识图谱构建模块，与所述沙普利值多智能体校验模块连接，配置为将所述最终语义标注结果关联至所述业务本体模型，以资源描述框架三元组形式构建多模态资产语义知识图谱，所述知识图谱以数据资产节点和语义标签节点为节点、以语义关系为边，并在边上附加置信度分数和指向所述推理路径的解释链接；

30、持续学习模块，分别与所述因果跨模态编码模块、所述原型对比学习模块、所述可微分本体推理模块和所述沙普利值多智能体校验模块连接，配置为采集标注反馈数据，采用弹性权重巩固方法对各模块的模型参数进行增量更新，在优化新任务损失的同时约束重要参数的变化幅度。

31、本发明的有益效果在于：

32、1.基于因果掩码的多头跨模态注意力机制，强制当前模态的注意力仅能关注当前及之前模态的特征，实现了跨模态特征的因果可解释融合。结合跨模态原型对比学习将不同模态的数据映射至统一语义空间，以可学习的语义原型向量为锚点，通过原型吸引和原型分散正则约束统一语义表征的空间分布，使同一业务对象的不同模态表征在语义空间中紧密聚集。从根本上打破了传统分别标注再后期融合的范式，使多模态资产之间形成真正的语义级关联，实现了跨文本、图像、音频、视频的统一语义检索，有效解决了多模态资产之间形成新的信息孤岛的技术难题。

33、2.构建了业务本体驱动的分层语义标签体系，采用treelstm将本体概念嵌入与标签树的层次结构深度融合，使每个标签节点的嵌入都蕴含从根节点到该节点的完整路径语义信息。深度衰减因子的引入使得底层细粒度标签需要更强的语义证据支持，契合了“越细粒度的标注越需要充分证据”的认知规律。标注结果自动关联至本体模型的概念体系，解决了现有技术中扁平化关键词列表脱离业务语义的缺陷，使业务人员能够直接理解和使用标注结果。

34、3.将符号推理规则与神经网络进行可微分融合，对于置信度不足的模糊样本，利用本体模型中预定义的概念关系和推理规则进行知识引导推理增强。通过模糊逻辑and和最大化操作迭代更新标签置信度直至收敛，实现了符号逻辑的可微分化执行。该机制使隐藏在文档、图片、音视频中的暗数据获得了高质量、可解释的语义标注，使得非结构化数据的有效标注覆盖率提升，使大量非结构化数据被纳入资产管理体系。

35、4.沿分层语义标签树结构执行自底向上和自顶向下的置信度双向传播，子节点置信度加权传递至父节点，父节点置信度同时向下修正子节点，使标签树的整体置信度分布趋于一致和稳定。该机制避免了孤立置信度判断导致的层次关系冲突，保证了标注结果在分层结构中的逻辑一致性，使标注结果中分层结构完整率提升。

36、5.四个智能体分别执行语义一致性、层次结构、跨模态关联和业务规则校验，通过沙普利值理论量化各智能体对最终标注质量的边际贡献，实现智能体权重的差异化分配和动态优化。自我对弈强化学习机制通过标注器与判别器的对抗博弈，使智能体持续学习处理各类复杂冲突场景。每个标注结果均附带完整的推理路径--包括规则触发序列、注意力权重分布和置信度传播轨迹，使标注错误可追溯。

37、6.将精化后的语义标注结果以rdf三元组形式注册至本体模型，构建以数据资产和领域概念为节点的多模态资产语义知识图谱，在关系边上附加置信度分数和可解释链接。该知识图谱实现了数据资产之间、数据资产与业务概念之间的多维度语义互联，为智能语义检索、数据治理和跨部门数据共享提供了结构化的语义基础设施。