一种多模态文字合成的语义特征提取方法及系统与流程

本发明涉及多模态语义特征提取，具体为一种多模态文字合成的语义特征提取方法及系统。

背景技术：

1、在多模态文字合成任务中，需要从文本、图像和音频等原始素材中抽取可用于文字生成的语义特征。现有技术通常对各模态数据分别进行编码和特征提取，再通过注意力机制、融合网络或拼接方式获得多模态特征表示。对于包含自然语言段落、帧图像和音频片段的原始素材，文本模态、图像模态和音频模态内部的字段数量往往存在较大差异，模态之间的语义关联也并非均匀分布。现有方法在构建模态间关系时，大多将不同模态视为并列节点，或者仅依据时间戳建立无向对齐关系，缺少对语义传递方向和关联强度的描述，导致后续特征排列缺乏稳定的顺序依据。与此同时，不同模态的语义单元粒度不一致，文本段落、图像帧和音频片段在时间维度上的对应关系较为复杂，现有方法在片段拼接时主要依赖固定顺序或简单时间戳对齐，未充分考虑相邻语义片段在词性层面的衔接关系，容易造成语义特征序列内部连接生硬、语义断裂或顺序错乱。由于模态间语义路径的强弱和方向未被有效利用，特征提取结果难以准确反映原始素材中语义信息的传递走向和主次关系，影响后续文字合成的语义连贯性和准确性。上述条件下，需要确定具有方向性和强度差异的语义主路径，并按照该路径方向对多粒度语义片段进行有序拼接。

技术实现思路

1、针对现有多模态特征提取中模态间语义关联缺少方向性和强度区分、片段拼接未考虑词性衔接的问题，本发明提出一种多模态文字合成的语义特征提取方法及系统，通过对模态拓扑图的边赋予方向属性和强度属性并确定语义主路径，以及沿语义主路径方向对基础语义片段进行排列和词性衔接拼接，得到语义连贯、顺序稳定的语义特征序列。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种多模态文字合成的语义特征提取方法，用于对包含文本模态、图像模态和音频模态的原始素材执行语义特征提取操作，包括：解析所述原始素材，得到所述原始素材所包含的模态类型以及每种模态类型对应的模态字段序列，所述模态字段序列由该模态类型下按照采集时序排列的多个模态单元构成；以所述模态字段序列为节点，以模态类型之间的语义关联路径为边，构建所述原始素材的模态拓扑图；对所述模态拓扑图中的每条边赋予方向属性和强度属性，并根据所述方向属性和所述强度属性，在所述模态拓扑图中确定语义主路径；将所述语义主路径所经过的模态字段序列中的模态单元进行特征抽取，得到多个基础语义片段；按照所述语义主路径的方向属性，将所述多个基础语义片段排列为片段序列，并将所述片段序列中的各个基础语义片段按照预设的片段拼接规则进行拼接，形成语义特征序列。通过将分散在不同模态中的语义信息按照拓扑结构和路径方向进行提取与重组，使得到的语义特征序列能够反映模态间语义关联的强弱和方向，提高后续文字合成的语义连贯性和准确性。

3、优选的，解析所述原始素材得到模态类型及模态字段序列时，对所述原始素材进行数据流拆解，分离出文本数据流、图像数据流和音频数据流；识别所述文本数据流中的自然语言段落，将每个自然语言段落作为一个模态单元，并按照自然语言段落在所述文本数据流中的出现次序排列所述模态单元，得到文本模态字段序列；识别所述图像数据流中的帧图像，将每帧图像作为一个模态单元，并按照帧图像在所述图像数据流中的时间戳次序排列所述模态单元，得到图像模态字段序列；识别所述音频数据流中的音频片段，将每个音频片段作为一个模态单元，并按照音频片段在所述音频数据流中的时间戳次序排列所述模态单元，得到音频模态字段序列。这样能够将异构模态数据统一为按时间或次序组织的模态字段序列，为拓扑构建提供一致的输入基础。

4、作为本发明的一个技术方案，构建所述模态拓扑图时，提取所述文本模态字段序列中每个模态单元的第一语义标签，以及提取所述图像模态字段序列中每个模态单元的第二语义标签，以及提取所述音频模态字段序列中每个模态单元的第三语义标签；计算所述第一语义标签与所述第二语义标签之间的第一重合度，若所述第一重合度大于第一阈值，则在所述文本模态字段序列对应的节点与所述图像模态字段序列对应的节点之间建立第一语义关联路径；计算所述第二语义标签与所述第三语义标签之间的第二重合度，若所述第二重合度大于第二阈值，则在所述图像模态字段序列对应的节点与所述音频模态字段序列对应的节点之间建立第二语义关联路径；计算所述第一语义标签与所述第三语义标签之间的第三重合度，若所述第三重合度大于第三阈值，则在所述文本模态字段序列对应的节点与所述音频模态字段序列对应的节点之间建立第三语义关联路径。通过语义标签重合度判定，可以只保留具有实质语义关联的模态间边，避免冗余连接。

5、优选的，对所述模态拓扑图中的每条边赋予方向属性和强度属性时，针对所述模态拓扑图中的任意一条边，确定该边所连接的第一节点和第二节点，所述第一节点对应第一模态字段序列，所述第二节点对应第二模态字段序列；获取所述第一模态字段序列中模态单元的总数量以及所述第二模态字段序列中模态单元的总数量，并将两者中的较小值作为所述方向属性的指向端标识，将两者中的较大值作为所述方向属性的起始端标识；计算所述第一模态字段序列中模态单元的总数量与所述第二模态字段序列中模态单元的总数量之间的差值绝对值，根据所述差值绝对值所处的数值区间，确定所述强度属性的强度等级。这样，边的方向反映了从信息量较大模态指向信息量较小模态的语义汇聚趋势，强度等级反映模态间信息量差异程度，为语义主路径选择提供量化依据。

6、进一步地，根据所述方向属性和所述强度属性确定语义主路径时，从所述模态拓扑图中选取强度等级最高的边作为起始边；以所述起始边的起始端标识所对应的节点为当前节点，在所述模态拓扑图中搜索与所述当前节点相邻且强度等级依次递减的相邻节点，形成候选路径；当所述候选路径的末端节点不存在强度等级更低的相邻节点时，将所述候选路径中所有边的强度等级进行累加，得到所述候选路径的总强度值；选取总强度值最大的候选路径作为所述语义主路径。通过该方式，语义主路径能够沿着模态间语义关联强度递减且信息量差异合理的方向延伸，突出语义传播中的主要信息流向。

7、优选的，将所述语义主路径所经过的模态字段序列中的模态单元进行特征抽取得到多个基础语义片段时，确定所述语义主路径所经过的各个节点对应的模态字段序列，并将所述模态字段序列中的每个模态单元作为待抽取单元；针对每个所述待抽取单元，识别该待抽取单元所属的模态类型，并根据所述模态类型确定该待抽取单元的抽取粒度；按照所述抽取粒度对所述待抽取单元执行切分操作，得到多个切分子块；从每个所述切分子块中提取关键语义词，并将提取得到的关键语义词组合为所述基础语义片段。基于模态类型确定抽取粒度，可使文本、图像、音频各自按照合适粒度提取语义，避免过细或过粗导致语义碎片化或信息丢失。

8、进一步地，从每个所述切分子块中提取关键语义词时，获取所述切分子块中所有词汇的词性标签，从所述词性标签中筛选出名词标签和动词标签；将带有所述名词标签的词汇确定为第一候选词，将带有所述动词标签的词汇确定为第二候选词；统计所述第一候选词在所述切分子块中的第一出现频次，以及统计所述第二候选词在所述切分子块中的第二出现频次；选取所述第一出现频次最高的第一候选词作为第一关键语义词，选取所述第二出现频次最高的第二候选词作为第二关键语义词，将所述第一关键语义词和所述第二关键语义词作为所述切分子块的关键语义词。这样，关键语义词保留语义核心的名词和动词信息，减少修饰性词汇带来的噪声。

9、优选的，按照所述语义主路径的方向属性将所述多个基础语义片段排列为片段序列时，获取所述语义主路径上所有边的方向属性，确定每条边的起始端标识和指向端标识；以所述语义主路径的起始边为当前边，将所述当前边的起始端标识所对应的节点关联的基础语义片段作为所述片段序列的起始片段；按照所述当前边的指向端标识跳转至下一节点，并将所述下一节点关联的基础语义片段作为所述片段序列中的下一片段；重复跳转直至遍历所述语义主路径上的所有节点，得到所述片段序列。这种排列使得基础语义片段顺序与语义主路径方向一致，使最终语义特征序列更符合语义逻辑顺序。

10、优选的，将所述片段序列中的各个基础语义片段按照预设的片段拼接规则进行拼接形成语义特征序列时，获取所述片段序列中相邻的第一基础语义片段和第二基础语义片段；提取所述第一基础语义片段的末尾词汇的末尾词性，以及提取所述第二基础语义片段的起始词汇的起始词性；判断所述末尾词性与所述起始词性是否满足所述预设的片段拼接规则中的词性衔接条件，若满足，则在所述第一基础语义片段和所述第二基础语义片段之间插入连接符，得到拼接后的片段；若不满足所述词性衔接条件，则在所述第一基础语义片段和所述第二基础语义片段之间插入分隔符，得到拼接后的片段；将所述片段序列中所有基础语义片段拼接后的片段按照所述片段序列的顺序组合，形成所述语义特征序列。根据词性衔接条件选择连接符或分隔符，可以保证拼接后语义特征序列在词性过渡上更加自然，减少因片段拼接不当造成的语义断裂。

11、本发明还提供一种多模态文字合成的语义特征提取系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述语义特征提取方法的步骤。该系统能够对文本模态、图像模态和音频模态进行语义特征提取，获得用于文字合成的语义特征序列，提升多模态文字合成过程中的语义一致性和合成质量。

12、在上述技术方案中，本发明提供的技术效果和优点：

13、通过构建模态拓扑图，以模态字段序列为节点，将模态类型之间的语义关联路径作为边，并依据模态单元语义标签之间的重合度建立语义关联路径，能够保留不同模态之间的语义连接关系。对每条边赋予方向属性和强度属性时，以所连接两个模态字段序列中模态单元总数量的较小值作为指向端标识、较大值作为起始端标识，并根据模态单元总数量的差值绝对值所处数值区间确定强度等级，使模态拓扑图不仅描述语义关系是否存在，还描述语义传递的方向和强弱。在确定语义主路径时，从强度等级最高的边出发，沿强度等级依次递减的相邻节点搜索候选路径，以总强度值最大的候选路径作为语义主路径，使特征抽取集中在原始素材中语义关联最明显、信息传递最充分的路径上，减少无关模态片段对特征序列的干扰，使语义特征具有更高的集中度和主次区分能力。

14、在特征抽取阶段，根据语义主路径所经过节点的模态类型确定抽取粒度，对文本段落、图像帧和音频片段分别执行切分，并从切分子块中提取名词和动词类关键语义词，形成基础语义片段。沿语义主路径的方向属性排列基础语义片段时，获取路径上各条边的起始端标识和指向端标识，从起始边开始按指向端标识逐节点跳转，将各节点关联的基础语义片段依次排列，使片段顺序与模态间语义传递方向保持一致，避免简单时间戳对齐导致的顺序错乱。对相邻基础语义片段进行拼接时，提取第一基础语义片段末尾词汇的末尾词性和第二基础语义片段起始词汇的起始词性，在词性衔接条件满足时插入连接符，在不满足时插入分隔符，使拼接后的片段根据词汇语法关系选择连续或分隔处理，减少语义断裂和生硬拼接，获得更流畅、语义更连贯的特征序列。