一种跨模态语义对齐的大模型预训练数据处理方法与流程

本发明涉及人工智能，尤其涉及一种跨模态语义对齐的大模型预训练数据处理方法。

背景技术：

1、传统跨模态语义对齐的大模型预训练数据处理方法是指在构建融合文本、图像、音频或视频的多模态基础模型之前，针对异构数据源之间的关联性进行预处理的过程。采用基于文本关键词匹配的硬关联方式或通过预设的人工规则筛选成对的图文数据，或者利用现成的目标检测器提取图像区域特征，并将其与文本序列中的对应词汇通过向量相似度计算进行初级对齐，继而利用位置编码与模态嵌入向量将离散的像素块与字符token在统一的坐标空间中进行拼接，依靠静态的采样策略及固定的掩码语言建模方式完成训练样本的清洗与重组。

2、传统跨模态预训练数据处理采用基于关键词匹配或人工预设规则硬关联方式，导致异构数据源之间关联性识别存在偶然性且缺乏深度语义内涵，利用预设目标检测器提取局部特征并与文本序列简单拼接，受限于静态采样策略及固定掩码模式，使得模态间对齐精度完全依赖初级向量相似度，无法准确捕捉不同模态在特征空间中微小且复杂的语义漂移，导致训练样本清洗过程中容易丢失关键结构信息，产生跨模态关联断裂或语义失真问题。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种跨模态语义对齐的大模型预训练数据处理方法。

2、为了实现上述目的，本发明采用了如下技术方案，一种跨模态语义对齐的大模型预训练数据处理方法，包括以下步骤：

3、s1：获取跨模态输入配对实例的结构化语义特征，量化差异化模态在统一语义空间中的映射分布坐标，计算每个模态相对于绝对语义原点的位移差值，识别核心语义等价边界，得到跨模态语义锚点基准数据集；

4、s2：根据所述跨模态语义锚点基准数据集，识别异构模态数据向语义锚点逼近的交叉注意力投影路径，分析相邻投影层级的拓扑结构形变程度，量化跨模态桥接过程中的语义失真情况，得到跨模态映射波动幅度数据集；

5、s3：根据所述跨模态映射波动幅度数据集，计算跨模态配对实例局部对比损失并判断是否处于语义等价容忍边界，检验跨模态联合表示互信息下界，在满足结构完整性条件时输出硬样本掩码指令，生成语义对齐边界约束判定矩阵；

6、s4：基于所述语义对齐边界约束判定矩阵中的硬样本掩码指令状态，提取对应跨模态配对所需的梯度贡献比重，通过重构预训练过程中的跨熵约束条件，动态更新对齐损失的缩放权重因子，得到预训练对齐损失权重调制参数集；

7、s5：基于所述预训练对齐损失权重调制参数集，将更新后的权重因子注入当前预训练批次的分词序列配置中，将包括约束标记的张量序列写入数据加载器接口，得到大模型预训练跨模态控制序列集。

8、作为本发明的进一步方案，所述跨模态语义锚点基准数据集的获取步骤具体为：

9、s111：基于跨模态输入配对实例的结构化语义特征，提取多模态对齐任务中共享的底层语义维度，运算每个模态特征向量在共享维度上的绝对空间坐标，得到基础语义空间坐标参量；

10、s112：根据所述基础语义空间坐标参量，计算存在语义对应关系的异构模态在映射至相同空间坐标时产生的分布距离，衡量差异化模态属性自带的语义表征偏移，获取模态专属语义漂移度指标；

11、s113：根据所述模态专属语义漂移度指标，将多模态漂移范围融合至共享语义坐标系中，界定差异化模态数据在特征空间中被视为语义等价的最大容忍边界，生成跨模态语义锚点基准数据集。

12、作为本发明的进一步方案，所述跨模态映射波动幅度数据集的获取步骤具体为：

13、s211：基于所述跨模态语义锚点基准数据集，识别异构模态特征向语义锚点边界映射的逐层交叉注意力网络，记录网络在执行投影逼近时的每一层注意力权重矩阵分布，获取多层注意力投影权重序列；

14、s212：根据所述多层注意力投影权重序列，提取网络中相邻投影层级的权重拓扑结构关系，计算跨模态语义在桥接传输过程中发生的特征空间扭曲与拓扑距离差值，形成跨模态桥接轨迹畸变量；

15、s213：基于所述跨模态桥接轨迹畸变量，将差异化层级的畸变数值，基于语义锚点的容忍边界，映射到流形空间中，对比锚点上下限识别差异化注意力头的失真严重度等级并附加张量标签，生成跨模态映射波动幅度数据集。

16、作为本发明的进一步方案，所述语义对齐边界约束判定矩阵的获取步骤具体为：

17、s311：根据所述跨模态映射波动幅度数据集，计算每个跨模态映射实例的局部对比学习损失，判断其局部语义表征是否成功回落至语义等价的容忍边界区间内，记录边界满足状态标签，生成局部对比边缘满足状态集；

18、s312：根据所述局部对比边缘满足状态集，测算满足边界的跨模态联合特征是否达到预设互信息下界标准，评判语义联合表示架构的结构张力与稳定性，生成联合表示互信息达标记录；

19、s313：基于所述联合表示互信息达标记录，依次提取互信息达标情况并与大模型全局预训练对齐规则进行交叉验证，在判定联合表示完全闭环时，识别针对配对的硬正与硬负样本掩码标识，并在映射任务栈中登记当前张量节点，生成语义对齐边界约束判定矩阵。

20、作为本发明的进一步方案，所述预训练对齐损失权重调制参数集的获取步骤具体为：

21、s411：基于所述语义对齐边界约束判定矩阵中的硬正与硬负样本掩码标识，提取对齐任务中需要重点惩罚或奖励的特征结构，结合对应的语义锚点空间位置，通过张量筛选剥离无关语义，得到难例对比梯度贡献集合；

22、s412：根据所述难例对比梯度贡献集合，结合当前预训练批次对应的对齐基准值与梯度缩放调节函数，计算批次所需的对齐损失缩放比例因子，重构预训练网络中的跨熵约束预设阈值，获取重构跨熵约束比例值；

23、s413：基于所述重构跨熵约束比例值，将比例值覆盖至大模型预训练损失函数的超参数配置项中，更新对齐步调的版本时间戳与架构节点号，生成预训练对齐损失权重调制参数集。

24、作为本发明的进一步方案，所述大模型预训练跨模态控制序列集的获取步骤具体为：

25、s511：基于所述预训练对齐损失权重调制参数集，将调优后的损失权重和惩罚项参数编入当前预训练批次的分词阵列配置结构中，在特征边界处更新多模态注意力掩码矩阵，生成多模态掩码对齐配置结构；

26、s512：基于所述多模态掩码对齐配置结构，评估当前分词阵列在预训练模型中的语义推进步调，将张量级别的步调速率与梯度约束逻辑进行绑定，按预设的控制节拍识别底层序列同步信号参数，获取语义对齐步调序列缓存集；

27、s513：根据所述语义对齐步调序列缓存集，将同步信号与附带约束标记的多模态分词阵列内容，将连续张量形式依序写入大模型底层的数据加载器接口，得到大模型预训练跨模态控制序列集。

28、与现有技术相比，本发明的优点和积极效果在于：

29、本发明中，通过量化异构模态在统一空间映射分布并识别语义等价边界，有效解决模态属性自带表征偏移导致的对齐偏差，利用交叉注意力投影路径分析拓扑结构形变，精准量化桥接过程映射波动并判别语义失真程度，引入局部对比损失检验互信息下界标准，增强语义联合表示架构结构张力与稳定性，基于掩码指令提取梯度贡献比重并重构跨熵约束条件，动态更新对齐损失缩放权重，优化预训练过程难例样本学习效率，强化模型对硬正负样本辨别能力，减少特征压缩过程信息熵损失，将约束标记张量序列注入数据加载器，强化跨模态控制序列同步精度，提升数据吞吐并行化处理质量，确保大模型预训练全局对齐一致性，显著增强多模态表征语义一致性与任务泛化性能。