一种面向混合专家大模型不确定性感知的多模态数据联合标注方法与流程
本发明涉及数据标注,具体地,涉及一种面向混合专家大模型不确定性感知的多模态数据联合标注方法。
背景技术:
1、随着人工智能技术的快速发展,大模型在多模态数据处理领域的应用日趋广泛,多模态数据自动化标注作为大模型训练的核心环节,其标注精度、效率与跨模态知识迁移能力直接决定大模型的性能上限,是推动人工智能在高价值场景产业化落地的关键支撑。多模态数据标注的核心需求是挖掘不同模态数据的语义、特征关联,实现跨模态知识的协同利用,实现多模态数据的联合标注。
2、当前大模型的数据标注技术虽在单模态场景取得一定进展,但在多模态场景的工程化落地中仍存在核心技术缺陷,传统技术方案已无法满足产业对高精度、高效率和低成本的多模态数据联合标注需求,具体问题如下:
3、(1)现有的数据标注技术仅针对单一模态数据进行不确定性量化,未考虑多模态数据间的信息不匹配和语义冲突问题,无法识别模态冲突样本;同时多模态特征提取采用cnn、rnn以及transformer等异构架构,特征异质性强,导致跨模态知识迁移能力缺失,使得文本标注任务中学习的不确定性评估经验无法迁移至图像或音频的标注,每类模态数据的标注均需重新训练模型,研发成本高、效率低;
4、(2)现有数据标注技术多以单模型输出概率作为置信度唯一指标,大模型“过置信”问题导致标注错误率高;且置信度评估高度依赖人工标签,标注初期无标签场景下缺乏有效的置信度估计方法,无法实现样本的有效筛选,导致人工标注工作量无法有效降低。
技术实现思路
1、针对现有技术中存在的问题,本发明提供了一种面向混合专家大模型不确定性感知的多模态数据联合标注方法,提升了多模态数据联合标注的精度和效率,并降低了多模态数据联合标注的成本。
2、为实现上述技术目的,本发明采用如下技术方案:
3、一种面向混合专家大模型不确定性感知的多模态数据联合标注方法,包括如下步骤:
4、步骤s1:基于transformer架构从待进行联合标注的文本数据、图像数据和音频数据的样本数据中分别提取出文本特征、视觉特征和声学特征,输入混合专家大模型中,计算单模态数据标注下的不确定性;
5、步骤s2:将提取的文本特征、视觉特征和声学特征进行跨模态语义对齐,得到跨模态对齐的多模态特征;
6、步骤s3:将跨模态对齐的多模态特征进行融合,得到跨模态融合特征;
7、步骤s4:将跨模态融合特征输入混合专家大模型中,获取跨模态类别标注的概率分布,并计算跨模态融合特征标注下的不确定性;
8、步骤s5:根据单模态数据标注下的不确定性和跨模态融合特征标注下的不确定性计算样本数据的跨模态综合不确定性;
9、步骤s6:获取混合专家大模型的基准置信度,通过样本数据的跨模态综合不确定性对基准置信度进行修正,并采用sigmoid函数将修正的置信度映射至,生成置信度标签;
10、步骤s7:若为高置信度标签,将跨模态类别标注的概率分布进行融合,采用加权投票的方式生成多模态数据联合标注的类别标签;否则,进行人工标注。
11、进一步地,所述混合专家大模型包括:门控网络、文本专家子网络、视觉专家子网络和声学专家子网络;
12、所述文本专家子网络用于专注于文本特征以及跨模态融合特征的类别标注推理;
13、所述视觉专家子网络用于专注于视觉特征以及跨模态融合特征的类别标注推理;
14、所述声学专家子网络用于专注于声学特征以及跨模态融合特征的类别标注推理;
15、所述门控网络用于为文本专家子网络、视觉专家子网络和声学专家子网络分配相应的计算资源。
16、进一步地,步骤s1中单模态数据标注下的不确定性的计算过程为:
17、将文本特征输入文本专家子网络中,预测出文本数据标注类别的概率分布,计算文本数据标注的熵不确定性指标;
18、将视觉特征输入视觉专家子网络中,预测出视觉数据标注类别的概率分布,计算视觉数据标注的熵不确定性指标;
19、将声学特征输入声学专家子网络中,预测出声学数据标注类别的概率分布,计算声学数据标注的熵不确定性指标;
20、将文本数据标注的熵不确定性指标、视觉数据标注的熵不确定性指标和声学数据标注的熵不确定性指标求平均,得到单模态数据标注下的熵不确定性指标;
21、对于任意两个专家子网络预测的标注类别的概率分布,计算专家子网络对的js散度,将所有专家子网络对的js散度求平均,得到单模态数据标注下的分歧不确定性指标;
22、将单模态数据标注下的熵不确定性指标和分歧不确定性指标进行加权融合,得到单模态数据标注下的不确定性。
23、进一步地:
24、所述单模态数据标注下的熵不确定性指标的计算过程为:
25、
26、其中,表示样本数据在单模态数据标注下的熵不确定性指标,表示混合专家大模型中专家子网络的索引,表示标注类别数,表示的索引,表示在第个专家子网络下样本数据标注为类别的概率分布。
27、进一步地,步骤s2中跨模态对齐的多模态特征的获取过程为:
28、步骤s2.1:将提取的文本特征、视觉特征和声学特征统一映射至预设维度,得到维度对齐的多模态特征;
29、步骤s2.2:将维度对齐的多模态特征加入对比学习网络,构建跨模态匹配的正样本三元组;
30、步骤s2.3:基于跨模态匹配的正样本三元组构建文本-视觉、文本-声学和视觉-声学的双向相似度矩阵;
31、步骤s2.4:以文本为锚点,计算文本视觉和文本声学的infonce损失;以视觉为锚点,计算视觉文本和视觉声学的infonce损失;以声学为锚点,计算声学文本和声学视觉的infonce损失;
32、步骤s2.5:将所有infonce损失求平均,得到全局跨模态infonce损失;
33、步骤s2.6:更新跨模态匹配的正样本三元组,重复步骤s2.3-2.5,直至全局跨模态infonce损失收敛。
34、进一步地,步骤s3的具体过程为:
35、将跨模态对齐的多模态特征中的文本特征、视觉特征和声学特征进行拼接,得到拼接特征,将拼接特征通过自注意力机制,得到跨模态融合特征:
36、
37、其中,表示跨模态融合特征,表示将拼接特征经线性变化得到的查询矩阵,表示将拼接特征经线性变化得到的建矩阵,表示将拼接特征经线性变化得到的值矩阵,表示缩放因子,表示转置操作,表示函数。
38、进一步地,步骤s4中跨模态融合特征标注下的不确定性的计算过程:
39、采用余弦相似度计算跨模态对齐的多模态特征的相似度;
40、将跨模态融合特征分别输入混合专家大模型的文本专家子网络、视觉专家子网络和声学专家子网络中,预测出跨模态标注类别,基于动态加权策略计算跨模态标注类别的语义相似度;
41、基于跨模态对齐的多模态特征的相似度和跨模态标注类别的语义相似度确定跨模态数据标注下的不确定性:
42、
43、其中,表示样本数据在跨模态数据标注下的不确定性,表示样本数据在跨模态标注类别下的语义相似度,,、均表示专家子网络的索引,表示第个专家子网络预测的跨模态标注类别与第个专家子网络预测的跨模态标注类别之间的语义相似度,表示的权重系数,表示的权重系数;表示样本数据的跨模态对齐的多模态特征的相似度,,表示第个跨模态的特征,表示第个跨模态的特征,表示的阶乘,表示的权重系数。
44、进一步地,所述样本数据的跨模态综合不确定性的计算过程为:
45、
46、其中,表示样本数据的跨模态综合不确定性,表示单模态数据标注下的不确定性,表示的权重系数,表示的权重系数。
47、进一步地,步骤s6中采用sigmoid函数将修正的置信度映射至的具体过程为:
48、
49、其中,表示样本数据修正的置信度的映射值,表示缩放参数,表示样本数据修正的置信度,,表示样本数据在跨模态融合特征标注下的基准置信度均值,表示样本数据的跨模态综合不确定性,表示跨模态综合不确定性的最大值。
50、进一步地,步骤s7中多模态数据联合标注的类别标签的生成过程为:
51、
52、其中,表示样本数据联合标注的类别标签,表示混合专家大模型中专家子网络的索引,表示标注类别数,表示的索引,表示样本数据的跨模态融合特征在第个专家子网络下类别的标注概率分布,表示的权重系数。
53、与现有技术相比,本发明具有如下有益效果:
54、(1)本发明采用混合专家大模型,相较于传统单一大模型的多模态标注方案,使得多模态数据的推理针对性更强;其次,本发明中通过跨模态对齐和跨模态特征融合,能够充分发挥不同模态的互补优势,建立不同模态特征间的精准语义关联,从根源上降低跨模态信息冲突带来的标注误差;
55、(2)本发明同时覆盖单模态标注不确定性和跨模态融合特征标注的不确定性,从而得到跨模态综合不确定性,能够全面识别模态冲突和特征歧义的标注样本,大幅降低标注漏判和误判概率;
56、(3)本发明引入跨模态综合不确定性对基准置信度的修正,解决了传统大模型“过置信”的问题,显著提升置信度标签的可靠性,避免因置信度虚高导致的错误自动标注,在保证多模态数据联合标注精度的前提下,大幅减少不必要的人工标注工作量,提升标注效率和质量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com