一种基于多模态融合的数据标注质量智能评估方法与流程

摘要: 本发明涉及数据处理,尤其涉及一种基于多模态融合的数据标注质量智能评估方法。背景技术:1、随着人工智能训练数据规模不断扩大,图像、文本、语音及视频数据常围绕同一业...
一种基于多模态融合的数据标注质量智能评估方法与流程

本发明涉及数据处理,尤其涉及一种基于多模态融合的数据标注质量智能评估方法。

背景技术:

1、随着人工智能训练数据规模不断扩大,图像、文本、语音及视频数据常围绕同一业务对象、业务事件或业务阶段形成多模态样本。数据标注结果的准确性和一致性直接影响模型训练效果。现有数据标注质量评估方法通常通过抽样复核、标注一致率计算、标注结果与原始数据的内容匹配度比较,以及不同模态标注结果之间的语义对应关系检查,对类别标注、位置标注、属性标注及关系标注进行质量评价。部分方法还会建立跨模态关联关系,并根据预设阈值、置信度评分或加权求和结果识别异常标注。

2、现有技术通常将标注内容质量和跨模态关系质量分别评价,难以处理同一标注节点在内容证据下被判定为可信、在关系证据下被判定为异常的情况;当不同质量证据产生冲突时,现有方法多采用固定权重、简单投票或单一阈值作出判断,无法表示内容证据与关系证据之间的结构性分歧。关系可信度接近阈值时,局部关联关系的保留结果容易发生变化,导致偶然冲突与持续存在的稳定冲突难以区分。

3、此外,现有方法通常针对单个异常节点或单条异常关系独立处理,缺少对相互连接的分歧标注节点、冲突闭合路径及关键边界关系的整体分析,容易破坏原有跨模态关系结构。普通线性加权方法也难以反映内容偏差、关系违背与结构责任之间的增强作用及重复影响,导致质量代价评价不准确。

4、因此,如何提供一种基于多模态融合的数据标注质量智能评估方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于多模态融合的数据标注质量智能评估方法,本发明通过构建内容证据与关系证据双副本质量状态,筛选稳定分歧结构并利用houdayer交换簇完成整体状态重组,能够降低偶然关系冲突对评估结果的干扰,提高多模态数据标注质量判定的准确性和稳定性,同时增强异常标注节点、异常关联关系及异常来源的定位识别能力。

2、根据本发明实施例的一种基于多模态融合的数据标注质量智能评估方法,包括如下步骤:

3、获取同一业务样本的多模态数据及数据标注结果,执行标注关系建模与质量表征,形成多模态标注关系状态;

4、针对多模态标注关系状态,分别生成内容候选质量状态和关系候选质量状态,比较同一标注节点的状态差异,得到双副本质量分歧状态;

5、进入双副本质量分歧状态,按照关系可信度阈值序列构建分歧关系子图,根据分歧连通结构的存续区间筛选稳定分歧结构,得到存续冲突状态;

6、从存续冲突状态中识别包含奇数项冲突关系的冲突闭合路径,确定与冲突闭合路径相交的核心关系集合,构建houdayer交换簇状态;

7、对houdayer交换簇状态执行houdayer算法,将簇内节点状态在内容候选质量状态和关系候选质量状态之间整体交换,比较交换前后的综合质量代价,得到簇交换质量状态;

8、比较簇交换质量状态中的综合质量代价,确定目标标注质量状态;

9、基于目标标注质量状态确定异常标注节点和异常关联关系,识别异常来源,输出数据标注质量智能评估结果。

10、可选的,所述多模态标注关系状态的得到具体包括:

11、获取同一业务样本的多模态数据及数据标注结果,将数据标注结果与对应的原始模态数据区段关联,并将每项数据标注结果映射为标注节点,形成标注节点状态;

12、针对标注节点状态执行标注内容质量表征,比较各标注节点对应的数据标注结果与原始模态数据区段之间的内容一致程度,确定各标注节点的内容匹配度,形成节点质量表征状态;

13、基于节点质量表征状态,在具有业务对应关系的标注节点间建立跨模态关联边,确定关系可信度和关系属性,组织标注节点及跨模态关联边,形成多模态标注关系状态。

14、可选的,所述双副本质量分歧状态的得到具体包括:

15、从多模态标注关系状态中提取内容匹配度、关系可信度及关系属性,分别确定内容证据和关系证据支持的节点质量状态,形成异源质量证据状态;

16、复制多模态标注关系状态的节点连接结构,将证据判断同向的标注节点在两项副本中设置为相同节点质量状态,将证据判断对置的标注节点分别按照内容证据和关系证据设置节点质量状态,生成内容候选质量状态和关系候选质量状态;

17、比较内容候选质量状态和关系候选质量状态中的对应节点质量状态,提取节点质量状态不同的分歧标注节点及连接分歧标注节点的跨模态关联边,得到双副本质量分歧状态。

18、可选的,所述存续冲突状态的得到具体包括:

19、利用双副本质量分歧状态中连接分歧标注节点的全部跨模态关联边划分完整双副本分歧连通分量,固定各完整双副本分歧连通分量的节点边界,形成完整分歧连通状态;

20、基于完整分歧连通状态,分别判断各跨模态关联边在内容候选质量状态和关系候选质量状态中的关系满足情况,提取两项候选质量状态中关系满足情况相反的跨模态关联边,标记对应的关系违背方向,形成双副本异向关系状态;

21、针对双副本异向关系状态中的每个完整双副本分歧连通分量,将双副本异向关系边对应的关系可信度去重并按照由大至小排列为关系可信度阈值序列,在完整双副本分歧连通分量的固定节点边界内逐项保留关系可信度不低于当前关系可信度阈值的双副本异向关系边,构建异向关系子图并追踪异向关系连通结构的节点承接关系和冲突方向承接关系,形成异向关系存续状态;

22、比较异向关系存续状态中各存续支系的连续承接范围,筛选分歧标注节点持续对应、双副本异向关系边持续连接且关系违背方向保持不变的稳定冲突核心,将稳定冲突核心与所属完整双副本分歧连通分量建立边界对应关系,得到存续冲突状态。

23、可选的,所述houdayer交换簇状态的得到具体包括:

24、从存续冲突状态中提取稳定冲突核心及所属完整双副本分歧连通分量,识别连接完整双副本分歧连通分量内外节点且在两项候选质量状态之间发生关系违背转移的交换簇边界关系,形成边界责任状态;

25、基于边界责任状态,针对同一完整双副本分歧连通分量,将经过稳定冲突核心的内部关系路径、两条交换簇边界关系及边界外部关系路径连接为候选闭合路径,筛选包含奇数项冲突关系的候选闭合路径,形成冲突闭合路径;

26、按照关系违背方向归集冲突闭合路径,从交换簇边界关系中筛选与对应冲突闭合路径相交的必要边界关系,形成核心关系集合;

27、将核心关系集合映射至对应完整双副本分歧连通分量,筛选被核心关系集合共同指向、且冲突闭合路径保持一致关系违背方向的完整双副本分歧连通分量,将完整双副本分歧连通分量整体确定为houdayer交换簇;

28、关联houdayer交换簇中分歧标注节点在内容候选质量状态和关系候选质量状态中的节点质量状态,并关联交换簇边界关系、冲突闭合路径、核心关系集合及关系违背方向,构建houdayer交换簇状态。

29、可选的,所述簇交换质量状态的得到具体包括:

30、读取houdayer交换簇状态,关联簇内分歧标注节点在内容候选质量状态和关系候选质量状态中的节点质量状态,并锁定簇外标注节点的节点质量状态,形成簇交换约束状态;

31、基于簇交换约束状态执行houdayer算法,将houdayer交换簇内全部分歧标注节点的节点质量状态,在内容候选质量状态和关系候选质量状态之间成对整体交换,保持簇外标注节点的节点质量状态不变,形成双副本交换状态;

32、针对双副本交换状态执行差分代价提取,保持houdayer交换簇内部跨模态关联边的关系满足情况不变,分别确定簇内分歧标注节点的内容偏差变化、交换簇边界关系的关系违背变化及核心关系集合的关系违背方向,形成交换代价因子状态;

33、对交换代价因子状态执行二阶choquet积分聚合,利用内容偏差、关系违背及边界责任的单因素重要度和两两交互强度,分别确定交换前后内容候选质量状态和关系候选质量状态的综合质量代价,形成综合质量代价状态;

34、比较交换前后的综合质量代价,确定两项候选质量状态的交换代价变化,关联houdayer交换簇、节点质量状态及关系违背方向,得到簇交换质量状态。

35、可选的,所述目标标注质量状态的得到具体包括:

36、对簇交换质量状态执行综合质量代价排序,形成代价比较状态;

37、基于代价比较状态执行分层代价判定,优先保留综合质量代价较小的候选质量状态,并在综合质量代价相同时依据局部质量代价逐级判定,形成优选质量状态;

38、整合优选质量状态及对应的houdayer交换簇,确定目标标注质量状态。

39、可选的,所述数据标注质量智能评估结果的得到具体包括:

40、针对目标标注质量状态执行节点异常判定,确定异常标注节点;

41、围绕异常标注节点执行关系异常追溯,确定异常关联关系并识别异常来源;

42、对异常标注节点、异常关联关系及异常来源执行评估结果组织,输出数据标注质量智能评估结果。

43、本发明的有益效果是:

44、本发明将同一业务样本中的多模态数据及数据标注结果组织为多模态标注关系状态,分别从标注内容与原始模态数据的匹配程度、跨模态标注节点之间的关系一致程度两个角度形成内容候选质量状态和关系候选质量状态,使单一标注节点在内容证据和关系证据支持下产生的质量判断差异能够转换为双副本质量分歧状态,克服现有技术采用单一置信度、固定权重或简单投票方式难以表达异源质量证据结构性冲突的问题,提高多模态数据标注质量表征的完整性和准确性。

45、本发明采用houdayer算法处理内容候选质量状态和关系候选质量状态之间相互连接的分歧标注节点,利用houdayer算法对双副本分歧连通簇执行非局部整体交换的特性,避免逐个修改异常标注节点导致跨模态关联结构被割裂;针对普通houdayer算法对分歧连通簇选择缺少质量语义约束的问题,本发明按照关系可信度阈值序列筛选稳定冲突核心,并结合包含奇数项冲突关系的冲突闭合路径、核心关系集合及关系违背转移方向确定houdayer交换簇,使交换范围由稳定分歧结构和不可替代边界责任共同限定,减少偶然关系冲突及低可信关系对交换结果的干扰,提高结构性标注冲突识别和簇级状态重组的稳定性。

46、本发明采用二阶choquet积分聚合houdayer交换前后的内容偏差、关系违背及边界责任,能够同时考虑单项质量因素的重要程度和质量因素之间的增强作用、重叠作用,避免普通线性加权忽略复合质量冲突或重复计算同一核心关系的影响;通过比较交换前后的综合质量代价确定目标标注质量状态,并根据目标标注质量状态识别异常标注节点、异常关联关系及异常来源,使评估结果不仅能够反映数据标注质量水平,还能够区分内容标注异常、跨模态关系异常及复合标注异常,从而提升多模态数据标注质量评估的准确性、稳定性和异常来源追溯能力。