一种视觉扰动多模态图文的隐晦文本恢复及识别方法
本发明涉及隐晦负面文本模型恢复识别领域,尤其涉及一种视觉扰动多模态图文的隐晦文本恢复及识别方法。
背景技术:
1、随着多模态大语言模型的快速发展,以视觉语言大模型为代表的多模态模型在图像理解、视觉问答、文档解析和图文推理等任务上取得了显著进展,并逐步被应用于网络内容安全审核、有害信息检测与负面内容识别等实际场景;然而现有检测与识别方法通常建立在文字清晰、视觉线索完整、上下文语义直接的输入条件下,因而在标准图文输入上表现较好,但在面对真实网络环境中广泛存在的隐晦负面内容时,检测与识别性能出现显著下降。所谓隐晦负面内容,是指负面文本经过视觉扰动处理(如字体结构变化、局部缺失、形变、切分或加噪)后与表面良性的背景图像融合形成的多模态图文;这类多模态图文中的文字不再保持可直接识读的完整字形,多模态大语言模型由于更依赖完整的视觉字形特征,往往停留在表层识读阶段,难以完成语义恢复,从而导致对隐晦负面内容的检测与识别性能显著下降。
2、现有技术中,相关评测和识别方法一般将文字识别正确率作为主要目标,现有方法难以有效应对表面良性的背景与结构受扰文字共同存在的隐晦图文,无法提升模型在复杂视觉条件下的语义恢复能力与负面内容检测识别性能。在图文有害内容或深层含义理解评测中,例如中文有害梗图检测和中文图像深层含义评测,虽然强调图像与文本的联合语义,但输入文字通常仍保持可直接识别状态,现有技术主要针对文字清晰、但隐含语义需要推理的情形,而非文字本身已发生结构扰动、模型无法可靠识读的情形,因此对隐晦负面内容的检测识别性能提升有限;这样使得训练得到的检测识别模型无法有效学习从受扰文字和潜在语义线索中恢复负面语义的能力,进一步限制了隐晦负面内容检测识别性能的提升;同时若仅使用背景图像提供语义线索,则会导致模型依赖显式线索而非真正理解跨模态关联,从而在实际隐晦场景中泛化能力不足,检测识别性能难以满足需求。对于实际应用中出现的包含结构扰动文字与背景融合的隐晦图文数据,现有模型难以从受扰文字和潜在语义线索中准确恢复出原始负面文本,也无法给出可靠的检测结果,导致隐晦负面内容的漏检率和误检率较高,检测识别性能无法有效提升。
3、因此,亟需一种能够结合多模态隐晦图文样本生成、恢复识别模型训练和隐晦文本恢复识别的完整技术方案,通过构造高难度的训练样本并训练隐晦文本恢复识别模型,以提升对复杂视觉条件下隐晦负面内容的检测与识别性能。
技术实现思路
1、本发明的目的在于提供一种视觉扰动多模态图文的隐晦文本恢复及识别方法,通过结构感知扰动和良性语义背景构造高难度训练样本,有效提升了复杂视觉条件下隐晦负面内容的检测与识别性能,适用于内容安全审核等场景。
2、本发明的目的通过下述技术方案实现:
3、一种视觉扰动多模态图文的隐晦文本恢复及识别方法,其方法包括:
4、s1、构建以大语言模型为核心架构的隐晦文本恢复识别模型,构建包含若干个多模态隐晦图文样本及负面文本标签的多模态隐晦图文样本集,多模态隐晦图文样本关联存储有原始的负面文本、视觉扰动文本、良性背景图像以及多模态隐晦图文,多模态隐晦图文为视觉扰动文本与良性背景图像融合后的图文,负面文本标签为标记于多模态隐晦图文上的检测框及原始的负面文本;
5、s2、隐晦文本恢复识别模型利用多模态隐晦图文样本集进行多模态隐晦图文中恢复识别负面文本训练;
6、s3、获取隐晦图文数据输入隐晦文本恢复识别模型进行负面文本恢复识别并输出检测结果,所述隐晦图文数据包括单模态视觉扰动文本和/或多模态隐晦图文,所述多模态隐晦图文为包含视觉扰动文本与背景图融合的多模态图文数据,所述检测结果为标记于隐晦图文数据上的负面文本检测框以及位于负面文本检测框内恢复识别后的负面文本。
7、为了更好地实现本发明,在方法s1中,所述多模态隐晦图文样本集的多模态隐晦图文样本通过训练后的多模态隐晦图文生成模型生成,多模态隐晦图文生成模型生成多模态隐晦图文样本的方法包括:
8、s11、构建包括若干个字的负面文本,对负面文本进行语义解析并生成与负面文本相对应的良性潜在文本集;利用良性潜在文本集生成良性图像提示,利用良性图像提示生成包含物体、事件、场景、情境在内的良性背景图像;
9、s12、对负面文本中字施加包括结构变化、结构切分、添加噪声在内的视觉文本扰动处理生成视觉扰动文本;将视觉扰动文本与良性背景图像进行融合处理得到多模态隐晦图文样本;
10、s13、在多模态隐晦图文样本中标记负面文本标签,负面文本标签为标记于多模态隐晦图文上的检测框及原始的负面文本。
11、优选地,以方法s11中的一个负面文本作为一个负面文本条目,构建由若干个负面文本条目构成负面文本集合,对负面文本集合的每个负面文本条目按照方法s11~方法s13分别得到对应的多模态隐晦图文样本,多模态隐晦图文生成模型将负面文本条目与对应的多模态隐晦图文样本进行关联对应存储并构建多模态隐晦图文样本数据集。
12、优选地,在方法s2中,在隐晦文本恢复识别模型利用多模态隐晦图文样本集的模型训练中,隐晦文本恢复识别模型恢复识别输出的负面文本记为模型输出值,多模态隐晦图文样本集的负面文本标签对应原始的负面文本记为真值,隐晦文本恢复识别模型以所有样本的真值与模型输出值差异最小作为目标函数,差异最小包括字形结构差异最小和/或语义差异最小。
13、优选地,在方法s2中,隐晦文本恢复识别模型还构建有负面语义识别率msrr的评价指标,,其中为待评估的大语言模型正确恢复识别负面语义的样本数,为输入待评估的大语言模型的样本总数;在隐晦文本恢复识别模型利用多模态隐晦图文样本集的模型训练中,隐晦文本恢复识别模型以约束负面语义识别率msrr为最大或超过识别率阈值作为目标函数。
14、优选地,在方法s11中,多模态隐晦图文生成模型利用内置或外部的大语言模型对负面文本进行包括浅层至高层、由全局至局部、意图识别推理在内的语义识别并获得语义层级的负面文本集;大语言模型利用语义层级体系生成与负面文本相对应的非负面文本,非负面文本为与负面文本相关联且语义不是负面的文本,将非负面文本组合构成良性潜在文本集。
15、优选地,在方法s11中,多模态隐晦图文生成模型通过内置或外部的大语言模型对利用良性潜在文本集生成良性图像提示输入多模态隐晦图文生成模型内置或外部的图像生成模型,图像生成模型利用良性图像提示生成良性背景图像。
16、优选地,所述良性图像提示包括直接关联提示、隐喻延伸提示、情境化提示在内的图像提示,直接关联提示为良性潜在文本集中良性潜在文本的核心语义指代,隐喻延伸提示为通过包括联想、推理在内的潜在语义延伸,情境化提示为包含环境、情境、场景在内的间接线索提示。
17、优选地,在方法s12中,多模态隐晦图文生成模型对负面文本中字符二值掩码处理得到二值结构掩码,对二值结构掩码进行包括上下、左右、旋转在内的结构变化处理,对二值结构掩码进行包括左右切分、上下切分、对角切分在内的结构切分处理,对二值结构掩码进行包括棋盘格、竖向条纹、横向条纹、渐变融合、部分结构模糊在内的添加噪声处理,视觉文本扰动处理后进行文本排版处理生成视觉扰动文本。
18、优选地,在方法s12中,所述视觉扰动文本与良性背景图像的融合处理包括文字叠加于图像上、文字融于图像中;所述多模态隐晦图文样本对应关联存储有原始的负面文本、视觉文本扰动处理方式、视觉扰动文本、良性潜在文本集、良性图像提示、良性背景图像。
19、本发明较现有技术相比,具有以下优点及有益效果:
20、(1)本发明提供了一种视觉扰动多模态图文的隐晦文本恢复及识别方法,通过构建以大语言模型为核心架构的隐晦文本恢复识别模型并利用包含视觉扰动文本与良性背景融合的多模态隐晦图文样本集进行训练,使模型能够从复杂视觉条件下恢复识别出原始的负面文本,有效提升了隐晦负面内容的检测与识别性能;通过训练后的多模态隐晦图文生成模型生成多模态隐晦图文样本集,该生成模型采用结构感知的字符扰动和良性语义背景的受控生成策略,能够构造出人类可恢复而模型难以直接识别的隐晦图文样本,为恢复识别模型的训练提供了高质量、具有挑战性的数据来源,有利于提升模型在复杂视觉文字条件下的语义恢复能力和泛化能力。
21、(2)本发明在隐晦文本恢复识别模型的训练中,以所有样本的真值与模型输出值的字形结构差异和/或语义差异最小作为目标函数,并可结合负面语义识别率msrr等指标进行约束,使得模型在训练过程中不仅关注字符层面的恢复准确性,还兼顾语义层面的正确性,从而提高了模型恢复识别结果的准确率和可靠性,更有效地提升模型对隐晦语义的理解和恢复能力。而且本发明支持输入单模态视觉扰动文本和/或多模态隐晦图文,输出标记有负面文本检测框及恢复后负面文本的检测结果,具有良好的通用性和灵活性,能够适用于实际场景中不同形式的隐晦图文数据,便于部署到内容安全审核、有害信息检测等应用场景中。
22、(3)本发明通过结构感知扰动和良性语义背景构造高难度训练样本,有效提升了复杂视觉条件下隐晦负面内容的检测与识别性能,适用于内容安全审核等场景;多模态隐晦图文生成模型在字符扰动阶段,先获取字符的二值结构掩码,并基于字符的左右、上下、旋转等结构特征计算结构一致性得分,再依据结构得分自适应选择结构变化、结构切分或添加噪声等扰动模式,使每个字符的变换依据来自于自身字形结构;本发明多模态隐晦图文生成模型通过结构感知的字符扰动和良性语义背景的受控生成高质量的多模态隐晦图文样本,以提升隐晦文本恢复识别模型的隐晦文本恢复识别模型。本发明多模态隐晦图文生成模型将多模态隐晦图文样本关联存储原始负面文本、视觉扰动文本、良性背景图像、扰动方式等信息,便于样本溯源、质量控制和后续评测分析,同时也有利于构建大规模的多模态隐晦图文样本数据集,为隐晦文本恢复识别模型的持续优化和评估提供数据支撑。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com