一种基于大模型的多模态违规广告内容识别方法及系统与流程

本发明涉及音视频信息处理，尤其涉及一种基于大模型的多模态违规广告内容识别方法及系统。

背景技术：

1、广播电视作为公众获取信息的重要渠道，其播出的医药广告内容直接关系到人民群众的生命健康安全与合法权益。近年来，国家对广播电视医疗养生类节目及医药广告的监管力度持续加大，严厉打击各类虚假宣传夸大疗效及变相营销等违规行为。然而，随着广播电视节目时长的增长以及全天候多频道的并发播出，监管部门面对的是海量的连续音视频数据。在这样庞大的数据基数下，实现对违规医药广告的大规模全覆盖监测，成为了广播电视智能监管领域的一项核心挑战。

2、目前，针对广播电视中虚假宣传医药广告的常规发现方法主要分为两类：第一类是基于编目初筛与人工研判的方法，该方案通常先利用音视频模板比对技术对节目流进行内容一致性比对以生成广告串播单，随后依赖人工浏览筛选并主观判断其是否违规；第二类是基于关键词检索与人工复核的方法，即通过人工预先设定涉嫌违规的敏感词汇库，系统提取广播电视的语音和字幕文本进行浅层的字符串检索匹配，命中后交由人工进行逐一复核定性。

3、尽管上述现有技术辅助了相关的监管工作，但其存在缺乏深层次语义理解能力的主要缺陷。现有的敏感词匹配仅停留在浅层的字符串比对层面，面对日益复杂的变相营销和隐性违规内容，单纯的表面特征匹配极易被同义替换或语境改变所规避，导致对虚假宣传医药广告的发现漏报率较高。因此，如何在海量音视频数据中克服复杂语境的干扰并实现对变相虚假医药广告深层违规语义的精准自动化识别，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供一种基于大模型的多模态违规广告内容识别方法及系统，用以解决现有技术中缺乏深层次语义理解能力、仅停留在浅层字符串比对层面极易被同义替换或语境改变所规避，导致对变相及隐性违规内容漏报率较高的缺陷，实现在海量音视频数据中克服复杂语境干扰并对深层目标语义意图的精准自动化识别。

2、本发明提供一种基于大模型的多模态违规广告内容识别方法，包括：

3、提取待处理音视频流中的语音识别文本和字幕识别文本，并进行对齐融合构建联合文本；

4、将所述联合文本按照第一粒度进行分段，得到第一粒度分段文本，并基于第一语义分析模型对所述第一粒度分段文本进行初筛，得到疑似违规广告时段；

5、将所述疑似违规广告时段对应的文本按照第二粒度进行分段，得到第二粒度分段文本，并基于第二语义分析模型对所述第二粒度分段文本进行特征分析，得到违规广告文本段落，其中，所述第一粒度大于所述第二粒度；

6、对所述违规广告文本段落进行语义合并，生成并输出违规广告分析结果。

7、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述提取待处理音视频流中的语音识别文本和字幕识别文本，并进行对齐融合构建联合文本，包括：

8、获取所述语音识别文本对应的时间戳和所述字幕识别文本对应的时间戳；基于所述时间戳，将所述语音识别文本与所述字幕识别文本在时间维度上进行匹配对齐；分析对齐后的所述语音识别文本与所述字幕识别文本之间的语义逻辑关联；基于所述语义逻辑关联进行跨模态特征融合，生成具有上下文语境的所述联合文本。

9、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述将所述联合文本按照第一粒度进行分段，得到第一粒度分段文本，并基于第一语义分析模型对所述第一粒度分段文本进行初筛，得到疑似违规广告时段，包括：

10、以第一预设时间长度为基准，对所述联合文本进行动态切分，生成所述第一粒度分段文本；

11、将所述第一粒度分段文本输入至所述第一语义分析模型，分析所述第一粒度分段文本的整体叙事逻辑；

12、根据所述整体叙事逻辑过滤未包含目标意图特征的非目标文本，对包含目标意图特征的第一粒度分段文本进行时间段的提取，作为所述疑似违规广告时段。

13、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述将所述疑似违规广告时段对应的文本按照第二粒度进行分段，得到第二粒度分段文本，并基于第二语义分析模型对所述第二粒度分段文本进行特征分析，得到违规广告文本段落，包括：

14、以第二预设文本长度为基准，对所述疑似违规广告时段对应的第一粒度分段文本进行切分，生成所述第二粒度分段文本；

15、将所述第二粒度分段文本输入至所述第二语义分析模型，提取所述第二粒度分段文本中表征目标意图的具体语义特征点；

16、对所述具体语义特征点进行时间戳标记，得到所述违规广告文本段落。

17、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述对所述违规广告文本段落进行语义合并，生成并输出违规广告分析结果，包括：

18、所述对所述违规广告文本段落进行语义合并，生成并输出违规广告分析结果，包括：

19、计算各个所述违规广告文本段落之间的语义相似性以及时间邻近性；

20、根据所述语义相似性以及所述时间邻近性，将具有关联关系的多个所述违规广告文本段落组合为违规广告文本段落集合并进行合并；

21、基于合并后的所述违规广告文本段落集合，生成并输出所述违规广告分析结果。

22、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述基于合并后的所述违规广告文本段落集合，生成并输出所述违规广告分析结果，包括：

23、提取所述违规广告文本段落集合中各个违规广告文本段落对应的时间戳；

24、结合所述违规广告文本段落集合以及所述时间戳，构建结构化数据，并将所述结构化数据作为所述违规广告分析结果进行输出。

25、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述以第一预设时间长度为基准，对所述联合文本进行动态切分，生成所述第一粒度分段文本，包括：

26、按照所述第一预设时间长度对所述联合文本进行初始切分，获取第一初始边界点；提取以所述第一初始边界点为中心的预设时间窗口内的语音静音特征或标点符号特征；基于所述语音静音特征或所述标点符号特征，将所述第一初始边界点滑动至相邻的语义停顿位置进行切分，生成所述第一粒度分段文本。

27、根据本发明提供的基于大模型的多模态违规广告内容识别方法，所述以第二预设文本长度为基准，对所述疑似违规广告时段对应的第一粒度分段文本进行切分，生成所述第二粒度分段文本，包括：

28、按照所述第二预设文本长度对所述疑似违规广告时段对应的第一粒度分段文本进行初始切分，获取第二初始边界点；

29、提取以所述第二初始边界点为中心的预设字符窗口内的语音静音特征或标点符号特征；

30、基于所述语音静音特征或标点符号特征，将所述第二初始边界点滑动至相邻的语义停顿位置进行切分，生成所述第二粒度分段文本。

31、本发明还提供一种基于大模型的多模态违规广告内容识别系统，包括：

32、构建模块，用于提取待处理音视频流中的语音识别文本和字幕识别文本，并进行对齐融合构建联合文本；

33、初筛模块，用于将所述联合文本按照第一粒度进行分段，得到第一粒度分段文本，并基于第一语义分析模型对所述第一粒度分段文本进行初筛，得到疑似违规广告时段；

34、分析模块，用于将所述疑似违规广告时段对应的文本按照第二粒度进行分段，得到第二粒度分段文本，并基于第二语义分析模型对所述第二粒度分段文本进行特征分析，得到违规广告文本段落，其中，所述第一粒度大于所述第二粒度；

35、合并模块，用于对所述违规广告文本段落进行语义合并，生成并输出违规广告分析结果。

36、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于大模型的多模态违规广告内容识别方法。

37、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于大模型的多模态违规广告内容识别方法。

38、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于大模型的多模态违规广告内容识别方法。

39、本发明提供的基于大模型的多模态违规广告内容识别方法及系统、电子设备，首先提取待处理音视频流中的语音识别文本和字幕识别文本并进行对齐融合构建联合文本，然后将联合文本按照第一粒度进行分段得到第一粒度分段文本并基于第一语义分析模型对第一粒度分段文本进行初筛得到疑似违规广告时段，再将该疑似违规广告时段对应的文本按照小于第一粒度的第二粒度进行分段得到第二粒度分段文本，并基于第二语义分析模型对第二粒度分段文本进行特征分析得到违规广告文本段落，该处理方式突破了单纯表面特征匹配的局限，能够在第一粒度的较大范围文本上深度理解整体叙事逻辑以克服复杂语境改变的干扰，并在第二粒度的较小范围文本上精准剖析并提取深层的特定意图，进而有效降低了隐性内容的漏报率；最后，对违规广告文本段落进行语义合并生成并输出违规广告分析结果，将分散的局部特征在整体语义层面进行关联与还原，防止了上下文割裂导致的误判，最终实现了高精度且自动化的目标内容识别。