一种广告素材多模态内容冲突识别方法与流程

本发明涉及广告素材多模态内容检测，具体为一种广告素材多模态内容冲突识别方法。

背景技术：

1、随着短视频广告、信息流广告及图文视频广告等数字广告形式的广泛应用，广告素材通常同时包含连续视频画面、字幕、语音等多种信息。为在广告正式投放前对不同模态内容进行自动检测，现有技术通常对视频、音频和文本分别进行特征提取，再通过时间位置、空间位置、语义关联或相似度等方式建立不同模态之间的对应关系，据此完成广告内容识别、异常检测或审核判断。例如，公开号为cn120451872a的专利公开了对广告视频进行语义分割，并提取视觉、音频和文本信息后结合知识图谱及大语言模型进行细粒度分析；公开号为cn121660749a的专利公开了从视频流、音频流和辅助文本中提取多模态特征，通过相似度匹配、镜头切换、音频突变及文本聚类等方式确定广告片段并进行内容监测。上述公开方案均涉及多模态特征提取、视频片段定位或不同模态信息关联等处理。

2、在实际广告视频中，同一商品、设备或部件的视觉状态可能随连续画面发生变化，例如由关闭逐步转为打开、由折叠逐步转为展开。与该视觉对象相关的字幕或语音通常具有一定持续时间，其开始时间和结束时间并不必然与视觉状态变化的开始位置和完成位置一致，因此一条状态描述可能同时覆盖状态变化前、状态变化过程及状态变化后的部分画面。现有多模态处理方式能够依据时间重合、片段位置或整体语义关系建立文本、语音与视频之间的关联，但在上述动态状态变化场景下，仅依据描述时间区间内局部画面或瞬时视觉状态进行一致性判断时，可能将同一目标视觉对象在不同阶段均真实存在的视觉状态视为相互矛盾的信息。

3、尤其当字幕或语音的持续区间跨越同一目标视觉对象的状态转换边界，而描述内容实际针对状态转换前、状态转换过程、状态转换后或完整状态变化中的特定阶段时，描述时间范围内可能同时存在多个时间上有效但语义阶段不同的视觉状态。若未能准确区分描述所针对的状态阶段，而直接依据时间重合画面进行静态状态比较，正常的对象状态变化可能被解释为多模态内容不一致，并可能导致相邻帧或不同取样位置得到不同判断结果。因此，如何在广告素材多模态内容检测过程中，对同一目标视觉对象发生连续状态变化且描述区间跨越状态转换边界的情形进行准确判断，是仍有必要进一步解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种广告素材多模态内容冲突识别方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种广告素材多模态内容冲突识别方法，包括：

3、s1、针对广告视频的字幕描述和语音描述中的至少一种确定目标视觉对象，依据连续帧取得同一对象的视觉状态，确定其由第一视觉状态向第二视觉状态转换的范围及方向；

4、s2、当描述区间跨越转换范围的边界时，确定其中针对目标视觉对象的状态内容和状态变化内容中的至少一种，并确定内容对应于转换前、转换中、转换后、完整转换过程中的一类；

5、s3、依据对应关系，确定第一视觉状态、转换过程及第二视觉状态中参与一致性判断的相应部分，排除与描述时间重合但不属于相应转换阶段的视觉状态；

6、s4、在相应部分内判断内容是否得到实际视觉状态支持，并在涉及状态变化时校核描述变化方向与实际转换方向；

7、s5、内容得到支持，且在涉及状态变化时方向一致的，不依据被排除视觉状态的局部不一致确认冲突；否则形成跨模态内容冲突结果。

8、进一步的，转换前、转换中和转换后根据描述中与状态词或状态变化动作具有直接修饰关系的时间语义表达确定；

9、当描述同时明确起始状态和结束状态并表达二者之间的状态变化时，确定为完整转换过程；

10、转换前对应第一视觉状态，转换中对应转换范围及实际转换方向，转换后对应第二视觉状态，完整转换过程对应由第一视觉状态、转换范围和第二视觉状态构成的有序状态变化。

11、进一步的，当同一目标视觉对象的同一状态标签在连续帧中保持一致达到设定帧数时，将相应连续帧及与其相邻且状态标签相同的连续帧确定为稳定状态范围；

12、在一稳定状态范围之后出现不同状态标签并随后形成另一稳定状态范围时，分别确定第一视觉状态和第二视觉状态，转换范围由前一稳定状态范围后出现状态变化的首帧起至第二视觉状态起始帧之前的相邻视频帧止。

13、进一步的，依据相邻帧中的对象区域和外观信息保持同一对象标识，仅将对象标识连续一致的帧用于形成视觉状态时序；

14、对象身份不能确认一致时，不将前后视觉状态拼接为同一目标视觉对象的状态转换。

15、进一步的，将目标视觉对象的视觉状态表示为规范状态标签，将描述中的近义状态词映射为与规范状态标签一致的规范状态名称，并将状态变化动作映射为具有起始状态和结束状态的有序状态对；

16、将有序状态对与第一视觉状态和第二视觉状态形成的有序状态对比较，二者一致时确定描述变化方向与实际转换方向一致。

17、进一步的，当描述对应转换中时，描述区间与状态转换范围存在时间交叠，并在描述变化方向与实际转换方向一致时确定状态变化得到实际视觉状态支持；

18、描述区间之前已经结束的状态转换不用于支持当前描述。

19、进一步的，字幕描述和语音描述中的任一条描述仅使用与其确定关联的目标视觉对象对应的视觉状态和状态转换范围进行支持判断，画面中其他对象的相同状态或状态变化不作为该描述的支持依据。

20、进一步的，同一目标视觉对象存在多次状态转换时，每次转换分别由对应的第一视觉状态、转换范围和第二视觉状态形成独立的状态转换信息；

21、描述同时覆盖多个相互分离的状态转换时，对各状态转换分别进行判断，不跨越中间稳定状态将多个状态转换拼接为一次转换。

22、进一步的，同一广告片段同时包含字幕和语音时，字幕内容及显示时间与语音识别文本及语音时间分别形成独立描述记录；

23、二者指向同一目标视觉对象时，分别读取该目标视觉对象的第一视觉状态、转换范围、第二视觉状态及转换方向，指向不同目标视觉对象时，分别读取各自目标视觉对象对应的第一视觉状态、转换范围、第二视觉状态及转换方向。

24、与现有技术相比，本发明具有以下有益效果：

25、1、通过对同一目标视觉对象的连续帧视觉状态进行识别，确定第一视觉状态、状态转换范围、第二视觉状态及实际转换方向，并依据字幕描述或语音描述所对应的转换前、转换中、转换后或完整转换过程限定参与一致性判断的视觉内容，可避免仅依据时间重合的局部视觉状态直接判断冲突，从而减少正常状态转换过程中因描述区间跨越转换边界而产生的阶段错配和误判。

26、2、通过将描述中的状态内容统一至规范状态名称，并在涉及状态变化时形成由起始状态和结束状态构成的有序状态对，与目标视觉对象的实际视觉状态及转换方向进行对应校核，使冲突判断同时受到对象身份、语义阶段、实际状态和变化方向约束，从而提高动态状态描述与视觉变化关系判定的一致性和可解释性。

27、3、通过对字幕描述和语音描述分别按照各自时间区间及目标视觉对象进行处理，并在同一目标视觉对象存在多次状态转换时分别形成对应的第一视觉状态、转换范围和第二视觉状态，不跨越中间稳定状态拼接不同转换过程，可避免不同对象、不同描述来源及不同状态转换之间的视觉证据相互串用，使跨模态内容冲突结果能够对应至实际目标视觉对象及相应描述时间范围。