一种多模态媒体知识库统一向量化构建方法及系统与流程

摘要: 本发明涉及数据管理,特别是一种多模态媒体知识库统一向量化构建方法及系统。背景技术:1、随着融媒体内容生产与媒资管理数字化程度的不断提高,专题知识库已成为沉淀历史...
一种多模态媒体知识库统一向量化构建方法及系统与流程

本发明涉及数据管理,特别是一种多模态媒体知识库统一向量化构建方法及系统。

背景技术:

1、随着融媒体内容生产与媒资管理数字化程度的不断提高,专题知识库已成为沉淀历史素材、支撑智能问答与精准检索的基础设施。视频、音频、图片、文档四类异构媒体资源持续增长,用户希望基于自然语言描述一次性检索出相关的素材内容,跨模态检索需求日益突出。

2、现有技术中,媒体知识库的构建通常针对不同模态分别部署独立的嵌入模型与独立的向量索引,即视频、音频、图片、文档各自采用专属的处理与索引链路。对于视觉内容中的文字信息,多依赖光学字符识别(ocr)引擎抽取文字后再进行文本向量化;部分方案引入基于大规模图文对预训练的对比对齐模型,尝试对齐图像与文本的表示。素材切片环节则普遍采用固定时长切分或基于简单标点的切分方式。

3、上述现有技术在实际应用中存在以下不足:

4、其一,各模态的向量索引相互独立,系统复杂度与运维成本随模态数量的增加而线性增长;用户通过一次查询难以同时召回视频、音频、图片、文档等不同模态的相关内容,尤其对于“用文字描述查找无声视频画面”之类的需求难以满足;同时,通用图文对齐模型面向中文媒体领域常见的版式、表格、扫描件等长尾场景时适配效果欠佳。

5、其二,大量素材属于“画面信息丰富但缺乏文字载体”的类型,例如无语音解说的视频片段、扫描版文档、以图表和排版为主的演示文稿等。此类内容缺乏可供文本查询匹配的文字入口,画面中的图表趋势、版式布局、示意图等关键视觉信息在检索环节被丢失,无法被用户以自然语言查询命中。

6、其三,固定时长切分容易将完整的语义单元拦腰截断,基于简单标点的切分又会产生大量长度过短的文本片段,此类片段所生成的向量语义表达能力较弱,不仅难以匹配用户查询意图,还会引入噪声、拉低整体检索精度。

7、其四,多模态素材的入库处理链路较为耗时,处理过程中发生失败时,恢复与重试的代价较高,整体入库效率与可靠性有待提升。

8、综上,亟需一种多模态媒体知识库统一向量化构建方法及系统,来解决现有技术存在的多模态媒体知识库构建中跨模态检索割裂、纯视觉内容无法被文本查询命中、切片语义不完整以及入库处理故障恢复代价高的技术问题。

技术实现思路

1、为了解决上述技术问题,本发明提供一种多模态媒体知识库统一向量化构建方法及系统,旨在将视频、音频、图片、文档四类媒体资源纳入统一向量空间,实现一次查询的跨模态统一召回,并提升切片语义质量与入库处理的鲁棒性和效率,从而实现在多模态媒体知识库构建过程中保证切片质量、使纯视觉内容能够被文本查询有效命中、提升检索结果的完备性,并兼顾入库处理的效率与可靠性。

2、为实现上述目的,本技术提出一种多模态媒体知识库统一向量化构建方法,包括以下步骤:

3、接收视频、音频、图片、文档四类媒体资源,按资源类型路由至对应的处理服务,获取语音识别文本、场景分析结果、图像地址或文档文件中的至少一种关联信息,统一注册为知识库文档记录并标记为待处理状态;

4、按资源类型对所述媒体资源执行语义分段,生成语义完整的逻辑切片,将所述逻辑切片关联至所述知识库文档记录并记录切片类型;其中,音视频资源依据语音识别文本的统计特征判定紧凑模式或语义模式,文档资源按其文档结构划分,图片资源以整张图片作为一个逻辑切片;

5、对包含视觉内容的逻辑切片调用视觉大模型,生成视觉语义描述,将纯视觉内容转化为文本;

6、定义四类角色前缀:画面角色前缀、语音角色前缀、视觉角色前缀和正文角色前缀,并按逻辑切片所属模态构造带角色前缀的角色标注嵌入文本,将全部模态的角色标注嵌入文本统一输入单一文本嵌入模型,分别映射至统一向量空间,获得各逻辑切片在所述统一向量空间中的稠密向量;

7、为每个逻辑切片建立展示字段与描述字段,所述展示字段存储用于前端展示与引用溯源的文本,所述描述字段存储所述视觉大模型生成的视觉语义描述;将所述稠密向量写入向量字段;

8、采用并发预取与串行入库的两阶段流水线执行所述视觉语义描述生成、向量化与索引写入;其中,视觉语义描述生成由阶段一并发执行,向量化与索引写入由阶段二串行执行,并由状态机驱动断点恢复执行。

9、作为更进一步的解决方案,所述角色标注嵌入文本按逻辑切片所属模态构造为:

10、视频逻辑切片的角色标注嵌入文本由画面角色前缀与视频画面的视觉语义描述拼接所得的文本段、以及语音角色前缀与语音识别文本拼接所得的文本段组合构成;

11、音频逻辑切片的角色标注嵌入文本由语音角色前缀与语音识别文本拼接构成;

12、图片逻辑切片的角色标注嵌入文本由视觉角色前缀与图片的视觉语义描述拼接构成;

13、文档逻辑切片的角色标注嵌入文本由正文角色前缀与正文文本拼接所得的文本段、以及视觉角色前缀与文档页面的视觉语义描述拼接所得的文本段组合构成;

14、其中,画面角色前缀用于标注视频画面的视觉语义描述,语音角色前缀用于标注音视频的语音识别文本,视觉角色前缀用于标注图片与文档页面的视觉语义描述,正文角色前缀用于标注文档提取文本与光学字符识别文本;画面角色前缀与视觉角色前缀对应的文本取自所述描述字段,语音角色前缀与正文角色前缀对应的文本取自所述展示字段,当描述字段为空时,仅以展示字段内容构造所述角色标注嵌入文本;

15、所述角色前缀作为模态感知的语义软提示,向所述单一文本嵌入模型显式声明对应文本段的语义角色与来源模态。

16、作为更进一步的解决方案,所述角色标注嵌入文本经所述单一文本嵌入模型按照嵌入函数e映射为n维稠密向量;

17、其中,e=embed(t_role),t_role为所述角色标注嵌入文本;

18、用户查询文本经所述单一文本嵌入模型编码后,与各逻辑切片的稠密向量按相似度函数sim(q,e)计算余弦相似度,实现跨模态统一召回;

19、其中,sim(q,e)=(q·e)/(‖q‖·‖e‖);q为用户查询文本经所述单一文本嵌入模型编码得到的向量,e为对应逻辑切片的稠密向量。

20、作为更进一步的解决方案,所述展示字段存储带时间戳的语音识别文本或文档提取文本;其中,语音识别文本按时间戳逐条对应存储,每一时间戳对应相应时段的语音识别文本,所述展示字段用于前端展示及检索增强生成时的引用溯源;

21、还包括:为视频逻辑切片生成关键帧与场景帧的独立图像向量,存入图像向量字段族;将所述逻辑切片的稠密向量同步至搜索引擎的嵌套向量字段,用于时间区间精确检索。

22、作为更进一步的解决方案,通过如下步骤将纯视觉内容转化为文本:

23、对视频逻辑切片,调用外部分段服务进行物理切片与关键帧、场景帧抽取,对每段物理切片调用所述视觉大模型生成视觉语义描述;

24、对图片逻辑切片,调用所述视觉大模型生成图片的视觉语义描述;其中,当图片文件超过预设大小时,先压缩至不超过预设大小再调用所述视觉大模型;

25、对文档逻辑切片,执行文档页面渲染管线:

26、若所述文档逻辑切片来源于以办公套件格式保存的文档,则先调用以无头模式运行的办公软件将其转换为pdf中间格式,若来源于pdf文档,则直接以所述pdf文档作为渲染对象;再采用pdf渲染库将pdf文档每一页以预设分辨率渲染为独立的页面png图像;最后对每页所述页面png图像调用所述视觉大模型生成视觉语义描述。

27、作为更进一步的解决方案,所述视觉大模型同时承担光学字符识别与视觉语义描述两项职能:

28、对每页所述页面png图像,由所述视觉大模型描述图表数据趋势、版式布局与示意图内容,生成视觉语义描述;

29、当所述页面在pdf文本层中的字符数小于预设阈值时,判定所述页面为扫描页,并触发所述视觉大模型的光学字符识别智能识别所述页面中的可见文字,以光学字符识别文本作为正文文本;

30、当所述页面在pdf文本层中的字符数不小于所述预设阈值时,以pdf文本层提取的文字作为正文文本;每页最多生成一条逻辑切片记录;

31、对于扫描页:当视觉语义描述职能成功而光学字符识别职能失败时,仅以视觉语义描述写入知识库,并标记该逻辑切片缺失光学字符识别文本;

32、当光学字符识别职能成功而视觉语义描述职能失败时,仅以光学字符识别文本写入知识库,并标记该逻辑切片缺失视觉语义描述;

33、两项职能均失败时,所述页面png图像不生成逻辑切片记录,并记录失败页码。

34、作为更进一步的解决方案,通过如下步骤按资源类型对所述媒体资源执行语义分段:

35、针对音视频资源:统计语音识别文本的全文总字符数、平均句长与短句占比;

36、当全文总字符数小于紧凑总字符阈值,或平均句长小于紧凑平均句长阈值且短句占比大于紧凑短句阈值时,判定为紧凑模式,将全部语句聚合为一个或多个逻辑切片;

37、否则判定为语义模式,在语义边界处切分为多个逻辑切片,保证每一逻辑切片为完整语义单位;

38、针对文档资源,采用词元感知分块规划:pdf按页划分且超过预设页长阈值的页面进行二次切分,文字处理文档按标题层级划分且无标题时按预设词元窗口划分并使相邻窗口重叠10%,演示文稿按幻灯片划分,电子表格按行窗口划分。

39、作为更进一步的解决方案,在所述语义模式下,采用中日韩统一表意文字感知的词元估算公式t_est=n_cjk×0.6+n_other×0.25进行词元软上限判定,所述词元软上限依据所述单一文本嵌入模型的输入限制确定;其中,n_cjk为unicode编码范围u+4e00至u+9fff内的字符数,n_other为其他字符数;

40、满足以下任一条件时即切段:累计词元超过词元软上限、相邻语句之间的停顿超过硬停顿阈值、上一句以句末标点结尾且停顿超过软停顿阈值、累计字符超过预设的字符上限;

41、对长度超过词元软上限的单条语句单独成段并生成告警,不在语句内部进行切分;

42、对字符数低于最小段字符阈值的过短的逻辑切片,向与该过短的逻辑切片字符数差异更小的相邻逻辑切片聚合,并在两侧相邻逻辑切片字符数相同时优先向时序在前的相邻逻辑切片聚合,以保持时序。

43、作为更进一步的解决方案,所述两阶段流水线中:阶段一使用有界线程池并发调用所述视觉大模型生成视觉语义描述;阶段二串行执行向量化与索引写入;整个流水线执行过程中采用分布式锁防止对同一媒体资源重复处理;所述状态机包括待处理状态、规划中状态、分段已提交状态、分段中状态、向量化中状态和完成状态,并按上述状态顺序推进,失败时从最后成功状态继续执行。

44、另一方面,本发明还提供一种多模态媒体知识库统一向量化构建系统,用于执行如上任一项所述的一种多模态媒体知识库统一向量化构建方法,包括:

45、多模态媒体采集与注册模块,用于接收视频、音频、图片、文档四类媒体资源,按资源类型路由至对应的处理服务,获取语音识别文本、场景分析结果、图像地址或文档文件中的至少一种关联信息,统一注册为知识库文档记录并标记为待处理状态;

46、自适应语义分段模块,用于按资源类型对所述媒体资源执行语义分段,生成语义完整的逻辑切片,将所述逻辑切片关联至所述知识库文档记录并记录切片类型;其中,音视频资源依据语音识别文本的统计特征判定紧凑模式或语义模式,文档资源按其文档结构划分,图片资源以整张图片作为一个逻辑切片;

47、视觉语义桥接模块,用于对包含视觉内容的逻辑切片调用视觉大模型,生成视觉语义描述,将纯视觉内容转化为文本;

48、角色标注与统一向量化模块,用于定义四类角色前缀:画面角色前缀、语音角色前缀、视觉角色前缀和正文角色前缀,按逻辑切片所属模态构造带角色前缀的角色标注嵌入文本,将全部模态的角色标注嵌入文本统一输入单一文本嵌入模型,分别映射至统一向量空间,获得各逻辑切片在所述统一向量空间中的稠密向量;

49、双字段索引构建模块,用于为每个逻辑切片建立展示字段与描述字段,所述展示字段存储用于前端展示与引用溯源的文本,所述描述字段存储所述视觉大模型生成的视觉语义描述;将所述稠密向量写入向量字段;

50、并发流水线入库模块,用于采用并发预取与串行入库的两阶段流水线执行所述视觉语义描述生成、向量化与索引写入;其中,视觉语义描述生成由阶段一并发执行,向量化与索引写入由阶段二串行执行,并由状态机驱动断点恢复执行。

51、与相关技术相比较,本发明能提供的一种多模态媒体知识库统一向量化构建方法及系统具备如下优势:

52、1、本发明通过画面角色前缀、语音角色前缀、视觉角色前缀和正文角色前缀四类角色前缀,将视频、音频、图片、文档四类媒体资源的逻辑切片规范化为角色标注嵌入文本,并统一输入单一文本嵌入模型映射至统一向量空间,使得不同模态的稠密向量彼此可直接比较;用户一次查询即可在同一向量空间内对四类模态统一召回,无需为各模态分别维护独立的嵌入模型与向量索引,降低了知识库的系统复杂度与运维成本;同时,角色前缀使召回结果具备按模态过滤与归因的能力。

53、2、本发明通过视觉大模型生成视觉语义描述,并经由"办公套件格式转换—pdf逐页渲染—视觉大模型一体双用"的桥接管线,使无声视频画面、扫描文档页面、图表页面等纯视觉内容获得可供文本查询匹配的文本表示,可被自然语言查询命中;同时,展示字段与描述字段解耦,检索以描述字段的画面语义为准,前端展示与检索增强生成引用以展示字段的可读文本为准,避免了同一文本字段兼具展示与检索双重用途所导致的语义错位,命中结果仍可溯源至原始素材的时间戳或正文位置。

54、3、本发明依据语音识别文本的统计特征自适应判定紧凑模式或语义模式,并结合中日韩统一表意文字感知的词元估算、多维语义边界切段与短段聚合,使逻辑切片的边界与素材本身的语义单元相重合、词元规模适中,避免了固定时长切分导致的语义单元拦腰截断,以及简单标点切分导致的短文本切片向量语义稀薄、相似度偏差大的问题,从源头提升向量索引质量,减少噪声切片对检索精度的干扰。

55、4、本发明采用并发预取与串行入库的两阶段流水线,阶段一以有界线程池并发调用视觉大模型,隐藏单次调用耗时,阶段二串行执行向量化与索引写入,保证索引写入的一致性;并以分布式锁防止同一媒体资源被并发重复处理,以状态机驱动断点恢复执行,任一环节失败后可自最后成功状态继续执行,已完成的视觉语义描述、分段结果与向量化结果得以复用,降低了多模态入库的整体耗时并提升了失败恢复能力。