一种多模态媒体精确检索定位方法及系统与流程

本发明涉及数据检索，特别是一种多模态媒体精确检索定位方法及系统。

背景技术：

1、随着融媒体媒资管理与专题知识库检索需求的不断增长，用户检索目标已从“找到哪一条媒体资源”发展为“精确找到该资源内的具体片段”。例如，在数小时的视频中定位到某发言人发言的那一画面，或在数百页的文档中定位到包含某数据图表的那一页。这种对媒体内部精确片段定位的需求，在广电、政务、教育等行业已成为媒资检索的核心刚需。

2、目前，主流的媒资检索方案普遍采用向量检索技术。该类技术以整条媒体资源为最小检索单元，将每条媒体资源（如一个完整视频文件、一份完整文档）编码为一个向量，检索时计算查询向量与各媒体资源向量之间的相似度，返回整条媒体资源的相似度得分。部分系统在单条媒体资源内部以嵌套方式存储了更细粒度的向量，但检索结果仍以整条媒体资源为单位返回，或仅返回嵌套向量本身的信息，未将向量命中结果进一步关联到该媒体资源内具有完整语义的片段。

3、此外，不同模态的媒体资源在内部结构上存在天然差异。视频和音频具有连续的时间轴，内部各片段之间通过时间坐标相互关联；图片和文档则不具备时间轴，内部各部分之间表现为空间布局或页码顺序。

4、现有检索方案在处理这两类模态时，通常需要分别设计和维护各自独立的定位逻辑：针对视频和音频，基于时间区间进行片段匹配；针对文档，基于页码或位置坐标进行片段匹配；针对图片，则通常不进行内部分段定位。这种双轨并行的架构导致跨模态检索结果难以在统一的框架下进行排序和呈现，新增模态类型时需要开发新的定位模块，系统扩展性受到制约。

5、在检索结果的输出方面，一次查询可能同时召回视频片段、文档页面和图片等多模态命中结果。现有技术缺少对这些结果进行统一标注和呈现的机制，难以在单一结果列表中同时为视频提供时间跳转定位、为文档提供页码跳转定位、为图片提供区域高亮定位。在检索增强生成场景下，也难以将多模态命中结果统一整合为可供语言模型引用的结构化上下文。

6、此外，嵌套向量在存储时采用的时间精度（如百纳秒级）与面向用户展示的片段时间精度（如毫秒级）往往不一致，若直接使用不同精度的数据进行匹配，可能产生区间边界对不齐的问题。同时，部分系统为视频片段生成的预览帧图采用托管服务的临时访问地址，此类地址具有时效性，在检索结果返回给用户后可能已经失效，影响用户对检索结果的浏览确认。

7、因此，亟需一种多模态媒体精确检索定位方法及系统，来解决现有媒资检索方案难以满足“检索即定位、点击即跳转”的业务需求，用户往往需要在返回的整条媒体资源中人工进行二次查找，检索效率和用户体验受到较大影响的技术问题。

技术实现思路

1、为了解决上述技术问题，本发明提供一种多模态媒体精确检索定位方法及系统，旨在解决现有多模态媒资检索方案中向量检索仅能返回整条媒体资源级别结果、无法将命中精确定位到媒体内部语义完整片段的问题，以及时间型模态与非时间型模态因内部结构差异而需要分别维护独立定位逻辑、跨模态检索结果难以统一排序与呈现的问题。

2、本发明通过以下闭环流程实现多模态媒体内精确检索定位：对媒体资源文档中预建的嵌套向量字段执行近邻查询，通过嵌套查询的内部命中机制返回携带入点时间和出点时间的细粒度向量命中结果；对非时间型模态引入伪时间编码将其顺序结构映射为伪时间区间，使其与时间型模态在数据结构上同构；基于最大时间重叠度匹配算法将向量命中映射至重叠度最大的逻辑切片，由此将检索命中精确关联到语义完整的媒体内片段；对归属逻辑切片执行模态标签回填与展示溯源，输出携带模态标签、展示内容及可视化定位信息的结构化检索结果，从而实现跨模态统一的“检索即定位、点击即跳转”的精确检索效果。

3、为实现上述目的，本技术提出一种多模态媒体精确检索定位方法，包括以下步骤：

4、接收查询文本或查询图像，调用与建库时相同的嵌入模型生成查询向量；

5、对媒体资源文档中预建的嵌套向量字段执行近邻查询，通过嵌套查询的内部命中机制返回携带入点时间和出点时间的细粒度向量命中结果，所述向量命中结果携带其所属媒体资源文档的标识，所述嵌套向量字段中的每个嵌套子文档包含入点时间、出点时间、内容及向量；

6、对非时间型模态的逻辑切片，以伪时间区间表示其顺序结构，使非时间型模态的逻辑切片与作为时间型模态的视频和音频的逻辑切片均表示为带时间区间的逻辑切片；

7、基于最大时间重叠度匹配算法，计算各向量命中携带的时间区间与所述向量命中所属媒体资源文档下的各逻辑切片的时间区间之间的重叠度，将各向量命中映射至重叠度最大的逻辑切片，得到归属逻辑切片；

8、对归属逻辑切片执行模态标签回填与展示溯源，输出携带模态标签、展示内容与定位信息的结构化检索结果。

9、作为更进一步的解决方案，所述嵌套向量字段中的向量采用稠密向量类型，维度取值范围为1024至3072，相似度度量采用余弦相似度，并开启索引以支持近邻检索；每个嵌套子文档结构由入点时间、出点时间、内容及向量四个字段组成。

10、作为更进一步的解决方案，所述嵌套向量字段包括多个并行的嵌套向量字段族，所述多个并行的嵌套向量字段族选自以下至少两种：图像向量字段族、文本向量字段族、标签向量字段族、人脸向量字段族、切片向量字段族；

11、查询时依据检索场景选择目标嵌套向量字段族；其中，知识库检索场景下优先选择切片向量字段族；对选定的目标嵌套向量字段族分别构造近邻查询并行召回。

12、作为更进一步的解决方案，将各目标嵌套向量字段族的近邻查询封装为嵌套查询，所述嵌套查询采用子文档最大得分模式，使父文档得分取自匹配子文档的最高分，并通过内部命中机制返回匹配的具体嵌套子文档，包含入点时间、出点时间与内容；

13、将封装后的各目标嵌套向量字段族的嵌套查询构造为布尔查询，其中，租户、目录、密级及知识库标识过滤条件置于过滤器，各目标嵌套向量字段族的嵌套查询置于应当子句，最小应当匹配数为1，并设置最小得分阈值以过滤低质量命中。

14、作为更进一步的解决方案，所述最大时间重叠度匹配算法具体为：

15、对每个向量命中，遍历产生所述向量命中的媒体资源文档下的全部逻辑切片，将用于记录最大重叠度的best_overlap初始化为0，并将最优逻辑切片设为空；

16、计算时间重叠度：overlap=min(o_hit,o_point)max(i_hit,i_point)；其中，overlap表示时间重叠度，i_hit和o_hit分别为向量命中的入点时间和出点时间，i_point和o_point分别为逻辑切片的入点时间和出点时间；

17、当所述overlap大于0时，表示所述向量命中与所述逻辑切片的时间区间存在重叠，若所述overlap大于best_overlap，则将best_overlap更新为所述overlap值，并将最优逻辑切片更新为当前逻辑切片；

18、遍历结束后，若最优逻辑切片不为空，则以所述最优逻辑切片作为归属逻辑切片，若最优逻辑切片为空，则表明不存在重叠的逻辑切片，所述向量命中不归属于任何逻辑切片。

19、作为更进一步的解决方案，在计算时间重叠度之前，将向量命中携带的百纳秒级时间值与逻辑切片的毫秒级时间值进行时间单位归一化，转换公式为：

20、t_ms=t_hecto_ns/10000；

21、其中，t_hecto_ns为百纳秒级时间值，t_ms为转换后的毫秒级时间值，以确保命中时间段与逻辑切片时间段在同一时间单位下计算重叠度。

22、作为更进一步的解决方案，所述对非时间型模态的逻辑切片以伪时间区间表示其顺序结构，具体包括：

23、对于文档类型的非时间型模态，以文档分块序号作为伪入点时间，分块序号加1作为伪出点时间，即伪时间区间为[chunkindex,chunkindex+1]；其中，chunkindex为文档分块序号；

24、对于图片类型的非时间型模态，其逻辑切片为整张图片，以固定的伪时间区间[0,1]表示；

25、经伪时间编码后，非时间型模态的逻辑切片与时间型模态的逻辑切片在数据结构上完全同构，均表示为带时间区间的逻辑切片，从而直接复用所述最大时间重叠度匹配算法，无需另建基于页码或位置的独立匹配逻辑。

26、作为更进一步的解决方案，时间型模态与非时间型模态的逻辑切片经所述最大时间重叠度匹配算法处理后，均携带相似度得分与归属逻辑切片信息，在同一排序空间内按相似度得分统一排序与合并，实现一次查询对时间型模态和非时间型模态的跨模态统一召回；新增模态类型时，仅需定义其伪时间编码规则即可接入统一检索框架。

27、作为更进一步的解决方案，所述模态标签回填与展示溯源，以及输出结构化检索结果，具体包括：

28、按模态类型将归属逻辑切片划分为图文集合与视频集合，所述图文集合包含图片和文档类型，所述视频集合包含视频分段类型；

29、对图文集合和视频集合分别执行双路集合召回，所述双路集合召回采用与所述嵌套查询相同的内部命中机制，对相应集合内的归属逻辑切片所关联的嵌套向量字段执行近邻查询；合并两路召回结果后按相似度得分降序排序并截取预设数量的结果，为每条结果分配序号；

30、对每条命中结果，依据其归属集合回填模态标签，从归属逻辑切片的展示字段回填可读展示文本，从描述字段回填画面描述，从帧图字段回填本地帧图访问地址以替换托管服务临时预览地址；

31、将多模态命中结果序列化为检索增强生成上下文，每条命中以【片段n】切片标题+展示内容+画面描述+时间区间+文档信息的格式拼接，其中n为该条命中被分配的序号，所述切片标题为归属逻辑切片的标题，所述展示内容从所述展示字段回填，所述画面描述从所述描述字段回填，所述时间区间为归属逻辑切片的时间区间，所述文档信息从归属逻辑切片关联的媒体资源文档的元数据字段回填，经xml转义后供大模型问答引用；

32、以及，根据模态类型为各命中结果提供可视化定位：对视频命中提供跳秒定位，跳转至命中起始时间对应的视频画面；对文档命中提供翻页定位，跳转至命中分页对应的文档页面；对图片命中提供缩放定位，高亮原图中对应图片区域。

33、另一方面，本发明还提供一种多模态媒体精确检索定位系统，用于实现如上任一项所述的一种多模态媒体精确检索定位方法，包括：

34、查询向量化模块，用于接收查询文本或查询图像，调用与建库时相同的嵌入模型生成查询向量，并将所述查询向量输出至所述嵌套向量召回模块；

35、嵌套向量召回模块，用于对媒体资源文档中预建的嵌套向量字段执行近邻查询，通过嵌套查询的内部命中机制返回携带入点时间和出点时间的细粒度向量命中结果，所述向量命中结果携带其所属媒体资源文档的标识，所述嵌套向量字段中的每个嵌套子文档包含入点时间、出点时间、内容及向量；所述嵌套向量召回模块将所述向量命中结果输出至所述时间重叠切片匹配模块；

36、伪时间统一映射模块，用于对非时间型模态的逻辑切片以伪时间区间表示其顺序结构，使非时间型模态的逻辑切片与作为时间型模态的视频和音频的逻辑切片均表示为带时间区间的逻辑切片，并将同构后的逻辑切片时间区间信息输出至所述时间重叠切片匹配模块；

37、时间重叠切片匹配模块，用于接收所述嵌套向量召回模块输出的向量命中结果和所述伪时间统一映射模块输出的逻辑切片时间区间信息，基于最大时间重叠度匹配算法，计算各向量命中携带的时间区间与该向量命中所属媒体资源文档下的各逻辑切片的时间区间之间的重叠度，将各向量命中映射至重叠度最大的逻辑切片，得到归属逻辑切片，并将所述归属逻辑切片输出至所述模态标签回填溯源模块；

38、模态标签回填溯源模块，用于对归属逻辑切片执行模态标签回填与展示溯源，并将回填后的结果输出至所述可视化定位输出模块；

39、可视化定位输出模块，用于输出携带模态标签、展示内容与定位信息的结构化检索结果。

40、与相关技术相比较，本发明能提供的一种多模态媒体精确检索定位方法及系统具备如下优势：

41、1、本发明通过建立嵌套向量字段并执行嵌套查询的内部命中机制，将检索命中从文档级细化到携带入点时间和出点时间的片段级，再通过最大时间重叠度匹配算法将向量命中归并到语义完整的逻辑切片，使得检索结果能够直接定位到视频的具体起止时刻或文档的具体分页，用户无需在长视频中人工拖拽进度条或在长篇文档中手动翻页寻找目标内容，实现了检索即定位的效果，显著提升了媒资检索效率和用户体验。

42、2、本发明通过引入伪时间编码机制，将文档的分块序号映射为伪时间区间、将图片以固定伪时间区间表示，使非时间型模态与视频和音频等时间型模态在数据结构上完全同构，从而复用同一套最大时间重叠度匹配算法和统一排序逻辑，解决了现有技术中时间型模态与非时间型模态需要各自维护独立定位算法、跨模态检索结果难以统一排序的问题，一套匹配算法即可覆盖全部模态，系统架构简洁统一，新增模态类型仅需定义其伪时间编码规则即可接入，扩展性显著增强。

43、3、本发明通过建立多嵌套向量字段族并行近邻查询，将不同语义维度的向量检索封装为统一的嵌套查询并结合布尔查询的过滤与阈值控制，同时从图像向量、文本向量、标签向量、人脸向量和切片向量等多个维度并行捕获命中，相比于单一向量字段检索，能够更全面地覆盖多语义维度下的媒体内相关片段，提高了检索的召回率和准确性。

44、4、本发明通过按模态类型划分图文集合与视频集合、回填模态标签并从展示字段和描述字段分别回填可读展示文本与画面描述、以本地帧图地址替换临时预览地址、将命中结果序列化为检索增强生成上下文以及根据模态类型分别提供跳秒定位、翻页定位和缩放定位，使得跨模态检索结果具有统一的模态辨识、稳定可靠的预览呈现和差异化的精准跳转能力，同时为大模型问答提供了可溯源的结构化引用上下文，实现了检索结果在可辨识性、可跳转性和可溯源性的完整闭环。