一种面向含噪监控视频的跨模态自然语言检索方法及系统与流程

本发明涉及视频处理，具体为一种面向含噪监控视频的跨模态自然语言检索方法及系统。

背景技术：

1、随着平安城市、雪亮工程等建设的持续推进，公安部门积累了pb级监控视频数据。所以如何从海量非结构化视频中快速、准确地检索目标，已成为公共安全领域的核心技术难题。传统视频图像检索方法严重依赖人工预标注标签（如车牌号、目标id、物体类别），存在三大痛点：一是标注成本高，海量数据的人工标注消耗巨大人力，且标注粒度无法覆盖“徘徊”“交易”等抽象行为描述；二是语义鸿沟深，封闭的固定标签体系无法响应警员口语化、未曾预定义的查询需求（如“找穿红色上衣背黑色双肩包骑电动车的人”）；三是检索效率低，逐帧遍历无法在亿级底库中满足秒级响应，且视频连续帧产生海量近似冗余特征，导致向量库急剧膨胀。此外，现有检测体系通常仅支持“人/机动车/非机动车”三类固定目标，大量物证、动物、场景物件及城市管理线索均不在可检索范围内，严重制约了视频图像数据的实战应用价值。

2、近年来，clip、blip等多模态预训练模型通过图文对比学习实现了视觉-语言语义空间的统一映射，为“以文搜图”提供了技术基础；大语言模型的出现亦为实现口语化自然语言查询的结构化解耦提供了新路径。然而，现有技术方案仍存在诸多不足：如cn114461327a等通用图片检索方案未涉及含噪监控视频的时序去冗余与时空约束检索；安防领域的既有方案多采用固定类别标签或属性表关键字检索，未能将开放词汇扩展目标检测、多因子最优帧去冗余、元数据倒排索引与语义向量检索的并行联合约束有机整合为面向公安实战的完整检索方案。因此，现在亟需一种方案能够同时解决含噪退化图像下的检索精度保持、可检索目标种类扩展、向量库膨胀控制、口语化查询的双通道解析与并行检索等一系列公安实战特有的复合性技术问题。

技术实现思路

1、针对现有技术中所存在的不足，本发明的目的在于提供一种面向含噪监控视频的跨模态自然语言检索方法及系统以解决现有技术含噪退化图像检索精度低、海量视频帧导致向量库膨胀、元数据约束与语义检索脱节的技术问题。

2、为实现上述目的，本发明采用了如下的技术方案：

3、一种面向含噪监控视频的跨模态自然语言检索方法，包括步骤：

4、s1：获取视频流并生成关键帧，为每个关键帧关联包含时间信息、空间信息和场景类别信息的元数据记录，并对关键帧进行预处理；

5、s2：利用开放词汇检测模型对关键帧执行目标检测和场景分类：所述目标检测以自然语言描述的目标类别集合作为驱动，将预定类别以外的扩展目标检测并裁剪为目标图像块；所述场景分类对关键帧整体图像提取场景类别标签，作为所述元数据记录中的场景类别信息；

6、s3：对连续关键帧序列中的前景目标进行跟踪，为每个目标分配跟踪标识并维持其生命周期，对同一跟踪标识在生命周期内的所有帧按预设质量评价准则计算质量评分，选取评分最高的唯一帧作为代表帧输出，其余帧跳过后续编码；

7、s4：采用多模态预训练模型的图像编码器对所述代表帧中的目标图像块进行编码，生成语义向量；

8、s5：构建双重索引体系：对所述语义向量构建向量索引；对所述元数据记录的各字段分别构建倒排索引，各字段的取值以位图结构存储；

9、s6：接收自然语言查询，利用大语言模型将所述查询解析为元数据约束和语义查询向量；

10、s7：将所述元数据约束在所述倒排索引中查找满足约束的第一候选集合，将所述语义查询向量在所述向量索引中检索得到第二候选集合，两条检索通道并行执行，对所述第一候选集合与所述第二候选集合取交集，得到最终检索结果。

11、进一步，所述s2中目标检测使用的自然语言描述的目标类别集合采用分层设计，包含动物类别层、随身物品类别层、城市管理物件类别层及交通工具部件类别层，不包含目标的属性描述；目标的属性信息与可观测的姿态和行为信息由s4中多模态预训练模型自动抽取到语义向量中；所述场景分类使用的自然语言描述为公安实战相关场景类型集合。

12、进一步，所述s3中预设质量评价准则为多因子质量评分：

13、

14、式中，为目标框占图像面积比，为清晰度指标，为依据目标宽高比与可见关键点数目估计的正面对齐倾向分值，为由目标框与邻近检测框的交并比推导的遮挡率；、、、为加权系数。

15、进一步，所述s5中元数据倒排索引的具体结构为：时间索引将时间信息按预设时间粒度分桶，每个桶对应一个位图记录该时段内出现的所有目标标识；设备索引中每个设备标识对应一个位图记录该设备采集的所有目标标识；场景索引中每个场景类别标签对应一个位图记录属于该场景的所有目标标识；所述位图采用咆哮位图进行压缩存储，咆哮位图将整数空间划分为多个容器，根据容器内元素数量分别采用有序数组存储、位图存储或游程编码存储。

16、进一步，所述s5中向量索引为分层结构：热数据层将近期或高频查询时段的特征构建基于近邻图的索引驻留高速存储器，冷数据层将历史低频特征构建倒排文件索引存储于磁盘；索引支持增量合并，新到达的特征批次经压缩后追加至对应层，无需全量重建索引。

17、进一步，所述s7中两条检索通道的具体执行方式为：第一通道对查询中提取的时间范围、设备集合、场景标签分别查找对应位图，通过多字段and运算得到满足所有元数据约束的第一候选集合；第二通道将查询向量在向量索引上执行近似最近邻搜索召回top-k候选作为第二候选集合；两条通道并行执行，最终通过位图and运算对两个候选集合取交集；若交集结果数超过阈值，则对交集中的候选调用基于跨模态交叉注意力的图像-文本匹配模块进行重排序。

18、进一步，还包括增量微调步骤：收集检索反馈形成正样本图文对与负样本图文对，累积至触发阈值后，通过低秩适配器对所述多模态预训练模型的注意力投影矩阵注入可训练低秩矩阵执行微调；更新后的适配器权重热加载至在线服务。

19、一种面向含噪监控视频的跨模态自然语言检索系统，包括：

20、视频接入与预处理模块，用于获取视频流并生成关键帧，为每个关键帧关联包含时间信息、空间信息和场景类别信息的元数据记录，并对关键帧进行预处理；

21、目标检测与场景分类模块，用于以自然语言描述的目标类别集合驱动开放词汇检测模型对关键帧执行目标检测，将预定类别以外的扩展目标检测并裁剪为目标图像块；以及用于对关键帧整体图像提取场景类别标签，作为所述元数据记录中的场景类别信息；

22、目标跟踪与去冗余模块，用于对连续关键帧序列中的前景目标进行跟踪并维持生命周期，对同一目标在生命周期内的所有帧按预设质量评价准则计算质量评分，选取评分最高的唯一帧作为代表帧输出；

23、特征编码模块，基于多模态预训练模型，用于对所述代表帧中的目标图像块进行编码，生成语义向量；

24、索引构建模块，用于对所述语义向量构建向量索引，以及对所述元数据记录的各字段分别构建以位图结构存储的倒排索引；

25、查询解析模块，基于大语言模型，用于接收自然语言查询并将所述查询解析为元数据约束和语义查询向量；

26、双通道并行检索模块，用于将所述元数据约束在所述倒排索引中查找第一候选集合，以及将所述语义查询向量在所述向量索引中检索得到第二候选集合，两条通道并行执行并对两个候选集合取交集，得到最终检索结果；

27、结果输出与反馈模块，用于将检索结果返回用户界面，并将反馈数据回流至增量微调管线。

28、进一步，所述系统采用三层架构：用户界面层包含会话管理模块，支持会话创建、持久化存储及多轮对话的上下文管理；功能服务层包含数据接入板块、模型服务板块及公共组件模块；基础资源层实现对底层计算资源的统一纳管与弹性调度。

29、相比于现有技术，本发明具有如下有益效果：

30、本发明通过开放词汇检测模型以自然语言描述驱动，将可检索目标从传统固定类别扩展至任意自然语言可描述的目标，经多模态模型编码后自动捕获目标外观属性与行为语义；同时引入基于目标跟踪的多因子质量评价机制，在目标完整生命周期内选取质量最优的唯一个体帧进行向量化，从源头抑制冗余特征膨胀；并构建元数据倒排索引与语义向量索引的双重检索体系，结合大语言模型对口语化查询进行结构化解析，实现元数据约束过滤与语义向量检索的双通道并行执行及候选集合交集运算，显著提升了检索精度与效率，该系统还支持基于检索反馈的低秩适配增量微调，无需全量重训练即可持续适应本地长尾场景，具有良好的工程实用性。