基于自监督视觉特征的以图搜图方法及系统与流程

本技术涉及计算机视觉与信息检索，尤指一种基于自监督视觉特征的以图搜图方法及系统，适用于视频溯源、影视素材管理、舆情监控及图片库检索等场景。

背景技术：

1、随着计算机视觉与多媒体检索技术的快速发展，以图搜图技术在公共安全、媒体内容管理、舆情监控、影视制作、智能相册等众多场景中得到了日益广泛的应用。现有以图搜图技术虽然取得了一定进展，但仍面临诸多技术瓶颈。首先，传统系统往往针对静态图片或视频进行独立设计，缺乏对多源异构数据的统一处理能力——静态图片检索系统仅支持图片库检索，视频检索系统通常只处理连续帧，即便部分系统声称兼容两者，也常因缺乏统一的特征提取和索引机制而导致检索结果偏差和管理困难。其次，在视觉特征表示层面，早期系统多依赖sift、hog等手工特征，对光照变化和场景复杂度极为敏感，难以获得稳定的语义表示；而基于cnn的深度特征虽然在一定程度上提升了表征能力，但严重依赖大规模标注数据，且缺乏对图像全局布局和场景结构等高层语义信息的有效建模，在面对跨场景、跨模态检索任务时表现不佳，难以满足高精度检索的实际需求。

2、针对视频数据的处理，现有技术的抽帧策略普遍较为简单粗糙，严重影响检索质量。固定时间间隔抽帧方式容易产生大量冗余帧，增加存储与计算负担；单一关键帧提取策略过度依赖帧间差异阈值，在场景快速变化时容易遗漏关键内容，在缓慢变化场景中又容易产生冗余；同时，传统抽帧方法缺乏对画面内容的感知能力，无法优先提取包含人脸、特定目标等关键信息的画面，导致抽帧结果质量不稳定，显著制约了视频检索的覆盖率与准确性。此外，在大规模检索场景下，当图片与视频帧规模达到亿级时，基于传统关系型数据库或倒排索引的检索架构难以满足实时性需求，缺乏高效的向量索引结构导致检索延迟高、系统扩展性差；并且检索结果缺乏有效的控制策略，同一视频可能返回大量相似帧，造成结果冗余堆叠，严重影响用户的使用体验。综上所述，如何在兼容多源数据输入的前提下实现高精度、高效率且结果可控的视觉内容检索，已成为本领域亟待解决的技术难题。

技术实现思路

1、本技术目的在于提供一种基于自监督视觉特征的以图搜图方法及系统，以解决现有技术中多源数据无法统一处理、视频抽帧策略简单粗糙导致冗余或遗漏、特征语义表达不充分、大规模向量检索效率低以及检索结果冗余不可控的技术问题。本技术通过多源输入数据统一入库生成待入库数据集合，利用dinov3自监督视觉模型提取全局语义特征向量并构建可检索特征索引库，基于余弦相似度匹配生成初步检索结果，再经相似度阈值过滤与同视频结果去重及数量限制输出最终检索结果，能够实现对静态图片与视频数据的统一特征空间管理和高精度高效率检索。

2、为达上述目的，本技术所提供的基于自监督视觉特征的以图搜图方法，具体包括：根据多源输入数据通过统一入库处理生成待入库数据集合；根据所述待入库数据集合通过dinov3自监督视觉模型提取生成全局语义特征向量集合；将所述全局语义特征向量集合与对应结构化索引信息通过向量数据库进行索引构建与批量存储生成可检索特征索引库；根据查询图片通过全局语义特征提取生成查询特征向量，根据所述查询特征向量与所述可检索特征索引库通过余弦相似度匹配生成初步检索结果；根据所述初步检索结果通过相似度阈值过滤与同视频结果去重及数量限制生成最终检索结果。

3、在上述基于自监督视觉特征的以图搜图方法，可选的，根据多源输入数据通过统一入库处理生成待入库数据集合包括：根据多源输入数据中的静态图片通过标准化预处理生成待入库图像；根据多源输入数据中的视频数据通过多策略级联处理生成待入库帧序列；根据所述待入库图像与所述待入库帧序列组合生成所述待入库数据集合。

4、在上述基于自监督视觉特征的以图搜图方法，可选的，根据视频数据通过多策略级联处理生成待入库帧序列包括：根据输入视频通过固定间隔抽帧生成基础帧序列；根据所述基础帧序列的帧间间隙通过动态关键帧抽取与场景切换检测生成补充帧序列，根据所述基础帧序列与所述补充帧序列合并生成初始候选帧集合；根据所述初始候选帧集合通过目标检测与优先级标记生成带入库优先级的候选帧集合；根据所述带入库优先级的候选帧集合通过特征级非极大值去重、自适应尺寸缩放与结构化时间索引标记生成所述待入库帧序列。

5、在上述基于自监督视觉特征的以图搜图方法，可选的，根据所述基础帧序列的帧间间隙通过动态关键帧抽取与场景切换检测生成补充帧序列包括：根据相邻帧通过灰度方差校验剔除无效过渡帧生成有效帧序列，根据所述有效帧序列通过绝对像素差值计算与自适应动态帧差阈值判定生成初筛动态帧；根据所述初筛动态帧通过结构相似度计算，结合基于图像二维信息熵的动态触发阈值校验生成动态关键帧；根据相邻帧通过dinov3自监督视觉模型提取全局语义特征并计算特征余弦相似度，当所述余弦相似度低于预设场景切换阈值时标记为场景切换帧；根据极高速运动场景的相邻帧通过稠密光流场计算与全局运镜抑制校验生成极速动态关键帧；根据所述动态关键帧、所述场景切换帧与所述极速动态关键帧合并生成所述补充帧序列；所述无效过渡帧包括纯黑帧、无信号帧、纯色帧和/或模糊帧；所述自适应动态帧差阈值基于历史帧差统计动态生成，且随帧平均亮度进行低照度衰减调整。

6、在上述基于自监督视觉特征的以图搜图方法，可选的，基于图像二维信息熵的动态触发阈值校验生成动态关键帧包括：根据当前帧各像素点的灰度值及其邻域灰度均值计算得到表征当前帧纹理复杂度的二维信息熵；根据滑动窗口内历史帧熵值的统计分布生成安全阈值与极值阈值；将当前帧的二维信息熵与所述安全阈值和所述极值阈值进行比较，通过非线性映射生成降级因子，根据基准阈值与所述降级因子的乘积动态调整结构相似度判定阈值；当所述初筛动态帧对应的结构相似度低于经动态调整后的所述判定阈值时，将当前帧标记为动态关键帧。

7、在上述基于自监督视觉特征的以图搜图方法，可选的，根据极高速运动场景的相邻帧通过稠密光流场计算与全局运镜抑制校验生成极速动态关键帧包括：根据相邻两帧通过稠密光流场计算生成各像素点的运动矢量；基于各像素点运动矢量的方向分布进行全局运镜判定，当判定为全局运镜状态时，停止基于稠密光流法的极速动态关键帧抽取判定；在非全局运动状态下，根据帧内所有像素的运动幅值通过极值统计生成局部极值运动幅值；当所述局部极值运动幅值同时超出相对背景阈值与绝对运动阈值时，标记当前帧为极速动态关键帧。

8、在上述基于自监督视觉特征的以图搜图方法，可选的，根据所述初始候选帧集合通过目标检测与优先级标记生成带入库优先级的候选帧集合包括：根据所述初始候选帧集合通过轻量级目标检测模型检测生成包含关键目标的候选帧；根据所述包含关键目标的候选帧通过检测置信度与目标占比校验生成满足预设条件的候选帧；将满足所述预设条件的候选帧标记为目标加权帧，赋予最高入库优先级；其余帧按来源抽帧策略标记对应优先级；根据标记生成带入库优先级的候选帧集合；其中，所述对应优先级由高至低依次为：场景切换帧、动态关键帧、固定间隔帧。

9、在上述基于自监督视觉特征的以图搜图方法，可选的，根据所述带入库优先级的候选帧集合通过特征级非极大值去重生成去重后帧集合包括：根据所述带入库优先级的候选帧集合中各候选帧的dinov3特征向量，计算候选帧两两之间的余弦相似度；根据所述余弦相似度与预设去重阈值划分视觉重复帧组；按照入库优先级从每个视觉重复帧组中选取优先级最高的单帧作为保留帧；根据所有保留帧组合生成所述去重后帧集合；所述入库优先级从高到低依次为目标加权帧、场景切换帧、动态关键帧、固定间隔帧。

10、在上述基于自监督视觉特征的以图搜图方法，可选的，将所述全局语义特征向量集合与对应结构化索引信息通过向量数据库进行索引构建与批量存储，生成可检索特征索引库包括：根据所述全局语义特征向量集合中各向量的数据来源标记数据类型，生成带类型标识的特征数据，所述数据类型包括静态图片与视频帧；为视频帧对应的特征向量配置视频唯一标识、相对时间戳与原始帧号生成带复合结构化索引的特征数据；对所有特征数据执行l2归一化处理生成标准化特征向量集合；根据所述标准化特征向量集合构建近似最近邻索引生成索引化特征集合；将所述索引化特征集合通过批处理写入向量数据库，生成所述可检索特征索引库。

11、在上述基于自监督视觉特征的以图搜图方法，可选的，根据所述查询特征向量与所述可检索特征索引库通过余弦相似度匹配生成初步检索结果包括：将归一化后的查询全局语义特征向量输入向量数据库检索接口，通过近似最近邻索引执行快速检索，召回预设数量的候选结果；计算查询特征向量与每个候选结果特征向量的余弦相似度，按余弦相似度数值降序排列生成所述初步检索结果。

12、在上述基于自监督视觉特征的以图搜图方法，可选的，根据所述初步检索结果通过相似度阈值过滤与同视频结果去重及数量限制生成最终检索结果包括：根据所述初步检索结果通过预设相似度阈值过滤生成过滤后结果集合，根据所述过滤后结果集合中的结构化索引信息，通过视频唯一标识分组生成多个视频分组结果；对每个视频分组结果按余弦相似度降序排序，保留预设数量上限的帧生成单视频精简结果；将所有单视频精简结果按全局相似度降序排列生成最终检索结果列表。

13、在上述基于自监督视觉特征的以图搜图方法，可选的，当查询输入为视频帧时包括：根据单视频精简结果与查询图片的时间戳信息，通过同源近邻时间窗口过滤剔除无效匹配结果，所述同源近邻时间窗口过滤用于剔除与查询图片属于同一视频且时间戳差值小于预设时间窗口的匹配结果；将过滤后的单视频精简结果按全局相似度降序排列生成最终检索结果列表。

14、本技术还提供一种基于自监督视觉特征的以图搜图系统，所述系统包括：多源数据入库模块、特征提取与存储模块和检索匹配模块；所述多源数据入库模块用于根据多源输入数据通过统一入库处理生成待入库数据集合；所述特征提取与存储模块用于根据所述待入库数据集合通过dinov3自监督视觉模型提取生成全局语义特征向量集合；以及将所述全局语义特征向量集合与对应结构化索引信息通过向量数据库进行索引构建与批量存储生成可检索特征索引库；所述检索匹配模块用于根据查询图片通过全局语义特征提取生成查询特征向量，根据所述查询特征向量与所述可检索特征索引库通过余弦相似度匹配生成初步检索结果；以及根据所述初步检索结果通过相似度阈值过滤与同视频结果去重及数量限制生成最终检索结果。

15、本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

16、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

17、本技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

18、本技术的有益技术效果在于：通过多源输入数据统一入库处理，使静态图片与视频数据在同一特征空间下统一表征与管理，显著简化了系统架构并降低了维护成本；采用dinov3自监督视觉模型提取全局语义特征向量，无需依赖标注数据即可学习跨场景、跨视角的高鲁棒性语义表征，克服了传统cnn特征表达能力不足的问题，显著提升了检索准确率和泛化能力；通过固定间隔抽帧、动态关键帧抽取与场景切换检测、目标加权排序及特征级非极大值去重的多策略级联处理，既保证了视频关键内容的全面覆盖，又大幅减少了冗余帧，有效降低了存储与计算负担；基于向量数据库构建可检索特征索引库，结合近似最近邻索引与余弦相似度匹配，实现了大规模特征库下的毫秒级高效检索；同时通过相似度阈值过滤和同视频结果去重及数量限制，有效避免了检索结果冗余堆叠，提升了结果紧凑性和业务可用性；整套方案模块化程度高、扩展性强，支持增量数据入库和索引动态更新，可广泛应用于视频溯源、影视素材管理、舆情监控及图片库检索等多种场景，具有良好的实用价值和推广前景。