基于交互式重分割与自适应门控的失物检索方法及系统与流程

本发明涉及基于交互式重分割与自适应门控的失物检索方法及系统，具体涉及一种面向交通枢纽场景的失物智能检索方法及系统。

背景技术：

1、大背景：

2、随着城市轨道交通网络的快速扩张，地铁站、公交枢纽站及铁路车站等交通节点已成为失物招领的高频场所。据2024年统计数据显示，全国铁路旅客发送量突破40亿人次，庞大的客流导致遗失物品处置压力急剧上升。然而，现有失物找回技术未能实现同步提升，大量遗失物品难以物归原主。以2024年国庆假期为例，即便广州南站等核心交通枢纽，失物找回率也仅为40%左右。偏低的找回率致使大量遗失物品长期积压，最终多被集中销毁或公益捐赠处理，造成严重的社会资源浪费。

3、当前，失物管理主要依赖以下三类技术路径：

4、路径一：人工登记与关键词检索：该方式包括关键词搜索与分类目录筛选两种模式。由于登记环节缺乏标准化规范，物品信息记录高度依赖工作人员的主观判断与自然语言表述，普遍存在特征描述模糊、关键信息缺失等缺陷，导致检索效率低下、匹配精度受限。

5、路径二：单一模态匹配方法：可进一步细分为图像匹配与语义匹配两类。图像匹配依托像素比对、目标检测等技术手段，其匹配效果的优劣受制于物品图像背景复杂度及图像质量。语义匹配依赖文字描述进行关联匹配，对近义词、模糊表达的理解与泛化能力不足，匹配效果受到显著制约。

6、路径三：多模态匹配方法：该方法核心在于构建统一语义空间，实现图像与文本模态间的深层关联，具体包括基于clip等模型的微调、模型融合等策略。该方法虽已验证可提升检索性能，但仍面临以下关键技术瓶颈：1）复杂背景干扰问题：物品图像中冗余背景信息严重削弱视觉特征的精准提取与匹配能力；2）融合权重固化问题：现有多模态特征融合普遍采用预设固定权重，难以根据图像质量优劣及文本描述详略程度实现动态自适应调节，导致某一模态特征明显缺失或表征错误时，失物匹配成功率大幅下降。

7、综上所述，现有技术主要存在以下三大核心缺陷：

8、（1）在复杂背景干扰下，图像物品目标的精准提取能力不足；

9、（2）现有多模态融合策略采用固定权重机制，无法根据图像质量与文本描述的详略程度实现图文特征的动态自适应调节，使得某一模态的缺失或表征错误均会导致匹配率下降。

10、（3）现有技术主要依赖图片/文字的相似度进行检索，未充分利用交通枢纽场景特有的时空约束信息，导致在大规模失物库中存在检索时间长、检索精度不足。

11、小背景：

12、现有系统在提取物品图像特征时未能有效剔除背景噪声，当失主/工作人员上传的物品图片是在杂乱环境中拍摄或选取的网购图片的背景杂乱时，冗余的背景会严重削弱视觉特征的表达，导致图像检索误匹配率大幅上升。

13、现有失物查找分为有图和无图两种场景，但有图场景与无图场景处理相互割裂，难以统一建模；虽说也有部分采用了多模态检索方法，但其主要采用固定权重融合图文特征，无法根据具体挂失数据的图像质量优劣与文本描述详略程度进行动态调节，导致匹配率不高。

14、传统相似度检索策略未充分利用交通枢纽场景特有的时空约束信息，在大规模失物库中存在检索时间长、检索精度不足的问题。

15、本发明主要解决地铁等交通枢纽场景失物招领系统中存在的三项核心技术问题：复杂背景干扰，场景割裂困境，检索效率低下。

技术实现思路

1、本发明的目的在于克服现有技术的上述缺陷，提供一种基于交互式重分割与自适应门控的多模态失物检索方法及系统，以解决交通枢纽场景下失物检索中存在的背景干扰、场景割裂与检索效率低下三大核心技术问题。

2、该方法通过引入语义差分驱动的交互式图像重分割机制，精准提取图像前景，采用自适应门控图文特征融合网络，实现了有图或无图双场景下图文特征的自适应融合，最终通过采用"粗筛召回-精细打分-综合排序"三阶段检索策略，实现物品的高效检索。

3、语义差分驱动的交互式重分割机制，依据用户修正标签与原始标签的语义差异，自动生成靶向sam提示点，精准重新分割并剔除无效背景，从根本上消除背景干扰对特征表达的污染。

4、自适应门控图文互补融合网络，依据图像综合可用度（清晰度×特征丰富度）与文本信息密度，动态计算权重α，实现有图有文与无图有文双场景的统一建模，“以质定权"动态调节各模态贡献度。

5、"粗筛-精细-综合排序"三阶段检索策略，结合时空约束进行确定性剪枝（时间窗72h，渐进式扩圈空间），再结合特征相似度、时空匹配度进行精细打分，输出排序结果。

6、为解决上述问题，本发明所采取的技术方案是：

7、一种基于交互式重分割与自适应门控的失物检索方法，步骤如下：

8、步骤一：挂失、拾物登记与初始特征提取；

9、步骤二：语义差分驱动的交互式重分割；

10、步骤三：自适应门控图文互补融合模块；

11、步骤四：三阶段检索与排序输出。

12、进一步，在步骤一，首先，接收失主或工作人员上传物品的图像和/或文本描述;

13、然后，采用多模态大模型对输入物品图像进行粗粒度语义解析，输出对应的类别标签及置信度分数，作为初始特征，选取最高置信度检测结果作为初始识别标签，然后将初始标签和置信度写入图像特征库；

14、采用大模型对输入文本描述提取文本特征向量；

15、在步骤一中，

16、当输入仅含文本时，图像的特征置零，进入纯文本检索模式；

17、粗粒度语义解析采用qwen-vl多模态大模型;

18、提取文本特征向量采用qwen2 。

19、进一步，在步骤一中，图像特征提取步骤；

20、当失主或工作人员上传物品图像时，采用qwen-vl多模态大模型对输入图像进行粗粒度语义解析；模型输出初始图像特征向量和一组候选检测框及对应的类别标签：；

21、其中，为边界框坐标，为预测物品类别、名称及特征，为置信度分数，选取最高置信度的检测结果作为初始识别标签，并生成初始物品掩膜；

22、文本特征提取步骤：

23、采用qwen2模型提取物品特征描述文字中的文本特征：；

24、式中，为 4096 维空间中的文本特征向量；

25、对于纯文本挂失，无图像输入场景，图像特征向量置零，系统自动切换至纯文本检索模式。

26、进一步，在步骤二中，首先，将步骤一的初始识别标签通过预设用户界面反馈给操作人员，操作人员识别初始识别标签存在偏差后，通过系统界面交互，确认物品类别、名称及特征，对偏差进行针对性调整；

27、然后，修正动作，触发语义差分分析引擎，使用预训练bert模型分别编码初始识别标签的旧标签与新标签，提取语义向量，通过依存句法解析提取标签的核心名词及修饰属性；

28、其次，通过集合差运算识别变更内容，变更内容包括类型变更和属性变更；类型变更指类别或名称的变更，属性变更指修饰属性的变更；

29、再次，针对标签类别/名称，分析步骤一的初始掩膜的几何拓扑特征，在初始掩膜的瑕疵区域生成正/负样本提示点集合；

30、之后，将步骤一上传的原始图像、初始掩膜及生成的提示点集合,共同输入sam模型，重新生成物品前景掩膜，输出带透明背景的png格式物品的新生成图像，并针对新生成图像重新提取图像特征替换初始特征写入图像特征库。

31、进一步，在步骤二中，

32、语义差分驱动的交互式重分割，

33、当系统将初始识别标签通过用户界面反馈给失主或工作人员后，若操作人员发现识别偏差，通过系统界面提交修正标签；

34、修正动作触发语义差分分析引擎，具体处理流程如下：

35、s2.1，标签级语义差异解析,

36、使用预训练bert模型分别编码旧标签与新标签，提取两者的语义向量与;

37、对旧标签与新标签标签进行依存句法解析，提取各自核心名词及其修饰属性集：

38、：{核心名词：，属性集：}；

39、：{核心名词：，属性集：}；

40、通过集合差运算识别变更内容：

41、若，则判定为类别/名称；若，但，则判定为属性变更；

42、s2.2，靶向分割提示生成；

43、s2.2.1,针对类别/名称的情形

44、分析初始掩膜的几何拓扑特征，识别当前掩膜中与新标签类别/名称不匹配的瑕疵区域，若识别到该区域不属于目标物品，则在该区域中心坐标处生成负样本提示点（），若识别到该区域属于目标物品，则在在目标物品核心区域生成正样本提示点（）;s2.2.2, 针对属性变更的情形;

45、当属性变更不影响物品整体轮廓，更新图像特征提取时的标签索引，以新属性标签重新触发特征提取，无需重新进行sam分割;

46、属性变更包括颜色、品牌、外观描述、形状、材质；

47、s2.1，sam驱动的掩膜重规划；

48、首先，将原始图像、初始掩膜及生成的提示点集合共同输入sam模型，利用sam的提示编码器与掩膜解码器，在提示点引导下对初始掩膜进行局部重绘，输出重规划化后的物品掩膜，并将原始图像与按位与操作生成带透明背景的png格式物品前景图像；

49、然后，针对重新提取图像特征，替换图像特征库中的初始特征记录，将所有更新后的图像特征与无需更新的图像特征统一汇总为图像特征集合。

50、进一步，在步骤三，首先，评估图像综合可用度，图像综合可用度包括图片质量因子和检测物品特征丰富度；

51、然后，评估文本信息熵，表征文本描述的信息密度；

52、通过门控网络，依据图像综合可用度与文本信息熵，动态计算图文融合权重；

53、当图像特征识别小于设定值时，提升文本特征权重，

54、当文本描述无法确定物品时，则结合权重来确定依赖特征，包括图像特征；

55、其次，图像特征与文本特征进行加权处理，将加权后的图像特征与文本特征组合，生成物品的图文综合特征向量，图文综合特征向量写入对应的失物特征库或拾物特征库。

56、进一步，在步骤三，自适应门控图文互补融合步骤如下；

57、s3.1，图像综合可用度评估；

58、综合考虑图片质量和图片语义特征，采用图片质量和检测物品特征丰富度作为图片综合可用度的评估依据，具体计算方法如下：

59、s3.1.1，图片质量评估；

60、分析物品图像本身的清晰度，归一化为质量因子，值越高表示图像越清晰；

61、s3.1.2,检测物品特征丰富度计算：

62、结合步骤二的图像特征提取模型，统计能够识别的物品特征数量，计算得到物品特征丰富度：，

63、其中，为期待特征数；

64、物品特征包括类别、名称、颜色、品牌、外观描述、形状、材质等；

65、s3.1.3， 图片综合可用度计算：

66、综合考虑以上两种特征得到图片综合可用度：；

67、其中，为平衡系数；

68、s3.2，文本信息可用度评估；

69、计算文本信息可用度：

70、；

71、其中，为文本描述的信息熵，文本中描述越详细，信息熵越高；为文本描述在理论上或设定标准下能达到的最大信息熵；

72、s3.3，门控网络权重计算；

73、根据图像质量和文本质量动态调整融合占比，即以质定权，当图像特征识别小于设定阈值时，依赖更多文本特征；当文本描述无法用于识别物体时，依赖更多图像特征；

74、设置图像特征融合权重为：

75、；

76、其中，为激活函数，为权重矩阵，为偏置；

77、则文本特征融合权重为：；

78、s3.4，组合特征生成；

79、最终物品的图文综合特征向量为：

80、；

81、将写入对应的失物特征库或拾物特征库，实现有图有文、无图有文两种挂失模式的统一建模与统一存储。

82、进一步，在步骤四，首先，粗筛召回阶段，

83、利用时间窗口、空间范围、设定的物品类型标准大类进行确定性剪枝，压缩匹配目标的候选集；

84、然后，精细打分阶段，

85、针对候选集内每条记录，综合计算特征相似度和时空匹配度，获得加权综合匹配度；

86、其次，综合排序阶段，按综合匹配度降序排列，依据得分阈值划分高度疑似、特征相似、部分匹配三个等级，将排名第一的匹配结果及对应相似情况标签推送用户进行确认；

87、时间窗口设定为丢失时间后72小时内或其他设计阈值；

88、空间范围设定为从同站点、同线路、全线网渐进式扩圈；

89、在步骤四中，在分层检索与多因素排序中，执行以下步骤，

90、s4.1，粗筛召回阶段；

91、利用以下约束条件对目标特征库进行确定性剪枝，大规模压缩候选集：

92、s4.1.1，时间约束：设定时间窗口，仅保留在此时间范围内登记的拾物记录作为候选集；

93、s4.1.2，空间约束：采用同站点，同线路，全线网渐进式扩圈策略；

94、检索同一站点，若候选数量不足则扩展至同一线路，仍不足则扩展至全线网，在控制候选集规模的同时保障召回率；

95、s4.1.3，物品类型约束：按照统一标准物品类别进行过滤，物品类别包括大类、小类，候选记录的物品类别须与挂失物品类别一致；

96、s4.2，精细打分；

97、针对候选集内的每条挂失或拾物记录，逐一计算综合匹配度，综合匹配度由特征相似度与时空匹配度加权计算得到，其中：

98、特征相似度为：

99、；

100、时空匹配度为：

101、；

102、综合匹配度为：

103、；

104、其中：为挂失物品图文综合特征；为拾捡物品图文综合特征；为时空子项平衡系数（），用于调节时间项与空间项在时空匹配度中的权重；为时间衰减因子；为空间层级匹配系数；为特征相似度权重（），用于平衡特征相似度与时空匹配度对最终结果的影响；为挂失物品与候选拾物物品的最终综合匹配度，值越高表示越匹配；

105、综合排序;

106、按照降序排列所有候选记录，并依据预设得分阈值将结果划分为三个等级：

107、高度疑似,;

108、一般相似,;

109、差异明显.;

110、根据设置条件，

111、若没有高度相似及一般相似的物品，则不推送匹配物品；

112、若有高度相似或一般相似的物品，则将排名第一的匹配结果连同对应等级标签推送给失主或工作人员进行人工确认，最终完成失物匹配闭环,

113、其中,和分别为高度疑似和一般相似的得分阈值，可根据实际业务需求调整。

114、一种基于交互式重分割与自适应门控的失物检索系统，用于执行上述的方法。

115、进一步，系统搭接在现有门控网络，包括：

116、挂失或拾物登记模块：用于接收物品图像和/或文本描述输入，采用多模态大模型提取图像特征，采用文本大模型提取文本特征，生成初始识别标签和物品掩膜；

117、偏差矫正模块：用于通过用户界面获取操作人员的交互修正参数，调用语义差分分析引擎识别标签变更类型，生成靶向sam提示点，驱动sam模型重新精确分割并更新图像特征库；

118、特征融合模块：用于结合双路质量感知门控网络，分别评估图像综合可用度与文本信息密度，动态计算图文融合权重，生成图文综合特征向量并存入失物特征库或拾物特征库；

119、检索匹配模块：用于执行三阶段检索，综合特征相似度、时空匹配度等条件，建立多层检索与多因素排序机制，输出带等级标签的匹配结果列表。

120、挂失或拾物登记，面向乘客以及面向工作人员提供登记登记入口，用于接收失主提交的失物信息或工作人员录入的拾物信息，支持图像与文本双通道输入；

121、登记模块集成qwen-vl与qwen2模型推理接口，完成初始图像特征与文本特征的提取，生成初始识别标签和物品掩膜，并将原始信息与初始特征暂存于临时登记缓存区；

122、初始识别标签包括物品类别、名称、颜色、形状、材质、外观描述、品牌。其中，颜色、形状、材质、外观描述、品牌可统称为特征。将识别出来特征通过大语言模型进行融合，形成物品特征的一段话描述，结合初始标签中的物品类别、名称一起对外展示，称为物品初始特征。本发明提出三项核心技术方案，针对性地解决现有技术的缺陷：

123、针对背景干扰问题：引入语义差分驱动的交互式重分割机制，将模型提取图像特征结合人工校验以及训练的bert模型识别标签差异、计算变更类型、生成靶向sam提示点，最后驱动sam重新精确分割，实现物品的精准抠取，从根本上消除背景冗余对特征表达的污染；

124、针对场景割裂问题：构建自适应门控图文互补融合网络，通过图片质量与检测物品特征丰富度评估图像综合可用度，通过文本信息熵表征文本可用度，最后，结合图像综合可用度、文本信息熵，通过门控网络动态计算图文融合权重，实现有图有文与无图有文两种挂失模式的统一自适应处理；

125、针对检索效率问题：设计三阶段检索策略，提升检索效率与精度。阶段一粗筛召回阶段：利用时间（72小时窗口）、空间（同站点→同线路→全线网渐进扩圈）、物品类型约束进行确定性剪枝，大规模压缩候选集；阶段二精细打分阶段：综合考虑时空特征和物品特征，构建时空-物品特征综合匹配度计算方法，最终得到筛选出物品的加权综合匹配度；阶段三综合排序阶段：按得分阈值划分高度疑似/特征相似/部分匹配三级，将排名第一的物品及对应的相似情况标签推送用户进行确认。

126、本发明的技术效果：

127、本发明消除背景干扰，提升分割精度；

128、通过语义差分交互式重分割机制，融合图像特征、人工校验与文本模型标签差异识别、靶向生成提示点、驱动 sam 重分割，精准完成前景目标抠取，有效规避背景冗余信息干扰，净化特征表达质量。

129、本发明摆脱场景割裂困境，强化图文融合能力；

130、搭建自适应门控图文互补融合网络，双向评估图像、文本有效可用度，动态自适应调整图文融合权重，兼容有图有文、无图有文多类挂失应用场景，解决多场景下特征融合失衡问题。

131、本发明优化检索逻辑，兼顾效率与匹配精度

132、采用三阶段分层检索架构，依托时空、品类约束快速压缩候选数据集，结合多维特征完成精细化匹配打分，并分级分类排序输出结果，大幅缩减检索耗时，同时提升物品匹配准确率与结果推送合理性。c