基于模型候选分歧分析的地标建筑图像检索系统的制作方法

本发明涉及图像检索，尤其涉及一种基于模型候选分歧分析的地标建筑图像检索系统。

背景技术：

1、地标建筑图像检索是计算机视觉和图像检索领域的重要应用方向，在智慧旅游、增强现实、城市导览、地理信息服务以及文化遗产数字化等场景中具有广泛应用价值。用户通过移动终端拍摄地标建筑图像后，系统需要在地标库中快速检索出对应地标，并给出相对可靠的识别结果。

2、现有地标建筑图像检索方法通常依赖单一视觉特征，或者采用多个模型提取特征后直接进行特征融合、分数融合或最终结果重排序。对于一般区分度较高的地标图像，此类方法能够取得一定效果；但在地标外观相似、拍摄条件复杂或图像质量较差的情况下，仍容易出现误识别或低可靠性输出。具体而言，现有技术至少存在以下问题：

3、1、相似地标之间易发生混淆；许多地标建筑在整体轮廓、立面结构、色彩风格或局部构件上具有较高相似性，例如不同城市中风格接近的教堂、塔楼、桥梁或纪念性建筑。对于此类高相似地标，仅依赖单一模型或单一特征，往往难以同时兼顾整体轮廓信息和局部判别细节信息，导致第一候选结果不稳定；2、现有多模型方法缺少对候选分歧的专门分析；当多个模型共同参与检索时，现有方法通常直接对多个模型输出进行特征级融合或分数级融合，而较少保留各模型的独立候选结果并进一步分析这些候选结果之间的一致性与分歧程度。因此，当不同模型对同一查询图像给出不同候选地标时，系统往往缺少一套机制来判断当前查询是否属于高混淆查询，也难以据此触发更有针对性的后续辨识处理；3、缺少面向高混淆查询的局部证据二次辨识机制；现有系统在得到第一阶段候选结果后，通常直接输出相似度最高的候选地标，或者仅进行一般性的重排序处理。对于整体外观相似但局部结构细节存在差异的地标，缺少一种仅针对少量混淆候选地标提取局部判别证据并进行二次辨识的机制，导致系统难以有效利用塔尖、穹顶、窗格、拱券、钟面、檐口等具有稳定判别价值的局部结构信息；4、缺少针对不确定结果的拒识控制；现有地标检索系统通常倾向于输出得分最高的候选结果，而对高混淆场景下的低置信度结果缺少有效的拒识或待确认机制。当第一候选与第二候选之间区分不足时，系统仍可能输出错误识别结论，从而降低整体检索可靠性；5、图像质量因素未能与后续混淆判定协同结合；用户拍摄的地标图像往往存在模糊、过暗、过亮、对比度不足或局部遮挡等情况。现有方法即使对图像质量进行预处理，也多将其作为单独的增强环节，而未将图像质量标记进一步用于后续的候选分歧分析、二次辨识触发条件修正以及最终拒识控制中。

技术实现思路

1、有鉴于此，本发明提供了一种基于模型候选分歧分析的地标建筑图像检索系统，用以提高相似地标之间的区分能力和检索结果的可靠性。

2、第一方面，本发明提供了一种基于模型候选分歧分析的地标建筑图像检索系统，所述系统包括：

3、图像预处理模块、多模型独立候选生成模块、候选分歧分析模块、混淆地标集合构建模块、局部证据二次辨识模块和结果差值判决与拒识模块；

4、图像预处理模块用于接收输入的地标建筑图像，并对地标建筑图像进行质量筛查与标准化处理，获得预处理后的地标建筑图像；

5、多模型独立候选生成模块用于将预处理后的地标建筑图像分别输入多个异构地标检索模型，由各异构地标检索模型独立执行候选检索，并输出各自的候选地标列表；

6、候选分歧分析模块用于对多个异构地标检索模型输出的候选地标列表进行分歧分析，并计算当前查询图像的混淆度评分；

7、混淆地标集合构建模块用于在当前查询判定为高混淆查询时，基于多个异构地标检索模型输出的候选地标列表构建混淆地标集合；

8、局部证据二次辨识模块用于在当前查询判定为高混淆查询时，仅针对所述混淆地标集合执行二次辨识，以提高外观相似地标之间的区分能力；

9、结果差值判决与拒识模块用于在触发局部证据二次辨识时根据各候选地标的二次辨识得分进行最终判决。

10、可选地，所述质量筛查至少用于确定图像的清晰度、亮度和对比度，并生成质量标记；所述标准化处理用于统一图像尺寸和颜色表示，以供后续候选生成与分歧分析使用；

11、所述图像预处理模块包括图像质量评估与标记子模块、低质图像补偿子模块和输入尺度统一子模块；

12、图像质量评估与标记子模块用于评估输入地标建筑图像的成像质量，并生成对应的质量标记；所述质量评估基于多个指标的综合评分，所述质量标记用于表征当前查询图像的可辨识程度，并供后续候选分歧分析、混淆地标集合构建和局部证据二次辨识使用；

13、低质图像补偿子模块用于根据图像质量评估结果，对处于补偿范围内的低质量图像执行补偿处理；所述补偿处理至少包括亮度补偿、对比度调整和轻量噪声抑制中的一种或多种；当图像质量小于预设下限时，保留低质量标记，以供后续高混淆查询判定或拒识判定使用；

14、输入尺度统一子模块用于对输入图像进行尺寸统一、颜色表示统一和像素值归一化处理，以形成统一输入表示；统一输入表示同时用于第一阶段候选生成和第二阶段局部证据提取，从而保证不同阶段处理结果在尺度和坐标上的一致性。

15、可选地，所述图像质量评估与标记子模块包括模糊度检测单元、亮度分布与曝光状态分析单元、对比度与局部可辨识性评估单元和综合质量评分与质量标记生成单元；

16、模糊度检测单元用于检测输入图像的清晰程度，并输出模糊标记；所述模糊标记用于表征图像边缘和结构细节的可辨识程度，并用于后续高混淆查询判定和二次辨识触发阈值的修正；采用基于拉普拉斯响应的清晰度指标，即拉普拉斯方差作为模糊度评价依据，所述拉普拉斯方差定义为：

17、；

18、其中，表示图像i的拉普拉斯算子，var表示方差计算，当模糊度指标低于预设阈值时，判定图像过于模糊；

19、亮度分布与曝光状态分析单元用于分析输入图像的亮度分布特性，并输出曝光状态标记；所述曝光状态标记至少用于区分正常曝光、欠曝光和过曝光状态，并用于修正后续高混淆查询判定和局部证据一致性评价结果；通过图像平均亮度和亮度离散程度对曝光状态进行量化表征，计算图像的平均亮度和亮度标准差；所述平均亮度定义为：

20、；

21、其中，h和w分别为图像的高度和宽度，l(i, j)表示像素(i, j)的亮度值；判断图像是否过暗或过亮；

22、对比度与局部可辨识性评估单元用于评估输入图像中的亮暗差异程度，并输出对比度标记；所述对比度标记用于表征局部结构和纹理证据的可辨识程度，并用于修正后续局部证据二次辨识中的一致性评分；采用基于最大亮度与最小亮度差异的对比度指标进行评价，其定义为：

23、；

24、其中，和分别为图像的最大亮度值和最小亮度值；当对比度c小于时，则判定图像对比度不足；

25、综合质量评分与质量标记生成单元用于综合模糊度指标、亮度分布指标和对比度指标，计算输入图像的综合质量评分，并据此生成质量等级标记；所述质量等级标记至少用于区分正常质量、可补偿质量、高混淆风险质量和拒识质量；所述质量等级标记用于后续候选分歧分析阈值修正、局部证据二次辨识触发以及结果差值判决中的拒识控制，其计算公式为：

26、；

27、其中，，，为权重系数，满足；f，g，h为归一化函数；当质量评分q小于预设接受阈值时，触发自适应增强或拒识处理；根据综合质量评分q生成质量等级标记label_q，并将所述质量等级标记发送至候选分歧分析模块和局部证据二次辨识模块；当综合质量评分大于或等于第一阈值时，则判定为正常质量图像；当综合质量评分小于第一阈值且大于或等于第二阈值时，则判定为可补偿质量图像；当综合质量评分小于第二阈值且大于或等于第三阈值时，则判定为高混淆风险质量图像，并提高二次辨识触发概率；当综合质量评分小于第三阈值时，则判定为拒识质量图像，并输出拒识或待补拍提示；其中，所述第一阈值大于第二阈值，所述第二阈值大于第三阈值。

28、可选地，所述候选地标列表基于预先构建的地标索引库生成；每个候选地标列表至少包括候选地标标识、候选排序位置和相似度得分；所述多个异构地标检索模型在视觉关注方向上存在差异，至少包括偏重全局轮廓语义的检索模型和偏重局部结构细节的检索模型；

29、所述多模型独立候选生成模块包括异构候选生成模型配置子模块、异构候选模型调用子模块、统一输入适配子模块、候选地标列表生成子模块和候选输出有效性记录子模块；

30、异构候选生成模型配置子模块用于配置多个异构地标检索模型；所述多个异构地标检索模型在视觉关注方向上存在差异，至少包括偏重全局轮廓语义的检索模型和偏重局部结构细节的检索模型，以使不同模型能够从不同角度对输入图像生成候选地标列表，为后续候选分歧分析提供互补候选结果；异构候选模型调用子模块用于按照预设配置调用多个异构地标检索模型，使所述多个异构地标检索模型分别对同一输入图像独立执行候选检索，并输出各自的候选地标列表；

31、统一输入适配子模块用于对输入图像进行统一输入适配，使所述输入图像符合多个异构地标检索模型的输入要求；所述统一输入适配至少包括尺寸适配和数值归一化处理，并保持不同模型输出候选结果之间的可比性，以便后续进行候选分歧分析；

32、候选地标列表生成子模块用于基于多个异构地标检索模型分别对输入图像生成候选地标列表；每个候选地标列表至少包括多个候选地标标识、对应排序位置以及相似度得分；所述多个候选地标列表作为后续候选分歧分析模块的输入，所述多个异构地标检索模型在第一阶段仅进行独立候选生成，不进行特征级融合；

33、候选输出有效性记录子模块用于记录各异构地标检索模型的候选输出状态，并识别候选列表长度异常、候选得分分布异常或重复候选过高的情况；所述记录结果用于后续候选分歧分析中的异常候选修正。

34、可选地，所述异构候选生成模型配置子模块包括全局语义候选生成模型、局部结构细节候选生成模型和可选增强型候选生成模型；

35、全局语义候选生成模型用于从输入图像中提取反映地标整体轮廓、主体结构和全局语义信息的表示，并基于全局语义信息的表示生成偏重全局语义的候选地标列表；

36、局部结构细节候选生成模型用于提取输入图像中与地标判别相关的局部结构细节信息，并基于所述局部结构细节信息生成候选地标列表，以增强对外形相似地标的区分能力；

37、可选增强型候选生成模型用于提取除全局语义信息和局部结构细节信息之外的补充判别信息，并基于所述补充判别信息生成候选地标列表，以增强复杂视角、低质量图像或特殊拍摄条件下的候选多样性与稳健性；

38、通过异构地标检索模型，针对同一输入图像独立生成多个候选地标列表；其中，全局语义候选生成模型和局部结构细节候选生成模型构成第一阶段候选生成的基本模型组合，可选增强型候选生成模型用于在特定场景下补充候选多样性；保留各模型的独立候选结果，并利用候选结果之间的一致性和分歧程度判断当前查询是否属于高混淆查询。

39、可选地，所述混淆度评分至少基于以下信息中的两项或两项以上确定：不同模型候选地标列表之间的重合率、不同模型第一候选地标的一致性、候选排序一致性、各模型第一候选与第二候选之间的分数差值、以及输入图像的质量标记；当所述混淆度评分大于或等于预设阈值时，判定当前查询属于高混淆查询；

40、所述候选分歧分析模块包括候选重合率分析子模块、候选排序一致性分析子模块、候选分数间隔分析子模块、混淆度评分计算子模块、二次辨识触发子模块和质量标记修正子模块；

41、候选重合率分析子模块用于统计多个异构地标检索模型输出的候选地标列表之间的重合程度；候选地标列表之间的重合程度用于反映不同模型对当前查询图像的初步判断一致性；候选重合率的计算公式为：

42、设第m个模型输出的前k个候选地标集合为，则两个模型之间的候选重合率表示为：

43、；

44、多个模型的总体重合度由各模型对之间的平均重合率构成；

45、候选排序一致性分析子模块用于分析多个异构地标检索模型输出的候选地标列表在排序位置上的一致性；设候选地标c在第m个模型候选列表中的排名为，则候选地标c的排序离散度表示为：

46、；

47、其中，为候选地标c在多个模型中的平均排名；

48、候选分数间隔分析子模块用于分析多个异构地标检索模型输出的候选地标列表中第一候选与第二候选之间的分数间隔；设第m个模型输出的第一候选得分为，第二候选得分为，则分数间隔表示为：

49、；

50、混淆度评分计算子模块用于基于候选重合率、候选排序一致性、候选分数间隔以及输入图像的质量等级标记，计算当前查询图像的混淆度评分；所述混淆度评分用于表征当前查询图像在多个异构地标检索模型之间的候选分歧程度；混淆度评分计算公式为：

51、；

52、其中，是平均候选重合率，是平均候选离散度，是归一化后的平均分数间隔，是由图像质量等级转换得到的风险项；

53、二次辨识触发子模块用于根据混淆度评分决定是否启动针对混淆地标集合的二次辨识流程；当混淆度评分大于或等于第一预设阈值时，触发后续混淆地标集合构建和局部证据二次辨识；当混淆度评分小于或等于第二预设阈值时，允许直接采用第一阶段候选结果进入最终判定；当混淆度评分大于第二预设阈值且小于第一预设阈值时，仅对候选列表中前预设数量个地标执行轻量级局部证据校验，并根据轻量级局部证据校验结果修正第一阶段候选得分后进入最终判定；其中，第一预设阈值大于第二预设阈值；

54、质量标记修正子模块用于根据输入图像的质量等级标记对混淆度评分阈值和二次辨识触发条件进行修正；当输入图像属于高混淆风险质量或低质量状态时，提高二次辨识触发概率和拒识敏感度；当输入图像属于正常质量状态时，降低二次辨识触发概率。

55、可选地，所述混淆地标集合至少包括在多个候选地标列表中共同出现且排序位置高于预设排名阈值的候选地标，以及与当前第一候选地标在历史检索中混淆频次大于预设频次阈值的候选地标；构建后的混淆地标集合用于后续局部证据二次辨识，以提高相似地标之间的区分能力并控制二次辨识计算范围；

56、所述混淆地标集合构建模块包括混淆候选优先选取策略、历史混淆地标补入策略、混淆集合范围限制策略和混淆地标集合输出子模块；

57、混淆候选优先选取策略用于根据多个异构地标检索模型的候选地标列表，优先选取在多个候选地标列表中共同出现且排序位置高于预设排名阈值的地标，作为混淆地标集合的基础候选；

58、历史混淆地标补入策略用于根据历史检索中记录的混淆频次高于预设频次阈值的地标对，将与当前第一候选地标在历史检索中混淆频次高于预设频次阈值的地标补入混淆地标集合，以避免仅依据当前候选地标列表而遗漏潜在混淆地标；

59、混淆集合范围限制策略用于对基础候选和补入候选进行去重、优先级排序，并将混淆地标集合的候选数量限制在预设范围内，以控制后续局部证据二次辨识的计算开销；

60、混淆地标集合输出子模块用于输出最终混淆地标集合，并将所述混淆地标集合发送至局部证据二次辨识模块调用；输出结果还包括混淆度评分和高混淆查询判定结果。

61、可选地，所述局部证据二次辨识模块接收输入的地标建筑图像、混淆地标集合以及各候选地标对应的支持图像或支持区域信息，对地标建筑图像中的局部判别证据与各候选地标的局部支持证据进行比较，得到各候选地标的二次辨识得分，并将所述二次辨识得分发送至结果差值判决与拒识模块；

62、所述局部证据二次辨识模块包括局部判别区域提取单元、候选地标支持证据获取单元、局部结构一致性比较单元、二次辨识得分生成单元和二次辨识结果输出单元；

63、局部判别区域提取单元用于从输入图像中提取具有区分意义的局部判别区域；所述局部判别区域优选对应于地标建筑中具有稳定辨识价值的细节部位，至少包括以下一种或多种：塔尖结构、穹顶结构、窗格排列、立柱或拱券结构、钟面或门窗开孔区域、檐口、装饰带或立面线条区域、桥拱、塔楼、尖顶的局部构件区域；所述局部判别区域通过显著性分析、局部响应强度分析、结构关键点分布分析或预设局部区域提取规则获得；

64、候选地标支持证据获取单元用于针对混淆地标集合中的每个候选地标，调取与当前候选地标对应的支持图像或支持区域信息；所述支持图像或支持区域信息预先存储于支持图像库或地标索引库中，用于表征对应候选地标的稳定局部结构特征；每个候选地标对应多个支持图像，以覆盖不同拍摄视角、不同距离和不同光照条件下的局部外观变化；

65、局部结构一致性比较单元用于将输入图像中的局部判别区域与各候选地标的支持图像或支持区域进行比较，计算输入图像与各候选地标之间的局部结构一致性得分；所述局部结构一致性至少基于以下信息中的一种或多种确定：局部轮廓形状一致性、局部边缘分布一致性、局部关键点布局一致性、局部纹理分布一致性、局部构件空间排列关系一致性；

66、二次辨识得分生成单元用于将局部结构一致性得分与第一阶段候选地标列表中的原始候选得分进行联合计算，得到各候选地标的二次辨识得分；所述联合计算采用加权方式实现，其表示为：

67、；

68、其中，表示候选地标k的二次辨识得分，表示候选地标 k在第一阶段候选生成中的原始候选得分，表示候选地标k的局部结构一致性得分；和为权重系数；

69、二次辨识结果输出单元用于按照二次辨识得分对混淆地标集合中的候选地标进行重新排序，并输出二次辨识结果；所述二次辨识结果至少包括：候选地标标识、二次辨识得分、二次辨识排序结果，所述二次辨识结果作为结果差值判决与拒识模块的输入。

70、可选地，结果差值判决与拒识模块在未触发局部证据二次辨识且未执行轻量级局部证据校验时，根据第一阶段候选地标列表中的候选得分进行最终判决；在执行轻量级局部证据校验时，根据轻量级局部证据校验结果修正后的候选得分进行最终判决；当最高得分地标与次高得分地标之间的差值大于预设接受阈值时，输出最高得分地标作为检索结果；当最高得分地标与次高得分地标之间的差值小于或等于预设接受阈值时，输出拒识结果或待确认结果。

71、本发明提供的技术方案中，该系统包括图像预处理模块、多模型独立候选生成模块、候选分歧分析模块、混淆地标集合构建模块、局部证据二次辨识模块和结果差值判决与拒识模块；图像预处理模块用于接收输入的地标建筑图像，并对地标建筑图像进行质量筛查与标准化处理，获得预处理后的地标建筑图像；多模型独立候选生成模块用于将预处理后的地标建筑图像分别输入多个异构地标检索模型，由各异构地标检索模型独立执行候选检索，并输出各自的候选地标列表；候选分歧分析模块用于对多个异构地标检索模型输出的候选地标列表进行分歧分析，并计算当前查询图像的混淆度评分；混淆地标集合构建模块用于在当前查询判定为高混淆查询时，基于多个异构地标检索模型输出的候选地标列表构建混淆地标集合；局部证据二次辨识模块用于在当前查询判定为高混淆查询时，仅针对所述混淆地标集合执行二次辨识，以提高外观相似地标之间的区分能力；结果差值判决与拒识模块用于在触发局部证据二次辨识时根据各候选地标的二次辨识得分进行最终判决，该系统提高了相似地标之间的区分能力和检索结果的可靠性。