基于语义梯度点以及道路幂点的视觉场景识别方法与流程

技术特征：
1.一种基于语义梯度点以及道路幂点的视觉场景识别方法，其特征在于，所述方法包括以下步骤：步骤1，语义特征提取，利用语义分割网络对图像进行处理，保留中间层特征、logits层特征以及最后的语义标签；步骤2，语义梯度点检测，计算logits层特征所有通道的绝对梯度和，筛选出绝对梯度和较高的点，保留其在图像中的位置信息；步骤3，语义梯度点特征拼接，根据语义梯度点位置信息，将同一语义梯度点在中间层的特征以及logits层的特征分别进行l2正则化后展开拼接在一起；步骤4，道路幂点检测，利用语义标签得到道路目标与其他静态语义类别目标的边界，然后利用霍夫变换得到图像中的道路线，最后计算道路线的交点并加权得到道路幂点；步骤5，图像描述子生成，根据道路幂点对图像进行区域划分，每个区域分别利用区域内语义梯度点的特征生成一个vlad描述子，称为语义结构化vlad；步骤6，相似度计算，由于每个图像可能存在1个或者2个语义结构化vlad，计算相似度时需要先明确他们之间的对应关系，即使得语义结构化vlad相似度之和最大，然后以该对应关系下语义结构化vlad的平均相似度作为图像的相似度，遍历数据库中的所有图像，以相似度最高的图像作为最终结果。2.如权利要求1所述的基于语义梯度点以及道路幂点的视觉场景识别方法，其特征在于，在所述步骤2中，语义梯度点检测的步骤如下：步骤2-1，计算logits层特征所有通道的绝对梯度和，logits层(w
×
h
×
c)特征的每个通道可以认为是对应语义类别的概率，但是不同通道间存在相互干扰的情况，因此以所有通道的绝对梯度和来作为筛选语义特征点的依据：其中n
c
是通道个数，i是通道的标签，g
i
是通道i的梯度，g
sum
是所有通道的绝对梯度和；步骤2-2，将整个图像划分成n
s
个正方形小块，若该正方形小块中的最大绝对梯度和大于g
θ
，则将该最大绝对梯度和对应的语义梯度点作为备选；步骤2-3，为使得语义梯度点能够均匀分布在图像各处，将整个图像沿横轴划分成k个直方图，每个直方图按绝对梯度和对备选的语义梯度点排序，筛选出前n
k
个点作为最终的语义梯度点。3.如权利要求1或2所述的基于语义梯度点以及道路幂点的视觉场景识别方法，其特征在于，在所述步骤4中，道路幂点检测的步骤如下：步骤4-1，利用语义标签得到道路目标与其他静态语义类别的边界，所述其他静态语义类别包括人行道、建筑和交通标志；步骤4-2，利用霍夫变换将道路边界转化为道路线，即道路在图像中的二维几何表示；步骤4-3，计算道路线的交点，为了防止道路同一侧道路线的相互干扰，我们只计算，角度差大于a
θ
的道路线的交点；步骤4-4，计算所有道路线交点的平均位置，作为最终的道路幂点。4.如权利要求1或2所述的基于语义梯度点以及道路幂点的视觉场景识别方法，其特征
在于，在所述步骤5中，若存在道路幂点，则分为两个区域；若不存在道路幂点，则整个图像视为一个区域。5.如权利要求4所述的基于语义梯度点以及道路幂点的视觉场景识别方法，其特征在于，在所述步骤5中，图像描述子的生成结合了场景的结构，分区生成描述子，过程如下：首先根据道路幂点对图像进行区域划分，若存在道路幂点，则划分为两个区域，若不存在道路幂点，则整个图像视为一个区域，每个区域分别利用区域内语义梯度点的特征生成语义结构化vlad：预先离线训练好的字典树c＝{c1，c2，...c
w
}，用x表示d-维的特征，每一个x都会和与之最近的视觉单词c
i
相关联(c
i
＝f
v
(x))，对于每一个视觉单词c
i
，vlad累积每一个与c
i
相关联的x与c
i
的差异：其中i是视觉单词的索引，而j是特征维度的索引；l2正则化每一视觉单词对应的vlad块，即：最后l2正则化整个vlad描述子，最终图像中的每个区域都有一个语义结构化vlad。6.如权利要求1或2所述的基于语义梯度点以及道路幂点的视觉场景识别方法，其特征在于，在所述步骤6中，图像相似度计算需要考虑语义结构化vlad的对应关系，过程如下：每个图像可能存在1个或2个语义结构化vlad，即当计算两个图像相似度时会出现四种情况：1vs1，1vs2，2vs1以及2vs2；前三种情况的对应关系较为直接，只有一种对应关系，而最后一种情况，则有两种对应关系，所述方法选择使得语义结构化vlad相似度之和最大的对应关系来计算最终相似度，即该对应关系下语义结构化vlad的平均相似度。

技术总结
一种基于语义梯度点以及道路幂点的视觉场景识别方法，利用语义梯度点在强场景外表变化下可被重复检测的特性、语义梯度点不同层特征的不同优势以及场景本身的结构，提升在极具挑战场景下的性能。语义梯度点在强场景外表变化下可被重复检测的特性保证了正确匹配两者间所采纳特征的交集；将语义梯度点不同层的特征拼接在一起，能够利用不同层特征对于场景外表变化以及相机视角变化的不同特性；根据道路幂点划分区域并且在计算相似度时考虑区域间的对应关系，能够增加视觉重叠部分在相似度计算中的权重，更加专注于视觉重叠部分，排除无关部分的干扰。关部分的干扰。关部分的干扰。


技术研发人员：潘赟 包瑶琦 杨哲 朱怀宇
受保护的技术使用者：浙江大学
技术研发日：2021.12.01
技术公布日：2022/4/1