GreAtt特征描述方法与流程

greatt特征描述方法
技术领域
1.本专利属于特征描述方法领域，特别是一种greatt特征描述方法。


背景技术：

2.目前已有的方法在特征描述时，多数特征描述方法仅考虑特征点附近的局部特征信息，而忽视相邻特征点之间的联系，从而缺乏信息的丰富性并导致特征描述的信息缺失。由于描述信息的匮乏，加之生物组织受力后产生的形变场更为复杂，从而导致在进行图像特征匹配时特征点误匹配的对数较多，柔性体变形场的测量精度要求高于影像配准，所以现有的方法难以保证特征点的精确匹配。


技术实现要素：

3.本发明所要解决的技术问题是提供一种检测结果准确，效率高的greatt特征描述方法。
4.greatt特征描述方法，包括以下步骤：
5.步骤1、获取图像的特征点的精确位置信息与初始特征描述符；
6.步骤2、分别两两计算初始特征描述符对应的特征点之间的欧式距离和余弦距离，欧式距离和余弦距离符合特定阈值的特征点之间建立连接从而形成特征点图结构；
7.步骤3、将得到的特征点图结构根据横坐标与纵坐标位置从小到大进行编码并转换为邻接矩阵表示，图结构中的节点度数由向量表示，将多层感知机将特征点的位置信息和节点信息映射到高维空间并与初始特征描述符相结合得到增强后的特征描述符。
8.进一步的，所述步骤2具体包括以下步骤：
9.步骤2.1、在初始特征描述符提取网络中获取每个初始特征描述符的精确特征点位置坐标(x,y)；
10.步骤2.2、分别两两计算特征点之间的欧式距离和余弦距离，若两个特征点的欧式距离大于10并且余弦距离小于0.3，则在两个特征点之间建立边，最终可以获得构建的特征点图结构数据n(g)；
11.进一步的，所述步骤3具体包括以下步骤：
12.步骤3.1、根据特征点在图片上的横纵坐标从大到小的顺序进行顺序编码，获得特征点图结构的邻接矩阵，并计算得到每个特征点的度和邻接矩阵的特征根λ；
13.步骤3.2、利用公式计算每个特征点的重要程度其中vj为相邻特征点的度，α为本特征点的度；
14.步骤3.3、通过多层感知机将特征点的位置信息与重要程度映射到高维空间中，与初始特征描述符相结合得到利用消息传递公式沿着特征点图结构中的边传播信息，传递的信息在不同层次及层次间聚集与更新；所述消息传播公式为：
(k 1)
x
i
＝
(k)
x
i
r([
(k)
x
i
||m
ε
→
i
])，
(k)
x
i
∈r
d
是特征点i在图像中的第k层上的特征，m
ε
→
i
是相连接的特征点{j:(i,j)∈
transform，sift)算法在图像处理的实际应用中非常广泛，但是因为生物组织受力后形成的非规则、非线性变形场比器官蠕动、呼吸、肌肉伸缩等非线性医学影像配准产生形变的程度更大且变形场更为复杂，并且柔性体变形场的测量精度要求高于影像配准，难以避免人工标注特征点带来的弊端以及特征表达欠缺的问题。
[0031]
但因为sift算法平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性以及可扩展性强的优势，可以很方便的与其他形式的特征向量相结合，所以在第步中本方法使用sift提取图像特征点x
i
及特征点的初始特征描述符d
i
。
[0032]
如图2所示，在该网络部分中，首先将64*64大小的图像作为输入，采取高斯核函数进行滤波构建尺度空间，来使原始图像保存最多的细节特征，从而获得尺度不变性；而后，采用dog(difference of guassians)算子来对已经构建的尺度空间极值检测，检测特征点；之后，运用在边缘梯度的方向上主曲率值比较大，而沿着边缘方向则主曲率值较小的原理剔除一些无用特征点；最后，使用梯度直方图统计的方法为每个特征点添加特征描述。
[0033]
2、图像特征点图结构的构建方法
[0034]
在对于已有方法的研究中，尤其是在图神经网络的使用中，所使用的数据基本都是图结构数据。本文在图结构数据的构建方面进行了创新，结合在初始特征描述符提取网络中所获得的精确特征点位置p
(x,y)
和初始特征描述符d
i
来进行图结构数据的构建。
[0035]
通过将精确的特征点位置(x,y)代入欧式距离计算公式：
[0036][0037]
其中，(x1,y1)表示一个点的横纵坐标，(x2,y2)表示另一个点的横纵坐标。通过将两个特征点的初始特征描述符d
i
代入余弦距离计算公式：
[0038][0039]
因为，特征描述符d
i
是一个高维向量，公式中的a和b分别表示两个需要计算余弦距离的向量。
[0040]
根据输入图片的大小、欧式距离和余弦距离的计算结果，本文设定欧式距离大于10并且余弦距离小于0.3的两个节点建立边，从而最终可以获得构建的特征点图结构数据，并且根据特征点在图片上的横纵坐标从大到小的顺序进行顺序编码，以获得该图结构的邻接矩阵，如图2所示，通过该矩阵，在程序中可以了解两个节点是否建立连接。邻接矩阵中，
‑
1表示两个节点之间没有后边相连接，1则表示两个节点之间建立了连接，并计算得到每个特征点的度和邻接矩阵的特征根λ。
[0041]
3、注意力聚焦模块
[0042]
考虑到特征点在同一影像的空间和视觉关系，剔除掉一些无用的特征点，还应该将注意力放在突出的特征点x
i
和相连接特征点边ε的信息，通过如下公式，可以计算出特征点v
j
的重要程度i：
[0043][0044]
其中vj为相邻特征点的度，α为本特征点的度，与此同时，通过多层感知机(multi
‑
layer perceptron，mlp)将特征点的位置信息，即之前使用sift算法得到的二维空间位置
信息，与特征点的重要程度映射到高维空间中，与初始特征向量相结合得到初始特征向量即初始特征描述符，维度相同直接相加。利用消息传递公式(4)沿着图结构中的边传播信息，传递的信息在不同层次及层次间聚集与更新。例如，
(k)
x
i
∈r
d
可以看作是特征点i在图像中的第k层上的特征。消息传递公式的结果m
ε
→
i
是相连接的特征点{j:(i,j)∈ε}消息聚合的结果，消息传递公式如下所示：
[0045]
(k 1)
x
i
＝
(k)
x
i
r([
(k)
x
i
||m
ε
→
i
])
ꢀꢀ
(4)
[0046]
其中m
ε
→
i
计算过程具体如下：
[0047]
m
ε
→
i
＝γ(x
i
,x
j
,ε
j,i
)
ꢀꢀ
(5)
[0048]
γ表示的是一个可微分的函数，其中x
i
，x
j
分别表示特征点i，j的特征描述符，ε
j,i
表示从节点j到节点i的边的特征。
[0049]
在每一层中，所有的特征点都可以学习和共享，那么可根据所获得的描述符和各节点消息传递的结果，最终所得到增强特征描述子f
i
，消息聚合结束之后，所获得的高维向量。
[0050]
实施例1
[0051]
图4和图5为真实的志愿者的小腿肚和腹部的初始mr影像与其相应的变形后mr影像。所用设备是0.5t的开放式mri设备，fov(扫描范围)是24*24cm，切片间距是2mm。
[0052]
图4每一对图像中，左边的图像为原始自然姿势所得mr图像，其对应的右边图像为在某种压力下的生物组织型变mr图像。其中图4(a)为使用推力使腹部的变形图像；图(b)为使用压力使腹部的变形图像；图4(c)和图4(d)为不同志愿者在侧卧的情况下，腹部受到推压的变形影像。
[0053]
如图5所示，所展示的是使用最近邻匹配算法所得出的匹配效果图，每一对图像中的特征描述符都是经过本发明的特征点描述符方法所加强之后的描述符，能够有效地减少错误匹配对数。与现有的基于注意力机制的增强特征描述子相对比，在图5的实验结果中，错误匹配对数均有所减少，尤其是在图5(a)abdpush的实验结果中，错误匹配对数同比下降1.6％。
[0054]
本文利用特征点的欧氏距离和特征描述符的余弦距离来构建图数据结构，减少了较为相似特征点之间的连接，简化了图数据结构的复杂程度，为之后的消息传递减少了不必要的计算开销。将节点的重要程度引入，在进行节点间消息传递的过程中，本文将图数据结构中的节点重要程度引入，在消息传递的过程中，将丰富的信息传递至每个节点。
[0055]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。