基于三角形重心特征点匹配的机场跑道异物识别方法与流程

1.本发明涉及机场跑道异物识别技术领域，具体涉及一种基于三角形重心特征点匹配的机场跑道异物识别方法。


背景技术：

2.机场跑道异物fod(foreign object debris)指的是：任何不属于机场，却出现在了机场区域内的，有可能损伤航空仪器或者航空系统的外来物质，fod多以飞机的各种散落零件、金属工具、石子、木块及塑料制品等为主。
3.人工检测是目前最为普遍的一种fod检测方式，它的优点是可以检测到毫米级fod，但对检测人员的综合素质较高，由于受个人情绪、责任心、工作环境、劳动强度、光线强度等外界条件的影响较大，所以总体来说可靠性不高。
4.目前世界上faa认证的fod系统中，有三个fod检测系统(tarsier、fodetect、fodfinder)是基于毫米波雷达技术实现的。虽然基于毫米波雷达的fod检测系统不受白天、夜间和能见度的影响，但仍有如下局限性：
①
探测识别异物的精度仍较差，只能识别5cm及以上的异物，对于毫米级的异物(如铅弹等)仍无法识别；
②
需要视频探测为辅助检测手段；
③
设备成本较高，运维成本也很高。


技术实现要素：

5.针对现有技术的不足，本发明提供一种基于三角形重心特征点匹配的机场跑道异物识别方法，通过提高图像特征点匹配的准确性来解决现有技术中对机场跑道异物识别精度低的问题。
6.本发明所提供的技术解决方案：
7.一种基于三角形重心特征点匹配的机场跑道异物识别方法，其特征在于，包括以下步骤：
8.s1、从不同角度对机场跑道相同位置进行拍照，得到机场跑道相同位置的多个角度图像；
9.s2、选择步骤s1得到的一张图像作为基准图像，选择步骤s1得到的其余图像作为待匹配图像；
10.s3、使用sift算法对基准图像和待匹配图像进行特征点匹配，得到对应的匹配点对；
11.s4、基于三角形重心原理对匹配点对中的错误匹配点对进行剔除；
12.s5、根据剔除后的匹配点对将基准图像与待匹配图像进行图像融合完成异物识别。
13.进一步限定，所述步骤s4包括剔除一对多错误匹配点对，所述剔除一对多错误匹配点对的步骤具体为：
14.在基准图像中选择任一特征点b作为基准特征点，利用欧式距离计算得到与特征
点b欧氏距离最短的相近特征点a和相近特征点c，通过相近特征点a、基准特征点b和相近特征点c得到基准三角形；
15.根据相近特征点a、基准特征点b和相近特征点c在对匹配图像中找到与之对应的特征点a、特征点b和特征点c，通过特征点a、特征点b和特征点c得到待检测三角形；
16.通过向量表示法分别确定基准三角形中包含的灰度值和待检测三角形中包含的灰度值；
17.根据基准三角形中的灰度值得到基准三角形的重心h，根据待检测三角形中的灰度值得到待检测三角形的重心h；
18.根据基准特征点b与重心h之间相对位置和特征点b与重心h之间相对位置的匹配误差剔除一对多的错误匹配点对。
19.进一步限定，所述重心h与重心h的计算方法为：
[0020][0021][0022]
其中，
△
abc为基准三角形，
△
abc为待检测三角形，(x
ai
，y
ai
)为基准三角形区域内任一像素点坐标，p
ai
为对应像素点坐标处像素的灰度值，xc为基准三角形重心h形的横坐标，yc为基准三角形重心h的纵坐标；(x
aj
，y
aj
)为待检测三角形区域内任一像素点坐标，p
aj
为对应像素点坐标处像素的灰度值，mc为检测三角形重心h的横坐标，nc为检测三角形重心h的纵坐标。
[0023]
进一步限定，所述步骤s4在剔除一对多错误匹配点对之前，还包括剔除交叉线形错误匹配点对，所述剔除交叉线形错误匹配点对的步骤具体为：
[0024]
对步骤s3得到的匹配点对建立二维线性模型：
[0025][0026]
其中，(xi，yi)为基准图像上任一特征点在基准图像中的坐标，(xj，yj)为待匹配图像上对应特征点在待匹配图像中的坐标，len
α
为基准图像相对待匹配图像的横向量度，grad为任一匹配点对对应的二维线性值；
[0027]
对由基准图像与待匹配图像之间所有匹配点对计算得到对应的二维线性值进行统计，并结合统计刻度计算得到不同统计刻度范围中对应二维线性值的数量si；
[0028]
其中，min(gradi)为二维线性最小值，max(gradi)为二维线性最大值，k为统计刻度总数，i为第i个统计刻度；
[0029]
根据si《max(si)*n剔除位于统计刻度范围内的二维线性值，根据剔除的二维线性值剔除对应的匹配点对，其中n为剔除因子。
[0030]
进一步限定，所述统计刻度scalei的计算为：
[0031][0032]
其中，min(grad)为二维线性最小值，max(grad)为二维线性最大值，k为统计刻度
总数，i为第i个统计刻度。
[0033]
进一步限定，所述步骤s5具体包括以下步骤：
[0034]
根据步骤s4得到的匹配点对建立仿射变换矩阵模型，根据仿射变换矩阵模型将待匹配图像转换为与基准图像视场统一的待识别图像；
[0035]
通过图像亮度均值计算对基准图像与待识别图像进行图像融合并对异物进行显示；
[0036]
通过canny边缘检测算子对异物进行识别并标示，完成异物识别。
[0037]
进一步限定，所述图像亮度均值moi计算为：
[0038][0039]
其中，和均为待识别图像的灰度，为基准图像的灰度。
[0040]
本发明的有益效果在于：
[0041]
利用本发明所提供的基于三角形重心特征点匹配的机场跑道异物识别方法，利用sift特征点匹配算法实现较高匹配精度的特征点计算，再结合三角形特征点所形成的三角形区域中的像素值，判断基准图像与待匹配图像之间对应匹配点的精准度是否满足要求，从而实现对满足精度要求的匹配点保留并对不满足要求的匹配点进行剔除，使得图像特征点匹配更加精准，同时匹配速度更快，增加了对机场跑道拍摄图像中异物识别的速度与精确性。
附图说明
[0042]
图1为本发明实施例1的方法步骤图；
[0043]
图2为本发明实施例1拍摄得到的机场跑道图像；
[0044]
图3为本发明实施例2中不同取值范围内二维线性值的数量统计图；
[0045]
图4为本发明实施例2中基准三角形示意图与待检测三角形示意图，其中，图4a为基准图像中的一个基准三角形示意图，图4b为待匹配图像中的待检测三角形示意图；
[0046]
图5为本发明实施例2中任意三角形中任一位置的像素点p计算示意图；
[0047]
图6为本发明实施例3中得到的融合图像；
[0048]
图7为本发明实施例3中机场跑道图像融合后异物标示示意图。
具体实施方式
[0049]
实施例1
[0050]
参考图1，本实施例提供一种基于三角形重心特征点匹配的机场跑道异物识别方法，包括以下步骤：
[0051]
s1、从不同角度对机场跑道相同位置进行拍照，得到机场跑道相同位置的多个角度图像；
[0052]
具体的，步骤s1中，可以选择拍摄小车在机场跑道上移动的同时进行拍照，由于照片拍摄的为二维平面图形，如果存在异物通常需要不少于2个的角度对异物进行拍摄，通过多个角度的异物图像从而能够通过分辨机场跑道中立体物体在不同角度的成像差异来进
行异物识别，为了从多个角度对机场跑道进行拍摄，可选择在拍摄小车上安装多个照相机进行同时拍照，例如安装4个照相机，4个照相机镜头向下倾斜设置并且拍摄机场跑道相同的一个位置，其拍摄画面基本相同，得到的图像角度不同，使得拍摄的照片中心属于机场跑道的相同位置，同时不同的照相机由于设置方向不同，优选4个相机等间距圆周设置；参考图2，通过4个相机得到机场跑道相同位置的多个角度图像，拍摄小车在运行移动过程中会拍摄多组相同位置的图像，需要对每一组图像进行分析判断该位置是否存在机场跑道异物。
[0053]
s2、选择步骤s1得到的一张图像作为基准图像，选择步骤s1得到的其余图像作为待匹配图像；
[0054]
具体的，步骤s2中，从得到的4张图像中选择一张作为基准图像，其余的三张图像作为待匹配图像，例如将图2中左上角的图像作为基准图像，其他三张图像作为待匹配图像。
[0055]
s3、使用sift算法对基准图像和待匹配图像进行特征点匹配，得到对应的匹配点对；
[0056]
具体的，步骤s3中，需要将基准图像与三张待匹配图像分别进行特征点匹配，利用sift算法分别计算得到基准图像与三张待匹配图像之间对应的匹配点对，即基准图像与每一张待匹配图像之间都存在匹配点对。
[0057]
s4、基于三角形重心原理对匹配点对中的错误匹配点对进行剔除；
[0058]
由于利用sift算法求得的匹配点对存在错误的匹配点对，错误匹配点对属于基准图像的某个特征点与待匹配图像上的特征点不同但是被当做一个匹配点对，导致两个图像匹配点对上的像素灰度和/或者位置不同，错误匹配点对是否存在是在图像中是否含有异物时都会产生，错误匹配单点对可能位于机场跑道异物图像位置，也可能位于机场跑道平面位置，这就导致利用匹配点对建立的图像放射变换模型不准确，进而导致放射转换后的图像不准确，最终导致图像中异物识别失败或者准确性低，所以利用步骤s4对错误的匹配点对进行剔除，进而保证异物识别的准确性，同时也能够降低异物识别的计算时间，提高识别效率。
[0059]
s5、根据剔除后的匹配点对将基准图像与待匹配图像进行图像融合完成异物识别。
[0060]
具体的，步骤s4在完成错误匹配点剔除后，通过基准图像与每一张待匹配图像的匹配点对建立对应的仿射变换矩阵模型，待匹配图像通过对应的仿射变换矩阵模型仿射变换为与基准图像视场统一的待识别图像，再将基准图像与三张待识别图像进行图像融合得到融合图像，此时若机场跑道存在异物，则在融合图像中因部分灰度值不同而被确认，最后利用灰度差经过canny边缘检测算子对异物进行识别并标示，完成异物识别。
[0061]
实施例2
[0062]
进一步的，步骤s4具体包括以下步骤：
[0063]
s42、剔除一对多错误匹配点对，为了降低步骤s42进行错误匹配点对的计算时间，进一步优选在步骤s4还包括步骤s41：剔除交叉线形错误匹配点对，即在执行剔除一对多错误匹配点对步骤之前，先进行剔除交叉线形错误匹配点对的步骤；其中交叉线形错误匹配点对主要是匹配点对之间的连线斜率和大多数匹配单对之间连线斜率相差较大的时候，认
为该匹配点对为错误的匹配点对。
[0064]
剔除交叉线形错误匹配点对的步骤具体为：
[0065]
s411、对步骤s3得到的匹配点对建立二维线性模型：
[0066][0067]
其中，(xi，yi)为基准图像上任一特征点在基准图像中的坐标，(xj，yj)为待匹配图像上对应特征点在待匹配图像中的坐标，len
α
为基准图像相对待匹配图像的横向量度，grad为任一匹配点对对应的二维线性值；
[0068]
s412、对由基准图像与待匹配图像之间所有匹配点对计算得到对应的二维线性值进行统计，并结合统计刻度计算得到不同统计刻度范围中对应二维线性值的数量si，统计刻度scalei的计算为：
[0069][0070]
其中，min(gradi)为二维线性最小值，max(gradi)为二维线性最大值，k为统计刻度总数，i为第i个统计刻度，k为正整数，优选k大于2。
[0071]
s413、根据si《max(si)*n剔除位于统计刻度范围内的二维线性值，根据剔除的二维线性值剔除对应的匹配点对，其中n为剔除因子。
[0072]
具体的，通过计算基准图像与待匹配图像之间特征点连线的斜率，来剔除明显错误的匹配点对，例如基准图像与待匹配图像之间特征点对的连线斜率大多数都为1，而对于与斜率1偏差大的2或者-0.4等斜率对应的匹配点对即可进行剔除。
[0073]
匹配点对连线的斜率即匹配点对对应的二维线性值通过建立的二维线性模型即可求得，将基准图像与三张待匹配图像的匹配点对分别通过二维线性模型进行计算，得到三组数据，每一组数据中包含有与所有匹配点对一一对应的二维线性值，将每一组数据中的全部二维线性值进行统计，得到所有二维线性值中的最小值min(grad)和最大值max(grad)，同时也能统计出每一个二维线性值对应的数量。
[0074]
为了方便计算不同二维线性值对应的数量，利用统计刻度计算出不同取值范围内二维线性值的数量，如图3所述，图中横坐标为二维线性值，纵坐标为数量，从图中可知，二维线性值为-0.5～-0.25的数量最多为200个，则可认为匹配点对对应的二维线性值为-0.5～-0.25时，该匹配点对基本准确，对于可能存在错误的匹配点对即可进行剔除，为了避免过多的匹配点对被剔除或者被剔除的正确匹配点对较多，通过剔除因子对基本错误的匹配点对进行剔除，提高剔除准确性，剔除因子例如选为0.2，则当任一统计刻度内的二维线性值数量少于40则认定该二维线性值对应的匹配点对为错误匹配点对即可进行剔除，完成匹配点对的初步剔除筛选。
[0075]
剔除一对多错误匹配点对的步骤具体为：
[0076]
s421、在基准图像中选择任一特征点b作为基准特征点，利用欧式距离计算得到与特征点b欧氏距离最短的相近特征点a和相近特征点c，通过相近特征点a、基准特征点b和相近特征点c得到基准三角形；
[0077]
s422、根据相近特征点a、基准特征点b和相近特征点c在对匹配图像中找到与之对应的特征点a、特征点b和特征点c，通过特征点a、特征点b和特征点c得到待检测三角形；
[0078]
s423、通过向量表示法分别确定基准三角形中包含的灰度值和待检测三角形中包含的灰度值；
[0079]
s424、根据基准三角形中的灰度值得到基准三角形的重心h，根据待检测三角形中的灰度值得到待检测三角形的重心h，重心h与重心h的计算方法为：
[0080][0081][0082]
其中，
△
abc为基准三角形，
△
abc为待检测三角形，(x
ai
，y
ai
)为基准三角形区域内任一像素点坐标，p
ai
为对应像素点坐标处像素的灰度值，xc为基准三角形重心h形的横坐标，yc为基准三角形重心h的纵坐标；(x
aj
，y
aj
)为待检测三角形区域内任一像素点坐标，p
aj
为对应像素点坐标处像素的灰度值，mc为检测三角形重心h的横坐标，nc为检测三角形重心h的纵坐标；
[0083]
s425、根据基准特征点b与重心h之间相对位置和特征点b与重心h之间相对位置的匹配误差剔除一对多的错误匹配点对。
[0084]
具体的，在完成交叉线形错误匹配点对的剔除后，开始对存在一对多的错误匹配点对进行剔除，一对多错误匹配点对则代表基准图像上的一个特征点与一个待匹配图像上的多个特征点都构成匹配点对，这个时候认为这种一对多的匹配点对也是存在错误的，应该舍弃。
[0085]
参考图4a，先从基准图像中选择任意一个特征点b作为基准特征点，再利用欧氏距离计算得到与基准特征点距离最短的两个特征点a和c，将特征点a作为相近特征点a，将特征点c作为相近特征点c，从而能够根据三个特征点在基准图像上构建一个基准三角形
△
abc，对应的，参考图4b，根据相近特征点a、基准特征点b和相近特征点c在对匹配图像中找到与之对应的特征点a、特征点b和特征点c，通过特征点a、特征点b和特征点c在待匹配图像上能够构建一个待检测三角形
△
abc。
[0086]
参考图5，例如在任意的三角形
△
xyz中任一位置的像素点p可以表示为：
[0087]
p＝x u(z-x) v*(y-x)
[0088]
其中，x、y、z和p分别表示
△
xyz中对应点的像素坐标，u和v为标量系数，当p满足：
[0089]
u≥0,v≥0,u v≤1
[0090]
即对该等式两边分别点乘向量ac和向量ab整理可得：
[0091][0092][0093]
由此可得三个特征的区域内包含的所有像素点，通过像素点获得基准三角形中对应像素点的灰度值和待检测三角形中对应像素点的灰度值。
[0094]
根据基准三角形与待检测三角形各自求得的重心开始计算根据基准特征点b与重心h之间相对位置和特征点b与重心h之间相对位置的匹配误差e，参考图4，分别计算∠α与∠δ间的误差e1和∠β与间的误差e2：
[0095][0096][0097]
e＝e1 e1[0098]
设定匹配误差e大于0.02时，认定对应的基准特征点b与特征点b组成的匹配点对不准确，即当e≤0.02时保留对应的匹配单点对，e＞0.02时剔除对应的匹配点对，完成错误匹配点对的剔除，提高异物识别的准确性。
[0099]
参考表1，使用不同的图像特征点匹配算法同时对不同的图像进行特征点匹配并对得到的匹配点对进行分析统计：
[0100]
表1使用不同图像特征点匹配算法对不同的图像进行特征点匹配测试结果
[0101][0102]
通过表1能够直观的得到本发明所提供的基于三角形重心特征点匹配的机场跑道异物识别方法在进行图像特征点匹配事，用时更少，同时正确匹配点数更高，在进行测试的图片中并未出现错误匹配点对，准确性高。
[0103]
实施例3
[0104]
基于实施例2，步骤s5具体包括以下步骤：
[0105]
s51、根据步骤s4得到的匹配点对建立仿射变换矩阵模型，根据仿射变换矩阵模型将待匹配图像转换为与基准图像视场统一的待识别图像；
[0106]
s52、通过图像亮度均值计算对基准图像与待识别图像进行图像融合并对异物进行显示，图像亮度均值moi计算为：
[0107][0108]
其中，和均为待识别图像的灰度，为基准图像的灰度；
[0109]
s53、通过canny边缘检测算子对异物进行识别并标示，完成异物识别。
[0110]
具体的，建立仿射变换模型，基准图像与每一张待匹配图像均对应一个不同的仿射变换模型，在完成步骤s4后得到准确率高的匹配点对，随后根据最终剔除后的匹配点对代入对应的仿射变换模型中得到透视变换模型矩阵的结果，最终通过确定的仿射变换模型完成对应待匹配图像转换为对应的待识别图像，其中仿射变换模型为：
[0111][0112]
其中，为基准图像f
4(x,y)
中任一像素点的位置，为待匹配图像仿射变换后得到待识别图像对应的像素点的位置，为透视变换矩阵。
[0113]
通过上述操作，将三张待匹配图像通过三个对应的仿射变换模型转换为对应的三张待识别图像，该三张待识别图像与基准图像视场统一，随后将三张待识别图像与基准图像同时输入，通过图像亮度均值计算处理，得到融合图像，参考图6，当融合图像中存在异物时，因为观测角度不同导致每张图像保存该异物的形状信息不同，使最终融合之后异物的形状信息无法重合而产生灰度偏差，为了对该异物进行标示以便统计位置、数量以及形状等信息，可以利用canny边缘检测算子通过像素间的梯度变换程度提取出灰度偏差的外部轮廓与内部轮廓，并根据外部轮廓与内部轮廓将异物区域分为两个区域内部区域m1和外部区域m2，通过两个区域的平均灰度差判断此处是否存在异物：
[0114][0115][0116]
area(m1)-area(m2)≤ε
[0117]
其中，n表示内部区域像素点的个数，m表示外部区域像素点的个数，f(x,y)表示对应像素点的灰度值，ε表示阈值，可选为115，参考图7，当area(m1)-area(m2)≤ε时，标示出对应的异物，当area(m1)-area(m2)＞ε则认为不含异物，从而完成机场跑道异物的识别。