基于四目相机的机场跑道异物检测方法及装置与流程

1.本发明涉及异物识别技术领域，具体涉及一种基于四目相机的机场跑道异物检测方法及装置。


背景技术：

2.机场跑道异物(fod:foreign object debris)作为影响飞机安全的一个重要因素，精准、快速的异物检测能够有效减少飞机事故发生，保障乘客安全，降低航空公司的运营、维护成本，常见的机场跑道异物主要包括：螺丝、螺母、铁钉、碎石子等。
3.现有的自动式fod检测方法，主要分为即利用毫米波雷达等基于波的方法进行检测，以及利用视频、图像等基于光学摄像头的方法进行检测。此前，国外无论在毫米波雷达检测算法和光学摄像头检测算法上进行深度研究且有一定的研究成果，其典型产品包括fod finder系统、fod detect系统以及tarsier系统，国内主要以传统的人工方式进行异物检测，利用人工方式对机场跑道的异物检测成本高并且效率低，同时人工方式检测也会存在检测不到位不全面的问题，而采用fod finder系统、fod detect系统以及tarsier系统成本更高，后期的维护成本高，同时因为技术并不成熟导致识别准确率以及识别精度都交底不能满足使用需求。


技术实现要素：

4.针对现有技术的不足，本发明提供一种基于四目相机的机场跑道异物检测方法及装置，一方面提供一种异物识别方法来提高对机场跑道异物的识别效率，另一方面提供一种异物识别装置，降低维护难度同时降低成本。
5.本发明所提供的技术解决方案：
6.一种基于四目相机的机场跑道异物检测方法，其特征在于，包括以下步骤：
7.s1、对机场跑道相同位置进行拍照，得到机场跑道相同位置的多个角度图像；
8.s2、对机场跑道相同位置的角度图像进行视场统一处理；
9.s3、对统一视场的角度图像进行裁剪，保留公共区域，得到公共区域图像；
10.s4、通过对公共区域图像的内容进行异物差异值计算完成异物检测并识别。
11.进一步限定，所述步骤s1包括以下步骤：
12.s11、在机场跑道上设置相机，在相机进行拍照时通过亮度自适应调节方法对相机的拍照亮度进行调节；
13.s12、通过相机从多个角度对机场跑道相同位置进行拍照，得到机场跑道相同位置对应角度的角度图像，并将角度图像进行上传。
14.进一步限定，所述亮度自适应调节方法具体为：
15.设定，相机拍照前的相机曝光系数为e
old
，相机拍照前的图像亮度均值为mr，预设的相机期望的图像亮度均值为me，则通过得到相机曝光系数enew
，相机通过输入期望的相机曝光系数e
new
实现对相机亮度的调节，其中a为调节系数，并且1≤a≤2。
16.进一步限定，所述步骤s2包括以下步骤：
17.s21、接收机场跑道相同位置的角度图像；
18.s22、选择任意一张角度图像作为基准角度图像，剩余的角度图像作为目标角度图像，通过特征点检测算法获取每一张目标角度图像与基准图像匹配的特征点，利用最优单映射算法将各目标角度图像的特征点生成对应的匹配矩阵；
19.s23、利用匹配矩阵将目标角度图像通过透视变换转换为与基准角度图像拍摄角度相同的统一角度图像，实现角度图像的视场统一。
20.进一步限定，所述步骤s3包括以下步骤：
21.s31、对基准角度图像与统一角度图像进行裁剪，保留基准角度图像与统一角度图像公共区域的公共区域图像。
22.进一步限定，所述步骤s4包括以下步骤：
23.s41、将公共区域图像对应的图像矩阵利用做差来计算两两公共区域图像之间差异值的绝对值，利用求和得到差异值的绝对值之和并作为异物差分图像对应的图像矩阵；
24.s42、通过异物分离模型对异物差分图像的前景与背景进行分离，对异物边缘进行区分，同时得到对应的异物分离图像并对异物分离图像中的异物进行标识，所述异物分离模型为：
[0025][0026][0027]
中b为补偿系数，并且0≤b≤255，pd为与异物差分图像对应的差异值，p
′d为异物差分图像中对异物分离后的分离差异值，分离差异值与异物分离图像对应。
[0028]
一种基于四目相机的机场跑道异物检测装置，采用上述基于四目相机的机场跑道异物检测方法，其特征在于，包括用于拍摄机场跑道的相机、移动基座和处理装置，所述相机的数量为多个，多个所述相机的镜头向下倾斜并且多个所述相机间隔设置在移动基座的顶部，多个所述相机的拍摄区域相同，所述处理装置与相机电连接，处理装置设置在移动基座上。
[0029]
进一步限定，所述相机数量为4个，4个相机绕移动基座的轴线圆周设置。
[0030]
本发明的有益效果在于：多个相机从不同的角度对机场跑道的同一位置进行拍摄得到的图像能够全方位对机场跑道该位置进行分析，随后对不同角度的图像进行视场统一处理，使得不同角度拍摄的图像按照其中一个作为基准的图像进行显示，再将图像的公共区域进行裁取后利用异物差异值计算完成对异物的检测，同时利用异物分离模型对异物边缘进行区分，提高异物识别精准度，方法高效，保证异物准确检测的同时保证识别效率，同时装置结构简单，维修成本低，降低人工成本。
附图说明
[0031]
图1为本发明实施例1的方法步骤图；
[0032]
图2为本发明实施例1中相机亮度调节速度对比图；
[0033]
图3为本发明实施例1中拍摄的机场跑道同一位置的图像，其中图3(a)为机场跑道该位置从左上角拍摄的角度图像，图3(b)为机场跑道该位置从右上角拍摄的角度图像，图3(c)为机场跑道该位置从左下角拍摄的角度图像，图3(d)为机场跑道该位置从右下角拍摄的角度图像；
[0034]
图4为本发明实施例1中两张角度图像之间特征点匹配图；
[0035]
图5为与图3对应的统一角度图像，其中图5(a)为基准角度图像，图5(b)为与图3(b)对应的统一角度图像，图5(c)为与图3(c)对应的统一角度图像，图5(d)为与图3(d)对应的统一角度图像；
[0036]
图6为通过图5裁剪出的公共区域图像处理得到的异物差分图像；
[0037]
图7为对图6中异物标注的结果；
[0038]
图8为本发明实施例2的整体结构示意图；
[0039]
其中，1-相机；2-移动基座；3-处理装置。
具体实施方式
[0040]
实施例1
[0041]
参考图1，本实施例提供一种基于四目相机的机场跑道异物检测方法，包括以下步骤：
[0042]
s1、对机场跑道相同位置进行拍照，得到机场跑道相同位置的多个角度图像；
[0043]
其中步骤s1包括以下子步骤：
[0044]
s11、在机场跑道上设置相机1，在相机1进行拍照时通过亮度自适应调节方法对相机的拍照亮度进行调节；
[0045]
具体的，通过多个相机1从多个角度对机场跑道的同一个位置进行拍照，从而使得能够对机场跑道同一个位置通过全方位角度的拍摄实现对该位置的全面准确记录，提高后续检测的准确度；在进行拍照之前，由于外界环境比较复杂，机场跑道上会存在建筑物的影子导致机场跑道明暗不一，同时天气随时间的变化也会导致机场跑道亮度的进行变化，所以为了提高检测效率，优选通过亮度自适应调节方法对相机1的拍照亮度进行调节，使得调节后的拍摄的照片亮度基本一致。
[0046]
其中，亮度自适应调节方法可以为：
[0047]
设定，相机1拍照前的相机曝光系数为e
old
，相机1拍照前的图像亮度均值为mr，预设的相机1期望的图像亮度均值为me，则通过得到相机曝光系数e
new
，相机1通过输入期望的相机曝光系数e
new
实现对相机亮度的调节，并且保证每个相机1的拍照亮度基本一致，其中a为调节系数，调节系数a的取值大于0，调节系数a的取值越大，相机曝光系数的差值也就越大，相机1在调整时也会大跨度地对相机曝光系数进行调节，这时相机1的亮度调节速度越快，但是同时亮度调节越不精准，当调节系数a的取值越小时，需要调节的相机曝光系数的差值也越小，这样就能够精准对相机曝光系数进行精准调节，但同时也会导致调节速度变慢，所以优选调节系数a的取值范围为1≤a≤2，保证调节速度的同时满足调节速度。
[0048]
参考图2，图中展示在a分别为1、1.5和2.0时，从相同的亮度开始调节到预设的亮
度时所需要的时间快慢。
[0049]
s12、通过相机1从多个角度对机场跑道相同位置进行拍照，得到机场跑道相同位置对应角度的角度图像，并将角度图像进行上传；
[0050]
具体的，在对所有相机1的亮度进行调节完成后，通过相机1对机场跑道的同一个位置进行拍照，机场跑道的同一位置可以为机场跑道的一段，也可以选为机场跑道上的选定大小区域，通过调整相机1的高度来实现相同规格的相机1拍摄不同范围的机场跑道画面，为了完整拍摄机场跑道实现对机场跑道的异物检测，可以依次拍摄机场跑道上的每一段，也可以选择将机场跑道划分为多个区域并依次拍摄，从而实现对整个机场跑道的异物检测，为了具体说明，本实施例采用4个相机1在同一高度对机场跑道相同位置进行拍照，同时4个相机1圆周设置并且等间距设置。
[0051]
此时4个相机1拍摄的4张图片作为该位置的角度图像，参考图3拍摄的机场跑道同一位置的图像，其中图3(a)为机场跑道该位置从左上角拍摄的角度图像，图3(b)为机场跑道该位置从右上角拍摄的角度图像，图3(c)为机场跑道该位置从左下角拍摄的角度图像，图3(d)为机场跑道该位置从右下角拍摄的角度图像。
[0052]
s2、对机场跑道相同位置的角度图像进行视场统一处理；
[0053]
步骤s2包括以下子步骤：
[0054]
s21、接收机场跑道相同位置的角度图像；
[0055]
具体的，在多个相机1完成对机场跑道的一个相同位置的拍摄后，将拍摄的4张角度图像接收；
[0056]
s22、选择任意一张角度图像作为基准角度图像，剩余的角度图像作为目标角度图像，通过特征点检测算法获取每一张目标角度图像相对于基准角度图像的特征点，利用最优单映射算法将各目标角度图像的特征点生成对应的匹配矩阵；
[0057]
具体的，在得到机场跑道相同位置的4张角度图像后，利用特征点检测算法获取每一张图像的特征点，对于角度图像特征点获取的特征点检测算法优选为sift特征点算法，能够获取更多特征点，能够提高对后续处理的准确性；从4张角度图像中选择一张作为基准角度图像，剩余的3张角度图像作为目标角度图像，利用最优单映射算法(homography)将各目标角度图像的特征点生成对应的匹配矩阵，具体可以利用opencv中的findhomography函数拟合sift算法匹配后目标角度图像的特征点生成对应的匹配矩阵，即得到3个与目标角度图像对应的匹配矩阵。
[0058]
参考图4，对两张角度图像的特征点进行匹配，其中图4左边对应图3(b)，图4右边对应图3(a)。
[0059]
s23、利用匹配矩阵将目标角度图像通过透视变换转换为与基准角度图像拍摄角度相同的统一角度图像，实现角度图像的视场统一；
[0060]
具体的，利用匹配矩阵和透视变换方法将目标角度图像转换为与基准角度图像拍摄角度相同的统一角度图像，此时3个统一角度图像的显示画面与基准角度图像的显示画面都是机场跑道相同角度的画面，实现目标角度图像与统一角度图像的视场统一，即拍摄的图像画面中的区域一致；参考图5，其中图5(a)～(d)分别为图3中(a)～(d)中以图3(a)为基准得到对应的统一角度图片。
[0061]
s3、对统一视场的角度图像进行裁剪，保留公共区域，得到公共区域图像；
[0062]
步骤s3具体为以下步骤：
[0063]
s31、对基准角度图像与统一角度图像进行裁剪，保留基准角度图像与统一角度图像公共区域的公共区域图像；
[0064]
具体的，由于统一角度图像在经过透视变换后，存在与基准图像拍摄画面不一致的内容，例如对机场跑道的某一段拍摄，会存在两个相机1能够拍摄到机场跑道的侧边，而其余两个相机1拍摄的画面并没有机场跑道侧边的内容，所以对于该内容可以认为是没有参考价值的，如果有异物在机场跑道上必定会通过四个相机1拍摄到，同时由于不是公共的显示区域在进行透视变换时对画面进行扭曲后也导致不存在检测价值，所以对于不是公共区域的内容进行裁剪舍弃，保留公共区域图像，得到4张公共区域图像。
[0065]
通过canny边缘检测画出图像目标区域的边缘，在通过图像轮廓算法寻找出公共区域的完整轮廓，最后通过几何变换，即仿射变换、透视变换裁切出公共区域。
[0066]
s4、通过对公共区域图像的内容进行异物差异值计算完成异物检测并识别；
[0067]
步骤s4包括以下子步骤：
[0068]
s41、将公共区域图像对应的图像矩阵利用做差来计算两两公共区域图像之间差异值的绝对值，利用求和得到差异值的绝对值之和并作为异物差分图像对应的图像矩阵；
[0069]
具体的，公共区域图像可以通过对应的图像矩阵进行表示，所以通过4个与公共区域图像对应的4个图像矩阵来计算公共图像之间的差异值之和，并得到与该差异值之和对应的异物差分图像，参考图3，为理论计算下的异物差分图像；优选的选择处于对角位置的公共区域图像通过对应的图像矩阵做差，其中得到异物差分图像对应图像矩阵的异物差分模型为：
[0070]
pd＝|p
1-p4| |p
2-p3|
[0071]
其中pd为与异物差分图像对应的差异值，p1、p2、p3和p4分别代表4张公共区域图像的图像矩阵，并且拍摄图像矩阵p1对应公共区域图像的相机1与拍摄图像矩阵p4对应公共区域图像的相机为对角设置，同样拍摄图像矩阵p2对应公共区域图像的相机1与拍摄图像矩阵p1对应公共区域图像的相机1为对角设置，这样能够在公共区域图像中存在异物时保证其图像差异最大，最终得到的差异值也最大，得到的异物差分图像中异物图像也更加完整；对于公共区域不存在异物时，其差异值接近0，得到的异物差分图像中的内容区域趋于一致，从而实现对是否存在异物进行区分。
[0072]
s42、通过异物分离模型对异物的前景与背景进行分离，对异物边缘进行区分，同时得到对应的异物分离图像，随后对异物分离图像中的异物进行标识，所述异物分离模型为：
[0073][0074][0075]
其中b为补偿系数，并且0≤b≤255，pd为与异物差分图像对应的差异值，p
′d为异物差分图像中对异物分离后的分离差异值，分离差异值与异物分离图像对应；
[0076]
具体的，为了进行一步实现对异物的快速与准确区分与识别，通过异物分离模型对步骤s41中异物差分图像中异物的前景与背景进行分离，对异物边缘进行区分，参考图4，同时得到对应的异物分离图像，随后对异物分离图像中的异物进行标识。
[0077]
其中b优选为30～35，利用指数放大图像差异值较大的像素值，缩小图像差异值较小的像素值，且能够适当抑制部分噪点，使得能够对应对不同光照环境下与不同颜色的机场跑道上异物的检测；参考图6，为图5(a)～(b)中裁剪出的一个公共区域进行处理后的异物分离图像；图7为对该异物分离图像中异物标注的结果。
[0078]
实施例2
[0079]
参考图8，本实施例提供一种基于四目相机的机场跑道异物检测装置，通过实施例1中的基于四目相机1的机场跑道异物检测方法，对机场跑道中的异物进行检测。
[0080]
包括用于拍摄机场跑道的相机1、移动基座2和处理装置3，所述相机1的数量为多个，多个相机1间隔设置在移动基座2的顶部，处理装置3与相机1电连接，处理装置3设置在移动基座上，处理装置用来控制相加1的亮度，用来接收相机1拍摄的角度图像，用来对角度图像进行特征点获取、视场统一、公共区域裁剪和异物检测处理，并将检测结果进行输出，如果按照区域进行分区域连续对机场跑道进行异物检测，在上传检测结果时会将对应区域的标识一同进行上传，以便工作人员能够对该区域机场跑道该位置的异物进行处理，保证机场跑道的整洁。
[0081]
其中相机1数量为4个，4个相机1绕移动基座的轴线圆周设置。