一种机场飞行区道面异物协同检测装置的制作方法

1.本发明属于机场防范技术领域，具体涉及一种机场飞行区道面异物协同检测装置。


背景技术：

2.机场道面的异物可能以扎破轮胎、吸入发动机等形式损坏航空器，在某些情况下会引发重大安全事故。而通过人工检测的方法效率低、可靠性低，因此迫切需要自动化道面异物检测设备。
3.现有道面异物处置系统以固定式检测为主，系统成本高，且只能覆盖跑道区域，不能检测滑行道或者站坪区域。而大量的道面异物不在跑道上。因此迫切需要低成本的移动式道面异物检测机器人，实现飞行区道面(包括跑道、滑行道和机坪)全覆盖检测。
4.现有检测技术体制以雷达检测技术为主。雷达检测技术体制存在近端盲区较大、在检测过程中要求保持匀速行驶、难以对目标进行分类识别、设备成本高等缺点。尤其难以满足机坪区域复杂环境的要求。图像检测技术近年来快速发展，对表观与道面不同的异物有较好检测能力，但是对表观相似的异物检测能力不足，夜间检测能力不足。高速行驶下，大量视频数据实时处理能力也是一个技术瓶颈。


技术实现要素：

5.针对现有技术中的缺陷，本发明提供一种机场飞行区道面异物协同检测装置，成本低，能够完成机坪区域复杂环境的检测。
6.一种机场飞行区道面异物协同检测装置，包括：
7.视频图像检测模块：包括多台高速相机，所有高速相机的拍摄区域依次衔接；视频图像检测模块用于拍摄飞行区道面，以得到第一图像；
8.结构光检测模块：包括多台结构光相机，所有结构光相机的拍摄区域依次衔接；结构光检测模块用于拍摄飞行区道面，以得到第二图像；
9.激光扫描云图像检测模块：用于拍摄飞行区道面，以得到点云数据；
10.中心计算机：与视频图像检测模块、结构光检测模块和激光扫描云图像检测模块连接；中心计算机用于当根据第二图像或点云数据识别得到疑似异物时，计算第一图像中疑似异物所在区域，识别区域的类别，以得到道面异物。
11.进一步地，视频图像检测模块的检测区域覆盖结构光检测模块的检测区域和激光扫描云图像检测模块的检测区域。
12.进一步地，视频图像检测模块还包括多个光谱为白光的补光光源；
13.结构光相机包括线性结构光源和高速线阵相机，线性结构光源的光谱为红光或绿光；
14.激光扫描云图像检测模块中光源的光谱为红外光。
15.进一步地，中心计算机具体用于：
16.配置补光光源和线性结构光源的工作形式为闪光；
17.配置视频图像检测模块和结构光检测模块交替工作；
18.配置补光光源和线性结构光源的发光时间和熄灭时间。
19.进一步地，中心计算机具体用于：
20.采集校正图像；
21.将接收到的第二图像除以校正图像，以得到识别图像；
22.计算识别图像的平均亮度值；
23.分别计算识别图像中每个像素与平均亮度值的差值，标记差值大于第一检测阈值的像素为异常像素；
24.合并所有异常像素，以得到疑似目标；
25.定义长度大于第二检测阈值的疑似目标为疑似异物。
26.进一步地，中心计算机具体用于：
27.在点云数据的扫描线上移动滑窗，直至读取完点云数据的整个扫描线；每次移动滑窗后，读取滑窗内的连续数据，将连续数据与直线回归模型进行比对，定义连续数据中与直线回归模型的距离超过第三检测阈值的数据为疑似异物；合并重复和相连的疑似异物；
28.和/或，计算点云数据中相邻数据的距离，定义该距离超过第三检测阈值的数据为疑似异物。
29.进一步地，中心计算机具体用于：
30.存储高速相机最新得到的一帧第一图像；
31.识别最新的第一图像中疑似异物所在的区域；
32.当区域的类别不属于道面固有结构时，定义疑似异物为道面异物。
33.进一步地，中心计算机还用于：
34.配置飞行区道面中各个区域的类别，为每个类别配置一个包含分类识别参数的道面固有结构列表；
35.当得到第一图像中疑似异物所在区域时，读取所述区域对应的道面固有结构列表；
36.当所述疑似异物与所述道面固有结构列表的分类识别参数不相符时，判断所述区域的类别不属于道面固有结构。
37.进一步地，中心计算机具体用于：
38.校正视频图像检测、结构光检测、激光扫描云图像检测的延迟时间；
39.校正第一图像、第二图像、点云数据和装置的坐标系；
40.读取第二图像或点云数据中疑似异物的坐标；
41.根据下式将坐标转换为疑似异物在第一图像中的坐标：
42.p’＝p v(t1-t2)；
43.其中，p为第二图像或点云数据中疑似异物的坐标，p’为疑似异物在第一图像中的坐标，v为异物清理平台的运动速度矢量，t1为视频图像检测的延迟时间，t2为结构光检测或激光扫描云图像检测的延迟时间。
44.进一步地，中心计算机包括中心控制模块、cpu计算组、gpu计算组；
45.cpu计算组用于完成结构光检测或激光扫描云图像检测；gpu计算组用于视频图像
检测。
46.由上述技术方案可知，本发明提供的机场飞行区道面异物协同检测装置，采用视频图像检测、结构光检测、激光扫描点云图像检测三者相协同的方式完成道面异物的检测，三者的光源互不干扰，多路检测设备能提高机场飞行区道面的覆盖能力，成本低，能够完成机坪区域复杂环境的检测。
附图说明
47.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
48.图1为本实施例提供的机场飞行区道面异物协同检测装置的模块框图。
49.图2为本实施例提供的结构光检测方法的流程图。
50.图3为本实施例提供的坐标转换方法的流程图。
具体实施方式
51.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
52.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
53.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
54.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0055]
实施例：
[0056]
一种机场飞行区道面异物协同检测装置，参见图1，包括：
[0057]
视频图像检测模块1：包括多台高速相机，所有高速相机的拍摄区域依次衔接；视频图像检测模块1用于拍摄飞行区道面，以得到第一图像；
[0058]
结构光检测模块2：包括多台结构光相机，所有结构光相机的拍摄区域依次衔接；结构光检测模块2用于拍摄飞行区道面，以得到第二图像；
[0059]
激光扫描云图像检测模块3：用于拍摄飞行区道面，以得到点云数据；
[0060]
中心计算机4：与视频图像检测模块1、结构光检测模块2和激光扫描云图像检测模块3连接；中心计算机4用于当根据第二图像或点云数据识别得到疑似异物时，计算第一图像中疑似异物所在区域，识别区域的类别，以得到道面异物。
[0061]
在本实施例中，该机场飞行区道面异物协同检测装置通过视频图像检测模块、结构光检测模块、激光扫描点云图像检测模块协同检测道面异物。视频图像检测模块1使用多台高速相机，视野以全景拼接的方式依次左右衔接，其中靠中间的高速相机可以使用焦距较小的镜头，靠两端的高速相机可以使用焦距较大的镜头，这样就可以使得同样大的目标成像像素基本一样多。结构光检测模块2可以由多台结构光相机组成。多台结构光相机左右依次排列，使得结构光在地面的投影依次左右衔接。激光扫描点云图像检测模块的扫描区域为一条线(或2-4条线，总宽度不超过1-3cm)，扫描点间距离不超过1cm，扫描频率高于6000hz。
[0062]
在本实施例中，中心计算机4通过结构光检测或激光扫描点云图像检测得到疑似异物后，进一步通过坐标转换得到第一图像中疑似异物的区域，并对区域的疑似异物进行分类识别，当区域的类别不属于道面固有结构时，定义疑似异物为道面异物。
[0063]
该机场飞行区道面异物协同检测装置，采用视频图像检测、结构光检测、激光扫描点云图像检测三者相协同的方式完成道面异物的检测，三者的光源互不干扰，多路检测设备能提高机场飞行区道面的覆盖能力，成本低，能够完成机坪区域复杂环境的检测。
[0064]
进一步地，在一些实施例中，参见图1，中心计算机4包括中心控制模块41、cpu计算组42、gpu计算组43；
[0065]
cpu计算组42用于完成结构光检测或激光扫描云图像检测；gpu计算组43用于视频图像检测。
[0066]
在本实施例中，中心计算机组包含一个中心控制模块、一cpu计算组、一个gpu计算组。其中cpu计算组42用于完成结构光检测或激光扫描云图像检测；gpu计算组43用于视频图像检测。
[0067]
进一步地，在一些实施例中，视频图像检测模块1的检测区域覆盖结构光检测模块2的检测区域和激光扫描云图像检测模块3的检测区域。
[0068]
在本实施例中，该装置通过结构光检测模块2和激光扫描云图像检测模块3检测是否存在疑似异物，如果存在需要通过视频图像检测模块1进一步判断是否是道面异物，所以结构光检测模块2与激光扫描云图像检测模块3的检测区域相邻但不重叠，且二者的检测区域均被视频图像检测模块1的检测区域覆盖。
[0069]
进一步地，在一些实施例中，视频图像检测模块1还包括多个光谱为白光的补光光源；
[0070]
结构光相机包括线性结构光源和高速线阵相机，线性结构光源的光谱为红光或绿光；
[0071]
激光扫描云图像检测模块3中光源的光谱为红外光。
[0072]
在本实施例中，视频图像检测模块1还为每台高速相机配一个补光光源，补光光源主要在环境光照不足时工作，补光光源的光谱为白光。每台结构光相机由一个线性结构光源(发射出一条细线)和一个高速线阵相机组成，其中线性结构光源和高速线阵相机的间隔不低于20cm，且线性结构光源的照射区域与高速线阵相机的拍摄区域相同。线性结构光源的光谱为红光或绿光，激光扫描云图像检测模块3中光源的光谱为红外光，这样激光扫描点云图像检测不被其它光源干扰。
[0073]
进一步地，在一些实施例中，中心计算机4具体用于：
[0074]
配置补光光源和线性结构光源的工作形式为闪光；
[0075]
配置视频图像检测模块1和结构光检测模块2交替工作；
[0076]
配置补光光源和线性结构光源的发光时间和熄灭时间。
[0077]
在本实施例中，补光光源和线性结构光源的工作形式可以配置为闪光。中心控制模块可以控制视频图像检测模块1和结构光检测模块2交替工作，例如在视频图像检测模块1工作期间，所有高速相机同时拍摄一帧图像，同时补光光源打开。随后，补光光源熄灭，线性结构光源打开，所有结构光检测模块2同时拍摄一帧图像，二者交替工作。中心控制模块也可以通过配置补光光源和线性结构光源的发光时间和熄灭时间，使得补光光源和线性结构光源的平均功率相同，例如降低光源中发光时间和熄灭时间的比例，这样就可以在拍摄瞬间实现更高的亮度，降低了视频图像的运动模糊，提升了结构光的覆盖半径。
[0078]
进一步地，在一些实施例中，参见图2，中心计算机4具体用于：
[0079]
s1：采集校正图像；
[0080]
s2：将接收到的第二图像除以校正图像，以得到识别图像；
[0081]
s3：计算识别图像的平均亮度值；
[0082]
s4：分别计算识别图像中每个像素与平均亮度值的差值，标记差值大于第一检测阈值的像素为异常像素；
[0083]
s5：合并所有异常像素，以得到疑似目标；
[0084]
s6：定义长度大于第二检测阈值的疑似目标为疑似异物。
[0085]
在本实施例中，该机场飞行区道面异物协同检测装置在进行结构光检测时，可以利用结构光相机在平坦、质地一致的平面拍摄一条基准线，得到校正图像，其中基准线中间亮(距离近)，两端暗(距离远)，避免了在不平坦、质地不一致的平面上拍摄，导致得到的校正图像存在像素点缺失、亮度从中间到两端异常衰减的情况。在检测过程中，高速线阵相机持续将拍摄得到的第二图像推送到cpu计算组，触发cpu计算组中的结构光图像检测程序。结构光图像检测程序首先将收到第二图像除以校正图像，得到亮度均匀的识别图像，并计算识别图像的平均亮度值。将识别图像的每个像素与平均亮度值对比，当差值大于第一检测阈值时，说明该像素点可能存在亮度过暗或过亮的情况，此时将像素标为异常像素。将相连的异常像素合并为一个疑似目标，当疑似目标的长度大于第二检测阈值时，说明该疑似目标可能为疑似异物，当疑似目标的长度小于第二检测阈值时，说明该疑似目标面积较小，可能是误识别。最后将识别到的疑似异物发送给中心控制模块。
[0086]
在本实施例中，第一检测阈值和第二检测阈值可以根据常见异物的统计值得到，第一检测阈值用于标识常见异物和正常道面的亮度差值的最小值，第二检测阈值用于标识常见异物的最小长度值。识别图像的平均亮度值可以通过以下方法计算：在识别图像中随机读取若干个像素点的亮度值，对所有亮度值求平均得到。也可以是在识别图像每个区域读取像素点的亮度值，对所有亮度值求平均得到。
[0087]
进一步地，在一些实施例中，中心计算机4具体用于：
[0088]
在点云数据的扫描线上移动滑窗，直至读取完点云数据的整个扫描线；每次移动滑窗后，读取滑窗内的连续数据，将连续数据与直线回归模型进行比对，定义连续数据中与直线回归模型的距离超过第三检测阈值的数据为疑似异物；合并重复和相连的疑似异物；
[0089]
和/或，计算点云数据中相邻数据的距离，定义该距离超过第三检测阈值的数据为
疑似数据，合并所有疑似数据，以得到疑似异物。
[0090]
在本实施例中，该机场飞行区道面异物协同检测装置在进行激光扫描点云图像检测时，可以将激光扫描云图像检测模块3每次完成一次线扫描得到的点云数据发送给cpu计算组，触发点云图像检测程序。点云图像检测程序启动后，可以使用滑窗方法读取点云数据，例如采用滑窗一次读取点云数据的扫描线上连续一段(10-50cm长度)的数据，并将滑窗中的数据依次与直线回归模型(通过拟合方法得到的一条直线)进行比对，由于异物在点云数据上体现为凸起或凹陷，不是一条直线，所以如果当数据与直线回归模型的距离超过第三检测阈值时，认为该数据为疑似异物，第三检测阈值可以用来标识异物最小尺寸。当处理完该滑窗内所有数据后，将滑窗向前移动半个滑窗长度，采用上述方法继续处理滑窗中的数据，直到处理完点云数据中整个扫描线，最后合并重复和相连的疑似异物。
[0091]
在本实施例中，点云图像检测程序启动后，也可以计算点云数据中相邻数据的距离，如该数据超过第三检测阈值，则认为该数据为疑似异物。最后将两种方式检测到的疑似异物发送给中心控制模块。
[0092]
进一步地，在一些实施例中，中心计算机4具体用于：
[0093]
存储高速相机最新得到的一帧第一图像；
[0094]
识别最新的第一图像中疑似异物所在的区域；
[0095]
当区域的类别不属于道面固有结构时，定义疑似异物为道面异物。
[0096]
在本实施例中，该机场飞行区道面异物协同检测装置当通过结构光或激光扫描点云图像检测到疑似异物时，利用视频图像进一步判断疑似异物是否是真正的道面异物。该装置在进行视频图像检测时，接收高速相机持续拍摄到的第一图像，将第一图像发送给gpu计算组，gpu计算组仅保存最新接收到的一帧第一图像。中心控制模块接收到结构光检测或激光扫描点云图像检测得到的疑似异物后，将将疑似异物在第二图像或点云数据中的坐标发送到gpu计算组，触发视频图像检测程序。视频图像检测程序启动后，将该坐标带入坐标转换子程序，得到疑似异物在第一图像中对应的区域。保持区域中心位置不变，将区域的面积扩大两倍，判断扩大后的区域图像是否为道面固有结构，道面固有结构可以包括标识线、嵌入式助航灯、轮胎印、板块缝隙、道面拉槽等。如疑似异物不是道面固有结构，则判定为道面异物，将扩大面积后的区域图像发送给中心控制模块。中心控制模块输出道面异物以及对应的坐标。
[0097]
进一步地，在一些实施例中，中心计算机4还用于：
[0098]
配置飞行区道面中各个区域的类别，为每个类别配置一个包含分类识别参数的道面固有结构列表；
[0099]
当得到第一图像中疑似异物所在区域时，读取所述区域对应的道面固有结构列表；
[0100]
当所述疑似异物与所述道面固有结构列表的分类识别参数不相符时，判断所述区域的类别不属于道面固有结构。
[0101]
在本实施例中，中心计算机4还可以根据清理任务配置飞行区道面上各个区域的类别，并为每个类别配置道面固有结构列表，其中道面固有结构列表包含表征多个道面固有结构特征的分类识别参数。当得到疑似异物所在区域后，读取该区域对应的道面固有结构列表，将疑似异物的特征与道面固有结构列表进行比对，如果疑似异物的特征与分类识
别参数相符，说明该疑似异物为道面固有结构，不属于道面异物，反之，如果疑似异物的特征与分类识别参数不相符，说明该疑似异物不属于道面固有结构，属于道面异物。
[0102]
进一步地，在一些实施例中，参见图3，中心计算机4具体用于：
[0103]
s11：校正视频图像检测、结构光检测、激光扫描云图像检测的延迟时间；
[0104]
s12：校正第一图像、第二图像、点云数据和装置的坐标系；
[0105]
s13：读取第二图像或点云数据中疑似异物的坐标；
[0106]
s14：根据下式将坐标转换为疑似异物在第一图像中的坐标：
[0107]
p’＝p v(t1-t2)；
[0108]
其中，p为第二图像或点云数据中疑似异物的坐标，p’为疑似异物在第一图像中的坐标，v为异物清理平台的运动速度矢量，t1为视频图像检测的延迟时间，t2为结构光检测或激光扫描云图像检测的延迟时间。
[0109]
在本实施例中，中心控制模块可以定期对cpu计算组和gpu计算组授时，确保所有检测方式时间同步。中心控制模块还可以校正所有检测方式的延迟时间，例如中心控制模块发出探测命令给cpu计算组或gpu计算组，定义cpu计算组和gpu计算组接收到探测命令的延时为延迟时间。中心控制模块还可以校正所有检测方式的坐标系和机场飞行区道面异物协同检测装置的整体坐标系，例如校正坐标系之间的转换参数。
[0110]
在本实施例中，异物清理平台按照运动速度矢量v移动清理飞行区道面上的异物。中心控制模块在进行疑似异物的坐标转换时，按照p’＝p v(t1-t2)的方式进行转换，消除了异物清理平台在移动时由于两个延迟时间的时间差导致的位置差。
[0111]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。