飞机靠机距离检测方法、装置、设备和介质与流程

本技术涉及航空地面设备，尤其涉及一种飞机靠机距离检测方法、装置、设备和介质。

背景技术：

1、在航班过站阶段，作业车需要贴近已停靠的飞机机身执行货物装卸、旅客登离机、加注油料、供给清水、排出污水、清理垃圾、牵引推送等保障任务。在作业车向飞机机身贴近的过程中，对作业车与飞机机身之间的距离的实时检测非常重要。

2、相关技术中，通过单个摄像头采集作业车靠机作业场景的图像，然后利用单目视觉测距技术（例如通用目标检测模型或单目深度估计大模型） 对图像进行处理，确定作业车与飞机机身之间的距离。

3、然而，上述技术方案仅能实现对飞机整体与作业车整体的之间距离的检测，检测精度较低。

技术实现思路

1、本技术的目的在于提供一种飞机靠机距离检测方法、装置、设备和介质，能够精准地检测出飞机对接部位与作业车对接部位之间的距离。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，本技术提供一种飞机靠机距离检测方法，该方法包括：通过图像采集装置获取对接图像，对接图像中至少包括飞机对接部位与作业车对接部位。基于飞机对接部位和作业车对接部位，分别获取与飞机对接部位对应的第一图像和与作业车对接部位对应的第二图像。将第一图像输入飞机对接部位识别模型进行识别，得到飞机对接部位的第一识别结果。飞机对接部位识别模型为基于飞机对接部位的几何特性构建的识别模型。将第二图像输入作业车对接部位识别模型进行识别，得到作业车对接部位的第二识别结果。基于第一识别结果以及第二识别结果进行几何测距，获取飞机靠机距离。飞机靠机距离用于描述飞机对接部位与作业车对接部位之间的距离。

4、本技术实施例提供的技术方案，通过采集包括飞机对接部位与作业车对接部位的对接图像，然后基于对接图像进行图像提取，得到与飞机对接部位对应的第一图像和与作业车对接部位对应的第二图像，第一图像中仅包括飞机部分、第二图像中仅包括非飞机部分，基于第一图像和第二图像，可以实现独立识别飞机对接部位和作业车对接部位。具体地，根据飞机对接部位的几何特性，对应地将第一图像输入至飞机对接部位识别模型进行识别，得到飞机对接部位的第一识别结果；将第二图像输入作业车对接部位识别模型进行识别，得到作业车对接部位的第二识别结果。分别对第一图像和第二图像进行识别，能够缩小识别搜索空间，提高飞机对接部位和作业车对接部位的识别效率与准确性。最后基于第一识别结果以及第二识别结果进行几何测距，获取飞机对接部位与作业车对接部位之间的飞机靠机距离。由于第一识别结果、第二识别结果比较能准确表征飞机对接部位与作业车对接部位的位置。因此，基于第一识别结果和第二识别结果所计算得到的飞机靠机距离，能够精准地检测出飞机对接部位与作业车对接部位之间的距离。

5、在一些实施例中，飞机包括几何特性不同的多个飞机对接部位，飞机对接部位识别模型包括对应于各飞机对接部位的几何特性的多个子识别模型。将第一图像输入飞机对接部位识别模型进行识别，得到飞机对接部位的第一识别结果，可具体实现为：确定第一图像中飞机对接部位的目标几何特性。将第一图像输入至与目标几何特性对应的子识别模型中进行识别，得到第一图像的飞机对接部位的第一识别结果。基于飞机对接部位的几何特性构建了对应的子识别模型，相较于通过同一个识别模型识别具有不同几何特性的飞机对接部位，各个子识别模型更能针对性地对飞机对接部位进行识别，所输出的识别结果更准确。通过识别飞机对接部位的几何特性，然后根据该几何特性匹配对应的子识别模型，将第一图像输入至该子识别模型进行识别，得到第一识别结果，能够在飞机对接部位的几何特性显著异构的情况下，对第一图像进行精准识别，进而提高飞机靠机距离的检测精度。

6、在一些实施例中，飞机对接部位的几何特性至少包括矩形类、椭圆类、曲面类、锚点类。多个子识别模型包括对应于矩形类的矩形类子识别模型、对应于椭圆类的椭圆类子识别模型、对应于曲面类的曲面类子识别模型、对应于锚点类的锚点类子识别模型。通过将飞机对接部位按照几何特性分为矩形类、椭圆类、曲面类、锚点类，为每类飞机对接部位对应一种专属识别模型，相较于现有技术中所有飞机对接部位使用同一个识别模型的技术方案，本技术能够提升对飞机对接部位对应的第一图像的识别精度。

7、在一些实施例中，基于飞机对接部位和作业车对接部位，分别获取与飞机对接部位对应的第一图像和与作业车对接部位对应的第二图像，可具体实现为：基于对接图像中飞机对接部位，获取飞机掩膜。飞机掩膜的分辨率与对接图像的分辨率匹配。基于飞机掩膜，分别获取与飞机对接部位对应的第一图像，以及，与作业车对接部位对应的第二图像。

8、在一些实施例中，基于第一识别结果，获取飞机对接部位的像素尺寸和物理尺寸，基于第二识别结果，获取作业车对接部位的像素尺寸和物理尺寸。基于第一识别结果以及第二识别结果进行几何测距，获取飞机靠机距离，可具体实现为：基于第一识别结果、第二识别结果以及图像采集装置的目标焦距，分别获取飞机对接部位到图像采集装置的光心之间的第一绝对物理深度和作业车对接部位到图像采集装置的光心之间的第二绝对物理深度。基于第一绝对物理深度、第二绝对物理深度进行几何测距，获取飞机靠机距离。

9、在一些实施例中，基于第一识别结果、第二识别结果以及图像采集装置的目标焦距，分别获取飞机对接部位到图像采集装置的光心之间的第一绝对物理深度和作业车对接部位到图像采集装置的光心之间的第二绝对物理深度，可具体实现为：基于飞机对接部位的像素尺寸、飞机对接部位的物理尺寸，以及目标焦距，通过针孔方程确定第一绝对物理深度。基于作业车对接部位的像素尺寸、作业车对接部位的物理尺寸，以及目标焦距，通过针孔方程确定第二绝对物理深度。

10、在一些实施例中，针孔方程可以表示为：

11、

12、其中，为第一绝对物理深度，为目标焦距，为飞机对接部位的物理尺寸，为飞机对接部位的像素尺寸，为传感器物理像素间距。

13、在一些实施例中，基于第一绝对物理深度、第二绝对物理深度进行几何测距，获取飞机靠机距离，可具体实现为：基于第一绝对物理深度，通过反投影公式确定飞机对接部位的像素中心在相机坐标系下的三维坐标。将飞机对接部位的像素中心在相机坐标系下的三维坐标映射至世界坐标系，得到第一坐标。基于第二绝对物理深度，通过反投影公式确定作业车对接部位的像素中心在相机坐标系下的三维坐标。将作业车对接部位的像素中心在相机坐标系下的三维坐标映射至世界坐标系，得到第二坐标。计算第一坐标与第二坐标之间的欧式距离。对欧式距离进行偏移量校正，获取飞机靠机距离。

14、在一些实施例中，反投影公式可以表示为：

15、

16、

17、

18、其中，为相机坐标系，为飞机对接部位或作业车对接部位的像素中心在相机坐标系下沿x轴方向上的坐标，为飞机对接部位或作业车对接部位的像素中心在相机坐标系下沿y轴方向上的坐标，为飞机对接部位或作业车对接部位的像素中心在相机坐标系下沿z轴方向上的坐标，为飞机对接部位或作业车对接部位在第一图像或第二图像上的像素中心沿x轴方向上的坐标，为飞机对接部位或作业车对接部位在第一图像或第二图像上的像素中心沿y轴方向上的坐标，为传感器物理像素间距，为目标焦距，为主点在第一图像或第二图像上沿x轴方向上的坐标，为主点在第一图像或第二图像上沿y轴方向上的坐标，为第一绝对物理深度或第二绝对物理深度。

19、在一些实施例中，第一识别结果包括飞机对接部位的像素尺寸、类别和所属飞机机型。本技术实施例提供的飞机靠机距离检测方法还包括：基于飞机对接部位的类别和所属飞机机型，从物理尺寸数据库查询飞机对接部位对应的物理尺寸。基于飞机对接部位对应的物理尺寸和飞机对接部位对应的像素尺寸，进行焦距校准，获取图像采集装置的目标焦距。通过根据飞机对接部位的物理尺寸和像素尺寸，对图像采集装置的焦距进行校准，得到图像采集装置的目标焦距，然后根据该目标焦距对飞机靠机距离进行确定，因此对图像采集装置的焦距进行校准能够提高飞机靠机距离的检测精度。

20、在一些实施例中，基于飞机对接部位对应的物理尺寸和飞机对接部位对应的像素尺寸，进行焦距校准，获取图像采集装置的目标焦距，可具体实现为：通过单目深度估计大模型对对接图像进行深度推理处理，获取飞机对接部位对应的深度估计值。基于飞机对接部位对应的像素尺寸、物理尺寸以及深度估计值，获取图像采集装置的瞬时焦距。基于多个对接图像的瞬时焦距，生成瞬时焦距序列。对瞬时焦距序列进行鲁棒均值处理，确定图像采集装置的焦距。

21、在一些实施例中，本技术实施例提供的飞机靠机距离检测方法还包括：对飞机靠机距离进行后滤波处理，获取飞机靠机距离对应的飞机靠机距离平滑值。在满足稳态锁定条件的情况下，将距离当前帧最近的预设数量的对接图像对应的飞机靠机距离平滑值的平均值，作为目标飞机靠机距离。在不满足稳态锁定条件的情况下，将飞机靠机距离平滑值，作为目标飞机靠机距离。稳态锁定条件包括：作业车的作业时长达到作业时长阈值，且连续多个对接图像的飞机靠机距离平滑值小于飞机靠机距离阈值。通过对飞机靠机距离进行后滤波处理，输出平滑稳定的飞机靠机距离平滑值，能够有效抑制瞬时遮挡、光影突变等异常引发的测距抖动与倒退。

22、在一些实施例中，后滤波处理包括指数衰减加权滑窗滤波处理、指数移动平均滤波二次低通处理、单调递减强制约束以及异常跳变抑制处理中的至少一项。

23、在一些实施例中，本技术实施例提供的飞机靠机距离检测方法还包括：基于目标飞机靠机距离，通过至少一种预警方式进行预警。至少一种预警方式包括：视觉色彩预警、变频音频预警、触觉反馈与网络上报。

24、在一些实施例中，基于目标飞机靠机距离，通过至少一种预警方式进行预警，可具体实现为：当目标飞机靠机距离大于或等于第一阈值时，以第一视觉色彩预警进行预警。第一视觉色彩预警包括在显示屏中以第一颜色显示目标飞机靠机距离的标签底色。当目标飞机靠机距离小于第一阈值，且，大于或等于第二阈值时，以第二视觉色彩预警和第一变频音频预警进行预警。第二视觉色彩预警包括在显示屏中以第二颜色显示目标飞机靠机距离的标签底色，第一变频音频预警包括将蜂鸣频率设置为第一频率至第二频率之间。第二阈值小于第一阈值，第一频率小于第二频率。当目标飞机靠机距离小于第二阈值时，通过第三视觉色彩预警、第二变频音频预警以及触觉反馈进行预警，并进行网络上报。第三视觉色彩预警包括在显示屏中以第三颜色显示目标飞机靠机距离的标签底色，第二变频音频预警包括将蜂鸣频率设置为第二频率。触觉反馈包括通过振动进行预警。第一颜色表征目标飞机靠机距离缩短的紧急程度低于第二颜色表征目标飞机靠机距离缩短的紧急程度。第二颜色表征目标飞机靠机距离缩短的紧急程度低于第三颜色表征目标飞机靠机距离缩短的紧急程度。通过对飞机靠机距离进行分级，然后根据分级结果采取对应的预警方式进行预警，能够直观呈现飞机靠机距离给一线作业人员，进而辅助一线作业人员完成安全靠机操作。

25、第二方面，本技术提供一种飞机靠机距离检测装置，该装置包括：

26、获取模块，用于通过图像采集装置获取对接图像，对接图像中至少包括飞机对接部位与作业车对接部位。

27、处理模块，用于基于飞机对接部位和作业车对接部位，分别获取与飞机对接部位对应的第一图像和与作业车对接部位对应的第二图像。

28、识别模块，用于将第一图像输入飞机对接部位识别模型进行识别，得到飞机对接部位的第一识别结果。飞机对接部位识别模型为基于飞机对接部位的几何特性构建的识别模型。

29、识别模块，还用于将第二图像输入作业车对接部位识别模型进行识别，得到作业车对接部位的第二识别结果。

30、处理模块，还用于基于第一识别结果以及第二识别结果进行几何测距，获取飞机靠机距离。飞机靠机距离用于描述飞机对接部位与作业车对接部位之间的距离。

31、第三方面，本技术提供一种电子设备，电子设备包括：存储器和一个或多个处理器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令，以使得电子设备执行上方面的飞机靠机距离检测方法。

32、第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现上方面的飞机靠机距离检测方法。

33、第五方面，本技术提供一种计算机程序产品，计算机程序产品包括计算机程序或指令，当计算机程序或指令被处理器执行时，实现上方面的飞机靠机距离检测方法。

34、上述第二方面至第五方面提供的方案，用于实现上述第一方面提供的方法，其具体实现不再一一赘述。上述第二方面至第五方面提供的方案中任意一种实现方式所对应的技术效果，可参见上述第一方面中任意一种实现方式所对应的技术效果，此处不再赘述。

35、需要说明的是，上述各个方面中的任意一个方面的各种可能的实现方式，在方案不矛盾的前提下，均可以进行组合。