罐车靠机作业监测方法、装置、设备和存储介质与流程

本技术涉及航空地面设备，尤其涉及一种罐车靠机作业监测方法、装置、设备和存储介质。

背景技术：

1、罐式作业车是机场地面保障车队中专门负责飞机液体补给与排放任务的一类特殊作业车辆，罐式作业车是一类以罐体为主体、通过软管或硬管与飞机上特定小尺寸服务口对接进行液体传输的作业车辆。

2、在罐式作业车进行靠机作业时需要将软硬管端部精确对准飞机服务口中心，对接精度要求极高。在罐车靠机作业的整个过程中，现有的监测手段通常采用单一的监测逻辑对罐车靠机作业进行监测，难以满足高精度对接需求。

技术实现思路

1、本技术的目的在于提供一种罐车靠机作业监测方法、装置、设备和存储介质，能够采用分阶段的对接监测策略，以实现对罐车作业全流程的精细化管控，从而满足罐车靠机作业时的高精度对接需求。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，本技术提供一种罐车靠机作业监测方法，该方法包括：获取罐车的目标作业数据，目标作业数据包括以下至少一项：罐车的硬管端部与飞机服务口的几何中心之间的对接距离、罐车车速，以及硬管端部移动速度。将目标作业数据与罐车的多个作业状态对应的预设作业条件进行匹配，确定目标作业数据匹配的目标作业状态，罐车的多个作业状态包括空闲态、对位态、粗接近态、精对接态，以及液体传输态。基于目标作业状态对应的对接监测策略，对罐车执行相应的操作，不同作业状态所对应的对接监测策略的监测侧重点不同。

4、本技术实施例提供的技术方案，罐车车速表征罐车驶向飞机的速度，硬管端部移动速度表征罐车上的硬管端部靠近飞机服务口的几何中心的速度，根据罐车的硬管端部与飞机服务口的几何中心之间的对接距离、罐车车速，以及硬管端部移动速度，可以精准判定罐车当前的作业状态，不同的作业状态对应罐车的不同作业阶段，不同作业阶段对应不同的对接监测策略，鉴于不同作业状态下的安全监控或车距侧重点存在显著区别，基于罐车所处的目标作业状态，采用目标作业状态所对应的对接监测策略，执行相应操作，可以实现对于罐车作业全流程的精细化管控，从而满足罐车靠机作业时的高精度对接需求。

5、在一些实施例中，对位态对应的预设作业条件包括：罐车车速大于车体启动阈值，且罐车车速大于车体启动阈值的持续时长大于第一预设时长。

6、在一些实施例中，粗接近态对应的预设作业条件包括：罐车车速小于车体接近阈值、硬管端部移动速度大于硬管移速阈值，且罐车车速小于车体接近阈值、硬管端部移动速度大于硬管移速阈值的持续时长大于第二预设时长。车体接近阈值小于车体启动阈值。

7、在一些实施例中，精对接态对应的预设作业条件包括：对接距离小于过渡阈值，且对接距离小于过渡阈值的持续时间大于第三预设时长。

8、在一些实施例中，液体传输态对应的预设作业条件包括：对接距离小于锁定阈值，且对接距离小于锁定阈值的持续时长大于第四预设时长。锁定阈值小于过渡阈值。

9、在一些实施例中，空闲态对应的预设作业条件包括：对接距离大于解锁阈值，且对接距离大于解锁阈值的持续时间大于第五预设时长。解锁阈值大于过渡阈值。

10、在一些实施例中，目标作业数据包括对接距离。获取目标作业数据，可具体实现为：获取飞机服务口的几何中心在世界坐标系下的第一坐标，以及硬管端部在世界坐标系下的第二坐标。计算第一坐标和第二坐标的欧式距离，得到对接距离。

11、在一些实施例中，获取飞机服务口的几何中心在世界坐标系下的第一坐标，可具体实现为：获取飞机服务口对应的第一图像。第一图像通过对原始图像进行图像分割得到，原始图像中包括飞机服务口和罐车，第一图像包括飞机服务口。将第一图像输入椭圆参数识别子模型ellipsefit-net进行图像识别，获取飞机服务口对应的第一位置信息。第一位置信息包括飞机服务口的几何中心的像素坐标。基于飞机服务口的几何中心的像素坐标，通过针孔反投影获取飞机服务口的几何中心在相机坐标系下的三维坐标。对飞机服务口的几何中心在相机坐标系下的三维坐标进行坐标变换，得到第一坐标。

12、在一些实施例中，ellipsefit-net包括五参数回归头和边界点稠密预测头。将第一图像输入椭圆参数识别子模型ellipsefit-net进行图像识别，获取飞机服务口对应的第一位置信息，可具体实现为：将第一图像输入至五参数回归头，获取粗粒度椭圆参数，五参数回归头用于获取飞机服务口的几何中心的像素坐标、椭圆长轴、椭圆短轴，以及旋转角。将第一图像输入至边界点稠密预测头，获取精粒度椭圆参数，边界点稠密预测头用于预测飞机服务口的边界轮廓上的边界点坐标。将粗粒度椭圆参数和精粒度椭圆参数进行加权融合，获取飞机服务口对应的第一位置信息。

13、在一些实施例中，获取硬管端部在世界坐标系下的第二坐标，可具体实现为：获取罐车对应的第二图像，第二图像通过对原始图像进行图像分割得到，原始图像中包括飞机服务口和罐车，第二图像包括罐车。将第二图像输入至柔性结构识别模型flexhose-net进行识别，获取罐车侧的软管对应的第二位置信息和硬管对应的第三位置信息。基于第二位置信息和第三位置信息，通过多个约束方程联合求解，获取第二坐标。多个约束包括：罐体出口锚点已知、软管弧长守恒、针孔投影方程，以及软管物理平滑性约束。

14、在一些实施例中，第二位置信息包括软管b样条曲线。第三位置信息包括硬管端部的像素坐标和硬管端部的指向向量。将第二图像输入至柔性结构识别模型flexhose-net进行识别，获取罐车侧的软管对应的第二位置信息和硬管对应的第三位置信息，可具体实现为：基于第二图像进行软管骨架提取，获取软管b样条曲线。在软管骨架的末端区域内，进行目标检测和关键点回归，获取硬管端部的像素坐标和硬管端部的指向向量。

15、在一些实施例中，目标作业状态为对位态，基于目标作业状态对应的对接监测策略，对罐车执行相应的操作，可具体实现为：计算飞机服务口的几何中心与罐车出口锚点的欧式距离，将欧式距离作为罐车靠机距离。其中，罐车出口锚点为罐车侧的软管的起点。

16、在一些实施例中，目标作业状态为粗接近态，基于目标作业状态对应的对接监测策略，对罐车执行相应的操作，可具体实现为：获取飞机服务口的几何中心在世界坐标系下的第一坐标，以及硬管端部在世界坐标系下的第二坐标。计算第一坐标和第二坐标的欧式距离，得到对接距离。将对接距离作为罐车靠机距离。

17、在一些实施例中，目标作业状态为精对接态，基于目标作业状态对应的对接监测策略，对罐车执行相应的操作，可具体实现为：获取飞机服务口的几何中心的像素坐标、硬管端部的像素坐标，以及硬管端部到相机光心的第一绝对物理深度。计算飞机服务口的几何中心的像素坐标和硬管端部的像素坐标对应坐标值的偏差，确定横向偏差和纵向偏差。基于横向偏差、纵向偏差以及第一绝对物理深度，通过第一公式确定横向错位物理距离。当横向错位物理距离大于横向错位阈值时，触发横向错位预警。

18、在一些实施例中，第一公式可以表示为：

19、

20、其中，为横向错位物理距离，为横向偏差，为纵向偏差，p为传感器像素间距，为第一绝对物理深度，为相机焦距。

21、在一些实施例中，目标作业状态为精对接态，基于目标作业状态对应的对接监测策略，对罐车执行相应的操作，可具体实现为：获取飞机服务口的几何中心到相机光心的第二绝对物理深度。将第一绝对物理深度与第二绝对物理深度之差的绝对值作为纵深距离差。当纵深距离差大于纵向距离阈值时，触发纵向距离预警。

22、在一些实施例中，目标作业状态为液体传输态，基于目标作业状态对应的对接监测策略，对罐车执行相应的操作，可具体实现为：获取飞机服务口对应的第一位置信息、罐车侧的硬管对应的第三位置信息，以及对接误差向量。对接误差向量包括横向偏差、纵向偏差，以及纵深距离差。基于第一位置信息、第三位置信息，以及对接误差向量，获取飞机服务口的几何中心与硬管端部之间的位置偏移信息，位置偏移信息用于表征硬管端部和飞机服务口的几何中心之间的相对偏移情况，以及图像采集装置与飞机机身之间的相对偏移情况。若位置偏移信息满足对应预警条件，触发预警。

23、在一些实施例中，位置偏移信息包括硬管端部位置方差、飞机服务口的几何中心位置方差、对接误差模长突变，以及椭圆短长轴比突变中至少一项。若位置偏移信息为硬管端部位置方差，对应预警条件包括硬管端部位置方差大于硬管端部位移阈值，硬管端部位置方差为硬管端部的像素坐标的方差和。若位置偏移信息为飞机服务口的几何中心位置方差，对应预警条件包括飞机服务口的几何中心位置方差大于机身-摄像头相对位移阈值，飞机服务口的几何中心位置方差为飞机服务口的几何中心的像素坐标的方差和。若位置偏移信息为对接误差模长突变，对应预警条件包括对接误差模长突变大于对接位置漂移阈值，对接误差模长突变为对接误差向量的一阶差分最大值。若位置偏移信息为椭圆短长轴比突变，对应预警条件包括椭圆短长轴比突变大于机身-摄像头相对姿态改变阈值，椭圆短长轴比突变为椭圆短轴和椭圆长轴的比值的帧间变化量绝对值在滑动窗口内的最大值。

24、在一些实施例中，罐车车速通过以下方式获取：从第二图像中提取车体感兴趣roi区域。对车体感兴趣roi区域进行光流估计，得到罐车车速。

25、在一些实施例中，硬管端部移动速度通过以下方式获取：获取多帧第二图像下的多个硬管端部的像素坐标。对多个硬管端部的像素坐标进行帧间差分，得到硬管端部移动速度。

26、在一些实施例中，原始图像通过鱼眼广角图像采集装置采集得到。在获取飞机服务口对应的第一图像和罐车对应的第二图像之前，本技术实施例的罐车靠机作业监测方法还包括：获取目标畸变系数。目标畸变系数用于表征鱼眼广角镜头的畸变特性。基于目标畸变系数，建立校正后图像至原始图像中的像素之间的映射关系。根据映射关系，对原始图像进行鱼眼畸变校正，得到校正后图像。基于校正后图像，获取第一图像和第二图像。

27、在一些实施例中，获取目标畸变系数，可具体实现为：获取鱼眼广角图像采集装置对应的初始畸变系数。基于初始畸变系数对原始图像进行校正，得到校正图像。通过深度估计大模型对校正图像进行处理，得到校正后相对深度图。将校正后相对深度图的laplacian范数作为损失函数，通过优化畸变系数使得laplacian范数最小，得到目标畸变系数。

28、第二方面，本技术提供一种罐车靠机作业监测装置，该装置包括：获取模块，计算模块和处理模块。

29、第三方面，本技术提供一种计算机设备，计算机设备包括：存储器和一个或多个处理器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令，以使得计算机设备执行上方面的罐车靠机作业监测方法。

30、第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一条计算机程序，至少一条计算机程序由处理器加载并执行以实现上方面的罐车靠机作业监测方法。

31、第五方面，本技术提供一种计算机程序产品，计算机程序产品包括计算机程序或指令，当计算机程序或指令被处理器执行时，实现上方面的罐车靠机作业监测方法。

32、上述第二方面至第五方面提供的方案，用于实现上述第一方面提供的方法，其具体实现不再一一赘述。上述第二方面至第五方面提供的方案中任意一种实现方式所对应的技术效果，可参见上述第一方面中任意一种实现方式所对应的技术效果，此处不再赘述。

33、需要说明的是，上述各个方面中的任意一个方面的各种可能的实现方式，在方案不矛盾的前提下，均可以进行组合。