基于图像识别技术的空中加油机输油软管预警方法及系统与流程

本发明涉及预警设备技术领域，特别涉及基于图像识别技术的空中加油机输油管预警方法及系统。

背景技术：

软管式空中加油所使用的加油设备是由一条软管和一个漏斗式浮锚构成。浮锚带有一个机械自锁装置，在捕捉到锥套时，可以和锥套锁定。软管加油过程是：加油机释放软管并打开安装在软管下面的信号灯，当收到受油机发出的受油信号时，将管道接通并锁住，然后就开始燃油的传输。由于在空中加油过程中，加油机和受油机要保持编队飞行，双方位置要保持静止，因此对受油机的控制将是一个挑战。现有的软管式空中加油存在加油机抵近收油机对输油软管的运动状态监控仅靠驾驶员的经验判断，存在一定的安全风险。

技术实现要素：

本发明的主要目的在于提供了基于图像识别技术的空中加油机输油软管预警方法及系统，旨在解决现有的软管式空中加油存在加油机抵近收油机对输油软管的运动状态监控仅靠驾驶员的经验判断，存在一定的安全风险的问题。

为实现上述目的，第一方面本发明提供了基于图像识别技术的空中加油机输油软管预警方法，所述方法包括以下步骤:

在加油机进入受油机的预设范围后实时获取加油机输油软管伸向受油机的3d视频；

实时获取所述3d视频的当前帧图像；

从所述当前帧图像中获取所述加油机输油软管的二维图像特征信息和深度特征信息；

利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息；

根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。

优选的，所述预设预警计算规则包括：

根据所述当前坐标信息计算所述当前锥套口轮廓中心距离所述加油机的输油管安装位和受油机之间连线的空间距离d；

判断所述空间距离d是否大于阈值，若大于阈值则生成预警信息。

优选的，判断所述空间距离d是否大于阈值，若大于阈值则生成预警信息包括如下步骤：

当所述空间距离d大于阈值时，判断所述空间距离d大于所述阈值的比例，根据不同比例发出对应不同的预警信息；

所述预警信息包括：注意小心、安全警告、中止加油等报警信息。

优选的，所述利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息的步骤，包括：对所述二维图像特征信息进行灰度化处理，得到灰度图像；

对所述灰度图像进行二值化处理，得到待提取图像；

对所述待提取图像进行边缘检测，提取所述待提取图像中的轮廓线；

利用各所述轮廓线并结合所述深度特征信息获取所述轮廓线各像素点的空间坐标；

取所述轮廓线各像素点的空间坐标的平均值作为所述当前坐标信息。

优选的，所述判断所述空间距离d是否大于阈值，若大于阈值则生成预警信息步骤之后还包括如下步骤：

当所述阈值触发所述中止加油报警信息时向地面塔台发出请求协助信息，所述请求协助信息包括加油机和收油机在报警前的输油软管抵近视频和加油机所处的坐标信息。

优选的，当所述空间距离d大于阈值时，判断大于阈值的比例，根据不同比例发出对应不同的预警信息的步骤前还包括如下步骤：

获取加油机当前位置出的环境参数信息；

根据所述当前位置的空气湿度指标对所述阈值进行实时调整。

此外，为实现上述目的，本发明还提出基于图像识别技术的空中加油机输油软管预警系统，其特征在于，包括：

3d视觉相机，安装于受油机的受油口且与受油机中控计算机通信连接，用于在加油机进入受油机的预设范围后实时获取加油机输油软管伸向受油机的3d视频；

视频分帧镜模块，用于获取所述3d视频的当前帧图像；

帧信息提取模块，从所述当前帧图像中获取所述加油机输油软管的二维图像特征信息和深度特征信息；

坐标求取模块，用于利用二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息；预警输出模块，用于根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。

本发明的技术方案通过拍摄加油机输油软管伸向受油机的3d视频，并通过3d视频当前振镜的二维图像特征信息和深度特征信息后利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息并根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。能在加油机输油软管伸向受油机的过程中对输油软管自动监控预警，提高了空中加油的安全性。

附图说明

图1为本发明基于图像识别技术的空中加油机输油软管预警方法第一实施例的流程示意图；

图2为本发明基于图像识别技术的空中加油机输油软管预警方法中空间距离d的计算示意图；

图3为本发明基于图像识别技术的空中加油机输油软管预警系统的结构示意图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

以下结合具体实施方式对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。除非另有定义，本文所使用的所有的技术和科学术语均属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

软管式空中加油所使用的加油设备是由一条软管和一个漏斗式浮锚构成。如图1为空中加油机和空中受油机的加油状态的示意图。浮锚带有一个机械自锁装置，在捕捉到锥套时，可以和锥套锁定。软管加油过程是：加油机释放软管并打开安装在软管下面的信号灯，当收到受油机发出的受油信号时，将管道接通并锁住，然后就开始燃油的传输。由于在空中加油过程中，加油机和受油机要保持编队飞行，双方位置要保持静止，因此对受油机的控制将是一个挑战。现有的软管式空中加油存在加油机抵近收油机对输油软管的运动状态监控仅靠驾驶员的经验判断，存在一定的安全风险。

本发明实施例提供了基于图像识别技术的空中加油机输油软管预警方法，参照图1，图1为本发明基于图像识别技术的空中加油机输油软管预警方法第一实施例的流程示意图。

本实施例中，所述基于图像识别技术的空中加油机输油软管预警方法包括以下步骤：

步骤s1：在加油机进入受油机的预设范围后实时获取加油机输油软管伸向受油机的3d视频。

需要说明的是，本方案方法的执行主体为安装在受油机上的中控计算机；本部步骤中，所述3d视频可以有3d摄像机拍摄获得如双目视觉摄像机，所述3d摄像机可安装在受油机的受油口附近处，所述3d摄像机的控制接口和数据接口均与受油机的控制计算机电连接，所述加油机进入受油机的预设范围可通过机载雷达感知。

步骤s2、实时获取所述3d视频的当前帧图像。

本步骤中所述当前帧图像即3d摄像机每一帧拍摄的由二维图像和深度图像融合形成的当前帧图像。

步骤s3：从所述当前帧图像中获取所述加油机输油软管的二维图像特征信息和深度特征信息。

即从当前帧图像中分离出表征图像形状的二维图像特征信息和表征图像深度信息的深度图。

步骤s4：利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息。

在具体实现中，所述当前锥套口轮廓的获取可通过现有的机器图像识别算法获取，二维图像的整体轮廓获取后可通过预先设定的锥套口轮廓语义模型来从整体二维图像中分割出锥套口轮廓图像。本发明对边缘检测的具体方法不作限制，在具体实现中，边缘检测具体可以通过canny边缘检测算法、及其改进算法等实现，本发明对边缘检测的具体方法不作限制。其中，canny边缘检测算法为通过寻找图像中的强梯度，提取出图像中的轮廓线的算法。所述当前坐标信息可以3d视觉摄像机的安装位置作为原点位置后通过深度图像的相关数据转换获得。

步骤s5：根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。

在具体实现中，所述预设预警计算规则可以为阈值限定，分类器限定等，所述预警信息可以通过受油机的中控计算机配套的人机交互设备展示。

本发明的技术方案通过拍摄加油机输油软管伸向受油机的3d视频，并通过3d视频当前振镜的二维图像特征信息和深度特征信息后利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息并根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。能在加油机输油软管伸向受油机的过程中对输油软管自动监控预警，提高了空中加油的安全性。

具体地，所述预设预警计算规则包括：

根据所述当前坐标信息计算所述当前锥套口轮廓中心距离所述加油机的输油管安装位和受油机之间连线的空间距离d。示意图如图2所示。

所述预警计算规则中所述空间距离d可以表征锥套口偏离目标位置的偏离值。

判断所述空间距离d是否大于阈值，若大于阈值则生成预警信息。

所述阈值可以根据预先加油试验采集的数据记录分析获得。

具体地，在本发明的一优选实施例中，判断所述空间距离d是否大于阈值，若大于阈值则生成预警信息包括如下步骤：

当所述空间距离d大于阈值时，判断所述空间距离d大于所述阈值的比例，根据不同比例发出对应不同的预警信息。例如当所述空间距离d大于所述阈值0％至20％时发出第一类预警信息，当所述空间距离d大于所述阈值的20％至50％时发出第二类预警信息，以此类推。

所述预警信息包括：注意小心、安全警告、中止加油等报警信息。

本优选的实施例中，所述预警信息的分级设置，能快速让飞行员判断预警信息的紧急程度，便于飞行员及时做好相应的应对准备。

具体地，在本发明的优选实施例中，所述利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息的步骤，包括：

对所述二维图像特征信息进行灰度化处理，得到灰度图像；

对所述灰度图像进行二值化处理，得到待提取图像；

对所述待提取图像进行边缘检测，提取所述待提取图像中的轮廓线；

利用各所述轮廓线并结合所述深度特征信息获取所述轮廓线各像素点的空间坐标；

取所述轮廓线各像素点的空间坐标的平均值作为所述当前坐标信息。

具体地，在本发明的优选实施例中，所述判断所述空间距离d是否大于阈值，若大于阈值则生成预警信息步骤之后还包括如下步骤：

当所述阈值触发所述中止加油报警信息时向地面塔台发出请求协助信息，所述请求协助信息包括加油机和收油机在报警前的输油软管抵近视频和加油机所处的坐标信息。

本优选的实施例中报警信息可通过受油机的机载无线通讯设备向地面控制台发送输油软管抵近视频和坐标信息，便于控制台了解加油机和受油机的实时情况，及根据坐标信息获知加油机所在位置的天气情况，便于控制台进行对加油机和受油机飞行员的辅助决策。

在本发明的优选实施例中，当所述空间距离d大于阈值时，判断大于阈值的比例，根据不同比例发出对应不同的预警信息的步骤前还包括如下步骤：

获取加油机当前位置出的环境参数信息；

根据所述当前位置的空气湿度指标对所述阈值进行实时调整。

所述环境参数信息可以为空气湿度、温度、风力、风速大小等。所述环境参数变化与阈值的联动设置，进一步优化了本发明方法在不同环境状态下的有效性。

本发明实施例还提出基于图像识别技术的空中加油机输油软管预警系统。参照图3，图3为本发明基于图像识别技术的空中加油机输油软管预警系统第一实施例的结构框图。

所述基于图像识别技术的空中加油机输油软管预警系统包括：

3d视觉相机，安装于受油机的受油口且与受油机中控计算机通信连接，用于在加油机进入受油机的预设范围后实时获取加油机输油软管伸向受油机的3d视频；

需要说明的是，本系统的执行主体为安装在受油机上的中控计算机，所述3d视频可以有3d摄像机拍摄获得如双目视觉摄像机，所述3d摄像机可安装在受油机的受油口附近处，所述3d摄像机的控制接口和数据接口均与受油机的控制计算机电连接，所述加油机进入受油机的预设范围可通过机载雷达感知。

视频分帧镜模块，用于获取所述3d视频的当前帧图像；

帧信息提取模块，从所述当前帧图像中获取所述加油机输油软管的二维图像特征信息和深度特征信息；

坐标求取模块，用于利用二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息；

预警输出模块，用于根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。

本发明的技术方案通过拍摄加油机输油软管伸向受油机的3d视频，并通过3d视频当前振镜的二维图像特征信息和深度特征信息后利用所述二维图像特征信息按照预设方法提取所述加油机输油软管的锥套口轮廓并输出当前锥套口轮廓中心对应的当前坐标信息并根据所述当前坐标信息按照预设预警计算规则计算，并输出预警信息。能在加油机输油软管伸向受油机的过程中对输油软管自动监控预警，提高了空中加油的安全性。

本发明基于图像识别技术的空中加油机输油软管预警系统的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。