无人机显控一体方法和系统、装置及计算机可读储存介质与流程

1.本说明书涉及无人机技术领域，特别涉及一种无人机显控一体方法和系统、装置及计算机可读储存介质。


背景技术：

2.无人机应用在日益发展，无人机地面显控系统也逐渐成为一个比较热门的领域。目前国内外主流的无人机地面显控系统主要功能有：轨迹显示、加载电子地图、状态信息显示、航迹规划、飞行数据记录以及操作指令等。但现有的无人机地面显控系统一般都需要在电脑端连接一个串口通信的外置设备，例如申请号为cn201610268512.5的专利申请公开了一种无人机数据传输安全系统及其传输方法，该系统的显示设备作为一个外置设备，需要分别与osd模块和接收模块通过接口相连，使得显示设备才能够显示无人机传输的飞行数据。作为无人机系统的“神经中枢”，对地面显控系统的稳定性和实用性的要求也逐步提高。一款简单实用的无人机地面显控系统，使无人机能够执行更为复杂的作业任务，降低操作人员的工作量，对无人机系统是一个很大的优化。因而，对无人机地面显控系统的研究有着重大意义，无人机地面显控系统也发挥着越来越重要的作用。
3.目前大部分地面显控系统显示参数有限、显示不够直观，对无人机的飞行控制和机载设备控制分散，操作人员操作不方便。因此，需要提供一种无人机显控一体方法和系统。


技术实现要素：

4.本说明书实施例之一提供一种无人机显控一体方法，所述方法包括：获取无人机执行完成和/或执行中的至少一次飞行任务的遥测数据，所述遥测数据包括至少两种不同类型的数据；对所述遥测数据进行集中分析，得到所述遥测数据对应的分析数据；将所述分析数据显示在同一个显示界面；以及至少基于所述分析数据，在所述显示界面中实现对所述无人机进行控制。
5.本说明书实施例之一提供一种无人机显控一体系统，所述系统包括：获取模块，用于获取无人机执行完成和/或执行中的至少一次飞行任务的遥测数据，所述遥测数据包括至少两种不同类型的数据；分析模块，用于对所述遥测数据进行集中分析，得到所述遥测数据对应的分析数据；显示模块，用于将所述分析数据显示在同一个显示界面；以及控制模块，用于至少基于所述分析数据，在所述显示界面中实现对所述无人机进行控制。
6.本说明书实施例之一提供一种无人机显控一体装置，包括处理器，所述处理器用于执行上述无人机显控一体方法。
7.本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述无人机显控一体方法。
附图说明
8.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的无人机显控一体系统的应用场景示意图；图2是根据本说明书一些实施例所示的无人机显控一体方法的示例性流程图；图3是根据本说明书一些实施例所示的无人机显控一体方法的示例性流程图；图4是根据本说明书一些实施例所示的通过紧急程度判断模型判断控制指令紧急程度的示意图；图5是根据本说明书一些实施例所示的无人机显控一体系统的模块图。
具体实施方式
9.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
10.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
11.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
12.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
13.本说明书中使用的定位技术可以包括全球定位系统(gps)、全球卫星导航系统(glonass)、北斗导航系统(compass)、伽利略定位系统、准天顶卫星系统(qzss)、无线保真(的wi
‑
网络连接)定位技术等或其任意组合。上述定位技术中的一种或以上可以在本技术中互换使用。
14.图1是根据本说明书一些实施例所示的无人机显控一体系统100的应用场景示意图。在一些实施例中，所述无人机显控一体系统100可以包括便携站pc110、显控一体软件120和地面台130。
15.在一些实施例中，显控一体软件120可以为安装在便携站pc110中的软件程序。在一些实施例中，便携站pc110可以通过串口与地面台130进行通信连接。
16.在一些实施例中，便携站pc110可以用于发送和接收通信网络信号。在一些实施例中，便携站pc110还可以用于解析和/或显示无人机数据，生成和/或执行对无人机的控制指
令。在一些实施例中，便携站除了具有便携站pc110，便携站还可以波纹喇叭、环焦天线和波导圆极化器等设备，所述波纹喇叭和所述波导圆极化器与所述环焦天线连接。
17.在一些实施例中，显控一体软件120可以安装在便携站pc110中，用于显示无人机飞行数据、生成和/或执行对无人机的控制指令。关于显控一体软件120的更多细节请参见后文描述。
18.地面台130是指具有对无人机飞行平台和任务载荷进行监控和操纵的能力，包含对无人机发射和回收控制的一组设备。在一些实施例中，地面台130可以理解地面的基站，是便携站pc110与无人机之间的通信枢纽，收发无人机的数据，执行地面发射指令和生成链路信息数据等。
19.在一些实施例中，显控一体软件120可以内置有用于处理、分析数据的处理器，显控一体软件120可以将用户的输入以数据帧的方式通过串口输入到地面台，实现接收无人机的实时数据、对实时数据进行显示、控制无人机等功能。
20.在一些实施例中，可以通过网络促进便携站pc110、显控一体软件120、地面台130之间信息和/或数据的交换。在一些实施例中，网络可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(lan)、广域网络(wan)、无线局域网络(wlan)、城域网(man)、公共交换电话网络(pstn)、蓝牙网络、紫蜂网络、近场通讯(nfc)网络等，或其任意组合。在一些实施例中，网络可以包括一个或以上网络接入点。例如，网络可以包括有线或无线网络接入点，通过该接入点，无人机显控一体系统100的一个或多个组件可以连接到网络以交换数据和/或信息。
21.图2是根据本说明书一些实施例所示的无人机显控一体方法的示例性流程图。如图2所示，流程200包括下述步骤。在一些实施例中，流程200可以由处理器执行。
22.步骤210，获取无人机执行完成和/或执行中的至少一次飞行任务的遥测数据。在一些实施例中，步骤210可以由获取模块510执行。
23.遥测数据是指通过传感器被遥测终端接收到的实时数据。以无人机为例，无人机的遥测数据可以包括传感器测量到的无人机多个部位的压力数据、温度数据、湿度数据、角度数据、振动数据等。
24.在一些实施例中，遥测数据可以包括至少两种不同类型的数据。也即，获取模块510可以获取多种不同类型的遥测数据，以便于后续对多种不同类型的遥测数据进行集中分析、处理和显示等效果。
25.在一些实施例中，无人机上的传感器可以将上述遥测数据发送至地面台130，地面台130接收上述遥测数据后，获取模块510可以通过串口从地面台130处获取上述遥测数据。
26.在一些实施例中，获取模块510可以获取执行任务中无人机的遥测数据，也可以获取执行任务完成无人机的遥测数据。也即，获取模块510可以实现获取实时遥测数据，和/或无人机执行任务完成后的最终遥测数据，以提升获取遥测数据的准确性和全面性。
27.步骤220，对所述遥测数据进行集中分析，得到所述遥测数据对应的分析数据。在一些实施例中，步骤220可以由分析模块520执行。
28.在一些实施例中，分析数据可以至少包括与所述无人机相关的参数、地图航迹和机载设备状态中的一种或多种。在一些实施例中，与无人机相关的参数可以包括无人机的
飞行参数，例如，无人机的飞行轨迹、姿态角、迎角、舵偏角、飞行高度、地速（vx、vy、vz）、空速、飞行马赫数等。在一些实施例中，与无人机相关的参数还可以包括无人机的导航参数，例如，对准状态、导航模式、北斗pdop值、导航传感器状态、组合经度、组合纬度、当前航线、当前航点、侧偏距、下一航点距离等。
29.在一些实施例中，机载设备可以包括但不限于rcs增强器、雷达模拟器、干扰机、脱靶量指示器、曳光管、诱饵弹等。以诱饵弹为例，机载设备状态可以为诱饵弹是否开启、是否发射等状态。
30.在一些实施例中，分析模块520可以通过处理器对上述多种不同类型的无人机数据进行分析和处理，为后续实现将上述多种不同类型的无人机数据进行可视化奠定基础。
31.通过上述方式，对获取的多种遥测数据在同一台设备（例如，便携站pc110）进行集中处理、分析和整合，从而有效地提升了数据处理效率。
32.步骤230，将所述分析数据显示在同一个显示界面。在一些实施例中，步骤230可以由显示模块530执行。
33.在一些实施例中，显示界面可以对上述分析数据进行分区显示。例如，显控一体软件120的显示界面可以将无人机相关的参数、地图航迹和机载设备状态三种数据显示在三个不同的子屏幕或子区域中。在一些实施例中，显示界面可以根据数据的重要性对部分数据进行特殊显示。例如，对重要性高的数据进行高亮显示，或将重要性高的数据显示在中间分区。
34.在一些实施例中，显示界面可以根据用户需求显示多种类型不同的分析数据。在一些实施例中，显示界面可显示的分析数据可以包括地平仪画面，用于指示机身俯仰、滚转和偏航姿态信息和升降速度、高度信息。
35.在一些实施例中，显示界面可显示的分析数据可以包括无人机的导航信息，例如，对准状态、导航模式、北斗pdop值、导航传感器状态、组合经度、组合纬度、当前航线、当前航点、侧偏距、下一航点距离。
36.在一些实施例中，显示界面可显示的分析数据可以包括无人机的飞行数据。例如，无人机的飞行高度、地速（vx、vy、vz）、空速、飞行马赫数、位置、加速度及速度等。
37.在一些实施例中，显示界面可显示的分析数据可以包括无人机飞行的姿态信息、高度信息、速度信息、舵系统状态、电压信息等。例如，无人机的组合俯仰角、组合滚转角、组合偏航角、俯仰角速度、滚转角速度、偏航角速度、轴向加速度、横向加速度、垂向加速度、组合高度、bd高度、气压高度、爬升/下沉率、真空速、指示空速、马赫数、bd速度、组合速度、组合北速、组合东速、组合天速、bd北速、bd东速、bd天速、左升降舵给定角、左升降舵偏角、右升降舵给定角、右升降舵偏角、左副翼给定角、左副翼偏角、右副翼给定角、右副翼偏角、左方向舵给定角、左方向舵偏角、右方向舵给定角、右方向舵偏角、主汇流电压、电池电压等。
38.在一些实施例中，显示界面可显示的分析数据可以包括无人机的数据链状态信息。例如，机载台接收频道、agc电压值、上行信道误码率、解扩agc电压值，下行链路工作开关状态：工作、静默，下行发射功率状态：大功率、中功率、小功率，下行解调帧锁定状态：锁定、失锁、地面频道、地面台agc电压值、测距值、信道误码率等。
39.在一些实施例中，显示界面可显示的分析数据可以包括无人机的发动机状态信息。例如，无人机的发动机转速、排温、油门角、滑油压力。
40.在一些实施例中，显示界面可显示的分析数据可以包括无人机的状态字。例如，无人机的发动机状态字、光纤惯组状态字、大气机状态字、舵系统状态字、bd状态字、姿态失控状态字、飞出准飞去状态字、飞入保护区状态字在一些实施例中，显示界面可显示的分析数据可以包括无人机的机载设备状态。例如，rcs增强器、雷达模拟器、干扰机、脱靶量指示器、曳光管、诱饵弹的开启/关闭状态。
41.在一些实施例中，显示界面可显示的分析数据可以包括无人机的回收系统状态。例如，伞舱切割器1电压、伞舱切割器2电压、充电电磁阀电压、抛伞器电压。
42.通过上述方式，相较于现有的无人机显示控制系统，无需将不同类型的无人机数据分别显示在不同设备上，具有较强、较为直观的可视化效果，方便机组人员更好地记录和处理数据。且显示的无人机数据种类多、较为全面。
43.步骤240，至少基于所述分析数据，在所述显示界面中实现对所述无人机进行控制。在一些实施例中，步骤240可以由控制模块240执行。
44.在一些实施例中，可以在所述显示界面生成和/或执行对所述无人机的控制指令。在一些实施例中，控制指令可以至少包括：航迹规划、参数装订和飞行数据回放中的一种或多种。
45.在一些实施例中，控制模块240可以基于显控一体软件120自动生成并执行对无人机的控制指令，并通过串口发送至地面台130实现对无人机的控制。例如，以控制指令为无人机回收指令为例，当分析数据为无人机的发动机状态排温过高至不再适于飞行，则控制模块240可以生成并执行对无人机的回收控制指令。
46.在一些实施例中，用户（例如，机组工作人员）可以通过显控一体软件120手动输入或执行对无人机的控制指令。
47.通过上述方式，本无人机显控一体系统100不仅能够实现遥测数据进行参数综合分析、显示、地图航迹显示，同时进行起降操纵、遥控飞行、任务设备控制、数据链管理等操纵与控制。此外，无人机显控一体系统100的显控一体软件120具有较强的移植性，适用于多种操作系统。
48.应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
49.图3是根据本说明书一些实施例所示的无人机显控一体方法的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由处理器执行。
50.步骤310，获取所述控制指令的紧急程度。在一些实施例中，步骤310可以由控制模块540执行。紧急程度可以用于判断控制指令的重要程度。继续前述示例，当分析数据指示无人机的发动机排温过高至不再适于飞行任务，需要紧急地对无人机进行回收，则回收无人机的控制指令的紧急程度较高。在一些实施例中，控制模块540可以通过机器学习模型获取紧急程度。关于获取紧急程度的更多细节可以参考图4及其相关描述。
51.步骤320，基于所述紧急程度，得到所述控制指令的执行顺序。在一些实施例中，控制模块可以将紧急程度越高的控制指令排在越靠前的执行顺序。例如，回收无人机的紧急程度高于无人机拍照的控制指令，则回收无人机的执行顺序在无人机拍照之前。
52.应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明
书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
53.图4是根据本说明书一些实施例所示的通过紧急程度判断模型400判断控制指令紧急程度的示意图。
54.在一些实施例中，机器学习模型可以包括深度学习模型可以包括可变形部件模型(dpm)、过热网络、空间金字塔池化网络(sppnet)、卷积神经网络(cnn)、基于候选区域的卷积神经网络(r
‑
cnn)、全卷积网络(fcn)、yolo(you onlylook once)网络等，或其任何组合。
55.在一些实施例中，机器学习模型可以为紧急程度判断模型。在一些实施例中，紧急程度判断模型的输入可以为对无人机的至少一个控制指令，输出可以为该至少一个控制指令的紧急程度。在一些实施例中，输出紧急程度可以通过数字的形式展现。例如，1～10中的任一个数字，其中，数值越大则表示紧急程度越高。
56.在一些实施例中，紧急程度判断模型可以通过多个有标签的训练样本训练得到。例如，可以将多个带有标签的第一训练样本输入初始紧急程度判断模型，通过标签和初始紧急程度判断模型的结果构建损失函数，基于损失函数迭代更新初始第一腹腔积液图像处理模型300的参数。当初始紧急程度判断模型的损失函数满足预设条件时模型训练完成，得到训练好的紧急程度判断模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
57.在一些实施例中，训练样本至少可以包括对无人机的多个控制指令。标签可以表征多个控制指令对应的紧急程度。标签可以基于从存储有控制指令紧急程度历史数据的存储设备中获取，标签也可以人工标注。
58.图5是根据本说明书一些实施例所示的无人机显控一体系统的模块图500。
59.在一些实施例中，无人机显控一体系统可以包括获取模块510，用于获取无人机执行完成和/或执行中的至少一次飞行任务的遥测数据，所述遥测数据包括至少两种不同类型的数据；分析模块520，用于对所述遥测数据进行集中分析，得到所述遥测数据对应的分析数据；显示模块530，用于将所述分析数据显示在同一个显示界面；以及控制模块540，用于至少基于所述分析数据，在所述显示界面中实现对所述无人机进行控制。
60.应当理解，图5所示的系统及其模块可以利用各种方式来实现。需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图5中披露的显示模块530和控制模块540可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
61.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
62.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一
实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
63.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
64.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
65.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
66.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
67.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。