一种用于对驾驶舱操作进行监测的方法、装置和系统与流程

1.本发明涉及飞机系统中的飞行记录领域，并且更具体地涉及用于驾驶舱操作监测的方法、装置和系统。


背景技术：

2.商用飞机都配备有驾驶舱语音记录器(cvr)和飞行数据记录器，被称为“黑匣子”。其中，驾驶舱语音记录器用于记录驾驶舱的声音，包括飞行员与管制员的通话，飞行员之间的飞行内话，飞行员与乘务员的客舱内话，旅客广播及驾驶舱告警声音。而这些语音信息通常用于了解事故或进行事件调查。
3.为了更好地了解飞行过程中机组操作的规范性，提升航空安全性，航空公司会在航后将驾驶舱语音记录器的语音从驾驶舱语音记录器或者快速存取记录器导出并回听，检查机组飞行程序规范性、飞行关键阶段标准喊话规范性及驾驶舱资源管理能力。
4.然而，音频信息需要人工回听，耗时长且容易错听、漏听。为节省时间，航空公司往往采用抽查方式，这样由不能保证检查的全覆盖。
5.为了提高检查效率和正确率，本专利提出一种驾驶舱操作监测方法、装置和系统，通过增加对驾驶舱语音的识别和文字转化过程，可将冗长的音频信息转化为文字信息，便于锁定有效信息区间，简化日常检查流程。


技术实现要素：

6.以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以作为稍后给出的更加详细的描述之序。
7.为了解决上述问题，本方面提出了一种用于对驾驶舱操作进行监测的方法、装置和系统。
8.在本发明的实施例中，提供了一种用于对驾驶舱操作进行监测的方法，所述方法包括：采集驾驶舱中的语音数据；将所述语音数据转换成文本数据；从机载系统接收飞行阶段参数；至少部分地基于所述飞行阶段参数来将所述文本数据按时间划分成文本数据区段；以及至少部分地基于所述文本数据区段来识别与相应飞行阶段相关联的驾驶舱操作。
9.在一方面，识别与相应飞行阶段相关联的驾驶舱操作包括：至少部分地基于标准喊话库来标识所述文本数据区段中的飞行阶段特征部分。
10.在一方面，所述方法进一步包括：存储所标识的飞行阶段特征部分。
11.在一方面，识别与相应飞行阶段相关联的驾驶舱操作进一步包括：将所标识的飞行阶段特征部分与标准流程进行比对以生成每个飞行阶段的驾驶舱操作是否符合标准操作规则的置信度。
12.在一方面，所述方法进一步包括：将所标识的飞行阶段特征部分和/或置信度传送
到地面站。
13.在一方面，将所述语音数据转换成所述文本数据包括：对所述驾驶舱语音数据进行特征提取；将所提取的语音数据特征与特征数据库进行比对以输出所述文本数据。
14.在本发明的实施例中，提供了一种驾驶舱操作的监测装置，所述监测装置包括：语音采集模块，其用于采集驾驶舱中的语音数据；
15.语音识别和处理模块，其用于将所述语音数据转换成文本数据；文本处理模块，其用于：从机载系统接收飞行阶段参数；至少部分地基于所述飞行阶段参数来将所述文本数据按时间划分成文本数据区段；以及至少部分地基于所述文本数据区段来识别与相应飞行阶段相关联的驾驶舱操作。
16.在一方面，其特征在于，所述文本处理模块进一步用于：至少部分地基于标准喊话库来标识所述文本数据区段中的飞行阶段特征部分。
17.在一方面，所述文本处理模块进一步用于：将所标识的飞行阶段特征部分与标准流程进行比对以生成每个飞行阶段的驾驶舱操作是否符合标准操作规则的置信度。
18.在一方面，所述监测装置进一步包括文本存储模块，其用于：存储所述文本数据区段和/或所标识的飞行阶段特征部分。
19.在本发明的实施例中，提供了一种包括上述监测装置的飞行系统，其特征在于，所述监测装置被集成在驾驶舱语音记录器中，独立于所述驾驶舱语音记录器，或者位于地面站。
20.这一方面，所述飞行系统进一步包括显示装置，所述显示装置用于显示文本数据区段、所述文本数据区段中所标识的飞行阶段特征部分、每个飞行阶段的驾驶舱操作是否符合标准操作规则的置信度。
21.提供本

技术实现要素：
是为了以简化的形式来介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。各实施例的其他方面、特征和/或优点将部分地在下面的描述中阐述，并且将部分地从描述中显而易见，或者可以通过本公开的实践来学习。
附图说明
22.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。在附图中，类似附图标记始终作类似的标识。要注意，所描述的附图只是示意性的并且是非限制性的。在附图中，一些部件的尺寸可放大并且出于解说性的目的不按比例绘制。
23.图1a-1c解说了根据本发明的一实施例的驾驶舱操作监测装置的示例。
24.图2a-2c解说了根据本发明的一实施例的增强型驾驶舱操作监测装置的示例。
25.图3解说了根据本发明的一实施例的用于实现驾驶舱操作监测的方法的过程流的示例。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践所描述的实施例。在其他示例性实施例中，没有详细描述公知的结构或处理步骤，以避免不必要地模糊本公开的概念。
27.在本说明书中，除非另有说明，否则通过本说明书使用的术语“a或b”指的是“a和b”和“a或b”，而不是指a和b是排他性的。
28.现有的驾驶舱语音采集和记录的是通过从音频控制面板(acp)获取语音数据，传输到cvr中进行存储。本技术的驾驶舱操作监测方法、装置和系统在此基础上，主要用于采集驾驶舱的音频信息，对驾驶舱声音和机组对话进行语音数据和文本数据的记录。本技术的操作监测装置增加对采集的语音数据进行文字转化、存储和下载功能，得到驾驶舱的语音数据和文本数据记录。
29.图1a-1c解说了根据本发明的一实施例的驾驶舱操作监测装置的示例。
30.图1a解说了驾驶舱操作监测装置基本型ⅰ。如图所示，该监测装置在原有的cvr设备的基础上，集成语音识别和处理模块和文本存储模块。在本技术的实施例中，该监测装置还可以包括用于文本数据导出的端口。
31.在本技术的实施例中，语音识别和处理模块可包含语音特征数据库，其可以通过提取驾驶舱语音(也被称为舱音)的语音特征并与语音特征数据库进行对比，完成舱音的识别和转化。在本技术的实施例中，语音特征包括舱音数据的能量、过零率、自相关系数、振幅、能熵比、反射系数、音调、共振频率、线性预测倒谱系数、光谱质心、梅尔频率倒谱系数等等。在本技术的实施例中，语音特征数据库除了包含一般汉语、英语口语特征外，还包括民航标准喊话特征、驾驶舱告警语音和音响特征，以提高分辨的准确度。例如，语音识别和处理模块可以对acp所采集的语音数据进行特征提取，将被提取的语音数据特征与特征数据库进行比对以输出文本数据，从而实现语音数据到文本数据的转换。
32.在本技术的实施例中，文本存储模块可用于存储转化后的文本数据。
33.在本技术的实施例中，文本数据导出端口可用于下载文本数据。
34.图1b解说了驾驶舱操作监测装置基本型ⅱ。如图所示，该监测装置可被独立安装在cvr附近，并且集成有语音识别和处理模块和文本存储模块。在本技术的实施例中，该监测装置还可以包括用于文本数据导出的端口。在本技术的实施例中，该监测装置可以直接从acp获取语音数据，或者从cvr读取语音数据。
35.图1c解说了驾驶舱操作监测装置基本型ⅲ。如图所示，该监测装置可被独立地安装在地面站(例如，塔台处)。该监测装置集成有语音识别和处理模块和文本存储模块。该监测装置还可以包括用于文本数据导出的端口。该监测装置可接收通过空地互联获取的舱音数据。
36.在另一方面，为了快速锁定有效信息区间，使转化后的文本更易于阅读和检查，本方面可被进一步改进。图2a-2c解说了根据本发明的一实施例的增强型驾驶舱操作监测装置的示例。
37.参照图1a-1c所描述的驾驶舱操作监测装置，图2a-2c中的监测装置分别增加了文
本处理模块。该文本处理模块可用于从飞机系统接收飞行阶段数据，并且在文本中对不同飞行阶段进行标识。文本处理模块还可以包括标准喊话文本库和驾驶舱告警语音文本库。通过将从语音识别和处理模块获得的文本与相应的文本库进行比对，以对驾驶舱告警语音进行特殊标注(例如，标红等)，对符合或不符合标准喊话的内容，进行区分地特殊标注(例如，标黄，加粗等)。
38.此外，文本处理模块还可以从飞机系统(例如，机载控制系统
、
航电核心系统等)获取飞行数据。飞行数据可包括飞行阶段参数(诸如飞行阶段的时间区间、飞行阶段的起点和终点等等)和飞行过程中出现的告警信息等，以辅助对驾驶舱语音的文本信息按时间轴进行阶段性地划分。在本技术的实施例中，飞行阶段参数可参见表1中的示例，如下：
39.表1飞行阶段参数
40.[0041][0042]
关于如何基于对驾驶舱语音的识别来对机组操作进行监测的详细过程，可参见图3所解说的根据本发明的一实施例的用于实现驾驶舱操作监测的过程流的示例。
[0043]
在步骤302，可从acp接收音频信号，进行舱音采集。
[0044]
在步骤304，可以将从acp采集到的音频信号存储到cvr中。
[0045]
在步骤306，可以将从acp采集到的语音数据转换成文本。例如，可以对采集的语音数据进行特征提取，将被提取的语音数据特征与特征数据库进行比对以输出文本数据，从而实现语音数据到文本数据的转换。替换地或附加地，该语音数据可以是步骤304所存储的数据，或者可以是通过空地互联获取的舱音数据。在本技术的实施例中，语音识别和处理模块可以实现语音数据到文本数据的转换，并且转换得到的文本数据可被存储在文本存储模块中。
[0046]
在步骤308，可以从飞机系统(例如，机载控制系统)接收飞行阶段参数。这些飞行阶段参数诸如飞行阶段的区间。可任选地，在本技术的实施例中，可以根据飞行阶段参数对语音数据进行飞行阶段的划分(未示出)，得到多个不同飞行阶段下的语音数据分段，然后，在304存储到cvr中。在后续进行机组操作监测时，可以直接调取各个飞行阶段下的语音数据分段，快速高效。附加地或替换地，飞行阶段参数可以被输入到文本处理模块以供后续本文处理。
[0047]
在步骤310，可以结合步骤308接收到的飞行阶段特征，将在步骤310转换得到的文本数据划分为多个不同飞行阶段下的文本数据分段。在本技术的实施例中，多个不同飞行阶段下的文本数据分段可以被存储在文本存储模块中，在后续进行机组操作监测时，也可以直接调取各个飞行阶段下的文本数据分段，快速高效。
[0048]
在步骤312，可以标识带有飞行阶段特征的文本数据分段。
[0049]
在本技术的实施例中，文本数据分段可以与带有飞行阶段特征的标准喊话库进行比对，并且可以根据比对结果来标识(例如，特殊标注)文本数据中带有飞行阶段特征的部
分。附加地或替换地，带有所标识的飞行阶段特征部分的文本数据分段可被存储在文本存储模块中，在后续进行机组操作监测时，可以直接调取各个飞行阶段下的所标识的飞行阶段特征部分，快速高效。在本技术的实施例中，带有飞行阶段特征的标准喊话库可包括：检查；已检查；已交叉检查；在___处暂停检查单；在___处恢复检查单；调置复飞高度__；调置航向__；拔出航向090；管理导航；预位进近；预位航向道等，如在飞行手册，机组操作手册上所描述的。
[0050]
在本技术的实施例中，上述带有飞行阶段特征的标准喊话库可被存储在文本处理模块中，并且可以由该文本处理模块来进行文本比对以生成与飞行阶段相关联的监测结果。在本技术的实施例中，可通过文本比对来识别与相应飞行阶段相关联的驾驶舱操作，包括：通过与标准喊话库进行比对来标识带有飞行阶段的文本数据分段上属于喊话部分的文本(每个飞行阶段所必须的喊话)，以及对符合标准喊话的内容进行区分地特殊标注(例如，标黄，加粗等)。附加地或替换地，可以将所标识的文本数据分段与标准流程(航司培训的标准要求)进行比对，得到关于吻合率的置信度以作为检测查的依据。在本技术的实施例中，如果置信度高于指定阈值(例如，90％)，则认为该飞行阶段的驾驶操作合格。在本技术的实施例中，上述阈值可以是可配置的，例如，可通过输入设备(诸如鼠标、键盘等)来输入阈值范围。在本技术的实施例中，合格认定可以由航司的要求来设定，保留客制化选择。
[0051]
在本技术的实施例中，还可以将文本数据分段与驾驶舱告警语音文本库进行比对以对驾驶舱告警语音进行特殊标注(例如，标红等)，或者对不符合标准喊话的内容进行区分地特殊标注(例如，标黄，加粗等)。在本技术的实施例中，驾驶舱告警语音文本库可包括单发失效、失速、火警、高度告警等提示告警音等等。
[0052]
在步骤314，可以存储文本数据信息。例如，可以将文本数据分段、所标识的文本数据分段存储在文本存储模块中，也可以将置信度存储在文本存储模块中。在本技术的实施例中，被存储的数据可由文本数据导出端口下载。
[0053]
在步骤316，可进行机组操作监测。例如，可以根据飞行阶段按需调取语音数据、文本数据供检测，可以在显示器上所标识的文本数据分段，可以输出关于吻合率的置信度。在本技术的实施例中，带标识的文本数据可被下载并呈现(以某种特殊方式进行显示，诸如高亮、标红、特殊字体等)在显示器上，准确而高效地获取关键信息区段。在本技术的实施例中，可直接输出符合或不符合规范操作的监测结果。例如，滑行阶段合格，巡航阶段不合格等。
[0054]
以上描述了根据本发明的用于对驾驶舱操作进行监测的方法、装置和系统，相对现有技术而言，本发明的方法至少具有以下优点：
[0055]
(1)通过检查基于音频的文本数据信息，可以在日常检查过程中替代音频检查，减少因音频时间而导致较长时间的检查时长，从而简化日常机组操作规范检查流程；
[0056]
(2)通过对音频的文本信息的处理，如增加与标准喊话文库、驾驶舱告警语音文本库的比对标识，可以较快地锁定关键信息段；
[0057]
(3)通过直接输出符合或不符合规范操作的监测结果，进一步提高监测效率。
[0058]
在整个说明书中已经参照“实施例”，意味着特定描述的特征、结构或特性包括在至少一个实施例中。因此，这些短语的使用可以不仅仅指代一个实施例。此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
[0059]
以上描述的方法和装置的各个步骤和模块可以用硬件、软件、或其组合来实现。如果在硬件中实现，结合本公开描述的各种说明性步骤、模块、以及电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、或其他可编程逻辑组件、硬件组件、或其任何组合来实现或执行。通用处理器可以是处理器、微处理器、控制器、微控制器、或状态机等。如果在软件中实现，则结合本公开描述的各种说明性步骤、模块可以作为一条或多条指令或代码存储在计算机可读介质上或进行传送。实现本公开的各种操作的软件模块可驻留在存储介质中，如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、可移动盘、cd-rom、云存储等。存储介质可耦合到处理器以使得该处理器能从/向该存储介质读写信息，并执行相应的程序模块以实现本公开的各个步骤。而且，基于软件的实施例可以通过适当的通信手段被上载、下载或远程地访问。这种适当的通信手段包括例如互联网、万维网、内联网、软件应用、电缆(包括光纤电缆)、磁通信、电磁通信(包括rf微波和红外通信)、电子通信或者其他这样的通信手段。
[0060]
在各实施例中给出的数值仅作为示例，而不作为对本发明范围的限制。此外，作为一个整体技术方案，还存在其他没有被本发明权利要求或说明书所列举的元器件或者步骤。而且，一个元器件的单个名称不排除该元器件的其他名称。
[0061]
还应注意，这些实施例可能是作为被描绘为流程图、流图、结构图、或框图的过程来描述的。尽管流程图可能会把诸操作描述为顺序过程，但是这些操作中有许多操作能够并行或并发地执行。另外，这些操作的次序可被重新安排。
[0062]
所公开的方法、装置和系统不应以任何方式被限制。相反，本公开涵盖各种所公开的实施例(单独和彼此的各种组合和子组合)的所有新颖和非显而易见的特征和方面。所公开的方法、装置和系统不限于任何具体方面或特征或它们的组合，所公开的任何实施例也不要求存在任一个或多个具体优点或者解决特定或所有技术问题。
[0063]
本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。
[0064]
相关领域的技术人员可以认识到，可以在没有一个或多个具体细节的情况下或者利用其他方法、资源、材料等来实践这些实施例。在其他情况下，众所周知的结构、资源，或者仅仅为了观察实施例的模糊方面而未详细示出或描述操作。
[0065]
虽然已经说明和描述了实施例和应用，但是应该理解，实施例不限于上述精确配置和资源。在不脱离所要求保护的实施例的范围的情况下，可以在本文公开的方法和系统的布置，操作和细节中进行对本领域技术人员显而易见的各种修改、替换和改进。
[0066]
如本文中所使用的术语“和”、“或”以及“和/或”可包括还预期至少部分地取决于使用此类术语的上下文的各种含义。通常，“或”如果被用于关联一列表，诸如a、b或c，则旨在表示a、b和c(这里使用的是包含性的含义)以及a、b或c(这里使用的是排他性的含义)。另外，本文所使用的术语“一个或多个”可用于描述单数形式的任何特征、结构或特性，或者可用于描述多个特征、结构或特征或其某种其他组合。但是，应注意，这仅是说明性示例，并且所要求保护的主题内容不限于此示例。
[0067]
虽然已经解说并描述了目前被认为是示例特征的内容，但是本领域技术人员将理解，在不脱离所要求保护的主题的情况下，可以进行各种其他修改，并且可以替换等同物。
附加地，可以作出许多修改以使特定场景适应于要求保护的主题内容的教导，而不脱离本文所描述的中心概念。
[0068]
一种实现(1)可以是一种用于对驾驶舱操作进行监测的方法，所述方法包括：采集驾驶舱中的语音数据；将所述语音数据转换成文本数据；从机载系统接收飞行阶段参数；至少部分地基于所述飞行阶段参数来将所述文本数据按时间划分成文本数据区段；以及至少部分地基于所述文本数据区段来识别与相应飞行阶段相关联的驾驶舱操作。
[0069]
可存在上述方法(1)的一些实现(2)，其中识别与相应飞行阶段相关联的驾驶舱操作包括：至少部分地基于标准喊话库来标识所述文本数据区段中的飞行阶段特征部分。
[0070]
可存在上述方法(2)的一些实现(3)，其进一步包括：存储所标识的飞行阶段特征部分。
[0071]
可存在上述方法(2)的一些实现(4)，其中识别与相应飞行阶段相关联的驾驶舱操作进一步包括：将所标识的飞行阶段特征部分与标准流程进行比对以生成每个飞行阶段的驾驶舱操作是否符合标准操作规则的置信度。
[0072]
可存在上述方法(2或4)的一些实现(5)，其进一步包括：将所标识的飞行阶段特征部分和/或置信度传送到地面站。
[0073]
可存在上述方法(1)的一些实现(6)，其中将所述语音数据转换成所述文本数据包括：对所述驾驶舱语音数据进行特征提取；将所提取的语音数据特征与特征数据库进行比对以输出所述文本数据。
[0074]
一种实现(7)可以是一种驾驶舱操作的监测装置，所述监测装置包括：语音采集模块，其用于采集驾驶舱中的语音数据；语音识别和处理模块，其用于将所述语音数据转换成文本数据；文本处理模块，其用于：从机载系统接收飞行阶段参数；至少部分地基于所述飞行阶段参数来将所述文本数据按时间划分成文本数据区段；以及至少部分地基于所述文本数据区段来识别与相应飞行阶段相关联的驾驶舱操作。
[0075]
可存在上述监测装置(7)的一些实现(8)，其中所述文本处理模块进一步用于：至少部分地基于标准喊话库来标识所述文本数据区段中的飞行阶段特征部分。
[0076]
可存在上述监测装置(8)的一些实现(9)，其中所述文本处理模块进一步用于：将所标识的飞行阶段特征部分与标准流程进行比对以生成每个飞行阶段的驾驶舱操作是否符合标准操作规则的置信度。
[0077]
可存在上述监测装置(7或8)的一些实现(10)，其中所述监测装置进一步包括文本存储模块，其用于：存储所述文本数据区段和/或所标识的飞行阶段特征部分。
[0078]
一种实现(11)可以是一种包括上述实现(7-10)中任一项所述的监测装置的飞行系统，其特征在于，所述监测装置被集成在驾驶舱语音记录器中，独立于所述驾驶舱语音记录器，或者位于地面站。
[0079]
可存在上述飞行系统(11)的一些实现(12)，其进一步包括显示装置，所述显示装置用于显示文本数据区段、所述文本数据区段中所标识的飞行阶段特征部分、每个飞行阶段的驾驶舱操作是否符合标准操作规则的置信度。