基于混合深度神经网络的民航非计划事件分析方法及装置与流程

1.本发明属于航空领域，具体涉及一种基于混合深度神经网络的民航非计划事 件分析方法及装置。


背景技术：

2.全球航空运输系统的复杂性和空中交通密度日益增加，安全是民航业永恒的 主题。在有限的空域内，民机数量激增，发生航空不安全事件的可能性升高。为 避免这些事件升级为碰撞或演变为其它危险事故，开发先进的技术处理民航非计 划事件与航空复杂系统之间的关联细节，辅助航空安全专家进行安全管理分析， 保持民机运行的持续性安全水平显得格外重要。因此，对海量的安全事件实行自 动化分析，能够实现民航非计划事件的快速定位，及时准确的纠正民机高风险不 安全状况，避免造成严重的财产损失和人员伤亡。本发明提出的方法提高了民航 非计划事件的分类准确率，能够快速辅助民航专家制定有效的安全管控策略，排 除安全隐患，降低了民航安全风险。
3.民航非计划事件是暴露航空系统存在的潜在矛盾和不足之处的重要信息来 源，主要由非结构化和半结构化的自由文本格式记录。近年来，自然语言处理技 术高速发展，尤其是以深度神经网络模型处理文本分析问题为主，神经网络模型 能够充分利用文本语义特征，实现文本的自动化分析，提高事件分析的效率和准 确率。在民航安全领域，神经网络技术已被广泛用于基于飞机健康监控数据、运 营数据、sdr等数据的民机运行安全以及持续适航风险评估等任务中。现有的 民航非计划事件的分析方法通常耗时长、效率低下，如何将神经网络与文本分类 相结合，提高分析民航非计划事件的效率，维护航空安全仍需要进一步的研究。


技术实现要素：

4.本发明针对上述现有技术中存在的缺陷，为了对民航非计划事件进行有效分 析，辅助维护航空安全，提供了一种基于cnn-gru混合深度神经网络的民航非 计划事件分析方法，实现民航非计划事件的快速自动化分析，辅助进行可靠性管 理和制定民航安全管控方案。
5.本发明提出的技术方案如下：
6.一方面本发明公开了一种基于混合深度神经网络的民航非计划事件分析方 法，包括：
7.获取数据样本，对所述数据样本进行预处理，其中数据样本为飞机典型系统 极其重要部件的航线故障事件日志报告文本；
8.向量化所述数据样本；
9.构建cnn-gru混合深度神经网络模型；
10.所述cnn-gru混合深度神经网络模型提取数据样本的局部特征及序列特 征，进行民航非计划事件分析，其中，所述民航非计划事件分析即对民航非计划 事件进行分类。
11.进一步的，所述对数据样本进行预处理，包括：
12.脱敏处理，采用特定字符代替敏感信息；
13.数据小写化，将英文文本统一转换为小写形式；
14.数据清洗，对数据进行词性标注，去除数据中的标点及特殊符号；
15.去停用词，用停用词表结合民航专业词库，去除停用词；
16.数据分词，对英文文本按空格进行切分，对中文文本用分词工具进行切分；
17.标签规格化，使用计算机可识别的数字化标签。
18.进一步的，所述标签规格化采用labelencoder函数。
19.进一步的，所述向量化所述数据样本，包括：
20.训练word2vec模型；
21.将数据样本输入所述word2vec模型，对输出的词向量进行拼接，得到词向 量矩阵。
22.进一步的，所述训练word2vec模型采用skip-gram模型，负采样训练算法。
23.进一步的，所述构建cnn-gru混合深度神经网络模型的具体过程为：
24.将所述词向量矩阵作为cnn的输入，经过卷积、最大池化操作提取数据样 本的局部特征；
25.将所述数据样本的局部特征作为gru的输入，提取数据样本的序列特征；
26.训练cnn-gru混合模型，进行参数调优，得到混合模型的最优参数；
27.以所述cnn-gru混合模型的最优参数进行训练，当训练步数达到最大迭代 次数，模型训练完成。
28.进一步的，所述训练cnn-gru混合模型使用categorical_crossentropy多分 类交叉熵函数计算损失；使用adam优化函数优化模型参数；使用dropout层防 止模型过拟合。
29.另一方面本发明公开了一种基于混合深度神经网络的民航非计划事件分析 装置，包括：
30.数据采集模块，用于获取数据样本，对所述数据样本进行预处理；
31.数据向量化模块，用于训练word2vec模型，将数据样本输入所述word2vec 模型，对输出的词向量进行拼接，得到词向量矩阵；
32.模型构建模块，用于构建cnn-gru混合深度神经网络模型；
33.事件分析模块，用于通过cnn-gru混合深度神经网络模型提取数据样本 的局部特征及序列特征，进行民航非计划事件分析。
34.本发明提出的基于cnn-gru混合深度神经网络的民航非计划事件分析方法， 基于神经网络模型自动提取文本特征，不受专家领域知识的限制，泛化能力强， 且使用的cnn-gru混合深度神经网络相比现有技术中达到同等准确率的神经 网络结构更简单，参数更少，模型训练速度更快，可以实现民航非计划事件的快 速自动化分析，实现民航非计划事件的快速定位和安全隐患的排除，辅助进行可 靠性管理和制定民航安全管控方案。
附图说明
35.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意 性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
36.图1是本发明实施例1方法的工作流程示意图；
37.图2是本发明实施例1中word2vec模型结构示意图；
38.图3是本发明实施例1中cnn-gru混合模型结构示意图；
39.图4是本发明实施例1中cnn网络模型结构示意图；
40.图5是本发明实施例1中gru单元内部结构示意图；
41.图6是本发明实施例2中装置的结构示意图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明的技术方案进行详细阐述，通 过实施例更好地描述本发明方案。
43.实施例1
44.参照图1，本实施例提供一种基于混合深度神经网络的民航非计划事件分析 方法，该方法的工作步骤具体如下：
45.s1：数据采集；
46.s1.1：通过民机维修运行控制系统和航线移动端平台收集某航空公司从2009 年1月至2020年1月，共计7385条关于飞机典型系统极其重要部件的航线故障 事件日志报告作为原始样本数据；
47.s1.2：对原始样本数据进行清洗，每一条故障事件日志由9个属性组成，包 括ata章节号、对应ata名称、发动机型号、故障部件、部件编号、部件使用 小时数、故障现象、故障模式、拆换日期。在故障日志中，手动剔除部分无效数 据，例如：故障现象描述为空、故障现象简写为航空公司自身特定的执行代码等。 另外，补充完善无明显特征的数据，例如：a74发动机燃油和控制，故障现象
‘
漏 油’，补充为
‘
燃油泵组件漏燃油’。使用标准化、结构化的航空术语表示故障日志， 整理得到7052条描述标准化的故障事件日志。同时按照ata章节，手动标记事 件ata类别标签，将文本语料分为10类；
48.s1.3：将标准化描述的故障事件日志文本，按照8:2的比例划分，构成训练 集和测试集。
49.s2：对故障事件日志文本进行预处理；
50.具体地，抽取标准化描述的航线故障事件日志文本语料中事件现象项，进行 脱敏、小写化、数据清洗、去停用词和分词处理，最后对文本类别标签进行规格 化表示；
51.s2.1：脱敏处理：对故障事件日志文本语料中的敏感信息进行脱敏处理，统 一采用特定的字符
‘
*’代替敏感信息，保证事件信息安全；
52.s2.2：数据小写化：将英文文本统一转换为小写形式；
53.s2.3：数据清洗：对文本数据进行词性标注，去除文本数据中会影响模型训 练速度和分类精度的标点、特殊符号，包括：！、*、#、()以及各种特殊符号；
54.s2.4：去停用词：利用百度停用词表结合民航专业词库，去除会影响文本分 类准确率的停用词，包括：英文停用词“a、an、the、of
…”
，中文停用词“的、 是、而
…”
；
55.s2.5：数据分词：对于英文文本直接按照空格进行切分，对于中文叙述部分， 使用jieba分词工具进行分词；
56.s2.6：标签规格化：使用labelencoder函数，对训练集和测试集类别标签分 别进
行规格化处理，统一转换为计算机可识别的数字化标签，共有10种类别， 使用数字0—9依次表示民航非计划事件ata类别标签；
57.数据预处理结束后，每条事件处理结果如：“根据发动机8**拆风扇进口总 温传感器组件(t12)”——
‘
发动机8**拆风扇进口总温传感器组件t12
’ꢀ
所示，句子已被划分为单个词。
58.s3：对故障事件日志文本进行向量化处理；
59.s3.1：采用skip-gram模型将文本中的句子以词为单位通过负采样方式，进 行词向量训练，随机初始化一个v
×
n维向量矩阵w，v代表语料库的词汇量大 小，n为任意初始化，n远远小于v；
60.s3.2：将输入文本的单词都映射为一个向量，作为矩阵w的行向量；
61.s3.3：对于一条故障事件文本，给定的词语序列(w
j-k
,w
j-k 1
,
···wj k
)，以wj为 中心词，其上下文共计2k个词对应的词向量分别为{x
j-k
,x
j-k 1
,
···
,x
j k
}，每个词 的词向量维度为v，滑动窗口大小为k；
62.s3.4：将输入的中心词wj的词向量xj进行投影变换，映射到一个1
×
n维组 合向量hj，n远远小于v，n为设定的最终想要得到的词向量维度；
63.s3.5：对w中的每一个组合向量hj加权求和，得到非归一化对数概率zj：
64.zj＝uj'thj65.其中，uj'
t
是加权求和时使用的权值，维度为n
×
1，因为需要计算各个词 语出现的概率，因此j＝1,2
···
v，得到一系列权值u1'
t
,u2'
t
···
uv'
t
；
66.s3.6：计算当wj为中心词时的非归一化对数概率即：
[0067][0068]
s3.7：计算当wj为上下文中单词时的非归一化对数概率即：
[0069][0070]
其中，i＝1,2
···v[0071]
s3.8：将获得的和带入softmax函数预测上下文最有可能出现的 2k个单词的概率，即：
[0072][0073]
s3.9：采用随机梯度下降算法得到最大化对数似然函数：
[0074][0075]
其中，v为单词数量，k为训练窗口大小；
[0076]
重复上述步骤s3.1-s3.9，寻找最佳词向量维数n，得到训练好的word2vec 模型；
[0077]
s3.10：将数据样本输入训练好的word2vec模型，对输出的词向量进行拼接， 得到词向量矩阵；
[0078]
具体地，本实施例在intel(r)core(tm)i7处理器上运行，使用python的gensim 工具包，用word2vec对故障事件日志文本进行向量化处理，word2vec模型如 图2所示，word2vec模型算法采用skip-gram模型，负采样训练算法，其窗口 长度k设置为5，训练词最小出现次数min-count设置为1，线程数workers设置 为4，训练中迭代次数epoch设置为15，最终得到训练好的word2vec模型，确 定最佳词向量维数size为300。
[0079]
s4：构建cnn-gru混合事件分析模型；
[0080]
s4.1：将步骤s3中获得的词向量矩阵作为卷积神经网络的输入，经过卷积、 最大池化操作得到文本的局部特征，具体包括：
[0081]
s4.1.1：基于某中心词wj生成该词文本序列前后的背景词，通过word2vec 模型构成词向量矩阵，即每个词wj经过训练后，得到一个维度为n的词向量yj；
[0082]
s4.1.2：文本经过word2vec模型，拼接得到的文本词向量矩阵作为cnn的 输入，卷积窗口大小h，通过一个大小为h
×
n的卷积核进行卷积操作：
[0083]cj
＝f(w
conv
·yj：j h-1
b)
[0084]
其中，f为非线性激活函数，w
conv
∈rh×n为的卷积层权重矩阵，b为偏置参 数，y
j:j h-1
为一个卷积窗口中，第j行到第j h-1行构成的向量矩阵，即输入矩 阵；
[0085]
s4.1.3：一条长度为n的文本，滑动步长为1，通过卷积操作后，得到新的 特征向量c＝[c1,c2,...,c
n-h 1
]，其中，c∈r
n-h 1
；
[0086]
s4.1.4：采用最大池化对卷积后的特征向量矩阵c进行下采样，通过k个卷 积核进行池化操作，提取次要特征，所有采样的特征值si＝max(ci)组合得到 cnn输出的特征向量：
[0087]
s＝[s1,s2,...,sk]
[0088]
s4.2：在卷积、最大池化操作得到文本的局部特征向量s后，接着输入gru 神经网络提取文本序列特征，具体流程包括：
[0089]
s4.2.1：进入gru层，通过公式r
t
＝σ(u
rht-1
wry
t
)计算重置门状态r
t
， 式中，y
t
表示t时刻隐藏层的输入；σ表示激活函数，wr为重置门的权重矩 阵，ur为t-1时刻重置门隐藏层的权重矩阵；
[0090]
s4.2.2：通过公式z
t
＝σ(u
zht-1
w
zyt
)计算更新门状态r
t
，其中，wz为更新门的权重矩阵，uz为t-1时刻更新门隐藏层的权重矩阵；
[0091]
s4.2.3：通过公式计算gru网络最终 的输出结果，其中，u为t-1时刻隐藏层的 权重矩阵，w是候选隐藏层的权重矩阵；
[0092]
s4.3：训练cnn-gru混合模型，进行参数调优，得到模型最优参数；
[0093]
s4.3.1：使用categorical_crossentropy多分类交叉熵函数计算损失；
[0094]
s4.3.2：使用adam优化函数优化模型参数；
[0095]
s4.3.3：使用dropout防止模型过拟合；
[0096]
s4.4：将模型参数设置为最优参数，重复上述步骤s4.1-s4.3直至达到最大 迭代
次数，运行结束，得到训练完成的cnn-gru混合模型；
[0097]
具体地，本实施例中cnn-gru混合模型如图3所示，模型采用通过 word2vec模型得到的文本词向量矩阵作为混合模型的输入。首先将每一条文本 数据统一化固定长度len，统计航线故障事件日志文本数据长度分布，确定基准 长度110，对于超过110的文本会被删除，不足110的文本将对其进行padding 补0操作。word2vec模型将每一条文本数据映射为一个110
×
300的二维特征矩 阵。卷积神经网络结构如图4所示，卷积层含有128个卷积核，滑动窗口大小为 3，步长为1，将输入层的特征矩阵卷积成110
×
128大小，提取文本局部特征。然 后通过最大池化进行下采样，池化窗口尺寸2
×
1，池化操作步幅为2，生成形状 为55
×
64的输出，接着输入gru神经网络层提取文本序列特征，gru神经网络 中门控循环单元结构如图5所示，将提取的文本特征输入到含32个隐藏单元的 门控循环网络中，进一步提取文本序列特征，生成55
×
32的特征空间作为输出。 同时混合模型中设置dropout为0.5防止过拟合。
[0098]
s5：cnn-gru混合模型事件分类测试；
[0099]
具体地，将cnn提取的局部特征向量s和gru循环神经网络获取的序列 特征h
t
结合在一起，作为全连接层的输入，通过relu激活函数，进行最大迭代 次数10次，输出最终事件分类结果。
[0100]
实验1：为验证本发明提出的cnn-gru模型在民航非计划事件分析任务中 具有良好的分类性能，将该模型与其他模型进行对比，结果如表1所示：
[0101]
表1不同模型的对比结果
[0102][0103]
根据以上实验结果，可以得出以下结论：
[0104]
(1)cnn-gru相比cnn、gru模型，准确率提升4.62％，2.55％，f1值 提高3.74％，1.91％，证明混合模型比单一模型取得更好的分类效果；
[0105]
(2)cnn-gru对比于bigru、cnn-bigru模型，准确率提升2.01％， 6.29％，f1值提高了1.57％，4.43％，且消耗时间成本低，证明cnn-gru在模 型训练速度上，效果更好。
[0106]
实验2：为验证所提出模型的分类效果，以训练集语料文本和随机输入文本 两种方式，其中随机输入文本指在采集的所有民航非计划事件中进行随机选择， 对该模型的性能进行测评。无论是训练集预选的事件文本还是随机输入的事件文 本，本发明提出的cnn-gru混合模型都能准确地预测文本事件的ata类别， 证明了本发明提出的模型在民航非计划事件分析上的实用性。
[0107]
实施例2
[0108]
参照图6，本实施例提供一种基于混合深度神经网络的民航非计划事件分析 装
置，包括以下模块：
[0109]
数据采集模块101，用于获取数据样本，对所述数据样本进行预处理；
[0110]
数据向量化模块102，用于训练word2vec模型，将数据样本输入所述 word2vec模型，对输出的词向量进行拼接，得到词向量矩阵；
[0111]
模型构建模块103，用于构建cnn-gru混合深度神经网络模型；
[0112]
事件分析模块104，用于通过cnn-gru混合深度神经网络模型提取数据样 本的局部特征及序列特征，进行民航非计划事件分析。
[0113]
另外，本发明实施例还提供一种计算机可读存储介质，其中，该计算机可读 存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何基于混 合深度神经网络的民航非计划事件分析方法。
[0114]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也 可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。 上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实 现。
[0115]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分 可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括 若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、 只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0116]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储 器中，存储器可以包括：闪存盘、只读存储器)、随机存取器、磁盘或光盘等。
[0117]
以上所述的具体实施方式，对本技术的目的、技术方案和有益效果进行了进 一步详细说明，所应理解的是，以上所述仅为本技术的具体实施方式而已，并不 用于限定本技术的保护范围，凡在本技术的技术方案的基础之上，所做的任何修 改、等同替换、改进等，均应包括在本技术的保护范围之内。