基于人工智能技术的座舱人机交互系统的制作方法

1.本发明涉及航空领域的座舱人机交互，特别地是，基于人工智能技术的座舱人机交互系统。


背景技术：

2.随着航空技术的飞速发展及以机器学习、模式识别和人机交互为代表的人工智能技术的不断进步，“智能座舱”将成为未来航空飞行器座舱的发展方向。智能化座舱旨在应用人工智能技术打造作战人员的“机器参谋”，其目的和任务是通过对各类军事知识的持续自主学习、对装备信息的深入挖掘，结合人机交互、知识图谱、作战规则、目标特征等基础资源和先验知识，对战场信息进行深度关联和综合处理，在此基础上自动生成并优化多个决策方案参考，有效提升座舱人机交互的智能化水平。


技术实现要素：

3.本发明提出一种新的基于人工智能技术的座舱人机交互系统，在飞机座舱系统中引入人工智能技术，可以整合飞机相关信息，并可结合飞行员模型形成飞行员的专属助手，可在任务规划、协助决策、态势分析等方面对飞行员提供强有力的支撑，从而使智能语音交互系统成为飞行员的人工智能空中助手。
4.为了实现这一目的，本发明的技术方案如下：基于人工智能技术的座舱人机交互系统，包含有，语音识别模块，其用于将飞行员输入的语音数据从采样点数值转换为特征参数向量序列，再通过语音解码器找到特征参数向量序列所对应的概率最大的中文文本序列；语义理解模块，其对所述语音识别模块输出的中文文本序列进行分析实现语义理解，根据理解的内容进行反馈；专家数据库，其拥有融汇信息、操作经验结合机载座舱领域中的专家知识、经验、方法；语音合成模块，其将中文文本序列转换成音韵序列，再由系统根据音韵序列生成语音波形，从而实现与飞行员的双向交互；辅助决策模块，其通过接收环境数据、飞机状态数据、飞行员状态数据，按照任务数据要求，综合考虑飞行安全、战斗生存、任务完成３个要素，规划出与当前任务要求最为匹配的方案，提供给飞行员进行决策；以及，飞行员模型，其训练个性化数据模型，包括飞行员的生理特征、操作习惯、身份信息，实现智能座舱系统与飞行员的最佳匹配。
5.作为基于人工智能技术的座舱人机交互系统的优选方案，还包含有，麦克风阵列模块，其将两个麦克风的信号耦合为一个信号，利用两个麦克风接收到声波的相位之间的差异对声波进行过滤。
6.作为基于人工智能技术的座舱人机交互系统的优选方案，在解码的过程中，解码器需要加载并使用声学模型和语法模型。
7.与现有技术相比，本发明的有益效果在于：将麦克风阵列技术、语音识别技术、语音合成技术、语义理解技术及智能辅助技术（在线帮助）等核心技术通过高速嵌入式处理平台离线实现，并融合到飞机座舱控制，系统化实现飞机座舱的智能人机交互。
8.除了上面所描述的本发明解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的有益效果之外，本发明所能解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的有益效果，将结合附图作出进一步详细的说明。
附图说明
9.图1为本发明一实施例的结构示意图。
具体实施方式
10.下面通过具体的实施方式结合附图对本发明作进一步详细说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
11.请参见图1，图中示出的是基于人工智能技术的座舱人机交互系统，其包含有，1）麦克风阵列模块是将两个麦克风的信号耦合为一个信号，在频率响应中也可以根据时域中波束形成与空间滤波器相仿的应用，分析出接收到语音信号音源的方向以及其变化。采用该技术能利用两个麦克风接收到声波的相位之间的差异对声波进行过滤，能最大限度将环境背景声音滤掉，只剩下需要的声波。对于在嘈杂的环境下使用采用这种配置的设备，能够保证操作人员的语音输入清晰、有利于提高人机交互工作效率以及与塔台、僚机等的通信质量。
12.2）语音识别模块将飞行员输入的语音数据从简单的采样点数值转换为一系列特征参数向量序列，称为特征提取；然后通过语音解码器找到这个特征参数向量序列所对应的概率最大的中文文本序列。在解码的过程中，解码器需要加载并使用声学模型和语法模型这些语音识别资源模型。从而完成将飞行员的语音转换为机器能进一步加工的文本。
13.3）语义理解模块对识别模块输出的文本进行分析实现语义理解，根据理解的内容进行反馈，包括合成语音反馈或者输出相关信息供其他子系统使用。由于系统具备了对语义进行理解分析的功能，对于机载语音设备的操作者来说，他的发音指令可以高度自由化，无需背记大量限定的命令词及格式，只需用自然语言正确表达出语义即可。
14.4）专家数据库：使用深度学习、大数据技术建立的机载座舱专家库，借助融汇信息、操作经验等数据结合机载座舱领域中的专家知识、经验、方法，不但能够模拟机载座舱领域专家的思维方式，而且能像人类专家那样智能地解决实际问题。从而建立起集咨询、学习、教育于一体的专家知识库系统。以专家的知识回答飞行员关于座舱领域的问题，提供咨询意见。
15.5）语音合成模块实现文语转换过程是先将文字序列转换成音韵序列，再由系统根据音韵序列生成语音波形。从而实现机器与飞行员的双向交互。
16.6）辅助决策模块通过接收环境数据、飞机状态数据、飞行员状态数据，按照任务数
据要求，综合考虑飞行安全、战斗生存、任务完成３个要素，规划出与当前任务要求最为匹配的方案，提供给飞行员进行决策。
17.7）飞行员模型是训练个性化数据模型，包括飞行员的生理特征、操作习惯、身份信息，实现智能座舱系统与飞行员的最佳匹配。
18.以上仅表达了本发明的实施方式，其描述较为具体和详细，但且不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。