航行通告样本的生成方法及其装置、电子设备及存储介质与流程

本发明涉及航行通告数据处理领域或其他相关，具体而言，涉及一种航行通告样本的生成方法及其装置、电子设备及存储介质。

背景技术：

1、随着全球航空运输业的迅猛发展，航空情报数据量呈现爆炸式增长。根据国际民航组织的统计数据，全球每年发布的航行通告数量高达数百万条，且保持逐年递增的趋势。航行通告是以电信方式发布的，旨在告知飞行人员和与飞行业务有关的人员关于航空设施、服务、程序的设立、情况或者变化，以及对航空有危险的情况的出现和变化的通知。航行通告涵盖机场运行状态、空域限制、导航设施变更、气象条件等关键信息，其解析的准确性和及时性直接关系到飞行安全和运行效率。

2、然而，由于不同国家和地区情报人员的编写习惯各异，且缺乏全球统一的强制性文本规范，航行通告文本呈现出高度的异构性和非结构化特征。这种异构性主要体现在以下几个方面：一是实体表达形式多样，同一实体可能存在多种缩写、全称或代码表示；二是句式结构复杂多变，同一语义可能通过不同的语法结构表达；三是存在大量强歧义词汇。

3、现代ai技术能有效的提升解析效率，但其核心能力依赖大量高质量标注样本，相关技术中，传统样本库构建主要依赖于人工挑选，效率较低，样本覆盖率不足，无法有效支撑航行通告解析场景需求。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种航行通告样本的生成方法及其装置、电子设备及存储介质，以至少解决相关技术中，针对航行通告的处理主要依赖于人工挑选样本，样本库构建效率低和分布不合理的技术问题。

2、根据本发明实施例的一个方面，提供了一种航行通告样本的生成方法，包括：获取航行通告报文集合，并对所述航行通告报文集合中的航行通告报文进行预处理，得到航行通告数据集合；对所述航行通告数据集合中的航行通告数据进行多层次命名实体识别，得到实体识别结果和类型标签；基于所述实体识别结果和所述类型标签构建标签序列，并将所述标签序列输入至嵌入模型，输出所述航行通告数据对应的嵌入向量；基于所述航行通告数据对应的嵌入向量对所有所述航行通告报文进行聚类分析，得到多个聚类簇，并基于各个所述聚类簇构建航行通告样本，得到航行通告样本集合。

3、进一步地，对所述航行通告数据集合中的航行通告数据进行多层次命名实体识别，得到实体识别结果和类型标签的步骤包括：加载地理位置库、设施设备库、动作状态库、时间表达式库、常用短语库及单位与数值库，构建领域知识库；基于所述领域知识库，利用正向最大匹配算法和正则表达式对所述航行通告数据进行实体匹配，识别确定性实体，并获取所述确定性实体的类型标签。

4、进一步地，基于所述领域知识库，利用正向最大匹配算法和正则表达式对所述航行通告数据进行实体匹配的步骤包括：基于所述领域知识库构建索引树；基于所述索引树对所述航行通告数据执行正向最大匹配，识别术语实体；应用预定义的正则表达式规则库对所述航行通告数据进行扫描，识别格式固定的句式实体。

5、进一步地，在利用正向最大匹配算法和正则表达式对所述航行通告数据进行实体匹配之后，包括：将同时匹配多个所述命名实体的词语标记为歧义候选词；提取所述歧义候选词的上下文数据，基于所述歧义候选词和所述上下文数据构造输入序列；将所述输入序列输入至预训练的双向编码模型，通过所述双向编码模型输出所述歧义候选词的命名实体概率分布；选择所述命名实体概率分布中概率最高的命名实体作为所述歧义候选词的确定性实体，结合所述确定性实体的类型标签，汇总得到所述实体识别结果和类型标签。

6、进一步地，基于所述实体识别结果和所述类型标签构建标签序列，并将所述标签序列输入至嵌入模型，输出所述航行通告数据对应的嵌入向量的步骤包括：基于所述实体识别结果中的命名实体对应的类型标签，生成初步标签序列；对所述初步标签序列中连续出现的相同类型标签进行冗余压缩，得到标准化标签序列；将所述标准化标签序列输入至预先训练得到的嵌入模型，通过所述嵌入模型的特征学习能力，将所述标准化标签序列映射为高维稠密向量，得到所述航行通告数据对应的嵌入向量。

7、进一步地，基于所述航行通告数据对应的嵌入向量对所有所述航行通告报文进行聚类分析，得到多个聚类簇的步骤包括：步骤一，设定聚类簇数的候选范围，并以预设步长依次递增获取候选聚类簇数，对每个所述候选聚类簇数执行聚类算法，计算轮廓系数与簇内误差平方和；步骤二，根据所述轮廓系数和所述簇内误差平方和确定目标聚类簇数k，并采用预设的初始化策略选取k个聚类簇质心，其中，k为正整数；步骤三，计算每个所述嵌入向量到每个所述聚类簇质心的欧氏距离，将所述嵌入向量分配至欧式距离最小的所述聚类簇质心对应的聚类簇，并更新每个所述聚类簇质心；重复执行步骤三，直至达到最大迭代次数，得到收敛后的k个所述聚类簇。

8、进一步地，基于各个所述聚类簇构建航行通告样本，得到航行通告样本集合的步骤包括：对于每个所述聚类簇，计算所述聚类簇内所有嵌入向量与所述聚类簇质心的欧氏距离；选取所述欧氏距离最小的嵌入向量所对应的航行通告报文，作为该聚类簇的航行通告样本，并基于所有所述聚类簇的航行通告样本构建所述航行通告样本集合。

9、根据本发明实施例的另一方面，还提供了一种航行通告样本的生成装置，包括：获取单元，用于获取航行通告报文集合，并对所述航行通告报文集合中的航行通告报文进行预处理，得到航行通告数据集合；识别单元，用于对所述航行通告数据集合中的航行通告数据进行多层次命名实体识别，得到实体识别结果和类型标签；输出单元，用于基于所述实体识别结果和所述类型标签构建标签序列，并将所述标签序列输入至嵌入模型，输出所述航行通告数据对应的嵌入向量；构建单元，用于基于所述航行通告数据对应的嵌入向量对所有所述航行通告报文进行聚类分析，得到多个聚类簇，并基于各个所述聚类簇构建航行通告样本，得到航行通告样本集合。

10、进一步地，所述识别单元包括：第一构建模块，用于加载地理位置库、设施设备库、动作状态库、时间表达式库、常用短语库及单位与数值库，构建领域知识库；第一匹配模块，用于基于所述领域知识库，利用正向最大匹配算法和正则表达式对所述航行通告数据进行实体匹配，识别确定性实体，并获取所述确定性实体的类型标签。

11、进一步地，所述第一匹配模块包括：第一构建子模块，用于基于所述领域知识库构建索引树；第一识别子模块，用于基于所述索引树对所述航行通告数据执行正向最大匹配，识别术语实体；第一扫描子模块，用于应用预定义的正则表达式规则库对所述航行通告数据进行扫描，识别格式固定的句式实体。

12、进一步地，所述第一匹配模块还包括：第一标记子模块，用于将同时匹配多个所述命名实体的词语标记为歧义候选词；第一提取子模块，用于提取所述歧义候选词的上下文数据，基于所述歧义候选词和所述上下文数据构造输入序列；第一输出子模块，用于将所述输入序列输入至预训练的双向编码模型，通过所述双向编码模型输出所述歧义候选词的命名实体概率分布；第一汇总子模块，用于选择所述命名实体概率分布中概率最高的命名实体作为所述歧义候选词的确定性实体，结合所述确定性实体的类型标签，汇总得到所述实体识别结果和类型标签。

13、进一步地，所述输出单元包括：第一生成模块，用于基于所述实体识别结果中的命名实体对应的类型标签，生成初步标签序列；第一压缩模块，用于对所述初步标签序列中连续出现的相同类型标签进行冗余压缩，得到标准化标签序列；第一映射模块，用于将所述标准化标签序列输入至预先训练得到的嵌入模型，通过所述嵌入模型的特征学习能力，将所述标准化标签序列映射为高维稠密向量，得到所述航行通告数据对应的嵌入向量。

14、进一步地，所述构建单元包括：第一计算模块，用于步骤一，设定聚类簇数的候选范围，并以预设步长依次递增获取候选聚类簇数，对每个所述候选聚类簇数执行聚类算法，计算轮廓系数与簇内误差平方和；第一确定模块，用于步骤二，根据所述轮廓系数和所述簇内误差平方和确定目标聚类簇数k，并采用预设的初始化策略选取k个聚类簇质心，其中，k为正整数；第一更新模块，用于步骤三，计算每个所述嵌入向量到每个所述聚类簇质心的欧氏距离，将所述嵌入向量分配至欧式距离最小的所述聚类簇质心对应的聚类簇，并更新每个所述聚类簇质心；第一重复模块，用于重复执行步骤三，直至达到最大迭代次数，得到收敛后的k个所述聚类簇。

15、进一步地，所述构建单元包括：第二计算模块，用于对于每个所述聚类簇，计算所述聚类簇内所有嵌入向量与所述聚类簇质心的欧氏距离；第二构建模块，用于选取所述欧氏距离最小的嵌入向量所对应的航行通告报文，作为该聚类簇的航行通告样本，并基于所有所述聚类簇的航行通告样本构建所述航行通告样本集合。

16、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项航行通告样本的生成方法。

17、根据本发明实施例的另一方面，还提供了一种电子设备，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项航行通告样本的生成方法。

18、在本技术中，通过以下步骤：获取航行通告报文集合，并对航行通告报文集合中的航行通告报文进行预处理，得到航行通告数据集合，对航行通告数据集合中的航行通告数据进行多层次命名实体识别，得到实体识别结果和类型标签，基于实体识别结果和类型标签构建标签序列，并将标签序列输入至嵌入模型，输出航行通告数据对应的嵌入向量，基于航行通告数据对应的嵌入向量对所有航行通告报文进行聚类分析，得到多个聚类簇，并基于各个聚类簇构建航行通告样本，得到航行通告样本集合。

19、在本技术中，构建预处理、多层次命名实体识别、结构化标签序列生成、向量化、聚类挖掘的全自动化技术链路，首先利用基于领域知识库的规则预识别与深度学习歧义消解相结合的多层次命名实体识别机制，高效、精准地提取实体并消除一词多义干扰，随后将识别出的实体转化为类型标签，构建标签序列，凸显文本深层结构特征，随后通过嵌入模型将标签序列映射为向量空间并进行聚类分析，自动从海量数据中挖掘出具有高度结构代表性的典型样本集合，实现了航行通告典型样本的高效、低成本、高精度自动化生成，提升处理效率并保障了样本对各种报文结构模式的高覆盖率与解析准确性，提升样本库构建效率和样本分布的合理性。进而解决了相关技术中，针对航行通告的处理主要依赖于人工挑选样本，样本库构建效率低和分布不合理的技术问题。