基于主题模型的航空检测识别与表征方法和系统
本发明涉及大模型,特别涉及基于主题模型的航空检测识别与表征方法和系统。
背景技术:
1、航空检测主要包括对飞行器及其相关装置的检测,其对航空飞行安全具有至关重要影响。在航空检测期间针对每个硬件设备均会形成独立的检测报告等文档,并且检测报告包含大量数据。上述检测报告是判断是否适合飞行的重要依据,考虑到检测报告包含关于不同主题数据,需要从检索报告区分提取所需的主题数据。现有技术主要通过lda(latent dirichiet allocation)主题模型对检测报告等文档进行主题与关键词的提取和分布识别,从而为报告分析和航空检测问题提炼提供可靠依据。但是现有lda主题模型都是专注于模型构建和训练优化,且并未针对输入至主题模型的文档数据和模型输出结果进行优化处理,无法形成对航空检测场景潜在所有问题的准确全面表征,降低航空检测相关文档识别可靠性。
技术实现思路
1、考虑到现有利用lda主题模型提取文档的主题与关键词都是专注于模型构建和训练优化,其并未针对输入至主题模型的文档数据和模型输出结果进行优化处理,无法形成对航空检测场景潜在所有问题的准确全面表征,不能获得航空检测的可靠识别结果。
2、鉴于上述问题,本发明提供基于主题模型的航空检测识别与表征方法,包括:
3、步骤s1:收集航空检测场景相关的文档,根据所述文档的文本缺陷,预处理所述文档;将预处理后的所有文档标签和整合,得到文档集合;
4、步骤s2:根据所述文档集合,生成结构数据集合;对所述结构数据集合进行组合规划,得到若干结构数据簇,并构建对应的数据簇列表;
5、步骤s3:根据所述数据簇列表,对主题模型进行分批次数据簇输入:根据所述主题模型的输出,生成航空检测归类结果;
6、步骤s4:将所述航空检测归类结果映射至表征框架,并标定所述表征框架的异常部分;对所述异常部分进行修正,得到航空检测可信结果。
7、可选地,在步骤s1中,收集航空检测场景相关的文档,根据所述文档的文本缺陷,预处理所述文档;将预处理后的所有文档标签和整合,得到文档集合,包括:
8、监听航空检测场景运行期间所有参与端各自的检测行为记录,从所述检测行为记录提取检测行为发生特征;其中,所述检测行为发生特征包括每种类型检测行为发生频率;根据所述检测行为发生特征,从所述检测行为记录收集完整的文档;
9、识别所述文档的文本语义特征,以此标定所述文档的文本缺陷;其中,所述文本缺陷包括逻辑缺陷和内容缺陷及其所在文档位置;根据所述文本缺陷导致的文档语义错误类型,对所述文档进行修正预处理或删减预处理;
10、获取预处理后的所有文档各自的覆盖时间区间和关联检测对象,以此生成所述文档的多维标签;根据所述多维标签,将所有文档整合为文档集合。
11、可选地,在步骤s2中,根据所述文档集合,生成结构数据集合;对所述结构数据集合进行组合规划,得到若干结构数据簇,并构建对应的数据簇列表,包括:
12、根据所述文档集合内所有文档的标签属性,确定不同文档之间的检测场景相似度;根据所述检测场景相似度,对所述文档集合内所有文档的语料数据重划分,生成结构数据集合;其中,所述结构数据集合包括若干结构化的语料数据,并且其中任意两个结构化的语料数据来自检测场景相似度小于预设相似度阈值的两个文档;
13、根据所有文档的组合约束条件,对所述结构数据集合内所有结构化的语料数据进行组合规划,得到若干结构数据簇;其中,所述组合约束条件是指组合形成的结构数据簇的数据量上限约束条件和无效语料数量上限约束条件;
14、根据每个结构数据簇包含的结构数据名录和存储位置,构建对应的数据簇列表。
15、可选地,在步骤s3中,根据所述数据簇列表,对主题模型进行分批次数据簇输入:根据所述主题模型的输出,生成航空检测归类结果,包括:
16、根据所述数据簇列表,随机选择一个结构数据簇作为第一批次数据簇以此输入至完成训练的lda主题模型;根据所述lda主题模型对输入的每个批次数据簇的输出结果,确定所述输出结果的主题及其关键词的提取数量;根据所述提取数量,调整对所述lda主题模型的下一批次数据簇输入总量,直到遍历完成所述数据簇列表为止;
17、对所述lda主题模型关于所有输入形成的输出结果进行语义识别,得到不同输入对应的输出结果的语义偏差;根据所述语义偏差,将所有输入对应的输出结果转换形成航空检测归类结果。
18、可选地,在步骤s4中,将所述航空检测归类结果映射至表征框架,并标定所述表征框架的异常部分;对所述异常部分进行修正,得到航空检测可信结果,包括:
19、获取所述航空检测归类结果下属每个结果与表征框架下属每个框架子单元之间的内容匹配关系,根据所述内容匹配关系,将所述航空检测归类结果映射至所述表征框架;
20、对所述表征框架下属每个框架子单元进行重复结果内容识别,标定每个框架子单元内的重复异常内容;
21、对所述重复异常内容进行重复内容部分合并和错误内容部分删除,得到航空检测可信结果。
22、作为本发明的一个方面,本发明实施例还提供基于主题模型的航空检测识别与表征系统,包括:
23、文档收集与处理模块,用于收集航空检测场景相关的文档,根据所述文档的文本缺陷,预处理所述文档;
24、文档整合模块,用于将预处理后的所有文档标签和整合,得到文档集合;
25、文档转换模块,用于根据所述文档集合,生成结构数据集合;
26、数据簇生成模块,用于对所述结构数据集合进行组合规划,得到若干结构数据簇,并构建对应的数据簇列表;
27、模型处理模块,用于根据所述数据簇列表,对主题模型进行分批次数据簇输入;
28、归类模块,用于根据所述主题模型的输出,生成航空检测归类结果;
29、映射与修正模块,用于将所述航空检测归类结果映射至表征框架,并标定所述表征框架的异常部分;对所述异常部分进行修正,得到航空检测可信结果。
30、可选地,所述文档收集与处理模块,用于收集航空检测场景相关的文档,根据所述文档的文本缺陷,预处理所述文档,包括:
31、监听航空检测场景运行期间所有参与端各自的检测行为记录,从所述检测行为记录提取检测行为发生特征;其中,所述检测行为发生特征包括每种类型检测行为发生频率;根据所述检测行为发生特征,从所述检测行为记录收集完整的文档;
32、识别所述文档的文本语义特征,以此标定所述文档的文本缺陷;其中,所述文本缺陷包括逻辑缺陷和内容缺陷及其所在文档位置;根据所述文本缺陷导致的文档语义错误类型,对所述文档进行修正预处理或删减预处理;
33、所述文档整合模块,用于将预处理后的所有文档标签和整合,得到文档集合,包括:
34、获取预处理后的所有文档各自的覆盖时间区间和关联检测对象,以此生成所述文档的多维标签;根据所述多维标签,将所有文档整合为文档集合。
35、可选地,所述文档转换模块,用于根据所述文档集合,生成结构数据集合,包括:
36、根据所述文档集合内所有文档的标签属性,确定不同文档之间的检测场景相似度;根据所述检测场景相似度,对所述文档集合内所有文档的语料数据重划分,生成结构数据集合;其中,所述结构数据集合包括若干结构化的语料数据,并且其中任意两个结构化的语料数据来自检测场景相似度小于预设相似度阈值的两个文档;
37、所述数据簇生成模块,用于对所述结构数据集合进行组合规划,得到若干结构数据簇,并构建对应的数据簇列表,包括:
38、根据所有文档的组合约束条件,对所述结构数据集合内所有结构化的语料数据进行组合规划,得到若干结构数据簇;其中,所述组合约束条件是指组合形成的结构数据簇的数据量上限约束条件和无效语料数量上限约束条件;
39、根据每个结构数据簇包含的结构数据名录和存储位置,构建对应的数据簇列表。
40、可选地,所述模型处理模块,用于根据所述数据簇列表,对主题模型进行分批次数据簇输入,包括:
41、根据所述数据簇列表,随机选择一个结构数据簇作为第一批次数据簇以此输入至完成训练的lda主题模型;根据所述lda主题模型对输入的每个批次数据簇的输出结果,确定所述输出结果的主题及其关键词的提取数量;根据所述提取数量,调整对所述lda主题模型的下一批次数据簇输入总量,直到遍历完成所述数据簇列表为止;
42、所述归类模块,用于根据所述主题模型的输出,生成航空检测归类结果,包括:
43、对所述lda主题模型关于所有输入形成的输出结果进行语义识别,得到不同输入对应的输出结果的语义偏差;根据所述语义偏差,将所有输入对应的输出结果转换形成航空检测归类结果。
44、可选地,所述映射与修正模块,用于将所述航空检测归类结果映射至表征框架,并标定所述表征框架的异常部分;对所述异常部分进行修正,得到航空检测可信结果,包括:
45、获取所述航空检测归类结果下属每个结果与表征框架下属每个框架子单元之间的内容匹配关系,根据所述内容匹配关系,将所述航空检测归类结果映射至所述表征框架;
46、对所述表征框架下属每个框架子单元进行重复结果内容识别,标定每个框架子单元内的重复异常内容;
47、对所述重复异常内容进行重复内容部分合并和错误内容部分删除,得到航空检测可信结果。
48、本发明实施例中提供的上述技术方案的有益效果至少包括:
49、本发明实施例中提供了基于主题模型的航空检测识别与表征方法和系统收集和预处理航空检测场景相关的文档,将预处理后的所有文档标签和整合,得到文档集合;根据文档集合,生成结构数据集合;对结构数据集合进行组合规划,得到若干结构数据簇,并构建对应的数据簇列表;根据数据簇列表,对主题模型进行分批次数据簇输入:根据主题模型的输出,生成航空检测归类结果;将航空检测归类结果映射至表征框架,并标定表征框架的异常部分;对异常部分进行修正,得到航空检测可信结果。通过对航空检测场景生成的文档预处理和整合转换,生成覆盖所有检测潜在问题的数据簇,并对结果进行框架表征,实现全方位主题提取和提高检测识别准确性。
50、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
51、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com