一种飞行员反馈报告与机场处理结果的双向质量评估方法与流程

本发明涉及质量评估，具体涉及一种飞行员反馈报告与机场处理结果的双向质量评估方法。

背景技术：

1、航空安全是民用航空领域长期关注的重要问题。随着航空运输业务量持续增长，机场运行环境、保障流程及协同关系日益复杂，及时发现并处理运行过程中存在的安全隐患和保障缺陷，对于提高航空运输安全水平和机场运行效率具有重要意义。飞行员处于航空运行第一线，能够直接接触航空器滑行、起降、机坪运行、地面保障及运行指挥等环节，可以从专业操作角度发现机场设施、运行程序、保障服务和协同管理中存在的问题。飞行员反馈报告因而成为机场获取一线运行信息、识别潜在风险和改进保障工作的一个重要信息来源。机场在接收反馈报告后，通常还需要经过查看、响应、调查、处理、回复和关闭等环节，以形成针对反馈问题的处理结果。

2、现有飞行员反馈管理方式主要侧重于反馈报告的收集、转交和归档，对反馈报告本身的质量通常依赖管理人员或者专业人员进行人工判断。由于反馈报告多采用自然语言描述，不同报告在逻辑关系、信息丰富程度、事实依据、问题描述完整程度以及所提建议的实施条件等方面存在较大差异，人工评价容易受到评价人员经验和主观判断的影响，难以形成统一、稳定且可比较的评价结果。同时，现有评价通常侧重于单份反馈报告的文字内容，较少结合一定统计期间内反馈报告的提交数量及其变化情况对反馈行为进行评价，因而难以全面反映飞行员或者相关评价对象在不同时段内的反馈情况。对于单条反馈报告和统计期间内的报告集合，也缺乏相互区分且口径一致的评价方式。

3、另一方面，机场针对反馈报告形成的处理过程和处理结果通常记录在不同的数据记录中，例如报告提交记录、首次响应记录、处理完成记录、满意度调查记录及后续反馈记录等。上述数据之间缺乏统一关联，导致首次响应是否及时、处理周期是否合理、飞行员是否满意以及同一问题在处理后是否再次出现等信息难以被综合评价。现有方式往往仅根据报告是否回复或者是否关闭判断处理完成情况，不能充分反映处理结果的实际质量。此外，飞行员在不同时间提交的反馈报告可能采用不同的文字表述描述相同或者相近的问题，仅依靠关键词或者人工逐条比对，难以准确识别处理完成后重复出现的问题，进而影响对机场处理有效性的判断。

4、因此，现有技术尚缺乏一种能够将飞行员反馈报告数据、机场处理过程数据、专业评价数据及飞行员满意度数据进行关联，并分别从反馈报告质量和机场处理结果质量两个方向形成量化评价结果的方法。由于缺少相互衔接的双向评价机制，难以对高价值反馈报告进行筛选，也难以客观反映机场对反馈问题的响应和解决情况，不利于形成“提出、处理、反馈、改进”的闭环管理过程。

技术实现思路

1、本发明的目的在于提供一种飞行员反馈报告与机场处理结果的双向质量评估方法，解决现有技术存在的问题。

2、为实现上述目的，本发明提供如下技术方案：一种飞行员反馈报告与机场处理结果的双向质量评估方法，包括：

3、s1、获取飞行员反馈报告数据、机场处理事件数据、专家评价数据和满意度数据，并按照报告标识关联生成评估样本；

4、s2、将反馈文本切分为子句并构建子句对，输入本地自然语言推理模型，依据子句对的矛盾关系占比确定逻辑一致性指标；

5、s3、对反馈文本进行分词和信息熵计算，获得信息量指标；

6、s4、结合专家评价获得事实准确性指标和建议可行性指标，并加权得到内容质量评分；

7、s5、在统计时间窗内，根据反馈报告数量相对于基准期数量极值的归一化结果确定反馈频次指标，根据当前统计时间窗与前一统计时间窗的数量变化及sigmoid函数确定变化趋势指标，进而得到行为质量评分，并与内容质量评分加权得到反馈报告质量评分；

8、s6、根据报告提交时间、首次响应时间和处理完成时间确定处理时效性评分；

9、s7、根据飞行员满意度以及利用问题标识或文本语义向量识别的重复反馈确定解决问题有效性评分，并加权得到机场处理结果质量评分；

10、s8、输出包含所述反馈报告质量评分和机场处理结果质量评分的双向质量评估结果。

11、具体的，所述按照报告标识关联生成评估样本，包括：

12、对不同数据源中的时间字段进行时区统一和时间单位统一；

13、根据报告标识、反馈文本和提交时间识别并删除重复记录；

14、根据提交时间、首次响应时间、处理完成时间及处理状态之间的时序关系识别异常记录，并为所述异常记录添加数据异常标识；

15、对飞行员身份标识和专家身份标识进行匿名化处理；

16、根据报告标识建立飞行员反馈报告数据、机场处理事件数据、专家评价数据和满意度数据之间的关联关系。

17、具体的，所述逻辑一致性指标的确定包括：

18、按照预设文本分隔符将反馈文本切分为多个有效子句，并基于所述有效子句构建子句对；

19、将各子句对输入所述本地自然语言推理模型，获得各子句对分别对应蕴含关系、矛盾关系和中性关系的分类结果；

20、统计被确定为矛盾关系的子句对在全部子句对中的占比，并对所述占比进行反向映射，得到所述逻辑一致性指标；

21、当反馈文本中不存在可构建的子句对时，按照预设边界处理规则确定所述逻辑一致性指标。

22、具体的，所述信息量指标的确定包括：

23、对反馈文本进行分词和无效字符过滤，得到多个有效词项；

24、统计各有效词项的出现频次，并根据各有效词项在反馈文本中的概率分布计算文本信息熵；

25、基于预设基准报告集合中的信息熵分布，对所述文本信息熵进行归一化处理，得到位于预设数值区间内的信息量指标；

26、当所述基准报告集合中的信息熵不具有有效区分范围时，按照预设边界处理规则确定所述信息量指标。

27、具体的，所述结合专家评价获得事实准确性指标和建议可行性指标，包括：

28、获取用于评价反馈报告客观真实性、背景要素完备性及问题描述具体性的第一组评价数据，对所述第一组评价数据进行归一化和加权融合，得到事实准确性指标；

29、获取用于评价反馈建议技术可行性、资源可行性、目标一致性及价值影响程度的第二组评价数据，对所述第二组评价数据进行归一化和加权融合，得到建议可行性指标；

30、按照预设权重对所述逻辑一致性指标、信息量指标、事实准确性指标和建议可行性指标进行融合，得到所述内容质量评分；

31、当同一评价维度对应多个专家评价结果时，根据专家专业类别、从业经验及与待评价问题的专业匹配程度中的至少一种，对多个专家评价结果进行聚合。

32、具体的，所述行为质量评分的确定包括：

33、统计目标评价对象在当前统计时间窗内对应的反馈报告数量；

34、获取基准期内多个单位时间窗对应的反馈报告数量，并根据当前统计时间窗内的反馈报告数量相对于所述基准期内数量极值的位置关系进行归一化处理，得到反馈频次指标；

35、根据当前统计时间窗与前一统计时间窗的反馈报告数量确定数量变化率，并利用sigmoid函数将所述数量变化率映射至预设数值区间，得到变化趋势指标；

36、按照预设权重对所述反馈频次指标和变化趋势指标进行融合，得到行为质量评分；

37、当基准期内反馈报告数量不存在有效极差或者前一统计时间窗内反馈报告数量为零时，按照预设平滑规则或者边界处理规则完成计算。

38、具体的，所述反馈报告质量评分的确定包括：

39、当评价对象为单条反馈报告时，根据所述单条反馈报告的内容质量评分确定反馈报告质量评分；

40、当评价对象为统计时间窗内的反馈报告集合时，对所述反馈报告集合中各反馈报告的内容质量评分进行聚合，并将聚合后的内容质量评分与行为质量评分按照预设权重进行融合，得到所述反馈报告集合的反馈报告质量评分。

41、具体的，所述处理时效性评分的确定包括：

42、根据报告提交时间与首次响应时间之间的时间差确定首次响应时长，并根据报告提交时间与处理完成时间之间的时间差确定处理时长；

43、对于单个机场处理结果，分别将所述首次响应时长和处理时长与对应的预设最长时限进行比较，根据各实际时长在对应预设最长时限内的剩余比例确定首次响应及时性指标和处理周期及时性指标；

44、对于统计时间窗内的多个机场处理结果，分别统计首次响应时长符合预设响应时限的处理结果占比和处理时长符合预设处理时限的处理结果占比；

45、对所述首次响应及时性指标和处理周期及时性指标，或者对所述两个占比，按照预设权重进行融合，得到处理时效性评分。

46、具体的，所述利用问题标识或文本语义向量识别重复反馈，包括：

47、从反馈文本中提取机场标识、运行区域、设施对象、问题现象、触发条件和影响对象中的至少两项，生成结构化问题特征；

48、利用本地文本编码模型对反馈文本或者由所述结构化问题特征组成的文本序列进行编码，得到问题特征向量；

49、从目标反馈报告处理完成后的后续反馈报告中，筛选满足预设时序条件和机场关联条件的候选反馈报告；

50、计算目标反馈报告与候选反馈报告的问题特征向量之间的语义相似度；

51、根据结构化问题特征的匹配结果和所述语义相似度识别属于同一问题的重复反馈；

52、当反馈报告具有预先设置的问题标识时，优先依据所述问题标识识别重复反馈。

53、具体的，所述解决问题有效性评分和机场处理结果质量评分的确定包括：

54、对单个机场处理结果对应的飞行员满意度评分进行归一化，或者根据统计时间窗内满足预设满意条件的满意度样本占比确定飞行员满意度指标；

55、对于单个机场处理结果，根据该处理结果完成后至评价时间点同一问题再次出现的次数确定重复反馈指标；对于统计时间窗内的多个机场处理结果，根据再次出现同一问题的反馈报告占比确定重复反馈指标；

56、对所述重复反馈指标进行反向处理，并与飞行员满意度指标按照预设权重进行融合，得到解决问题有效性评分；

57、将所述解决问题有效性评分与处理时效性评分按照预设权重进行融合，得到机场处理结果质量评分；

58、将反馈报告质量评分和机场处理结果质量评分分别与对应的预设评分阈值进行比较，并根据比较结果生成信息补充标识、低质量标识或者机场处理异常任务。

59、由上述技术方案可知，本发明具有如下有益效果：

60、该飞行员反馈报告与机场处理结果的双向质量评估方法，通过对飞行员反馈报告数据、机场处理事件数据、专家评价数据和满意度数据进行关联，能够形成面向反馈报告和机场处理结果的双向质量评估机制。其中，通过对子句逻辑关系、文本信息量、事实准确性及建议可行性进行综合评价，有利于降低仅依赖人工经验判断所产生的主观差异，提高反馈报告质量评价的一致性和可比较性；通过结合统计时间窗内的反馈频次和变化趋势，能够进一步反映反馈行为在不同时段内的变化情况；通过对首次响应时间、处理完成时间、飞行员满意度及重复反馈情况进行综合分析，能够更全面地反映机场处理结果的及时性和有效性。同时，利用问题标识或文本语义向量识别重复反馈，有利于发现处理完成后再次出现的同类问题，提高对问题实际解决程度的判断准确性。由此，本技术能够为高质量反馈报告筛选、机场处理过程评价及异常任务识别提供量化依据，促进飞行员反馈在提出、处理、反馈和改进环节之间形成闭环。