基于数据自适应的统计匹配与大模型智能解译方法及系统与流程

本发明涉及自然语言处理，尤其是涉及基于数据自适应的统计匹配与大模型智能解译方法及系统。

背景技术：

1、随着数字化调研技术的普及，各类满意度调研和市场调研等问卷数据呈爆发式增长，调研数据的分析通常需要经历数据清洗、统计分析、图表生成和结论撰写等多个环节，最终以数据图表和分析报告的形式进行呈现给决策者。

2、相关技术中，普遍采用人工的方式对调研数据进行核查，对各项数据进行统计之后从各个图表类型中选择合适的可视化方式，最后根据图表呈现的结果撰写对应的调研结论。

3、针对上述的相关技术，通过人工分析的方式对各项数据进行处理所需的流程时间长且环节多，分析周期较长，难以满足日益增长的快速决策需求。

技术实现思路

1、为了提高调研数据的处理效率，本发明提供基于数据自适应的统计匹配与大模型智能解译方法及系统。

2、第一方面，本发明提供基于数据自适应的统计匹配与大模型智能解译方法，采用如下的技术方案：

3、基于数据自适应的统计匹配与大模型智能解译方法，包括：

4、步骤1：获取原始调研数据和调研目的；

5、步骤2：对原始调研数据进行数据清洗得到标准调研数据；

6、步骤3：对标准调研数据进行分析得到数据数值信息；

7、步骤4：根据调研目的从预设的图表匹配库中进行匹配得到目标图表类型；

8、步骤5：根据目标图表类型和数据数值信息生成当前可视化图表；

9、步骤6：对当前可视化图表进行识别和分析得到图表特征信息，所述图表特征信息包括图表类型特征和数据特征；

10、步骤7：根据图表类型特征从预设的模型数据库中选取分析模型；

11、步骤8：根据分析模型对数据特征进行分析得到自然语言描述文本；

12、步骤9：将自然语言描述文本和当前可视化图表进行关联输出。

13、通过采用上述技术方案，在获取原始调研数据后，可自动完成数据清洗、图表匹配生成与智能解译全流程处理，能够压缩调研数据的整体处理周期，提高了调研数据的处理效率。

14、可选的，对原始调研数据进行数据清洗得到标准调研数据的具体方法包括：

15、步骤20：对原始调研数据进行数据分析得到调研数据编号组、调研数据编号以及各个调研数据编号对应的调研记录；

16、步骤21：对调研记录进行拆解得到作答时序信息，所述作答时序信息包括响应时间戳序列和响应点击轨迹序列；

17、步骤22：根据响应时间戳序列和响应点击轨迹序列生成耗时波动曲线；

18、步骤23：将耗时波动曲线与预设的答题标准曲线进行对比得到曲线偏差程度；

19、步骤24：当曲线偏差程度大于预设的偏差阈值时，将调研数据编号定义为异常编号；

20、步骤25：将异常编号从调研数据编号组中剔除得到标准调研数据编号组；

21、步骤26：将标准调研数据编号组和对应的调研记录进行整合得到标准调研数据。

22、通过采用上述技术方案，在数据清洗阶段，基于作答时序信息构建耗时波动曲线并与标准曲线进行偏差对比，能够自动识别耗时节奏异常的无效问卷，保障了进入分析环节的数据真实性。

23、可选的，还包括判断调研数据是否存在冲突的控制方法，该方法包括：

24、步骤250：将异常编号从调研数据编号组中剔除后，对调研记录进行分析得到作答内容；

25、步骤251：对作答内容进行关联识别得到关联作答选项组；

26、步骤252：对关联作答选项组对应的各个作答内容进行内容一致性判断得到一致性判断结果，所述一致性判断结果包括一致和不一致；

27、步骤253：当一致性判断结果为不一致时，将调研数据编号定义为内容不一致编号；

28、步骤254：当一致性判断结果为一致时，继续选取其余的关联作答选项组执行步骤252至步骤253；

29、步骤255：将内容不一致编号从调研数据编号组中剔除得到标准调研数据编号组。

30、通过采用上述技术方案，通过对具有语义互斥关系的关联题项对进行一致性判断，能够自动识别作答内容存在逻辑矛盾的无效问卷，避免了矛盾数据对分析结果的干扰。

31、可选的，还包括：

32、步骤2550：将内容不一致编号从调研数据编号组中剔除后，将调研记录中的作答选项按照题项排列顺序得到作答选项序列；

33、步骤2551：根据预设的滑动窗口长度对作答选项序列进行截取得到若干作答选项子序列；

34、步骤2552：统计各作答选项子序列在作答选项序列中的重复次数；

35、步骤2553：将作答选项序列中各作答选项按照预设的分值映射表转换为数值序列，计算数值序列中相邻数值之间的差值得到差值序列；

36、步骤2554：统计差值序列中相同差值连续出现的连续次数；

37、步骤2555：当连续次数大于预设连续阈值时或重复次数大于预设的重复阈值时，将对应调研数据编号定义为规律作答编号；

38、步骤2556：将规律作答编号从调研数据编号组中剔除得到标准调研数据编号组。

39、通过采用上述技术方案，通过滑动窗口重复检测和相邻差值序列检测两种方式对作答选项序列进行规律性分析，能够自动识别循环作答和等差作答等机械规律性无效问卷，提升了无效数据的识别覆盖度。

40、可选的，还包括判断调研数据是否有效的控制方法，该方法包括：

41、步骤25560：将规律作答编号从调研数据编号组中剔除后，根据各个调研记录得到各个调研数据编号对应的总题数量和未作答数量；

42、步骤25561：根据总题数量和未作答数量计算出缺失答题比例；

43、步骤25562：当缺失答题比例大于预设的比例阈值时，将对应的调研数据编号定义为无效作答编号；

44、步骤25563：将无效作答编号从调研数据编号组中剔除得到标准调研数据编号组。

45、通过采用上述技术方案，通过统计未作答题目数量并计算缺失答题比例，能够自动筛选出大量题目未作答的无效问卷，确保了有效数据的完整性。

46、可选的，还包括根据调研目的从预设的图表匹配库中进行匹配得到目标图表类型的具体方法，该方法包括：

47、步骤40：对调研目的进行关键词提取得到目的关键词；

48、步骤41：对数据数值信息进行识别得到数据形态特征；

49、步骤42：根据目的关键词和数据形态特征在图表匹配库中进行匹配得到候选图表类型组和候选匹配度；

50、步骤43：选取候选图表类型组中排序第一的候选图表类型作为目标图表类型。

51、通过采用上述技术方案，通过对调研目的进行关键词提取并对数据数值信息进行形态识别，结合目的关键词和数据形态特征在图表匹配库中自动匹配最优图表类型，从而实现了可视化图表类型的智能化匹配，进一步压缩了整体分析流程的时长。

52、可选的，还包括选取目标图表类型的优化方法，该方法包括：

53、步骤430：根据候选图表类型组得到第一匹配度和第二匹配度；

54、步骤431：根据第一匹配度和第二匹配度计算出匹配度差值；

55、步骤432：当匹配度差值小于预设的差值阈值时，根据第二匹配度从候选图表类型组中查找出第二匹配图表类型；

56、步骤433：当候选图表类型和第二匹配图表类型相同时，将候选图表类型作为目标图表类型；

57、步骤434：当候选图表类型和第二匹配图表类型不同时，将候选图表类型和第二匹配图表类型按照预设的融合规则进行融合得到融合图表类型，并将融合图表类型作为目标图表类型；

58、通过采用上述技术方案，当多个图表类型的匹配度较为接近时，自动将多种图表类型进行融合生成融合图表类型，能够同时展示数据的不同维度特征，减少单一图表类型信息承载不足的问题。

59、可选的，还包括当匹配度差值大于差值阈值时的优化方法，该方法包括：

60、步骤4350：当匹配度差值大于差值阈值时，根据候选图表类型组得到第三匹配图表类型；

61、步骤4351：当第二匹配图表类型和第三匹配图表类型相同时，将候选图表类型作为目标图表类型；

62、步骤4352：当第二匹配图表类型和第三匹配图表类型不同时，将第二匹配图表类型和第三匹配图表类型按照预设的融合规则进行融合得到候选融合图表类型；

63、步骤4353：将候选融合图表类型、目的关键词和数据形态特征进行关联性分析得到候选融合图表匹配度；

64、步骤4354：当候选融合图表匹配度大于第一匹配度时，将候选融合图表类型作为目标图表类型；

65、步骤4355：当候选融合图表匹配度小于第一匹配度时，将候选图表类型作为目标图表类型。

66、通过采用上述技术方案，当匹配度差距较大时，通过引入第三匹配图表类型进行验证并根据融合匹配度的比较结果决定是否采用融合图表类型，从而进一步保障了目标图表类型与调研目的对应的数据特征的匹配准确性。

67、可选的，还包括判断原始调研数据是否异常的控制方法，该方法包括：

68、步骤10：获取原始调研数据后，根据预设的关键题型对原始调研数据进行筛选得到关键题型数据；

69、步骤11：当关键题型数据落入预设的合理数据范围内时，将原始调研数据进行输入；

70、步骤12：当关键题型数据未落入合理数据范围内时，输出预设的原始调研数据异常信号。

71、通过采用上述技术方案，在数据清洗开始前，根据关键题型对原始调研数据进行快速预检，能够在数据质量严重异常时及时终止流程，节约了计算资源。

72、第二方面，本发明提供基于数据自适应的统计匹配与大模型智能解译系统，采用如下的技术方案：

73、基于数据自适应的统计匹配与大模型智能解译系统，包括：

74、获取模块，用于获取原始调研数据和调研目的；

75、存储器，用于存储如上所述的基于数据自适应的统计匹配与大模型智能解译方法的程序；

76、处理器，加载执行存储器中的程序。

77、通过采用上述技术方案，获取模块采集原始调研数据和调研目的，处理器加载执行存储器中的程序指令，无需依赖外部软件或人工操作即可独立完成调研数据的全流程自动化分析处理。

78、综上所述，本发明包括以下至少一种有益技术效果：

79、1.通过自动完成数据清洗、图表匹配生成与自然语言智能解译的全流程处理，无需人工逐份核查问卷以及手动选择图表类型，能够压缩调研数据的整体处理周期，提升了调研数据分析的效率和规范化程度；

80、2.在数据清洗阶段，分别通过作答时序信息的耗时波动曲线偏差对比和语义互斥题项对的一致性判断等多维度清洗机制，能够从多个层面自动识别并剔除各类无效问卷，保障了进入分析环节的调研数据质量。