智能分析平台的分析意图识别与分析过程管理方法及系统与流程
本发明属于数据分析,尤其是涉及一种智能分析平台的分析意图识别与分析过程管理方法及系统。
背景技术:
1、在现代数据分析领域,业务人员与数据分析专家在进行数据查询与分析时,通常通过自然语言表述其需求,并依赖于数据库管理系统和传统商业智能工具来处理这些查询。现有技术的主要原理是:用户输入自然语言查询,系统通过解析器直接生成结构化查询语言语句,并执行查询返回结果。然而,现有技术存在以下问题和缺点:
2、1.分析意图不明确:自然语言输入直接生成sql查询,由于自然语言的歧义性,无法保证准确的业务分析目标。
3、2.缺乏分析过程的跟踪和复用机制:每次查询生成的数据分析过程不可追溯,分析步骤、中间结果和调整记录未被保存,无法形成长期的分析经验积累。这导致相同分析需要重复进行,效率低下。
4、3.数据质量与可信度无法保障:实时生成的查询往往未经人工审查,sql查询可能包含错误或性能问题,结果的可信度无法评估。
5、问题的主要原因在于现有系统缺乏显式的意图识别机制、过程记录架构和质量管理模块。
技术实现思路
1、有鉴于此,本发明旨在克服现有技术中上述问题的不足之处,提出一种智能分析平台的分析意图识别与分析过程管理方法及系统,解决因自然语言歧义性导致的业务分析目标不明确问题,确保查询意图的准确转化,避免直接生成sql查询导致的误解,解决缺乏分析过程跟踪和复用机制的问题,实现分析过程的全程记录、审计和复用,提高分析效率,解决数据质量与可信度无法保障的问题,通过质量标注和风险控制,提升分析结果的可靠性和稳定性。
2、为达到上述目的,本发明的技术方案是这样实现的:
3、第一方面,本发明提供了一种智能分析平台的分析意图识别与分析过程管理方法,包括以下步骤:
4、意图显式化步骤:接收用户输入的自然语言查询,通过意图识别引擎将自然语言查询解析为结构化分析意图对象,并将所述分析意图对象呈现给用户进行确认,锁定最终分析意图;
5、过程记录步骤:在最终分析意图被锁定后,通过过程记录器捕获用户在分析过程中的操作事件,构建并存储分析会话对象,所述分析会话对象至少包含会话标识、结构化分析意图、结构化查询语言历史记录、结果哈希值和用户标识;
6、质量与风险标注步骤:在分析会话对象被构建后,通过风险评估器对当前分析进行评估,至少包括结构化查询语言复杂度评估、数据新鲜度评估和指标一致性评估,基于各项评估的评分加权综合计算风险评分,生成标注结果,将标注结果写入分析会话对象并存入资产库,同时将标注结果实时反馈给用户;
7、资产沉淀与复用步骤:基于分析会话对象及其标注结果,将用户确认的分析会话对象作为分析模板存入资产库,当新用户输入新的自然语言查询时,意图识别引擎在资产库中检索与新的自然语言查询相关联的分析模板,并将检索结果推荐给新用户。
8、进一步的,所述意图显式化步骤中,意图识别引擎采用双路径生成策略:
9、主路径:将自然语言查询解析为结构化意图后,计算结构化意图与资产库中预置模板的余弦相似度,若余弦相似度大于或等于第一阈值,则直接推荐匹配的预置模板并进入用户确认环节;若余弦相似度大于或等于第二阈值且小于第一阈值,则将匹配结果展示给所述用户供修正后确认;若余弦相似度小于第二阈值,则切换至辅路径;
10、辅路径:根据预设的问题关键词与数据表映射关系确定查询所需的数据表,构建包含相关表结构的精简提示词,调用大语言模型生成结构化查询语言语句,将生成的结构化查询语言封装为临时分析模板供用户确认。
11、进一步的,所述意图显式化步骤中,结构化分析意图对象包含以下七个维度:分析类型、核心指标、分析维度、时间范围、过滤条件、排序要求和聚合粒度。
12、进一步的,所述过程记录步骤中,操作事件包括用户提交查询、确认分析意图、修改参数、执行查询、调整图表和导出结果中的至少一种;每次操作事件被捕获并序列化后记录于分析会话对象中;分析会话对象采用与资产库中预置模板相同的数据结构,通过资产类型字段区分来源和用途。
13、进一步的,所述质量与风险标注步骤中:
14、结构化查询语言复杂度评分:基于子查询层数、关联表数量和索引缺失情况计算评分;
15、数据新鲜度评分:基于核心表最后更新时间距当前的时间差计算评分;
16、指标一致性评分:将当前查询中聚合表达式的抽象语法树与所述资产库中已认证指标定义的抽象语法树进行比对,计算编辑距离确定评分;
17、风险评分由结构化查询语言复杂度评分、数据新鲜度评分和指标一致性评分加权综合得到。
18、进一步的,所述指标一致性评分中,若编辑距离为零则得分为满分;若仅常量值、表别名或字段别名不同则得分为中间值;若聚合函数或过滤条件结构不同则得分为零。
19、进一步的,所述资产沉淀与复用步骤中,资产库采用文档型数据库,同时建立全文索引和向量索引以支持快速检索;相似度高于第一阈值的模板作为推荐列表返回给用户;用户选择模板后,通过修改时间参数和过滤条件参数,系统基于所述模板生成新的结构化查询语言并执行。
20、进一步的,所述意图显式化步骤中,结构化分析意图对象以意图卡片形式呈现给用户,用户能够对意图卡片中的任一维度进行修改;若用户修改任一维度,系统根据修改后的意图重新执行模板匹配,形成修改—重匹配—确认的闭环,直至用户锁定最终分析意图。
21、进一步的,当辅路径生成结构化查询语言失败或执行返回空结果时,系统进入回退机制:向用户返回失败提示并建议简化问题表述或调整关键词后重试;同时系统自动将失败的自然语言查询转化为结构化查询表单,用户通过补全下拉选项和条件组合完成查询,回退过程中的交互数据作为后续优化提示词策略和模型调优的训练样本。
22、第二方面,本发明提供了一种智能分析平台的分析意图识别与分析过程管理系统,包括:
23、用户接口层,用于接收自然语言输入,展示结构化意图确认界面、分析结果及风险报告;
24、意图识别引擎,连接用户接口层,用于将自然语言查询解析为结构化分析意图对象,并执行双路径生成策略;
25、过程记录器,连接用户接口层,用于监听并捕获用户在分析过程中的操作事件,构建并存储分析会话对象;
26、资产库,连接意图识别引擎和过程记录器,用于存储预置模板和分析会话对象,预置模板和分析会话对象采用相同的数据结构,通过资产类型字段区分;
27、风险评估器,连接过程记录器与资产库,用于对当前分析进行评估,计算风险评分并将标注结果关联至分析会话对象。
28、相对于现有技术,本发明所述的一种智能分析平台的分析意图识别与分析过程管理方法及系统具有以下优势:
29、(1)提高数据分析的准确性和精度:通过分析意图显式化和用户确认,减少自然语言歧义,确保查询结果符合业务目标。在包含500条自然语言查询的内部测试集上,与直接生成sql的方法相比,本发明的首次查询准确率提升约30%。
30、(2)提高分析效率:分析过程记录和资产沉淀机制允许用户快速复用历史分析,减少重复查询时间。对于重复性分析任务(如月度报表),平均耗时减少约50%。
31、(3)提升数据质量与可信度:质量与风险标注帮助用户避免低质量查询(如sql性能问题、数据过时等),经风险评估器标注为低风险的查询,用户采纳率提升约17%。
32、(4)操作简便:业务人员无需精通sql即可进行复杂分析,降低使用门槛,简化操作流程。
33、(5)资源节省:通过资产复用,减少计算资源和存储资源的浪费,节省能耗和硬件成本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com