数据处理方法、装置、存储介质及设备与流程
本公开涉及计算机,具体涉及一种数据处理方法、装置、存储介质及设备。
背景技术:
1、在互联网产品运营领域,用户在产品内聊天频道和外部社交平台每天产生海量对话文本,其中蕴含大量对产品功能、玩法、体验的真实反馈。及时、准确地从海量非结构化对话中提取用户观点并识别潜在问题,对产品运营和迭代优化至关重要。
2、传统的用户反馈分析主要依赖人工抽样阅读或基于关键词的匹配统计,存在覆盖范围有限、分析深度不足、时效性差等问题。随着大语言模型技术的发展,利用大语言模型进行文本理解和观点抽取成为可能,但通用大语言模型缺乏对特定领域私域语境的深度理解能力,难以准确识别领域特有的实体名称、术语缩写和用户群体的特有表达方式。
技术实现思路
1、本公开实施例提供一种数据处理方法、装置、存储介质及设备,通过领域私有知识库增强大语言模型的语境理解能力和向量相似度聚合机制,实现从用户反馈文本数据中自动识别核心代表观点,提升了观点分析的准确度和聚合效率。
2、一方面,本公开实施例提供一种数据处理方法,所述方法包括:
3、获取待分析的用户反馈文本数据;
4、基于预先构建的领域私有知识库,对所述用户反馈文本数据进行检索,获得与所述用户反馈文本数据关联的领域知识候选集合;
5、将所述用户反馈文本数据和所述领域知识候选集合输入大语言模型进行多维度信息抽取处理,得到多个候选观点,所述多维度信息至少包括评价主体、观点内容和预设特征属性;
6、对所述多个候选观点进行基于向量相似度的聚合处理,以将所述多个候选观点归入已有观点簇或判定是否触发聚类;
7、对触发聚类的相似观点组,调用所述大语言模型剔除所述相似观点组中语义不一致的观点,并基于剔除后的观点生成核心代表观点;
8、基于所述核心代表观点创建新的观点簇记录。
9、另一方面,本公开实施例提供一种数据处理装置,所述装置包括:
10、获取单元,用于获取待分析的用户反馈文本数据;
11、第一检索单元,用于基于预先构建的领域私有知识库,对所述用户反馈文本数据进行检索,获得与所述用户反馈文本数据关联的领域知识候选集合;
12、第一处理单元,用于将所述用户反馈文本数据和所述领域知识候选集合输入大语言模型进行多维度信息抽取处理,得到多个候选观点,所述多维度信息至少包括评价主体、观点内容和预设特征属性;
13、第二检索单元,用于对所述多个候选观点进行基于向量相似度的聚合处理,以将所述多个候选观点归入已有观点簇或判定是否触发聚类;
14、第二处理单元,用于对触发聚类的相似观点组,调用所述大语言模型剔除所述相似观点组中语义不一致的观点,并基于剔除后的观点生成核心代表观点;
15、创建单元,用于基于所述核心代表观点,创建新的观点簇记录。
16、另一方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的数据处理方法。
17、另一方面,本公开实施例提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上任一实施例所述的数据处理方法。
18、另一方面,本公开实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上任一实施例所述的数据处理方法。
19、本公开实施例提供的数据处理方法,通过预先构建的领域私有知识库对用户反馈文本数据进行检索以获取相关的领域知识候选集合,并将用户反馈文本数据和领域知识候选集合共同输入大语言模型进行多维度信息抽取,使得大语言模型在分析过程中能够获得准确的领域语境知识,提升了评价主体识别和观点理解的准确度;通过基于向量相似度的聚合处理,将候选观点归入已有观点簇或触发聚类以形成新的观点簇,并结合大语言模型剔除观点组中语义不一致的观点后生成核心代表观点,能够将表达同一主题但措辞不同的冗余观点自动收敛为结构化的核心观点簇,降低了人工阅读和分析成本,提升了观点分析的准确度和聚合效率。
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述对所述多个候选观点进行基于向量相似度的聚合处理,以将所述多个候选观点归入已有观点簇或判定是否触发聚类,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述预设特征属性包括技术异常类别和观点重要度;
4.根据权利要求1所述的数据处理方法,其特征在于,所述基于预先构建的领域私有知识库,对所述用户反馈文本数据进行检索,获得与所述用户反馈文本数据关联的领域知识候选集合,包括:
5.根据权利要求1所述的数据处理方法,其特征在于,所述多维度信息抽取处理中,所述评价主体的抽取包括:
6.根据权利要求1所述的数据处理方法,其特征在于,所述调用所述大语言模型剔除所述相似观点组中语义不一致的观点,并基于剔除后的观点生成核心代表观点,包括:
7.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
8.根据权利要求1所述的数据处理方法,其特征在于,在所述获取待分析的用户反馈文本数据之后,还包括:
9.根据权利要求1所述的数据处理方法,其特征在于,所述将所述用户反馈文本数据和所述领域知识候选集合输入大语言模型进行多维度信息抽取处理,得到多个候选观点,包括:
10.根据权利要求1所述的数据处理方法,其特征在于,所述观点簇记录至少关联所述核心代表观点及其所属的原始观点列表;所述基于所述核心代表观点创建新的观点簇记录,包括:
11.一种数据处理装置,其特征在于,所述装置包括:
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-10任一项所述的数据处理方法。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1-10任一项所述的数据处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com