一种面向生成式引擎的企业内容语义化处理方法及系统与流程
本发明属于自然语言处理,具体地说是一种面向生成式引擎的企业内容语义化处理方法及系统。
背景技术:
1、随着生成式人工智能和ai搜索技术的发展,用户获取企业信息的方式逐渐由传统搜索引擎检索转变为直接向生成式ai平台进行问答查询。企业官网、产品手册、技术文档、设计图纸、案例材料、faq文档以及内部知识库等内容,已经成为生成式ai进行知识检索、内容理解和答案生成的重要信息来源。为了提升企业信息的网络可见性,现有技术通常采用网页编辑、关键词优化、faq建设、新闻稿发布以及seo搜索优化等方式,对企业内容进行整理和推广,以提高企业信息在传统搜索引擎中的检索排名和曝光效果。
2、然而,现有技术主要面向人工阅读和传统搜索引擎建立内容组织方式,企业大量内容仍以pdf文件、技术文档、设计图纸、参数表、图片资料等非结构化形式分散存储,且单个内容片段中通常同时包含背景描述、参数说明、结论判断以及证据引用等多种语义信息,导致内容语义边界模糊、事实表达分散,难以形成能够被生成式ai直接识别、理解和引用的独立语义单元,从而造成生成式ai平台对企业内容理解不充分、引用不准确以及回答稳定性较差的问题。因此,如何对企业多源非结构化内容进行语义边界识别和语义单元重构,生成适用于生成式引擎理解和引用的ai可读内容,成为本领域亟需解决的技术问题。
技术实现思路
1、为了解决上述技术问题,本发明提供一种面向生成式引擎的企业内容语义化处理方法及系统,以解决现有技术中难以对企业多源非结构化内容进行语义边界识别和语义化重构,以生成能够被生成式引擎准确识别、理解和引用的ai可读语义单元等问题。
2、一种面向生成式引擎的企业内容语义化处理方法,包括以下步骤:对企业多源非结构化内容进行统一解析,并构建候选语义片段集合,具体为:
3、采集企业多源异构内容数据,针对不同类型的原始内容数据,分别采用对应的解析方式进行统一解析处理,对解析后的各类文本内容进行标准化处理,建立统一内容表达集合,并进行内容清洗处理,对清洗后的文本内容进行实体识别处理,提取文本中的关键语义实体,构建实体集合,对各文本内容进行主题变化分析、实体变化分析以及上下文关联分析识别语义边界,对统一文本内容进行连续切分,构建候选语义片段集合;
4、对候选语义片段进行语义化重构,生成ai可读语义单元,具体为:
5、对候选语义片段进行内容识别、信息密度分析、语义完整度评估,根据语义完整度评估结果执行语义重构处理,并计算当前候选语义片段的可引用度评分,根据计算结果判断当前候选语义片段是否具备生成式引擎引用价值,并构建ai可读语义单元,将所有构建完成的ai语义单元按照统一格式进行组织,构建ai可读语义单元集合;
6、对ai可读语义单元进行生成式引擎适配,并基于反馈结果进行迭代优化,具体为:
7、获取目标生成式引擎的内容认知特征,根据内容认知特征对ai可读语义单元进行结构化表达重组,并通过测试问题集合对生成式引擎进行问答验证,根据回答结果确定ai可读语义单元的语义缺陷位置,并对ai可读语义单元进行反馈优化,直至满足生成式引擎识别要求。
8、优选的,所述进行统一解析处理,具体如下:
9、利用企业内容接入模块,对企业内部及外部的多源内容进行实时获取;
10、针对不同类型的原始内容数据,分别采用对应的解析方式进行统一解析处理,具体为:
11、若当前内容类型为文本类文档,则执行文本提取处理,生成对应的文本内容;
12、若当前内容类型为图片类数据,则利用光学字符识别算法进行文字识别处理,生成对应的ocr文本内容;
13、若当前内容类型为视频或音频数据,则利用语音识别算法进行语音转写处理,生成对应的语音文本内容;
14、当前内容类型为网页数据,则利用网页正文抽取算法对网页结构进行解析,去除导航栏、广告区域以及无关链接内容,生成对应的网页正文内容。
15、优选的,所述进行内容清洗处理,具体如下:
16、设定重复内容判定阈值,并计算任意两个文本内容之间的语义相似度,表示文本与文本之间的语义相似度;
17、将计算的两个文本内容之间的语义相似度,与设定的重复内容判定阈值进行对比,根据对比结果判断文本内容是否重复,具体为:
18、若对比结果满足公式,则判定对应文本内容为重复内容,并删除重复文本;
19、若对比结果满足公式,则保留当前文本内容;
20、对清洗后的文本内容进行实体识别处理,提取文本中的关键语义实体,构建实体集合,其中,表示第个语义实体,表示语义实体总数量。
21、优选的,所述识别语义边界,具体如下:
22、计算当前文本片段的主题特征向量,以及与相邻文本片段之间的主题差异度,同时计算相邻文本片段之间的实体变化程度,计算文本片段之间的上下文关联度,并设置语义边界判定阈值;
23、将计算的文本片段之间的上下文关联度与设置的语义边界判定阈值进行对比,根据对比结果判定当前文本内容是否属于同一语义单元,具体为:
24、若对比结果满足公式,则判定当前文本位置存在语义边界,并将当前文本内容进行切分;
25、若对比结果满足公式,则判定当前文本内容仍属于同一语义单元。
26、优选的,所述信息密度分析,具体如下:
27、统计第个候选语义片段中的事实实体数量以及文本总词数;
28、并计算候选语义片段的信息密度值,其中,表示第个候选语义片段的信息密度。
29、设置最小信息密度阈值,将设定的最小信息密度阈值与计算的信息密度值进行对比,根据对比结果判断当前候选语义片段是否存在无效信息,具体为:
30、若对比结果满足公式,则判定当前候选语义片段中存在营销描述信息或无效说明信息,并生成低价值标识,当前候选语义片段不参与后续ai可读语义单元构建;
31、若对比结果满足公式,则判定当前候选语义片段中不存在营销描述信息或无效说明信息,并生成高价值标识,当前候选语义片段参与后续ai可读语义单元构建。
32、优选的,所述语义完整度评估,具体如下:
33、分别统计当前候选语义片段中的事实实体数量,以及上下文依赖关系数量,计算当前候选语义片段的语义完整度;
34、设置语义完整度阈值,将设定的语义完整度阈值与计算的语义完整度进行对比,具体为:
35、若对比结果满足公式,则判定当前候选语义片段存在语义缺失或强上下文依赖关系,并生成语义重构标识;
36、若对比结果满足公式,则判定当前候选语义片段不存在语义缺失或强上下文依赖关系,并生成语义重构标识。
37、优选的,所述根据计算结果判断当前候选语义片段是否具备生成式引擎引用价值,具体如下:
38、基于构建的内容索引关系建立候选语义片段与原始内容之间的映射关系,其中,表示构建的内容索引关系,表示经过语义重构后的候选语义片段,同时构建语义证据链,根据语义证据链中的来源完整性、位置可追溯性、版本有效性以及关系完整性计算证据完整度评分,并计算当前候选语义片段的可引用度评分;
39、设置可引用度阈值,并将设定的可引用度阈值与计算的可引用度评分进行对比,根据对比结果判断当前候选语义片段是否具备生成式引擎引用价值,则有:
40、若对比结果满足公式,则判定当前候选语义片段不具备生成式引擎引用价值,并生成无效标识;
41、若对比结果满足公式,则判定当前候选语义片段具备生成式引擎引用价值,并生成有效标识。
42、优选的,所述构建ai可读语义单元集合,具体如下:
43、针对有效标识满足公式的候选语义片段,按照统一结构组织当前候选语义片段,构建ai可读语义单元;
44、将所有构建完成的ai语义单元按照统一格式进行组织,形成ai可读语义单元集合,则有:
45、;
46、其中,表示构建的ai可读语义单元集合;
47、设置最小字段完整度阈值,计算第个ai可读语义单元的字段完整度,其中,表示当前语义单元中的有效字段数量,有效字段为非空且通过格式校验的数据字段,表示预设字段总数量,表示计算的字段完整度;
48、将设定的最小字段完整度阈值,与计算的字段完整度进行对比,根据对比结果判断当前ai可读语义单元是否有效,具体为:
49、若对比结果满足公式,则判定当前ai可读语义单元无效,并生成无效标识;
50、若对比结果满足公式,则判定当前ai可读语义单元有效,并生成有效标识;
51、将ai可读语义单元集合以及对应有效性标识共同组成ai语义处理数据集合,其中,表示ai语义处理数据集合。
52、优选的,所述根据回答结果确定ai可读语义单元的语义缺陷位置,具体如下:
53、计算ai可读语义单元的引用匹配度,其中,表示回答结果中正确引用当前ai可读语义单元的信息数量,表示当前测试问题对应的预期引用信息数量,r表示当前ai可读语义单元的引用匹配度;
54、设定引用匹配阈值,将设定的引用匹配阈值与计算的引用匹配度进行对比,根据对比结果判定当前ai可读语义单元能否被生成式引擎有效识别,具体为:
55、若对比结果满足公式,则判定当前ai可读语义单元存在语义表达偏差,并生成优化标识;
56、若对比结果满足公式r,则判定当前ai可读语义单元能够被生成式引擎有效识别,并生成有效标识;
57、针对优化标识满足公式的ai可读语义单元,执行反馈优化处理,具体为:
58、分析生成式引擎回答结果中的缺失信息、错误引用信息以及低置信度信息,确定当前ai可读语义单元的语义缺陷位置,其中,表示第个ai可读语义单元对应的语义缺陷集合。
59、一种面向生成式引擎的企业内容语义化处理系统,包括:多源内容统一解析模块、语义化重构模块以及生成式引擎适配模块;
60、所述多源内容统一解析模块,用于对企业多源非结构化内容进行统一解析并构建候选语义片段集合;
61、所述语义化重构模块,用于对候选语义片段进行语义化重构并生成ai可读语义单元;
62、所述生成式引擎适配模块,用于对ai可读语义单元进行生成式引擎适配并基于反馈结果进行迭代优化。
63、与现有技术相比,本发明具有如下有益效果:
64、1、本发明通过对企业多源非结构化内容进行统一解析和语义边界识别,基于主题差异度、实体变化程度及上下文关联度的综合判定,对统一文本内容进行连续切分,构建候选语义片段集合,解决了现有技术中多源异构内容语义边界模糊、难以切分为独立语义单元的技术问题,实现了对非结构化内容中事实片段的有效提取和语义边界的精准识别。
65、2、本发明通过对候选语义片段进行信息密度分析和语义完整度评估,基于事实实体数量与文本总词数的比值计算信息密度以过滤低价值片段,同时基于事实实体数量与上下文依赖关系数量构建语义完整度计算模型,识别存在语义缺失或强上下文依赖的片段并执行拆分、合并及重组处理,解决了现有技术中单个内容片段背景描述与事实信息混杂、事实表达分散、难以形成独立事实单元的技术问题,实现了候选语义片段中有效事实信息的精准识别与语义重构,提高了语义单元的独立性和自包含性。
66、3、本发明通过计算候选语义片段的可引用度评分,基于信息密度值、语义完整度、证据完整度评分及时效性评分构建多维度量化评估模型,并与设定阈值比较以判断候选语义片段是否具备生成式引擎引用价值,解决了现有技术中缺乏对语义单元引用价值量化评估手段、难以筛选高价值事实信息的技术问题,实现了对ai可读语义单元引用价值的客观量化评估与筛选。
67、4、本发明通过构建统一的ai可读语义单元结构并设置字段完整性检测机制,按照包含语义单元编号、主体信息、主题信息、核心事实信息、参数信息、证据信息、应用场景信息及关联关系信息的统一结构组织语义单元,并计算字段完整度对语义单元进行有效性验证,解决了现有技术中企业内容缺乏统一的ai可读组织形式、生成式引擎难以直接识别和引用的技术问题,实现了企业内容向结构化、标准化ai可读语义单元的高质量转换。
68、5、本发明通过获取生成式引擎的内容认知特征并进行结构化表达重组,结合问答验证与反馈优化形成闭环迭代机制,根据引擎的内容组织偏好、引用偏好及语义表达偏好生成问答内容、知识卡片或结构化网页等多种适配表达形式,并通过测试问题集合验证引用匹配度,根据语义缺陷位置执行针对性的信息补充、关联重建、证据增强及顺序调整优化操作,解决了现有技术中静态内容难以适配不同生成式引擎认知方式、无法持续优化的技术问题,实现了ai可读语义单元与不同生成式引擎认知方式的动态适配与持续优化,提高了企业内容被生成式引擎准确识别、理解及引用的能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com