基于大语言模型的工业知识库智能问答与生成方法与流程
本发明涉及工业数据处理,具体为基于大语言模型的工业知识库智能问答与生成方法。
背景技术:
1、随着工业设备运行监测系统、工业知识库系统和大语言模型问答生成系统的发展,工业现场中由设备采集接口、控制器日志接口、报警记录接口和知识文档接口形成的多源数据持续增加,现有技术中,现有系统多采用指标名称匹配、文本相似检索和通用生成模型输出的处理方式,对同名工业指标在不同对象层级、不同统计窗口、不同计算公式和不同单位条件下的口径差异缺乏有效区分机制,容易将名称相同但含义不同的数据作为同一判断依据使用,进而导致知识片段调用错误、问答依据不一致、生成内容不可直接复核和口径差异无法追踪的问题。
2、例如,公告号为cn120872995b的发明专利公开了基于大模型的知识库智能管理系统及方法,包括:通过数据采集模块采集不同目标主体的问答文本及索引信息,经分词预处理和有向图神经网络映射,生成第一文本分层序列及有向索引图;特征提取模块结合特征蒸馏模型提取文本与索引嵌入表征,通过三维重叠度模型获取不同目标主体的相似重叠度;冲突仿真模块基于树状数据库构建初始知识库,利用贝叶斯仿真算法检测目标主体内及主体间的索引冲突,生成冲突风险清单;冲突消解模块结合冲突消解对抗模型输出消解策略,反馈调节模块迭代优化知识库至满足冲突阈值及用户需求;本技术实现跨主体问答索引的智能管理,提升了知识库冲突消解效率与跨主体查询准确性。
3、例如,公告号为cn117235287b的发明专利公开了 一种人工智能问答知识库的建立方法及系统,包括:采集人工智能云平台上的输入语句,基于输入语句获得问题文本,将问题文本进行无用字筛除,获得有效文本信息;将有效文本信息进行数字转换,获得有效文本信息中每个字的数值表示,并根据获得的所有数值表示得到有效文本信息中的信息词组;基于所有信息词组获得核心信息词组,基于所有核心信息词组获得多个初始匹配答案;计算输入问题与每个初始匹配答案之间的匹配值,基于多个匹配值获得最佳匹配答案,生成输入问题的人工智能问答知识库。本发明实现了对输入语句的进一步处理,在过程中进行无效信息滤除,更高效、更有针对性地进行人工智能问答知识库的建立。
4、现有技术中,现有知识库问答系统看到温差异常、负载过高这类词,会直接检索相似知识,但没有识别指标背后的计算口径。结果是模型看似引用了正确字段,实际可能把不同统计层级、不同时间窗口、不同计算公式下的指标混为一谈。
5、因此,针对以上问题,亟待需要基于大语言模型的工业知识库智能问答与生成方法。
技术实现思路
1、解决的技术问题
2、针对现有技术的不足,本发明提供了基于大语言模型的工业知识库智能问答与生成方法,解决了同名异义指标难以区分、知识片段错误调用、生成内容口径漂移和结果复核链条不完整的的问题。
3、技术方案
4、为实现以上目的,本发明通过以下技术方案予以实现:基于大语言模型的工业知识库智能问答与生成方法,包括s1,获取工业指标原始数据,并进行时间基线对齐、字段语义映射、异常标记与归一化整编,生成工业指标数据集;s2,基于工业指标数据集提取口径字段,构建工业指标口径字段序列,生成指标口径指纹编号,构建口径差异标记表;s3,进行结构化切分,并为知识片段绑定适用口径条件,对候选知识片段执行口径约束匹配,筛选口径一致知识片段,构建可生成上下文包;s4,基于可生成上下文包对大语言模型候选输出进行口径约束重标定,生成工业知识库智能问答报告。
5、进一步地,获取工业指标原始数据,并进行时间基线对齐、字段语义映射、异常标记与归一化整编,生成工业指标数据集的具体步骤为:对工业设备运行过程进行接入,获取工业指标原始数据;工业指标原始数据包括:设备编号、部件编号、字段编码、字段名称、字段数值、原始单位、采样时间、采样周期、来源接口标识、数据表标识、状态码和口径版本号;基于设备本地时间、边缘接收时间和中心入库时间构建三时标校正链,对工业指标原始数据执行时间基线对齐,生成统一分析时间;对工业指标原始数据执行字段语义映射,将字段名称转换为系统内部统一字段语义;对于不同来源中名称相同但含义不同的字段,以及名称不同但物理意义一致的字段,统一映射至字段语义空间;通过基于量程约束、时序连续性约束、冻结特征识别和相邻变化幅度判别的异常标记方法,对工业指标原始数据进行异常标记:对于具有明确物理上下界的字段,采用基于量程上下界的区间归一化方法,将字段数值映射至标准数值区间;生成工业指标数据集。
6、进一步地,基于工业指标数据集提取口径字段,构建工业指标口径字段序列的具体步骤为:基于工业指标数据集,通过字段语义映射与口径要素拆解相结合的方法,提取指标名称、指标对象、统计层级、时间窗口、计算公式编号、标准单位、采集来源、异常值剔除规则和口径版本号,对名称相同的工业指标进行口径字段比对,识别同名指标下的对象层级差异、统计窗口差异、计算方法差异、单位差异、采集来源差异和异常值剔除规则差异;将每个工业指标的口径字段按照固定字段顺序排列,生成工业指标口径字段序列。
7、进一步地,生成指标口径指纹编号的具体步骤为:通过对口径字段序列中的字段项进行计数得到口径字段数量;通过从第i个工业指标对应的口径字段序列中读取第m个字段的实际内容得到字段取值;通过调用第m个口径字段对应的字段编码映射表查表得到整数编码后的结果;通过对当前字段m之前的所有口径字段顺序编号得到前序口径字段序号;通过统计第r个口径字段允许出现的不同取值数量得到编码基数;把第一个口径字段的取值映射成对应的整数编码,作为第一位口径编码;把第二个口径字段的取值映射成对应的整数编码,并乘以前一个口径字段的编码基数,作为第二位口径编码;按照同样方式,依次将各个口径字段的取值映射为对应整数编码,并分别乘以前面所有口径字段编码基数连乘形成的位阶放大项后全部累加,得到口径字段的顺序编码结果;将全部口径字段对应的整数编码分别加一后依次相乘,得到口径校验项;将口径字段的顺序编码结果与口径校验项相加,再对大素数取模,得到口径指纹编号。
8、进一步地,构建口径差异标记表的具体步骤为:对生成的指标口径指纹编号执行冲突检测:若两个工业指标的指标口径指纹编号相同,但口径字段序列不完全一致,则将口径版本号和计算公式编号作为强制字段纳入口径字段序列并重新生成指纹;若仍冲突,则进一步引入数据来源标识与字段编码列表作为扩展字段,最多迭代3次,若3次后仍冲突,则更换指纹生成算法或手动介入处理,直至得到不同的口径指纹编号;当同一指标名称对应两个以上口径指纹编号时,将指标标记为口径敏感指标;构建口径差异标记表。
9、进一步地,进行结构化切分,并为知识片段绑定适用口径条件的具体步骤为:获取工业知识文档、设备说明文档、报警说明文档、参数配置文档、历史处置记录和技术分析记录,并进行结构化切分,得到工业知识片段;每个工业知识片段包括知识片段编号、知识文本、适用设备对象、适用部件对象、涉及指标名称、要求口径指纹编号、适用时间窗口、适用数据来源、适用版本号、知识来源编号和审核状态;对工业知识片段中的指标名称进行识别,并调用指标口径指纹库查询指标名称对应的口径指纹编号;当同一指标名称对应多个口径指纹编号时,再调用口径差异标记表进行差异标记;对于未明确携带口径字段的知识片段,不直接作为可生成依据,标记为待补全口径知识片段;待补全口径知识片段仅作为背景候选,不进入口径一致知识片段集。
10、进一步地,对候选知识片段执行口径约束匹配的具体步骤为:当接收到问答请求时,从问答请求中提取指标词、设备对象词、部件对象词和异常描述词;基于当前工业指标数据集读取对应指标的口径指纹编号;按设备对象、部件对象和指标名称召回候选知识片段,再对候选知识片段执行口径约束匹配,对当前问答请求关联的采集指标和当前问答请求召回的候选知识片段按照读取顺序进行编号得到当前采集指标的序号和候选知识片段的序号;读取对应的字段语义映射、设备对象标识、部件对象标识和指标对象标识后组合得到对象集合;读取当前采集指标对应的统计窗口配置得到时间窗口长度;提取当前采集指标对应的采样周期、量程上限、量程下限和有效采样数量并按顺序排列得到连续口径特征向量;对当前采集指标原始单位执行单位换算并映射至字段语义中得到标准单位;统计当前采集指标对应的对象集合与候选知识片段要求的对象集合中相同对象的数量,统计两个对象集合合并后的对象总数量,用相同对象数量除以合并后的对象总数量与防零项之和,得到对象重合项;把当前采集指标的时间窗口长度与候选知识片段要求的时间窗口长度分别加上防零项后求比值,对比值取自然对数并平方取负值后进行指数变换,得到窗口匹配项;计算当前采集指标的连续口径特征向量与候选知识片段要求的连续口径特征向量之差,将差值与连续口径特征协方差矩阵的逆矩阵进行马氏距离运算,对运算结果取负值后进行指数变换,得到特征匹配项;再判断当前采集指标的口径指纹编号与候选知识片段要求的口径指纹编号是否一致,若一致则编号一致性项取1,否则取0;再判断当前采集指标的标准单位与候选知识片段要求的单位是否一致,若一致则单位一致性项取1,否则取0;将对象重合项、窗口匹配项、特征匹配项、编号一致性项和单位一致性项依次相乘,得到当前采集指标与候选知识片段之间的口径匹配门控值。
11、进一步地,筛选口径一致知识片段,构建可生成上下文包的具体步骤为:若口径匹配门控值为零,则直接判定知识片段不可调用;若口径匹配门控值大于零,则将知识片段保留为口径候选知识片段;将口径匹配门控值与口径匹配阈值进行比对;当口径匹配门控值大于口径匹配阈值时,则判定当前候选知识片段与当前采集指标口径一致,将候选知识片段写入口径一致知识片段集,并基于口径一致知识片段集构建可生成上下文包;当口径匹配门控值小于或等于口径匹配阈值时,则判定当前候选知识片段与当前采集指标口径不一致,将该候选知识片段写入口径差异记录表。
12、进一步地,基于可生成上下文包对大语言模型候选输出进行口径约束重标定的具体步骤为:读取模型并结合当前生成位置的解码状态得到候选词元集合;通过词元序列和可生成上下文包输入大语言模型后,由模型输出层计算得到大语言模型原始输出的候选词元概率;通过逐词解码过程中当前位置的生成任务确定待生成词元;从当前生成位置对应的候选词元集合中逐项读取得到候选词元;将第1个生成位置至第t-1个生成位置已经选出的输出词元按顺序拼接得到词元序列;通过对候选词元是否涉及未绑定口径指纹编号的指标引用以及是否属于口径差异词元集合进行求和计算,得到口径惩罚值;对大语言模型每一个待生成词元的原始输出概率进行口径约束重标定;取大语言模型对第t个生成位置中候选词元u给出的原始输出概率;将口径惩罚值与口径约束强度系数相乘后取负指数,得到衰减因子;将原始输出概率乘以衰减因子,得到调整后概率值;对候选词元集合中其余各个候选词元也分别执行同样处理,得到各自的调整后概率值;将全部候选词元的调整后概率值相加,得到总调整概率;用候选词元的调整后概率值除以总调整概率,得到口径约束重标定后的生成概率。
13、进一步地,生成工业知识库智能问答报告的具体步骤为:根据口径约束重标定后的概率分布,通过在每一步解码时对候选词元按概率排序,然后应用口径一致性约束,从剩余词元中选择概率最高的词元,选择输出词元,将当前输出词元追加至已生成词元序列,并通过迭代解码方法,逐步生成口径受控问答;当生成口径受控问答中引用的指标均已绑定口径指纹编号,且引用知识片段均来自口径一致知识片段集时,生成有效问答标签;当生成口径受控问答中存在未绑定口径指纹编号的指标引用时,生成口径复核标签,并基于口径差异记录表中的缺失项及待补全片段的字段缺失分析,输出需要补充的字段、时间窗口、计算公式编号或数据来源;将口径受控问答、口径差异记录表和口径复核标签进行结构化绑定,生成工业知识库智能问答报告。
14、有益效果
15、本发明具有以下有益效果:
16、(1)本发明,通过提取指标名称、指标对象、统计层级、时间窗口、计算公式编号、标准单位、采集来源、异常值剔除规则和口径版本号构建工业指标口径字段序列,并进一步生成口径指纹编号,使名称相同但统计口径不同的工业指标能够被唯一标识,解决了同名工业指标在不同系统中难以区分的问题。
17、(2)本发明,通过对工业知识片段绑定适用设备对象、适用部件对象、要求口径指纹编号、适用时间窗口、适用数据来源和适用版本号,并结合对象集合重合度、时间窗口匹配项、连续口径特征匹配项、口径编号一致性项和单位一致性项计算口径匹配门控值,使知识片段筛选过程由名称匹配转变为口径约束匹配,提升了知识片段调用的准确性。
18、(3)本发明,通过在大语言模型生成过程中引入口径约束重标定机制,对禁止生成词元、未绑定口径指纹编号的指标引用和口径差异词元施加惩罚,使模型输出概率在生成阶段即受到口径规则控制,解决了生成内容中容易出现错误口径引用和不一致表述的问题。
19、(4)本发明,通过将口径受控问答结果、口径差异记录表和口径复核标签进行结构化绑定并写入生成记录库,使同类问答请求能够复用历史口径控制结果和差异复核结果,提升了系统在重复问答场景下的处理一致性和生成稳定性。
20、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。