一种基于水务大模型的语义交互系统及方法与流程
本发明涉及语义检索,具体为一种基于水务大模型的语义交互系统及方法。
背景技术:
1、随着人工智能技术的快速发展,水务行业正经历从传统自动化控制向智能化决策的深刻变革。水务大模型作为这一变革的核心技术载体,被广泛应用于供水调度优化、水质预测预警、管网故障诊断、泵站节能控制等关键业务场景。当前,基于深度学习的时序预测模型、基于知识图谱的故障推理系统以及基于数字孪生的仿真推演平台,已成为水务智能化建设的三条主流技术路线。尽管水务行业在数据采集和基础建模方面取得了长足进步,但在面向大模型训练的高质量标注数据方面,存在着极为严重的稀缺性问题;
2、水务系统的设计原则是安全可靠、连续运行,因此管网爆管、水质严重超标、设备关键故障等异常事件在实际生产中发生频率极低。正常工况数据与故障工况数据的样本比例常常达到105:1甚至更高,呈现出极端不平衡的分布特征,有监督学习算法几乎无法从数据中有效学习故障模式。而现有技术中解决该问题主要通过数据迁移等式手段,但依旧存在不同污水处理厂因工艺、水质差异巨大,直接迁移可能导致模型在新场景下性能不升反降。
技术实现思路
1、本发明的目的在于提供一种基于水务大模型的语义交互系统及方法,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于水务大模型的语义交互方法,所述方法包括以下步骤:
4、s100、在水务大模型中提取所有场景类型,针对每个场景类型统计故障标注数据,计算故障标注数据的正常数量阈值;提取用户交互时所提问场景的已有故障标注数据,判断提问场景是否为稀缺数据场景;
5、进一步的,所述判断提问场景是否为稀缺数据场景的具体步骤为:
6、s101、提取所有场景类型的故障标注数据个数,所述故障标注数据表示场景历史中发生的已被标注的故障记录;针对所有场景提取历史通过故障标注数据训练后输出交互准确率,所述交互准确率表示历史场景与用户交互中正确次数在总交互次数的占比;计算所有场景的交互准确率平均值和标准差,用平均值减去标准差得到准确率阈值,将所述准确率阈值对应场景的故障标注数据个数作为正常数量阈值;若准确率阈值无对应场景则选取交互准确率相差最近的场景作为正常数量阈值;
7、s102、提取用户交互时所提问场景的已有故障标注数据,当已有故障标注数据小于等于正常数量阈值时,判断当前用户提问场景为稀缺数据场景。
8、s200、针对稀缺数据场景提取已有故障标注数据中的故障变量和因果关联,利用故障变量作为网络节点,因果关联作为网络有向边,构建稀缺数据场景的故障知识网络;
9、进一步的,所述构建稀缺数据场景的故障知识网络的具体步骤为:
10、s201、采集稀缺数据场景已有故障标注数据结合水务领域专家经验提取稀缺数据场景的所有故障相关状态变量,将故障相关状态变量作为网络节点;对于任意两个网路节点vp和vq,若专家根据已有故障标注数据和经验判定vp的发生影响vq的发生,则设置一条网络有向边vp→vq;所述网络节点包括进水cod浓度超标、沉淀池ph值低于6.5、加药泵频率异常等;
11、针对每条网络有向边计算边权重,公式为:
12、;
13、公式中,wpq表示有向边vp→vq的边权重,ds(vp,vq)表示所有已有故障标注数据中同时出现网络节点vp和vq的已有故障标注数据个数,ds(vp)表示所有已有故障标注数据中出现网络节点vp的已有故障标注数据个数;分母+1防止除零;利用网络节点、网络有向边和边权重稀缺数据场景的故障知识网络;
14、s202、针对每个网络节点要求故障相关状态变量仅由父节点决定,所述父节点表示所有指向对应网络节点的上一级网络节点。
15、将极其有限、无法直接训练模型的零散数据,转化为结构化的因果逻辑图。这相当于把“零散的点”编织成“可推演的网”。
16、在数据不足时,允许领域专家介入修正节点关系和权重,避免了纯数据驱动在样本极少时完全失效的窘境。
17、s300、提取稀缺数据场景的所有状态变量,基于物理规律和稀缺数据场景历史运行记录构建数字孪生模型,将故障知识网络投入到数字孪生模型中;
18、进一步的,所述构建数字孪生模型的具体步骤为:
19、s301、提取稀缺数据场景的所有状态变量,定义稀缺数据场景在任意时刻t的状态向量st,所述状态向量中包含所有状态变量;所述状态变量包括当前水位、进水流量、出水流量、各水质指标浓度、各设备运行参数等;
20、基于物理规律和稀缺数据场景历史运行记录构建状态向量从st到st+1的递推关系作为状态转移方程,方程为:
21、;
22、公式中,st+1表示时刻t+1的状态向量,at表示时刻t时对稀缺数据场景的外部影响,ϵt表示时刻t的过程随机噪声,所述过程随机噪声服从正态分布,由工作人员根据稀缺数据场景历史运行记录中环境干扰设置;mωdt表示稀缺数据场景中所有物理规律公式的组合;所述物理规律公式包括水量平衡方程、污染物对流扩散方程等;利用状态转移方程构建数字孪生模型;不同于数据拟合的黑箱模型,该孪生体基于水力学、水化学守恒定律构建;意味着生成的模拟轨迹在“结构上”永远不可能违背物理常识,从根本上杜绝了“水往高处流”式的荒谬数据。无需在真实管网中制造漏水或投加污染物,即可在虚拟空间中无限次重现故障过程,零风险、零成本地获取海量时序演化数据。
23、s302、设置物理一致性校验,专业人员根据每种物理规律公式设置校验规则,当数字孪生模型中的状态变量不满足任意校验规则时,舍弃对应数字孪生模型中的模拟轨迹,重新构建;所述模拟轨迹表示在数字孪生模型中状态变量的因外部影响导致,再通过状态转移方程和知识网络的所有变化过程,将知识网络输入数字孪生模型中进行结合。
24、s400、提取水务大模型其余场景的故障标注数据,筛选出丰富数据场景;提取丰富数据场景和稀缺数据场景的特征向量,利用特征向量计算与稀缺数据场景的余弦相似度,筛选候选场景,提取候选场景的故障标注数据的故障起因;
25、进一步的,所述提取候选场景的故障标注数据的故障起因的具体步骤为:
26、s401、提取水务大模型其余场景的故障标注数据,统计每个场景的故障标注数据个数,当故障标注数据个数大于正常数量阈值时判断为丰富数据场景;提取丰富数据场景和稀缺数据场景中的特征向量,所述特征向量包括平均管径、平均流速、进水化学需氧量cod均值、进水cod标准差、日均处理水量等;
27、计算丰富数据场景和稀缺数据场景中的特征向量的余弦相似度sim(ω,ri),预设相似度阈值τ,当sim(ω,ri)≥τ时,判断丰富数据场景ri为候选场景,构建候选场景集;当sim(ω,ri)<τ时,判断丰富数据场景与稀缺数据场景差异较大进行舍弃;通过量化场景特征,只允许物理结构相似的场景进入迁移候选池,从源头避免了“负迁移”。
28、s402、对于每个候选场景的故障标注数据,提取故障发生前最后一个正常状态和故障发生后第一个异常状态的状态向量,计算状态差分向量,公式为:
29、△s=safteranomaly-sbeforenomal;
30、公式中,△s表示状态差分,safteranomaly表示候选场景故障发生后第一个异常状态的状态向量,sbeforenomal表示候选场景故障发生前最后一个正常状态的状态向量;计算得到所有故障标注数据的状态差分向量后取平均值为故障起因fi;将所有候选场景的故障起因整合为故障起因向量。
31、s500、提取稀缺数据场景正常运行时状态变量输入到数字孪生模型中进行初始化,将故障起因输入到初始化后的数字孪生模型中基于故障知识网络模拟迭代输出模拟标注样本;
32、进一步的,所述迭代输出模拟标注样本的具体步骤为:
33、s501、在稀缺数据场景中提取当前正常运行时状态向量作为初始状态输入到数字孪生模型中进行初始化,对于每个候选场景将故障起因作为状态转移方程的外部影响,在数字孪生模型的模拟起始时刻t=0,a0=fi,当后续t>0时,令at=0,a0表示模拟起始时刻的对稀缺数据场景的外部影响;
34、根据状态转移方程和知识网络在数字孪生模型中从t=0到t=t-1时刻进行迭代模拟,针对同一个故障起因重复模拟e次,e可自主设定;每次模拟时的过程随机噪声不同;
35、将每次模拟时的故障起因和模拟产生的所有数据构成一个模拟标注样本,设模拟样本总数=e×候选场景个数。仅需极少量真实故障模式,即可通过孪生模型注入不同起因向量,结合随机噪声扰动,快速生成成百上千条覆盖各种边界的模拟轨迹,彻底打破“小样本”对模型训练的限制。
36、每次模拟的随机噪声种子可记录,意味着生成的任何一条“异常数据”都可以被反复验证和回溯,极大增强了工程实验的可审计性。
37、s600、计算每个模拟标注样本与稀缺数据场景中已有故障标注数据的质量评分,设定筛选阈值,利用筛选阈值对每个模拟标注样本的质量评分进行判断,输出合格模拟标注数据集;
38、进一步的,所述输出合格模拟标注数据集的具体步骤为:
39、s601、针对每个模拟标注样本分别计算与稀缺数据场景中所有已有故障标注数据的瓦瑟斯坦距离,提取模拟标注样本与所有已有故障标注数据的瓦瑟斯坦距离最小值作为质量评分w;
40、计算所有模拟标注样本的质量评分,提取所有模拟标注样本的质量评分的中位数med和四分位距iqr,计算筛选阈值δ,公式为:δ=med-λ×iqr,λ表示可调参数;根据模拟数据自身的分布特征动态计算筛选阈值,无论模拟出的数据整体质量高还是低,该机制都能自适应地截掉最差的样本。
41、s602、利用筛选阈值对所有模拟标注样本进行筛选,当w≤δ时,舍弃对应模拟标注样本,将保留下来的模拟标注样本作为合格模拟标注样本并构成合格模拟标注数据集;
42、利用合格模拟标注样本个数计算筛选置信度,所述筛选置信度=合格模拟标注样本个数/模拟标注样本总个数。
43、s700、在水务大模型与用户语义交互时,分别定义已有故障标注数据的真实数据损失函数和合格模拟标注样本的模拟数据损失函数,计算真实数据损失函数和模拟数据损失函数的权重,利用权重将真实数据损失函数和模拟数据损失函数结合构成总损失函数对稀缺数据场景进行训练,训练完成后回复用户提问。
44、进一步的,所述利用权重将真实数据损失和模拟数据损失结合构成总损失对稀缺数据场景进行训练的具体步骤为:
45、s701、在水务大模型与用户语义交互时,设水务大模型在进行训练时分别定义的已有故障标注数据的真实数据损失函数为lreal和合格模拟标注样本的模拟数据损失函数为lsim,具体为:
46、;
47、公式中,dωr表示已有故障标注数据个数,dωfil表示合格模拟标注样本个数,x表述训练时输入特征,y表示训练时的真实标签,fθ(x)表示当前水务大模型在参数θ下对输入x的预测输出;g表示基础损失函数,由专业人员设置;
48、s702、利用训练轮次计算真实数据损失函数的权重,公式为:
49、;
50、公式中,α(r)表示当前训练轮次r时真实数据损失函数的权重,k表示衰减速率参数,r0表示总训练轮次的一半;
51、利用筛选置信度对真实数据损失函数的权重进行优化,公式为:α(r)’=α(r)×β+(1-β),α(r)’表示优化后真实数据损失函数的权重;
52、s703、利用优化后真实数据损失函数的权重将真实数据损失函数和模拟数据损失函数结合构成总损失函数,公式为:ltotal=α(r)’×lreal(1-α(r)’)×lsim;ltotal表示总损失;
53、在每一轮训练中计算总损失,通过反向传播更新模型参数θ,使损失最小化;利用训练结束后的水务大模型回复用户提问。
54、一种基于水务大模型的语义交互系统,语义交互系统包括当前场景判断模块、故障知识网络模块、数字孪生模型模块、故障起因提取模块、样本模拟模块、质量评估模块和融合训练模块;
55、所述当前场景判断模块用于在水务大模型中提取所有场景类型,针对每个场景类型统计故障标注数据,计算故障标注数据的正常数量阈值;提取用户交互时所提问场景的已有故障标注数据,判断提问场景是否为稀缺数据场景;
56、所述故障知识网络模块用于针对稀缺数据场景提取已有故障标注数据中的故障变量和因果关联,利用故障变量作为网络节点,因果关联作为网络有向边,构建稀缺数据场景的故障知识网络;
57、所述数字孪生模型模块用于基于物理规律和稀缺数据场景历史运行记录构建数字孪生模型,将故障知识网络投入到数字孪生模型中;
58、所述故障起因提取模块用于提取水务大模型其余场景的故障标注数据,筛选出丰富数据场景;提取丰富数据场景和稀缺数据场景的特征向量,利用特征向量计算与稀缺数据场景的余弦相似度,筛选候选场景,提取候选场景的故障标注数据的故障起因;
59、所述样本模拟模块用于将故障起因输入到初始化后的数字孪生模型中基于故障知识网络模拟迭代输出模拟标注样本;
60、所述质量评估模块用于计算每个模拟标注样本与稀缺数据场景中已有故障标注数据的质量评分,设定筛选阈值,利用筛选阈值对每个模拟标注样本的质量评分进行判断,输出合格模拟标注数据集;
61、所述融合训练模块用于分别定义已有故障标注数据的真实数据损失函数和合格模拟标注样本的模拟数据损失函数,计算真实数据损失函数和模拟数据损失函数的权重,利用权重将真实数据损失函数和模拟数据损失函数结合构成总损失函数对稀缺数据场景进行训练,训练完成后回复用户提问。
62、故障起因提取模块包括候选场景单元和故障起因单元;
63、所述候选场景单元用于提取水务大模型其余场景的故障标注数据,筛选出丰富数据场景;提取丰富数据场景和稀缺数据场景的特征向量,利用特征向量计算与稀缺数据场景的余弦相似度,筛选候选场景;
64、所述故障起因单元用于计算得到所有故障标注数据的状态差分向量后取平均值为故障起因。
65、与现有技术相比,本发明的有益效果是:
66、1、传统ai依赖“大数据喂食”,本方案彻底转向“少数据提炼因果,用物理规律演算数据”的新范式。解决了水务行业“故障样本永远稀缺”的根本性痛点,不再依赖昂贵的实地破坏性实验或漫长的数据积累周期。
67、2、本方案生成的每一条模拟数据都有明确的物理起因、演化过程和筛选依据。工程师可以清晰追溯模型为何做出某种决策,极大地提升了水务调度系统在工程上的可信度与验收通过率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com