水电运维大语言模型的微调方法、水电运维方法及装置与流程

本发明涉及人工智能 ，尤其涉及水电运维大语言模型的微调方法、水电运维方法及装置。

背景技术：

1、水电运维是保障流域梯级电站、机组设备、电网调度安全稳定运行的核心环节，涵盖设备故障诊断、缺陷分析、检修决策、应急处置、规程解读、数据研判等多类型高价值任务。随着大语言模型（large language model，llm）在工业运维领域的落地应用，可实现自然语言交互、故障根因定位、运维方案生成、风险预警解释等功能，大幅提升运维效率与决策规范性。

2、目前大语言模型的训练方式主要是监督微调方法，该方法集中在期望模型输出准确的答复，在水电运维领域不仅需要模型给出正确结论，更需要精准表达自身置信度：对确定结论给出高置信、对不确定故障给出低置信并建议人工复核。

3、但是目前大语言模型普遍缺乏置信度校准能力，导致模型出现幻觉的风险高、决策可信度不足。

技术实现思路

1、本发明提供一种水电运维大语言模型的微调方法、水电运维方法及装置，用以解决现有技术中水电运维场景下模型输出的置信度不准导致决策可信度不足的缺陷，提高模型所输出的置信度更准确，从而提高决策可信度效果。

2、本发明提供一种水电运维大语言模型的微调方法，水电运维大语言模型中包括运维答案生成模型以及置信度生成模型，方法包括：

3、获取置信度生成模型针对运维答案生成模型输出的运维答案所生成的置信度，运维答案生成模型基于水电运维查询数据样本及运维答案标签训练得到；

4、利用水电运维知识对运维答案进行正确性判断，得到正确性判断结果，正确性判断结果为运维答案正确、错误或正确性未知；

5、根据采用对数评分规则构建的奖励函数以及正确性判断结果，确定置信度对应的奖励值；

6、基于奖励值对置信度生成模型进行参数调整。

7、根据本发明提供的一种水电运维大语言模型的微调方法，根据采用对数评分规则构建的奖励函数以及正确性判断结果，确定置信度对应的奖励值，包括：

8、以正确性判断结果为选择条件，从奖励函数中选择与正确性判断结果匹配的对数评分规则分支，作为目标分支；

9、基于置信度所确定出目标分支的函数值，得到奖励值。

10、根据本发明提供的一种水电运维大语言模型的微调方法，以正确性判断结果为选择条件，从奖励函数中选择与正确性判断结果匹配的对数评分规则分支，作为目标分支，包括：

11、若正确性判断结果为运维答案正确，确定目标分支为第一分支，第一分支的输入为置信度与预设极小值中的最大值；

12、若正确性判断结果为运维答案错误，确定目标分支为第二分支，第二分支的输入为第一差值和第二差值之间的最大值，第一差值为预设值与置信度之间的差值，第二差值为预设值与预设极小值之间的差值；

13、若正确性判断结果为运维答案正确性未知，确定目标分支为第三分支，第三分支的输入为第一差值和第二差值之间的最大值，第一差值为预设值与置信度之间的差值，第二差值为预设值与预设极小值之间的差值。

14、根据本发明提供的一种水电运维大语言模型的微调方法，基于置信度所确定出目标分支的函数值，得到奖励值，包括：

15、将函数值作为初始奖励值；

16、利用预设的最小奖励极值以及预设的最大奖励极值对初始奖励值进行归一化，得到候选奖励值；

17、基于候选奖励值，得到奖励值。

18、根据本发明提供的一种水电运维大语言模型的微调方法，基于候选奖励值，得到奖励值，包括：

19、判断运维答案是否符合安全规程，得到合规判断结果，合规判断结果为运维答案符合安全规程或不符合安全规程；

20、选择与合规判断结果匹配的安全合规奖励值；

21、对候选奖励值以及安全合规奖励值进行加权求和，得到奖励值。

22、根据本发明提供的一种水电运维大语言模型的微调方法，利用水电运维知识对运维答案进行正确性判断，得到正确性判断结果，包括：

23、根据运维答案的类别，确定是否存在与运维答案对应的水电运维知识；

24、若存在，基于水电运维知识与运维答案之间的关系，确定运维答案的正确性判断结果；

25、若不存在，确定运维答案的正确性判断结果为正确性未知。

26、根据本发明提供的一种水电运维大语言模型的微调方法，水电运维知识中包括水电运维标准故障标签、水电运维规程条款、水电领域标准阈值范围中的至少一者，基于水电运维知识与运维答案之间的关系，确定运维答案的正确性判断结果，包括：

27、若运维答案的类别为故障诊断类，获取运维答案与水电运维标准故障标签之间的重叠度并若重叠度大于或等于预设重叠度，确定运维答案正确；

28、若运维答案的类别为运维操作类，确定出运维答案符合水电运维规程条款，则确定运维答案正确；

29、若运维答案的类别为参数研判类，确定出运维答案处于水电领域标准阈值范围内，则确定运维答案正确。

30、根据本发明提供的一种水电运维大语言模型的微调方法，基于奖励值对置信度生成模型进行参数调整，包括：

31、基于奖励值计算近端策略优化损失；

32、利用近端策略优化损失，调整置信度生成模型的参数。

33、根据本发明提供的一种水电运维大语言模型的微调方法，方法在马尔可夫决策过程框架下执行，其中，马尔可夫决策过程定义为六元组，六元组为（状态空间，动作空间，状态转移函数，奖励函数，水电领域运维知识集以及折扣因子）；

34、状态空间包括输入至运维答案生成模型的水电运维查询数据、运维答案以及已生成的置信度词元序列；

35、动作空间包括的动作是置信度生成模型选择的下一个置信度词元；

36、状态转移函数为确定性转移函数；

37、奖励函数采用对数评分规则构建；

38、水电领域运维知识集包括设备故障库、运维规程库、安全约束阈值以及机组运行参数；

39、折扣因子用于控制奖励值的重要程度。

40、本发明还提供一种水电运维方法，包括：

41、获取目标水电运维查询数据；

42、利用水电运维大语言模型中的运维答案生成模型对目标水电运维查询数据进行处理，得到目标运维答案；以及，利用水电运维大语言模型中的置信度生成模型针对目标运维答案生成目标置信度，水电运维大语言模型是利用如上述任意一种的水电运维大语言模型的微调方法训练得到的；

43、输出目标运维答案以及目标置信度。

44、本发明还提供一种水电运维大语言模型的微调装置，水电运维大语言模型中包括运维答案生成模型以及置信度生成模型，装置包括如下模块：

45、置信度获取模块，用于获取置信度生成模型针对运维答案生成模型输出的运维答案所生成的置信度，运维答案生成模型基于水电运维查询数据样本及运维答案标签训练得到；

46、正确性判断模块，用于利用水电运维知识对运维答案进行正确性判断，得到正确性判断结果，正确性判断结果为运维答案正确、错误或正确性未知；

47、奖励值确定模块，用于根据采用对数评分规则构建的奖励函数以及正确性判断结果，确定置信度对应的奖励值；

48、参数调整模块，用于基于奖励值对置信度生成模型进行参数调整。

49、本发明还提供一种水电运维装置，包括：

50、查询数据获取模块，用于获取目标水电运维查询数据；

51、运维答案与置信度获取模块，用于利用水电运维大语言模型中的运维答案生成模型对目标水电运维查询数据进行处理，得到目标运维答案；以及，利用水电运维大语言模型中的置信度生成模型针对目标运维答案生成目标置信度，水电运维大语言模型是利用如上述任意一种水电运维大语言模型的微调方法训练得到的；

52、输出模块，用于输出目标运维答案以及目标置信度。

53、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一种的水电运维大语言模型的微调方法或水电运维方法。

54、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种的水电运维大语言模型的微调方法或水电运维方法。

55、本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种的水电运维大语言模型的微调方法或水电运维方法。

56、本发明提供的一种水电运维大语言模型的微调方法、水电运维方法及装置，将模型的置信度表达与运维答案生成进行解耦并进行一体化联合建模。通过客观的水电运维知识判断与数学上严格证明的对数评分规则相结合，从根源上约束了模型的过度自信问题，在保留原有运维问答能力的基础上，实现了置信度的完美校准，提高了参数微调后置信度生成模型所输出置信度的准确性，大幅降低了高风险场景下的模型决策幻觉，提升了电力安全合规性。