一种基于AI大模型的能源智能体测试方法及存储介质与流程

本发明涉及能源数字化与软件自动化测试交叉，具体涉及一种基于ai大模型的能源智能体测试方法及存储介质。

背景技术：

1、传统能源智能体测试依赖人工测试人员基于需求文档采用等价类划分、边界值穷举法手动设计测试用例，存在如下固有缺陷：

2、1.人工测试用例受测试人员经验、精力限制，业务路径覆盖不全，易产生思维盲区，无法实现海量行业场景组合用例生成，测试覆盖度低；

3、2.传统自动化测试仅能对输出结果做二元断言判断，仅可校验输出“对错”，无法从语义、推理逻辑层面判断智能体回复质量优劣，缺少深度语义评估能力；

4、3.能源行业属于垂直细分领域，通用自动化测试框架无内置能源专业术语、业务规则，生成测试提问易脱离实际运维场景，测试用例真实性差；

5、4.能源智能体具备多轮交互式问答能力，传统单条静态测试用例无法模拟运维人员连续发问、追问的真实交互流程，难以校验智能体连续推理能力。

6、现有基于通用大模型的自动化测试方案同样存在技术短板：第一，通用大模型无能源专业知识约束，易产生行业幻觉，生成脱离能源业务的无效测试用例，干扰测试判断；第二，缺少标准化分层提示词架构，提示词迭代依赖人工反复调试，前期知识库与提示词搭建人力、时间成本极高；第三，大模型生成内容具备随机性，同一输入可产生差异化测试输出，缺陷复现难度大，无标准化多轮追问收敛机制，无法统一判定测试结果；第四，未针对能源设备控制场景设计边界越界值测试逻辑，无法校验智能体异常参数识别、错误修正的智能推理能力。

7、综上，现有技术缺少适配能源垂直行业、支持多轮动态交互、具备行业知识约束、可自动迭代追问的能源智能体自动化测试方案。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于ai大模型的能源智能体测试方法及存储介质，该方法能够解决基于能源专业知识库与分层标准化提示词架构，自动、批量、可靠地完成能源智能体在多轮交互场景下的功能测试、语义质量评估与合规性校验的问题，并通过测试结果反向优化提示词与知识库，形成持续迭代的测试闭环。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于ai大模型的能源智能体测试方法，包括：s1，采集能源业务文档与结构化业务数据并解析为知识单元，构建能源专业知识库；s2，将角色定义层、功能定义层、任务定义层、行为约束层、输出要求层逐层叠加形成五层标准化提示词；s3，将能源专业知识库与五层标准化提示词绑定至ai大模型；s4，编写自动化脚本，配置ai大模型接口密钥与能源智能体页面的登录、定位、输入及输出流程；s5，对测试任务进行意图解析与实体解析得到结构化条件，据此从能源专业知识库检索知识单元注入五层标准化提示词形成测试提示词；s6，由ai大模型依据测试提示词生成测试用例，依次进行知识一致性校验、业务范围校验及参数合法性校验；s7，运行自动化脚本，将通过校验的测试用例中的测试问题作为首轮发问输入能源智能体，采集返回的回复内容；s8，按测试类型确定评价指标，从回复内容提取关键评价要素，可由能源专业知识库验证的要素采用确定性规则校验，其余要素进行语义评估，得到校验结果与评估结果，二者不一致时标记为待复核；s9，当存在缺失的关键评价要素且追问轮次未达预设最大值时，生成追问提示词，输入能源智能体并采集回复内容后，返回执行s8；当关键评价要素全部满足或追问轮次达预设最大值时，终止交互并输出判定结果；s10，记录各轮发问内容、回复内容、评估结果及判定结果，生成测试报告；s11，遍历业务场景参数组合循环执行s6至s10，据测试报告局部优化五层标准化提示词并增量更新能源专业知识库。

4、在本发明中，优选的，所述据此从能源专业知识库检索知识单元包括：对每个检索到的知识单元，按下式计算第i个知识单元相对于当前测试任务t的综合检索得分，并按综合检索得分由高到低排序：

5、，

6、其中，i为知识单元的序号，α为语义相似度分量的预设权重系数，β为实体匹配度分量的预设权重系数，γ为时效性分量的预设权重系数，δ为优先级分量的预设权重系数，并且α+β+γ+δ=1，为语义相似度分量，为实体匹配度分量，为时效性分量，为优先级分量，各分量均归一化至区间[0,1]。

7、在本发明中，优选的，时效性分量，为第i个知识单元时效程度的量化值，按下式计算：

8、，

9、其中，λ为预设时间衰减系数，为当前测试执行时间，为第i个知识单元最近一次入库或更新的时间，的值域为(0,1]。

10、在本发明中，优选的，s6中，知识一致性校验、业务范围校验及参数合法性校验包括：

11、按如下公式计算测试用例的知识一致性得分：

12、，

13、其中，c为测试用例，con(c)为测试用例的知识一致性得分，为从c中抽取的实体集合，包括项目、业务场景、能源类型、时间维度、指标与设备，为在能源专业知识库中能够检索到对应依据的实体集合，为同时属于与的实体构成的集合；

14、业务范围校验为：当测试用例所属业务场景属于能源专业知识库支持的业务场景集合时判定为通过，否则不通过；

15、参数合法性校验为：

16、对测试用例中的控制参数p，当下式成立时判定为通过，否则不通过：

17、，

18、其中，p为测试用例中待下发至设备的控制参数，为能源专业知识库中p对应的安全阈值下限，为能源专业知识库中p对应的安全阈值上限；

19、当测试用例中含有多个控制参数时，对每个控制参数分别执行上述判定，全部通过时参数合法性校验通过；

20、知识一致性校验在知识一致性得分不低于预设一致性阈值ε时判定为通过，否则不通过，ε取值为0.6至0.9；

21、当知识一致性校验、业务范围校验或参数合法性校验中任一项不通过时，将测试用例标记为无效用例或疑似幻觉用例。

22、在本发明中，优选的，s8中，所述评价指标包括：

23、知识问答类评价：答案相关性、逻辑一致性及知识依据完整性；

24、数据查询类评价：指标匹配性、数据完整性、时间维度准确性及数据来源正确性；

25、设备控制类评价：设备匹配性、控制参数合法性、执行结果反馈完整性及安全约束满足情况。

26、在本发明中，优选的，s8中，所述关键评价要素的提取方式为：按测试类型调用预设要素抽取规则或要素抽取提示词，从回复内容中抽取各评价指标对应的要素名称与要素取值，并以键值对形式组织为结构化的关键评价要素集合；评价指标对应的预设评价要素集合，为相应测试类型下全部评价指标所要求的要素名称集合；s9中，缺失的关键评价要素，通过将当前回复中提取的关键评价要素集合，与评价指标对应的预设评价要素集合进行差集运算得到；追问提示词依据原始发问内容、上一轮回复内容、当前测试目标、缺失的关键评价要素及能源专业知识库中与缺失要素对应的知识单元生成，且沿用五层标准化提示词中的角色定义层、行为约束层与输出要求层；预设最大追问轮次取2至5轮。

27、在本发明中，优选的，s2中，五层标准化提示词中，所述角色定义层用于限定ai大模型作为资深能源管理ai测试工程师的身份及专业能力边界；所述功能定义层用于限定被测能源智能体的业务功能及测试类型；所述任务定义层用于明确当前测试用例、执行步骤及评价目标；所述行为约束层，用于限定知识来源、业务范围、语言行为及安全规则，配置测试目标约束提示词，测试目标约束提示词要求ai大模型生成的测试发问中携带消极情感词语，以测试能源智能体对敏感词的识别及合规回复能力；所述输出要求层，用于规定测试问题、追问内容及测试结果的输出结构。

28、在本发明中，优选的，s11中，所述局部优化在出现以下任一情况时触发：连续多个测试用例出现相同类型错误；同一类业务问题连续无法被能源智能体正确识别；测试结果与预期结果连续不一致；不通过测试用例比例超过预设阈值；生成的测试用例中能源专业知识库不存在内容的比例超过预设阈值；追问达到预设最大追问轮次仍无法补齐关键评价要素；所述局部优化包括：根据错误类型定位五层标准化提示词中对应的层级，并在该层级增加约束条件、示例或知识要求；其中，业务范围错误对应功能定义层，知识来源缺失对应行为约束层中的知识来源约束，追问偏离原始意图对应任务定义层，回答格式错误对应输出要求层，语言行为错误对应行为约束层中的语言行为约束。

29、在本发明中，优选的，所述能源专业知识库采用分层分类及关联组织结构，至少包括项目层、业务层、设备层、指标层、时间维度层和规则层；s1中构建的能源专业知识库与s11中的增量更新能源专业知识库，按如下方式实现：当项目配置、设备台账、指标配置或业务规则发生变化时，通过数据同步接口获取新增、修改及删除数据，对变化数据进行清洗、结构化及版本标记后更新能源专业知识库；s5中，所述从能源专业知识库检索知识单元，为依据当前项目、业务场景及任务条件动态检索对应知识，并优先调用最新有效版本。

30、一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得所述计算机执行如前所述的基于ai大模型的能源智能体测试方法。

31、与现有技术相比，本发明的有益效果是：

32、本方法通过构建分层、关联、版本化的能源专业知识库，并从源头约束ai大模型仅加载与当前测试任务相关的知识单元，有效规避通用大模型的行业幻觉问题，提升测试用例的真实性与专业性；通过“知识一致性校验+业务范围校验+参数合法性校验”的多级约束校验机制，过滤脱离能源业务或超出安全阈值的无效测试用例，降低误判风险；通过确定性规则校验与语义评估相结合的组合评估机制，既发挥知识库对客观事实的精准校验能力，又保留大模型对语义、逻辑的推理评估能力，当二者结论冲突时标记为“待复核”，显著降低评估模型自身幻觉造成的误判；通过“发问-回复-解析-评估-追问”的多轮动态自适应测试逻辑，模拟真实用户连续交互，完整校验能源智能体连续推理与信息补全能力，并通过预设最大追问轮次实现测试流程的标准化收敛，削弱大模型随机性带来的复现难度；通过将“好不好”拆解为可量化、可逐项校验的评价指标，使知识问答、数据查询、设备控制三类场景均具备明确的通过/不通过/待复核判定标准；通过五层标准化提示词架构与基于错误类型的局部优化机制，提示词调整不再依赖整体重写，仅针对出现问题的层级进行精准增补，提高迭代效率；通过测试结果反向驱动知识库增量更新与提示词局部优化，形成“测试-发现缺陷-定位根因-优化知识与提示词-回归验证”的测试闭环，持续提升测试体系自身的质量。