一种大语言模型生成代码选取方法、电子设备和程序产品与流程
本技术涉及大语言模型测试,尤其涉及一种大语言模型生成代码选取方法、电子设备和计算机程序产品。
背景技术:
1、大语言模型(large language model,llm)是指使用大量文本数据训练的深度学习模型,随着大语言模型性能的不断提升,软件开发人员可以利用大语言模型来自动生成代码,以显著提升代码编写效率。在通常情况下,利用大语言模型可以生成多个候选代码和多个测试用例,此时需要基于测试通过率和共识聚类等方式评估各个候选代码的代码得分,并从中选取一个代码得分最高的候选代码进行输出。然而,由于大语言模型生成的测试用例中经常包含行为等价测试,也即多个测试输入在候选代码集合上执行会诱导出完全相同的行为划分,且现有方法会将每个测试输入视作一个独立、等权的证据并在测试粒度上聚合,这会导致对同一行为信号的重复计数,在最终排序中放大该行为信号的权重,错误地使部分候选代码因为冗余证据而获得虚高的代码得分,最终导致代码选取的准确率下降。
技术实现思路
1、有鉴于此,本技术实施例提供了一种大语言模型生成代码选取方法、电子设备和计算机程序产品,能够消除由于测试输入行为等价导致的证据冗余问题,避免部分候选代码因为冗余证据而获得虚高的代码得分,从而提升代码选取的准确率。
2、本技术实施例的第一方面提供了一种大语言模型生成代码选取方法,包括:
3、获取由大语言模型基于编程问题描述生成的多个候选代码和多个测试用例,每个测试用例包含测试输入和预期输出;
4、针对每个测试输入,分别确定由每个候选代码在该测试输入上执行获得的用于表征代码执行结果的行为签名,并将行为签名相同的各个候选代码划分入同一个行为组,得到该测试输入的行为组集合;
5、将行为组集合相同的各个测试输入划分入同一个共识单元,得到共识单元集合;
6、针对共识单元集合中的每个共识单元,从该共识单元对应的行为组集合中选取一个行为组作为共识行为组,根据由共识行为组包含的各个候选代码在该共识单元包含的各个测试输入上执行获得的实际输出,与该共识单元包含的各个测试输入对应的预期输出之间的匹配比例,确定该共识单元的权重得分;
7、针对每个候选代码,根据该候选代码所属的各个共识行为组各自对应的共识单元的权重得分,确定该候选代码的代码得分;
8、从多个候选代码中,选取代码得分最高的候选代码,确定为输出的目标代码。
9、在本技术实施例的技术方案中,首先获取由大语言模型基于编程问题描述生成的多个候选代码和多个测试用例,针对每个测试输入,分别确定由每个候选代码在该测试输入上执行获得的用于表征代码执行结果的行为签名,并将行为签名相同的各个候选代码划分入同一个行为组,这样会得到每个测试输入的行为组集合;然后,将行为组集合相同的各个测试输入划分入同一个共识单元,得到共识单元集合;接着,针对共识单元集合中的每个共识单元,从该共识单元对应的行为组集合中选取一个行为组作为共识行为组,根据由共识行为组包含的各个候选代码在该共识单元包含的各个测试输入上执行获得的实际输出,与该共识单元包含的各个测试输入对应的预期输出之间的匹配比例,确定该共识单元的权重得分;最后,针对每个候选代码,根据该候选代码所属的各个共识行为组各自对应的共识单元的权重得分,确定该候选代码的代码得分,并从多个候选代码中选取代码得分最高的候选代码输出。上述操作对所有候选代码在多个测试输入上执行并提取行为签名,将在候选代码集合上诱导的行为划分相同的测试输入合并为同一共识单元,按照每个共识单元包含的共识行为组代表输出与共识单元内各测试输入的预期输出之间的匹配比例来确定每个共识单元的权重得分,并按照各个共识单元的权重得分来确定每个候选代码的代码得分,最终选取代码得分最高的候选代码进行输出。通过这样设置,证据粒度会从测试输入个体上升为由行为等价测试输入合并而成的共识单元,这样每个独立行为信号只计算一次,无论某个共识单元内包含多少冗余测试输入,该共识单元的权重得分只会对候选代码的代码得分产生一次贡献,因此能够消除由于测试输入行为等价导致的证据冗余问题,从根本上避免冗余证据对候选代码得分的错误放大,从而有效提升代码选取的准确率。
10、在本技术实施例的一种实现方式中,分别确定由每个候选代码在该测试输入上执行获得的用于表征代码执行结果的行为签名,包括:
11、在固定时间与内存约束的沙箱环境中,基于该测试输入分别执行每个候选代码,得到每个候选代码在该测试输入上执行获得的行为签名。
12、在本技术实施例的一种实现方式中,从该共识单元对应的行为组集合中选取一个行为组作为共识行为组,包括:
13、从该共识单元对应的行为组集合中,选取包含的候选代码的数量最多的候选行为组;
14、若候选行为组的数量等于一个,则将候选行为组确定为共识行为组。
15、在本技术实施例的一种实现方式中,在从该共识单元对应的行为组集合中,选取包含的候选代码的数量最多的候选行为组之后,该方法还包括:
16、若候选行为组的数量大于一个,则从各个候选行为组中,选取包含的候选代码执行该共识单元包含的各个测试输入的运行正常数量最多的一个候选行为组,确定为共识行为组。
17、在本技术实施例的一种实现方式中,根据该候选代码所属的各个共识行为组各自对应的共识单元的权重得分,确定该候选代码的代码得分,包括:
18、累加该候选代码所属的各个共识行为组各自对应的共识单元的权重得分,得到该候选代码的代码得分。
19、在本技术实施例的一种实现方式中,从多个候选代码中,选取代码得分最高的候选代码,确定为输出的目标代码,包括:
20、若代码得分最高的候选代码的数量等于一个,则将代码得分最高的候选代码确定为目标代码;
21、若代码得分最高的候选代码的数量大于一个,则按照多级字典序键择优方式,从多个候选代码中选取一个候选代码,确定为目标代码。
22、在本技术实施例的一种实现方式中,按照多级字典序键择优方式,从多个候选代码中选取一个候选代码,确定为目标代码,包括:
23、按照候选代码的代码得分、支持候选代码的正权单元的数量、不在共识行为组的候选代码在零权单元包含的各个测试输入上执行获得的实际输出与零权单元包含的各个测试输入对应的预期输出之间的匹配度量、候选代码执行所有测试用例的运行错误数量、候选代码执行所有测试用例的运行异常数量,以及候选代码执行所有测试用例的运行正常数量的降序择优方式,从多个候选代码中选取一个候选代码作为目标代码;其中,正权单元为权重得分为正数的共识单元,零权单元为权重得分为零的共识单元。
24、在本技术实施例的一种实现方式中,行为签名包括签名状态分量,以及与签名状态分量对应的输出内容分量。
25、本技术实施例的第二方面提供了一种大语言模型生成代码选取装置,包括:
26、数据获取模块,用于获取由大语言模型基于编程问题描述生成的多个候选代码和多个测试用例,每个测试用例包含测试输入和预期输出;
27、行为组划分模块,用于针对每个测试输入,分别确定由每个候选代码在该测试输入上执行获得的用于表征代码执行结果的行为签名,并将行为签名相同的各个候选代码划分入同一个行为组,得到该测试输入的行为组集合;
28、共识单元划分模块,用于将行为组集合相同的各个测试输入划分入同一个共识单元,得到共识单元集合;
29、单元权重确定模块,用于针对共识单元集合中的每个共识单元,从该共识单元对应的行为组集合中选取一个行为组作为共识行为组,根据由共识行为组包含的各个候选代码在该共识单元包含的各个测试输入上执行获得的实际输出,与该共识单元包含的各个测试输入对应的预期输出之间的匹配比例,确定该共识单元的权重得分;
30、代码得分确定模块,用于针对每个候选代码,根据该候选代码所属的各个共识行为组各自对应的共识单元的权重得分,确定该候选代码的代码得分;
31、代码选取模块,用于从多个候选代码中,选取代码得分最高的候选代码,确定为输出的目标代码。
32、本技术实施例的第三方面提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本技术实施例的第一方面提供的大语言模型生成代码选取方法。
33、本技术实施例的第四方面提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如本技术实施例的第一方面提供的大语言模型生成代码选取方法。
34、本技术实施例的第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本技术实施例的第一方面提供的大语言模型生成代码选取方法。
35、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com