一种人与AI分层协作的软件测评大纲生成方法、装置及程序产品与流程

本发明属于软件测试，尤其涉及一种人与ai分层协作的软件测评大纲生成方法、装置、计算机可读存储介质及程序产品。

背景技术：

1、软件测评大纲是软件评测工作的核心基础文档，它详细规定了软件评测的对象、方法、要求、内容及通过准则，是指导整个软件评测活动顺利开展的纲领性文件。测评大纲的编写质量直接影响软件评测的充分性和有效性，进而关系到被测软件的质量评价结论是否准确可靠。

2、传统软件测评大纲的编写主要依赖测试人员的专业知识储备和实践经验积累，采用人工分析软件需求文档、逐条设计测试项、手工撰写测试方法和通过准则的方式完成。这种模式导致编写周期长、人力成本高；编写质量高度依赖测试人员个人能力，质量一致性难以保证；传统人工编写模式在效率上已难以满足敏捷开发与持续交付对测试活动的时效性要求。上述问题使得传统软件测评大纲编写方法日益难以适应当前软件评测中高效、全面、高质的需求。

3、近年来，大语言模型技术的快速发展为软件测试领域的智能化转型提供了新的技术路径。已有研究者探索将大语言模型应用于测试用例生成、测试脚本编写等任务，软件测评智能化已成为确保软件质量、加速软件迭代周期的关键实践方向。

4、然而现有技术通过引入大语言模型技术，在一定程度上虽然提高了软件测试大纲和测试用例生成的自动化水平，相比传统人工编写模式在效率上有所提升。但仍存在以下显著不足：

5、第一，缺乏对被测软件整体业务背景和逻辑的深度理解。现有方法将软件需求文档整体或分段输入大语言模型，由模型直接生成测试内容。然而，大语言模型对上下文的感知存在固有局限性，受限于注意力机制的上下文窗口长度，模型难以完整处理大型软件需求文档的全部内容，更无法持续记住已处理过的上下文信息。这导致模型难以准确把握被测软件的整体业务背景、系统架构和需求之间的隐含关联，导致最终生成的测试大纲或测试用例容易遗漏部分测试点，存在测试覆盖不全的风险。

6、第二，端到端自动化流程缺乏人工对高层测试逻辑的把控环节。现有方法将整个生成过程完全交由模型完成，没有设置人工对高层测试逻辑进行审核和优化的交互节点，导致专家经验无法有效融入测试大纲的生成过程，生成的测试大纲在测试策略的合理性、测试项划分的合理性等方面难以达到专业水平。

7、第三，知识更新成本高、周期长。通过对大语言模型进行预训练或微调的方式完成生成任务，每次更新知识库或适配新的测试标准时均需重新进行模型训练，耗费大量计算资源，更新周期长，且无法实现知识的实时更新和持续积累。这使得系统难以适应不同行业、不同项目的多样化测试需求，限制了其推广应用的灵活性。

技术实现思路

1、鉴于上述的分析，本发明旨在提供一种人与ai分层协作的软件测评大纲生成方法、装置、计算机可读存储介质及程序产品，用以解决现有软件测评大纲生成中，ai因上下文局限导致测试覆盖不全、纯人工编写效率低且质量不稳定、端到端自动化缺乏人工高层把控、以及知识更新需重训模型成本高的问题。

2、第一方面，本发明实施例提供了一种人与ai分层协作的软件测评大纲生成方法，所述方法包括以下步骤：

3、获取被测软件的软件需求文档并进行结构化解析，得到解析后的结构化数据；

4、从所述解析后的结构化数据中获取若干测试项，得到具有若干测试项的软件测评大纲框架；

5、响应于人工对所述软件测评大纲框架的编辑操作，对所述软件测评大纲框架进行优化调整，形成完整的软件测评大纲框架；

6、根据所述测试项，利用大语言模型生成所述完整的软件测评大纲框架中每个测试项对应的测试内容；

7、将所述测试内容输入同一大语言模型反向还原对应的软件需求，计算还原的软件需求与原始软件需求之间的语义相似度，根据所述语义相似度判断是否需要人工介入；若需要人工介入则响应于人工介入的编辑操作，对标记的测试内容进行修改或确认；

8、响应于人工的最终确认操作，按标准格式输出最终的软件测评大纲。

9、在上述方案的基础上，本发明还做出了如下改进：

10、进一步地，所述从所述解析后的结构化数据中获取若干测试项，得到具有若干测试项的软件测评大纲框架，包括：

11、从所述解析后的结构化数据中，识别所述软件需求文档中各章节每个句子所属的测试类型；根据每个句子所属的测试类型，将同一章节属于同一个测试类型的软件需求合并为一个测试项，从而得到具有若干测试项的软件测评大纲框架；所述测试类型包括功能测试、性能测试和安全测试。

12、进一步地，所述识别所述软件需求文档中各章节每个句子所属的测试类型，包括：

13、预先为每种测试类型构建特征词库，所述特征词库中包含该测试类型对应的特征词和短语；

14、使用自然语言处理库中的句子分割器，将解析出的各章节连续文本分割为独立的句子，并为每个句子记录其在所述文档中的章节标题和编号信息；

15、对于每个句子，把所述句子拆成一个个独立的词语，计算所述词语与每种测试类型的特征词库中词语的tf-idf匹配度，将各词语的匹配度按顺序集合形成特征向量；同时使用bert模型获取所述句子的语义向量；将所述特征向量和所述语义向量拼接后通过全连接神经网络层进行多标签分类，确定每个句子所属的测试类型。

16、进一步地，所述计算还原的软件需求与原始软件需求之间的语义相似度，包括：

17、将原始软件需求文本和反向还原模块输出的需求文本进行统一预处理，所述预处理包括大小写归一化、标点符号标准化、数字与单位格式化以及特殊符号保护；

18、使用sentence-bert语义嵌入模型将预处理后的和分别编码为语义向量和；

19、通过余弦相似度计算与之间的语义相似度。

20、进一步地，所述根据所述语义相似度判断是否需要人工介入，包括：

21、若所述语义相似度≥第二预设阈值，直接采纳生成内容；

22、若第一预设阈值≤所述语义相似度<第二预设阈值，填入大纲并标记为建议人工复核；

23、若所述语义相似度<第一预设阈值，标记为强制进行人工复核修改。

24、进一步地，所述根据所述测试项，利用大语言模型生成所述完整的软件测评大纲框架中每个测试项对应的测试内容，包括：

25、根据所述软件需求文档对应的专业领域，确定对应的测试需求知识库和提示词指令；根据所述测试项的测试类型，在所述测试需求知识库中检索与所述测试类型相关的知识条目；对每个测试项，将测试项的软件需求、所述提示词指令及所述知识条目输入大语言模型，生成对应的测试方法、测试项描述和通过准则；将所述测试方法、测试项描述和通过准则填入所述软件测评大纲框架中该测试项对应的位置，形成所述软件测评大纲框架中该测试项对应的测试内容。

26、进一步地，所述对所述软件测评大纲框架进行优化调整，包括：

27、人工对所述所有测试项进行增、删、改、查操作；增加系统自动识别遗漏的测试项、删除不需要的测试项、修改测试项的名称或层级关系、调整测试项之间的逻辑顺序。

28、第二方面，本发明实施例提供了一种人与ai分层协作的软件测评大纲生成装置，利用所述装置实现本发明第一方面中至少一项所述的方法，所述装置包括：

29、解析与领域划分模块，用于获取被测软件的软件需求文档并进行结构化解析，得到解析后的结构化数据；

30、框架构建模块，用于从所述解析后的结构化数据中获取若干测试项，得到具有若干测试项的软件测评大纲框架；

31、框架优化模块，用于响应于人工对所述软件测评大纲框架的编辑操作，对所述软件测评大纲框架进行优化调整，形成完整的软件测评大纲框架；

32、内容生成模块，用于根据所述测试项，利用大语言模型生成所述完整的软件测评大纲框架中每个测试项对应的测试内容；

33、验证模块，用于将所述测试内容输入同一大语言模型反向还原对应的软件需求，计算还原的软件需求与原始软件需求之间的语义相似度，根据所述语义相似度判断是否需标记人工介入；若需人工介入则响应于人工介入后的编辑操作，对标记的测试内容进行修改或确认；

34、输出模块，用于响应于人工的最终确认操作，按标准格式输出最终的软件测评大纲。

35、第三方面，本发明实施例提供了一种人与ai分层协作的软件测评大纲生成的计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时，实现本发明第一方面中至少一项所述的方法。

36、第四方面，本发明实施例提供了一种人与ai分层协作的软件测评大纲生成的计算机程序产品，所述程序产品包括存储的计算机程序，在所述计算机程序由处理器运行时，所述计算机程序代码指令使所述程序产品执行本发明第一方面中至少一项所述的方法。

37、与现有技术相比，本发明至少可实现如下有益效果之一：

38、1.提高测试覆盖率，减少测试点遗漏

39、本发明通过“粗分类（专业领域）+细分类（测试类型）”的两级分类机制，系统化地遍历软件需求文档中的每一句话，并结合章节上下文进行测试类型判定，有效避免了人工编写时因经验差异或疏忽导致的测试点遗漏。同时，通过人工对测试项进行审核优化，充分发挥测试专家对软件整体业务背景和隐含需求的理解优势，弥补了大语言模型对上下文感知的局限性。有效解决了“ai全包”导致的整体逻辑缺失和“纯人工”容易忽略边界场景的双重问题，显著提高了软件测评大纲的覆盖率。

40、2.确保生成内容与原始需求的一致性

41、本发明引入对抗式验证环节，将大语言模型生成的测试内容作为输入，要求同一模型反向还原出原始软件需求，通过计算还原需求与原始需求之间的语义相似度，自动识别生成内容与原始需求之间的偏差。对于低相似度项标记为需人工介入，确保生成内容忠实于原始需求，有效避免了ai生成过程中可能出现的需求偏离或理解偏差问题，进一步保障了测评大纲的准确性和可靠性。

42、3.提升编写效率，降低人力成本

43、本发明通过ai自动完成大部分测试点挖掘和测试方法编写工作，测试人员仅需在关键节点进行审核和优化，大幅减少了人工逐条编写的时间投入。相比于传统全人工编写模式，有效缩短了测试大纲编写周期，有效降低了人力成本。

44、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。