基于多模态交互验证和强化学习的软件开发方法及系统

摘要: 本发明涉及人工智能,尤其涉及一种基于多模态交互验证和强化学习的软件开发方法及系统。背景技术:1、随着大语言模型和多模态模型工具调用能力的提升,编码智能体已经能够...
基于多模态交互验证和强化学习的软件开发方法及系统

本发明涉及人工智能,尤其涉及一种基于多模态交互验证和强化学习的软件开发方法及系统。

背景技术:

1、随着大语言模型和多模态模型工具调用能力的提升,编码智能体已经能够在文件系统、代码编辑器、命令行、浏览器和容器环境中执行多步骤软件开发任务。为了进一步提升智能体在长程任务中的规划、调试、错误恢复和跨模块实现能力,业界和学界逐渐采用后训练方法,让智能体在真实或近似真实的软件任务环境中产生开发轨迹,并根据环境反馈更新策略。

2、目前,软件智能体的后训练通常依赖可执行程序测试、构建结果、单元测试通过率或人工偏好数据构造奖励信号。具体地,通过智能体浏览代码仓库、编辑文件并执行测试,在推理、动作和环境观察之间进行循环交互以生成开发轨迹,并针对网页应用,采用自动化测试技术将用户指定测试指令转换为浏览器自动化命令,或者将宽泛的自然语言目标交给验证智能体,使其在真实网页环境中自由探索页面、模拟用户访问、点击控件并检查页面状态,据此生成测试报告或通过/失败反馈来更新策略。

3、然而,现有网站开发任务依赖人工编写或一次性生成,缺少统一的参数化控制机制,难以按预期比例构造难度可控、结构稳定、分布可调的任务族,无法保证需求文档、测试文档、开发约束和验证方式在同一复杂度层级内保持一致,难以支撑大模型后训练所需的大规模、高质量、可复用的网站开发环境。另外,网站开发的质量不仅取决于代码运行,还涉及页面渲染、真实用户交互、路由跳转、数据持久化及视觉动态等外部可观察表现,上述方式中容易出现验证路径不一致、元素定位不稳定、绕过真实交互、读取源码推测功能或重复尝试直至偶然通过等情况,导致同一候选网站在不同验证轮次中得到不同结果,缺乏从任务需求到证据记录的稳定、可复现、可审计的验证信号链。此外,网站开发的同时还涉及功能正确性、交互流程、权限控制、视觉呈现等多维质量,现有通过或失败、测试用例通过比例或人工偏好等粗粒度反馈,难以准确表达复杂网站的部分完成质量,也无法区分部署失败、验证基础设施失败、视觉缺陷、权限缺陷和业务状态缺陷对训练的不同影响,无法为后训练提供既能反映最终完成度,又具备细粒度、可归因、抗噪声的奖励信号。

技术实现思路

1、本发明提供一种基于多模态交互验证和强化学习的软件开发方法及系统,用以解决现有技术中缺乏高质量、可执行、可验证的网站开发任务环境的缺陷,通过基于真实浏览器环境的端到端交互验证,模拟真实的用户操作路径,确保验证结果的客观性和高保真度,并通过将环境层面的实现契约直接注入代码生成阶段,确保开发的代码在底层结构上与预期的部署环境要求相匹配。

2、本发明提供一种基于多模态交互验证和强化学习的软件开发方法,包括:根据获取的网站开发需求,生成目标需求文档;根据目标需求文档,调用开发智能体,生成网站代码;其中,开发智能体是根据基于任务环境配置采样的多条开发轨迹和各开发轨迹对应的验证结果,生成对应开发轨迹奖励,并基于开发轨迹奖励进行策略更新得到的;开发轨迹是在根据任务种子和目标训练分布生成任务环境配置,并根据任务环境配置生成需求文档后,由待训练的开发智能体根据需求文档和任务环境配置中的实现契约生成对应网站代码的过程得到的;验证结果是在部署对应开发轨迹的网站代码后,利用验证智能体读取对应需求文档、网站部署信息以及基于对应任务环境配置和需求文档生成的测试文档,在浏览器环境执行真实交互操作得到的。

3、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,测试文档包括至少一个测试用例,在根据目标需求文档,调用开发智能体之前,包括:获取任务种子和目标训练分布,生成任务环境配置;根据任务环境配置,生成需求文档,并结合任务环境配置,生成测试文档;根据需求文档和任务环境配置中的实现契约,多次调用待训练的开发智能体生成网站代码,并获取开发智能体在生成对应网站代码过程中产生的开发轨迹;实现契约用于约束开发智能体生成对应网站代码的接口规范、技术约束以及交付标准;针对每个开发轨迹,将网站代码部署至隔离运行环境中,确定对应网站部署通过,利用验证智能体读取需求文档、网站部署信息和测试文档,在浏览器环境中基于各测试用例分别执行对应真实交互操作并输出对应验证结果;针对每个开发轨迹,根据开发轨迹各测试用例的验证结果和任务环境配置,生成对应开发轨迹的开发轨迹奖励,并结合预设策略梯度算法更新开发智能体的策略参数,利用更新后的开发智能体重新根据需求文档和任务环境配置中的实现契约生成网站代码,并重复迭代上述步骤,直至达到预设最大迭代次数为止。

4、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,根据开发轨迹各测试用例的验证结果和任务环境配置,生成对应开发轨迹的开发轨迹奖励,包括:根据任务环境配置中的复杂度档位,确定各测试用例对应验证节点的节点权重和各测试用例的用例权重;获取在浏览器环境中基于各测试用例执行对应真实交互操作过程中网站的渲染情况,确定对应视觉门控因子,并结合对应测试用例各验证节点的验证结果和对应验证节点的节点权重,确定对应测试用例的得分;根据网站部署通过情况,确定对应网站代码的门控系数;根据开发轨迹所有测试用例的得分、测试用例的用例权重和对应网站代码的门控系数,得到开发轨迹的开发轨迹奖励。

5、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,根据开发轨迹的开发轨迹奖励,结合预设策略梯度算法更新开发智能体的策略参数,包括:根据所有开发轨迹的开发轨迹奖励,确定奖励均值和奖励标准差;根据各开发轨迹的开发轨迹奖励,结合奖励均值和奖励标准差,得到各开发轨迹的相对优势;根据各开发轨迹的相对优势,结合新旧策略比、预设最大剪裁系数和预设最小剪裁系数,构建损失函数,以最小化损失函数为目标,确定对应新旧策略比,并结合开发智能体当前策略参数,更新开发智能体的策略参数。

6、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,获取任务种子和目标训练分布,生成任务环境配置,包括:获取任务种子和目标训练分布;任务种子用于表征网站开发任务需求,目标训练分布用于表征训练任务需要覆盖的多样性范围和复杂度谱系;根据任务种子,确定待生成网站类型,生成对应待生成网站类型的验证需求;识别目标训练分布中的复杂度档位,根据复杂度档位,选择对应页面数量约束、功能数量约束、模块数量约束、业务实体数量约束、用户角色结构、存储方式、权限深度、测试用例数量范围和实现契约,并结合验证需求,生成任务环境配置。

7、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,任务环境配置包括复杂度档位、页面数量约束、功能数量约束、模块数量约束、业务实体数量约束、用户角色结构、存储模式和权限深度;根据任务环境配置,生成需求文档,包括:根据复杂度档位和用户角色结构,通过领域扰动生成产品创意,并结合复杂度档位、用户角色结构和权限深度,生成产品概述、目标用户、价值主张和核心场景,得到目标需求;根据目标需求,结合复杂度档位、模块数量约束、功能数量约束和业务实体数量约束,生成模块架构,并结合页面数量约束和复杂度档位,生成页面架构;根据存储模式,选择对应预设需求文档模板,结合页面架构,生成产品需求文档和数据存储附录;数据存储附录用于表征对应数据库存储规范;根据产品需求文档,生成页面原型并保留可见文字;根据产品需求文档,对页面原型进行审查,得到审查报告,并根据审查报告,调整产品需求文档,得到需求文档。

8、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,任务环境配置还包括测试用例数量范围;根据需求文档,结合任务环境配置,生成测试文档,包括:从需求文档中提取功能点、页面编号和模块名称,并结合测试用例数量范围,按功能覆盖优先原则进行用例规划,得到用例规划结果;根据用例规划结果,结合目标需求、模块架构、页面架构、页面原型、数据存储附录和复杂度档位,逐例生成包含测试前置条件、测试动作序列和预期验证结果的测试用例,且为每个测试用例独立构造上下文,得到测试文档。

9、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,功能覆盖优先原则用于:每个功能生成至少一个符合正常路径的测试用例;和/或,在目标用例数量范围内为目标功能生成异常输入、边界值、权限拒绝或状态反转用例;和/或,基于复杂度档位低于第一预设档位阈值,对对应目标页面最多生成一个视觉测试用例;基于复杂度档位高于第二预设档位阈值,对对应目标页面生成最少一个视觉测试用例;第二预设档位阈值大于第一预设档位阈值。

10、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,在得到测试文档之后,包括:按模块对测试用例进行需求文档对齐校验、步骤链一致性校验和前置条件格式校验;其中,需求文档对齐校验用于校验测试用例中的预期验证结果与需求文档中需求是否一致,步骤链校验用于检测测试用例中是否存在前序步骤操作导致元素消失、禁用或页面跳转后后续步骤仍操作旧元素的情况,前置条件校验用于检测测试用例的中是否存在自然语言描述的不可执行前置条件、错误本地存储键、错误数据库表字段和不可执行初始化命令中的至少一种;和/或,从需求文档提取全部功能编号,并从测试文档提取用例编号和用例标题,根据全部功能编号,针对对应每个功能,检查功能是否被至少一个测试用例覆盖,并检查测试用例的测试覆盖维度是否存在缺失,测试覆盖维度包括异常、边界、权限、状态流转和预期验证结果中的至少一种;确定存在未覆盖功能或存在缺失时,重新生成测试文档,直至对应功能被至少一个测试用例覆盖、不存在缺失或达到预设重试次数为止。

11、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,基于部署通过,利用验证智能体读取需求文档、网站部署信息和测试文档,在浏览器环境中基于各测试用例分别执行对应真实交互操作并输出对应验证结果,包括:基于部署通过,利用验证智能体读取需求文档、网站部署信息和测试文档,以在浏览器环境中,针对每个测试用例,按测试步骤顺序执行对应真实交互操作,并按预设验证节点进行测试,得到对应验证结果;其中,在按预设验证节点进行测试过程中,确定预设验证节点对应目标操作对象不存在、不可见、不可操作、被遮挡、被禁用或页面状态不符合前序步骤时,结合对应预期验证结果,确定对应验证结果为失败,并禁止通过修改统一资源定位系统url、直接调用接口、修改文档对象模型dom、强制点击、绕过表单、读取源码或使用内部状态来替代用户操作。

12、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,针对每个测试用例,按测试步骤顺序执行对应真实交互操作,并按预设验证节点进行测试,还包括:针对目标来源的验证节点,验证智能体采用只读方式从目标来源获取对应验证节点的操作数据,将操作证据与对应预期验证结果进行比对并输出验证结果;针对依赖像素观察的验证节点,验证智能体在固定视口下截取页面图片并进行视觉分析,输出对应验证结果;针对验证动态页面的验证节点,验证智能体通过推进在页面导航前安装的确定性时钟的虚拟时间,控制动态页面的状态变化,并在动作前、动作中或动作后的稳定帧进行采集,以及对采集的稳定帧进行视觉分析,输出对应验证结果。

13、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,在基于部署通过,利用验证智能体读取需求文档、网站部署信息和测试文档之前,包括:以用例标识为键、空值为值的目标格式对象,对初始创建的验证结果文件初始化,并将测试用例按序组织为可读文件;

14、针对每个测试用例,按测试步骤顺序执行对应真实交互操作,并按预设验证节点进行测试输出对应验证结果输出对应验证结果,包括:针对每个测试用例,按测试步骤顺序执行对应真实交互操作,并按预设验证节点进行测试,得到对应验证节点的验证结果;将测试用例各验证节点的验证结果回写至验证结果文件中,读取下一测试用例继续执行对应真实交互操作并重复上述步骤,直至所有测试用例均验证完成;其中,在对所有测试用例进行验证过程中,确定出现验证中断、验证结果文件缺失或验证结果文件解析失败,或,在测试用例验证完成后,确定验证结果文件中测试用例对应验证结果回写不全时,重新启动验证尝试,并保留已得到对应验证结果的测试用例,暴露尚未得到对应验证结果的测试用例,以继续执行验证直至覆盖完整或耗尽验证预算。

15、根据本发明提供的一种基于多模态交互验证和强化学习的软件开发方法,在将网站代码部署至隔离运行环境中之后,包括:按预设检查,确定网站代码是否部署成功;预设检查包括服务启动检查、进程存活检查、超文本传输协议http可达性检查、页面非空白检查、http状态码检查、控制台错误检查和脚本错误检查中的至少一种;确定预设检查均通过时,判定部署通过并获取对应网站部署信息;确定预设检查中存在至少一个检查未通过时,按部署失败规则生成对应奖励和失败原因,并终止利用验证智能体的验证操作;部署失败规则是在先基于对应未通过检查配置的。

16、本发明还提供一种基于多模态交互验证和强化学习的软件开发系统,包括:文档生成模块,根据获取的网站开发需求,生成目标需求文档;代码生成模块,根据目标需求文档,调用开发智能体,生成网站代码;其中,开发智能体是根据基于任务环境配置采样的多条开发轨迹和各开发轨迹对应的验证结果,生成对应开发轨迹奖励,并基于开发轨迹奖励进行策略更新得到的;开发轨迹是在根据任务种子和目标训练分布生成任务环境配置,并根据任务环境配置生成需求文档后,由待训练的开发智能体根据需求文档和任务环境配置中的实现契约生成对应网站代码的过程得到的;验证结果是在部署对应开发轨迹的网站代码后,利用验证智能体读取对应需求文档、网站部署信息以及基于对应任务环境配置和需求文档生成的测试文档,在浏览器环境执行真实交互操作得到的。

17、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述基于多模态交互验证和强化学习的软件开发方法。

18、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于多模态交互验证和强化学习的软件开发方法。

19、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于多模态交互验证和强化学习的软件开发方法。

20、本发明提供的基于多模态交互验证和强化学习的软件开发方法及系统,通过将获取的网站开发需求转化为目标需求文档,以避免原始需求可能存在的模糊性,使得开发智能体能够更准确、稳定地理解并执行开发任务;通过根据任务种子和目标训练分布生成任务环境配置,并根据任务环境配置生成需求文档,以自动化生成训练数据,无需人工预先准备大量的需求文档和代码样例,即可规模化地构造训练数据,同时,依据目标训练分布生成配置,使得自动生成的训练任务能够覆盖预期的场景范围,保障训练数据分布的合理性与可控性;通过待训练的开发智能体不仅依据需求文档,还严格根据任务环境配置中的实现契约来生成代码,以将环境层面的实现契约直接注入代码生成阶段,确保开发的代码在底层结构上与预期的部署环境要求相匹配,从源头上降低代码部署后因不符合环境契约而失效的风险;通过验证智能体综合读取需求文档、网站部署信息以及测试文档,以在浏览器环境执行对应测试用例的真实交互操作,通过基于真实浏览器环境的端到端交互验证,模拟真实的用户操作路径,确保验证结果的客观性和高保真度,从而暴露出代码在实际运行中的深层缺陷,使得最终得到的验证结果更加客观、真实且贴近实际应用表现;通过来源于浏览器交互反馈的验证结果生成对应开发轨迹奖励,并据此进行开发智能体的策略更新,以将真实运行表现转化为训练信号的机制,避免基于理论评估导致的高分低能现象,从而有效驱动开发智能体向着生成在真实环境中真正可用的网站代码方向进化。