基于多模态输入的AI代码生成及缺陷修复方法、系统与流程

本发明涉及人工智能与软件开发，具体涉及一种基于多模态输入的ai代码生成及缺陷修复方法、系统。

背景技术：

1、随着软件开发规模的不断扩大和人工智能技术的快速发展，代码自动生成和缺陷修复技术在软件质量保障中扮演着越来越重要的角色。目前主流的代码生成及缺陷修复方案主要分为两类：一类是基于自然语言输入的代码生成模型（如codellama、starcoder、copilot等），通过预训练代码大模型实现从文本需求到代码的转化；另一类是基于静态代码分析的缺陷修复工具（如sonarqube、findbugs等），通过预设规则检测代码中的语法或简单逻辑缺陷，并提供固定修复建议。

2、尽管现有技术已实现代码生成与缺陷修复的基础功能，但在实际工业应用中仍存在以下核心问题，难以满足企业级、领域化的研发需求：

3、1、输入模态单一，需求解析不完整：现有代码生成模型多仅支持自然语言文本输入，无法有效处理流程图、架构图、数据表结构等非文本需求载体。实际软件开发中，需求往往分散在多类型文档中，单一模态输入导致需求信息丢失，进而造成生成代码与实际需求偏差。

4、2、领域适配性差，代码规范性不足：通用代码生成模型缺乏垂直领域（如金融、工业互联网、嵌入式）的专业知识，生成的代码往往不符合行业规范（如金融交易的签名校验、嵌入式代码的内存管理约束），需要大量人工修改才能投入使用。

5、3、缺陷修复刚性，自适应能力缺失：现有缺陷修复工具依赖预设的缺陷模板和修复规则，无法根据缺陷根因、领域特性动态调整修复策略。

6、4、链路割裂，无闭环优化机制：现有方案中，需求解析、代码生成、测试用例生成及缺陷修复是相互独立的环节，缺乏端到端的流转与反馈机制。缺陷修复结果无法反向优化代码生成模型，测试用例也无法精准匹配生成代码的核心逻辑，导致整体研发效率提升有限。

7、5、需求与代码语义鸿沟未解决：现有技术未建立需求与代码之间的精准映射关系，自然语言需求的语义信息难以有效转化为代码的语法、逻辑特征，导致生成代码存在逻辑漏洞、功能缺失等问题。

技术实现思路

1、针对背景技术中所提及的现有技术缺陷，本发明实施例的目的在于提供一种基于多模态输入的代码生成及缺陷修复方法、系统。

2、为实现上述目的，第一方面，本发明实施例提供了一种基于多模态输入的代码生成及缺陷修复方法，包括：

3、获取多模态数据；

4、采用差异化的预处理策略对所述多模态数据进行特征提取，生成多模态特征向量；

5、采集垂直领域数据，并基于所述垂直领域数据构建垂直领域知识图谱；

6、根据所述多模态特征向量和垂直领域知识图谱生成符合规范的目标代码；

7、采用基于ai语义分析+知识图谱规则匹配的双重检测机制对所述目标代码进行缺陷检测及修复。

8、作为本技术的一种具体实现方式，所述多模态数据包括文本类数据、图像类数据及表格类数据；所述多模态特征向量包括文本特征向量、图像特征向量及表格特征向量；生成多模态特征向量具体为：

9、针对所述文本类数据，采用bert/roberta模型进行分词、命名实体识别及语义角色标注，提取核心要素，并将所述核心要素转换为文本特征向量；所述核心要素包括功能需求、非功能需求及约束条件；

10、针对所述图像类数据，采用yolo模型进行目标检测，提取图中元素，并通过图神经网络解析多个图中元素之间的关联关系，生成图像特征向量；所述图中元素包括组件、接口及数据流；

11、针对表格类数据，提取字段名及数据类型，通过编码模型将所述字段名及数据类型转换为表格特征向量。

12、作为本技术的一种具体实现方式，所述垂直领域数据包括领域技术文档、开源代码库注释、行业规范手册及缺陷修复案例数据；基于所述垂直领域数据构建垂直领域知识图谱，具体为：

13、采用bert模型及ernie模型对所述垂直化领域数据进行知识抽取，得到实体、关系及规则；

14、对所述实体、关系及规则进行歧义消除及重复合并处理，以构建垂直领域知识图谱。

15、作为本技术的一种具体实现方式，根据所述多模态特征向量和垂直领域知识图谱生成符合规范的目标代码，具体为：

16、对所述文本特征向量、图像特征向量及表格特征向量进行语义对齐与融合处理，生成包含完整需求信息的统一语义向量；

17、将所述垂直领域知识图谱进行向量转化，得到知识图谱向量；

18、将所述统一语义向量与所述知识图谱向量进行匹配，得到代码生成的约束条件；

19、将所述约束条件转换为指令格式，将所述指令个数输入代码生成模型，生成符合规范的目标代码。

20、作为本技术的一种具体实现方式，对所述目标代码进行缺陷检测及修复具体为：

21、基于codellama/starcoder预训练代码大模型，通过代码语义分析识别所述目标代码的逻辑漏洞、性能问题；

22、基于所述垂直领域知识图谱中的规范规则，检测所述目标代码是否符合行业规范。

23、作为另一种可选实现方式，对所述目标代码进行缺陷检测及修复具体为：

24、采用静态分析工具对所述目标代码进行静态分析，识别潜在的缺陷风险；

25、基于深度学习模型对所述目标代码进行动态测试，捕捉代码执行过程中的异常行为信息；

26、通过所述垂直领域知识图谱对所述目标代码进行语义校验，确保代码符合业务需求和编程规范。

27、作为本技术的一种优选实现方式，对所述目标代码进行缺陷检测及修复之后，所述方法还包括：

28、对检测到的缺陷进行风险等级标注及定位，并生成结构化缺陷报告。

29、进一步地，作为本技术的一种优选实现方式，述方法还包括根据所述结构化缺陷报告进行自适应修复，具体为：

30、结合所述垂直领域知识图谱中的缺陷-根因关联关系，分析缺陷产生的根本原因；

31、根据所述根本原因、领域规则及所述结构化缺陷报告中所记录的缺陷类型，从所述垂直领域知识图谱中匹配最优修复策略；

32、采用所述最优修复策略对所述目标代码进行自适应修复。

33、进一步地，作为本技术的一种优选实现方式，所述方法还包括测试用例生成与验证，具体为：

34、根据所述目标代码及所述垂直领域知识图谱中的需求信息，自动生成测试用例；

35、通过智能处理程序对所述测试用例进行自动验证。

36、第二方面，本技术实施例还提供了一种基于多模态输入的代码生成及缺陷修复系统，包括：

37、获取单元，用于获取多模态数据；

38、多模态处理单元，用于采用差异化的预处理策略对所述多模态数据进行特征提取，生成多模态特征向量；

39、知识图谱构建单元，用于采集垂直领域数据，并基于所述垂直领域数据构建垂直领域知识图谱；

40、代码生成单元，用于根据所述多模态特征向量和垂直领域知识图谱生成符合规范的目标代码；

41、缺陷检测修复单元，用于采用基于ai语义分析+知识图谱规则匹配的双重检测机制对所述目标代码进行缺陷检测及修复。

42、第三方面，本发明实施例还提供了另一种基于多模态输入的代码生成及缺陷修复系统，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

43、实施本发明实施例，提供了一种基于多模态输入与垂直领域知识图谱的ai代码生成及缺陷修复方案，优点如下：

44、1、需求解析更完整：支持文本、图像、表格多模态输入，通过跨模态融合实现需求信息的完整提取，提升了需求解析的准确性和全面性，大幅降低生成代码与需求的偏差。

45、2、代码领域适配性更强：领域知识图谱的引入使生成代码符合行业规范，无需人工修改即可投入使用。

46、3、缺陷修复更精准灵活：自适应修复引擎基于缺陷根因与领域规则动态生成修复策略，提升了缺陷修复的精准度与灵活性。

47、4、研发效率大幅提升：端到端闭环链路实现“需求→代码→测试→修复”的全流程自动化，软件开发周期缩短，人力成本降低。

48、5、系统可扩展性强：支持领域知识图谱的自定义扩展、新编程语言/框架的增量训练，可适配不同行业的个性化需求，适用范围广。