一种基于大语言模型和检索增强生成的RISC-V向量化优化方法及系统与流程

本技术涉及计算机，特别涉及一种基于大语言模型和检索增强生成的risc-v向量化优化方法及系统。

背景技术：

1、随着深度学习、高性能计算和ai推理等技术的发展，单指令多数据流（simd）在进行大规模数据的并行计算时，长期存在指令集碎片化和位宽深度绑定等难题。risc-v向量扩展（vector extension，rvv）是一种向量长度无关的扩展标准，仅需一次编译便可运行在128位至1024位不同物理位宽的设备上，是现代高性能计算体系中的新兴技术。

2、然而，尽管主流编译器（gcc、llvm）现已支持rvv编译，但在面对复杂的数据依赖和代码模式时，编译器要自主实现自动向量化仍然面临严峻挑战。主要原因在于，编译器进行自动向量化时常采用启发式算法，且仅能依赖编译期间获取的静态上下文信息（如数组对齐、别名分析和循环边界等），导致其面对循环携带依赖、不规则内存访问和复杂的动态控制流时无法精确判断，进而采取保守策略并放弃自动向量化，难以充分释放硬件的数据并行处理潜力。

3、针对上述复杂循环结构，传统手动修改源代码的方法存在明显局限：优化效果严重依赖工程师的专业经验，且优化周期长、人工成本高、容易产生隐蔽的性能缺陷。另一种采用内建函数的优化方法虽然能实现对底层硬件资源的充分调用，但内建函数与特定指令集存在深度绑定，牺牲了代码的可移植性，性能与移植性之间难以实现理想平衡。大语言模型（large language model，llm）的发展为解决上述矛盾提供了全新的方案。vectrans方案通过将多级反馈迭代机制与llm相结合，实现了源码级的代码优化，然而，该方法在面临需要进行源代码级内联的复杂外部函数调用时，难以实现有效分析，同时优化代码的生成仅依靠反馈信息和失败案例构成的上下文，缺乏精准的知识引导，导致llm在大规模自身语料库中盲目搜寻优化方案。llm-vectorizer方案采用多智能体和形式化验证生成向量化代码，但优化后的向量化覆盖率较低且采用了内建函数方式实现，缺乏可移植性。

4、基于上述背景，本发明提出了一种面向risc-v架构的llm与编译器协同自动向量化框架。该框架通过多维信息反馈机制与两段式提示优化策略，结合多源知识向量库，突破传统编译器的静态分析局限，引导llm生成编译器友好的优化代码，在维持可移植性的同时提升性能。

5、应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本技术的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现思路

1、本发明的目的在于：针对现有risc-v处理器编译器在复杂循环自动向量化中存在的静态分析局限性、llm辅助优化缺乏精准知识引导和平台适配能力不足、以及优化迭代效率低下的问题，提出一种基于大语言模型与编译器深度交互的自动向量化优化方法及系统，利用多维反馈信息融合、多源知识库检索增强生成和两段式提示策略，自动诊断向量化失败根因并生成语义等价的可向量化代码，提升risc-v平台的向量化成功率和执行效率。

2、为了解决上述问题，第一方面，以下提供一种基于大语言模型和检索增强生成的risc-v向量化优化方法，包括如下步骤：

3、s1、对源代码进行编译处理，生成可执行文件、向量化报告和汇编文件；

4、s2、对所述可执行文件进行单元测试，生成单元测试数据；对所述向量化报告和所述汇编文件进行分析处理，对应生成向量化诊断报告和底层汇编特征；

5、s3、以所述源代码、所述单元测试数据、所述向量化诊断报告和所述底层汇编特征作为多维反馈信息，通过大语言模型代码优化器确定向量化失败原因；基于所述向量化失败原因在预先构建的多源知识库中进行检索，获取对应的知识片段；

6、s4、以所述源代码和所述知识片段构建上下文，通过大语言模型代码优化器生成当前的优化代码；

7、s5、对所述优化代码进行编译处理，生成对应的可执行文件、向量化报告和汇编文件；

8、s6、对所述可执行文件进行单元测试，生成单元测试数据；对所述向量化报告和所述汇编文件进行分析处理，对应生成向量化诊断报告和底层汇编特征；若通过所述单元测试，则输出所述优化代码，否则进行步骤s7；

9、s7、以所述优化代码代替所述源代码，迭代进行步骤s3至步骤s6，直至达到迭代上限，输出所述源代码及错误日志。

10、本发明基于大语言模型和检索增强生成的risc-v向量化编译优化方法，构建专属的多源知识增强检索框架，分别存储rvv的指令集架构和优化经验；将编译器输出的信息深度处理后加上原始源码共同形成多维度闭环反馈信息；设计两段式提示词（prompt）模板，将整体代码优化流程划分为诊断检索和代码生成两个阶段，逐步引导llm利用其强大的感知能力识别并优化复杂循环模式，生成更利于编译器自动向量化的优化代码。此外，框架引入单元测试来验证优化前后代码之间的语义等价性，对无法通过单元测试或未向量化的代码进行闭环迭代优化，设置复杂优化迭代预警线和最大迭代上限。迭代至满足测试条件或到达最大迭代上限，以持续提升代码的向量化覆盖率和准确性。当达到最大迭代上限仍未收敛时，退回原始纯标量代码，并输出错误日志。

11、生成所述向量化诊断报告的过程包括：对所述源代码进行静态扫描，确定每个所述函数的行号区间并形成映射表；从所述向量化报告中提取结构化信息，所述结构化信息包括文件名、行号、优化状态及失败原因；基于所述映射表，将所述结构化信息关联对应的所述函数；计算每个所述函数的总分析次数和成功优化次数，确认未向量化函数；基于所述未向量化函数提取失败语义信息，归纳失败原因并生成向量化诊断报告。本发明的向量化报告解析利用基于启发式规则的函数边界识别算法通过关键字和符号的正则关系定位函数声明，在进入函数内部后采用基于括号匹配的嵌套深度计数器精确识别函数边界；采用有限状态机在报告解析过程中统计每个函数的总分析次数ti和成功优化次数oi来对其进行状态分类，生成向量化诊断报告和多维函数统计信息。进而高效精准定位出阻碍优化的循环依赖。

12、生成所述底层汇编特征的过程包括：通过正则化清洗算法对所述汇编文件进行预处理，构建汇编指令流；进行rvv指令识别，并基于预先构建的rvv指令映射字典进行语义分类，统计rvv指令频率分布和向量化指令占比；进行向量配置状态追踪，确认向量配置变换综合信息；基于所述rvv指令频率分布、所述向量化指令占比和所述向量配置变换综合信息，生成底层汇编特征。本发明的汇编指令解析采用基于有限状态机的向量配置指令冗余检测方法，追踪配置指令的上下文状态转换，逐步对比当前配置状态与历史状态的核心参数，以及寄存器的数据信息是否发生实质性变更，当确定以上信息均未改变时认定该指令为冗余开销；另一方面对汇编文件进行预处理，忽略其中的注释和无关符号，仅保留rvv汇编指令和操作数，根据预先设置的rvv规范指令映射字典，将保留的指令与字典建立精准映射，并详细统计各类rvv指令的频率分布、总体占比和种类占比等信息，完成全局分析后精确输出上述各类信息，共同形成底层汇编特征反馈。这使llm具备了对底层硬件架构的识别能力，有助于将高级语言同rvv硬件底层的实际执行开销进行比对，从而引导llm优先选择对rvv缓存和步幅友好的语言模式。

13、预先构建的多源知识库包括指令集架构知识库和优化经验知识库，构建所述多源知识库的过程包括：采集规范文档与源码文件；对所述规范文档通过基于字符的滑动窗口切分策略进行文本划分，对所述源码文件通过代码切分器进行文本划分，以形成对应的文本块；基于启发式规则的特征打标增强机制，为所述源码文件中的每个文本块添加元数据标签；将所述文本块编码为高维向量，并构建向量检索图。本发明的多源知识检索架构包含相互独立且可持久储存的rvv指令集架构知识库和优化经验知识库。采用基于字符的滑动窗口切分策略和基于启发式规则的特征打标等增强机制以提升检索准确率，并根据不同文件的特点进行差异化构建。检索时采用hnsw索引动态维护候选列表，支持语义和元数据双层过滤筛选。

14、在更新所述多源知识库时，还包括增量校验过程，所述增量校验过程包括：通过md5算法计算当前文件的哈希值，并确认是否存在于历史记录中；若不存在，则将所述文件用于构建所述多源知识库，若存在，则跳过当前文件。通过文件md5哈希校验机制避免更新知识库中的数据冲突。

15、获取对应的知识片段的过程包括：基于所述向量化失败原因，分别在所述指令集架构知识库和所述优化经验知识库中进行top-k相似度检索，并将对应检索到的优化案例与硬件约束信息拼接形成增强上下文，生成所述知识片段。诊断检索阶段通过对多维反馈信息输入进行深度交叉分析，推断并定位出向量化失败的关键原因，并将原因解构为针对高级语言规范的软件模式查询和针对rvv架构的硬件约束查询，分别在两个知识库中检索出最相关知识。

16、生成当前的优化代码的过程包括：将所述源代码和所述知识片输入所述大语言模型代码优化器，所述大语言模型代码优化器通过对所述源代码执行循环拆分、指令重排序、临时变量和分支消除中的一种或多种处理，生成对应的优化代码。代码生成阶段会基于诊断检索阶段输出的内容和源代码共同形成上下文，驱动llm在严格约束下生成优化代。核心优化技术主要有循环拆分、指令重排序、临时变量和分支消除等。经上述优化后，原本隐式的指针别名和循环携带依赖被有效暴露或消除，编译器便能对这些函数执行自动向量化。

17、第二方面，本技术还提供一种基于大语言模型和检索增强生成的risc-v向量化优化系统，包括：编译器、中间层处理工具、多源知识库和大语言模型代码优化器；

18、所述编译器，用于接收代码并进行编译处理，生成可执行文件、向量化报告和汇编文件；

19、所述中间层处理工具，包括并行设置的单元测试模块、向量化报告分析模块和汇编指令分析模块；所述单元测试模块，用于接收所述可执行文件并进行单元测试，生成单元测试数据；所述向量化报告分析模块，用于接收所述向量化报告并进行分析处理，生成向量化诊断报告；所述汇编指令分析模块，用于接收所述汇编文件并进行分析处理，生成底层汇编特征；

20、所述多源知识库，包括指令集架构知识库和优化经验知识库；

21、所述大语言模型代码优化器，用于接收多维反馈信息并确定向量化失败原因，基于所述向量化失败原因在所述多源知识库中进行检索，获取对应的知识片段；所述多维反馈信息包括所述源代码、所述单元测试数据、所述向量化诊断报告和所述底层汇编特征；

22、所述大语言模型代码优化器，基于所述源代码和所述知识片段构建上下文，生成优化代码。

23、还包括闭环迭代验证回路，所述闭环迭代验证回路用于将生成的所述优化代码输入至所述编译器，并进行迭代优化。

24、所述编译器为gcc编译器。

25、与现有技术相比，本发明的有益效果主要包括如下：1）对向量化报告与汇编文件的深度解析。编译器的向量化报告和汇编文件等信息传输至llm，可增强其与编译器之间的交互深度，协助llm更加准确地评估代码的向量化程度。然而，现有方法会将这些包含数万行文本信息的原始内容直接传输至llm，会使llm在与优化无关的噪声分析上消耗大量算力，难以直面核心循环矛盾，严重影响优化效率和准确性。深度解析大幅精炼了原本冗余的报告信息，引导llm从多个维度深入剖析函数向量化痛点，快速定位优化盲区，提升优化迭代效率；2）多维信息反馈机制与向量配置冗余检测。将编译器诊断报告、rvv指令级统计数据和基于有限状态机的向量配置冗余检测统一融合为llm输入，实现跨层级的关联分析和综合推理，生成的优化代码在后端实质性驱动了高密度的rvv计算指令。多维信息反馈机制充当了llm与编译器之间的信息交互器，通过整合多模态特征，构建了跨越软件语义与硬件架构的上下文信息闭环；3）构建多源知识库以提升生成的优化代码质量。将阻碍向量化的循环矛盾经过知识库的 hnsw 索引和语义-元数据筛选实现精准检索，为llm提供专业的领域知识支撑，引导其生成的优化代码既可以满足硬件约束又借鉴了相关优化经验的成熟方法，显著降低了检索噪声和llm幻觉风险，提升优精确性；4）两段式提示策略将问题分析和优化执行解耦，有效降低检索噪声响应，提高知识库的召回率和上下文精准度，减少了llm在完成“理解缺陷、检索知识、优化代码、保持语义”这类极其复杂的编译优化任务时产生的幻觉、生成非法汇编或语法错误代码的风险。并通过约束条件使llm生成的代码严格满足语义等价性，同时保持了代码的可读性和可移植性，实现了高质量的源码级自动向量化。