一种代码处理方法及相关设备与流程
本技术涉及人工智能(artificial intelligence,ai),尤其涉及一种代码处理方法、代码处理系统、计算设备集群、计算机可读存储介质以及计算机程序产品。
背景技术:
1、编程语言作为软件开发的核心工具,在不同领域中扮演着重要角色。系统级编程语言(如c、c++)长期主导操作系统、嵌入式开发、高性能计算等领域,因其高效性和灵活性被广泛采用。然而,这些语系统级编程语言在内存管理和安全性方面存在固有的缺陷。例如,手动内存管理机制(如指针操作、缓冲区溢出等)导致了大量内存安全问题。据统计,约70%的严重软件漏洞(如heartbleed、shellshock)源于c/c++的内存错误。随着软件复杂度的提升,静态分析和动态检测方法难以完全消除上述缺陷。
2、为解决系统级编程语言在内存管理和安全性等方面的缺陷,一些编程语言(如rust、go、kotlin等)引入更严格的安全机制和抽象模型,显著提升了开发效率和代码质量。以rust为例,rust的所有权模型、借用检查器和零成本抽象特性,不仅保证了高性能,还从根本上规避了空指针、数据竞争等常见安全问题,成为替代系统级编程语言的理想选择。近年来,很多操作系统内核、操作系统驱动等关键项目已逐步采用rust进行重构,证明了rust等现代编程语言在实际应用中的价值。
3、然而,从传统的系统级编程语言(如c、c++)向现代编程语言(如rust、go)迁移的过程面临巨大挑战,尤其是对于大型系统,手动迁移的成本高昂且耗时。这促使学术界和工业界积极探索自动化代码翻译工具,以降低迁移门槛并提高效率。
4、主流的代码翻译方法依赖于大语言模型(large language model,llm),llm可以结合检索增强生成(retrieval-augmented generation,rag)技术来提升转换质量。具体地,上述方法通过检索相似代码片段辅助大模型生成目标代码,大模型通常是机械地模仿检索到的相似代码片段,导致代码生成质量不佳,难以满足业务需求。
技术实现思路
1、本技术提供了一种代码处理方法,该方法通过检索语言迁移知识库,获得与源语言代码片段对应的转译知识,通过该转译知识对语言模型的代码转换能力或代码翻译能力进行增强,而非机械模仿相似代码片段,能够有效识别和避免语法错误、语义偏差、类型不匹配等翻译陷阱,提高代码翻译或代码转换的质量,以及提高代码翻译或代码转换的效率。本技术还提供了一种代码处理系统、计算设备集群、计算机可读存储介质以及计算机程序产品。
2、第一方面,本技术提供一种代码处理方法。该方法可以应用于代码处理系统。代码处理系统可以是实现代码转换功能的工具,也称作代码转换工具。代码处理系统可以包括软件系统,该软件系统可以为独立的软件系统,或者是集成于其他软件系统的插件、组件、功能模块、小程序。例如,代码处理系统可以作为一种集成开发环境(integrateddevelopment environment,ide)插件,集成至各种ide中,为开发者提供实时的代码翻译建议功能。又例如,代码处理系统也可以作为一种云服务,通过应用程序编程接口(application programming interface,api)的形式对外提供服务。代码处理系统也可以包括硬件系统,例如包括具有代码转换或代码翻译等代码处理能力的计算设备集群,计算设备集群运行时执行本技术的代码处理方法。
3、具体地,代码处理系统可以接收用户输入的待转换的源语言代码片段,然后根据源语言代码片段检索语言迁移知识库,获得与源语言代码片段对应的转译知识。转译知识包括用于将源语言代码片段转换为目标语言代码片段的转译规则。转译规则可以通过对语言模型历史生成的错误代码片段以及错误代码片段对应的正确代码片段进行学习得到。代码处理系统可以将源语言代码片段和转译知识输入语言模型进行推理,生成目标语言代码片段,向用户返回目标语言代码片段。
4、该方法通过检索语言迁移知识库,获得与源语言代码片段对应的转译知识,通过该转译知识对语言模型的代码转换能力或代码翻译能力进行增强,而非机械模仿相似代码片段,能够有效识别和避免语法错误、语义偏差、类型不匹配等翻译陷阱,提高代码翻译或代码转换的质量,以及提高代码翻译或代码转换的效率。
5、在一些可能的实现方式中,代码处理系统可以对错误代码片段和正确代码片段进行差异分析,获得差异代码片段。然后代码处理系统可以根据差异代码片段构造多维度的提示语,多维度包括指针安全转换、所有权映射或接口语义对齐中的任意组合。接着代码处理系统可以将提示语输入所述语言模型进行分析,生成转译规则。
6、该方法通过自演化学习构建闭环的错误分析与知识提炼机制,形成语言迁移知识库,为后续基于转译知识增加语言模型的代码翻译或代码转换能力奠定基础。
7、在一些可能的实现方式中,代码处理系统可以根据错误代码片段的语法树节点和正确代码片段的语法树节点定位差异区域,然后代码处理系统可以识别差异区域中的插入节点、删除节点或替换节点,获得差异代码片段。差异代码片段包括插入节点、删除节点或替换节点所在代码块。
8、该方法借助语法树节点定位差异区域,然后基于差异区域中的插入节点、删除节点或替换节点识别差异代码片段,具有较高准确度。
9、在一些可能的实现方式中,代码处理系统可以根据错误代码片段和正确代码片段生成具有类型标注的基础块集合。基础块集合中的基础块包括错误代码片段或正确代码片段中的最小执行单元。然后代码处理系统可以根据基础块集合对错误代码片段和正确代码片段分别构建图结构,图结构包括控制流图或数据依赖图中的至少一种。代码处理系统可以比较图结构的拓扑,获得差异代码片段。差异代码片段包括图结构中的差异节点或差异边所在代码块。
10、该方法比较适用于过程间分析和并发代码场景,能够捕捉语法树比对难以发现的隐式控制流变化和数据竞争模式。差异结果以代码区间结合数据流标签的形式输出,标注变更影响的变量集合和可能的数据竞争风险等级。
11、在一些可能的实现方式中,代码处理系统可以通过语言模型生成与转译规则对应的源语言示例代码片段和目标语言示例代码片段,转译知识包括转译规则以及源语言示例代码片段和目标语言示例代码片段。
12、该方法还支持生成转译规则对应的示例代码片段,为后续的代码翻译或代码转换提供更为丰富的信息。
13、在一些可能的实现方式中,代码处理系统还可以定位差异代码片段对应的源语言代码块,然后对源语言代码块进行参数化处理,获得源语言特征。源语言特征包括使用类型化占位符进行替换得到的半结构化代码模板,转译知识包括所述源语言特征和转译规则。
14、该方法通过对差异代码片段对应的源语言代码块进行参数化处理,可以实现对源语言代码块的抽象,由此可以提高后续检索的准确度。
15、在一些可能的实现方式中,代码处理系统还可以接收用户对目标语言代码片段的反馈信息,反馈信息包括对目标语言代码片段的纠正信息,接着根据反馈信息,迭代更新转译知识。
16、在该方法中,当发生翻译错误时,代码处理系统可以提供系统的错误分析与修正能力,能够通过语言模型对错误进行深入理解或分析,并迭代更新转译知识,从而提供针对性的改进策略,例如针对不同类型错误(所有权误用、生命周期错误、类型不匹配等)提供自动化的改进策略进行修正,避免错误模式反复出现,提高了修正效率,保障了翻译质量以及实用性。而且,通过不断迭代更新转译知识,能够适应更广泛的代码转换需求,以及避免错误模式持续累积,保证了系统的长期稳定性和准确性。
17、在一些可能的实现方式中,转译知识包括源语言特征和所述转译规则。代码处理系统可以对源语言代码片段中的源语言代码块进行参数化处理,获得源语言特征。其中,源语言特征包括使用类型化占位符进行替换得到的半结构化代码模板。代码处理系统还可以根据源语言特征检索语言迁移知识库,获得与源语言代码片段对应的转译知识。
18、该方法通过采用半结构化的源语言特征检索语言迁移知识库,可以提高检索效率和准确度。
19、在一些可能的实现方式中,代码处理系统可以将源语言代码片段输入检索模型,获得与源语言代码片段对应的转译知识。其中,检索模型通过采用数据集对双塔式神经网络模型训练得到,数据集包括多个样本数据,每个样本数据包括源代码样例以及源代码样例对应的转译知识样例。
20、该方法中,训练完成的检索模型能够将新的源代码实时映射到转译知识向量空间,通过近似最近邻搜索快速找到最相关的转译知识。该方法特别适合处理大规模代码库,且可以通过持续学习不断优化检索效果。
21、在一些可能的实现方式中,代码处理系统可以通过语言模型对源语言代码片段进行零样本学习或少样本学习,获得第一语义表示。代码处理系统可以通过语言模型对语言迁移知识库中的转译知识进行零样本学习或少样本学习,获得第二语义表示。然后代码处理将第一语义表示与第二语义表示进行匹配,获得与源语言代码片段对应的转译知识。和/或,代码处理系统可以生成源语言代码片段的摘要,根据摘要中的算法逻辑或数据结构中的至少一项对语言迁移知识库进行信息检索,获得与源语言代码片段对应的转译知识。
22、该方法支持直接将源代码或自然语言查询转换为统一的语义表示进行匹配检索,或者是利用摘要进行信息检索,无需额外训练专用的检索模型。基于零样本学习、少样本学习或摘要的检索方法可以混合使用,或者单独使用。混合使用既能发挥语言模型强大的语义理解能力,又能通过代码摘要降低检索复杂度。
23、第二方面,本技术提供一种代码处理系统。所述系统包括:
24、翻译模块,用于接收用户输入的待转换的源语言代码片段;根据所述源语言代码片段检索语言迁移知识库,获得与所述源语言代码片段对应的转译知识,所述转译知识包括用于将所述源语言代码片段转换为目标语言代码片段的转译规则,所述转译规则通过对语言模型历史生成的错误代码片段以及所述错误代码片段对应的正确代码片段进行学习得到;
25、所述翻译模块,还用于将所述源语言代码片段和所述转译知识输入所述语言模型进行推理,生成所述目标语言代码片段;向所述用户返回所述目标语言代码片段。
26、在一些可能的实现方式中,所述系统还包括:
27、差异分析模块,用于对所述错误代码片段和所述正确代码片段进行差异分析,获得差异代码片段;
28、知识生成模块,用于根据所述差异代码片段构造多维度的提示语,所述多维度包括指针安全转换、所有权映射或接口语义对齐中的任意组合;将所述提示语输入所述语言模型进行分析,生成所述转译规则。
29、在一些可能的实现方式中,所述差异分析模块具体用于:
30、根据所述错误代码片段的语法树节点和所述正确代码片段的语法树节点定位差异区域;
31、识别所述差异区域中的插入节点、删除节点或替换节点,获得差异代码片段,所述差异代码片段包括所述插入节点、所述删除节点或所述替换节点所在代码块。
32、在一些可能的实现方式中,所述差异分析模块具体用于:
33、根据所述错误代码片段和所述正确代码片段生成具有类型标注的基础块集合,所述基础块集合中的基础块包括所述错误代码片段或所述正确代码片段中的最小执行单元;
34、根据所述基础块集合对所述错误代码片段和所述正确代码片段分别构建图结构,所述图结构包括控制流图或数据依赖图中的至少一种;
35、比较所述图结构的拓扑,获得差异代码片段,所述差异代码片段包括所述图结构中的差异节点或差异边所在代码块。
36、在一些可能的实现方式中,所述知识生成模块还用于:
37、通过所述语言模型生成与所述转译规则对应的源语言示例代码片段和目标语言示例代码片段,所述转译知识包括所述转译规则以及所述源语言示例代码片段和所述目标语言示例代码片段。
38、在一些可能的实现方式中,所述知识生成模块还用于:
39、定位所述差异代码片段对应的源语言代码块;
40、对所述源语言代码块进行参数化处理,获得源语言特征,所述源语言特征包括使用类型化占位符进行替换得到的半结构化代码模板,所述转译知识包括所述源语言特征和所述转译规则。
41、在一些可能的实现方式中,所述系统还包括:
42、知识更新模块,用于接收所述用户对所述目标语言代码片段的反馈信息,所述反馈信息包括对所述目标语言代码片段的纠正信息;根据所述反馈信息,迭代更新所述转译知识。
43、在一些可能的实现方式中,所述转译知识包括源语言特征和所述转译规则,所述翻译模块具体用于:
44、对所述源语言代码片段中的源语言代码块进行参数化处理,获得所述源语言特征,所述源语言特征包括使用类型化占位符进行替换得到的半结构化代码模板;
45、根据所述源语言特征检索语言迁移知识库,获得与所述源语言代码片段对应的转译知识。
46、在一些可能的实现方式中,所述翻译模块具体用于:
47、将所述源语言代码片段输入检索模型,获得与所述源语言代码片段对应的转译知识,所述检索模型通过采用数据集对双塔式神经网络模型训练得到,所述数据集包括多个样本数据,每个样本数据包括源代码样例以及所述源代码样例对应的转译知识样例。
48、在一些可能的实现方式中,所述翻译模块具体用于:
49、通过所述语言模型对所述源语言代码片段进行零样本学习或少样本学习,获得第一语义表示,以及通过所述语言模型对所述语言迁移知识库中的转译知识进行零样本学习或少样本学习,获得第二语义表示,将所述第一语义表示与所述第二语义表示进行匹配,获得与所述源语言代码片段对应的转译知识;和/或,
50、生成所述源语言代码片段的摘要,根据所述摘要中的算法逻辑或数据结构中的至少一项对语言迁移知识库进行信息检索,获得与所述源语言代码片段对应的转译知识。
51、第三方面,本技术提供一种计算设备集群。该计算设备集群包括至少一台计算设备,至少一台计算设备包括至少一个处理器和至少一个存储器。至少一个处理器、至少一个存储器进行相互的通信。至少一个处理器用于执行至少一个存储器中存储的指令,以使得计算设备或计算设备集群执行如第一方面或第一方面的任一种实现方式所述的代码生成方法。
52、第四方面,本技术提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,该指令指示计算设备或计算设备集群执行上述第一方面或第一方面的任一种实现方式所述的代码生成方法。
53、第五方面,本技术提供了一种包含指令的计算机程序产品,当其在计算设备或计算设备集群上运行时,使得计算设备或计算设备集群执行上述第一方面或第一方面的任一种实现方式所述的代码生成方法。
54、本技术在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com