开源软件基因的提取与构建方法及介质与流程
本发明涉及软件工程,特别涉及一种开源软件基因的提取与构建方法及介质。
背景技术:
1、随着开源软件成为现代软件系统的重要组成部分,开源代码在不同软件项目、不同版本和不同社区之间被大量复用、修改和重新组织,
2、现有的代码指纹和代码克隆分析技术,其通常会将规范化文本哈希、token序列、抽象语法树(ast)、控制流图(cfg)或代码向量用于代码匹配,然而,不同技术所采用的分析粒度、特征结构、去重方式和来源记录方式并不统一,且简单将某一种哈希值作为软件基因,难以满足跨版本稳定识别、跨项目复用分析、来源追踪和持续演化记录等需求,而在大规模开源软件数据中,长度过短的函数、自动生成代码、日志模板和广泛存在的公共实现通常缺乏足够区分能力,若将全部代码单元无差别纳入基因库,会导致特征冗余和存储开销增加,并且同一代码单元可能在同一版本的不同文件、同一项目的多个版本以及不同软件项目中重复出现,现有方法往往只执行单次哈希去重,无法同时保留软件基因的稳定主体和其在各项目、版本、文件及代码位置中的完整出现记录。
技术实现思路
1、本发明的目的在于克服现有技术中的上述缺陷,提供一种开源软件基因的提取与构建方法,其可以对开源软件及其历史版本中同时实现有效代码单元筛选、代码本体与上下文联合表征、分层去重归并、来源位置保留以及基因演化状态记录。
2、为实现上述目的,本发明第一方面实施例提供了一种开源软件基因的提取与构建方法,开源软件基因的提取与构建方法包括以下步骤:
3、s1、获取开源软件项目、所述开源软件项目的历史版本及所述开源软件项目的软件代码;
4、s2、对所述开源软件项目的软件代码进行解析,获得解析结果,识别所述解析结果,获得多个候选基因单元;其中,候选基因单元为函数、方法、类、代码片段、文件或模块;
5、s3、对所述候选基因单元进行代码标准化,获得标准化候选基因单元;
6、s4、对所述标准化候选基因单元进行特征提取,获得多维特征和上下文特征;
7、s5、对多个所述标准化候选基因单元,根据代码长度、结构完整性、复杂度、信息量、分布频率和独立功能语义进行筛选,获得有效软件基因;
8、s6、根据所述有效软件基因的代码多维特征和上下文特征获得软件基因身份;
9、s7、根据所述软件基因身份对所述有效软件基因进行去重和归并;
10、s8、记录所述有效软件基因在所述开源软件项目中的来源位置;
11、s9、根据所述有效软件基因和所述来源位置获得基因单元集合,比较相邻所述历史版本中的所述基因单元集合,生成演化状态,构建可持续更新的软件基因。
12、进一步的,s1、获取开源软件项目、所述开源软件项目的历史版本及所述开源软件项目的软件代码,包括有以下步骤:获取一个或多个开源软件托管平台、中央软件仓库或软件发行仓库中的开源软件项目;获取每个开源软件项目的项目名称、仓库地址、主要编程语言、版本号、标签、提交标识、发布时间、文件路径、代码内容及项目元数据;按照发布版本、标签版本或预设时间间隔获取多个代码快照,并对相邻代码快照中内容相同的文件进行预去重,获得所述开源软件项目的所述软件代码。
13、进一步的,s2、对所述开源软件项目的软件代码进行解析,获得解析结果,识别所述解析结果,获得多个候选基因单元;其中,候选基因单元为函数、方法、类、代码片段、文件或模块,包括有以下步骤:采用与所述开源软件项目的软件代码的编程语言适配的词法分析器、语法分析器或代码解析工具进行识别,获得候选基因单元;记录所述候选基因单元的项目标识、版本标识、文件路径、单元类型、名称、起止位置、原始代码和编程语言。
14、进一步的,s3、对所述候选基因单元进行代码标准化,获得标准化候选基因单元,包括有以下步骤:对所述候选基因单元执行删除注释、空行及冗余空白,统一字符编码和换行格式,规范化局部变量名、函数名和临时标识符,对字面量和常量进行类型化替换,统一数据类型表示及规范化语法树节点,获得所述标准化候选基因单元。
15、进一步的,s4、对所述标准化候选基因单元进行特征提取,获得多维特征和上下文特征,包括有以下步骤:对标准化候选基因单元提取语法特征、结构特征、语义特征、统计特征和来源元数据;其中,语法特征包括规范化代码文本、token序列和抽象语法树;结构特征包括控制流图、数据流关系和函数调用关系;语义特征包括代码向量、输入输出类型和调用api集合;统计特征包括代码行数、圈复杂度、halstead体积和可维护性指数;来源元数据包括软件项目、版本、提交标识、文件路径、函数名称、起止行号和时间信息。
16、进一步的,s5、对多个所述标准化候选基因单元,根据代码长度、结构完整性、复杂度、信息量、分布频率和独立功能语义进行筛选,获得有效软件基因,包括有以下步骤:根据所述标准化候选基因单元的多维特征,对所述标准化候选基因单元进行筛选,基于所述标准化候选基因单元的代码长度、token数量或语法树节点数量过滤过短单元,基于所述标准化候选基因单元的圈复杂度、halstead体积、参数数量和分支数量判断信息量,基于所述标准化候选基因单元的输入、处理和输出结构判断完整性,结合所述标准化候选基因单元的调用关系、输入输出关系和语义特征判断独立功能语义,获得有效软件基因。
17、进一步的,s6、根据所述有效软件基因的多维特征和上下文特征获得软件基因身份,包括有以下步骤:根据有效软件基因生成由核心身份和上下文身份组成的软件基因身份;所述核心身份反映代码本体,包括标准化代码摘要、语法树摘要、控制流结构摘要和语义特征摘要;所述上下文身份反映所属文件、模块、上下游调用函数、输入输出类型、项目和版本信息;若两个所述有效软件基因的核心身份相同,则两个所述有效软件基因为相同的有效软件基因;若两个所述有效软件基因的核心身份不完全相同且相似,则两个所述有效软件基因为相似的有效软件基因;若两个所述有效软件基因的核心身份和上下文身份均满足预设相似条件,则两个所述有效软件基因归入同一软件基因家族。
18、进一步的,s7、根据所述软件基因身份对所述有效软件基因进行去重和归并,包括有以下步骤:对同一历史版本中,具有相同核心身份的有效软件基因共享同一基因主体,并记录多个位置;同一开源软件项目的多个历史版本中,重复出现的有效软件基因仅存储一个基因主体,并记录历史版本集合和历史版本区间;不同的开源软件项目中,具有相同核心身份的有效软件基因归并到同一稳定基因标识下,并记录全部来源;对于核心身份不同的有效软件基因,基于模糊哈希、token、语法树、控制流或语义向量距离形成软件基因家族,将满足相似条件的有效软件基因归入同一软件基因家族,并记录相似和演化关系。
19、进一步的,s9、根据所述有效软件基因和所述来源位置获得基因单元集合,比较相邻所述历史版本中的所述基因单元集合,生成演化状态,构建可持续更新的软件基因库,包括有以下步骤:根据所述有效软件基因和所述来源位置获得基因单元集合,比较同一开源软件项目的相邻的历史版本中的基因单元集合,根据核心身份、上下文身份和相似关系生成新生、保留、变异、迁移、消失、分裂和合并状态;对软件基因库新增项目或新增版本进行增量更新,并同步更新来源记录、出现频率、版本区间和演化状态。
20、根据本发明第二方面实施例的计算机可读存储介质,包括有:所述计算机可读存储介质上存储有开源软件基因的提取与构建程序,所述开源软件基因的提取与构建程序被处理器执行时实现上述第一方面实施例的开源软件基因的提取与构建方法的步骤。
21、与现有技术相比,本发明具备如下优势:相较于现有的单一代码哈希或代码向量,本发明通过将软件代码定义为同时包含代码本体、上下文、来源和演化信息的复合技术对象,能够完整表达代码稳定特征和生命周期信息;通过代码长度、复杂度、结构完整性、分布频率和独立功能语义多层筛选标准化候选基因单元,减少短小代码、通用模板和公共代码造成的冗余;通过核心身份与上下文身份联合表示,在保持跨项目稳定识别能力的同时,区分相同软件代码在不同文件、模块和调用环境中的具体出现形式;通过对软件基因身份进行去重和归并,能够使同一基因主体仅保存一次,同时完整记录其在多个项目和版本中的分布位置,在基因构建阶段同步生成演化状态,使有效软件基因能够直接支撑开源资源演进追踪,形成的软件基因库可作为软件基因图谱、软件成分分析、代码复用识别、跨项目代码匹配和智能推荐的统一基础数据;该开源软件基因的提取与构建方法可以实现统一、稳定且可持续演化的软件基因构建机制,可以对开源软件及其历史版本中同时实现有效代码单元筛选、代码本体与上下文联合表征、分层去重归并、来源位置保留以及基因演化状态记录。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com