基于容器化交叉编译环境的跨平台统一构建方法及系统与流程

摘要: 本技术涉及软件工程与编译,具体是基于容器化交叉编译环境的跨平台统一构建方法及系统。背景技术:1、随着android、linux、麒麟kylin、鸿蒙harmon...
基于容器化交叉编译环境的跨平台统一构建方法及系统与流程

本技术涉及软件工程与编译,具体是基于容器化交叉编译环境的跨平台统一构建方法及系统。

背景技术:

1、随着android、linux、麒麟kylin、鸿蒙harmonyos在移动、桌面、服务器、嵌入式领域广泛应用,跨平台软件开发已成刚需。

2、现有跨平台编译构建技术主要有:本地多工具链共存、虚拟机隔离、各平台原生构建、源码级条件编译。这些方案存在三方面缺陷:一是交叉编译环境冲突严重,多工具链同机安装导致环境变量、同名库、系统头文件互相覆盖,编译结果不一致甚至失败;二是构建系统碎片化,android用gradle、linux用make、麒麟用开明包、鸿蒙用hvigor,需维护多套配置,同步困难、维护成本高;三是系统依赖库行为不一致,openssl/boringssl/国密ssl/自研安全模块及线程、内存分配等实现差异,导致平台特异性bug出现。

3、有专利亦未覆盖四类异构系统统一交叉编译:例如中国专利cn121187594b仅针对单一架构linux;cn103853589a非交叉编译且仅覆盖windows/linux环境;cn111240685a仍用各平台原生工具链,未解决环境冲突和依赖库一致性。

4、因此,亟需一种能同时解决环境隔离、构建统一和依赖库一致性的跨平台统一构建方案。

技术实现思路

1、有鉴于此,本技术的目的是提供基于容器化交叉编译环境的跨平台统一构建方法及系统,以解决背景技术中的问题。

2、为了实现上述目的,本技术采用了如下技术方案:

3、本技术的基于容器化交叉编译环境的跨平台统一构建方法,包括步骤:

4、构建统一业务源代码以及cmake项目组织文件,其中,所述cmake项目组织文件包括依赖逻辑声明;所述依赖逻辑声明用于声明依赖库的逻辑名称;

5、根据所述cmake项目组织文件进行依赖库确定,得到每个平台的依赖库集合;并基于每个平台的依赖库集合和预先构建的统一依赖库配置,构建统一版本系统依赖库;并针对每个平台生成用于容器启动校验的依赖指纹;

6、在多个不同平台中,基于所述统一版本系统依赖库部署用于对所述统一业务源代码进行交叉编译的独立容器,其中,所述多个不同平台至少包括android、linux、麒麟和鸿蒙;

7、基于所述统一版本系统依赖库和cmake项目组织文件,配置容器编排描述文件和一键触发入口,其中,所述一键触发入口预先配置为单一触发操作,用于使容器编排工具读取所述容器编排描述文件以及并行启动各平台编译任务;所述容器编排描述文件中为每个平台配置有期望依赖指纹;

8、基于所述一键触发入口,通过所述容器编排描述文件并行启动多个平台的独立容器,得到各平台原生产物;将多个平台原生产物输出至预先配置的独立产物输出目录,完成容器化交叉编译环境的跨平台统一构建,其中,所述独立容器在启动时基于所述依赖指纹进行一致性校验。

9、在本技术一实施例中,根据所述cmake项目组织文件进行依赖库确定,得到每个平台的依赖库集合,包括:

10、获取预先配置的依赖版本锁定文件和统一依赖库构建脚本,其中,所述依赖版本锁定文件用于预先记录依赖库名称、统一版本号、校验值和源码包下载地址,所述统一依赖库构建脚本用于预先配置平台分支;

11、根据所述cmake项目组织文件中的依赖库声明确定依赖库名称;根据所述依赖版本锁定文件确定每个依赖库的统一版本号和校验值;

12、根据所述统一依赖库构建脚本中预先配置的平台分支,确定每个平台需要注入的平台适配编译选项或平台适配补丁,其中,所述平台分支由预先配置的平台适配规则表定义,所述平台适配规则表在依赖库构建阶段和后续业务编译阶段共用;

13、基于每个平台的平台适配编译选项或平台适配补丁,结合所述依赖库名称、所述统一版本号和校验值构建依赖库集合。

14、在本技术一实施例中,所述统一依赖库配置包括统一编译选项、统一编译流程以及平台适配注入规则;所述平台适配注入规则包括平台适配编译选项或平台适配补丁的注入顺序;

15、其中,基于每个平台的依赖库集合和预先构建的统一依赖库配置,构建统一版本系统依赖库,并针对每个平台生成用于容器启动校验的依赖指纹,包括:

16、基于所述源码包下载地址下载依赖库的源码包,并基于所述校验值对所述源码包进行校验,其中,多个平台的源码包以及校验码一致;

17、在校验通过时,使用所述统一编译选项进行cmake配置;

18、在完成cmake配置时,基于所述平台适配注入规则注入该平台的平台适配编译选项或平台适配补丁;

19、在注入完毕时,基于所述统一编译流程执行cmake编译以及cmake安装;

20、在完成cmake编译以及cmake安装时,得到平台的统一版本系统依赖库;

21、根据平台的依赖版本锁定文件、平台分支、平台适配文件、统一编译选项以及编译安装后的依赖库二进制清单,生成该平台的依赖指纹,其中,所述平台适配文件为编译选项或平台适配补丁。

22、在本技术一实施例中,在多个不同平台中,基于所述统一版本系统依赖库部署用于对所述统一业务源代码进行交叉编译的独立容器,包括:

23、在多个不同平台中部署容器镜像,其中,所述容器镜像包括基础工具层、工具链层、依赖库层以及cmake工具链文件层;

24、在所述基础工具层中安装通用构建工具,在所述工具链层中安装仅在容器内生效的工具链,在所述依赖库层中安装统一版本系统依赖库,在所述cmake工具链文件层中安装cmake工具链文件;其中,所述依赖库层的标签或元数据包括该平台的依赖指纹;所述基础工具层、工具链层、依赖库层和cmake工具链文件层分别采用内容寻址标签;所述cmake工具链文件层中的cmake工具链文件设置cmake查找根路径及相关查找模式,使cmake查找对象的查找路径仅在容器内生效;

25、通过容器运行时进行隔离,得到多个不同平台中的独立容器;其中,所述独立容器在编译过程中直接使用依赖库层中的统一版本系统依赖库。

26、在本技术一实施例中,基于所述统一版本系统依赖库和cmake项目组织文件,配置容器编排描述文件和一键触发入口,包括:

27、在所述容器编排描述文件中为每个平台配置容器镜像标识,其中,所述容器镜像标识用于使得平台的编译任务直接使用容器镜像的依赖库层中已置入的统一版本系统依赖库;

28、在所述容器编排描述文件中为每个平台配置cmake项目组织文件的只读挂载路径,其中,所述cmake项目组织文件的只读挂载路径用于保证各平台的编译任务读取同一份cmake项目组织文件;

29、在所述容器编排描述文件中为每个平台配置统一业务源代码的只读挂载路径,其中,所述统一业务源代码的只读挂载路径用于保证各平台的编译任务基于同一份统一业务源代码;

30、在所述容器编排描述文件中为每个平台配置独立产物输出目录;

31、在所述容器编排描述文件中为每个平台配置cmake工具链文件路径和编译命令,其中,所述编译命令用于在对应平台的独立容器内,基于所述cmake工具链文件路径指定的cmake工具链文件,对只读挂载的统一业务源代码执行cmake配置和cmake编译;

32、在所述容器编排描述文件中为每个平台配置期望依赖指纹,所述期望依赖指纹与平台依赖库层的依赖指纹对应,用于供独立容器启动时校验;

33、配置一键触发入口,其中,所述一键触发入口被配置为:接收目标平台列表;根据目标平台列表查询各平台的镜像标识和依赖指纹;根据预设编排模板生成所述容器编排描述文件;调用容器编排工具执行所述容器编排描述文件;在各独立容器编译完成后,收集各独立产物输出目录中的原生产物和产物元数据。

34、在本技术一实施例中,基于所述一键触发入口,通过所述容器编排描述文件并行启动多个平台的独立容器,得到各平台原生产物,包括:

35、执行所述一键触发入口,以使得容器编排工具读取所述容器编排描述文件以及并行启动多个平台的独立容器,以执行编译命令并得到各平台原生产物;

36、其中,各独立容器启动时,容器入口程序读取容器内预置的依赖指纹以及所述容器编排描述文件中为该独立容器配置的期望依赖指纹,并比较二者;若不一致,则输出指纹不一致告警并退出,禁止进入编译流程;若一致,则执行编译命令;

37、各独立容器的编译命令基于所述容器编排描述文件中预先配置的cmake工具链文件路径指定cmake工具链文件,并对只读挂载的统一业务源代码执行cmake配置和cmake编译;

38、各独立容器通过所述容器编排描述文件中预先配置的cmake项目组织文件只读挂载路径,读取同一份cmake项目组织文件;所述cmake项目组织文件预先配置有用于识别平台类型的变量参数;在cmake配置阶段,cmake通过所述变量参数识别当前平台,并进入该平台对应的平台分支,选择该平台对应的适配层源文件、平台适配编译选项和平台适配链接库;

39、各独立容器基于其内部预安装的编译工具链、链接器、标准系统库、系统头文件及统一版本系统依赖库,结合所述适配层源文件、平台适配编译选项和平台适配链接库,对所述统一业务源代码进行交叉编译,在编译完成时,输出各平台原生产物,并在产物元数据中写入平台标识、依赖指纹和根据容器内工具链版本确定的工具链指纹。

40、在本技术一实施例中,所述cmake工具链文件设置cmake查找根路径及cmake查找路径模式,其中,将所述cmake查找根路径设置为:容器内预置的统一版本系统依赖库根目录;将所述cmake查找根路径模式中的程序查找模式设置为:不基于所述cmake查找根路径查找程序;将所述cmake查找根路径模式中的库查找模式设置为:仅基于所述cmake查找根路径查找库;将所述cmake查找根路径模式中的头文件查找模式设置为:仅基于所述cmake查找根路径查找头文件;将所述cmake查找根路径模式中的包查找模式设置为:仅基于所述cmake查找根路径查找包;

41、所述容器镜像的各层独立缓存,且各层采用内容寻址标签;当用于构建统一版本系统依赖库的依赖版本锁定文件、平台分支和平台适配规则均未修改,基础镜像和通用构建工具版本未修改,交叉编译工具链版本未修改,且cmake工具链文件内容未修改时,若仅业务代码修改,则仅重新编译业务代码并重新链接,基础工具层、工具链层、依赖库层和cmake工具链文件层直接复用缓存镜像。

42、在本技术一实施例中,所述平台适配编译选项或平台适配补丁包括:

43、针对麒麟操作系统,注入国密适配补丁,基于同一源码包构建统一版本的系统依赖库,注入国密适配补丁,设置编译定义麒麟国密ssl支持宏和国密ssl补丁宏,并链接该统一版本系统依赖库中经国密适配补丁适配后的库和麒麟安全增强库;

44、针对鸿蒙操作系统,启用方舟兼容层,设置编译定义鸿蒙无posix宏和使用方舟兼容层宏,链接方舟运行时库;

45、针对android操作系统,基于同一源码包构建统一版本的系统依赖库,使用boringssl兼容层,设置编译定义openssl禁用engine宏和使用boringssl兼容层宏,并链接所述统一版本的系统依赖库中经boringssl兼容层适配后的库。

46、在本技术一实施例中,所述多个不同平台的容器内预装内容如下:

47、所述容器内预装内容根据平台分支确定,并作为对应平台容器镜像的依赖库层或工具链层的组成部分;

48、android容器预装android ndk、clang/llvm、lld、libc++和bionic c库;

49、linux容器预装gcc/clang、glibc或musl、gnu ld;

50、麒麟容器预装适配国产cpu架构的交叉编译器、麒麟安全增强库和国密算法支持库;所述国密算法支持库基于所述同一源码包构建的统一版本的系统依赖库经国密适配补丁适配后得到;

51、鸿蒙容器预装方舟编译器、方舟运行时库和鸿蒙sdk。

52、本技术还提供基于容器化交叉编译环境的跨平台统一构建系统,包括:

53、源代码及组织文件构建模块,用于构建统一业务源代码以及cmake项目组织文件,其中,所述cmake项目组织文件包括依赖逻辑声明;所述依赖逻辑声明用于声明依赖库的逻辑名称;

54、依赖库构建模块,用于根据所述cmake项目组织文件进行依赖库确定,得到每个平台的依赖库集合;并基于每个平台的依赖库集合和预先构建的统一依赖库配置,构建统一版本系统依赖库;并针对每个平台生成用于容器启动校验的依赖指纹;

55、独立容器部署模块,用于在多个不同平台中,基于所述统一版本系统依赖库部署用于对所述统一业务源代码进行交叉编译的独立容器,其中,所述多个不同平台至少包括android、linux、麒麟和鸿蒙;

56、触发配置模块,用于基于所述统一版本系统依赖库和cmake项目组织文件,配置容器编排描述文件和一键触发入口,其中,所述一键触发入口预先配置为单一触发操作,用于使容器编排工具读取所述容器编排描述文件以及并行启动各平台编译任务;所述容器编排描述文件中为每个平台配置有期望依赖指纹;

57、统一构建模块,用于基于所述一键触发入口,通过所述容器编排描述文件并行启动多个平台的独立容器,得到各平台原生产物;将多个平台原生产物输出至预先配置的独立产物输出目录,完成容器化交叉编译环境的跨平台统一构建,其中,所述独立容器在启动时基于所述依赖指纹进行一致性校验。

58、本技术的有益效果是:本技术的基于容器化交叉编译环境的跨平台统一构建方法及系统,以统一业务源代码和cmake项目组织文件作为唯一构建入口,替代gradle、make、开明包、hvigor等多套配置,解决构建系统碎片化、同步维护难的问题;通过依赖逻辑声明、依赖库集合和统一依赖库配置构建统一版本系统依赖库,并生成依赖指纹,保证openssl、boringssl、国密ssl等系统依赖库在多平台版本与行为一致,减少平台特异性缺陷;为android、linux、麒麟和鸿蒙分别部署独立容器,利用容器隔离交叉编译环境,避免多工具链同机安装导致的环境变量、同名库、系统头文件互相覆盖,保证编译结果一致;容器编排描述文件配置期望依赖指纹,一键触发并行启动各平台容器,启动时校验依赖指纹一致性,实现四类异构系统统一交叉编译与并行构建,提升构建效率、一致性与可复现性。