基于双特征融合的编码适配方法、装置、设备及介质与流程

本申请涉及汽车电子，尤其涉及一种基于双特征融合的编码适配方法、装置、设备及介质。

背景技术：

1、汽车诊断软件通常需要支持多种语言以满足不同国家和地区的使用需求。在多语言的实现过程中，各语言的翻译文本通常被单独存储为独立的资源文件，软件启动时，系统会根据当前的区域设置加载对应语言的资源文件。

2、在实际应用中，由于开发工具的差异，同一项目内的资源文件往往存在不同的编码格式。例如，部分语言文件被保存为8-bit unicode transformation format，utf-8格式，而另一些文件被保存为chinese internal code extension specification，gbk或shift japanese industrial standards，shift-jis格式。同时，部分utf-8格式的文件在保存时未携带字节顺序标记。当目标操作系统读取这些未携带字节顺序标记且编码格式不统一的文件时，会默认采用操作系统的本地代码页进行解码。例如，当在默认使用shift-jis代码页的日文操作系统中，加载未携带字节顺序标记的utf-8格式日文资源文件时，操作系统会按照shift-jis格式进行解析，从而导致读取的界面文本出现乱码。现有的处理方式通常在系统底层固定指定一种读取编码，或者依赖运维人员在部署时手动排查并修正文件编码格式。

3、上述方式缺乏根据文件内容自动识别编码状态的机制，面对异构编码的资源文件时，往往无法正确解析文本，降低了软件跨区域部署的效率。

技术实现思路

1、基于此，有必要针对现有技术中多语言资源文件因编码格式不统一及缺乏自动识别机制而导致界面文本乱码的技术问题，提出了一种基于双特征融合的编码适配方法、装置、设备及介质。

2、第一方面，提供了一种基于双特征融合的编码适配方法，所述包括：

3、获取当前操作系统的运行环境信息和多语言界面的目标语言标识，并根据所述运行环境信息和所述目标语言标识，生成对应的候选编码列表；

4、读取目标语言资源文件的前部字节，获得原始字节流，并将所述原始字节流作为检测样本；

5、对所述检测样本执行字节顺序标记检测；

6、若所述检测样本中存在字节顺序标记，根据所述字节顺序标记确定目标编码；

7、若所述检测样本中不存在字节顺序标记，遍历所述候选编码列表，根据所述候选编码列表中的各个候选编码分别对所述检测样本进行解码，获得对应的解码文本；

8、对所述解码文本进行特征验证，获得多个维度的文本特征；所述文本特征包括非法序列指示状态、可打印字符率、语言特征匹配度以及锚点关键词命中状态；

9、根据所述多个维度的文本特征对各个候选编码进行加权评分，获得各个候选编码的综合得分；

10、筛选出所述综合得分最高且得分大于零的候选编码，将筛选出的候选编码作为所述目标编码；

11、根据所述目标编码对所述目标语言资源文件进行读取，将读取的文本转换为内部统一编码，根据所述内部统一编码进行界面渲染。

12、第二方面，提供了一种基于运行环境与文本特征融合的多语言编码自动检测与适配装置，所述装置包括：

13、信息获取与列表生成模块，用于获取当前操作系统的运行环境信息和多语言界面的目标语言标识，并根据所述运行环境信息和所述目标语言标识，生成对应的候选编码列表；

14、样本读取模块，用于读取目标语言资源文件的前部字节，获得原始字节流，并将所述原始字节流作为检测样本；

15、标记检测模块，用于对所述检测样本执行字节顺序标记检测；若所述检测样本中存在字节顺序标记，根据所述字节顺序标记确定目标编码；

16、候选解码模块，用于若所述检测样本中不存在字节顺序标记，遍历所述候选编码列表，根据所述候选编码列表中的各个候选编码分别对所述检测样本进行解码，获得对应的解码文本；

17、特征验证模块，用于对所述解码文本进行特征验证，获得多个维度的文本特征；所述文本特征包括非法序列指示状态、可打印字符率、语言特征匹配度以及锚点关键词命中状态；

18、加权评分模块，用于根据所述多个维度的文本特征对各个候选编码进行加权评分，获得各个候选编码的综合得分；

19、编码筛选模块，用于筛选出所述综合得分最高且得分大于零的候选编码；将筛选出的候选编码作为所述目标编码；

20、读取与渲染模块，用于根据所述目标编码对所述目标语言资源文件进行读取；将读取的文本转换为内部统一编码，并根据所述内部统一编码进行界面渲染。

21、第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于双特征融合的编码适配方法的步骤。

22、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于双特征融合的编码适配方法的步骤。

23、与现有技术相比，本申请通过获取当前操作系统的运行环境信息和目标语言标识生成对应的候选编码列表，并提取资源文件前部字节作为检测样本进行字节顺序标记检测；在不存在字节顺序标记的情况下，利用候选编码列表对检测样本进行解码，进一步通过对解码文本的非法序列指示状态、可打印字符率、语言特征匹配度以及锚点关键词命中状态进行多个维度的特征验证并进行加权评分，最终筛选出综合得分最高的编码作为读取资源文件的目标编码。本申请利用运行环境信息缩小了初始的编码推测范围，并通过对文本实际内容在字符合法性、语言特征区间以及业务关键词等多维度的定量验证，代替了现有技术中固定指定编码的传统方式，即使在资源文件编码格式混杂且缺失字节顺序标记的情况下，也能够自适应地探测并确定出文件的真实编码，从而准确地将异构资源文件转换为内部统一编码进行界面渲染，有效避免了跨区域部署时因编码错配引发的文本乱码问题，提升了系统的兼容性与自动化水平。

1.一种基于双特征融合的编码适配方法，其特征在于，所述包括：

2.根据权利要求1所述的基于双特征融合的编码适配方法，其特征在于，所述获取多语言界面的目标语言标识；根据所述运行环境信息和所述目标语言标识，生成对应的候选编码列表，具体包括：

3.根据权利要求1所述的基于双特征融合的编码适配方法，其特征在于，所述根据所述字节顺序标记确定目标编码，具体包括：

4.根据权利要求1所述的基于双特征融合的编码适配方法，其特征在于，所述对所述解码文本进行特征验证，获得多个维度的文本特征，具体包括：

5.根据权利要求1所述的基于双特征融合的编码适配方法，其特征在于，所述对所述解码文本进行特征验证，获得多个维度的文本特征，还具体包括：

6.根据权利要求1所述的基于双特征融合的编码适配方法，其特征在于，所述根据所述多个维度的文本特征对各个候选编码进行加权评分，获得各个候选编码的综合得分，具体包括：

7.根据权利要求1所述的基于双特征融合的编码适配方法，其特征在于，所述方法还包括：

8.一种基于运行环境与文本特征融合的多语言编码自动检测与适配装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于双特征融合的编码适配方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于双特征融合的编码适配方法的步骤。