数据模型文件处理方法及装置与流程

1.本发明涉及通信技术领域，尤其涉及一种数据模型文件处理方法及装置。


背景技术：

2.基站网管服务器(简称“基站网管”)等嵌入式设备的南向接口，是管理其他厂家设备的接口，即向下提供的接口。基站的南向接口，可以通过级联或非级联方式连接若干网元。
3.基站网管的南向接口数据模型文件可以存储有多张参数表。每张参数表，可以用于存储某个对象的各参数的属性。参数的属性，可以包括参数的数据类型、读写权限、描述和默认值等。
4.现有方法中，基站网管对上述数据模型不进行处理，在网管任务的各阶段，均将该数据模型读入内存，以实现该阶段的网管任务。随着基站网管的适配性的增强，同一基站网管可以适配多场景和多厂家的网元，模型数据包括的参数表以及参数越来越多，而基站网管的内存容量有限，内存占用量大且占用时间长，严重影响了设备运行效率，导致数据处理的速度慢、时间长。增加内存容量的方式虽然可以改善上述问题，但成本高且不能无限制地增加嵌入式设备的内存容量，并且增加内存容量仍存在一定的设备运行效率低的问题。


技术实现要素：

5.本发明提供一种数据模型文件处理方法及装置，用以解决现有技术中的设备运行效率低的缺陷，实现缩短时间、提高效率。
6.本发明提供一种数据模型文件处理方法，包括：
7.运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件；
8.运行第二脚本，对所述中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
9.根据本发明提供的一种数据模型文件处理方法，所述对原始数据模型文件进行规范化处理，包括以下至少一项：
10.对所述原始数据模型文件进行清理无效字符处理、字符集转换处理、参数属性表达的统一化处理和参数取值范围的冲突处理。
11.根据本发明提供的一种数据模型文件处理方法，所述目标参数的属性，包括：
12.所述目标参数的参数名、读写类型、参数类型、取值范围、默认值、通知类型、分组信息和层级关系。
13.根据本发明提供的一种数据模型文件处理方法，对所述原始数据模型进行参数取值范围的冲突处理，具体包括：
14.对于任一参数，对所述原始数据模型中定义的所述参数的多个取值范围进行取并集处理、取交集处理或选择所述多个取值范围中的任意一个取值范围。
15.根据本发明提供的一种数据模型文件处理方法，所述运行第一脚本，对原始数据
模型文件进行规范化处理，得到中间文件之前，还包括：
16.基于规范化处理的规则和第一脚本模板，生成所述第一脚本。
17.根据本发明提供的一种数据模型文件处理方法，所述运行第二脚本，对所述中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件之前，还包括：
18.基于目标数据转换规则和第二脚本模板，生成所述第二脚本。
19.本发明还提供一种数据模型文件处理装置，包括：
20.规范化处理模块，运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件；
21.数据转换模块，运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
22.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据模型文件处理方法的步骤。
23.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据模型文件处理方法的步骤。
24.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据模型文件处理方法的步骤。
25.本发明提供的数据模型文件处理方法及装置，通过第一脚本，对原始数据模型文件进行规范化处理，得到中间文件，通过第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件，可以得到网管业务中各任务需要的目标文件，将原始数据模型文件中的庞大数据分解输出为各种形式的目标文件，网管设备按需取用，能提高设备运行效率。
附图说明
26.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本发明提供的数据模型文件处理方法的流程示意图；
28.图2是本发明提供的数据模型文件处理装置的结构示意图；
29.图3是本发明提供的电子设备的结构示意图。
具体实施方式
30.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.在本发明实施例的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，且不涉及顺序。
32.在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
33.下面结合图1至图3描述本发明提供的数据模型文件处理方法及装置。
34.图1是本技术提供的数据模型文件处理方法的流程示意图。下面结合图1描述本技术实施例的数据模型文件处理方法。如图1所示，该方法包括：步骤101和步骤102。
35.具体地，本发明实施例提供的数据模型文件处理方法的执行主体为数据模型文件处理装置。本发明实施例提供的数据模型文件处理方法，可以用于但不限于对基站网管的南向接口数据模型文件进行处理。
36.步骤101、运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件。
37.具体地，原始数据模型文件，可以为用于存储基站网管的南向接口数据模型的文件。基站网管的南向接口数据模型，可以包括基站网管的南向接口的多个参数表。原始数据模型文件可以存储有基站网管的南向接口的各参数表。每一参数表，可以用于存储基站网管的南向接口的数据模型中一个对象的各参数的参数名、读写类型、参数类型、取值范围和默认值等属性。上述对象，可以为基站网管的南向接口的数据模型中的至少一个对象。示例性地，上述对象，可以包括设备描述对象、远程管理服务器对象、时间对象、lan设置对象和ping对象中的至少一个。
38.数据模型的所有的基础性信息均来自原始数据模型文件。可以先获取完整的原始数据模型文件，原始数据模型文件涵盖必要的数据特点或结构层次，对特殊项(参数的某个属性)有明确的描述性表达。
39.可以理解的是，基站网管服务器的主要功能包括：创建链路、上报告警与设备状态、日志生成及传输、信令采集配置信息收集及上报等。基于基站网管的南向接口的数据模型中各对象之间、对象与参数之间以及同一对象的各参数之间的层级关系，该数据模型具有清楚明晰的数据特征，整体呈现特定的结构(一般为树形结构)。
40.对原始数据模型文件进行规范化处理，指将原始数据模型文件中的描述性表达，转换为正确、具体、统一的表达形式。
41.原始数据模型文件中的描述往往比较简洁化，且存在多种表达形式，因此，需要对相同含义的多种表达形式进行统一。
42.可以通过执行预先获取的第一脚本，对原始数据模型文件进行规范化处理，实现对原始数据模型文件的数据梳理，输出中间文件。
43.需要说明的是，数据梳理的基本原则是不改变该数据模型的结构特性。例如，在原始数据模型文件存储的数据模型呈现明显的树形结构的情况下，中间文件存储的数据模型仍为正确、完整的树形结构。
44.第一脚本，可以为支持多运行环境的脚本，可以跨平台使用(即在windows和linux环境下均可以运行)。示例性地，第一脚本的脚本语言可以为python或shell等。python或shell等语言易编写程序且脚本的运行灵活，在数据处理领域起到了非常重要的作用。
45.可以理解的是，步骤101之前，数据模型文件处理装置已安装好第一脚本的运行环
境，即下载第一脚本的运行环境的安装包；下载该安装包之后，基于该安装包进行该运行环境的安装；安装完成之后，对安装的运行环境进行测试；若通过测试，则可以确定第一脚本的运行环境已安装好；若未通过测试，则可以重新基于安装包进行该运行环境的安装，或者重新下载安装包，直至安装的运行环境通过测试。
46.需要说明的是，通过步骤101初步处理得到的中间文件是后续所有操作的信息来源，务必保证步骤101输出的中间文件的正确性与完整性。
47.步骤102、运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
48.具体地，每一第二脚本，可以与网管业务中的一个任务相对应。目标文件也与该任务相对应。该网管业务中的任务，可以包括创建链路、上报告警与设备状态、日志生成及传输、信令采集配置信息收集及上报等。相应地，目标参数可以为基站网管的南向接口的数据模型的各参数中，用于完成该任务的参数。
49.可以通过执行预先获取的第二脚本，对中间文件中的参数进行筛选，筛选出各目标参数；基于目标参数的属性，生成目标格式的目标文件。
50.目标格式可以是预设的格式，与基站网管的编译环境相对应。示例性地，在基站网管的编译环境支持的编程语言c 的情况下，目标格式可以包括.xml格式、.h文件和.cpp格式，目标文件可以包括*.xml文件、*.h文件和*.cpp文件。其中，*.cpp文件为c 源文件，c 是一种计算机高级语言。
51.通过第二脚本，可以将中间文件转化为可用的形式(即目标文件)输出，得到真正需要的目标文件。
52.第二脚本，可以为支持多运行环境的脚本，可以跨平台使用(即在windows和linux环境下均可以运行)。示例性地，第二脚本的脚本语言可以为python或shell等。python或shell等语言易编写程序且脚本的运行灵活，在数据处理领域起到了非常重要的作用。
53.可以理解的是，步骤102之前，数据模型文件处理装置已安装好第二脚本的运行环境，即下载第二脚本的运行环境的安装包；下载该安装包之后，基于该安装包进行该运行环境的安装；安装完成之后，对安装的运行环境进行测试；若通过测试，则可以确定第二脚本的运行环境已安装好；若未通过测试，则可以重新基于安装包进行该运行环境的安装，或者重新下载安装包，直至安装的运行环境通过测试。
54.可选地，第一脚本和第二脚本的脚本语言相同，因而可以只用安装一种运行环境，减少步骤和存储空间的占用。
55.可选地，第二脚本除了用于数据筛选(即对参数进行筛选)之前，还可以用于数据压缩和数据清除。
56.可选地，获取目标文件之后，可以验证目标文件的正确性。具体可以通过目标文件是否能正确编译，验证目标文件的正确性。若目标文件能正确编译，则确定验证结果为目标文件正确；若目标文件编译错误，则确定验证结果为目标文件不正确。
57.可选地，在目标文件正确的情况下，可以将目标文件置于实际设备运行环境，即将目标文件复制到基站网管中进行存储，以便网管业务的某个任务的执行过程中，将该任务对应的目标文件读入内存。
58.使用第一脚本和第二脚本获得适用于各种环境的目标文件，目标文件可能包含原
32字符集描述参数的各属性(在第二部分参数表的数量小于第一部分参数表的数量的情况下)，或者将第一部分参数表转换为使用utf-16字符集描述参数的各属性(在第二部分参数表的数量大于第一部分参数表的数量的情况下)，实现字符集的统一。
70.参数属性表达的统一化处理，指对参数的属性的表达方式进行统一。
71.例如，无符号整型表达为unsignedint，unsignedint,unsigned等，可以统一为unsigned。
72.又如，同一参数表中某个参数的取值范围为[1,2]，其他参数的取值范围为[a:b]；其中，符号“,”和“:”均代表连续取值。由于总体数据中大部分连续取值都采用[a:b]的表达方式，可以将[1,2]改为[1:2]，与其他参数的表达方式统一，减少工作量。
[0073]
参数取值范围的冲突处理，指对于同一参数，参数表中的不同字段对于该参数的取值范围不一致(即存在冲突)，将不同字段对于该参数的取值范围调整为一致。
[0074]
本发明实施例通过对原始数据模型文件进行清理无效字符处理、字符集转换处理、参数属性表达的统一化处理和参数取值范围的冲突处理中的至少一项，实现对原始数据模型文件进行规范化处理，能得到正确、完整的中间文件，能避免将原始数据模型文件读入内存后进行数据纠错和缺省处理，能提高设备运行效率。
[0075]
基于上述任一实施例的内容，目标参数的属性，包括：目标参数的参数名、读写类型、参数类型、取值范围、默认值、通知类型、分组信息和层级关系。
[0076]
具体地，层级关系的定义为另一种目标文件，层级关系可以由参数名确定。
[0077]
在目标文件包括*.h文件的情况下，*.h文件可以存储有目标参数的参数名、读写类型和参数类型。
[0078]
参数名，指参数的名称。可选地，参数名还可以用于描述参数之间的层级关系。
[0079]
读写类型，可以包括只可读不可写、只可写不可读和可读可写。
[0080]
参数类型，可以包括整型、浮点型和字符型等。
[0081]
取值范围，可以携带有数据长度的信息
[0082]
通知类型，可以包括是否需要上报、上报方式(立即上报或周期性上报等)。
[0083]
分组信息，可以包括分组的组名称、索引和唯一标识码等。
[0084]
基于上述任一实施例的内容，对原始数据模型进行参数取值范围的冲突处理，具体包括：对于任一参数，对原始数据模型中定义的参数的多个取值范围进行取并集处理、取交集处理或选择多个取值范围中的任意一个取值范围。
[0085]
具体地，对于任一参数，原始数据模型的参数表中的多个字段都可以对该参数的取值范围进行定义，因而定义的多个取值范围可能并不一致。
[0086]
在多个取值范围存在冲突的情况下，将参数的取值范围调整为一致可以采用取交集、取并集或择一等方式。
[0087]
示例性地，对于某一参数，参数类型字段的值为int[-204:-60]，说明字段的值为取值范围[-202:-60]，二者存在分歧；可以选择的冲突处理规则可以包括：a)取两者交集，即[-202:-60]；b)取两者并集，即[-204:-60]。
[0088]
本发明实施例通过取并集处理、取交集处理或择一等方式，对原始数据模型进行参数取值范围的冲突处理，能处理参数取值范围的冲突，能避免将原始数据模型文件读入内存后进行数据纠错处理，能提高设备运行效率。
[0089]
基于上述任一实施例的内容，运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件之前，还包括：基于规范化处理的规则和第一脚本模板，生成第一脚本。
[0090]
具体地，步骤101之前，还可以接收第一输入；第一输入携带有基于第一脚本语言的、用于描述规范化处理的规则的语句的信息。
[0091]
规范化处理的规则，为对原始数据模型文件进行规范化处理的规则。
[0092]
基于第一输入和第一脚本模板，可以自动生成第一脚本。
[0093]
本发明实施例基于规范化处理的规则和第一脚本模板，生成第一脚本，能自动化生成第一脚本，能提高第一脚本的生成效率，能减少第一脚本的错误率。
[0094]
基于上述任一实施例的内容，运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件之前，还包括：基于目标数据转换规则和第二脚本模板，生成第二脚本。
[0095]
具体地，步骤102之前，还可以接收第二输入；第二输入携带有基于第二脚本语言的、用于描述目标数据转换规则的语句的信息。
[0096]
目标数据转换规则，为中间文件进行数据转换的规则。目标数据转换规则，与目标格式相对应。
[0097]
基于第二输入和第二脚本模板，可以自动生成第二脚本。
[0098]
本发明实施例基于目标数据转换规则和第二脚本模板，生成第二脚本，能自动化生成第二脚本，能提高第二脚本的生成效率，能减少第二脚本的错误率。
[0099]
下面对本发明提供的数据模型文件处理装置进行描述，下文描述的数据模型文件处理装置与上文描述的数据模型文件处理方法可相互对应参照。
[0100]
图2根据本发明实施例提供的数据模型文件处理装置的结构示意图。基于上述任一实施例的内容，如图2所示，该装置包括规范化处理模块201和数据转换模块202，其中：
[0101]
规范化处理模块201，运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件；
[0102]
数据转换模块202，运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
[0103]
具体地，规范化处理模块201和数据转换模块202电连接。
[0104]
规范化处理模块201可以通过执行预先获取的第一脚本，对原始数据模型文件进行规范化处理，实现对原始数据模型文件的数据梳理，输出中间文件。
[0105]
数据转换模块202可以通过执行预先获取的第二脚本，对中间文件中的参数进行筛选，筛选出各目标参数；基于目标参数的属性，生成目标格式的目标文件。
[0106]
可选地，规范化处理模块201对原始数据模型文件进行规范化处理，包括以下至少一项：
[0107]
对原始数据模型文件进行清理无效字符处理、字符集转换处理、参数属性表达的统一化处理和参数取值范围的冲突处理。
[0108]
可选地，目标参数的属性，包括：
[0109]
目标参数的参数名、读写类型、参数类型、取值范围、默认值、通知类型、分组信息和层级关系。
[0110]
可选地，规范化处理模块201对原始数据模型进行参数取值范围的冲突处理，具体
包括：
[0111]
对于任一参数，对原始数据模型中定义的参数的多个取值范围进行取并集处理、取交集处理或选择多个取值范围中的任意一个取值范围。
[0112]
可选地，该数据模型文件处理装置还可以包括：
[0113]
第一生成模块，用于基于规范化处理的规则和第一脚本模板，生成第一脚本。
[0114]
可选地，该数据模型文件处理装置还可以包括：
[0115]
第二生成模块，基于目标数据转换规则和第二脚本模板，生成第二脚本。
[0116]
本发明实施例提供的数据模型文件处理装置，用于执行本发明上述数据模型文件处理方法，其实施方式与本发明提供的数据模型文件处理方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0117]
该数据模型文件处理装置用于前述各实施例的数据模型文件处理方法。因此，在前述各实施例中的数据模型文件处理方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
[0118]
本发明实施例通过第一脚本，对原始数据模型文件进行规范化处理，得到中间文件，通过第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件，可以得到网管业务中各任务需要的目标文件，将原始数据模型文件中的庞大数据分解输出为各种形式的目标文件，网管设备按需取用，能提高设备运行效率。
[0119]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行数据模型文件处理方法，该方法包括：运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件；运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
[0120]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0121]
本技术实施例提供的电子设备中的处理器310可以调用存储器330中的逻辑指令，其实施方式与本技术提供的数据模型文件处理方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0122]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的数据模型文件处理方法，该方法包括：运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件；运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
[0123]
本技术实施例提供的计算机程序产品被执行时，实现上述数据模型文件处理方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0124]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的数据模型文件处理方法，该方法包括：运行第一脚本，对原始数据模型文件进行规范化处理，得到中间文件；运行第二脚本，对中间文件中的参数进行筛选，基于目标参数的属性，生成目标文件。
[0125]
本技术实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述数据模型文件处理方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0126]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0127]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0128]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。