一种数据对象解析方法、装置和电子设备与流程

1.本技术涉及计算机领域，尤其涉及一种数据对象解析方法、装置和电子设备。


背景技术：

2.不同的数据源中数据的数据格式和存储形式各异，数据具体字段的含义也千差万别，数据的不统一导致了不同供应商需要不同负责人进行对接或者需要开发不同的解析程序对回执数据解析，这大大浪费了人力成本和项目资源，同时也不利于对数据的分析和应用。
3.有必要提供一种高效的数据对象解析方法。


技术实现要素：

4.本说明书实施例提供一种数据对象解析方法、装置和电子设备，用以提高解析效率。
5.本说明书实施例提供一种数据对象解析方法，包括：
6.提供解析流程配置组件，响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器；
7.利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。
8.可选地，所述对不同数据源的数据对象的转换结果进行分组冗余存储，包括：
9.将不同数据源的转换结果分别写入数据源本地存储空间中，将各数据源本地存储空间的数据加载到外部数据库中对应组别的存储空间中。
10.可选地，还包括：
11.构造数据同步组件，响应于数据源本地存储空间中数据的更新，将更新的数据同步至外部数据库中。
12.可选地，所述响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，包括：
13.接收用户操作产生的规则参数，通过配置文件存储规则参数，生成数据抽取规则、数据转换规则和数据加载规则。
14.可选地，所述对数据对象进行解析和格式转换，包括：
15.确定各数据源的存储格式，匹配对应的数据转换规则，将不同数据源的数据对象转换成同一格式。
16.可选地，所述数据对象为营销系统的回执数据。
17.可选地，还包括：
18.对数据对象的转换结果标注数据源。
19.本说明书实施例还提供一种数据对象解析装置，包括：
20.配置模块，用于提供解析流程配置组件，响应于用户对解析流程各节点的配置操
作生成携带有配置文件的解析器；
21.解析模块，用于利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。
22.可选地，所述对不同数据源的数据对象的转换结果进行分组冗余存储，包括：
23.将不同数据源的转换结果分别写入数据源本地存储空间中，将各数据源本地存储空间的数据加载到外部数据库中对应组别的存储空间中。
24.可选地，还包括：
25.构造数据同步组件，响应于数据源本地存储空间中数据的更新，将更新的数据同步至外部数据库中。
26.可选地，所述响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，包括：
27.接收用户操作产生的规则参数，通过配置文件存储规则参数，生成数据抽取规则、数据转换规则和数据加载规则。
28.可选地，所述对数据对象进行解析和格式转换，包括：
29.确定各数据源的存储格式，匹配对应的数据转换规则，将不同数据源的数据对象转换成同一格式。
30.可选地，所述数据对象为营销系统的回执数据。
31.可选地，还包括：
32.对数据对象的转换结果标注数据源。
33.本说明书实施例还提供一种电子设备，其中，该电子设备包括：
34.处理器；以及，
35.存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项方法。
36.本说明书实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述任一项方法。
37.本说明书实施例提供的各种技术方案通过提供解析流程配置组件，响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。通过配置并生成配置文件的方式控制解析流程，在解析时，解析器自动实现对不同数据源的数据对象进行解析，提高了解析效率，通过分组冗余存储，便于管理。
附图说明
38.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
39.图1为本说明书实施例提供的一种数据对象解析方法的原理示意图；
40.图2为本说明书实施例提供的一种数据对象解析装置的结构示意图；
41.图3为本说明书实施例提供的一种电子设备的结构示意图；
42.图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
43.现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
44.在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
45.在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
46.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
47.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
48.术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
49.图1为本说明书实施例提供的一种数据对象解析方法的原理示意图，该方法可以包括：
50.s101：提供解析流程配置组件，响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器。
51.为了对解析流程进行控制，按照某种要求和规则进行解析，以及为了在解析要求出现变动时降低工作量，我们可以构建解析器，来记录解析的要求。
52.实施时，我们通过提供解析流程配置组件，接收用户的配置操作，这样，用户通过配置米就能告诉解析器该如何进行解析。
53.解析流程可以具有多个节点，比如，数据抽取、数据清洗、数据转换、规则检查和数据重载。
54.在本说明书实施例中，所述响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，包括：
55.接收用户操作产生的规则参数，通过配置文件存储规则参数，生成数据抽取规则、数据转换规则和数据加载规则。
56.在一种应用中，为了解决智能营销过程中不同供应商返回的回执数据的不同意，我们可以将不同供应商的数据库作为数据源，实现自适应数据抽取、转换、加载，将不同供应商复杂的数据进行统一标准格式化，使得不管来自哪家供应商都可以从数据接口进行接入，然后进行解析，再通过一系列转换完成标准化数据的统一输出，并将数据存储在关系型数据库中，这样有利于回执数据的追溯，更有利于对回执数据的分析与应用。
57.s102：利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。
58.该方法通过提供解析流程配置组件，响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。通过配置并生成配置文件的方式控制解析流程，在解析时，解析器自动实现对不同数据源的数据对象进行解析，提高了解析效率，通过分组冗余存储，便于管理。
59.在本说明书实施例中，所述数据对象为营销系统的回执数据。
60.在具体实施时，解析过程可以包括数据抽取节点、数据清洗节点、数据转换节点和规则检查节点。
61.首先是数据抽取节点。由于来自于各供应商的回执数据存储格式是各不相同的，因此我们通过读取配置文件中关于数据源的信息确定对哪些供应商数据进行解析，匹配数据的存储格式，按照配置文件中不同供应商对应的接口调用解析器对数据进行解析，然后通过配置文件中已定义的数据接口，对每个源文件及系统的每个字段标注供应商标识，使用模糊匹配的方式对各供应商回执数据进行分辨。
62.因此，在本说明书实施例中，该方法还可以包括：
63.对数据对象的转换结果标注数据源。
64.经过上述的数据抽取步骤后，我们能够分辨出数据的来源，接下来需要对异常数据进行清洗。
65.第一种需要清洗的是重复的回执数据，各供应商在智能营销语音外呼或者发送短信时，会对未触达的数据进行重新触达，这就导致在回执数据中会存在很多重复的数据，重复数据如果不处理会导致我们在统计有效触达数量时出现偏差，所以首先需要按照是否触达对重复数据进行去重。
66.第二种是在回执数据中会存在不完整数据，也就是特征值缺失，我们需要在已有的数据定义基础上对其进行补全，例如类别型数据重新设定一个
‘
空’类型等。
67.第三种是错误数据，这种情况是由于各供应商在采集营销数据回执时对其解析错误或者业务系统不够健全导致，比如数值数据输成全角数字字符、字符串数据连接有一个回车操作、日期格式不正确、日期越界等。在数据清洗模块中需要将这些错误数据全部按照一致性的原则进行修改。
68.数据转换节点。主要对经过初步数据清洗的回执进行标签化的转换，即将各供应商的回执数据转换成配置文件中已配置输出标准的数据。
69.因此，在本说明书实施例中，所述对数据对象进行解析和格式转换，可以包括：
70.确定各数据源的存储格式，匹配对应的数据转换规则，将不同数据源的数据对象转换成同一格式。
71.具体可以包括：
72.对空值数据的转换、对回执数据进行拆分、对数据进行验证、对数据关联和对通过转换后的回执数据进行规则检查。
73.其中，对空值数据的转换是指通过捕获字段空值，按照实际情况进行推演，替换为有实际含义的数据。
74.其中，对回执数据进行拆分，是指依据业务需求，将具有多重含义的数据进行标签化拆分，这样有利于对数据的应用与分析。
75.例如，可以将手机号拆分成对应的运营商、省份、城市等，将呼叫策略拆分成呼叫类型、策略分数、业务类型、阈值分数、组别，按照意向等级拆分为用户意向级别和接通情况等信息。
76.其中，对数据进行验证，是指根据实际情况对时间规则、业务规则和数据规则进行验证。例如，智能营销的结束时间不能早于触达时间，语音外呼的时长应该等于挂断时间和接通时间的差值，意向等级与对话文本能匹配等；
77.其中，对数据关联，是指按照用户级别将用户的所有数据进行关联，归结到同一条数据中，减少数据冗余，同时保障数据的完整性。例如历史营销数据和回执数据相互匹配，就说明该用户是我们安排的智能营销的用户。
78.最后一个节点，是对通过初步数据转换得到的回执数据进行规则检查，目的是为了识别经过数据清洗、数据转换、数据拆分、数据关联之后存在的异常数据。
79.在对数据处理完之后，需要将数据存储起来。
80.将通过以上步骤处理后处于数据缓存区的临时数据写入到对应的回执数据表中。
81.为了防止在数据抽取、数据清洗、数据转化过程中存在异常数据，便于日后对某个供应商的回执进行修改，该方法还可以采取可配置化归类加载的处理方法。即先将缓存区的数据按照配置文件中的供应商目录写入到对应本地文件中，然后再将本地文件加载到外部分区表中。
82.这样，日后如果需要对某个供应商数据进行修改，只需要修改本地文件，然后再重新上传即可，这样解决了因数据表中数据量过大而导致的修改效率低的问题。
83.在本说明书实施例中，所述对不同数据源的数据对象的转换结果进行分组冗余存储，包括：
84.将不同数据源的转换结果分别写入数据源本地存储空间中，将各数据源本地存储空间的数据加载到外部数据库中对应组别的存储空间中。
85.在本说明书实施例中，还包括：
86.构造数据同步组件，响应于数据源本地存储空间中数据的更新，将更新的数据同步至外部数据库中。
87.通过以上步骤我们将来自于各个供应商的数据全部转化为内部完整的、统一的、可识别的标签化数据。
88.通过可配置化文件控制数据处理流程，完成了根据配置文件调用数据处理接口对不同格式数据源的抽取工作，实现了动态调度功能。通过配置文件中已定义好的数据清理规则，完成对回执数据的清洗工作，使得回执数据中的重复数据、不完整数据、错误数据完成过滤，防止对后续数据的合并等产生影响；通过根据配置文件进行存储空间分配实现了分组冗余存储，有效提升数据修改效率。
89.图2为本说明书实施例提供的一种数据对象解析装置的结构示意图，该装置可以包括：
90.配置模块201，用于提供解析流程配置组件，响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器；
91.解析模块202，用于利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。
92.在本说明书实施例中，所述对不同数据源的数据对象的转换结果进行分组冗余存储，包括：
93.将不同数据源的转换结果分别写入数据源本地存储空间中，将各数据源本地存储空间的数据加载到外部数据库中对应组别的存储空间中。
94.在本说明书实施例中，还包括：
95.构造数据同步组件，响应于数据源本地存储空间中数据的更新，将更新的数据同步至外部数据库中。
96.在本说明书实施例中，所述响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，包括：
97.接收用户操作产生的规则参数，通过配置文件存储规则参数，生成数据抽取规则、数据转换规则和数据加载规则。
98.在本说明书实施例中，所述对数据对象进行解析和格式转换，包括：
99.确定各数据源的存储格式，匹配对应的数据转换规则，将不同数据源的数据对象转换成同一格式。
100.在本说明书实施例中，所述数据对象为营销系统的回执数据。
101.在本说明书实施例中，还包括：
102.对数据对象的转换结果标注数据源。
103.该装置提供解析流程配置组件，响应于用户对解析流程各节点的配置操作生成携带有配置文件的解析器，利用所述解析器确定对应的数据源，从所述数据源中提取数据对象，对数据对象进行解析和格式转换，对不同数据源的数据对象的转换结果进行分组冗余存储。通过配置并生成配置文件的方式控制解析流程，在解析时，解析器自动实现对不同数据源的数据对象进行解析，提高了解析效率，通过分组冗余存储，便于管理。
104.基于同一发明构思，本说明书实施例还提供一种电子设备。
105.下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
106.图3为本说明书实施例提供的一种电子设备的结构示意图。下面参照图3来描述根据本发明该实施例的电子设备300。图3显示的电子设备300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
107.如图3所示，电子设备300以通用计算设备的形式表现。电子设备300的组件可以包括但不限于：至少一个处理单元310、至少一个存储单元320、连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340等。
108.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元310执行，使得所述处理单元310执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元310可以执行如图1所示的步骤。
109.所述存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(rom)3203。
110.所述存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
111.总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
112.电子设备300也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口350进行。并且，电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器360可以通过总线330与电子设备300的其它模块通信。应当明白，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、rai d系统、磁带驱动器以及数据备份存储系统等。
113.通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：如图1所示的方法。
114.图4为本说明书实施例提供的一种计算机可读介质的原理示意图。
115.实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
116.所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
117.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序
代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
118.综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
119.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
120.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
121.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。