数据收集方法、装置、电子设备及可读存储介质与流程

1.本发明涉及数据采集技术领域，尤其涉及一种数据收集方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着科技的发展，数据收集对于数据分析、改进服务等场景越来越重要。目前，众多app中的服务数据，均是以对接供应商的方式来接入业务服务数据，大多数服务对接的都不止一家供应商，例如xx车主中的停车、加油、充电桩等业务，因此需要对同一服务下的多家供应商能力以及信息进行收集聚合，再去做对应的处理。
3.传统的解决方案是使用多线程来处理，启动多个子线程去获取各个接口中供应商的数据，然后进行数据的聚合(转换及分类等)处理。这样的方案，在供应商能力以及信息发生变化时，聚合后的数据有可能需要发生对应变更处理，由于需要评估变更的影响范围，且需要重新进行版本发布，开发量较大且容易对其他业务产生影响，影响数据收集效率。


技术实现要素：

4.本发明提供一种数据收集方法、装置、设备及存储介质，其主要目的在于解决数据收集效率较低的问题。
5.为实现上述目的，本发明提供的一种数据收集方法，包括：
6.获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口；
7.基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合；
8.利用所述接口测试用例集合对所述通用业务接口及所述个性化业务接口进行接口测试，并根据接口测试结果得到标准通用接口及标准个性化接口；
9.获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
10.可选地，所述提取所述业务接口集合中的通用业务参数及个性化业务参数，包括：
11.解析出所述业务接口集合中的业务参数集合；
12.接收通用选取指令，并根据所述通用选取指令从所述业务参数集合中选取的参数作为所述通用业务参数；
13.接收个性化选取指令，并根据所述个性化选取指令从所述业务参数集合中选取的参数作为所述个性化业务参数。
14.可选地，所述根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口，包括：
15.根据所述通用业务参数构建通用请求入参及通用请求出参，封装所述通用请求入参及通用请求出参生成所述通用业务接口；
16.根据所述个性化业务参数构建个性化入参及个性化出参，封装所述个性化入参、所述个性化出参及预设的个性化标识，得到所述个性化业务接口。
17.可选地，所述基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合，包括：
18.解析预设的树状模板得到树形节点；
19.将所述通用业务参数加载至所述树形节点中，得到第一树形节点，并在所述第一树形节点中添加通用测试变量节点，将预设的通用测试参数加载至所述通用测试变量节点中，得到通用接口测试用例；
20.将所述个性化业务参数加载至所述树形节点中，得到第二树形节点，并在所述第二树形节点中添加个性化测试变量节点，将预设的个性化测试参数加载至所述个性化测试变量节点中，得到个性化接口测试用例；
21.汇总所述通用接口测试用例及所述个性化接口测试用例得到所述接口测试用例集合。
22.可选地，所述利用所述接口测试用例集合对所述通用业务接口及所述个性化业务接口进行接口测试，并根据接口测试结果得到标准通用接口及标准个性化接口，包括：
23.根据所述通用接口测试用例生成通用测试脚本，及根据所述个性化接口测试用例生成个性化测试脚本；
24.运行所述通用测试脚本对所述通用业务接口进行测试，以及运行所述个性化测试脚本对所述个性化业务接口进行测试，将测试通过的通用业务接口作为所述标准通用接口，以及将测试通过的个性化业务接口作为所述标准个性化接口。
25.可选地，所述根据所述通用接口测试用例生成通用测试脚本，包括：
26.获取所述通用接口测试用例中树形节点的节点值及节点层级，将所述节点值映射为接口测试脚本的脚本值，将所述节点层级映射为接口测试脚本的运行逻辑，根据所述脚本值及运行逻辑，生成所述通用测试脚本。
27.可选地，所述获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据，包括：
28.利用预设的流技术对所述标准通用接口及所述标准个性化接口进行线程分发；
29.调用所述收集器收集所有线程返回的业务数据；
30.利用所述收集器对所述业务数据进行数据分类及数据清洗，得到所述标准业务数据。
31.为了解决上述问题，本发明还提供一种数据收集装置，所述装置包括：
32.接口构建模块，用于获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口；
33.测试用例构建模块，用于基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合；
34.接口测试模块，用于利用所述接口测试用例集合对所述通用业务接口及所述个性化业务接口进行接口测试，并根据接口测试结果得到标准通用接口及标准个性化接口；
35.数据收集模块，用于获取所述标准通用接口及所述标准个性化接口收集的业务数
据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
36.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
37.存储器，存储至少一个计算机程序；及
38.处理器，执行所述存储器中存储的计算机程序以实现上述所述的数据收集方法。
39.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据收集方法。
40.本发明通过提取业务接口集合中的通用业务参数及个性化业务参数，将接口中的共性及特征进行分离，并根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口，通过分别构建业务接口，在接口参数进行调整时，只需要单独调整通用业务接口或个性化业务接口，大大减少了开发量，同时不会对其他业务接口的功能产生影响，提高了数据收集效率。并且，对于通用业务接口或个性化业务接口可以单独进行接口测试，也提高了接口测试的准确率。因此本发明提出的数据收集方法、装置、电子设备及计算机可读存储介质，可以解决数据收集效率较低的问题。
附图说明
41.图1为本发明一实施例提供的数据收集方法的流程示意图；
42.图2为本发明一实施例提供的数据收集装置的功能模块图；
43.图3为本发明一实施例提供的实现所述数据收集方法的电子设备的结构示意图。
44.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
45.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
46.本技术实施例提供一种数据收集方法。所述数据收集方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述数据收集方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
47.参照图1所示，为本发明一实施例提供的数据收集方法的流程示意图。在本实施例中，所述数据收集方法包括：
48.s1、获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口。
49.本发明实施例中，所述业务接口集合可以为app中的业务服务接口，例如xx车主app中，是以对接供应商接口的方式接入业务能力，并进行业务数据收集，大多数服务对接的都不止一家供应商，例如停车、加油、充电桩等业务接口。
50.具体地，所述提取所述业务接口集合中的通用业务参数及个性化业务参数，包括：
51.解析出所述业务接口集合中的业务参数集合；
52.接收通用选取指令，并根据所述通用选取指令从所述业务参数集合中选取的参数作为所述通用业务参数；
53.接收个性化选取指令，并根据所述个性化选取指令从所述业务参数集合中选取的参数作为所述个性化业务参数。
54.本发明实施例中，所述业务参数集合中包括不同供应商的接口参数，例如，停车的业务接口中包括请求参数、订单参数、停车场参数、不同供应商的属性参数等。同时，由于业务参数中存在各供应商通用的参数，以及各供应商特有的参数，利用所述通用选取指令及个性化选取指令来分别进行选取，提高了参数选取的灵活性，例如，通用业务参数可以为订单参数、停车场参数，个性化参数可以为不同供应商的属性参数。
55.详细地，所述根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口，包括：
56.根据所述通用业务参数构建通用请求入参及通用请求出参，封装所述通用请求入参及通用请求出参生成所述通用业务接口；
57.根据所述个性化业务参数构建个性化入参及个性化出参，封装所述个性化入参、所述个性化出参及预设的个性化标识，得到所述个性化业务接口。
58.本发明实施例中，针对某一个服务，所有供应商的某一能力具有共性，同时又具有各自的特性，例如，对于停车业务的接口，每一家供应商都会使用，因此可以构建此接口的通用请求入参为停车场参数，通用请求出参为停车场列表，封装通用出参入参得到commonprovider(通用业务接口)，对于a供应商，个性化入参可以为请求数据参数，个性化出参可以为属性参数，并生成关于a供应商的个性化标识，封装得到provider(个性化业务接口)
59.本发明一可选实施例中，通过将每个供应商的特殊处理封装成一个个provider来进行个性处理，且保持同步请求方式，每次新对接供应商时，只需要新建对应供应商的provider即可处理对应的业务能力，所有供应商的共性处理部分可以定义一个commonprovider来进行处理，大大降低了开发量，同时每一个provider可单独进行测试，减少了测试的复杂性。
60.s2、基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合。
61.具体地，所述基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合，包括：
62.解析预设的树状模板得到树形节点；
63.将所述通用业务参数加载至所述树形节点中，得到第一树形节点，并在所述第一树形节点中添加通用测试变量节点，将预设的通用测试参数加载至所述通用测试变量节点中，得到通用接口测试用例；
64.将所述个性化业务参数加载至所述树形节点中，得到第二树形节点，并在所述第二树形节点中添加个性化测试变量节点，将预设的个性化测试参数加载至所述个性化测试变量节点中，得到个性化接口测试用例；
65.汇总所述通用接口测试用例及所述个性化接口测试用例得到所述接口测试用例
集合。
66.本发明实施例中，所述树状模板可根据思维导图工具(xmind)等进行绘制。对于通用接口测试用例，所述通用测试参数包括请求名称、请求数量等测试参数，对于个性化接口测试用例，所述个性化测试参数包括字符是否必填、允许录入最大长度、不允许录入最大长度-1、不允许录入最大长度 1、是否可录入中文、是否可录入小写英文、是否可录入大写英文、是否可录入中文状态下的特殊字符以及是否可录入英文状态下的特殊字符等。
67.详细地，所述解析预设的树状模板得到树形节点，包括：
68.解析所述树状模板的源文件，通过遍历操作从所述源文件中获取所述树形节点。
69.本发明一可选实施例中，所述源文件的解析通过所述xmind源文件核心core文件的jar包实现，用于加载后续接口测试的参数，所述树形节点的查询通过所述xmind的工具包进行api接口遍历查询得到，以确定后续接口测试的参数位置信息。
70.本发明实施例中，对于每个通用接口及个性化接口都可以生成单独的测试用例，提高了接口测试的准确性。
71.s3、基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合。
72.具体地，所述基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合，包括：
73.解析预设的树状模板得到树形节点；
74.将所述通用业务参数加载至所述树形节点中，得到第一树形节点，并在所述第一树形节点中添加通用测试变量节点，将预设的通用测试参数加载至所述通用测试变量节点中，得到通用接口测试用例；
75.将所述个性化业务参数加载至所述树形节点中，得到第二树形节点，并在所述第二树形节点中添加个性化测试变量节点，将预设的个性化测试参数加载至所述个性化测试变量节点中，得到个性化接口测试用例；
76.汇总所述通用接口测试用例及所述个性化接口测试用例得到所述接口测试用例集合。
77.本发明实施例中，所述树状模板可根据思维导图工具(xmind)等进行绘制。对于通用接口测试用例，所述通用测试参数包括请求名称、请求数量等测试参数，对于个性化接口测试用例，所述个性化测试参数包括字符是否必填、允许录入最大长度、不允许录入最大长度-1、不允许录入最大长度 1、是否可录入中文、是否可录入小写英文、是否可录入大写英文、是否可录入中文状态下的特殊字符以及是否可录入英文状态下的特殊字符等。
78.详细地，所述解析预设的树状模板得到树形节点，包括：
79.解析所述树状模板的源文件，通过遍历操作从所述源文件中获取所述树形节点。
80.本发明一可选实施例中，所述源文件的解析通过所述xmind源文件核心core文件的jar包实现，用于加载后续接口测试的参数，所述树形节点的查询通过所述xmind的工具包进行api接口遍历查询得到，以确定后续接口测试的参数位置信息。
81.本发明实施例中，对于每个通用接口及个性化接口都可以生成单独的测试用例，提高了接口测试的准确性。
82.s4、获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
83.本发明实施例中，所述预设的收集器可以为collector，collector将各个接口收集到的供应商的数据进行收集整理，做对应的数据转换，所述数据转换包括将数据清洗及数据分类。
84.详细地，所述获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据，包括：
85.利用预设的流技术对所述标准通用接口及所述标准个性化接口进行线程分发；
86.调用所述收集器收集所有线程返回的业务数据；
87.利用所述收集器对所述业务数据进行数据分类及数据清洗，得到所述标准业务数据。
88.本发明实施例中，所述预设的流技术可以为stream，通过定义stream的能力，stream负责分发线程给每个provider和commonprovider，同时调用collector对所有业务数据进行收集及转换。
89.具体地，所述利用所述收集器对所述业务数据进行数据分类及数据清洗，得到所述标准业务数据，包括：
90.利用所述个性化标识对所述业务数据进行数据分类，得到分类业务数据集合；
91.利用预设的正则表达式对所述分类业务数据集合中的数据进行数据去重、数据去异常及数据缺失值填充，得到所述标准业务数据。
92.本发明实施例中，可以通过所述个性化标识来将不同供应商的数据进行分类，同时由于分类业务数据集合中会出现不规范的数据，通过正则表达式可以快速过滤数据，匹配出需要的信息，提高数据收集的准确性。
93.本发明通过提取业务接口集合中的通用业务参数及个性化业务参数，将接口中的共性及特征进行分离，并根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口，通过分别构建业务接口，在接口参数进行调整时，只需要单独调整通用业务接口或个性化业务接口，大大减少了开发量，同时不会对其他业务接口的功能产生影响，提高了数据收集效率。并且，对于通用业务接口或个性化业务接口可以单独进行接口测试，也提高了接口测试的准确率。因此本发明提出的数据收集方法，可以解决数据收集效率较低的问题。
94.如图2所示，是本发明一实施例提供的数据收集装置的功能模块图。
95.本发明所述数据收集装置100可以安装于电子设备中。根据实现的功能，所述数据收集装置100可以包括代码接口构建模块101、测试用例构建模块102、接口测试模块103及数据收集模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
96.在本实施例中，关于各模块/单元的功能如下：
97.所述接口构建模块101，用于获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口；
98.所述测试用例构建模块102，用于基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合；
99.所述接口测试模块103，用于利用所述接口测试用例集合对所述通用业务接口及
所述个性化业务接口进行接口测试，并根据接口测试结果得到标准通用接口及标准个性化接口；
100.所述数据收集模块104，用于获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
101.详细地，所述数据收集装置100各模块的具体实施方式如下：
102.步骤一、获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口。
103.本发明实施例中，所述业务接口集合可以为app中的业务服务接口，例如xx车主app中，是以对接供应商接口的方式接入业务能力，并进行业务数据收集，大多数服务对接的都不止一家供应商，例如停车、加油、充电桩等业务接口。
104.具体地，所述提取所述业务接口集合中的通用业务参数及个性化业务参数，包括：
105.解析出所述业务接口集合中的业务参数集合；
106.接收通用选取指令，并根据所述通用选取指令从所述业务参数集合中选取的参数作为所述通用业务参数；
107.接收个性化选取指令，并根据所述个性化选取指令从所述业务参数集合中选取的参数作为所述个性化业务参数。
108.本发明实施例中，所述业务参数集合中包括不同供应商的接口参数，例如，停车的业务接口中包括请求参数、订单参数、停车场参数、不同供应商的属性参数等。同时，由于业务参数中存在各供应商通用的参数，以及各供应商特有的参数，利用所述通用选取指令及个性化选取指令来分别进行选取，提高了参数选取的灵活性，例如，通用业务参数可以为订单参数、停车场参数，个性化参数可以为不同供应商的属性参数。
109.详细地，所述根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口，包括：
110.根据所述通用业务参数构建通用请求入参及通用请求出参，封装所述通用请求入参及通用请求出参生成所述通用业务接口；
111.根据所述个性化业务参数构建个性化入参及个性化出参，封装所述个性化入参、所述个性化出参及预设的个性化标识，得到所述个性化业务接口。
112.本发明实施例中，针对某一个服务，所有供应商的某一能力具有共性，同时又具有各自的特性，例如，对于停车业务的接口，每一家供应商都会使用，因此可以构建此接口的通用请求入参为停车场参数，通用请求出参为停车场列表，封装通用出参入参得到commonprovider(通用业务接口)，对于a供应商，个性化入参可以为请求数据参数，个性化出参可以为属性参数，并生成关于a供应商的个性化标识，封装得到provider(个性化业务接口)
113.本发明一可选实施例中，通过将每个供应商的特殊处理封装成一个个provider来进行个性处理，且保持同步请求方式，每次新对接供应商时，只需要新建对应供应商的provider即可处理对应的业务能力，所有供应商的共性处理部分可以定义一个commonprovider来进行处理，大大降低了开发量，同时每一个provider可单独进行测试，减少了测试的复杂性。
114.步骤二、基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合。
115.具体地，所述基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合，包括：
116.解析预设的树状模板得到树形节点；
117.将所述通用业务参数加载至所述树形节点中，得到第一树形节点，并在所述第一树形节点中添加通用测试变量节点，将预设的通用测试参数加载至所述通用测试变量节点中，得到通用接口测试用例；
118.将所述个性化业务参数加载至所述树形节点中，得到第二树形节点，并在所述第二树形节点中添加个性化测试变量节点，将预设的个性化测试参数加载至所述个性化测试变量节点中，得到个性化接口测试用例；
119.汇总所述通用接口测试用例及所述个性化接口测试用例得到所述接口测试用例集合。
120.本发明实施例中，所述树状模板可根据思维导图工具(xmind)等进行绘制。对于通用接口测试用例，所述通用测试参数包括请求名称、请求数量等测试参数，对于个性化接口测试用例，所述个性化测试参数包括字符是否必填、允许录入最大长度、不允许录入最大长度-1、不允许录入最大长度 1、是否可录入中文、是否可录入小写英文、是否可录入大写英文、是否可录入中文状态下的特殊字符以及是否可录入英文状态下的特殊字符等。
121.详细地，所述解析预设的树状模板得到树形节点，包括：
122.解析所述树状模板的源文件，通过遍历操作从所述源文件中获取所述树形节点。
123.本发明一可选实施例中，所述源文件的解析通过所述xmind源文件核心core文件的jar包实现，用于加载后续接口测试的参数，所述树形节点的查询通过所述xmind的工具包进行api接口遍历查询得到，以确定后续接口测试的参数位置信息。
124.本发明实施例中，对于每个通用接口及个性化接口都可以生成单独的测试用例，提高了接口测试的准确性。
125.步骤三、基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合。
126.具体地，所述基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合，包括：
127.解析预设的树状模板得到树形节点；
128.将所述通用业务参数加载至所述树形节点中，得到第一树形节点，并在所述第一树形节点中添加通用测试变量节点，将预设的通用测试参数加载至所述通用测试变量节点中，得到通用接口测试用例；
129.将所述个性化业务参数加载至所述树形节点中，得到第二树形节点，并在所述第二树形节点中添加个性化测试变量节点，将预设的个性化测试参数加载至所述个性化测试变量节点中，得到个性化接口测试用例；
130.汇总所述通用接口测试用例及所述个性化接口测试用例得到所述接口测试用例集合。
131.本发明实施例中，所述树状模板可根据思维导图工具(xmind)等进行绘制。对于通用接口测试用例，所述通用测试参数包括请求名称、请求数量等测试参数，对于个性化接口测试用例，所述个性化测试参数包括字符是否必填、允许录入最大长度、不允许录入最大长
度-1、不允许录入最大长度 1、是否可录入中文、是否可录入小写英文、是否可录入大写英文、是否可录入中文状态下的特殊字符以及是否可录入英文状态下的特殊字符等。
132.详细地，所述解析预设的树状模板得到树形节点，包括：
133.解析所述树状模板的源文件，通过遍历操作从所述源文件中获取所述树形节点。
134.本发明一可选实施例中，所述源文件的解析通过所述xmind源文件核心core文件的jar包实现，用于加载后续接口测试的参数，所述树形节点的查询通过所述xmind的工具包进行api接口遍历查询得到，以确定后续接口测试的参数位置信息。
135.本发明实施例中，对于每个通用接口及个性化接口都可以生成单独的测试用例，提高了接口测试的准确性。
136.步骤四、获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
137.本发明实施例中，所述预设的收集器可以为collector，collector将各个接口收集到的供应商的数据进行收集整理，做对应的数据转换，所述数据转换包括将数据清洗及数据分类。
138.详细地，所述获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据，包括：
139.利用预设的流技术对所述标准通用接口及所述标准个性化接口进行线程分发；
140.调用所述收集器收集所有线程返回的业务数据；
141.利用所述收集器对所述业务数据进行数据分类及数据清洗，得到所述标准业务数据。
142.本发明实施例中，所述预设的流技术可以为stream，通过定义stream的能力，stream负责分发线程给每个provider和commonprovider，同时调用collector对所有业务数据进行收集及转换。
143.具体地，所述利用所述收集器对所述业务数据进行数据分类及数据清洗，得到所述标准业务数据，包括：
144.利用所述个性化标识对所述业务数据进行数据分类，得到分类业务数据集合；
145.利用预设的正则表达式对所述分类业务数据集合中的数据进行数据去重、数据去异常及数据缺失值填充，得到所述标准业务数据。
146.本发明实施例中，可以通过所述个性化标识来将不同供应商的数据进行分类，同时由于分类业务数据集合中会出现不规范的数据，通过正则表达式可以快速过滤数据，匹配出需要的信息，提高数据收集的准确性。
147.本发明通过提取业务接口集合中的通用业务参数及个性化业务参数，将接口中的共性及特征进行分离，并根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口，通过分别构建业务接口，在接口参数进行调整时，只需要单独调整通用业务接口或个性化业务接口，大大减少了开发量，同时不会对其他业务接口的功能产生影响，提高了数据收集效率。并且，对于通用业务接口或个性化业务接口可以单独进行接口测试，也提高了接口测试的准确率。因此本发明提出的数据收集装置，可以解决数据收集效率较低的问题。
148.如图3所示，是本发明一实施例提供的实现数据收集方法的电子设备的结构示意
图。
149.所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如数据收集程序。
150.其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如数据收集程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
151.所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如数据收集程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
152.所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
153.所述总线13可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
154.图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
155.例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘
述。
156.进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。
157.可选地，该电子设备还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
158.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
159.所述电子设备中的所述存储器11存储的数据收集程序是多个指令的组合，在所述处理器10中运行时，可以实现：
160.获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口；
161.基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合；
162.利用所述接口测试用例集合对所述通用业务接口及所述个性化业务接口进行接口测试，并根据接口测试结果得到标准通用接口及标准个性化接口；
163.获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
164.具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
165.进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
166.本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
167.获取业务接口集合，提取所述业务接口集合中的通用业务参数及个性化业务参数，根据所述通用业务参数构建通用业务接口，以及根据所述个性化业务参数构建个性化业务接口；
168.基于所述通用业务参数及所述个性化业务参数构建接口测试用例集合；
169.利用所述接口测试用例集合对所述通用业务接口及所述个性化业务接口进行接口测试，并根据接口测试结果得到标准通用接口及标准个性化接口；
170.获取所述标准通用接口及所述标准个性化接口收集的业务数据，并利用预设的收集器对所述业务数据进行数据转换，得到标准业务数据。
171.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以
通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
172.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
173.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
174.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
175.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
176.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
177.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
178.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
179.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
180.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。