数据采集方法及装置与流程

1.本发明涉及数据处理技术领域，特别涉及一种数据采集方法及装置。


背景技术：

2.在生产厂家的数字化管理系统中，在生产产品过程中，经常需要采集各条产品线的数据信息。
3.目前，在生产厂家的数字化管理系统中，如需在系统中采集各条产品线的数据信息，如产品线的型号、产品线的产值信息、产品线的生产时间等，都需要在系统中逐条增加，或者按照系统规定的模板制作成excel(电子表格)文件，再在系统中导入该excel文件。而对应不同的表单，如产品型号表和产品产值信息表，因表单字段不同，无法使用统一模板的excel表。因此，就必须根据不同的表单配置不同的模板，这样一来就需要在设计数字化管理系统之初就做好相应的配置。
4.然而，计划赶不上变化，日后企业使用过程中需要变更模板时，又需要设计人员变更设计，数据模板创建效率低。同时变更模板以后，之前采集的历史数据重新导入新的模板数据库中，操作很繁琐，容易出现数据遗漏等情况。由此可见，现有技术的数据采集方式不能灵活适应企业的需求，维护成本较高。


技术实现要素：

5.本发明提供了一种数据采集方法及装置。本发明的技术方案如下：
6.第一方面，提供了一种，数据采集方法，其包括：
7.当平台检测到数据采集服务开启后，判断是否需要创建新的数据模板；
8.如果确定需要创建新的数据模板，则判断是通过所述平台创建数据模板还是通过移动终端创建数据模板；
9.如果确定通过所述平台创建数据模板，则配置预设的数据模板基本元素生成目标数据模板；如果确定通过移动终端创建数据模板，则获取由移动终端配置预设数据模板基本元素生成的目标数据模板；
10.根据所述目标数据模板生成用于平台进行数据批量采集的指定电子表格和用于移动终端进行实时数据采集的指定二维码；
11.获取采集的数据，并判断所采集的数据是通过所述指定电子表格导入的数据还是通过所述指定二维码实时采集的数据；
12.如果确定是通过所述指定电子表格导入的数据，则选择数据模板；如果确定是通过所述指定二维码实时采集的数据，则识别数据模板；
13.解析采集到的数据，并将采集到的数据保存到原始数据库；
14.根据选择的数据模板或识别的数据模板，将采集到的数据从所述原始数据库迁移到所述目标数据模板对应的数据库；
15.验证迁移到所述目标数据模板对应的数据库中的数据是否完整，如果迁移到所述
目标数据模板对应的数据库中的数据完整，则完成数据采集。
16.可选地，所述判断是否需要创建新的数据模板之后，还包括：
17.如果确定需要创建新的数据模板，则判断是否需要创建新的数据模板基本元素；
18.如果需要创建新的数据模板基本元素，则根据数据采集需求创建新的数据模板基本元素。
19.可选地，所述移动终端通过其上的小程序扫描所述指定二维码进行实时数据采集。
20.可选地，所述验证迁移到所述目标数据模板对应的数据库中的数据是否完整之后，还包括：
21.如果迁移到所述目标数据模板对应的数据库中的数据不完整，则重新返回所述原始数据库进行数据同步。
22.可选地，所述解析采集到的数据，并将采集到的数据保存到原始数据库，包括：
23.将采集到的数据解析成各条数据，并生成每条数据的数据标识，将每条数据及其数据标识保存到原始数据库。
24.可选地，所述将采集到的数据从所述原始数据库迁移到所述目标数据模板对应的数据库之后，还包括：
25.根据所述目标数据模板中的元素对采集到的数据进行过滤，过滤掉所述目标数据模板中不存在的元素对应的数据；
26.根据数据标识对所述目标数据模板中的数据进行过滤，过滤掉重复数据。
27.可选地，所述验证迁移到所述目标数据模板对应的数据库中的数据是否完整，包括：
28.验证迁移到所述目标数据模板对应的数据库中的数据是否包含采集到的每条数据的数据标识，如果是，则确定所迁移的数据完整；否则，根据数据标识重新从所述原始数据库中查询并拷贝遗漏的数据。
29.第二方面，提供了一种数据采集装置，其包括：
30.第一判断单元，配置为当平台检测到数据采集服务开启后，判断是否需要创建新的数据模板；
31.第二判断单元，配置为如果确定需要创建新的数据模板，则判断是通过所述平台创建数据模板还是通过移动终端创建数据模板；
32.模板配置单元，配置为如果确定通过平台创建数据模板，则配置预设的数据模板基本元素生成目标数据模板；如果确定通过移动终端创建数据模板，则获取由移动终端配置预设数据模板基本元素生成的目标数据模板；
33.生成单元，配置为根据所述目标数据模板生成用于平台进行数据批量采集的指定电子表格和用于移动终端进行实时数据采集的指定二维码；
34.数据获取及判断单元，配置为获取采集的数据，并判断所采集的数据是通过所述指定电子表格导入的数据还是通过所述指定二维码实时采集的数据；
35.数据模板选择单元，配置为如果确定是通过所述指定电子表格导入的数据，则选择数据模板；如果确定是通过所述指定二维码实时采集的数据，则识别数据模板；
36.数据解析及存储单元，配置为解析采集到的数据，并将采集到的数据保存到原始
数据库；
37.数据迁移单元，配置为根据选择的数据模板或识别的数据模板，将采集到的数据从所述原始数据库迁移到所述目标数据模板对应的数据库；
38.数据验证单元，用于验证迁移到所述目标数据模板对应的数据库中的数据是否完整，如果迁移到所述目标数据模板对应的数据库中的数据完整，则完成数据采集。
39.第三方面，提供了一种数据采集装置，其包括：至少一个存储器和至少一个处理器；
40.所述至少一个存储器，用于存储机器可读程序；
41.所述至少一个处理器，用于调用所述机器可读程序，执行上述第一方面所述的方法。
42.第四方面，提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述第一方面所述的方法。
43.根据说明书实施例提供的方法和装置，通过预先创建数据模板基本元素，然后通过小程序或者平台勾选数据模板元素，自由组合数据模板基本元素即可实现数据模板创建，不仅实现创建数据模板的移动化，而且当数据模板变更时，能够快速创建数据模板，提升了数据模板的创建效率。另外，通过创建数据模板，提升了导入数据的效率。通过移动终端进行数据采集，实现了实时数据的采集。通过添加修改数据模板的方案，实现了数据模板历史数据向新数据模板的数据库的迁移。通过在从原始数据加载到对应的数据模板的数据库过程中，添加验证数据完整性的机制，保证了数据模板采集数据的完整性。本发明具有能够灵活适应企业的需求，维护成本较低等优点。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明一个实施例提供的数据采集方法的流程图。
46.图2是本发明一个实施例提供的数据采集方法的流程图。
47.图3是本发明一个实施例提供的数据采集装置的框图。
48.图4是本发明一个实施例提供的数据采集装置的结构示意图。
具体实施方式
49.本发明实施例提供了一种数据采集方法，该方法可以通过任何具有计算、处理能力的装置、设备、平台或设备集群来执行。如图1所示，该方法可以包括以下步骤：
50.步骤101、当平台检测到数据采集服务开启后，判断是否需要创建新的数据模板。
51.其中，生产线在生产不同的产品时往往需要不同的数据模板，因此，在判断是否需要创建新的数据模板时，可以根据生产线即将要生产产品的类型与上一次生产产品的类型是否相同来实现。具体地，如果生产线即将要生产产品的类型与上一次生产产品的类型不相同，则确定需要创建新的数据模板。如果生产线即将要生产产品的类型与上一次生产产
品的类型相同，则确定不需要创建新的数据模板。
52.例如，生产线上一次生产的产品为单片机板，其记录的数据包括单片机产地，生产线即将要生产产品为啤酒机，其记录的数据包括啤酒桶的大小，由于需要记录的数据有各自的产品特点，因此，如果生产线由生产单片机板转为生产啤酒机，则需要创建新的数据模板。当然，如果生产线即将要生产产品为另一型号的单片机板，可能就不需要创建新的数据模板。
53.步骤103、如果确定需要创建新的数据模板，则判断是通过平台创建数据模板还是通过移动终端创建数据模板。
54.步骤105、如果确定通过平台创建数据模板，则配置预设的数据模板基本元素生成目标数据模板。
55.具体地，本发明实施例提供的方法在进行数据采集之前，会预先根据数据采集需求预先设置各种各样的数据模板基本元素，在此基础上，当需要创建数据模板时，用户通过平台或移动终端勾选这些数据模板基本元素并进行组合即可生成数据模板。进一步地，用户勾选数据模板基本元素时，可以在平台进行，也可以在移动终端进行。此处的移动终端可以为其上安装的应用，也可以为嵌入某一个应用中的小程序。
56.当用户在平台勾选数据模板基本元素生成目标数据模板时，平台配置用户勾选的一个或多个数据模板基本元素即可生成目标数据模板。其中，在创建目标数据模板的时候，一些基本信息可以提前配置好，例如产品型号、产品规格、生产地址等。
57.步骤107、如果确定通过移动终端创建数据模板，则获取由移动终端配置预设数据模板基本元素生成的目标数据模板。
58.当用户在移动终端勾选数据模板基本元素生成目标数据模板时，移动终端配置用户勾选的一个或多个数据模板基本元素生成目标数据模板，并将生成的目标数据模板发送至平台。
59.步骤109、根据目标数据模板生成用于平台进行数据批量采集的指定电子表格和用于移动终端进行实时数据采集的指定二维码。
60.在本发明实施例中，在生成数据模板后，平台还会进一步生成数据模板的电子表格或二维码。电子表格用于工厂填写，电子表格的基本信息，包括型号、规格、时间、产线以及产品的基本信息。电子表格中关于产品的基本信息或通用信息已经提前生成，只需要填写数据即可。电子表格的信息填写完毕以后，通过平台导入即可将电子表格里面的信息采集到平台的原始数据库。二维码用于移动终端的实时数据采集，二维码包含一个表单信息，表单里面的基本信息，包括型号、规格、时间、产线以及产品的基本信息。二维码中已经包括产品的基本信息或通用信息，移动终端扫码以后，只需要将当前的实时的关键数据填入即可，填写完毕以后，点击提交按钮，即将当前的实时数据采集到平台的原始数据库。
61.步骤111、获取采集的数据，并判断所采集的数据是通过指定电子表格导入的数据还是通过指定二维码实时采集的数据。
62.可选地，平台获取采集的数据时：当同时获取多个电子表格或多个二维码采集的数据时，采用分布式并行数据采集方式。多路导入数据，提升了上传数据的效率，同时也保证了上传数据阶段数据不会丢失。
63.平台在采集数据时，统计人员根据需要下载指定电子表格，填写指定电子表格的
必填信息，填写完成以后，通过平台的导入指定电子表格功能进行批量数据导入，实现批量数据采集。移动终端在采集数据时，统计人员根据需要下载并打印指定二维码，将指定二维码贴在对应的生产线，生产线统计人员采集实时数据时，扫描一下指定二维码，然后在加载出来的页面填写必填的采集信息，填写完毕以后，点击上传，即实现了单次的实时数据采集。
64.本发明实施例除了通过平台导入电子表格里的数据来实现批量数据采集外，还增加了通过移动终端进行实时数据采集的功能。移动终端采集数据时，优选通过其上的小程序来实现。采用移动终端进行数据采集的优点如下：
65.a、通过移动终端远程操作来创建数据模板，可以实现创建数据模板的移动化和实时性，可以在任何地方任何时间进行数据模板创建，而不用依赖于办公环境。而常规的数据模板只能通过电脑来创建，不能实现创建数据模板的移动化。
66.b、通过移动终端来采集数据，可以实现实时数据的采集。常规的数据采集方式有两大类，第一大类是通过电子表格来统计，然后将电子表格上传至服务器进行一段时间的数据采集，这种采集方式采集的数据时效性较差。第二大类是通过添加摄像头、扫描这一类的硬件，通过硬件来实现实时数据的采集，这种方式的优点是时效性很快，但是缺点也很明显，首先需要增加硬件采购费用，其次需要增加开发工作量，需要将采购的硬件接入到平台。
67.综上所述，采用小程序端来进行采集数据，在创建数据模板阶段可以实现数据模板的移动化和实时性。在数据采集阶段，可以实现实时数据的采集，同时不需要增加额外的硬件采购费用和硬件接入的开发费用。
68.步骤113、如果确定是通过指定电子表格导入的数据，则选择数据模板；如果确定是通过指定二维码实时采集的数据，则识别数据模板。
69.由于对于平台而言，同一时刻上传至其上的数据比较多，可能来自多个不同的数据模板，在本发明实施例中，为了判断所采集的数据是来自哪个数据模板的数据，当平台获取的数据是通过电子表格导入的数据，则选择数据模板，以便将所采集的数据正确存储至原始数据库。
70.而对于通过指定二维码实时采集的数据，在移动终端进行二维码识别的时候，平台即可识别得其数据模板。
71.步骤115、解析采集到的数据，并将采集到的数据保存到原始数据库。
72.其中，采集数据的时候，为了防止数据遗漏，本发明实施例可以将采集数据的过程分为两步，第一步为向平台上传数据，第二步再解析数据，避免边上传边解析时，因为计算量过大而造成数据的丢失或遗漏。
73.步骤117、根据选择的数据模板或识别的数据模板，将采集到的数据从原始数据库迁移到目标数据模板对应的数据库。
74.步骤119、验证迁移到目标数据模板对应的数据库中的数据是否完整，如果迁移到目标数据模板对应的数据库中的数据完整，则完成数据采集。
75.步骤121、如果迁移到目标数据模板对应的数据库中的数据不完整，则重新返回原始数据库进行数据同步，并返回将采集到的数据从原始数据库迁移到目标数据模板对应的数据库的步骤。
76.综上，本发明实施例提供的方法包括实现远程配置数据模板以及进行实时数据采集的移动终端，负责数据模板的基本元素添加以及数据模板配置和更新或者采集数据过程中的数据迁移、验证采集数据完整性的平台。通过移动终端实现实时数据采集、远程配置数据模板，实现数据模板的移动化以及采集数据的实时化，能够在任何地方通过移动终端实现数据采集模板的创建，能够通过移动终端实时采集需要的数据。通过平台创建数据模板的元素，用户只需要勾选创建数据模板的基本元素，即可快速创建数据模板，降低了创建数据模板的难度，实现了数据模板更新的方案，数据模板更新后，旧的数据模板采集的数据迁移到新的数据模板对应的数据库。另外，通过验证数据完整性的机制，保证了数据模板采集数据的完整性。
77.本发明实施例提供的方法，通过通过预先创建数据模板基本元素，然后通过小程序或者平台勾选数据模板元素，自由组合数据模板基本元素即可实现数据模板创建，不仅实现创建数据模板的移动化，而且当数据模板变更时，能够快速创建数据模板，提升了数据模板的创建效率。另外，通过创建数据模板，提升了导入数据的效率。通过移动终端进行数据采集，实现了实时数据的采集。通过添加修改数据模板的方案，实现了数据模板历史数据向新数据模板的数据库的迁移。通过在从原始数据加载到对应的数据模板的数据库过程中，添加验证数据完整性的机制，保证了数据模板采集数据的完整性。本发明具有能够灵活适应企业的需求，维护成本较低等优点。
78.本发明实施例提供了一种数据采集方法，该方法可以通过任何具有计算、处理能力的装置、设备、平台或设备集群来执行。如图2所示，该方法可以包括以下步骤：
79.步骤201、当平台检测到数据采集服务开启后，判断是否需要创建新的数据模板。
80.步骤203、如果确定需要创建新的数据模板，则判断是否需要创建新的数据模板基本元素。
81.步骤205、如果需要创建新的数据模板基本元素，则根据数据采集需求创建新的数据模板基本元素。
82.步骤207、判断是通过平台创建数据模板还是通过移动终端创建数据模板。
83.步骤209、如果确定通过平台创建数据模板，则配置预设的数据模板基本元素生成目标数据模板。
84.步骤211、如果确定通过移动终端创建数据模板，则获取由移动终端配置预设数据模板基本元素生成的目标数据模板。
85.步骤213、根据目标数据模板生成用于平台进行数据批量采集的指定电子表格和用于移动终端进行实时数据采集的指定二维码。
86.步骤215、获取采集的数据，并判断所采集的数据是通过指定电子表格导入的数据还是通过指定二维码实时采集的数据。
87.步骤217、如果确定是通过指定电子表格导入的数据，则选择数据模板；如果确定是通过指定二维码实时采集的数据，则识别数据模板。
88.步骤219、解析采集到的数据，并将采集到的数据保存到原始数据库。
89.步骤221、根据选择的数据模板或识别的数据模板，将采集到的数据从原始数据库迁移到目标数据模板对应的数据库。
90.步骤223、验证迁移到目标数据模板对应的数据库中的数据是否完整，如果迁移到
目标数据模板对应的数据库中的数据完整，则完成数据采集。
91.步骤225、如果迁移到目标数据模板对应的数据库中的数据不完整，则重新返回原始数据库进行数据同步，并返回将采集到的数据从原始数据库迁移到目标数据模板对应的数据库的步骤。
92.本发明实施例提供的方法，通过通过预先创建数据模板基本元素，然后通过小程序或者平台勾选数据模板元素，自由组合数据模板基本元素即可实现数据模板创建，不仅实现创建数据模板的移动化，而且当数据模板变更时，能够快速创建数据模板，提升了数据模板的创建效率。另外，通过创建数据模板，提升了导入数据的效率。通过移动终端进行数据采集，实现了实时数据的采集。通过添加修改数据模板的方案，实现了数据模板历史数据向新数据模板的数据库的迁移。通过在从原始数据加载到对应的数据模板的数据库过程中，添加验证数据完整性的机制，保证了数据模板采集数据的完整性。本发明具有能够灵活适应企业的需求，维护成本较低等优点。
93.具体地，上述实施例中的步骤115或步骤219在解析采集到的数据，并将采集到的数据保存到原始数据库时，可以将采集到的数据解析成各条数据，并生成每条数据的数据标识，将每条数据及其数据标识保存到原始数据库。其中，数据标识用于区别各条数据。
94.在此基础上，步骤119或步骤223在验证迁移到目标数据模板对应的数据库中的数据是否完整时，可以验证迁移到目标数据模板对应的数据库中的数据是否包含采集到的每条数据的数据标识，如果是，则确定所迁移的数据完整；否则，根据数据标识重新从原始数据库中查询并拷贝遗漏的数据。
95.可选地，将采集到的数据从原始数据库迁移到目标数据模板对应的数据库之后，本发明实施例提供的方法还可以包括：根据目标数据模板中的元素对采集到的数据进行过滤，过滤掉目标数据模板中不存在的元素对应的数据；根据数据标识对目标数据模板中的数据进行过滤，过滤掉重复数据。通过如此操作，可以确保目标数据模板对应的数据库中的数据不重不漏。
96.为详细说明本发明之技术内容以下兹例举一系列一种采集数据的方法的场景详予说明。
97.美菱工厂单片机板生产线需要采集当天a产品的产值信息，具体包含产品的型号、时间、产地、sn信息，客户通过平台来采集数据，采集数据的步骤如下：
98.1.1、平台开启数据采集服务；
99.1.2、平台判断需要创建新的数据模板；
100.1.3、在平台创建数据模板需要的型号、时间、产地、sn基本元素；
101.1.4、用户选择通过平台勾选数据模板基本元素，并生成目标数据模板；
102.1.5、根据目标数据模板，生成指定电子表格和指定二维码；
103.1.6、用户点击导出生成的指定电子表格；
104.1.7、用户填写当日的a产品的产值信息，a产品的型号、产地信息、生产时间已经确定，直接由系统生成，用户只需要填写产品的sn信息即可；
105.1.8、将填写好的产值信息的指定电子表格导入平台；
106.1.9、平台判断采集的数据是通过指定电子表格导入的数据，然后选择对应的采集数据的数据模板；
107.1.10、解析采集到的数据，将采集到的数据保存到原始数据库；
108.1.11、根据选择的数据模板，将采集到的数据从原始数据库更新到目标数据模板对应的数据库中；
109.1.12、验证更新到目标数据模板对应的数据库中的数据是否完整，如果不完整则重新到原始数据库中同步；
110.1.13、如果完整，则当天的数据采集结束。
111.美菱工厂啤酒机生产线需要采集当天啤酒机的产值信息，具体包含产品的型号、时间、产地、sn信息，客户通过小程序端来实时采集数据，采集数据的步骤如下：
112.2.1、平台开启数据采集服务；
113.2.2、平台判断需要创建新的数据模板；
114.2.3、在平台创建数据模板需要的型号、时间、产地、sn基本元素；
115.2.4、用户通过小程序勾选数据模板基本元素，并生成目标数据模板；
116.2.5、平台根据目标数据模板，生成指定电子表格和指定二维码；
117.2.6、用户将指定二维码打印出来并贴在生产线；
118.2.7、用户扫描指定二维码采集数据，扫描指定二维码以后，弹出采集信息页面，采集信息页面的型号、产地信息、生产时间已经确定，直接由系统生成，用户只需要填写产品的sn信息即可；
119.2.9、平台判断采集的数据是小程序端实时采集的，不需要选择采集数据的数据模板；
120.2.10、将采集到的数据保存到原始数据的数据库；
121.2.11、将数据从原始数据库更新到目标数据模板对应的数据库中；
122.2.12、验证更新到目标数据模板对应的数据库中的数据是否完整，如果不完整则重新到原始数据库中同步；
123.2.13、如果完整，则当天的数据采集结束。
124.本发明实施例提供了一种数据采集装置，图3示出根据一个实施例的数据采集装置的示意性框图。可以理解，该数据采集装置可以为任何具有计算、处理能力的装置、设备、平台或设备集群。如图3所示，该数据采集装置300包括：
125.第一判断单元301，配置为当平台检测到数据采集服务开启后，判断是否需要创建新的数据模板；
126.第二判断单元303，配置为如果确定需要创建新的数据模板，则判断是通过平台创建数据模板还是通过移动终端创建数据模板；
127.模板配置单元305，配置为如果确定通过平台创建数据模板，则配置预设的数据模板基本元素生成目标数据模板；如果确定通过移动终端创建数据模板，则获取由移动终端配置预设数据模板基本元素生成的目标数据模板；
128.生成单元307，配置为根据目标数据模板生成用于平台进行数据批量采集的指定电子表格和用于移动终端进行实时数据采集的指定二维码；
129.数据获取及判断单元309，配置为获取采集的数据，并判断所采集的数据是通过指定电子表格导入的数据还是通过指定二维码实时采集的数据；
130.数据模板选择单元311，配置为如果确定是通过指定电子表格导入的数据，则选择
数据模板；如果确定是通过指定二维码实时采集的数据，则识别数据模板；
131.数据解析及存储单元313，配置为解析采集到的数据，并将采集到的数据保存到原始数据库；
132.数据迁移单元315，配置为根据选择的数据模板或识别的数据模板，将采集到的数据从原始数据库迁移到目标数据模板对应的数据库；
133.数据验证单元317，用于验证迁移到目标数据模板对应的数据库中的数据是否完整，如果迁移到目标数据模板对应的数据库中的数据完整，则完成数据采集。
134.本发明实施例提供的装置，通过通过预先创建数据模板基本元素，然后通过小程序或者平台勾选数据模板元素，自由组合数据模板基本元素即可实现数据模板创建，不仅实现创建数据模板的移动化，而且当数据模板变更时，能够快速创建数据模板，提升了数据模板的创建效率。另外，通过创建数据模板，提升了导入数据的效率。通过移动终端进行数据采集，实现了实时数据的采集。通过添加修改数据模板的方案，实现了数据模板历史数据向新数据模板的数据库的迁移。通过在从原始数据加载到对应的数据模板的数据库过程中，添加验证数据完整性的机制，保证了数据模板采集数据的完整性。本发明具有能够灵活适应企业的需求，维护成本较低等优点。
135.可选地，数据采集装置还包括：
136.第三判断单元，配置为如果确定需要创建新的数据模板，则判断是否需要创建新的数据模板基本元素；
137.模板基本元素生成单元，配置为如果需要创建新的数据模板基本元素，则根据数据采集需求创建新的数据模板基本元素。
138.可选地，移动终端通过其上的小程序扫描指定二维码进行实时数据采集。
139.可选地，数据采集装置还包括数据同步单元，配置为如果迁移到目标数据模板对应的数据库中的数据不完整，则重新返回原始数据库进行数据同步。
140.可选地，数据解析及存储单元307配置为：将采集到的数据解析成各条数据，并生成每条数据的数据标识，将每条数据及其数据标识保存到原始数据库。
141.可选地，数据采集装置还包括过滤单元，配置为根据目标数据模板中的元素对采集到的数据进行过滤，过滤掉目标数据模板中不存在的元素对应的数据；根据数据标识对目标数据模板中的数据进行过滤，过滤掉重复数据。
142.可选地，数据验证单元309还配置为：验证迁移到目标数据模板对应的数据库中的数据是否包含采集到的每条数据的数据标识，如果是，则确定所迁移的数据完整；否则，根据数据标识重新从原始数据库中查询并拷贝遗漏的数据。
143.可以理解的是，本发明实施例示意的结构并不构成对数据采集装置的具体限定。在本发明的另一些实施例中，数据采集装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
144.上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
145.本发明实施例还提供了一种数据采集装置，如图4所示，包括：至少一个存储器和至少一个处理器；
146.所述至少一个存储器，用于存储机器可读程序；
147.所述至少一个处理器，用于调用所述机器可读程序，执行本发明任一实施例中的数据采集方法。
148.本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明任一实施例中的数据采集方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
149.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
150.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
151.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
152.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
153.需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
154.以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，fpga或asic)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
155.上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。