一种数据解析采集方法与流程

1.本发明涉及数据采集技术领域，尤其涉及一种数据解析采集方法。


背景技术：

2.信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理的业务系统，用来记录事务处理的各种相关数据。在这个背景下，数据仓库应用而生。数据仓库是把产生的数据整合到一起发掘其中的商业价值和提供决策支持用的。数据仓库的产生是需要从大量的源数据中选择有用的数据，再经过一系列处理，最终存储入数据仓库。
3.目前采集源数据以及处理数据的方法，通常都是业务数据需求方根据自己的业务需求编译或者订制与自己所需求的业务数据高度相关的处理工具，并整合到自己的业务系统中。


技术实现要素：

4.本发明的目的是提供一种数据解析采集方法，本技术为业务系统提供独立的数据采集工具，当业务系统需要采集数据时，通过独立的数据采集工具就可实现数据的采集，避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具，解决了项目的搭建部署复杂、成本高的问题。
5.本发明的技术方案是这样实现的：
6.一种数据解析采集方法，包括将各个数据采集请求依次发送至数据采集设备；
7.所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引；
8.接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引；
9.当接收到解析指令时，通过目标采集数据的数据索引确定目标协议索引，根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析，获得目标解析数据；
10.数据采集请求通过服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具；通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据；在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据。
11.进一步的，所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
12.进一步的，接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引之后，还包括：将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
13.进一步的，在将所述数据采集设置信息发送给所述数据采集工具之后，所述方法
还包括：获取所述数据采集工具采集数据的状态信息，并将所述状态信息通过所述服务界面实时显示，以便于用户通过所述服务界面监控和查看数据采集的状态。
14.本发明的有益效果是：本发明通过显示预先创建的数据采集工具的服务界面，通过所述服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具，通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据，在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据，本技术为业务系统提供独立的数据采集工具，当业务系统需要采集数据时，通过独立的数据采集工具就可实现数据的采集，避免了系统为了采集数据而必须对自身进行改造、集成数据采集工具，解决了项目的搭建部署复杂、成本高的问题。
具体实施方式
15.下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
16.根据本发明的实施例，提供一种数据解析采集方法。
17.根据本发明实施例的数据解析采集方法，包括将各个数据采集请求依次发送至数据采集设备；
18.所述数据采集请求对应的解析协议按照所述数据采集请求的发送顺序预设有协议索引；
19.接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引；
20.当接收到解析指令时，通过目标采集数据的数据索引确定目标协议索引，根据所述目标协议索引获取目标解析协议对所述目标采集数据进行解析，获得目标解析数据；
21.数据采集请求通过服务界面接收用户输入的数据采集设置信息，并将所述数据采集设置信息发送给所述数据采集工具；通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据；在接收到所述数据采集工具发送的数据采集完成的信息之后，从所述数据采集工具的数据库中调取采集到的数据。
22.具体的，以上是基于接收到的数据采集请求为各个数据采集设备，在实际的数据通信过程中，数据采集请求的类型和数量并不唯一，还可能为针对不同数据采集设备、不同请求数据长度的数据采集请求，也可能为针对不同数据采集设备、相同请求数据长度的数据采集请求，对于此类数据采集请求，由于其类型的不同，均可根据其相应的请求信息以及采集数据的数据信息进行相应的对照，而无需索引的设置。因此，对于该类数据采集请求，可直接将其发送至对应的数据采集设备，并获取数据采集设备获取的采集数据；进一步，当接收到解析指令时，可直接根据相关信息确定对应的解析协议，并完成数据解析。
23.进一步的，所述数据采集请求与对应的解析协议按照数据采集请求的发送顺序保存于协议列表中。
24.进一步的，接收所述数据采集设备根据所述数据采集请求返回的采集数据，并对各个所述采集数据按照返回顺序设置数据索引之后，还包括：将数据采集请求对应的采集数据按照所述返回顺序保存至数据列表。
25.进一步的，在将所述数据采集设置信息发送给所述数据采集工具之后，所述方法还包括：获取所述数据采集工具采集数据的状态信息，并将所述状态信息通过所述服务界面实时显示，以便于用户通过所述服务界面监控和查看数据采集的状态。
26.具体地，在所述数据采集工具的服务界面上预设“自动触发”和“触发”按钮；在将所述数据采集设置信息发送给所述数据采集工具之后，在通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据之前，系统在预定时间内检测“自动触发”按钮是否被按下；当系统检测到“自动触发”按钮被按下，即获取到自动触发指令，则系统立即向所述数据采集工具发送启动数据转换任务的指令，所述数据采集工具收到所述业务系统发送的启动数据转换任务的指令后，启动数据转换任务；当系统没有检测到“自动触发”按钮被按下，即获取到手动触发指令，则业务系统监测用户是否手动点击“触发”按钮，一旦监测到用户点击“触发”按钮，系统就会向所述数据采集工具发送启动数据转换任务的指令，所述数据采集工具收到所述业务系统发送的启动数据转换任务的指令后，启动数据转换任务。
27.通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据还包括：通过所述数据采集工具中的数据转换文件根据所述数据采集设置信息采集数据，通过所述数据采集工具中的数据转换文件对所述采集到的数据进行转义加工处理，并将处理后的数据插入到所述数据采集工具的数据库中，所述从所述数据采集工具的数据库中调取采集到的数据具体为从所述数据采集工具的数据库中调取处理后的数据。
28.在实际应用中，当数据采集端的字典与所述数据采集工具的数据库字典的定义方式不同，采集数据后，需要对采集到的数据进行转义加工，将采集到的数据转义加工成可供所述数据采集工具的数据库字典识别的数据，这样才能将采集到的数据存储在所述数据采集工具的数据库中。在本发明实施例中，在通过所述数据采集工具的通用接口基于所述数据采集设置信息从数据采集端采集数据时，所述方法还包括：监测所述数据采集过程中的错误信息，并将所述错误信息生成采集日志，便于用户查看、分析数据采集过程中出现的错误信息。
29.而在实际的数据通信过程中，数据采集请求的类型和数量并不唯一，还可能为针对不同数据采集设备、不同请求数据长度的数据采集请求，也可能为针对不同数据采集设备、相同请求数据长度的数据采集请求，对于此类数据采集请求，由于其类型的不同，均可根据其相应的请求信息以及采集数据的数据信息进行相应的对照，而无需索引的设置。因此，对于该类数据采集请求，可直接将其发送至对应的数据采集设备，并获取数据采集设备获取的采集数据；进一步，当接收到解析指令时，可直接根据相关信息确定对应的解析协议，并完成数据解析。
30.所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
31.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。