一种水务数据中台的制作方法

1.本发明涉及信息技术领域，尤其涉及一种水务数据中台。


背景技术：

2.城市水环境系统包括了“原水—输水—制水—供水—用水—排水—污水”一体的业务环节。通过建立水务数据中台，供水务企业进行水务数据的采集、整合、可视化处理，以满足水务企业的水务管理以及数据共享的需求。由此可见，水务行业的数据应囊括从水源地到水龙头一整套全流程数据及其它管理流程数据。
3.目前，由于水务相关的各个系统的数据采集标准不统一，且各个系统存在较大差异化应用需求，使得水务行业应用的数据中台难以覆盖全部的数据需求。具体的，表现在调度系统、表务管理系统、营业收费系统、客户服务系统等各系统之间的各个数据难以互通，存在水务数据中台缺少一部分水务数据，难以满足用户需求的缺陷。


技术实现要素：

4.针对现有技术中存在的问题，本发明提供一种水务数据中台，包括：
5.数据采集模块，分别连接一物联网平台及至少一业务系统，用于采集一水务数据，所述水务数据包括所述物联网平台提供的一物联数据及所述业务系统提供的一业务数据；
6.至少一异构数据库，连接所述数据采集模块，用于储存所述水务数据，根据预设的一分类信息将各所述水务数据分别储存至对应的异构数据库内；
7.数据集成模块，连接所述异构数据库，用于从所述异构数据库分别抽取所述水务数据并进行清洗以生成具有同一格式的集成数据；
8.数据开发模块，连接所述数据集成模块，包括：
9.清洗单元，用于对所述集成数据进行清洗去重处理并输出；
10.开发单元，连接所述清洗单元，用于根据外部输入的一统计任务对清洗后的所述集成数据进行数据统计并生成一资产数据；
11.数据资产模块，连接所述数据开发模块，用于根据预设的一数据模型及所述资产数据处理生成对应的数据表；
12.数据服务模块，连接数据资产模块，用于供用户创建一应用程序接口，并通过调用所述应用程序接口读取对应的数据表；
13.数据可视化模块，连接所述数据服务模块，用于显示所述资产数据供用户查看。
14.优选的，所述数据集成模块包括：
15.第一接收单元，用于获取用户输入的一集成任务；
16.任务分析单元，连接所述第一接收单元，用于根据所述集成任务分析得到用户需求的业务数据对应的一数据源、所述业务数据对应的数据格式及一目标格式，所述目标格式为所述业务数据集成处理后的数据格式；
17.第一执行单元，连接所述任务分析单元，用于根据所述数据源从对应的异构数据
库读取对应的业务数据并通过预设的一转换工具对所述业务数据进行集成处理，生成具有目标格式的业务数据并作为所述集成数据输出。
18.优选的，所述数据集成模块还包括一适配单元，连接所述第一执行单元，所述适配单元预先存储多个所述转换工具，各所述转换工具分别用于具有不同所述数据格式的所述业务数据的集成处理，则所述适配单元根据所述集成任务中待集成处理的业务数据的数据格式及集成处理后的目标格式匹配得到对应的转换工具并输出。
19.优选的，所述数据开发模块还包括一配置单元，所述配置单元连接所述开发单元，用于获取一开发信息并输入至预设的一配置模型，所述配置模型根据所述开发信息生成对应的统计任务，所述开发信息包括一统计周期、所述数据源、一数据目标表及配置参数。
20.优选的，所述数据开发模块还包括一监控单元，所述监控单元连接所述开发单元，包括：
21.采集子单元，获取所述开发单元接收的各所述统计任务并检测所述统计任务对应的执行状态；
22.显示子单元，连接所述采集子单元用于显示各所述统计任务及对应的执行状态以供用户查看。
23.优选的，所述监控单元还包括一管理子单元，所述管理子单元连接所述采集子单元，用于供用户输入一调度任务以驱动所述开发单元调整所述统计任务的执行状态。
24.优选的，所述监控单元还包括一记录子单元，所述记录子单元连接所述采集子单元，用于根据所述统计任务的执行状态处理生成对应的操作记录以供用户查询。
25.优选的，所述数据服务模块包括：
26.创建单元，用于供用户输入一接口信息处理生成对应的应用程序接口并储存，所述应用程序接口根据所述数据源读取对应的业务数据；
27.储存单元，用于采集一调用申请并储存；
28.第一处理单元，分别连接所述创建单元及所述储存单元，用于根据所述调用申请调用所述应用程序接口以供用户读取对应的业务数据。
29.优选的，数据服务模块还包括一第二处理单元，分别连接所述储存单元以及所述第一处理单元，用于获取所述储存单元内的所述调用申请分析得到各所述应用程序接口的调用频率供用户查询。
30.上述技术方案具有如下优点或有益效果：
31.(1)、数据采集模块分别连接物联网平台以及各个业务系统，数据采集模块用于获取多源异类的物联数据以及业务数据并存储至水务数据中台的异构数据库内，并分类储存，通过将不同形式的物联数据及业务数据进行清洗并输出具有同一格式的集成数据，实现了水务相关的各个系统间数据互通互联的效果。
32.(2)、水务数据中台则依据集成任务、统计任务实时进行数据处理并形成资产数据，用户则通过调用应用程序接口来获取物联数据以及业务数据，实现了水务相关数据的整合。
33.(3)、用户通过调用端口访问数据中台内的数据，数据中台则通过数据服务模块控制应用程序接口的调配以及管理，提高数据源的利用率，且数据服务模块具有根据调用申请分析得到应用程序接口的调用频率的功能，为市场热度分析提供支持。
附图说明
34.图1为本发明的较佳的实施例中，水务数据中台的控制原理图；
具体实施方式
35.下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
36.本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种水务数据中台，如图1所示，包括：
37.数据采集模块1，分别连接一物联网平台2及至少一业务系统3，用于采集一水务数据，水务数据包括物联网平台2提供的一物联数据及业务系统3提供的一业务数据；
38.至少一异构数据库4，连接数据采集模块1，用于储存水务数据，根据预设的一分类信息将各水务数据分别储存至对应的异构数据库4内；
39.数据集成模块5，连接异构数据库4，用于从异构数据库4分别抽取水务数据并进行清洗以生成具有同一格式的集成数据；
40.数据开发模块6，连接数据集成模块5，包括：
41.清洗单元61，用于对集成数据进行清洗去重处理并输出；
42.开发单元62，连接清洗单元61，用于根据外部输入的一统计任务对清洗后的集成数据进行数据统计并生成一资产数据；
43.数据资产模块7，连接数据开发模块6，用于根据预设的一数据模型及资产数据处理生成对应的数据表；
44.数据服务模块8，连接数据资产模块7，用于供用户创建一应用程序接口，并通过调用应用程序接口读取对应的数据表；
45.数据可视化模块9，连接数据服务模块8，用于显示资产数据供用户查看。
46.具体地，本实施例中，物联数据以及业务数据包含不同格式的水务相关的数据，而不同格式的数据在调用时存在隔阂、集成度较低。
47.通过数据中台对物联数据以及业务数据进行清洗整合，起到消除各个数据之间的隔阂的作用，为水务行业全面信息化提供有力支持。
48.数据采集模块1连接物联网平台2，而物联网平台2则分别连接各个检测器，检测器采集到生产环节的相关数据以及主要设备、仪表的相关运行数据并发送至物联网平台2，而物联网平台2则将生产环节的相关数据以及主要设备、仪表的相关运行数据作为物联数据输出。
49.其中，物联数据包括：一生产环节数据，譬如，压力值、瞬时流量值、累计流量值、液位值、水质等；一主要设备运行数据、一仪表运行数据，譬如，设备运行信号、运行时间、故障信号等。
50.业务系统3则通过人工录入或系统自动采集的方式获取在各水务相关业务服务过程中生成的业务数据。
51.业务数据包括：营销管理系统数据、客户服务系统数据、管网系统数据、生产管理系统数据、设备管理系统数据、财务数据、人力资源数据等。
52.数据采集模块1获取物联数据以及业务数据后，物联数据与业务数据分类储存至
异构数据库4内，通过数据集成模块5对水务数据进行清洗以输出集成数据，而后数据开发模块6对集成数据进行清洗去重处理并根据统计任务对集成数据进行数据统计以生成资产数据。
53.在数据资产模块7中，数据模型用于生成一表格框架并将资产数据自动填入表格框架内作为数据表输出。
54.本发明的较佳的实施例中，数据集成模块5包括：
55.第一接收单元51，用于获取用户输入的一集成任务；
56.任务分析单元52，连接第一接收单元51，用于根据集成任务分析得到用户需求的业务数据对应的一数据源、业务数据对应的数据格式及一目标格式，目标格式为业务数据集成处理后的数据格式；
57.第一执行单元53，连接任务分析单元52，用于根据数据源从对应的异构数据库4读取对应的业务数据并通过预设的一转换工具对业务数据进行集成处理，生成具有目标格式的业务数据并作为集成数据输出。
58.具体地，本实施例中，任务分析单元52在执行集成任务时还具有一执行序列。任务分析单元52在执行序列的控制下有序地执行各集成任务，而集成任务在执行序列的优先级由用户预先定义一调度周期决定，集成任务需在调度周期内得到执行。其中，调度周期可以为：分钟、小时、天、周、月。
59.通过设定调度周期，提高了数据集成模块5在实际运用过程中的灵活性及有序性。
60.本发明的较佳的实施例中，数据集成模块5还包括一适配单元54，连接第一执行单元53，适配单元54预先存储多个转换工具，各转换工具分别用于具有不同数据格式的业务数据的集成处理，则适配单元54根据集成任务中待集成处理的业务数据的数据格式及集成处理后的目标格式匹配得到对应的转换工具并输出。
61.具体地，本实施例中，适配单元54用于为集成任务匹配转换工具，匹配过程中，先从集成任务中获取业务数据的数据格式及目标格式，而后将转换工具对应的输入数据格式与数据格式进行匹配、将转换工具对应的输出数据格式与目标格式进行匹配，以获取输入数据格式与数据格式相同且输出数据格式与目标格式相同的转换工具。
62.本发明的较佳的实施例中，数据开发模块6还包括一配置单元63，配置单元63连接开发单元62，用于获取一开发信息并输入至预设的一配置模型，配置模型根据开发信息生成对应的统计任务，开发信息包括一统计周期、数据源、一数据目标表及配置参数。
63.具体地，本实施例中，生成统计任务的步骤如下：
64.步骤s1，选择统计周期，统计周期可以为小时/天/周/月；
65.步骤s2，选择数据源及数据目标表，以实现数据定位；
66.步骤s3，进行参数配置，用于定义源字段、函数、参数、目标字段。
67.以开发信息作为输入，以统计任务作为输出训练得到配置模型，而统计周期用于限定统计任务的处理对象为统计周期内的集成数据，数据源和数据目标表则用于定位集成数据，统计任务根据配置参数统计集成数据进而统计得到资产数据。
68.用户可根据需求设定统计任务的统计范围，操作灵活，且创建统计任务时，无需输入代码，可操作性强，为用户带来便利。
69.本发明的较佳的实施例中，数据开发模块6还包括一监控单元64，监控单元64连接
开发单元62，包括：
70.采集子单元641，获取开发单元62接收的各统计任务并检测统计任务对应的执行状态；
71.显示子单元642，用于显示各统计任务及对应的执行状态以供用户查看。
72.具体地，本实施例中，监控单元64为用户提供监控统计任务执行状态的窗口，使得数据开发模块6执行统计任务的过程透明化，便于用户实时掌握数据开发进度。
73.本发明的较佳的实施例中，监控单元64还包括一管理子单元643，管理子单元643连接采集子单元641，用于供用户输入一调度任务以驱动开发单元62调整统计任务的执行状态。
74.具体地，本实施例中，当用户需要中止统计任务时，输入对应的调度任务即可驱动开发单元62停止执行对应的统计任务，为用户提供人工调节统计任务的执行状态的方式，提高统计任务的可控性。
75.本发明的较佳的实施例中，监控单元64还包括一记录子单元644，记录子单元644连接采集子单元641，用于根据统计任务的执行状态处理生成对应的操作记录以供用户查询。
76.本发明的较佳的实施例中，数据服务模块8包括：
77.创建单元81，用于供用户输入一接口信息处理生成对应的应用程序接口并储存，应用程序接口根据数据源读取对应的业务数据；
78.储存单元82，用于采集一调用申请并储存；
79.第一处理单元83，分别连接创建单元81及储存单元82，用于根据调用申请调用应用程序接口以供用户读取对应的业务数据。
80.具体地，本实施例中，创建应用程序接口时，用户输入对应的接口信息即可，无需输入代码，降低了创建应用程序接口的难度。
81.本发明的较佳的实施例中，数据服务模块8还包括一第二处理单元84，分别连接储存单元82以及第一处理单元83，用于获取储存单元82内的调用申请分析得到各应用程序接口的调用频率供用户查询。
82.具体地，本实施例中，用户通过应用程序接口访问数据中台内的数据。
83.访问时，用户发起需要调用的应用程序接口对应的调用申请，储存单元82接收并储存调用申请，由第一处理单元83将调用申请与应用程序接口进行匹配并输出用户所需的应用程序接口。
84.通过管理应用程序接口来规范用户的访问，调用频率反应了各个应用程序接口的访问热度。通过各个应用程序接口的调用频率直观地反应了当前的市场需求，便于水务数据中台的运营方及时调整发展方向，优化发展政策。
85.综上，数据采集模块1获取来自物联网平台2以及各个业务系统3的物联数据以及业务数据，通过数据中台对物联数据以及业务数据进行分析处理，最终实现数据价值。
86.用户向数据开发模块6输入统计任务，通过统计任务对集成数据进行统计。由数据集成模块5将各异构数据库4内的水务数据清洗生成具有同一格式的集成数据，为后续数据开发提供便利。
87.用户创建统计任务，以对集成数据进行开发得到资产数据，而创建统计任务时，只
需定义开发信息即可，配置模型依据开发信息自动生成对应的统计任务，简化了统计任务的创建过程，提高了数据的开发效率。
88.数据服务模块8用于管理应用程序接口，用户通过应用程序接口获取需求的资产数据，起到数据共享、打破“数据孤岛”的作用。
89.数据可视化模块9中还预先配置有组件库，用户需要将数据可视化时，调用数据可视化模块9内预设的组件库，通过组件库自行设置资产数据的展示形式，用户的自由度大，提高了用户使用的体验感。
90.以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。