数据建模与数据加工一体化装置的制作方法

1.本发明数据仓技术领域，尤其涉及数据建模与数据加工一体化装置。


背景技术：

2.数据建模是利用各种专业软件，如erwin，powerdesigner，ea等，根据业务需求，直接建立模型，如指定数据库表中的符合长度要求的字母型名称、符合长度要求的字段的字母型名称等，数据加工是在数据建模过程中对数据进行加工的过程，数据加工也叫数字加工，主要针对报纸、书刊、杂志、图册、表单、公文等形式的纸介数据，通过专业化的解决方案，加工成pdf、html、txt、doc、xls等多种可编辑的电子文件格式。将保存在计算机内的文件进行条码识别实现海量存储，既可录入光盘，又可直接存入硬盘或外插优盘，通过信息管理系统，可任意检索、核对和网上查询、调阅、打印，实现资源共享。
3.现有的在计算机应用领域中，通过计算机进行信息管理已成为主要的应用，而数据加工处理是信息管理的必要手段，企业用户需要处理的数据量、数据种类逐渐增大与增多，希望通过数据分析工具挖掘数据价值，但现有的数据分析过程存在以下问题：
4.1、数据模型创建基本都是基于传统关系型数据库，逻辑模型要适用于不同的物理环境需要经过手工转换、修改与调整；
5.2、数据分析流程纷繁复杂，普通业务人员数据建模能力不足；
6.3、业务人员基本编程能力偏弱，难以快速建立数据加工任务并分析与挖掘企业数据。
7.为此，我们提出数据建模与数据加工一体化装置来解决上述问题。


技术实现要素：

8.本发明的目的是为了解决现有技术中存在的缺点，而提出的数据建模与数据加工一体化装置。
9.为了实现上述目的，本发明采用了如下技术方案：
10.数据建模与数据加工一体化装置，其特征在于，包括以下步骤：
11.s1、大数据数仓基本规划，根据应用业务需求，涉及业务系统数据空间分层、数据分域信息规划与配置，相关数据源添加与数据项目管理基本信息配置；
12.s2、业务领域相关模型创建与管理，按照维度建模的规范创建维度表、事实表与汇总表基本信息；
13.s3、数据模型之间加工关系设定，配置数据加工的原子指标、业务限定与派生指标，支撑配置自定义函数，并通过可视化方式创建表与表之间的加工关系；
14.s4、数据模型物理化，将s2、s3步骤创建的数据模型及加工过程中的自定义函数应用到指定的一个或多个s1步骤配置的数据源中；
15.s5、数据加工任务生成，根据s4步骤创建的加工关系拓扑与加工逻辑，自动生成相应的etl数据加工任务；
16.s6、数据加工任务管理，对加工任务的执行同期，任务上线、下线、执行情况进行管理。
17.作为本技术中进一步的，根据s1，数据分层包括数据运营层、数据仓库层与数据服务层。
18.作为本技术中进一步的，根据s1，数据分域信息规划与配置包括按照用户企业的部门划分，也可以按照业务过程或者业务板块中的功能模块进行划分，同时配置类数据存储系统运行所需的各种配置信息。
19.作为本技术中进一步的，根据s2，s2-1、业务领域相关模型创建与管理包括业务建模、类图模型建立与测试管理。
20.作为本技术中进一步的，根据s2-1，业务建模包括业务领域选定、业务执行者识别、业务用例识别与业务用例叙述。
21.作为本技术中进一步的，根据s2-1，类图模型建立包括通过语法分析方法提取候选类、筛选候选类、对类的属性以及行为进行定义和候选类之间的关系建立。
22.作为本技术中进一步的，根据s2-1，测试管理，类图建立完成，开发者利用uml工具进行自动生成程序代码框架，同时对代码框架进行修改和补充，以形成完整代码。
23.作为本技术中进一步的，根s1与s2，通过数据信息收集模块进行数据收集，通存ssd储模块对收集的数据信息进行存储，通过cpu模块对ssd中的数据信息进行分析处理。
24.作为本技术中进一步的，数据信息收集模块包括传感器单元、放大电路单元、滤波器单元、多路模拟开关单元、采样/保持器单元、a/d转换器单元、计算机i/o接口单元以及定时与控制逻辑电路。
25.作为本技术中进一步的，根据s3，数据模型之间加工关系有一对一、一对多与多对多，设定加工关系时在模型中进行调用和查询。
26.与现有技术相比，本发明的有益效果为：
27.1、数据模型创建适用于传统与大数据环境，逻辑模型物理化过程由程序自动化完成。
28.2、数据建模过程通过可视化的方式进行，普通业务人员也能轻松操作。
29.3、根据数据建模过程中的模型关系配置，系统自动生成数据加工任务，不需要业务人员进行相应的数据加工开发，极大缩短了数据分析的流程。
附图说明
30.图1为本发明提出的数据建模与数据加工一体化装置的流程图；
31.图2为本发明提出的数据建模与数据加工一体化装置的模块图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
33.参照图1-2，数据建模与数据加工一体化装置，包括以下步骤：
34.s1、大数据数仓基本规划，根据应用业务需求，涉及业务系统数据空间分层、数据分域信息规划与配置，相关数据源添加与数据项目管理基本信息配置；
35.数据空间分层包括数据运营层、数据仓库层与数据服务层；
36.数据运营层又叫数据准备区，数据经过抽取、洗净、传输，也就是etl过程之后进入本层，数据运营层是后面数据仓库层的准备区；为数据细节层提供原始数据；减少对业务系统的影响；
37.数据仓库层从上到下分为3个层，包括数据细节层、数据中间层与数据服务层。
38.数据分域信息规划与配置包括按照用户企业的部门划分，也可以按照业务过程或者业务板块中的功能模块进行划分，同时配置类数据存储系统运行所需的各种配置信息，指的是将个类业务信息进行集合并划分数据域，包括配置数据域、信息数据域与流水数据域，同时根据个业务模块的业务活动进行调配，其中在划分数据域时，既能涵盖当前所有的业务需求，又能让新业务在进入时可以被包含进已有的数据域或扩展新的数据域，并且可以在业务调研之后根据业务模块中不同的业务活动进行数据域的划分。
39.s2、业务领域相关模型创建与管理，按照维度建模的规范创建维度表、事实表与汇总表基本信息；
40.s2-1、业务领域相关模型创建与管理包括业务建模、类图模型建立与测试管理；
41.业务建模可以帮助开发人员了解现状，启发愿景和需求，为后续的分析和设计提供精确有效的参考，其步骤如下：
42.1)业务领域选定，需要对业务领域的划分有一个明确的界限，防止范围不明确，导致后续分析缺乏依据或相互矛盾；
43.2)业务执行者识别，是对业务进进行操作或者对执行业务的系统进行操作的人是；
44.3)业务用例识别，业务执行者通过对每一个业务单元进行分析提取业务用例中的完整价值信息；
45.4)业务用例叙述，其中是为了说明各业务用例的实现过程，业务用例叙述常用序列图或活动图表现。
46.类图模型建立包括以下步骤：
47.1)通过语法分析方法提取候选类，其是依据用例描述文档找出其中数据分域的中名词并将名词作为候选类；
48.2)筛选候选类，对候选类中的记录信息或需要为其提供服务的类进行筛选获取，其中在获取后由业务人员进行最终确认。
49.3)对类的属性以及行为进行定义，确定类的属性描述特征，使得能为系统提供服务；
50.4)候选类之间的关系建立，根据类别行为与属性分析任意两者之间的关系。
51.测试管理，类图建立完成，开发者利用uml工具进行自动生成程序代码框架，同时对代码框架进行修改和补充，以形成完整代码，便于使得模型与代码保持一致，方便对每个阶段所建立的模型进行测试。
52.根s1与s2，数据建模与数据加工一体化装置包括数据信息收集模块、ssd数据储模块与cpu模块，在大数据仓中通过数据信息收集模块对信息数据进行数据收集，而后通存ssd数据储模块对收集的数据信息进行存储，通过cpu模块对ssd中的数据信息进行分析处理，便于对数据仓中进行分类处理，其中数据信息收集模块包括传感器单元、放大电路单
元、滤波器单元、多路模拟开关单元、采样/保持器单元、a/d转换器单元、计算机i/o接口单元以及定时与控制逻辑电路
53.s3、数据模型之间加工关系设定，配置数据加工的原子指标、业务限定与派生指标，支撑配置自定义函数，并通过可视化方式创建表与表之间的加工关系，其中，数据模型之间加工关系有一对一、一对多与多对多，设定加工关系时在模型中进行调用和查询，具体时将在分析处理划分区域后的数据中的关键类加工数据通过查询调用匹配到支撑配置自定义函数中，先展示全部内部，然后根据条件通过request请求获取查询并id信息，而后根据主要的数据类获取相关数据内容，继续再从相关内容中获取进一步的主要数据相关内容，包括匹配对比相关内容与主要数据之间的关键字以及相同信息，最后缩小的可通过执行人进行确定的范围后再确认信息。
54.s4、数据模型物理化，将s2、s3步骤创建的数据模型及加工过程中的自定义函数应用到指定的一个或多个s1步骤配置的数据源中，从而使得能更好的完成大数据数仓基本规划；
55.s5、数据加工任务生成，根据s4步骤创建的加工关系拓扑与加工逻辑，自动生成相应的etl数据加工任务，在完成大数据数仓基本规划过程中，确立加工类之间的关系，以及通过结构化语言、判定表或者判定树来描述加工逻辑，再自动生成数据仓库加工任务；
56.s6、数据加工任务管理，对加工任务的执行同期，任务上线、下线、执行情况进行管理。
57.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。