操作系统式大数据驾驶舱系统的制作方法

1.本发明涉及一种大数据的可视化展示技术领域，特别是涉及操作系统式大数据驾驶舱系统。


背景技术：

2.目前在大数据的展示过程中，一般需要通过建模的方式来展示数据，由于大数据收集的数据具有各式各样不同的结构，无法实现统一的建模，如果在一个系统中构建几个分析模型，那么过程将比较复杂，且不同的模型之间很难实现关联，导致不能在大数据中同时获取分析的结果。


技术实现要素：

3.有鉴于此，本发明的主要目的在于提供一种操作系统式大数据驾驶舱系统。
4.本发明采用的技术方案如下：操作系统式大数据驾驶舱系统，包括：服务器；所述服务器具有ai数据分析系统、控制器、拖拽记录器、可视化展示系统及多个前置处理器；多个数据采集器，与多个所述前置处理器连接，所述数据采集器用于基于多个接口或者账户将数据传输至前置处理器；所述前置处理器具有数据分类模块、数据卡片形成器和数据集权限设置模块；所述数据分类模块用于将基于多个接口或者账户传输的数据进行初步处理后再编辑以形成不同的数据集，在数据集的属性值中写入分类字段并以分类字段形成结构化存储并存储在服务器的存储一区；所述数据卡片形成器提取分类字段并依据所述分类字段形成对应的数据卡片，依据所述数据卡片形成数据库子表，并将数据库子表存储在服务器的存储二区；所述数据集权限设置模块依据数据库子表建立多个权限设置模板，设置每一权限设置模板的权限规则，通过权限规则批量设置数据库子表下的多个数据集；当需要展示数据时，具有两种模式：第一种模式，基于检索控制命令以获取检索控制命令包含的第一展示数据范围，依据所述第一展示数据范围选择对应的数据库子表；依据所述数据库子表筛选对应的数据卡片，将数据卡片在显示器上进行可视化显示；第二种模式，选取需要展示的数据库子表，在数据库子表下拖拽对应的数据卡片至预显示单元，控制器控制预显示单元将数据卡片形成预显示式样，并通过选择预显示式样确认后将预显示式样输送至显示器进行可视化显示，其中，所述拖拽记录器用于记录被拖拽的数据卡片；所述ai数据分析系统用于在第一种模式下，以分析基于检索控制命令得到的数据
库子表和ai数据分析系统加载检索控制命令从检索控制命令提取出的比对数据库子表之间的差异。
5.所述可视化展示系统包括：选择器，基于检索控制命令以获取检索控制命令包含的展示数据范围，依据所述展示数据范围选择对应的数据库子表；筛选器，依据所述数据库子表筛选对应的数据卡片；显示器，用于将所述数据卡片在显示器上进行可视化显示；或，所述可视化展示系统包括拖拽器；预显示单元；所述拖拽器选取需要展示的数据库子表，在数据库子表下拖拽对应的数据卡片至预显示单元，控制器控制预显示单元将数据卡片形成预显示式样，并通过选择预显示式样确认后将预显示式样输送至显示器进行可视化显示。
6.所述ai数据分析系统包括：至少一个提取器；分析单元；以及比较器；所述提取器将基于检索控制命令获取的展示数据范围以及与展示数据范围对应的数据库子表加载到比较器；所述分析单元加载检索控制命令以分析所述检索控制命令所包含的比对展示数据范围，依据所述比对展示数据范围得到比对数据库子表；所述比较器将数据库子表和比对数据库子表进行比较，以获取数据库子表和比对数据库子表之间的差异，从而获取选择器的选择精度。
7.所述预显示式样包含图表可视化展示和表格可视化展示；编辑器，该编辑器用于输入图表可视化展示和表格可视化展示所使用的参数信息。
8.本发明的有益效果为：本发明不通过建模的方式，而是在数据收集过程中，基于多个接口或者账户传输的数据进行初步处理后再编辑以形成不同的数据集，在数据集的属性值中写入分类字段并以分类字段形成结构化存储并存储在服务器的存储一区；数据卡片形成器提取分类字段并依据所述分类字段形成对应的数据卡片，依据所述数据卡片形成数据库子表，并将数据库子表存储在服务器的存储二区；当需要展示数据时，具有两种模式：第一种模式，基于检索控制命令以获取检索控制命令包含的第一展示数据范围，依据所述第一展示数据范围选择对应的数据库子表；依据所述数据库子表筛选对应的数据卡片，将数据卡片在显示器上进行可视化显示；第二种模式，选取需要展示的数据库子表，在数据库子表下拖拽对应的数据卡片至预显示单元，控制器控制预显示单元将数据卡片形成预显示式样，并通过选择预显示式样确认后将预显示式样输送至显示器进行可视化显示，其中，所述拖拽记录器用于记录被拖拽的数据卡片。
9.在上述中，本发明采用了在数据集的属性值中写入分类字段并以分类字段形成结构化存储，这样相同的数据集具有相同的分类字段，相同的数据集可以是不同接口或者账
户传输的数据，按照分类字段实际上是将不同接口或者账户传输的同一种数据或者功能、作用一致的数据归为一个数据集，然后对不同的数据集再按照分类字段形成对应的数据卡片，依据所述数据卡片形成数据库子表，需要展示数据时，只需要通过检索对应的数据范围或者拖拽对应的数据卡片即可形成数据的展示。此过程不需要依赖于不同模型的搭建，并且可以一次性完成将同一种数据或者功能、作用一致的数据进行展示。
10.本发明还通过所述数据集权限设置模块依据数据库子表建立多个权限设置模板，通过权限规则批量设置数据库子表下的多个数据集；可以按照相同的模板进行同时修改多个数据集的权限。
附图说明
11.图1为本发明系统的总框架原理示意图；图2为本发明系统的具体的框架原理示意图。
具体实施方式
12.以下参照实施例和附图对本发明进行详细的描述。
13.参照图1至图2，本发明提供了操作系统式大数据驾驶舱系统，包括：服务器；所述服务器具有ai数据分析系统、控制器、拖拽记录器、可视化展示系统及多个前置处理器；多个数据采集器，与多个所述前置处理器连接，所述数据采集器用于基于多个接口或者账户将数据传输至前置处理器；所述前置处理器具有数据分类模块、数据卡片形成器和数据集权限设置模块；所述数据分类模块用于将基于多个接口或者账户传输的数据进行初步处理后再编辑以形成不同的数据集，在数据集的属性值中写入分类字段并以分类字段形成结构化存储并存储在服务器的存储一区；所述数据卡片形成器提取分类字段并依据所述分类字段形成对应的数据卡片，依据所述数据卡片形成数据库子表，并将数据库子表存储在服务器的存储二区；所述数据集权限设置模块依据数据库子表建立多个权限设置模板，设置每一权限设置模板的权限规则，通过权限规则批量设置数据库子表下的多个数据集；当需要展示数据时，具有两种模式：第一种模式，基于检索控制命令以获取检索控制命令包含的第一展示数据范围，依据所述第一展示数据范围选择对应的数据库子表；依据所述数据库子表筛选对应的数据卡片，将数据卡片在显示器上进行可视化显示；第二种模式，选取需要展示的数据库子表，在数据库子表下拖拽对应的数据卡片至预显示单元，控制器控制预显示单元将数据卡片形成预显示式样，并通过选择预显示式样确认后将预显示式样输送至显示器进行可视化显示，其中，所述拖拽记录器用于记录被拖拽的数据卡片；所述ai数据分析系统用于在第一种模式下，以分析基于检索控制命令得到的数据库子表和ai数据分析系统加载检索控制命令从检索控制命令提取出的比对数据库子表之
间的差异。
14.所述可视化展示系统包括：选择器，基于检索控制命令以获取检索控制命令包含的展示数据范围，依据所述展示数据范围选择对应的数据库子表；筛选器，依据所述数据库子表筛选对应的数据卡片；显示器，用于将所述数据卡片在显示器上进行可视化显示；或，所述可视化展示系统包括拖拽器；预显示单元；所述拖拽器选取需要展示的数据库子表，在数据库子表下拖拽对应的数据卡片至预显示单元，控制器控制预显示单元将数据卡片形成预显示式样，并通过选择预显示式样确认后将预显示式样输送至显示器进行可视化显示。
15.所述ai数据分析系统包括：至少一个提取器；分析单元；以及比较器；所述提取器将基于检索控制命令获取的展示数据范围以及与展示数据范围对应的数据库子表加载到比较器；所述分析单元加载检索控制命令以分析所述检索控制命令所包含的比对展示数据范围，依据所述比对展示数据范围得到比对数据库子表；所述比较器将数据库子表和比对数据库子表进行比较，以获取数据库子表和比对数据库子表之间的差异，从而获取选择器的选择精度。
16.所述预显示式样包含图表可视化展示和表格可视化展示；编辑器，该编辑器用于输入图表可视化展示和表格可视化展示所使用的参数信息。
17.本发明的有益效果为：本发明不通过建模的方式，而是在数据收集过程中，基于多个接口或者账户传输的数据进行初步处理后再编辑以形成不同的数据集，在数据集的属性值中写入分类字段并以分类字段形成结构化存储并存储在服务器的存储一区；数据卡片形成器提取分类字段并依据所述分类字段形成对应的数据卡片，依据所述数据卡片形成数据库子表，并将数据库子表存储在服务器的存储二区；当需要展示数据时，具有两种模式：第一种模式，基于检索控制命令以获取检索控制命令包含的第一展示数据范围，依据所述第一展示数据范围选择对应的数据库子表；依据所述数据库子表筛选对应的数据卡片，将数据卡片在显示器上进行可视化显示；第二种模式，选取需要展示的数据库子表，在数据库子表下拖拽对应的数据卡片至预显示单元，控制器控制预显示单元将数据卡片形成预显示式样，并通过选择预显示式样确认后将预显示式样输送至显示器进行可视化显示，其中，所述拖拽记录器用于记录被拖拽的数据卡片。
18.在上述中，本发明采用了在数据集的属性值中写入分类字段并以分类字段形成结构化存储，这样相同的数据集具有相同的分类字段，相同的数据集可以是不同接口或者账户传输的数据，按照分类字段实际上是将不同接口或者账户传输的同一种数据或者功能、
作用一致的数据归为一个数据集，然后对不同的数据集再按照分类字段形成对应的数据卡片，依据所述数据卡片形成数据库子表，需要展示数据时，只需要通过检索对应的数据范围或者拖拽对应的数据卡片即可形成数据的展示。此过程不需要依赖于不同模型的搭建，并且可以一次性完成将同一种数据或者功能、作用一致的数据进行展示。
19.本发明还通过所述数据集权限设置模块依据数据库子表建立多个权限设置模板，通过权限规则批量设置数据库子表下的多个数据集；可以按照相同的模板进行同时修改多个数据集的权限。
20.在上述中，所述数据分类模块用于将基于多个接口或者账户传输的数据进行初步处理后再编辑以形成不同的数据集。所述多个接口或者账户包含：第一种：从文件导入数据，从文件导入数据用于在数据处理中心中，支持从excel、csv等文件导入数据，进而进行数据处理的服务。
21.第二种：从数据库接入数据，从数据库接入数据用于提供的从多种数据库（包含存储过程）进行数据源接入的功能服务，数据库类型包括但不限于：mysql、sql server、oracle、bw、tidb等。
22.第三种：从web service接入数据，从web service接入数据支持将api数据通过web service数据连接器进行接入，可自定义灵活配置api返回数据的解析规则和选取所需字段，最后并利用连接创建web service数据集。
23.在上述中，可以定义web service的url地址、请求方式、请求头、认证、请求参数、请求体。比如：请求方式（支持get/post，默认为get）：get：一般用于请求资源；post：一般用于传输资源。
24.请求头：由key/value组成，告诉服务端需要的资源类型。具体参数设置可以见以下文档。
25.header：请求头参数详解；header解释示例accept指定客户端能够接收的内容类型；认证（支持api密钥、token令牌2种认证方式）：api密钥：api密钥是赋予某种形式的秘密令牌的名称，与web服务（或类似的）请求一起提交以识别请求的来源；token令牌：token是指在指定有效时间内可以代表用户角色，具有请求接口的权限。
26.请求参数：需要获取的字段和条件。
27.请求体：封装post请求消息的请求参数的，get没有请求体。
28.在请求参数的参数值和请求体中支持补充全局参数，且请求体下提供快速添加时间宏参数选择。可查看api的返回结构。通过使用标准的jsonpath解析json的规则，可输入结果字段路径（结果字段路径仅限json数组类型），系统将自动解析结果字段路径的1级层级（不含该路径下的嵌套的数组/对象）下所有对象的键值对（key/value）并自动展示一个勾选列表。如果需要额外添加结果字段路径下嵌套对象中的某一键值对，则可通过新增字段来添加。
29.数据连接及更新设置，支持两种数据连接方式，分别为：
直连：通过restful api进行准实时的接口数据获取，并通过bi进行可视化展示；同时可以通过全局参数等实现接口参数化查询。此时系统不会对抽取的数据进行持久化管理，也不进行增加更新，数据具有实时性。
30.index：通过restful api进行历史数据全量抽取，并配置好增量策略，将获取的数据在bi平台内沉淀为index数据集，以便进行后续的数据加工处理。
31.第四种：从mongodb接入数据，从mongodb这一数据库类型进行接入数据的服务。针对mongodb通过mongodb数据连接器，用来支持对mongodb的直接连接。mongodb内通常存在一些list、json类型的半结构化数据，无法使用标准的sql进行查询，而将mongodb内数据导入至index中，再通过smart etl进一步加工处理是一种比较好的使用方式。
32.账户数据集包括支持从常用oa系统中获取账户数据，并通过账户同步实现企业oa系统与该系统之间的账户数据无缝对接。
33.本发明在在实际业务场景中，源数据存在大量的脏数据，或者分析数据只需要部分数据时，可以通过对数据进行过滤、设置筛选的方式将数据进行初步的清洗及处理。当筛选条件为多条时，可以设置触发条件为“满足所有规则”或“满足任意规则”。筛选条件逻辑可包括“等于”、“不等于”、“包含”等等，并且可以对null值进行删除处理。过滤规则不仅可以设定为针对固定值的逻辑条件筛选，还可以在列和列之间设置逻辑条件筛选。
34.数据权限模板提供批量设置数据集行列权限的便捷功能，通过模板即可快速设置多个数据集的权限规则。
35.在本发明中，图表可视化，提供的丰富的图表展示方式，图表卡片制作采用拖拽式操作，图表卡片支持大量图表类型，如：表格、指标卡、计量图、折线图、簇状柱形图、堆积柱状图、百分比堆积柱状图、瀑布图、条形图、堆积条形图、百分比堆积条形图、桑基图、饼图、地图、雷达图、双轴图、仪表盘、气泡图、散点图、漏斗图、词云、日历视图、箱线图等。
36.表格是使用频率最高的图表之一，支持针对表格进行多种可视化操作，如设置主题样式、合并单元格、显示行序号等。在右上区域的可视化类型选择中，选择“表格”，建议任意数量的维度和数值；根据建议的可视化绘制提示，拖拽相应的维度与数值至绘制区域。
37.可视化编辑是在可视化呈现过程中，能够通过拖拉拽等界面化的方式，进行数据可视化编辑与卡片制作的操作过程。在可视化编辑的过程中，会涉及到维度、数值、字段、图表、辅助线、坐标轴等概念与对应操作方式。
38.本发明可以进行数据交互分析，数据交互分析是进行多份数据图表之间的联动查询与分析的交互功能，数据交互分析包含图表联动、多层下钻、跳转分析、图标模式/数据模式切换、过滤器等。
39.图表联动，主要通过筛选器卡片和“联动”功能设置来实现。用户可将卡片的内容作为筛选器查看，同时也支持不同数据集进行关联查看。
40.将某个卡片的内容作为筛选器，筛选其他卡片的内容。例如有商品分类饼状图和当月销售趋势折线图，可以将商品分类与销售趋势设置联动，筛选某一个商品分类的销售趋势。在某个销售看板，首先可以看到月度大区销售统计和月度全国销售统计情况。当选择其中某个地区时，月度全国销售统计图的数据会自动过滤，显示当前选择地区的数据。
41.多层下钻是指对数据以维度粒度逐层细化分析的一种分析方法，由一个数据卡片，在相同卡片框架内，跳转到相关的另外一个数据卡片。该系统支持任意维度、任意层级
的自定义下钻分析，且支持在下钻时，使用与原始数据集不同的数据集作为下钻分析的数据集。例如从某一个月的数据跳转到该月每天的数据等等。
42.跳转分析，是指从一个页面，连接到另一个页面，并可设置带条件跳转，将卡片中的内容，设置到目标卡片中的筛选器中，跳转功能支持除筛选器卡片外的所有图表、表格、文本、图片类型的卡片。
43.跳转分析可以通过设置跳转主要配置项实现，具体的，a. 跳转的目标页面，可以是普通页面、大屏或外部链接；b. 是否要带过滤条件跳转。设置带过滤条件跳转，有2个前提条件：跳转发起卡片中有“维度”/“对比”字段，可在点击维度分类时携带该值发起跳转。目标页面中有筛选器卡片。
44.带过滤跳转，需要目标页面的筛选器卡片作为过滤条件的传递中介，使跳转发起卡片的条件可以影响目标页面中的其他卡片。例如，跳转源页面上，表格的维度字段只用到“日期”，同时被“地域”筛选器联动。当表格数据被“地域”联动后，想要查看该地域对应日期的菜品销售额明细，因此在表格跳转的时候，要同时带上“地域”和“日期”两个条件。
45.本发明通过建立还系统可以帮助运维人员对某个时间段大批量的etl任务/抽数任务进行监控，每一次监控将生成一份可视化的监控分析图表报告，报告不仅包含任务运行总览情况和潜在异常任务分析，也涵盖了单个任务的历史运行情况分析和数据质量相关分析例如行数全量和增量变化率，帮助用户快速了解重点的抽数任务运行状态信息以及相关分析指标等，及时发现任务的运行异常情况和隐患。
46.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。