一种自由配置大屏可视化的大数据平台的制作方法

1.本发明属于大数据技术领域，尤其涉及一种自由配置大屏可视化的大数据平台。


背景技术：

2.当前的视频播放和显示系统一般是在一台计算机独立运行，随着虚拟现实和影视娱乐业的发展，对显示质量的要求不断提高，对于超高分别率视频播放系统、超大尺寸显示系统的需求也越来越高；
3.大数据快速发展的今天，庞大的数据量已经让不少人看到了其中的价值，在寻找、发现、获取大数据所蕴含价值的过程中，人们采集、存储、整理、计算、分析数据，以求由结果得出某种启发、规律，进而对数据价值加以创造利用，但若数据的分析结果仍然以数字、表格或文字方式展示，既不便于用户阅读，也不利于有效地暴露数据的隐藏信息，从技术发展和市场产品更新程度来看，当前行业搭建符合自身需求的大屏应用主要通过以下两种方式：
4.自行搭建等同于自主项目研发，首先需要明确展示屏幕的尺寸及分辨率，然后通过需求调研确定展示内容及组件样式，再经过专业设计输出高保真原型给到开发团队进行开发，最终现场调试及验收。整个项目实现周期长、沟通成本高、对设计和前端开发技术要求高，且存在后续微调技术团队持续支持的需求，适合于拥有完整研发团队的企业和机构；
5.当前市场上有很多专门提供搭建大屏应用服务的产品，如阿里云的datav和百度的sugar，他们的优势在于无需自建研发团队，能满足快速输出大屏应用的需求，但劣势在于要么价格偏贵，不适合使用频率不高的用户，要么操作不方便,不适合非技术人员使用；要么组件少，不适合对展示效果有较高需求的用户。
6.因此，有必要提供一种新的自由配置大屏可视化的大数据平台解决上述技术问题。


技术实现要素：

7.本发明解决的技术问题是提供一种傻瓜式操作，可以降低用户使用门槛，同时基于用户权限和工作流控制，实现主体内协作机制，解决了单用户搭建门槛高、多用户搭建记录无法溯源的问题，最后平台服务免费或按需使用，解决低频用户采购需求的自由配置大屏可视化的大数据平台。
8.为解决上述技术问题，本发明提供的自由配置大屏可视化的大数据平台包括：系统逻辑架构、系统实现模式、功能模式和数据库；
9.所述系统逻辑架构为b/s架构模式，所述b/s架构模式从上到下分别为客户端、服务器端和数据库端；
10.所述客户端包括有表现层，所述表现层主要实现系统对用户操作指令的识别、后台请求的传递、输出结果的展示，针对web应用，形式为浏览器网页；
11.所述服务器端包括有业务逻辑层和数据访问层，所述业务逻辑层主要实现接收表
现层用户指令，将其转化为数据访问层的数据操作，最后将数据访问层返回的信息按照平台业务规则加工处理返回表现层，起到了承上启下的作用；
12.所述数据访问层主要实现接收由业务逻辑层传递而来的的数据库操作指令，执行对应的库操作并反馈封装好的操作结果信息，与底层数据库直接交互，一定程度上决定了系统性能。
13.作为本发明的进一步方案，所述系统实现模式包括有前后端分离设计、服务器端渲染模式和前端框架设计，所述前后端分离设计是将应用服务和web服务解耦。
14.作为本发明的进一步方案，所述服务器端渲染模式将浏览器的渲染工作转移到web服务器端，利用服务器端硬件性能优势解决性能瓶颈，使大屏能够快速展示给用户，选择node.js作为web服务器的开发方式。
15.作为本发明的进一步方案，所述前端框架设计采用前端框架vue.js实现，使其能够极大减少javascript对dom元素的手动操作。
16.作为本发明的进一步方案，所述功能模式包括有大屏应用/模板管理模块、数据源管理模块、组件管理模块、主体管理模块和工作流管理模块，所述大屏应用/模板管理模块划分为应用增删改查模块、应用搭建模块、应用预览、发布及查看模块。
17.作为本发明的进一步方案，所述数据源管理模块划分为三类数据源增查改删模块，即数据库、本地文件和手动输入。
18.作为本发明的进一步方案，所述组件管理模块提供了管理员和用户在平台开放前初始化组件库、在平台使用期间维护组件、分享组件并保证组件库正常运转的功能。
19.作为本发明的进一步方案，所述主体管理模块是平台资源的权限隔离单位，入驻时需提交相关资质，经系统管理员审核通过后创建主体管理员账户，主体用户由主体管理员邀请加入后使用组件和数据源资源搭建大屏应用。
20.作为本发明的进一步方案，所述工作流管理模块平台业务流程的抽象映射，方便了任务的自动化流转和通知，平台管理员通过定义工作流初始化基础工作流模型，用户可以按需启用/停用/编辑和查看变更记录和跟踪流程进度。
21.作为本发明的进一步方案，所述数据库使用mongodb存储数据，它是一个模式松散、以集合为单位组织的文档型数据库。
22.与相关技术相比较，本发明提供的自由配置大屏可视化的大数据平台具有如下有益效果：
23.1、本发明通过平台服务免费或按需使用，解决低频用户采购需求，傻瓜式操作，降低用户使用门槛，支持自定义组件到组件库，满足随时更新组件风格，引入工作流管理，帮助不同角色分工协作完成大屏应用搭建工作；
24.2、本发明通过采用前后端分离和服务器端渲染的方式，基于node.js框架express、前端框架vue.js和可视化图表库echarts对系统进行开发实现各功能模块功能，同时基于用户权限和工作流控制，设计并实现了主体内协作机制，解决了单用户搭建门槛高、多用户搭建记录无法溯源的问题。
附图说明
25.为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
26.图1为本发明的结构示意图；
27.图2为本发明中系统逻辑架构的示意图；
28.图3为本发明中前后端分离设计的示意图；
29.图4为本发明中服务器端渲染模式的示意图。
具体实施方式
30.请结合参阅图1、图2、图3和图4，其中，图1为本发明的结构示意图；图2为本发明中系统逻辑架构的示意图；图3为本发明中前后端分离设计的示意图；图4为本发明中服务器端渲染模式的示意图。自由配置大屏可视化的大数据平台包括：系统逻辑架构、系统实现模式、功能模式和数据库；
31.所述系统逻辑架构为b/s架构模式，所述b/s架构模式从上到下分别为客户端、服务器端和数据库端；
32.所述客户端包括有表现层，所述表现层主要实现系统对用户操作指令的识别、后台请求的传递、输出结果的展示，针对web应用，形式为浏览器网页；
33.所述服务器端包括有业务逻辑层和数据访问层，所述业务逻辑层主要实现接收表现层用户指令，将其转化为数据访问层的数据操作，最后将数据访问层返回的信息按照平台业务规则加工处理返回表现层，起到了承上启下的作用；
34.所述数据访问层主要实现接收由业务逻辑层传递而来的的数据库操作指令，执行对应的库操作并反馈封装好的操作结果信息，与底层数据库直接交互，一定程度上决定了系统性能。
35.所述系统实现模式包括有前后端分离设计、服务器端渲染模式和前端框架设计，所述前后端分离设计是将应用服务和web服务解耦。
36.用户操作触发客户端向web服务器发起http请求，web服务器解析http请求并调用应用服务器暴露的restful接口，应用服务器的restful接口被调用后，执行对应的业务逻辑，若业务逻辑中存在与数据库的交互则进行数据的读取和处理，通过接口返回json数据给web服务器，web服务器获得json格式的返回信息后，使用模板将信息渲染成html传递给客户端显示。
37.所述服务器端渲染模式将浏览器的渲染工作转移到web服务器端，利用服务器端硬件性能优势解决性能瓶颈，使大屏能够快速展示给用户，选择node.js作为web服务器的开发方式。
38.web服务器接收后端传回的信息，以用户搭建应用时产生的大屏描述文件为模板，渲染出能够直接为浏览器展示的html文件传回浏览器端，最终实现浏览器的快速展示。
39.所述前端框架设计采用前端框架vue.js实现，使其能够极大减少javascript对dom元素的手动操作。
40.所述功能模式包括有大屏应用/模板管理模块、数据源管理模块、组件管理模块、主体管理模块和工作流管理模块，所述大屏应用/模板管理模块划分为应用增删改查模块、应用搭建模块、应用预览、发布及查看模块。
41.所述数据源管理模块划分为三类数据源增查改删模块，即数据库、本地文件和手动输入。
42.在使用该模块功能前，接入的数据源应进行必要的数据预处理操作，主要环节包括数据清洗和数据集成，原始业务数据通过清洗流程产生符合展示和分析要求的“干净”数据集，按需集中迁移存储后使用数据源管理模块接入平台。
43.按照常规的“发现问题－分析问题－解决问题－验证问题”思路，数据清洗流程一般包括以下几个步骤：
44.1、在充分理解业务规则并了解数据结构的基础上，分析常见问题类型；
45.2、针对问题类型制定对应的校验规则及处理方案；
46.3、验证方案执行后的数据质量，如不符合预期则继续改进校验及处理模型；
47.4、如符合预期则执行清洗和回流的工作流。
48.目前，在常见问题校验及修正、清洗质量和效率提升等方面均有着大量研究成果；
49.检测环节，针对常见的数据缺失、格式错误、内容错误、逻辑错误、无效数据等问题类型，简单数据提出了采用数据字典、正则表达式、代码逻辑进行校验，复杂场景提出了基于概率统计、基于回归模型、基于邻近度的检测算法；
50.修复和补全环节，提出了基于平滑回归和基于聚类约束的修复方法，使用数据平滑技术和数据约束规则提升了错误数据的修复效果和时间性能；
51.效率和质量方面，提出了基于规则引擎的框架、基于动态可配置规则的方法、基于规则分层管理框架的规则链自动生成方法等，降低了规则逻辑冲突和清洗出错率。
52.所述组件管理模块提供了管理员和用户在平台开放前初始化组件库、在平台使用期间维护组件、分享组件并保证组件库正常运转的功能。
53.所述主体管理模块是平台资源的权限隔离单位，入驻时需提交相关资质，经系统管理员审核通过后创建主体管理员账户，主体用户由主体管理员邀请加入后使用组件和数据源资源搭建大屏应用。
54.所述工作流管理模块平台业务流程的抽象映射，方便了任务的自动化流转和通知，平台管理员通过定义工作流初始化基础工作流模型，用户可以按需启用/停用/编辑和查看变更记录和跟踪流程进度。
55.所述数据库使用mongodb存储数据，它是一个模式松散、以集合为单位组织的文档型数据库。
56.选用mongodb作为平台数据库主要有以下特点：
57.1、面向文档，数据格式与前后端js处理的数据格式相近，减少数据对象与库表行之间的转换工作；
58.2、文档数据格式不固定，允许存储字段扩展，更便于快速迭代优化系统；
59.3、虚拟内存 持久化的存储方式，将存储在硬盘中经常读取的数据通过文件映射方式加载到内存中，在适量级的内存资源下，大大提高了数据库查询效率。
60.本发明具有以下特点：
61.1、平台服务免费或按需使用，解决低频用户采购需求；
62.2、傻瓜式操作，降低用户使用门槛；
63.3、支持自定义组件到组件库，满足随时更新组件风格；
64.4、引入工作流管理，帮助不同角色分工协作完成大屏应用搭建工作。
65.采用前后端分离和服务器端渲染的方式，基于node.js框架express、前端框架
vue.js和可视化图表库echarts对系统进行开发实现各功能模块功能，同时基于用户权限和工作流控制，设计并实现了主体内协作机制，解决了单用户搭建门槛高、多用户搭建记录无法溯源的问题。
66.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。