一种基于大数据的企业数据采集分析系统的制作方法

1.本发明涉及数据采集分析领域，尤其涉及一种基于大数据的企业数据采集分析系统。


背景技术：

2.随着信息化的深入推进，在企业内部数据思维、精细化管理的理念已深入人心，各级经营管理工作对大数据的需求日益旺盛，如何利用好各类数据，盘活数据资产，将其转化成企业发展动力，支撑各级生产管理者的经营决策是当前急需解决的问题。大数据已经成为重要的生产要素，是把握商机、促进发展的重要工具，越来越多的企业把大数据提升到公司战略层面，将大数据作为重要的管理依据和手段，提升企业核心竞争力，以加强对企业数据资源价值的挖掘应用，促进企业内外部数据深度融合，支撑大数据分析，进一步服务好企业的管理决策。
3.但是企业数据属于隐私数据，现有技术中，在对企业数据进行分析时，一般是通过账号秘密的方式来进行权限验证，从数据库中获取数据进行分析，显然，这样的验证方式容易因为账号密码泄露而影响数据安全。


技术实现要素：

4.本发明的目的在于公开一种基于大数据的企业数据采集分析系统，解决对企业数据进行分析时，通过账号密码的验证方式进行权限认证导致的容易因为账号密码泄露而影响数据安全的问题。
5.为了达到上述目的，本发明采用如下技术方案：
6.一种基于大数据的企业数据采集分析系统，包括数据存储模块、权限认证模块、数据分析模块和可视化模块；
7.数据存储模块用于存储企业数据；
8.数据分析模块用于向权限认证模块发送数据调用请求；
9.权限认证模块用于采用人脸识别的方式对数据调用请求进行权限验证，以及用于在权限验证通过后，将数据调用请求发送至数据存储模块；
10.数据存储模块还用于在接收到数据调用请求后，将企业数据发送至数据分析模块；
11.数据分析模块还用于对企业数据进行大数据分析，获得分析结果；
12.可视化模块用于对分析结果进行可视化展示。
13.优选地，基于大数据的企业数据采集分析系统还包括数据采集模块，数据采集模块用于从数据源采集企业数据。
14.优选地，所述数据源包括存储有企业数据的数据库、企业的业务系统和企业的共享数据库。
15.优选地，所述数据分析模块包括调用请求生成子模块、通信子模块和数据分析子
模块；
16.调用请求生成子模块用于获取数据分析模块使用者的脸部图像，以及用于基于脸部图像和数据要求生成数据调用请求；
17.通信子模块用于与权限认证模块进行通信，将数据调用请求发送至权限认证模块，以及用于与数据存储模块进行通信，接收从存储模块发送过来的企业数据；
18.数据分析模块用于将企业数据输入到预先构建的数据分析模型中进行大数据分析，获得分析结果。
19.优选地，所述数据要求包括数据类型和数据采集时间。
20.优选地，所述调用请求生成子模块包括图像获取单元和生成单元；
21.图像获取单元用于获取数据分析模块使用者的脸部图像；
22.生成单元用于基于脸部图像和数据要求生成数据调用请求。
23.优选地，所述图像获取单元包括拍摄子单元和控制子单元；
24.拍摄子单元用于在接收到控制子单元发送的拍摄命令后，对分析模块使用者的脸部进行拍摄，获得脸部图像；
25.控制子单元用于对拍摄子单元获取的脸部图像进行质量预判，若拍摄子单元获取的脸部图像通过质量预判，则将拍摄子单元获取的脸部图像发送至生成单元；
26.若拍摄子单元获取的脸部图像没有通过质量预判，则重新向拍摄子单元发送拍摄命令。
27.优选地，所述对拍摄子单元获取的脸部图像进行质量预判，包括：
28.计算拍摄子单元获取的脸部图像的预判指数：
[0029][0030]
式中，w1、w2表示预设的权重系数，numfc表示符合预设的像素点判断模型的像素点的数量，numall表示拍摄子单元获取的脸部图像中的像素点的数量，r、g、b分别表示脸部图像在rgb颜色空间中的红色分量图像、绿色分量图像和蓝色分量图像；u(d)表示分量图像d中的像素点的集合，d(c)表示分量图像d中的像素点c的像素值；
[0031]
若预判系数大于预设的预判系数对比值，则表示拍摄子单元获取的脸部图像通过质量预判，
[0032]
若预判系数小于等于预设的预判系数对比值，则表示拍摄子单元获取的脸部图像没有通过质量预判。
[0033]
优选地，通过如下方式判断拍摄子单元获取的脸部图像中的像素点是否符合预设的像素点判断模型：
[0034]
对于拍摄子单元获取的脸部图像中的像素点h，若则表示像素点h符合预设的像素点判断模型，k1、k2、k3、k4表示预设的4个模型系数，cr(h)和cb(h)分别表示像素点h在ycrcb颜色空间中的cr分量图像和cb分量图像中的像素值。
[0035]
优选地，所述权限认证模块包括存储子模块、特征比对子模块和管理子模块；
[0036]
存储子模块用于存储具有存储模块的数据调用权限的人员的脸部图像；
[0037]
特征比对模块用于获取数据调用请求中包含的脸部图像的第一特征信息，以及将第一特征信息分别与存储子模块存储的具有存储模块的数据调用权限的人员的脸部图像的第二特征信息进行比对，计算第一特征信息和第二特征信息之间的相似度；
[0038]
若存储子模块中存在相似度大于预设的相似度阈值时脸部图像，则表示权限认证通过，若存储子模块中不存在相似度大于预设的相似度阈值时脸部图像，则表示权限认证不通过；
[0039]
管理子模块用于在权限认证通过后，将数据调用请求发送至数据存储模块。
[0040]
本发明的有益效果如下：
[0041]
本发明在调用数据存储模块中存储的企业数据时，通过采用人脸识别的方式有效地提高了数据调用过程的安全性，能够有效避免因为账号密码泄露而影响数据安全的情况的发生。运用大数据技术对企业数据进行分析，有利于快速找到反映企业经营管理情况的相关指标，为管理层提供数据决策参考。
附图说明
[0042]
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
[0043]
图1，为本发明一种基于大数据的企业数据采集分析系统的一种示例性实施例图。
[0044]
图2，为本发明一种基于大数据的企业数据采集分析系统的另一种示例性实施例图。
具体实施方式
[0045]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0046]
如图1所示的一种实施例，本发明提供了一种基于大数据的企业数据采集分析系统，包括数据存储模块、权限认证模块、数据分析模块和可视化模块；
[0047]
数据存储模块用于存储企业数据；
[0048]
数据分析模块用于向权限认证模块发送数据调用请求；
[0049]
权限认证模块用于采用人脸识别的方式对数据调用请求进行权限验证，以及用于在权限验证通过后，将数据调用请求发送至数据存储模块；
[0050]
数据存储模块还用于在接收到数据调用请求后，将企业数据发送至数据分析模块；
[0051]
数据分析模块还用于对企业数据进行大数据分析，获得分析结果；
[0052]
可视化模块用于对分析结果进行可视化展示。
[0053]
本发明在调用数据存储模块中存储的企业数据时，通过采用人脸识别的方式有效地提高了数据调用过程的安全性，能够有效避免因为账号密码泄露而影响数据安全的情况的发生。运用大数据技术对企业数据进行分析，有利于快速找到反映企业经营管理情况的
相关指标，为管理层提供数据决策参考。
[0054]
基于统一数据来源汇聚采集大量生产经营和管理数据，运用大数据分析识别和梳理反映企业经营管理状况的关键指标，构建运营管理指标体系，实现跨专业、跨板块数据深度融合分析，以可视化的方式从不同视角反映企业的整体运营情况，为管理层提供及时、准确、全面、有效的“一站式”企业管理决策支持，满足各级经营分析人员的日常经营管理工作需求，支撑企业的日常经营分析活动的开展。实现企业决策的可视化、企业管理的科学化以及企业数据的规范化，从而提高了企业管理水平和企业的核心竞争力。
[0055]
优选地，如图2所示，基于大数据的企业数据采集分析系统还包括数据采集模块，数据采集模块用于从数据源采集企业数据。
[0056]
具体的，通过分布式消息队列采集接入多种数据源，数据源包括传统的数据库，数据仓库，分布式数据库，nosql数据库，半结构化数据，无结构化数据，爬虫，日志系统等，企业数据主要包括企业各业务系统数据、企业间共享数据、互联网补充业务数据等。
[0057]
数据采集模块主要实现数据采集功能，负责从数据源中采集各类数据，部署可配置的采集调度任务，通过大数据技术采集数据源层的数据，包括消息队列采集、日志采集、实时流数据传输、数据迁移，文件采集等多种方式，可视化快速配置etl批处理作业、统一调度管控，可轻松管理数据采集任务，对数据数据清洗、数据转换、数据加工、数据关联、数据标注、数据预处理、数据加载、数据抽取等工作，转化处理后导入数据存储模块。
[0058]
可视化模块通过数据分析模块提供的服务应用接口，为上层业务应用提供通用性、公共性的数据可视化组件，如即席查询、分析报表制作、统计图表组件等产品化组件，实现bi分析、报表展示、大屏展示、驾驶舱展示等应用功能，满足大数据平台对分析结果展现的要求。
[0059]
具体的，本发明的数据存储模块可以包括基础数仓、综合数仓，共享数仓，在此基础构建经营分析主题、业务发展主题、服务质量主题、企业管理主题、市场行情主题、客户管理主题六大模块，每个主题下存储与业务特点相关的数据，形成基本分析数据集市。
[0060]
数仓中对于系统数据的存储主要划分为ods(原始数据层)、dwd(明细事实层)、dws(轻度聚合层)、ads(报表展示层)，分别存储不同形式的数据。ods(原始数据层)存储大数据平台根据经营分析系统所需功能，接收各业务系统生成的数据；dwd(明细事实层)存储根据大数据平台经分数仓的原始层数据经过一定的业务规则，进行清洗、加工转换、整合汇总后形成的明细事实层数据；dws(轻度聚合层)存储根据明细事实层数据按照业务需求进行数据整合、数据分析、数据挖掘，形成的提供应用门户自定义查询的数据；ads(报表展示层)存储根据明细事实层、轻度聚合层数据，按照经分展示报表和驾驶舱需求做逻辑加工处理，生成满足经分需要的报表和驾驶舱展示层数据。
[0061]
优选地，所述数据源包括存储有企业数据的数据库、企业的业务系统和企业的共享数据库等。
[0062]
优选地，所述数据分析模块包括调用请求生成子模块、通信子模块和数据分析子模块；
[0063]
调用请求生成子模块用于获取数据分析模块使用者的脸部图像，以及用于基于脸部图像和数据要求生成数据调用请求；
[0064]
通信子模块用于与权限认证模块进行通信，将数据调用请求发送至权限认证模
块，以及用于与数据存储模块进行通信，接收从存储模块发送过来的企业数据；
[0065]
数据分析模块用于将企业数据输入到预先构建的数据分析模型中进行大数据分析，获得分析结果。
[0066]
具体的，数据存储模块负责数据采集模块获取的企业数据的存储，存储了经过清洗处理后的可用于生产系统的元数据，业务数据库，模型数据库等，底层存储基于hadoop的文件系统hdfs和nosql数据库hbase，半结构化/非结构化数据存储于hbase中，hbase是一种非关系型的分布式列存数据库，支持海量的pb级的大数据存储,适用于高吞吐的随机读写的场景，将采集到的结构化数据、非结构化数据、半结构化数据写入到文件系统中。在hadoop hdfs存储之上，运用habse、hive、spark等组件，满足用户不同分析场景的需求，这些组件将通过数据分析层调用。利用基于内存的类关系型数据库，主要用于实时和大规模、高并发的复杂分析场景。
[0067]
具体的，数据分析模块利用hadoop生态系统的组件、数据分析能力实现企业数据分析与外巨额场景计算处理。通过企业数仓构建分析模型与数据挖掘算法，输出分析结果，形成多维数据分析立方体。
[0068]
优选地，所述数据要求包括数据类型和数据采集时间。
[0069]
优选地，所述调用请求生成子模块包括图像获取单元和生成单元；
[0070]
图像获取单元用于获取数据分析模块使用者的脸部图像；
[0071]
生成单元用于基于脸部图像和数据要求生成数据调用请求。
[0072]
优选地，所述图像获取单元包括拍摄子单元和控制子单元；
[0073]
拍摄子单元用于在接收到控制子单元发送的拍摄命令后，对分析模块使用者的脸部进行拍摄，获得脸部图像；
[0074]
控制子单元用于对拍摄子单元获取的脸部图像进行质量预判，若拍摄子单元获取的脸部图像通过质量预判，则将拍摄子单元获取的脸部图像发送至生成单元；
[0075]
若拍摄子单元获取的脸部图像没有通过质量预判，则重新向拍摄子单元发送拍摄命令。
[0076]
优选地，所述对拍摄子单元获取的脸部图像进行质量预判，包括：
[0077]
计算拍摄子单元获取的脸部图像的预判指数：
[0078][0079]
式中，w1、w2表示预设的权重系数，numfc表示符合预设的像素点判断模型的像素点的数量，numall表示拍摄子单元获取的脸部图像中的像素点的数量，r、g、b分别表示脸部图像在rgb颜色空间中的红色分量图像、绿色分量图像和蓝色分量图像；u(d)表示分量图像d中的像素点的集合，d(c)表示分量图像d中的像素点c的像素值；
[0080]
若预判系数大于预设的预判系数对比值，则表示拍摄子单元获取的脸部图像通过质量预判，
[0081]
若预判系数小于等于预设的预判系数对比值，则表示拍摄子单元获取的脸部图像没有通过质量预判。
[0082]
在上述实施例中，主要是从符合像素点判断模型的像素点的数量以及脸部图像中的像素点在rgb颜色空间中的像素值之间的差异来计算预判系数，符合像素点判断模型的像素点的数量越大，在rgb颜色空间中的像素值之间的差异越大，则表示拍摄子单元获取的脸部图像质量越高。像素点判断模型主要是用来获取脸部皮肤区域的像素点的数量，而像素值之间的差异越大，则表示模糊的概率越小。这样的设置方式，在采集端通过对脸部图像进行简单的预判，能够有效地避免质量较差的图像进入权限认证模块，从而能够避免由质量较差的脸部图像导致的权限认证失败的事件的发生，有效地保证了本发明的权限认证的效率。
[0083]
优选地，通过如下方式判断拍摄子单元获取的脸部图像中的像素点是否符合预设的像素点判断模型：
[0084]
对于拍摄子单元获取的脸部图像中的像素点h，若则表示像素点h符合预设的像素点判断模型，k1、k2、k3、k4表示预设的4个模型系数，cr(h)和cb(h)分别表示像素点h在ycrcb颜色空间中的cr分量图像和cb分量图像中的像素值。
[0085]
具体的，k1的取值可以是132，k2的取值可以是172，k3的取值可以78，k4的取值可以是126。
[0086]
优选地，所述权限认证模块包括存储子模块、特征比对子模块和管理子模块；
[0087]
存储子模块用于存储具有存储模块的数据调用权限的人员的脸部图像；
[0088]
特征比对模块用于获取数据调用请求中包含的脸部图像的第一特征信息，以及将第一特征信息分别与存储子模块存储的具有存储模块的数据调用权限的人员的脸部图像的第二特征信息进行比对，计算第一特征信息和第二特征信息之间的相似度；
[0089]
若存储子模块中存在相似度大于预设的相似度阈值时脸部图像，则表示权限认证通过，若存储子模块中不存在相似度大于预设的相似度阈值时脸部图像，则表示权限认证不通过；
[0090]
管理子模块用于在权限认证通过后，将数据调用请求发送至数据存储模块。
[0091]
优选地，所述获取数据调用请求中包含的脸部图像的第一特征信息，包括：
[0092]
对数据调用请求中包含的脸部图像进行光照调节处理，获得光照调节处理图像；
[0093]
对光照调节处理图像进行灰度化处理，获得灰度图像；
[0094]
对灰度图像进行降噪图像，获得降噪图像；
[0095]
对降噪图像进行图像分割处理，获得前景图像；
[0096]
使用图像特征信息提取算法对前景图像进行特征信息提取，获得第一特征信息。
[0097]
通过光照调节，能够均衡脸部图像中光照分布，从而有效地降低由于光照因素导致的权限验证的失败的概率，有利于保障权限认证的效率。降噪处理能够有效地对灰度图像中的噪声进行处理，从而提高图像分割处理的准确率。通过图像分割获取前景图像，能够减少参与特征信息提取算法的像素点的数量，从而节约第一特征信息的获取过程的时间。
[0098]
具体的，特征信息提取算法包括hog特征提取算法等。
[0099]
第二特征信息的获取过程和第一特征信息的获取过程一致，这里不再赘述。为了缩短比对的时间，还可以预先获取具有存储模块的数据调用权限的人员的脸部图像中包含
的第二特征信息，然后将第二特征信息存储在存储子模块中，然后在对比时，则不再需要重新计算第二特征信息，这样的设置方式能够有效地缩短比对的时间。
[0100]
优选地，所述对数据调用请求中包含的脸部图像进行光照调节处理，获得光照调节处理图像，包括：
[0101]
获取数据调用请求中包含的脸部图像的像素点中需要进行光照调节处理的像素点的集合s；
[0102]
使用光照调节算法分别对集合s中的每个像素点进行光照调节处理，获得光照调节处理图像。
[0103]
传统的光照调节算法一般是对所有的像素点进行全局的光照调节处理，显然这样的处理方式由于参与到光照调节处理过程的像素点的数量比较多，会加长比对的时间，从而对权限认证的速度造成影响。而本发明通过先获取需要进行光照调节处理的像素点，然后再对其进行光照调节处理，则是能够大幅度地减少参与到光照调节处理过程的像素点的数量，有效地缩短权限认证的时间。
[0104]
优选地，通过如下方式判断数据调用请求中包含的脸部图像的像素点是否需要进行光照调节处理：
[0105]
对于数据调用请求中包含的脸部图像中的像素点pixel，通过如下方式计算其判断系数：
[0106]
若l
top2
≤l(pixel)≤l
top1
，则
[0107][0108]
若l
top2
≤l(pixel)≤l
top1
，则
[0109][0110]
其中，judeidx(pixel)表示像素点pixel的判断系数，l(pixel)表示像素点pixel在lab颜色空间中的l分量图像中对应的像素点的像素值，l
top1
和l
top2
分别表示第一参考值和第二参考值，mal表示l分量图像中的像素值的最大值，lthre1和lthre2分别表示预设的第一阈值和第二阈值，lthre1∈[11,18],lthre2∈[79,86],avel表示l分量图像中的像素值的中值，sc表示预设的辅助系数，95≤sc≤100，mi表示取括号内的较小值，ma表示取括号内的较大值；
[0111]
计算像素点pixel的自适应系数阈值：
[0112][0113]
其中，jsthre(pixel)表示像素点pixel的自适应系数阈值，neipixel表示以像素点pixel为圆心的，半径为r的范围内的像素点的集合，l(v)表示像素点v在l分量图像中的
像素值，dist(pixel,v)表示pixel和v之间的空间距离，wz表示neipixel中的像素点与像素点pixel的在l分量图像中的像素值的差值的标准差，yz表示neipixel中的像素点与像素点pixel的空间距离的标准差；φ为预设的控制参数；
[0114]
若像素点pixel的判断系数大于自适应系数阈值，则表示pixel需要进行光照调节处理。
[0115]
本发明在判断像素点是否需要进行光照调节处理时，通过在lab颜色空间的l分量图像中分别计算像素点的判断系数和自适应系数阈值，有效地将像素值与周围的像素点之间差异比较大的像素点筛选了出来。本发明并不是直接根据某个阈值来判断像素点是否需要进行光照调节处理，而是通过自适应系数阈值来判断，自适应系数阈值根据以像素点pixel为圆心的，半径为r的范围内的像素点的集合的像素值计算得到，能够综合反应像素点pixel周围的像素值分布情况。由于脸部图像中的不同区域的光照分布并不一致，若采用固定的阈值，显然不能准确选出需要进行光照调节的像素点。
[0116]
本发明通过统一的企业经营分析系统，基于大数据的企业数据采集分析系统，将企业的各种各业务系统数据与外部数据进进行整合关联，多种数据采集方式，支撑行业数据与外数据融合与分析，对经营分析决策提供支撑。2.规范化、标准化和一体化企业指标体系，梳理各类指标，对指标标准严格定义，构建分析多维模型，建立规范化、标准化和一体化企业指标体系。企业智能化决策分析，利用企业经营管理数据，运用大数据、人工智能对数据进行深入分析挖掘，及时分析企业现状、提前预判业务风险，为企业生产、经营活动做好技术保障。企业图形化数据展示，运用数据可视化技术，进行企业信息的图形化展示，通过地图、各种常见的图表构建管理驾驶舱，形象展示企业运行的关键指标(kpi),实时反映企业的运行状态，对异常关键指标预警和挖掘分析，展现结果直观，易理解。
[0117]
尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。
[0118]
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
[0119]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。
[0120]
实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指
令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。