基于多维信息的数据分析方法与流程

1.本发明涉及数据分析技术领域，尤其涉及一种基于多维信息的数据分析方法。


背景技术：

2.在数字经济时代，数据已成为一种重要的生产要素，通过对数据的收集、存储、再组织和分析建模，隐藏在数据中的重要价值及规律逐渐展现出来，正成为组织转型升级及可持续发展的重要推动力量。目前，一些用户在生产运营过程中会得到大量数据并进行存储，但是不知道怎么利用这些数据得到有效的信息；而对于了解数据分析的用户来说，对数据进行分析的过程复杂、用时较多，不够方便。
3.因此，需要有一种适用范围广并且使用方便的数据分析方法。


技术实现要素：

4.本发明实施例提供了一种基于多维信息的数据分析方法，以解决目前的数据分析方法使用不方便的问题。
5.第一方面，本发明实施例提供了一种基于多维信息的数据分析方法，包括：
6.获取业务数据库和目标业务分析请求；其中，业务数据库至少包括目标业务的多维数据；
7.基于目标业务分析请求，获取目标业务的业务逻辑；
8.基于业务逻辑在业务数据库中提取目标业务的关联数据；
9.获取目标业务对应的分析算法；
10.将关联数据和分析算法填充到预设的数据分析模板中，得到目标业务对应的数据分析模型；
11.基于数据分析模型确定目标业务对应的分析结果。
12.在一种可能的实现方式中，获取目标业务对应的分析算法，包括：
13.获取目标业务对应的分析需求；
14.基于分析需求和目标业务的类型确定目标业务对应的分析算法。
15.在一种可能的实现方式中，获取目标业务对应的分析需求，包括：
16.基于目标业务的类型和下述至少一项确定目标业务对应的分析需求：
17.机器学习、语义分析和知识图谱。
18.在一种可能的实现方式中，基于分析需求和目标业务的类型确定目标业务对应的分析算法，包括：
19.基于分析需求、目标业务的类型和下述至少一项确定目标业务对应的分析算法：
20.机器学习、语义分析和知识图谱。
21.在一种可能的实现方式中，在将关联数据和分析算法填充到预设的数据分析模板中之前，该方法还包括：
22.对关联数据进行数据清洗；
23.将关联数据和分析算法填充到预设的数据分析模板中，包括：
24.将数据清洗后的关联数据和分析算法填充到预设的数据分析模板中。
25.在一种可能的实现方式中，在将关联数据和分析算法填充到预设的数据分析模板中之前，该方法还包括：
26.对关联数据进行纠偏；
27.将关联数据和分析算法填充到预设的数据分析模板中，包括：
28.将纠偏后的关联数据和分析算法填充到预设的数据分析模板中。
29.在一种可能的实现方式中，在基于数据分析模型确定目标业务对应的分析结果之后，该方法还包括：
30.获取用户选取的可视化形态；
31.将分析结果填充到可视化形态对应的展示模板中，得到目标业务对应的可视化分析结果。
32.第二方面，本发明实施例提供了一种基于多维信息的数据分析平台，包括：
33.数据获取模块，用于获取业务数据库和目标业务分析请求；其中，业务数据库至少包括目标业务的多维数据；
34.业务逻辑获取模块，用于基于目标业务分析请求，获取目标业务的业务逻辑；
35.关联数据提取模块，用于基于业务逻辑在业务数据库中提取目标业务的关联数据；
36.分析算法确定模块，用于获取目标业务对应的分析算法；
37.分析模型建立模块，用于将关联数据和分析算法填充到预设的数据分析模板中，得到目标业务对应的数据分析模型；
38.目标业务分析模块，用于基于数据分析模型确定目标业务对应的分析结果。
39.第三方面，本发明实施例提供了一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式方法的步骤。
40.第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式方法的步骤。
41.本发明实施例提供的基于多维信息的数据分析方法的有益效果在于：
42.本发明在获取到用户提供的目标业务和分析算法后，根据预设的数据分析模板建立数据分析模型，能够自动对目标业务进行分析，得到用户需要的分析结果，便于用户在大量数据中提取到需要的信息，并进行有效使用。
附图说明
43.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明一实施例提供的基于多维信息的数据分析方法的实现流程图；
45.图2是本发明一实施例提供的基于多维信息的数据分析平台的结构示意图；
46.图3是本发明一实施例提供的终端的示意图。
具体实施方式
47.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
49.参见图1，其示出了本发明实施例提供的基于多维信息的数据分析方法的实现流程图，详述如下：
50.步骤101，获取业务数据库和目标业务分析请求；其中，业务数据库至少包括目标业务的多维数据。
51.在本实施例中，基于多维信息的数据分析方法可以在基于多维信息的数据分析平台的基础上实现，该平台由数据分析、模型构建、组件编辑、页面编辑、应用编排等模块构成，能够实现全流程拖拽式的操作，帮助用户零门槛地进行数据建模和开发可视化应用，为用户提供全业务链的数据建模和可视化分析解决方案。为了便于解释说明，以下简称为“平台”。
52.本实施例中的业务数据库是指用户提供的数据库，包含有维度全面的数据。具体的获取方式可以是由用户上传到平台，也可以由用户提供业务数据库中需要包含的各数据类别后，平台通过用户提供的渠道实时收集这些数据，以建立业务数据库。业务数据库中的数据可多可少，但是至少需要包括目标业务涉及到的各维度数据。其中，目标业务是指用户需要进行分析的业务，例如交通路况、学校教学等业务。目标业务可以根据用户输入的目标业务分析请求确定，也可以由平台根据业务数据库中包含的数据类别确定。
53.步骤102，基于目标业务分析请求，获取目标业务的业务逻辑。
54.在本实施例中，目标业务的业务逻辑是指目标业务的运行逻辑，通过目标业务的业务逻辑能够确定目标业务在运行时涉及到哪些类型的数据，以及各类型数据之间的影响关系。
55.步骤103，基于业务逻辑在业务数据库中提取目标业务的关联数据。
56.在本实施例中，目标业务的关联数据就是指目标业务在运行时涉及到的各类型数据。对关联数据进行分析，能够帮助用户确定目标业务的运行状况、潜在风险等信息，辅助用户做出合理决策。
57.步骤104，获取目标业务对应的分析算法。
58.在本实施例中，对于不同类型的目标业务、以及用户有不同的数据分析需求时，进行数据分析的分析算法也会不同。分析算法可以由用户直接指定，如果用户不了解数据分析或者并没有明确的分析方向，则可以由平台向推荐分析算法。
59.步骤105，将关联数据和分析算法填充到预设的数据分析模板中，得到目标业务对应的数据分析模型。
60.在本实施例中，数据分析模板用于限定数据分析模型的形式。针对不同的分析算法和目标业务，数据分析模板可以是不同的形式，相应的，在选取数据分析模板时，可以由用户在各预设的数据分析模板中进行选择，也可以由平台根据分析算法和目标业务进行推荐。本实施例中通过数据分析模板建立数据分析模型，即使用户完全不了解数据分析，也能够快速、便捷的得到需要的数据分析结果。
61.步骤106，基于数据分析模型确定目标业务对应的分析结果。
62.在本实施例中，基于数据分析模型得到的分析结果可以得到关联数据之间隐藏的联系，从而帮助用户确定目标业务的运行状况、潜在风险等信息，辅助用户做出合理决策。同时也能够为一些行业提供解决方案，如交通、医疗保险等。
63.在一种可能的实现方式中，获取目标业务对应的分析算法，包括：
64.获取目标业务对应的分析需求；
65.基于分析需求和目标业务的类型确定目标业务对应的分析算法。
66.在本实施例中，当用户没有指定分析算法时，平台可以推荐合适的分析算法或者直接选取合适的算法。
67.在一种可能的实现方式中，获取目标业务对应的分析需求，包括：
68.基于目标业务的类型和下述至少一项确定目标业务对应的分析需求：
69.机器学习、语义分析和知识图谱。
70.在本实施例中，如果用户以文字的形式在平台中输入了目标分析请求，则平台可以对目标分析请求进行语义分析，提取目标分析请求中所包含的分析需求。如果目标分析请求中没有包含分析需求，则可以通过机器学习或知识图谱确定分析需求。
71.例如，平台在基于机器学习推荐分析需求时，可以将目标业务的类型输入用于确定分析需求的神经网络模型中，确定目标业务能够实现的分析需求；
72.平台在基于知识图谱推荐分析需求时，可以根据目标业务的类型和多元组确定目标业务能够实现的分析需求，其中，多元组包含了各类目标业务的类型能够实现的多种分析需求。
73.在一种可能的实现方式中，基于分析需求和目标业务的类型确定目标业务对应的分析算法，包括：
74.基于分析需求、目标业务的类型和下述至少一项确定目标业务对应的分析算法：
75.机器学习、语义分析和知识图谱。
76.在本实施例中，平台内置了几十种常用的数据分析算法，并且用户还可以将不同的算法进行组合对目标业务进行分析，例如通过遗传算法对神经网络进行优化。如果用户以文字的形式在平台中输入了目标分析请求，则平台可以对目标分析请求进行语义分析，提取目标分析请求中所包含的分析算法。如果目标分析请求中没有包含分析算法，则可以通过机器学习或知识图谱确定分析算法。
77.例如，平台在基于机器学习推荐分析算法时，可以将分析需求和目标业务的类型输入用于确定分析算法的神经网络模型中，确定适用于分析需求和目标业务的分析算法；
78.平台在基于知识图谱推荐分析算法时，可以根据分析需求、目标业务的类型和三元组确定分析需求和目标业务的类型对应的分析算法，其中，三元组包含了分析需求、目标业务的类型和分析算法的对应关系。
79.在一种可能的实现方式中，在将关联数据和分析算法填充到预设的数据分析模板中之前，该方法还包括：
80.对关联数据进行数据清洗；
81.将关联数据和分析算法填充到预设的数据分析模板中，包括：
82.将数据清洗后的关联数据和分析算法填充到预设的数据分析模板中。
83.在本实施例中，用户提供的业务数据库中可能存在重复数据、无效值或缺失值等，如果在提取关联数据后直接进行分析，得到的分析结果可能不准确，因此在进行数据分析前要对数据进行预处理。进行数据清洗时，具体可以是包括一致性检测、无效值和缺失值检测。如果检测到是无效值和缺失值较多，可以提示用户补充相关数据，以保证分析结果的准确性。
84.在一种可能的实现方式中，在将关联数据和分析算法填充到预设的数据分析模板中之前，该方法还包括：
85.对关联数据进行纠偏；
86.将关联数据和分析算法填充到预设的数据分析模板中，包括：
87.将纠偏后的关联数据和分析算法填充到预设的数据分析模板中。
88.在本实施例中，很多分析算法都需要建立在数据分布类似于正态分布的基础上进行，如果关联数据的偏度过大说明关联数据分布形态的偏斜程度过大，直接进行数据分析则无法体现关联数据间的内在联系。因此要对关联数据进行纠偏。本实施例中可以通过对数变换、幂变换(例如开根号、平方等)、rank变换、倒数变换、指数变换等方式对关联数据进行转换，使得转换后的关联数据分布近似正态分布，提高数据分析的效果。
89.在一种可能的实现方式中，在基于数据分析模型确定目标业务对应的分析结果之后，该方法还包括：
90.获取用户选取的可视化形态；
91.将分析结果填充到可视化形态对应的展示模板中，得到目标业务对应的可视化分析结果。
92.在本实施例中，平台中预设了多种可视化形态供用户选择，不同的可视化形态能够满足用户多样化的视觉需求，并且能够根据用户的具体设置，体现分析结果中的重要部分。
93.由上可知，本发明实施例在获取到用户提供的目标业务和分析算法后，根据预设的数据分析模板建立数据分析模型，能够自动对目标业务进行分析，得到用户需要的分析结果，便于用户在大量数据中提取到需要的信息，并进行有效使用。
94.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
95.以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
96.图2示出了本发明实施例提供的基于多维信息的数据分析平台的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
97.如图2所示，基于多维信息的数据分析平台2包括：
98.数据获取模块21，用于获取业务数据库和目标业务分析请求；其中，业务数据库至少包括目标业务的多维数据；
99.业务逻辑获取模块22，用于基于目标业务分析请求，获取目标业务的业务逻辑；
100.关联数据提取模块23，用于基于业务逻辑在业务数据库中提取目标业务的关联数据；
101.分析算法确定模块24，用于获取目标业务对应的分析算法；
102.分析模型建立模块25，用于将关联数据和分析算法填充到预设的数据分析模板中，得到目标业务对应的数据分析模型；
103.目标业务分析模块26，用于基于数据分析模型确定目标业务对应的分析结果。
104.在一种可能的实现方式中，分析算法确定模块24包括：
105.分析需求确定单元，用于获取目标业务对应的分析需求；
106.分析算法确定单元，用于基于分析需求和目标业务的类型确定目标业务对应的分析算法。
107.在一种可能的实现方式中，分析需求确定单元具体用于：
108.基于目标业务的类型和下述至少一项确定目标业务对应的分析需求：
109.机器学习、语义分析和知识图谱。
110.在一种可能的实现方式中，分析算法确定单元具体用于：
111.基于分析需求、目标业务的类型和下述至少一项确定目标业务对应的分析算法：
112.机器学习、语义分析和知识图谱。
113.在一种可能的实现方式中，分析模型建立模块25还用于：
114.在将关联数据和分析算法填充到预设的数据分析模板中之前，对关联数据进行数据清洗；
115.将数据清洗后的关联数据和分析算法填充到预设的数据分析模板中。
116.在一种可能的实现方式中，分析模型建立模块25还用于：
117.在将关联数据和分析算法填充到预设的数据分析模板中之前，对关联数据进行纠偏；
118.将纠偏后的关联数据和分析算法填充到预设的数据分析模板中。
119.在一种可能的实现方式中，基于多维信息的数据分析平台2还包括可视化模块：
120.可视化模块用于：
121.在基于数据分析模型确定目标业务对应的分析结果之后，获取用户选取的可视化形态；
122.将分析结果填充到可视化形态对应的展示模板中，得到目标业务对应的可视化分析结果。
123.由上可知，本发明实施例在获取到用户提供的目标业务和分析算法后，根据预设的数据分析模板建立数据分析模型，能够自动对目标业务进行分析，得到用户需要的分析结果，便于用户在大量数据中提取到需要的信息，并进行有效使用。
124.图3是本发明实施例提供的终端的示意图。如图3所示，该实施例的终端3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个基于多维信息的数据分析方法实
施例中的步骤，例如图1所示的步骤101至步骤106。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块/单元21至26的功能。
125.示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器30执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述终端3中的执行过程。例如，所述计算机程序32可以被分割成图2所示的模块/单元21至26。
126.所述终端3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端3可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端3的示例，并不构成对终端3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
127.所称处理器30可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
128.所述存储器31可以是所述终端3的内部存储单元，例如终端3的硬盘或内存。所述存储器31也可以是所述终端3的外部存储设备，例如所述终端3上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器31还可以既包括所述终端3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
129.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述平台的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
130.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
131.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
132.在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
133.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
134.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
135.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个基于多维信息的数据分析方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
136.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。