一种基于互联网的大数据运算系统及其实施方法与流程

1.本发明涉及大数据运算系统技术领域，具体为一种基于互联网的大数据运算系统及其实施方法。


背景技术：

2.大数据指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理，从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术，随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
3.但是，现有的大数据系统在推荐的过程中无法根据客户的及时需求来进行调整，从而出现推荐类目繁杂重复，在一些情况下反而会引起用户的反感；因此，不满足现有的需求，对此我们提出了一种基于互联网的大数据运算系统及其实施方法。


技术实现要素：

4.本发明的目的在于提供一种基于互联网的大数据运算系统及其实施方法，具有可以根据用户自身的关注程度来调整大数据的实时推送，避免出现类目重复的问题，可以解决现有技术中的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于互联网的大数据运算系统，包括交换共享平台和数据库，所述交换共享平台与数据库双向连接，所述交换共享平台包括应用中心、应用监控管理、用户信息中心和网络服务，所述数据库包括数据总控中心、数据采集模块和数据集成模块；
6.交换共享平台：由使用大数据协议的应用软件架构而成的平台结构，平台内部的应用之间可以实现一些数据的共享；
7.数据库：大数据系统将从各个应用中收集获取到的数据进行归类整合，从而形成一个总类的数据流结构。
8.优选的，所述应用中心与应用监控管理双向连接、且应用监控管理与用户信息中心双向连接，所述用户信息中心与网络服务双向连接，所述数据总控中心与数据采集模块和数据总控中心双向连接，且数据采集模块与数据集成模块双向连接。
9.优选的，所述应用中心包括应用数据统筹和权限管理模块，且网络服务包括互联网和搜索引擎；
10.应用数据统筹：手机各项应用软件局内的推荐信息以及数据库中的数据流；
11.权限管理模块：管控着应用内部的私密权限设置；
12.互联网：大数据系统所依赖的互联网系统；
13.搜索引擎：各项应用局内的搜索栏。
14.优选的，所述互联网的输出端与搜索引擎的输入端连接，所述互联网包括实时热门数据统计，且搜索引擎包括输入法联动单元；
15.实时热门数据统计：通过网络服务来获取社交网站当前的热门词条数据，并对其进行摘要分选，该数据在接入网络的状态下会保持实时更新；
16.输入法联动单元：基于网络服务的基础下，在用户使用输入法在引擎栏进行搜索时自动检索输入法所关联的常用词条。
17.优选的，所述应用监控管理包括局内反馈、局内调度和局内浏览，且用户信息中心包括年龄分区和性别分区；
18.局内反馈：记录用户在应用局内的操作；
19.局内调度：根据大数据系统的反馈及时的对应用局内的推荐内容进行调整；
20.局内浏览：用户在应用局内浏览不同的类目时，系统会记录下浏览次数以及浏览时长；
21.年龄分区：基于用户的年龄段来对推荐类目进行分区；
22.性别分区：基于用户的性别来对推荐类目进行分区。
23.优选的，所述局内反馈包括趋向化评估，且局内调度包括协同过滤模块和个性化推荐，所述局内浏览包括数据流计算模块，且数据流计算模块包括阅览次数和阅览时长，所述趋向化评估和个性化推荐的输出端与年龄分区和性别分区的输入端连接。
24.优选的，所述数据总控中心包括数据管理、数据挖掘、数据分析、数据建模、数据清洗和历史数据；
25.数据管理：对分析和挖掘的数据进行整合管理；
26.数据挖掘：基于网络状态可以直接对社交应用内的信息数据进行挖掘处理；
27.数据分析：对收集的数据流进行分析，判断其是否属于可用数据；
28.数据建模：对同类目的数据流进行管理；
29.数据清洗：在获取到反馈后可以及时的清理该用户数据库中的个别数据；
30.历史数据：保存有用户常用的数据流结构。
31.优选的，所述数据采集模块包括文档数据、图片数据和视频数据，且数据集成模块包括图物识别处理、图文提取处理和关键词分析摘要；
32.文档数据：应用内的类目简介；
33.图片数据：应用内的类目图片；
34.视频数据：应用内的类目视频；
35.图物识别处理：可以识别判断图片以及视频中的图形数据；
36.图文提取处理：可以提取图片以及视频中的文字数据；
37.关键词分析摘要：针对文档数据以及图文提取数据的字符进行分析摘选，提取出关键词。
38.优选的，所述文档数据的输出端与关键词分析摘要的输入端连接，所述图片数据和视频数据的输出端与图物识别处理和图文提取处理的输入端连接，且图文提取处理的输
出端与关键词分析摘要的输入端连接，所述图物识别处理、图文提取处理和关键词分析摘要的输出端与数据核验模块的输入端连接。
39.一种基于互联网的大数据运算系统的实施方法，包括如下步骤：
40.步骤一：用户在使用大数据平台中的应用软件时，系统会自动监管用户在应用局内的操作，首先系统会根据用户往期的阅览类目数据，将其推荐在初始界面，用户需要搜索新的类目时，系统会根据用户使用的输入法最近的高频词条来直接以及时下较热门的话题来对用户进行推荐，帮助用户进行搜索；
41.步骤二：搜索新的类目的过程中，系统会自动采集用户的使用数据流，在对数据流整合筛选后，之后系统会将其上传至数据库中，存储在数据库中的数据流可以直接共享到整个大数据平台上，他类应用会在第一时间针对新上传的数据流进行管理；
42.步骤三：应用内推荐的类目用户可能会在当前期间较为感兴趣，一段时间后就会有所降低，此时系统会根据用户的对类目的浏览时长和次数进行判断分析，当分析计算出的数值低于预设的推荐数值后，系统会将判断信息进行反馈，随后大数据系统会针对该类目数据对数据库中的数据流进行清理，以减少后续的推荐；
43.步骤四：用户所感兴趣的类目，系统会将用户的基础信息与该类目进行归类标记，用户的基础信息包括性别与年龄段，标记后的信息会直接反馈到数据库中，在经过趋向化的评估后形成一个为用户定制的个性化推荐效果。
44.与现有技术相比，本发明的有益效果是：
45.1、本发明，首先系统会根据用户往期的阅览类目数据，将其推荐在初始界面，用户需要搜索新的类目时，系统会根据用户使用的输入法最近的高频词条来直接以及时下较热门的话题来对用户进行推荐，帮助用户进行搜索，搜索新的类目的过程中，系统会自动采集用户的使用数据流，在对数据流整合筛选后，之后系统会将其上传至数据库中，存储在数据库中的数据流可以直接共享到整个大数据平台上，他类应用会在第一时间针对新上传的数据流进行管理，根据用户自身的关注程度来调整大数据的实时推送，避免出现类目重复的问题；
46.2、本发明，应用内推荐的类目用户可能会在当前期间较为感兴趣，一段时间后就会有所降低，此时系统会根据用户的对类目的浏览时长和次数进行判断分析，当分析计算出的数值低于预设的推荐数值后，系统会将判断信息进行反馈，随后大数据系统会针对该类目数据对数据库中的数据流进行清理，以减少后续的推荐，比如当用户针对一个商品已经出现购买成交记录后，系统需要及时的记录下该商品的类目，随后在进行反馈，这样大数据系统在推送类目的过程中便可以降低该项类目的频率，因为用户已经购得自己的所需，大多数情况下不会在短时间内进行重复购买的情况，减少推荐后，系统会根据时下热门数据采集和分析来重新选择新的推荐类目来覆盖以往的推荐类目，帮助用户更快的了解到自己所需的信息；
47.3、本发明，用户所感兴趣的类目，系统会将用户的基础信息与该类目进行归类标记，用户的基础信息包括性别与年龄段，标记后的信息会直接反馈到数据库中，在经过趋向化的评估后形成一个为用户定制的个性化推荐效果。
附图说明
48.图1为本发明的大数据运算系统组成结构示意图；
49.图2为本发明的搜索引擎组成结构示意图；
50.图3为本发明的局内浏览组成结构示意图；
51.图4为本发明的个性化推荐组成结构示意图；
52.图5为本发明的数据核验模块组成结构示意图；
53.图6为本发明的大数据运算流程图。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.请参阅图1-5，本发明提供的一种实施例：一种基于互联网的大数据运算系统，包括交换共享平台和数据库，交换共享平台与数据库双向连接，交换共享平台包括应用中心、应用监控管理、用户信息中心和网络服务，数据库包括数据总控中心、数据采集模块和数据集成模块；
56.交换共享平台：由使用大数据协议的应用软件架构而成的平台结构，平台内部的应用之间可以实现一些数据的共享；
57.数据库：大数据系统将从各个应用中收集获取到的数据进行归类整合，从而形成一个总类的数据流结构。
58.进一步，应用中心与应用监控管理双向连接、且应用监控管理与用户信息中心双向连接，用户信息中心与网络服务双向连接，数据总控中心与数据采集模块和数据总控中心双向连接，且数据采集模块与数据集成模块双向连接。
59.进一步，应用中心包括应用数据统筹和权限管理模块，且网络服务包括互联网和搜索引擎；
60.应用数据统筹：手机各项应用软件局内的推荐信息以及数据库中的数据流；
61.权限管理模块：管控着应用内部的私密权限设置；
62.互联网：大数据系统所依赖的互联网系统；
63.搜索引擎：各项应用局内的搜索栏。
64.进一步，互联网的输出端与搜索引擎的输入端连接，互联网包括实时热门数据统计，且搜索引擎包括输入法联动单元；
65.实时热门数据统计：通过网络服务来获取社交网站当前的热门词条数据，并对其进行摘要分选，该数据在接入网络的状态下会保持实时更新；
66.输入法联动单元：基于网络服务的基础下，在用户使用输入法在引擎栏进行搜索时自动检索输入法所关联的常用词条，系统会优先检索时间以及次数靠前的词条。
67.进一步，应用监控管理包括局内反馈、局内调度和局内浏览，且用户信息中心包括年龄分区和性别分区；
68.局内反馈：记录用户在应用局内的操作，当用户针对一个商品已经出现购买成交
记录后，系统需要及时的记录下该商品的类目，随后在进行反馈，这样大数据系统在推送类目的过程中便可以降低该项类目的频率，因为用户已经购得自己的所需，大多数情况下不会在短时间内进行重复购买的情况；
69.局内调度：根据大数据系统的反馈及时的对应用局内的推荐内容进行调整；
70.局内浏览：用户在应用局内浏览不同的类目时，系统会记录下浏览次数以及浏览时长，系统会根据用户的对类目的浏览时长和次数进行判断分析，当分析计算出的数值低于预设的推荐数值后，系统会将判断信息进行反馈，随后大数据系统会针对该类目数据对数据库中的数据流进行清理，以减少后续的推荐；
71.年龄分区：基于用户的年龄段来对推荐类目进行分区；
72.性别分区：基于用户的性别来对推荐类目进行分区。
73.进一步，局内反馈包括趋向化评估，且局内调度包括协同过滤模块和个性化推荐，局内浏览包括数据流计算模块，且数据流计算模块包括阅览次数和阅览时长，趋向化评估和个性化推荐的输出端与年龄分区和性别分区的输入端连接。
74.进一步，数据总控中心包括数据管理、数据挖掘、数据分析、数据建模、数据清洗和历史数据；
75.数据管理：对分析和挖掘的数据进行整合管理；
76.数据挖掘：基于网络状态可以直接对社交应用内的信息数据进行挖掘处理；
77.数据分析：对收集的数据流进行分析，判断其是否属于可用数据；
78.数据建模：对同类目的数据流进行管理；
79.数据清洗：在获取到反馈后可以及时的清理该用户数据库中的个别数据；
80.历史数据：保存有用户常用的数据流结构。
81.进一步，数据采集模块包括文档数据、图片数据和视频数据，且数据集成模块包括图物识别处理、图文提取处理和关键词分析摘要；
82.文档数据：应用内的类目简介；
83.图片数据：应用内的类目图片；
84.视频数据：应用内的类目视频；
85.图物识别处理：可以识别判断图片以及视频中的图形数据；
86.图文提取处理：可以提取图片以及视频中的文字数据；
87.关键词分析摘要：针对文档数据以及图文提取数据的字符进行分析摘选，提取出关键词。
88.进一步，文档数据的输出端与关键词分析摘要的输入端连接，图片数据和视频数据的输出端与图物识别处理和图文提取处理的输入端连接，且图文提取处理的输出端与关键词分析摘要的输入端连接，图物识别处理、图文提取处理和关键词分析摘要的输出端与数据核验模块的输入端连接。
89.请参阅图6，一种基于互联网的大数据运算系统的实施方法，包括如下步骤：
90.步骤一：用户在使用大数据平台中的应用软件时，系统会自动监管用户在应用局内的操作，首先系统会根据用户往期的阅览类目数据，将其推荐在初始界面，用户需要搜索新的类目时，系统会根据用户使用的输入法最近的高频词条来直接以及时下较热门的话题来对用户进行推荐，帮助用户进行搜索；
91.步骤二：搜索新的类目的过程中，系统会自动采集用户的使用数据流，在对数据流整合筛选后，之后系统会将其上传至数据库中，存储在数据库中的数据流可以直接共享到整个大数据平台上，他类应用会在第一时间针对新上传的数据流进行管理；
92.步骤三：应用内推荐的类目用户可能会在当前期间较为感兴趣，一段时间后就会有所降低，此时系统会根据用户的对类目的浏览时长和次数进行判断分析，当分析计算出的数值低于预设的推荐数值后，系统会将判断信息进行反馈，随后大数据系统会针对该类目数据对数据库中的数据流进行清理，以减少后续的推荐，减少推荐后，系统会根据时下热门数据采集和分析来重新选择新的推荐类目来覆盖以往的推荐类目，帮助用户更快的了解到自己所需的信息；
93.步骤四：用户所感兴趣的类目，系统会将用户的基础信息与该类目进行归类标记，用户的基础信息包括性别与年龄段，标记后的信息会直接反馈到数据库中，在经过趋向化的评估后形成一个为用户定制的个性化推荐效果。
94.综上，用户在使用大数据平台中的应用软件时，系统会自动监管用户在应用局内的操作，首先系统会根据用户往期的阅览类目数据，将其推荐在初始界面，用户需要搜索新的类目时，系统会根据用户使用的输入法最近的高频词条来直接以及时下较热门的话题来对用户进行推荐，帮助用户进行搜索，搜索新的类目的过程中，系统会自动采集用户的使用数据流，在对数据流整合筛选后，之后系统会将其上传至数据库中，存储在数据库中的数据流可以直接共享到整个大数据平台上，他类应用会在第一时间针对新上传的数据流进行管理，应用内推荐的类目用户可能会在当前期间较为感兴趣，一段时间后就会有所降低，此时系统会根据用户的对类目的浏览时长和次数进行判断分析，当分析计算出的数值低于预设的推荐数值后，系统会将判断信息进行反馈，随后大数据系统会针对该类目数据对数据库中的数据流进行清理，以减少后续的推荐，减少推荐后，系统会根据时下热门数据采集和分析来重新选择新的推荐类目来覆盖以往的推荐类目，帮助用户更快的了解到自己所需的信息，用户所感兴趣的类目，系统会将用户的基础信息与该类目进行归类标记，用户的基础信息包括性别与年龄段，标记后的信息会直接反馈到数据库中，在经过趋向化的评估后形成一个为用户定制的个性化推荐效果。
95.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
96.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。