基于大数据的产品参数分析匹配系统的制作方法

1.本发明涉及一种基于大数据的产品参数分析匹配系统。
技术背景
2.传统的基于客户历史信息进行的参数匹配技术中，因规则和参数固定，匹配性能和效果很不理想；而基于实时大数据的匹配技术尚未形成一个成熟的框架。现有的大数据匹配分析计算，往往是依靠大数据的分析结果，往往不具备实时性，针对性。再加上原始数据采样精准度和统计方法的差异性，以及建模结构性错误，都会导致分析有误，此外不同的使用场景也会带来完全不同的结果。


技术实现要素：

3.为了解决现有技术中的问题，本发明公开一种基于大数据的产品参数分析匹配系统，包括：依次连接的数据采集模块、计算机模块、数据库、控制模块、大数据云计算模块；其中，数据采集模块，可以根据用户以往健康检测报告、历史浏览、购买记录行为数据采集；计算机模块，将所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算机转化的计算机语言；控制模块，所述控制模块，可以调用所述数据库中存储的信息，并发送数据库中的数据至大数据云计算模块；大数据云计算模块，接收待计算的数据，并进行计算获得增量数据以及计算出大数据云计算的增量输出结果，根据所述增量输出结果与所述大数据云计算的原始输出结果，确定最终计算结果。
4.进一步，所述的大数据云计算模块使用必要数据包括完整输入、完整输出中的至少一项，使用增量传递规则用于以数据为粒度描述所述每一个计算步骤，增量传递规则是根据所述每一个计算步骤的增量输入和所述每一个计算步骤需要保存的必要数据计算所述每一个计算步骤的增量输出的计算规则，所述每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据所述每一个计算步骤的增量传递规则进行保存；根据所述增量输出结果与所述大数据云计算的原始输出结果，确定最终计算结果。
5.进一步，所述数据采集模块采用爬虫进行数据的采集，并通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。
6.进一步，所述控制模块包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。
7.进一步，所述的控制模块使用操作系统为linux操作系统。
8.进一步，所述的数据库、控制模块、大数据云计算模块共同采用分布式计算架构，分布式计算架构框架包括：linux操作系统，apache网络服务器，mysql数据库，使用perl、php或者python编程语言，组成产品采用开源软件。
9.有益效果：在产品参数分析匹配中，可以根据用户以往历史浏览、购买记录等行为进行数据采集，把采集的数据经过计算后转化为计算机语言，保存到数据库，然后发送至云计算，云计算进行计算处理。通过大数据提升产品参数分析精准度， 具体的，采用基于大数据匹配技术的框架，该框架易搭建，采用分布式架构，支持水平扩展，性能优异，相对于业界主流系统，吞吐量提升了41%，匹配延迟减少了25%以上，结合实时数据和历史数据分析，匹配结果更精确，后端搭配机器学习算法，可主动优化匹配效果。
具体实施方式
10.在具体实施中，本技术基于大数据的产品参数分析匹配系统，其一种实施例包括：依次连接的数据采集模块、计算机模块、数据库、控制模块、大数据云计算模块；其中，数据采集模块，可以根据用户以往健康检测报告、历史浏览、购买记录等行为数据采集；计算机模块，将所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算机转化的计算机语言；控制模块，所述控制模块，可以调用所述数据库中存储的信息，并发送数据库中的数据至大数据云计算模块；大数据云计算模块，接收待计算的数据，并进行计算获得增量数据以及计算出大数据云计算的增量输出结果，根据所述增量输出结果与所述大数据云计算的原始输出结果，确定最终计算结果。
11.大数据云计算模块使用必要数据包括完整输入、完整输出中的至少一项，使用增量传递规则用于以数据为粒度描述所述每一个计算步骤，增量传递规则是根据所述每一个计算步骤的增量输入和所述每一个计算步骤需要保存的必要数据计算所述每一个计算步骤的增量输出的计算规则，所述每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据所述每一个计算步骤的增量传递规则进行保存；根据所述增量输出结果与所述大数据云计算的原始输出结果，确定最终计算结果。
12.所述数据采集模块采用爬虫进行数据的采集，并通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。上述爬虫又称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
13.所述控制模块包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。
14.所述的控制模块使用操作系统为linux操作系统。linux操作系统是一套免费使用和自由传播的类unix操作系统，是一个基于posix和unix的多用户、多任务、支持多线程和多cpu的操作系统。伴随着互联网的发展，linux得到了来自全世界软件爱好者、组织、公司的支持。它除了在服务器方面保持着强劲的发展势头以外，在个人电脑、嵌入式系统上都有着长足的进步。使用者不仅可以直观地获取该操作系统的实现机制，而且可以根据自身的需要来修改完善linux，使其最大化地适应用户的需要。linux不仅系统性能稳定，而且是开
源软件。其核心防火墙组件性能高效、配置简单，保证了系统的安全。在很多企业网络中，为了追求速度和安全，linux不仅仅是被网络运维人员当作服务器使用，linux既可以当作服务器，又可以当作网络防火墙是linux的 一大亮点。linux 具有开放源码、没有版权、技术社区用户多等特点 ，开放源码使得用户可以自由裁剪，灵活性高，功能强大，成本低。尤其系统中内嵌网络协议栈 ，经过适当的配置就可实现路由器的功能。这些特点使得linux成为开发路由交换设备的理想开发平台。
15.所述的数据库、控制模块、大数据云计算模块共同采用分布式计算架构，分布式计算架构框架包括：linux操作系统，apache网络服务器，mysql数据库，使用perl、php或者python编程语言，组成产品采用开源软件。
16.上述分布式计算框架和java/j2ee架构相比，具有web资源丰富、轻量、安全等特点，与微软的.net架构相比，具有通用、跨平台、高性能优势。同时通过云计算形式，可以处理大规模并行(mpp)数据库、分布式数据库等，可以快速、大量、精准的处理参数的分配。
17.综合来看本技术在产品参数分析匹配中，可以根据用户以往历史浏览、购买记录等行为进行数据采集，把采集的数据经过计算后转化为计算机语言，保存到数据库，然后发送至云计算，云计算进行计算处理。通过大数据提升产品参数分析精准度， 具体的，采用基于大数据匹配技术的框架，该框架易搭建，采用分布式架构，支持水平扩展，性能优异，相对于业界主流系统，吞吐量提升了41%，匹配延迟减少了25%以上，结合实时数据和历史数据分析，匹配结果更精确，后端搭配机器学习算法，可主动优化匹配效果。
18.值得说明的是，上述仅是本发明的实施例，可以理解是在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型获得其他实施例，其他实施例如在本发明权利要求范围的前提下也应当是本发明的保护范围。