一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

基于个人健康大数据平台的海量数据查询方法和装置与流程

2022-11-19 07:20:18 来源:中国专利 TAG:


1.本发明涉及大数据存储和查询应用技术领域,特别涉及基于个人健康大数据平台的海量数据查询方法和装置。


背景技术:

2.个人健康数据的来源和种类多种多样,包括医疗机构的临床数据、社区健康服务的体检数据、可穿戴设备采集的健康监控数据,以及用户app的动态个人健康数据等。传统的个人健康系统仅仅通过简单的数据列表管理和分析个人健康数据。这样无法充分发挥不同类型健康数据在健康分析和预测中的能力。百万级个人用户会产生百亿级的数据,个人健康大数据平台首先需要支持快速的海量实时流数据的查询分析。同时,随着用户数据长时间的不断扩充,持续积累得海量历史数据需要新的方法支持不同于实时流数据的查询方式。
3.常用的实时流数据存储采用内存或缓存数据库,具有易失性和空间受限的约束。而海量的全部历史数据对存储空间和分布式查询分析提出了更大挑战。常用的关系型数据库或非关系型数据库存储容量、查询效率以及索引长度等的限制,无法对更大数据量层级的海量数据信息进行更高效的存储和查询。


技术实现要素:

4.针对现有技术存在的不足,本发明的目的之一在于提供一种基于个人健康大数据平台的海量数据查询方法,能够根据多种数据库特性,针对实时数据和历史数据,提供不同的查询方法,实现海量健康数据的存储,并基于应用请求快速查询相关数据。
5.本发明的上述技术目的是通过以下技术方案得以实现的:基于个人健康大数据平台的海量数据查询方法和装置,包括如下步骤:接收用户从应用端发送查询请求和查询信息,查询信息包括a类维度数据,所述a类维度数据包括基本数据和常规数据的个人基础健康信息;发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;基于索引值查询redis内存实时数据库中对应的b类维度数据,所述b类维度数据包括生活数据和行为数据的实时采集监控信息,所述b类维度数据以实时数据建立key-value数据的组织方式存储在redis数据库中;基于索引值查询hbase分布式数据库中对应的c类维度数据,所述c类维度数据包括健康全历史数据,所述c类维度数据以历史数据建立数据表的组织方式存储于hbase分布式数据库中;基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据;发送结果数据至发送查询请求和查询信息的应用端;其中,
基于所述b类维度数据和c类维度数据在redis数据库和hbase分布式数据库中抽取关键索引值,针对抽取的关键索引值和a类维度数据建立索引数据表,并存储在elasticsearch索引数据库中。
6.进一步的,在实时更新elasticsearch索引数据库中的索引表时,包括通过监听redis数据库中哈希映射表的key值是否发生变化,触发elasticsearch索引数据库的更新,在实时数据同步写入redis数据库时,更新索引值实时写入elasticsearch索引数据库。
7.进一步的,接收用户从应用端发送查询请求和查询信息时,同步响应对请求方用户发来的请求信息进行验证,并根据请求的确定信息进行应答和反馈。
8.进一步的,将b类维度模型部分转化为c类维度模型的方法包括:把修改数据的操作命令保存到asap文件中,当redis重启后重新执行一遍asap文件里的命令,采用redis数据库的aof方法对实时数据进行持久化数据保存。
9.进一步的,定期变更hbase分布式数据库中索引值。
10.进一步的,在发送结果数据至发送查询请求和查询信息的应用端时,还包括:将反馈至应用端的结果数据形成周期曲线反馈值应用端。
11.针对现有技术存在的不足,本发明的目的之二在于提供一种基于个人健康大数据平台的海量数据查询装置,能够根据多种数据库特性,针对实时数据和历史数据,提供不同的查询方法,实现海量健康数据的存储,并基于应用请求快速查询相关数据。
12.本发明的上述技术目的是通过以下技术方案得以实现的:基于个人健康大数据平台的海量数据查询装置,包括:数据采集器、业务服务器端、服务端、应用端;所述服务端包括:用户请求接收/反馈模块,用于接收应用端发送的查询请求和查询信息,并发送结果数据至发送查询请求和查询信息的应用端;关键字索引值查询模块,发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;实时流数据查询分析模块,基于索引值查询redis内存实时数据库中对应的b类维度数据;历史数据查询分析模块,基于索引值查询hbase分布式数据库中对应的c类维度数据;结果数据生成模块,基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据。
13.针对现有技术存在的不足,本发明的目的之三在于提供一种电子设备,能够根据多种数据库特性,针对实时数据和历史数据,提供不同的查询方法,实现海量健康数据的存储,并基于应用请求快速查询相关数据。
14.本发明的上述技术目的是通过以下技术方案得以实现的:一种电子设备,包括ram存储器、rom存储器、通信接口、处理器、总线;其中,处理器、通信接口、ram存储器和rom存储器之间通过总线连接,ram存储器用于存储计算机程序,以支持处理器执行以下操作:接收用户从应用端发送查询请求和查询信息,查询信息包括a类维度数据,所述a
类维度数据包括基本数据和常规数据的个人基础健康信息;发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;基于索引值查询redis内存实时数据库中对应的b类维度数据,所述b类维度数据包括生活数据和行为数据的实时采集监控信息,所述b类维度数据以实时数据建立key-value数据的组织方式存储在redis数据库中;基于索引值查询hbase分布式数据库中对应的c类维度数据,所述c类维度数据包括健康全历史数据,所述c类维度数据以历史数据建立数据表的组织方式存储于hbase分布式数据库中;基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据;发送结果数据至发送查询请求和查询信息的应用端;其中,基于所述b类维度数据和c类维度数据在redis数据库和hbase分布式数据库中抽取关键索引值,针对抽取的关键索引值和a类维度数据建立索引数据表,并存储在elasticsearch索引数据库中;rom存储器用于存储数据,处理器被配置为用于执行ram存储器中存储的程序。
15.针对现有技术存在的不足,本发明的目的之四在于提供一种机器可读介质,能够根据多种数据库特性,针对实时数据和历史数据,提供不同的查询方法,实现海量健康数据的存储,并基于应用请求快速查询相关数据。
16.本发明的上述技术目的是通过以下技术方案得以实现的:一种机器可读介质,所述机器可读介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,机器可执行指令促使处理器实现如下操作:接收用户从应用端发送查询请求和查询信息,查询信息包括a类维度数据,所述a类维度数据包括基本数据和常规数据的个人基础健康信息;发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;基于索引值查询redis内存实时数据库中对应的b类维度数据,所述b类维度数据包括生活数据和行为数据的实时采集监控信息,所述b类维度数据以实时数据建立key-value数据的组织方式存储在redis数据库中;基于索引值查询hbase分布式数据库中对应的c类维度数据,所述c类维度数据包括健康全历史数据,所述c类维度数据以历史数据建立数据表的组织方式存储于hbase分布式数据库中;基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据;发送结果数据至发送查询请求和查询信息的应用端;其中,基于所述b类维度数据和c类维度数据在redis数据库和hbase分布式数据库中抽取关键索引值,针对抽取的关键索引值和a类维度数据建立索引数据表,并存储在elasticsearch索引数据库中。
17.综上所述,本发明具有以下有益效果:
采用对数据进行维度分级的方式,以分级存储和管理,应用端根据其应用发送与个人健康用户相关的a类维度数据,根据该数据,先从elasticsearch索引数据库中快速查询关键索引值,再根据索引值在redis内存数据库中查询对应的b类维度数据,以支持实时查询请求的快速响应;根据索引值在hbase分布式数据库中查询c类维度数据,以支持更加完备的全数据查询和详尽的分析处理。
附图说明
18.图1是本发明实施例提供的一种健康大数据平台中数据维度分类示意图;图2为本发明实施例提供的一种基于健康大数据平台的海量数据查询方法步骤流程图;图3为本发明实施例提供的一种基于健康大数据平台的海量数据查询应用示意图;图4为本发明实施例提供的三种数据库三类维度信息与索引的关联关系示例图;图5为本发明实施例提供的电子设备硬件架构示意图。
具体实施方式
19.以下结合附图对本发明作进一步详细说明。
20.为了更加清楚的描述本发明实施例的目的、技术方案和特点,下面将结合附图详细的对本发明的技术方案进行介绍。这里所描述的实施例不是本发明的全部实施例,仅通过一个典型实施例介绍技术方案实施过程的详细步骤。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
21.目前针对健康大数据平台海量数据存储、查询的技术方案中:1)redis是一个高性能的key-value数据库,使用redis等内存数据库进行实时流数据的存储更加适合。首先,它支持存储更多的value类型及更丰富的操作,而且这些操作都是原子性的。其次,数据都是缓存在内存中的,提高了效率。然后,主从同步的实现对读取操作的可扩展性和数据冗余很有帮助。但是,内存数据库的问题是短时间内大量增加数据将导致内存溢出。而且单线程使得单台服务器无法充分利用多核服务器的cpu。
22.2)hbase是一个基于列的,高可靠、高性能、可伸缩、实时读写的分布式数据库。利用hbase等非关系型数据库进行海量数据存储时,可以解决高可用、支持pb级数据,以及高性能的瞬间写入量。但是,单一rowkey固有的局限性决定了它不可能有效支持多条件查询,以及不适合于大范围的扫描查询。难以通过受限的索引来支持个人健康平台下海量数据的多维度查询需求。
23.3)mysql等关系型数据库在关系数据模型的支持下,利用关系表存储数据。可采用单点、复制、集群架构适配不同规模的应用。同时通过复合索引的方法可以针对个人健康数据进行多维查询。但是,mysql在海量存储过程中,每个连接的内存使用量将会大幅度增加。使得开发具有复杂业务逻辑的存储过程变得更加困难。面向海量数据的查询应用时,受限的存储过程,以及较低的查询效率都将带来影响。
24.为了更好的理解本实施例内容提到的具体方法,对本发明实施例所公开的一种基
于个人健康大数据平台的海量数据查询方法进行进一步的详细说明。个人健康信息在本发明实施例中被划分为多维度属性,及多类维度数据(a、b、c三类维度)。如图1所示,其中,a类维度数据中主要包括基本数据、常规数据等个人基础健康信息;b类维度数据中主要包括生活数据、行为数据等实时采集监控信息;c类维度数据中主要包括定期体检数据、医疗临床数据等历史医疗疾病信息。
25.综上,本发明实施例提供的一种基于个人健康大数据平台的海量数据查询方法和装置。首先,采用多种数据库模型,针对实时数据和历史数据,提供不同的查询方法,实现海量健康数据的查询;其次,针对实际应用中百亿级的多维度健康数据,实现快速响应。
26.基于个人健康大数据平台的海量数据查询方法,如图2所示,包括:步骤s01:服务端接收用于从应用端发送的查询请求和查询信息,查询信息包括a类维度数据,a类维度数据包括基本数据和常规数据的个人基础健康信息,其中,本实施例中a类维度数据包括以下一种或多种:社区编号、卧床时间、年龄等。
27.步骤s02:根据应用端得到的a类维度数据,服务端发送请求至健康大数据平台业务服务器,并在平台业务服务器端的elasticsearch索引数据库中进行信息查询,确定a类维度数据对应的索引值。
28.步骤s03:基于索引值查询redis内存实时数据库中对应的b类维度数据,b类维度数据包括生活数据和行为数据的实时采集监控信息;其中,b类维度数据以实时数据建立key-value数据的组织方式存储在redis数据库中,redis采用主键查询,其查询效率为o(1)且不受键值对数目影响,另外,健康数据存储方案利用了redis的hash数据结构,当查询一个主键,就可得到所包含的所有信息,进一步简化实时查询操作。
29.步骤s04:基于索引值查询hbase分布式数据库中对应的c类维度数据,c类维度数据包括健康全历史数据;其中,c类维度数据以历史数据建立数据表的组织方式存储于hbase分布式数据库中。
30.步骤s05:服务端基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据;其中,结果数据包含获取到的数据信息以及相应的分析结果。
31.步骤s06:服务端发送结果数据至发送查询请求和查询信息的应用端。
32.在实际应用的过程中,用户通过健康大数据平台的应用端发送查询请求至服务端,该查询请求对应a类维度数据中的健康信息。服务端针对该信息在elasticsearch索引数据库中开始搜索,搜索对应的内存数据库索引值,以及分布式数据库索引值。再分别根据索引值对实时流数据和历史数据进行搜索。在该索引值下,针对b类维度数据的查询分析通过从redis数据库中查询进行;针对c类维度数据的查询分析通过从hbase分布式数据库中进行。从而能够针对多样化的健康大数据实现海量数据的多维度存储,并针对不同的特征的数据都能够满足毫秒级响应。利用本发明实施例的查询方法,根据该a类维度数据能够快速查找到实时监控数据符合特定条件的各维度属性情况,并简单的统计分析响应相应即时性服务;能够快速查找到全健康历史数据,并进一步通过智能化或复杂的分析方法提供更全面的服务。
33.如图3所示,在健康大数据平台中,有通过实时方式采集的数据,如自手环、心率带等可穿戴设备的健康数据,采集自app终端的睡眠、饮食数据,采集自护理监测仪器的数据,采集自体征指数检测仪器得数据。也有通过离线批处理方式迁移或装载的病历数据及体检数据。当参与的人数达到一定规模时,全部存储容量能够达到百亿行数量级的海量数据。数据采集工作是平台的基础,是存储和查询分析的前提。针对不同类型不同来源的数据,通过数据监测、实时数据接收集群、流计算、协议解析,以及对批处理数据的清洗、迁移、装载等实现数据库写入。作为一种支持多样化查询分析的实施例,健康大数据平台可提供给多种应用端服务给不同的用户,如通过实时分析和大数据分析的预警、预测、统计等服务。
34.这里以应用端为协助老年病保健护理的应用为实施例进行说明。老年病护理过程大多受到季节性、地域性特征的影响,通常需要观察不同时间段老人的心肺体征指数、血压等的变化,以及饮食、睡眠情况得好坏,对一些时令性的疾病和症状,特别是心血管疾病进行提早预防。本实施例利用可穿戴式设备,监控仪器等对体征数据和生活行为数据等实时数据进行采集,以社区为单位支持护理人员及时通过查询分析,给出保健建议。也可结合目标老人的实时数据与其体检、病史等历史数据,进行更加准确的分析和建议。
35.在步骤s01中,从应用端发送查询请求和查询信息的数据给服务端之前,首先的处理工作并不是直接连接业务服务器进行数据搜索,包括:步骤s01.1,通过同步响应对请求方用户发来的请求信息进行必要的验证,并根据请求的确定信息进行应答和反馈。
36.同样,当服务端与应用端达成请求确定,步骤s02开始查询索引数据库之前也同样需要先将查询请求信息发送至业务服务器,并尝试确定连接。
37.因此,实施例中的方法还包括:步骤s02.1,若服务端与业务服务器通过确定请求信息建立连接后,进一步发送数据并等待业务服务器通过具体的业务查询及分析,返回结果至服务端。服务端将进一步反馈结果信息至应用端。
38.在实际应用的实施例中,老年病保健护理应用在应用端输入的a类维度数据例举为:查询社区编号(commid,数据类型:字符型)为a1,卧床时间(tib,数据类型:数值型,单位:小时)大于半年且年龄(age,数据类型:数值型)高于70的目标老人,并进行健康情况查询分析及护理预测。服务端从业务服务器中查询满足上述条件的老人的b类维度实时数据进行查询统计,并进一步查询具体目标的c类维度疾病病历、体检等全健康历史数据对个体进行更针对性的护理预测。
39.具体的处理过程示例:首先从elasticsearch数据库中分别查询“commid=a1”,“tib》4320”,“age》70”的a类维度数据,查询到满足条件的目标索引值。其次,根据该索引值从redis数据库中实时查询当前索引值目标的即时监测数据,如血压(bp)、血氧值(sao2)等,并进行初步的统计分析结果,返回服务端。接着,根据索引值进一步查询分布式数据库hbase,查询到目标老人对应的全健康数据,进行离线大数据分析预测,并依次将结果返回服务端。
40.而b类维度数据的实时数据随着监测过程、检测过程,以及设备的采集不断变化。这些变化并不应该全部随着流数据而被清除。部分数据应该转化为全健康数据,写入hbase数据库。
41.在步骤s03之后,为了进一步保留实时数据中有价值的内容,需要将其存储到磁盘中,保持数据的一致性和正确性。本实施例基于redis数据库的特点,还包括:步骤s03.1:采用redis数据库的aof(append only file模式)方法对实时数据进行持久化数据保存。
42.首先,把所有修改数据的操作命令保存到asap文件中。其次,当redis重启后asap文件里的命令重新执行一遍。该方法在断电或单次写入错误情况下仅会丢失1秒的数据,保存的数据具有好的可靠性。
43.在具体的实施例中,该方法在全健康数据查询后,对查询到的全健康数据进行分析,并在步骤s0.6时,将分析结果和查询到的目标对象的综合全健康数据返回。健康大数据平台的业务服务器是通过接口的方式向服务端提供查询结果和分析结果。然后,服务端通过服务组合包装将分析结果及查询到的全健康数据反馈给应用端页面,利用关键指数跟踪监测、问题指数周期曲线变化等方式呈现给用户。
44.在实际应用的实施例中,数据库的建立和规划是健康大数据平台海量数据查询的前提。因此,在步骤s01之前本发明的方法还包括:步骤s00.1,针对数据采集端得到的历史数据建立数据表,即c类维度数据以数据表的组织方式存储在hbase分布式数据库中。如图4数据库表范例所示,采集的历史数据存储在hbase数据库中,按照c类维度数据进行组织。其中社保编号为主键,并建立索引,用来唯一标识每一行目标病人个体数据。本实际案例中仅例举的属性有所在社区、医院、确诊疾病和住院时间,但不局限于目前的属性划分。
45.步骤s00.2,针对数据采集端得到的实时数据建立key-value数据库,即b类维度数据以key-value数据的组织方式存储在redis数据库中。如图4数据库表范例所示,采集的实时数据存储在redis数据库中,按照b类维度数据进行组织,数据类型以哈希映射表的方式处理。其中,社保编号和用户名手机号为键(key),设备id、步数、血氧值等为哈希表的域(field),具体的值(value)用来标识个体用户名或社保编号的实时数据。本实际案例中仅列举部分域,但不局限于这些内容。
46.步骤s00.3,基于c类维度数据和b类维度数据,在redis数据库和hbase数据库中抽取关键索引值。在图4的数据库范例中,索引值为用户手机号或社保编号。本例针对a类维度数据抽取社区代码-用户手机号-社保编号关系,卧床时间-用户手机号-社保编号关系、年龄-用户手机号-社保编号关系。
47.步骤s00.4,针对关键索引值和a类维度数据抽取的关系,可建立索引数据表,并存储在elasticsearch索引数据库中。如图4的范例所示,根据本实施例所述的a类维度数据以及索引值,建立了三张表格。其余的a类维度数据对应的数据组织与此类似。
48.s00.1具体步骤还可进一步包括步骤s00.1.1。基于b类维度数据,针对redis数据库中的实时数据实时获取相应的索引值。为了保证应用端查询的一致性和准确性,需要实时更新elasticsearch索引数据库中的索引表。
49.根据更新触发条件和b类维度数据,从redis数据库的哈希映射表中获取相应的索引值。其中,触发条件包括在监听到哈希映射表中key值发生变化的条件。通过预先设置的更新规则,实时数据同步实时写入redis数据库,索引关系更新数据实时写入elasticsearch索引数据库。
50.同样,历史数据的变化也将影响索引数据库的一致性,为保持索引数据库的一致性,还包括:步骤s00.1.2,基于c类维度数据,针对hbase数据库中的分布式数据进行定期维护。分布式数据库中的历史数据不用满足高时效性,索引表更新不需要实时的监听数据变化。仅考察表中的主键信息或者索引值变更时,通过抽取变化的索引值,周期性的更新elasticsearch索引数据库。
51.在实施例的应用范例中,通过具体数据说明步骤s00.1.1的过程。如图4所示,elasticsearch索引数据库中tib记录了卧床时间属性与关键索引值的关系,但随着卧床时间的变化需要实时更新索引关系。如用户手机号为

13849578999’,社保编号为

28395038’的用户,通过可穿戴设备采集到的卧床时间数据为8769小时。随着时间的变化,实时采集到的数据变化为8770小时,根据步骤s03.1.1将触发更新数据。

13849578999’和

28395038’将被添加至索引关系中tib为8770的用户手机号和社保编号属性中。同时,删除tib为8769的相应用户手机号和社保编号。
52.通过具体数据说明步骤s00.1.2的过程。如图4所示,elasticsearch索引数据库中commid记录了所在社区属性与关键索引值的关系。当用户的所在社区发生变化或者一些新的用户数据进入hbase数据库时,索引关系需要随之变化。如用户手机号为

13849578999’,社保编号为

28395038’的用户所在社区为

a1’。当用户的所在社区发生改变后,如改为

b3’,则根据步骤s00.1.2将在定期维护的时候更新索引数据库。

13849578999’和

28395038’将被添加至索引关系中commid为b3的用户手机号和社保编号属性中。同时,在commid为a1的数据中删除相应用户手机号和社保编号。这种更新操作也发生在c类维度数据里有新增数据发生时。
53.在本发明示范用例的实施例中,如图4所示,对于应用端提出的查询社区编号为a1,卧床时间大于半年且年龄高于70的目标老人基本情况,如体征指数、运动情况、住院情况等的需求,服务端将请求发送至elasticsearch索引数据库。在commid-用户手机号-社保编号关系中查询到commi=a1的用户信息(13849578999,28395038)和(13245328976,21134910);在tib-用户手机号-社保编号关系中查询到tib》4320的用户信息(13849578999,28395038);在age-用户手机号-社保编号关系中查询到age》70的用户信息,本例中包括年龄82和73的所有用户索引值。通过综合考虑同时满足三个条件的索引值为(13849578999,28395038)。最后,基于两种索引值从redis数据库中查询,可知满足条件用户的今日步数为7865,采集用的设备id为001,卧床时间为8769小时。还能查询到该用户在qa786机构的实时体检结果为血氧值96、高血压123。同时,基于两种索引值从hbase数据库中查询,可知满足条件用户的所在社区为a1、曾住医院为ydey、确诊疾病为退行性性变,以及住院时间为2020.10.11。在查询到目标数据的基础上,根据业务服务器提供的分析、预测等功能,可对查询结果进行进一步的处理,一并推送到服务器端包装,反馈给应用端用户。
54.其中,可以理解的是,健康大数据平台的实时数据和全健康数据包括很多,如饮食卡路里、睡眠时长、其他体征指数、家族病史、住院用药等。本发明实施例仅为了方便说明列举几种数据,并不局限于此。
55.基于个人健康大数据平台的海量数据查询装置,在一种实施方式中,海量数据查询装置包括:数据采集器、业务服务器端、服务端、应用端。
56.其中,服务端包括:用户请求接收/反馈模块,用于接收应用端发送的查询请求和查询信息,并发送结果数据至发送查询请求和查询信息的应用端;关键字索引值查询模块,发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;实时流数据查询分析模块,基于索引值查询redis内存实时数据库中对应的b类维度数据;历史数据查询分析模块,基于索引值查询hbase分布式数据库中对应的c类维度数据;结果数据生成模块,基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据。
57.下面详细描述根据本技术一个实施例的电子设备,在硬件层面,本实施例中,电子设备包括可穿戴设备、智能手机、个人电脑、笔记本电脑、监控设备、检测仪器、服务器等具备分析及处理能力的计算机设备。
58.作为一种示范性实施例,可参见图5,电子设备,包括通信接口、处理器、ram存储器、rom存储器、以及总线。
59.其中,处理器、通信接口和两种存储器、通过总线连接;上述ram存储器用于存储支持处理器执行上述海量数据查询方法的计算机程序,rom存储器用于存储数据,上述处理器被配置为用于执行该存储器中存储的程序。
60.本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:ram(radom access memory,随机存取存储器)、易失存储器、非易失性存储器。其中,非易失性存储器包括,闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
61.ram存储器用于存储计算机程序,以支持处理器执行以下操作:接收用户从应用端发送查询请求和查询信息,查询信息包括a类维度数据,a类维度数据包括基本数据和常规数据的个人基础健康信息;发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;基于索引值查询redis内存实时数据库中对应的b类维度数据,b类维度数据包括生活数据和行为数据的实时采集监控信息,b类维度数据以实时数据建立key-value数据的组织方式存储在redis数据库中;基于索引值查询hbase分布式数据库中对应的c类维度数据,c类维度数据包括健康全历史数据,c类维度数据以历史数据建立数据表的组织方式存储于hbase分布式数据库中;基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据;发送结果数据至发送查询请求和查询信息的应用端;其中,基于b类维度数据和c类维度数据在redis数据库和hbase分布式数据库中抽取关
键索引值,针对抽取的关键索引值和a类维度数据建立索引数据表,并存储在elasticsearch索引数据库中;rom存储器用于存储数据,处理器被配置为用于执行ram存储器中存储的程序。
62.上述如本技术图1所示实施例揭示的海量数据查询方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
63.当然,除了软件实现方式之外,本技术的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
64.本技术实施例还提出了一种机器可读存储介质,该机器可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例的方法,并具体用于执行以下方法:接收用户从应用端发送查询请求和查询信息,查询信息包括a类维度数据,a类维度数据包括基本数据和常规数据的个人基础健康信息;发送请求至平台业务服务器端的elasticsearch索引数据库并进行索引值查询,确定a类维度数据对应的索引值;基于索引值查询redis内存实时数据库中对应的b类维度数据,b类维度数据包括生活数据和行为数据的实时采集监控信息,b类维度数据以实时数据建立key-value数据的组织方式存储在redis数据库中;基于索引值查询hbase分布式数据库中对应的c类维度数据,c类维度数据包括健康全历史数据,c类维度数据以历史数据建立数据表的组织方式存储于hbase分布式数据库中;基于查询信息对应的a类维度数据、b类维度数据、c类维度数据生成结果数据;发送结果数据至发送查询请求和查询信息的应用端;其中,b类维度数据和c类维度数据在redis数据库和hbase分布式数据库中抽取关键索引值,针对抽取的关键索引值和a类维度数据建立索引数据表,并存储在elasticsearch索引数据库中。
65.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
66.本领域技术人员应明白,本技术的实施例可提供为方法、系统或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
67.本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献