一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种缓存数据更新系统和方法与流程

2021-12-07 21:18:00 来源:中国专利 TAG:
1.本发明涉及计算机
技术领域
:,尤其涉及一种缓存数据更新系统和方法。
背景技术
::2.随着数据量以及数据访问频率的增长,为了缓解大量数据访问请求给数据库带来的压力,缓存技术应运而生。缓存技术可以将数据库中的数据预先保存在缓存中,当数据访问请求到来时,可以从缓存中命中相关数据并返回,降低数据库的压力。3.缓存技术需要保证缓存中的数据与数据库中的数据保持一致,但是,当数据库中的数据发生变动时,现有的缓存技术不能及时地更新缓存中的数据,进而可能导致从缓存中返回的数据不是数据库中更新后的数据,影响用户体验。技术实现要素:4.有鉴于此,本发明实施例提供一种缓存数据更新系统和方法,监听装置能够模拟数据库中的节点,向数据库发送监听请求,以与数据库建立通信连接,并监听数据库中是否有数据更新。当数据库中有数据更新时,数据库向监听模块发送第一数据更新信息,第一数据更新信息指示了更新数据以及更新数据的标识,监听模块则根据该第一数据更新信息,更新第一缓存中的数据,从而能够及时地更新第一缓存中的数据,保证从第一缓存中返回的数据与数据库中更新后的数据一致,进而提升了用户体验。5.为实现上述目的,根据本发明实施例的一个方面,提供了一种缓存数据更新系统。6.本发明实施例的一种缓存数据更新系统包括:监听装置、第一缓存和数据库;其中,7.监听装置,用于模拟数据库中的节点,并作为数据库的模拟节点向数据库发送监听请求;当接收到第一数据更新信息时,根据第一数据更新信息指示的更新数据以及更新数据的标识,更新第一缓存中的数据;8.数据库,用于根据监听请求,与监听装置建立通信连接;当有数据更新时,根据通信连接,向监听模块发送第一数据更新信息。9.可选地,10.监听装置是根据canal工具所配置的,以通过canal工具模拟数据库中的节点。11.可选地,12.当第一缓存包括本地的第二缓存时,13.监听装置,还用于确定第二缓存是否处于启用状态,如果是,根据更新数据以及标识,生成第二数据更新信息,并向第二缓存发送第二数据更新信息,以使第二缓存根据第二数据更新信息进行更新。14.可选地,15.当第一数据更新信息为二进制格式时,16.监听装置,还用于对第一数据更新信息进行格式转换,得到sql语句,以利用sql语句更新第一缓存中的数据。17.可选地,18.每一个更新数据的标识包括:更新数据对应的变更操作、更新数据所属的数据表、更新数据在所属的数据表中的编号;其中,变更操作包括:修改操作、新增操作或删除操作。19.可选地,20.当新增数据为空的第三缓存时,21.监听装置,还用于获取第三缓存的预设数据格式,并作为模拟节点向数据库发送数据获取请求;在接收到数据库返回的数据后,将数据按照预设数据格式写入缓存中;22.数据库,用于根据数据获取请求向监听装置返回数据。23.可选地,24.监听装置,还用于对第一缓存中的更新数据设置有效时长,并记录更新数据在缓存中的保存时长;当保存时长大于有效时长时,清除更新数据以及更新数据对应的标识。25.为实现上述目的,根据本发明实施例的又一方面,提供了一种缓存数据更新方法。26.本发明实施例的一种缓存数据更新方法,应用于缓存数据更新系统,包括:27.监听装置模拟数据库中的节点,并作为数据库的模拟节点向数据库发送监听请求;当接收到第一数据更新信息时,根据第一数据更新信息指示的更新数据以及更新数据的标识,更新第一缓存中的数据;28.数据库根据监听请求,与监听装置建立通信连接;当有数据更新时,根据通信连接,向监听模块发送第一数据更新信息。29.为实现上述目的,根据本发明实施例的又一方面,提供了一种缓存数据更新电子设备。30.本发明实施例的一种缓存数据更新电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本发明实施例的一种缓存数据更新方法。31.为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读存储介质。32.本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种缓存数据更新方法。33.上述发明中的一个实施例具有如下优点或有益效果:监听装置能够模拟数据库中的节点,向数据库发送监听请求,以与数据库建立通信连接,并监听数据库中是否有数据更新。当数据库中有数据更新时,数据库向监听模块发送第一数据更新信息,第一数据更新信息指示了更新数据以及更新数据的标识,监听模块则根据该第一数据更新信息,更新所述第一缓存中的数据,从而能够及时地更新第一缓存中的数据,保证从第一缓存中返回的数据与数据库中更新后的数据一致,进而提升了用户体验。34.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明35.附图用于更好地理解本发明,不构成对本发明的不当限定。其中:36.图1是根据本发明实施例的一种缓存数据更新系统的主要模块的示意图;37.图2是根据本发明实施例的一种缓存数据更新方法的主要步骤的示意图;38.图3是本发明实施例可以应用于其中的示例性系统架构图;39.图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式40.以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。41.需要指出的是,在不冲突的情况下,本发明的实施例以及实施例中的技术特征可以相互结合。42.现有技术中,需要保存至缓存的数据是一些基础数据,比如用户信息、系统枚举、业务枚举、地理信息、某地的天气情况等,这些基础数据在系统中的访问热度一般非常高,并且有些基础数据是不断的新增和更新的。业务单量的大小决定了基础数据的访问次数,对于千万级或亿级的业务单量,从数据库中直接获取这些基础数据会对数据库会造成较大的压力,性能也会比较底下,甚至导致数据库崩溃,所以这些基础数据最好能及时地载入缓存中。基于此,本方案提供了一种缓存数据更新系统和方法。43.图1是根据本发明实施例的一种缓存数据更新系统的主要模块的示意图。44.如图1所示,本发明实施例的一种缓存数据更新系统100包括:监听装置101、第一缓存102和数据库103;其中,45.监听装置101,用于模拟数据库103中的节点,并作为数据库103的模拟节点向数据库103发送监听请求;当接收到第一数据更新信息时,根据第一数据更新信息指示的更新数据以及更新数据的标识,更新第一缓存102中的数据;46.数据库103,用于根据监听请求,与监听装置101建立通信连接;当有数据更新时,根据通信连接,向监听模块101发送第一数据更新信息。47.在本发明实施例中,监听装置101是根据canal工具所配置的,以通过canal工具模拟数据库103中的节点。具体地,监听装置101通过canal工具模拟mysqlslave向mysqlmaster发送监听请求,并接收mysqlmaster推送的第一数据更新信息。在本发明一个优选的实施例中,监听请求为dump请求,第一数据更新信息为binlog信息。48.在本发明实施例中,当第一数据更新信息为二进制格式时,监听装置101,还用于对第一数据更新信息进行格式转换,得到sql语句,以利用sql语句更新第一缓存中的数据。49.在本发明实施例中,监听装置101还可以基于canal工具开发出对binlog信息解析后的处理功能,该处理功能能够从解析到的binlog信息中读出更新数据以及更新数据的标识。50.在本发明实施例中,每一个更新数据的标识包括:更新数据对应的变更操作、更新数据所属的数据表、更新数据在所属的数据表中的编号;其中,变更操作包括:修改操作、新增操作或删除操作。51.在本发明实施例中,当变更操作为修改操作时,则监听装置101可以根据更新数据所属的数据表、更新数据在所属的数据表中的编号从第一缓存中读取待更新数据的json串,然后根据更新数据,将读取到的json串中的某些属性进行更新,以使待更新数据替换为更新数据,更新完成后再将更新数据写入第一缓存。52.在本发明实施例中,可以将第一缓存配置为多级缓存,即第一缓存包括redis缓存和本地的第二缓存。53.在本发明实施例中,当第一缓存包括本地的第二缓存时,监听装置101,还用于确定第二缓存是否处于启用状态,如果是,根据更新数据以及标识,生成第二数据更新信息,并向第二缓存发送第二数据更新信息,以使第二缓存根据第二数据更新信息进行更新。具体地,监听装置101可以通过openlocalcache=trueorfalse确定本地的第二缓存是否处于启用状态,当openlocalcache=true时,说明第二缓存已启用,则监听装置101根据更新数据以及标识生成信息队列(messagequeue,mq)消息,发送至第二缓存,以使第二缓存根据mq消息进行更新。在本发明一个优选的实施例中,本地的第二缓存可采用spring的caffeinecache方式或guava的loadingcache方式构建,且第二缓存中创建有mq消息监听器,用于监听mq消息。54.在本发明实施例中,当新增数据为空的第三缓存时,监听装置101,还用于获取第三缓存的预设数据格式,并作为模拟节点向数据库发送数据获取请求;在接收到数据库返回的数据后,将数据按照预设数据格式写入缓存中;数据库103,用于根据数据获取请求向监听装置返回数据。55.在本发明实施例中,预设数据格式可以是key‑value格式,其中,可以将数据表名称 数据的唯一编号作为key,将数据转换为json串格式存储为value。56.在本发明实施例中,监听装置101上还可以包括缓存读取模块,负责管理缓存实例、初始化实例、并提供对缓存的读取功能。具体地,缓存读取模块可以采用spring的cachemanager组件管理第一缓存、第二缓存以及第三缓存,并实例化具体的缓存,为每个缓存设定缓存维度、缓存超时时间等属性。具体地,缓存读取模块可以采用cachemanager接口创建缓存管理器,通过abstractvalueadaptingcache实现缓存实例,通过spring‑config.xml配置文件实现缓存的实例化,例如:57.<beanid="user_table"class="com.*.mycache">58.<constructor‑argindex="0"type="java.lang.string"value="cache_day"/>59.在本发明实施例中,监听装置101,还用于对第一缓存中的更新数据设置有效时长,并记录更新数据在缓存中的保存时长;当保存时长大于有效时长时,清除更新数据以及更新数据对应的标识。60.在本发明实施例中,因为实现了spring的cache接口,在需要读取第一缓存中的数据时,可以直接在查询数据的方法上添加@cacheable61.注解标识,即可实现对第一缓存的查询。在本发明一个优选的实施例中,可以将从数据库读取数据作为兜底方案,一旦第一缓存崩溃或第一缓存无法连接时,仍然可以通过查询数据库获取到相应数据,保证了数据的命中率。62.根据本发明实施例的一种缓存数据更新系统可以看出,监听装置能够模拟数据库中的节点,向数据库发送监听请求,以与数据库建立通信连接,并监听数据库中是否有数据更新。当数据库中有数据更新时,数据库向监听模块发送第一数据更新信息,第一数据更新信息指示了更新数据以及更新数据的标识,监听模块则根据该第一数据更新信息,更新第一缓存中的数据,从而能够及时地更新第一缓存中的数据,保证从第一缓存中返回的数据与数据库中更新后的数据一致,进而提升了用户体验。63.图2是根据本发明实施例的一种缓存数据更新方法的主要步骤的示意图。64.如图2所示,本发明实施例的一种缓存数据更新方法,应用于缓65.存数据更新系统,主要包括以下步骤:66.步骤s201:监听装置模拟数据库中的节点,并作为数据库的模拟节点向数据库发送监听请求;当接收到第一数据更新信息时,根据第一数据更新信息指示的更新数据以及更新数据的标识,更新第一缓存中的数据;67.步骤s202:数据库根据监听请求,与监听装置建立通信连接;当有数据更新时,根据通信连接,向监听模块发送第一数据更新信息。68.在本发明实施例中,监听装置是根据canal工具所配置的,以通过canal工具模拟数据库中的节点。69.在本发明实施例中,当第一缓存包括本地的第二缓存时,监听装置可以确定第二缓存是否处于启用状态,如果是,根据更新数据以及标识,生成第二数据更新信息,并向第二缓存发送第二数据更新信息,以使第二缓存根据第二数据更新信息进行更新。70.在本发明实施例中,当第一数据更新信息为二进制格式时,监听装置可以对第一数据更新信息进行格式转换,得到sql语句,以利用sql语句更新第一缓存中的数据。71.在本发明实施例中,每一个更新数据的标识包括:更新数据对应的变更操作、更新数据所属的数据表、更新数据在所属的数据表中的编号;其中,变更操作包括:修改操作、新增操作或删除操作。72.在本发明实施例中,当新增数据为空的第三缓存时,监听装置可以获取第三缓存的预设数据格式,并作为模拟节点向数据库发送数据获取请求;在接收到数据库返回的数据后,将数据按照预设数据格式写入缓存中;数据库可以根据数据获取请求向监听装置返回数据。73.在本发明实施例中,监听装置可以对第一缓存中的更新数据设置有效时长,并记录更新数据在缓存中的保存时长;当保存时长大于有效时长时,清除更新数据以及更新数据对应的标识。74.根据本发明实施例的一种缓存数据更新方法可以看出,监听装置能够模拟数据库中的节点,向数据库发送监听请求,以与数据库建立通信连接,并监听数据库中是否有数据更新。当数据库中有数据更新时,数据库向监听模块发送第一数据更新信息,第一数据更新信息指示了更新数据以及更新数据的标识,监听模块则根据该第一数据更新信息,更新第一缓存中的数据,从而能够及时地更新第一缓存中的数据,保证从第一缓存中返回的数据与数据库中更新后的数据一致,进而提升了用户体验。75.图3示出了可以应用本发明实施例的一种缓存数据更新方法或一种缓存数据更新系统的示例性系统架构300。76.如图3所示,系统架构300可以包括终端设备301、302、303,网络304和电子设备305。网络304用以在终端设备301、302、303和电子设备305之间提供通信链路的介质。网络304可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。77.用户可以使用终端设备301、302、303通过网络304与电子设备305交互,以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。78.终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。79.电子设备305可以是提供各种服务的服务器,例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。80.应该理解,图3中的终端设备、网络和电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和电子设备。81.下面参考图4,其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。82.如图4所示,计算机系统400包括中央处理单元(cpu)401,其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram403中,还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。83.以下部件连接至i/o接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。84.特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时,执行本发明的系统中限定的上述功能。85.需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。86.附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。87.本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:监听装置模拟数据库中的节点,并作为数据库的模拟节点向数据库发送监听请求;当接收到第一数据更新信息时,根据第一数据更新信息指示的更新数据以及更新数据的标识,更新第一缓存中的数据;数据库根据监听请求,与监听装置建立通信连接;当有数据更新时,根据通信连接,向监听模块发送第一数据更新信息。88.根据本发明实施例的技术方案,监听装置能够模拟数据库中的节点,向数据库发送监听请求,以与数据库建立通信连接,并监听数据库中是否有数据更新。当数据库中有数据更新时,数据库向监听模块发送第一数据更新信息,第一数据更新信息指示了更新数据以及更新数据的标识,监听模块则根据该第一数据更新信息,更新所述第一缓存中的数据,从而能够及时地更新第一缓存中的数据,保证从第一缓存中返回的数据与数据库中更新后的数据一致,进而提升了用户体验。89.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献