数据读写方法、装置、计算设备及存储介质与流程

1.本发明涉及互联网领域，具体涉及一种数据读写方法、装置、计算设备及存储介质。


背景技术：

2.随着信息化社会的不断发展，全球数字化信息量近年来增长迅速。信息量的增长，对数据读写效率也提出了更高的要求。
3.相关技术中，对数据的读写一般分为两种，第一种是通过有锁队列进行数据读写，第二中是通过无锁队列进行数据读写。针对第一种方式而言，在读写的数据较大时，线程竞争加剧，加锁解锁操作会明显地降低入队出队速度，效率降低。而针对第二种方式而言，在读写的数据量较大时，无锁队列需要进行额外的大量校验工作(例如cas)，效率直线下降。
4.基于此，亟需提供一种读写效率高的数据读写方法。


技术实现要素：

5.鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据读写方法、装置、计算设备以及存储介质。
6.根据本发明的一个方面，提供一种数据读写方法，在计算设备中执行，该方法包括：构建供第一线程写入数据的写入队列、供第二线程读出数据的读出队列、以及空闲队列；在数据读取的一个周期内，监测读出队列中的数据读取情况；根据所监测的结果，调整各队列所需执行的任务；在数据读取的各周期内，重复迭代监测的步骤和调整各队列执行任务的步骤，直至读写任务完成。
7.可选地，在根据本发明的数据读写方法中，其中，根据所监测的结果，调整各队列所需执行的任务的步骤包括：若读出队列中的数据读取完毕，则将读出队列与空闲队列交换；若读出队列中的数据未读取完毕，则将写入队列与空闲队列交换。
8.可选地，在根据本发明的数据读写方法中，其中，将读出队列与空闲队列交换的步骤包括：将第二线程的连接对象由读出队列替换为空闲队列。
9.可选地，在根据本发明的数据读写方法中，其中，将写入队列与空闲队列交换的步骤包括：将第一线程的连接对象由写入队列替换为空闲队列。
10.可选地，在根据本发明的数据读写方法中，其中，在构建供第一线程写入数据的写入队列、供第二线程读出数据的读出队列、以及空闲队列的步骤之前，还包括：基于待读写数据的数据量，确定数据读写周期的大小。
11.可选地，在根据本发明的数据读写方法中，其中，还包括步骤：对读写出的数据进行检测，并在检测出异常时，进行报警。
12.根据本发明的又一个方面，提供一种数据读写装置，驻留在计算设备中，该装置包括：构建模块，适于在读写任务开启时，构建供第一线程写入数据的写入队列、供第二线程读出数据的读出队列、以及空闲队列；监测模块，适于在数据读取的一个周期内，监测读出
队列中的数据读取情况；调整模块，适于根据所监测的结果，调整各队列所需执行的任务；迭代模块，适于在数据读取的各周期内，重复迭代监测的步骤和调整各队列执行的任务的步骤，直至读写任务完成。
13.可选地，在根据本发明的数据读写装置中，其中，还包括：确定模块，适于基于待读写数据的数据量，确定数据读写周期的大小。
14.可选地，在根据本发明的数据读写装置中，还包括：检测模块，适于对读写出的数据进行检测，并在检测出异常时，进行报警。
15.根据本发明的又一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行上述方法的指令。
16.根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行上述的方法。
17.根据本发明的方案，提出了一种以构建三个队列为基础，通过监测与第二线程(消费线程)连接的队列的数据读出情况，相应调整第三队列。摒弃了传统对队列的加锁、解锁、校验等一系列影响效率的操作，加快数据的入队速度，出队速度，尽可能地提高了数据读写效率。
18.另外，本发明利用空间换时间的思路，实现了生产线程和消费线程互不影响，均是单线程对队列进行操作，因此数据读写效率非常高，而且数据的读写时差(数据读写周期)很小，并且，时差还可以灵活调节。
19.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
20.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
21.图1示出了根据本发明一个实施例的计算设备100的示意图；
22.图2示出了根据本发明一个实施例的数据读写方法200的流程图；
23.图3a-3c依次示出根据本发明一个实施例的调整各队列所需执行的任务的示意图；
24.图4示出了根据本发明一个实施例的数据读写装置400的结构示意图。
具体实施方式
25.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
26.众所周知，计算设备读写数据的速度很快，但是，当需要读写的数据量较大时，由
于需要对队列进行频繁的操作(例如，加锁、解锁、校验等)，导致在操作队列上消耗大量的时间成本，读写线程对队列的操作效率明显降低。
27.为解决上述现有技术中存在的问题，提出本发明的方案。本发明的一个实施例提供了一种数据方法，该数据读写方法可以在计算设备中执行。图1示出了根据本发明一个实施例的计算设备100的结构图。如图1所示，在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
28.取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μp)、微控制器(μc)、数字信息处理器(dsp)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(alu)、浮点数单元(fpu)、数字信号处理核心(dsp核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
29.取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器ram，磁盘中的数据需要加载至物理内存中才能够被处理器104读取。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。应用122实际上是多条程序指令，其用于指示处理器104执行相应的操作。在一些实施方式中，在一些实施方式中，应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是linux、windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令，应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境ide、编译器等)等，但不限于此。当应用122被安装到计算设备100中时，可以向操作系统120添加驱动模块。
30.在计算设备100启动运行时，处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上，利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时，应用122会加载至存储器106中，处理器104从存储器106中读取并执行应用122的程序指令。
31.计算设备100还包括储存设备132，储存设备132包括可移除储存器136和不可移除储存器138，可移除储存器136和不可移除储存器138均与储存接口总线134连接。
32.计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个a/v端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个i/o端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
33.网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(rf)、微波、红外(ir)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
34.计算设备100还包括与总线/接口控制器130相连的储存接口总线134。储存接口总线134与储存设备132相连，储存设备132适于进行数据存储。示例的储存设备132可以包括可移除储存器136(例如cd、dvd、u盘、可移动硬盘等)和不可移除储存器138(例如硬盘驱动器hdd等)。
35.在根据本发明的计算设备100中，应用122包括执行方法200的多条程序指令。
36.图2示出了根据本发明一个实施例的数据读写方法200的流程图。方法200适于在计算设备(例如前述计算设备100)中执行。
37.如图2所示，方法200的目的是实现一种在数据读写过程中，对队列操作进行改进的方法，始于步骤s202，在步骤s202中，读写任务开启时，构建供第一线程写入数据的写入队列、供第二线程读出数据的读出队列、以及空闲队列。根据本发明的实施方式，第一线程和第二线程均与存储数据的数据资源池耦接，其中第一线程用来写入数据，第二线程用来读取数据。数据资源池例如是布置在计算设备100中的数据存储装置，在其中构建写入队列、读出队列和空闲队列。
38.在本实施例中，第一线程为生产线程，即生产数据的线程。第二线程为消费线程，即消费数据的线程。写入队列与第一线程连接，用于接收第一线程写入的数据。读出队列与第二线程连接，用于供第二线程将暂存在读出队列中的数据读出。空闲队列，用于与写入队列和读出队列进行替换。关于替换的具体方式，在下文中会详细展开，此处不做赘述。
39.对于写入队列、读出队列和空闲队列的具体构建过程如下：
40.首先，响应于数据读写请求，在计算设备中构建第一空值队列、第二空值队列和第三空值队列。
41.然后，在第一个数据读写周期内，将第一空值队列与第一线程连接，以便通过第一线程写入数据。换言之，在第一个数据读写周期内，第一空值队列作为上述写入队列。此时，第二空值队列和第三空值队列均为空闲队列。
42.之后，在第二个数据读写周期内，将第一空值队列与第一线程断开连接，并将第一空值队列(此时，第一空值队列中已写入了部分数据)与第二线程连接，将第二空值队列与第一线程连接。换言之，在第二数据读写周期内，第一空值队列作为上述读出队列，第二空值队列作为上述写入队列，第三空值队列作为上述闲置队列。
43.最后，根据读出队列在数据读取周期内的数据读出情况，相应调整各队列所需执行的任务，具体调整过程参考下述步骤s206，在此，不做详细描述。
44.在步骤s204中，在数据读取的一个周期内，监测读出队列中的数据读取情况。
45.在一些实施例中，数据读写周期可根据待读写数据的数据量来确定大小。当待读写数据的数据量较大时，数据读写周期的时间可设置的长一点(例如，数据读取的一个周期
为10s)。反之，当待读写数据的数据量较小时，数据读写周期的时间设置的短一点(例如，数据读取的一个周期为5s)。对于数据读写周期的具体时长，可由工作人员根据实际应用场景自行设置，本技术对此不作限定。
46.在步骤s206中，根据所监测的结果，调整各队列所述执行的任务。
47.具体地，若读出队列中的数据读取完毕，则将读出队列与空闲队列交换。若读出队列中的数据未读取完毕，则将写入队列与空闲队列交换。其中，当将读出队列与空闲队列交换后，之前的空闲队列便成为了读出队列，而之前的读出队列则成为了空闲队列。当将写入队列与空闲队列交换后，之前的空闲队列成为了写入队列，而之前的写入队列成为了空闲队列。优选地，可将第二线程的连接对象由读出队列替换为空闲队列，或者将第一线程的连接对象由写入队列替换为空闲队列。
48.在一个具体示例中，参考图3a-3c，图3a-3c依次示出根据本发明一个实施例的调整各队列所需执行的任务的示意图。
49.在初始阶段，如图3a所示，写入队列与生产线程(即第一线程)连接，读出队列与消费线程(即第二线程)连接，生产线程将数据写入到写入队列，消费线程从读出队列读取数据。
50.当在一个数据读取周期内(即周期时间t还没到)，如图3b所示，如果读出队列的数据被读取完毕，则交换读出队列与空闲队列的位置，消费线程的连接对象由原来的读出队列替换为空闲队列，原来的空闲队列变为读出队列，读出队列变为空闲队列。
51.当在一个数据读取周期结束时，(即周期时间t已到)，如图3c所示，如果读出队列的数据还未读取完毕，则交换写入队列与空闲队列的位置，生产线程的连接对象由原来的写入队列替换为空闲队列，原来的空闲队列变为写入队列，写入队列变为空闲队列。
52.总之，生产线程和消费线程谁先完成任务，谁去跟空闲队列连接。
53.在步骤s208中，在数据读取的各周期内，重复迭代监测的步骤和调整各队列执行的任务的步骤。其中，监测的步骤即上述步骤s204，调整各队列执行的任务的步骤即上述步骤s206。
54.需要说明的是，在一个数据读取周期内，不论是将空闲队列变更为写入队列还是变更为读出队列，均只能调整一次。
55.在一些实施例中，计算设备还可以对读写出的数据进行检测，并在检测出异常时，进行报警。示例性地，在磁盘安检过程中，读写出的数据可直接发送至数据安检模块，由数据安检模块对读出的数据进行检测。
56.本发明提供的数据方法提出了一种以构建三个队列为基础，通过监测与第二线程(消费线程)连接的队列的数据读出情况，相应调整各队列所需执行的任务。摒弃了传统对队列的加锁、解锁、校验等一系列影响效率的操作，加快数据的入队速度，出队速度，尽可能地提高了数据读写效率。
57.另外，本发明利用空间换时间的思路，实现了生产线程和消费线程互不影响，均是单线程对队列进行操作，因此数据读写效率非常高，而且数据的读写时差(数据读写周期)很小，并且，时差还可以灵活调节。
58.图4示出了根据本发明一个实施例的数据读写装置400的结构示意图。装置400驻留在计算设备(例如前述计算设备100)中。该装置400包括相互藕接的构建模块402、监测模
块404、调整模块406、迭代模块408、确定模块410和检测模块412。其中，构建模块402适于在读写任务开启时，构建供第一线程写入数据的写入队列、供第二线程读出数据的读出队列、以及空闲队列。监测模块404适于在数据读取的一个周期内，监测读出队列中的数据读取情况。调整模块406适于根据所监测的结果，调整各队列所需执行的任务。迭代模块408适于在数据读取的各周期内，重复迭代监测的步骤和调整各队列执行的任务的步骤，直至读写任务完成。确定模块410适于基于待读写数据的数据量，确定数据读写周期的大小。检测模块412适于对读写出的数据进行检测，并在检测出异常时，进行报警。
59.需要说明的是，本实施例提供的装置400的工作原理和流程与上述方法200相似，相关之处，可参考对上述方法200的描述，在此，不再赘述。
60.这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、u盘、软盘、cd-rom或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
61.在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。
62.以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
63.在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的较佳实施方式。
64.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
65.类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
66.本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备
不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
67.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
68.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
69.此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
70.如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
71.尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。