一种IO处理方法及系统与流程

一种io处理方法及系统
技术领域
1.本发明涉及计算机技术领域，尤其涉及一种io处理方法及系统。


背景技术：

2.对于ssd(固态硬盘)产品来说，qos(quality of service，服务质量)中的时延抖动是一个非常重要的性能衡量指标。时延抖动可以衡量ssd的稳定性，抖动越小，说明ssd的稳定性越好。
3.现有的大多数ssd都是具有多个处理器，因为dm(数据管理模块)是影响ssd性能的关键模块之一，理论上来说，dm的个数越多，ssd的最大处理能力越高，因此现有技术中在每个处理器上都会部署一个dm，且各个dm处于平等地位，控制器从host(主机)接收到io命令后会均匀分发给各个dm进行处理。为了保证最大带宽，dm的个数不能减少。
4.上述现有技术中存在一个很大的弊端：因为ssd中除了dm外还有其他处理模块需要部署，又因为每个处理器都部署了一个dm，因此必然存在多个模块共用一个处理器的情况，导致一个处理器需要在多个模块的任务之间切换，使得时延抖动比较大，ssd的qos性能不佳。


技术实现要素：

5.有鉴于此，本发明的目的在于提出一种io处理方法及系统，用以解决现有技术中固态硬盘的每个处理器由于需要处理数据管理模块以及多个其他模块导致时延抖动较大的问题。
6.基于上述目的，本发明提供了一种io处理方法，包括以下步骤：
7.在固态硬盘的多个处理器中分别部署数据管理模块，并将多个处理器分成若干组，且在每一组中按照预设规则选择指定处理器；
8.将指定处理器中部署的数据管理模块作为主管理模块，且将指定处理器所在组内的其他处理器中部署的数据管理模块分别作为备管理模块；
9.响应于主管理模块接收到io命令，计算其当前处理的数据流量，并判断当前处理的数据流量是否超过其最大处理流量；
10.响应于当前处理的数据流量超过最大处理流量，由主管理模块分别检查对应的各备管理模块的待处理数据流量，以基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块，并将io命令转发至选定管理模块，以使选定管理模块处理io命令。
11.在一些实施例中，在每一组中按照预设规则选择指定处理器包括：
12.在每一组中选择待处理任务最少的处理器作为指定处理器。
13.在一些实施例中，在每一组中选择待处理任务最少的处理器作为指定处理器包括：
14.在每一组中选择仅部署数据管理模块的处理器作为指定处理器。
15.在一些实施例中，基于各待处理数据流量从各备管理模块中选择一个作为选定管
理模块包括：
16.选择待处理数据流量最少的备管理模块作为选定管理模块。
17.在一些实施例中，方法还包括：
18.响应于当前处理的数据流量未超过最大处理流量，由主管理模块处理io命令。
19.在一些实施例中，将多个处理器分成若干组包括：
20.将多个处理器平均分成若干组。
21.在一些实施例中，主管理模块接收到io命令包括：
22.主管理模块接收到命令提交模块的io命令。
23.在一些实施例中，方法还包括：
24.响应于固态硬盘上电，为每个数据管理模块分别分配相同的上下文描述符。
25.在一些实施例中，方法还包括：
26.响应于主管理模块将io命令转发至选定管理模块，释放主管理模块占用的上下文描述符。
27.本发明的另一方面，还提供了一种io处理系统，包括：
28.指定处理器选择模块，配置用于在固态硬盘的多个处理器中分别部署数据管理模块，并将多个处理器分成若干组，且在每一组中按照预设规则选择指定处理器；
29.分类模块，配置用于将指定处理器中部署的数据管理模块作为主管理模块，且将指定处理器所在组内的其他处理器中部署的数据管理模块分别作为备管理模块；
30.判断模块，配置用于响应于主管理模块接收到io命令，计算其当前处理的数据流量，并判断当前处理的数据流量是否超过其最大处理流量；以及
31.io处理模块，配置用于响应于当前处理的数据流量超过最大处理流量，由主管理模块分别检查对应的各备管理模块的待处理数据流量，以基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块，并将io命令转发至选定管理模块，以使选定管理模块处理io命令。
32.本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
33.本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
34.本发明至少具有以下有益技术效果：
35.本发明的io处理方法，通过对固态硬盘的多个数据管理模块划分主管理模块和备管理模块，并在低任务压力下只使用主管理模块，在高任务压力下由主管理模块将io命令转发给备管理模块来处理，起到了数据流量管理的作用，可以保证在最大带宽不变的情况下，有效降低时延抖动，进而既满足了带宽性能要求，又提高了固态硬盘的qos性能要求。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
37.图1为根据本发明实施例提供的io处理方法的示意图；
38.图2为根据本发明实施例提供的io处理系统的示意图；
39.图3为根据本发明实施例提供的实现io处理方法的计算机可读存储介质的示意图；
40.图4为根据本发明实施例提供的执行io处理方法的计算机设备的硬件结构示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
42.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
43.基于上述目的，本发明实施例的第一个方面，提出了一种io处理方法的实施例。图1示出的是本发明提供的io处理方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
44.步骤s10、在固态硬盘的多个处理器中分别部署数据管理模块，并将多个处理器分成若干组，且在每一组中按照预设规则选择指定处理器；
45.步骤s20、将指定处理器中部署的数据管理模块作为主管理模块，且将指定处理器所在组内的其他处理器中部署的数据管理模块分别作为备管理模块；
46.步骤s30、响应于主管理模块接收到io命令，计算其当前处理的数据流量，并判断当前处理的数据流量是否超过其最大处理流量；
47.步骤s40、响应于当前处理的数据流量超过最大处理流量，由主管理模块分别检查对应的各备管理模块的待处理数据流量，以基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块，并将io命令转发至选定管理模块，以使选定管理模块处理io命令。
48.本发明实施例中，io表示数据输入(input)输出(output)。
49.固态硬盘(ssd)的处理器即主控，主控本质上就是一颗小型处理器，并且和手机处理器类似，是arm架构，甚至高端ssd会使用risc架构，是主机中除了cpu(中央处理器)和gpu(图形处理器)以外的第三大计算核心，用于控制信息的存储次序，维护各个闪存单元的正常运转。
50.本发明实施例的io处理方法，通过对固态硬盘的多个数据管理模块划分主管理模块和备管理模块，并在低任务压力下只使用主管理模块，在高任务压力下由主管理模块将io命令转发给备管理模块来处理，起到了数据流量管理的作用，可以保证在最大带宽不变的情况下，有效降低时延抖动，进而既满足了带宽性能要求，又提高了固态硬盘的qos性能要求。
51.在一些实施例中，在每一组中按照预设规则选择指定处理器包括：在每一组中选择待处理任务最少的处理器作为指定处理器。
52.在一些实施例中，在每一组中选择待处理任务最少的处理器作为指定处理器包括：在每一组中选择仅部署数据管理模块的处理器作为指定处理器。
53.上述实施例中，若在指定处理器中仅部署数据管理模块，而不部署其他模块，则指定处理器可以专注处理数据管理模块的任务，不需要在不同任务之间进行切换，进而可以有效降低时延抖动，保证固态硬盘的qos(服务质量)性能。
54.在一些实施例中，基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块包括：选择待处理数据流量最少的备管理模块作为选定管理模块。
55.本实施例中，为了保证io命令对应的数据处理更有效率，因而选择待处理数据流量最少的备管理模块作为选定管理模块。
56.在一些实施例中，方法还包括：响应于当前处理的数据流量未超过最大处理流量，由主管理模块处理io命令。
57.具体地，在固态硬盘的多个处理器中分别部署数据管理模块，并将多个处理器分成若干组，且在每一组中按照预设规则选择指定处理器；将指定处理器中部署的数据管理模块作为主管理模块，且将指定处理器所在组内的其他处理器中部署的数据管理模块分别作为备管理模块；若主管理模块接收到io命令，计算其当前处理的数据流量，并判断当前处理的数据流量是否超过其最大处理流量；若当前处理的数据流量未超过最大处理流量，由主管理模块处理该io命令。
58.在一些实施例中，将多个处理器分成若干组包括：将多个处理器平均分成若干组。
59.本实施例中，对多个处理器的分组方式包括但不限于平均分组，可以根据实际情况选择合适的分组方式。若选择平均分组的方式，可以根据多个处理器在固态硬盘上所在的位置，将相邻的处理器分为一组。
60.在一些实施例中，主管理模块接收到io命令包括：主管理模块接收到命令提交模块的io命令。
61.本实施例中，命令提交模块为subq manager，其负责subq指令的提交。本实施例对subq manager的配置进行了修改，使其只能给主管理模块发送io命令，而不能给备管理模块发送io命令。
62.在一些实施例中，方法还包括：响应于固态硬盘上电，为每个数据管理模块分别分配相同的上下文描述符。
63.在一些实施例中，方法还包括：响应于主管理模块将io命令转发至选定管理模块，释放主管理模块占用的上下文描述符。
64.上述实施例中，上下文描述符包括command、dataframe等。描述符指文件描述符。内核(kernel)利用文件描述符(file descriptor)来访问文件。打开现存文件或新建文件时，内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件。文件描述符是由无符号整数表示的句柄，进程使用它来标识打开的文件。每一个文件描述符会与一个打开文件相对应，同时，不同的文件描述符也会指向同一个文件。相同的文件可以被不同的进程打开也可以在同一个进程中被多次打开。文件描述符与包括相关信息(如文件的打开模式、文件的位置类型、文件的初始类型等)的文件对象相关联，这些信息被称作文件的上下文。
65.本发明一示例性实施例的io处理方法如下：
66.(1)假设固态硬盘(ssd)上共有8个处理器，在每个处理器上都部署一个数据管理模块(dm)，上电初始化的时候，每个dm分配相同的command、dataframe等上下文描述符，确保每个dm都能发挥出自己最大的数据处理能力。
67.(2)把8个dm平均分成两组，dm0、dm1、dm2、dm3为一组，dm4、dm5、dm6、dm7为另一组，每一组中选择任务少的处理器上部署的dm作为主dm(即主管理模块)，其他三个作为备dm(即备管理模块)。任务少是指该处理器上只部署了dm，没有部署其他模块。
68.(3)修改subq manager(命令提交模块)的配置，只允许subq manager给两个主dm发送io命令，不能给六个备dm发送io命令。
69.(4)主dm收到io命令后，先对当前处理的流量进行计算，如果当前处理的流量没有超过最大处理能力，则处理io命令，不进行转发处理。通过流量计算，如果主dm当前处理的流量超过了最大处理能力，那么主dm再检查该dm所在组内的3个备dm的流量处理情况，从中选择一个待处理流量最少的备dm，然后把该io命令转发给选中的备dm，让备dm帮忙处理该io命令，转发成功后，主dm立即释放占用的上下文描述符。
70.由此，主dm既可以处理数据，又可以调节流量，从而起到了数据流量控制的作用。
71.本发明实施例的第二个方面，还提供了一种io处理系统。图2示出的是本发明提供的io处理系统的实施例的示意图。如图2所示，一种io处理系统包括：指定处理器选择模块10，配置用于在固态硬盘的多个处理器中分别部署数据管理模块，并将多个处理器分成若干组，且在每一组中按照预设规则选择指定处理器；分类模块20，配置用于将指定处理器中部署的数据管理模块作为主管理模块，且将指定处理器所在组内的其他处理器中部署的数据管理模块分别作为备管理模块；判断模块30，配置用于响应于主管理模块接收到io命令，计算其当前处理的数据流量，并判断当前处理的数据流量是否超过其最大处理流量；以及io处理模块40，配置用于响应于当前处理的数据流量超过最大处理流量，由主管理模块分别检查对应的各备管理模块的待处理数据流量，以基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块，并将io命令转发至选定管理模块，以使选定管理模块处理io命令。
72.在一些实施例中，指定处理器选择模块10包括待处理任务判定模块，配置用于在每一组中选择待处理任务最少的处理器作为指定处理器。
73.在一些实施例中，待处理任务判定模块包括部署模块，配置用于在每一组中选择仅部署数据管理模块的处理器作为指定处理器。
74.在一些实施例中，io处理模块40包括备管理模块选择模块，配置用于选择待处理数据流量最少的备管理模块作为选定管理模块。
75.在一些实施例中，系统还包括主管理模块处理模块，配置用于响应于当前处理的数据流量未超过最大处理流量，由主管理模块处理io命令。
76.在一些实施例中，指定处理器选择模块10包括分组模块，配置用于将多个处理器平均分成若干组。
77.在一些实施例中，判断模块30包括io命令接收模块，配置用于主管理模块接收到命令提交模块的io命令。
78.在一些实施例中，系统还包括描述符分配模块，配置用于响应于固态硬盘上电，为每个数据管理模块分别分配相同的上下文描述符。
79.在一些实施例中，系统还包括描述符释放模块，配置用于响应于主管理模块将io命令转发至选定管理模块，释放主管理模块占用的上下文描述符。
80.本发明实施例的io处理系统，通过对固态硬盘的多个数据管理模块划分主管理模块和备管理模块，并在低任务压力下只使用主管理模块，在高任务压力下由主管理模块将io命令转发给备管理模块来处理，起到了数据流量管理的作用，可以保证在最大带宽不变的情况下，有效降低时延抖动，进而既满足了带宽性能要求，又提高了固态硬盘的qos性能要求。
81.本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现io处理方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31。
82.该计算机程序指令31被处理器执行时实现如下步骤：
83.在固态硬盘的多个处理器中分别部署数据管理模块，并将多个处理器分成若干组，且在每一组中按照预设规则选择指定处理器；
84.将指定处理器中部署的数据管理模块作为主管理模块，且将指定处理器所在组内的其他处理器中部署的数据管理模块分别作为备管理模块；
85.响应于主管理模块接收到io命令，计算其当前处理的数据流量，并判断当前处理的数据流量是否超过其最大处理流量；
86.响应于当前处理的数据流量超过最大处理流量，由主管理模块分别检查对应的各备管理模块的待处理数据流量，以基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块，并将io命令转发至选定管理模块，以使选定管理模块处理io命令。
87.在一些实施例中，在每一组中按照预设规则选择指定处理器包括：在每一组中选择待处理任务最少的处理器作为指定处理器。
88.在一些实施例中，在每一组中选择待处理任务最少的处理器作为指定处理器包括：在每一组中选择仅部署数据管理模块的处理器作为指定处理器。
89.在一些实施例中，基于各待处理数据流量从各备管理模块中选择一个作为选定管理模块包括：选择待处理数据流量最少的备管理模块作为选定管理模块。
90.在一些实施例中，步骤还包括：响应于当前处理的数据流量未超过最大处理流量，由主管理模块处理io命令。
91.在一些实施例中，将多个处理器分成若干组包括：将多个处理器平均分成若干组。
92.在一些实施例中，主管理模块接收到io命令包括：主管理模块接收到命令提交模块的io命令。
93.在一些实施例中，步骤还包括：响应于固态硬盘上电，为每个数据管理模块分别分配相同的上下文描述符。
94.在一些实施例中，步骤还包括：响应于主管理模块将io命令转发至选定管理模块，释放主管理模块占用的上下文描述符。
95.应当理解，在相互不冲突的情况下，以上针对根据本发明的io处理方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的io处理系统和存储介质。
96.本发明实施例的第四个方面，还提供了一种计算机设备，包括如图4所示的存储器402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时
实现上述任意一项实施例的方法。
97.如图4所示，为本发明提供的执行io处理方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与io处理系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
98.存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的io处理方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储io处理方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
99.处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的io处理方法。
100.最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram)，该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram可以以多种形式获得，比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强sdram(esdram)、同步链路dram(sldram)、以及直接rambus ram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
101.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
102.结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。
103.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本
发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
104.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
105.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。