一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

虚拟机启动风暴的处理方法、装置、设备及介质与流程

2022-08-10 16:47:46 来源:中国专利 TAG:


1.本发明实施例涉及计算机技术领域,尤其涉及一种虚拟机启动风暴的处理方法、装置、设备及介质。


背景技术:

2.虚拟机启动风暴,是指在短时间内存在大量虚拟机同时启动,从而引起大量存储i/o(input/output,输出/输出)的现象。当后端存储的存储服务能力较弱时,虚拟机启动风暴很容易导致存储系统崩溃,或者大量虚拟机启动失败。
3.目前,在块存储系统中,通常采用增加快速存储设备配合逻辑卷服务质量(logical unit number quality of service,lun qos)策略的虚拟机启动风暴处理方法,通过将i/o数据流按流量需求进行分配,从而优化存储系统的存储服务质量,以应对虚拟机启动风暴。
4.然而,lun qos策略尽管可以一定程度地提高存储系统的存储服务质量,但是仍很难满足虚拟机启动风暴最密集时的存储服务质量需求。此外,虚拟机在启动完成后,存储i/o将急剧减少,也即对存储服务质量需求将大量减少,故如果按照虚拟机启动风暴最密集的情况配置lun qos策略,将会造成存储资源的严重浪费。


技术实现要素:

5.本发明实施例提供一种虚拟机启动风暴的处理方法、装置、设备及介质,可以在满足虚拟机启动风暴时对存储服务质量需求的同时,避免在虚拟机启动完成后对存储资源的浪费。
6.第一方面,本发明实施例提供了一种虚拟机启动风暴的处理方法,包括:
7.获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴时,获取所述目标逻辑卷的业务请求队列对应的所需令牌数量;
8.判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量;
9.若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
10.可选的,根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴,包括:
11.获取各所述逻辑卷的业务请求队列的队列长度,并分别判断各所述逻辑卷的业务请求队列的队列长度是否大于预设队列长度阈值;
12.若检测到所述各逻辑卷中存在至少一个异常逻辑卷的业务请求队列的队列长度大于预设队列长度阈值,则获取各所述异常逻辑卷的业务请求队列中各业务请求对应的业
务类型;
13.当检测到某一个异常逻辑卷的业务请求队列中存在至少一个业务请求对应的业务类型为虚拟机启动业务时,判断所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量是否大于或者等于预设业务请求数量阈值;
14.若确定所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量大于或者等于预设业务请求数量阈值,则将所检测异常逻辑卷确定为目标逻辑卷,并确定所述目标逻辑卷发生虚拟机启动风暴。
15.采用上述技术方案,可以实现对逻辑卷是否发生虚拟机启动风暴的准确判断,可以降低虚拟机启动风暴的误判概率。
16.可选的,通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌,包括:
17.判断所述目标存储节点对应的节点令牌桶的当前令牌数量是否大于或者等于所述第一令牌数量差值;
18.若确定所述目标存储节点对应的节点令牌桶的当前令牌数量大于或者等于所述第一令牌数量差值,则从所述目标存储节点对应的节点令牌桶中获取与所述第一令牌数量差值对应的令牌添加至所述目标令牌桶。
19.采用上述技术方案,在确定存在逻辑卷发生虚拟机启动风暴时,可以采用节点令牌桶向发生虚拟机启动风暴的逻辑卷对应的令牌桶补充足够的令牌,从而可以临时提升该逻辑卷的存储服务质量,以实现对虚拟机启动风暴的成功应对。
20.可选的,在判断所述目标存储节点对应的节点令牌桶的当前令牌数量是否大于或者等于所述第一令牌数量差值之后,还包括:
21.若确定所述目标存储节点对应的节点令牌桶的当前令牌数量小于所述第一令牌数量差值,则计算得到所述目标存储节点对应的节点令牌桶的当前令牌数量与所述第一令牌数量差值之间的第二令牌数量差值;
22.获取各其他逻辑卷对应的其他令牌桶的剩余令牌数量,并根据所述各其他令牌桶的剩余令牌数量,从其他令牌桶中获取与所述第二令牌数量差值对应的令牌添加至所述目标存储节点对应的节点令牌桶;
23.从所述目标存储节点对应的节点令牌桶中获取与所述第一令牌数量差值对应的令牌添加至所述目标令牌桶。
24.采用上述技术方案,可以在确定存在逻辑卷发生虚拟机启动风暴时,确保提升逻辑卷的存储服务质量,可以避免需要增加额外的存储单元,从而可以避免对存储资源的浪费。
25.可选的,根据所述各其他令牌桶的剩余令牌数量,从其他令牌桶中获取与所述第二令牌数量差值对应的令牌添加至所述目标存储节点对应的节点令牌桶,包括:
26.根据所述各其他令牌桶的剩余令牌数量,计算得到各所述其他令牌桶对应的令牌回收权重;
27.根据各所述其他令牌桶对应的令牌回收权重和所述第二令牌数量差值,获取各所述其他令牌桶对应的回收令牌数量;
28.通过各所述其他令牌桶,分别向所述目标存储节点对应的节点令牌桶添加与各所
述其他令牌桶对应的回收令牌数量匹配的令牌。
29.采用上述技术方案,可以平衡从各其他令牌桶中回收令牌的数量,从而可以平衡各逻辑卷在令牌回收后的服务质量,可以提升存储节点的稳定性。
30.可选的,本实施例的技术方案,还包括:
31.每间隔预设时间,生成预设数量的令牌添加至所述目标存储节点对应的节点令牌桶;
32.根据所述目标存储节点对应的逻辑卷的数量和所述预设数量,计算得到各所述逻辑卷对应的令牌数量;
33.通过所述目标存储节点对应的节点令牌桶,向各所述逻辑卷对应的令牌桶中添加各所述逻辑卷对应的令牌数量匹配的令牌。
34.采用上述技术方案,可以实现对各逻辑卷对应的令牌桶中令牌的实时补充,可以保证存储节点的存储服务质量保持恒定。
35.可选的,在每间隔预设时间,生成预设数量的令牌添加至所述目标存储节点对应的节点令牌桶之前,还包括:
36.获取所述目标存储节点对应的业务请求处理性能,并根据所述目标存储节点对应的业务请求处理性能设置所述预设数量。
37.采用上述技术方案,可以提升预设数量的设置准确性,避免业务处理压力超出存储节点的可承受范围,可以进一步提升存储节点的稳定性。
38.第二方面,本发明实施例还提供了一种虚拟机启动风暴的处理装置,包括:
39.所需令牌数量获取模块,用于获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴时,获取所述目标逻辑卷的业务请求队列对应的所需令牌数量;
40.令牌数量判断模块,用于判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量;
41.令牌补充模块,用于若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
42.第三方面,本发明实施例还提供了一种电子设备,包括:
43.一个或多个处理器;
44.存储器,用于存储一个或多个程序,
45.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任意实施例所述的虚拟机启动风暴的处理方法。
46.第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的虚拟机启动风暴的处理方法。
47.本发明实施例提供的技术方案,通过获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据各逻辑卷的业务请求队列检测到存在目标逻辑卷发生虚拟机启动风暴时,获取目标逻辑卷的业务请求队列对应的所需令牌数量;若确定目标逻辑卷的业务请求队列对应的所需令牌数量大于目标逻辑卷对应的目标令牌桶的当前令牌数量,则计算得到
所需令牌数量与目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向目标令牌桶补充与第一令牌数量差值对应的令牌;通过节点令牌桶对发生虚拟机启动风暴的逻辑卷对应的令牌桶进行令牌补充,可以在满足虚拟机启动风暴时对存储服务质量需求的同时,避免在虚拟机启动风暴结束后对存储资源的浪费。
附图说明
48.图1a是本发明实施例一提供的一种虚拟机启动风暴的处理方法的流程图;
49.图1b是本发明实施例一提供的一种虚拟机的启动过程示意图;
50.图2a是本发明实施例二提供的一种虚拟机启动风暴的处理方法的流程图;
51.图2b是本发明实施例二提供的一种虚拟机启动风暴的检测流程示意图;
52.图2c是本发明实施例二提供的一种令牌桶的令牌超供方法的流程示意图;
53.图3a是本发明实施例三提供的一种虚拟机启动风暴的处理方法的流程图;
54.图3b是本发明实施例三提供的一种目标令牌桶的令牌补充流程示意图;
55.图3c是本发明实施例三提供的一种虚拟机启动风暴的处理方法的流程示意图;
56.图3d是本发明实施例三提供的一种目标逻辑卷的令牌超供流程示意图;
57.图4是本发明实施例四提供的一种虚拟机启动风暴的处理装置的结构框图;
58.图5是本发明实施例五提供的一种电子设备的结构框图。
具体实施方式
59.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
60.实施例一
61.图1a为本发明实施例一提供的一种虚拟机启动风暴的处理方法的流程图,本发明实施例可适用于逻辑卷在短时间内存在大量虚拟机同步启动的情况;该方法可以由本发明实施例中的虚拟机启动风暴的处理装置来执行,该装置可以通过软件和/或硬件实现,并集成在电子设备上,典型的,可以集成在计算机设备上,所述方法具体包括如下步骤:
62.s110、获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴时,获取所述目标逻辑卷的业务请求队列对应的所需令牌数量。
63.其中,目标存储节点,可以是单个存储装置,例如,硬盘、内存等,也可以是由多个存储装置组成的分布式存储系统。在本实施例中,可以按照需求对目标存储节点的存储资源进行划分,以形成多个虚拟盘,即逻辑卷。针对每一个逻辑卷,可以预先设置对应的业务请求队列,以缓存无法实时处理的业务请求。
64.在本实施例中,在每一个逻辑卷上可以建立多个虚拟机,每个虚拟机可以运行不同的操作系统,且应用程序可以在相互独立的空间内运行。其中,虚拟机的启动过程可以如图1b所示。在虚拟机启动的过程中,会产生一系列的存储i/o请求,当某一个逻辑卷在短时间内存在大量的虚拟机同步启动时,则会在短时间内产生大量的突发存储i/o请求。由于逻辑卷的存储服务质量有限(单位时间内可处理的业务请求数量有限),从而会导致该逻辑卷
对应的业务请求队列中存在大量业务请求积压。
65.因此,在本实施例中,可以获取各逻辑卷的业务请求队列,并通过判断各逻辑卷的业务请求队列的队列长度是否超过设定队列长度,以判断是否存在逻辑卷发生虚拟机启动风暴。在确定存在某一个逻辑卷发生虚拟机启动风暴时,可以将该逻辑卷确定为目标逻辑卷,并统计该目标逻辑卷的业务请求队列中业务请求的数量,以获取该业务请求队列对应的所需令牌数量。
66.其中,业务请求与令牌一一对应,故业务请求队列中业务请求的数量等于所需令牌数量。在本实施例中,每个待处理的业务请求都需要在对应的令牌桶中获取各自对应的令牌,只有成功获取对应令牌的业务请求才会被处理。通过调整逻辑卷对应的令牌桶的令牌补充速率,可以实现对业务请求处理速率的控制,从而可以实现对逻辑卷的存储服务质量的有效控制。
67.s120、判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量。
68.在本实施例中,针对每一个逻辑卷均预先设置有对应的令牌桶,该令牌桶可以向对应逻辑卷的各业务请求签发对应的令牌;目标令牌桶,即预先设置的目标逻辑卷对应的令牌桶。其中,令牌桶可存放令牌的最大数量固定,且可以通过存储节点对应的节点令牌桶,按照预设的令牌补充速度对各令牌桶中的令牌进行补充。
69.具体的,在获取到目标逻辑卷的业务请求队列对应的所需令牌数量之后,统计该目标逻辑卷对应的目标令牌桶的当前令牌数量,并进一步判断所需令牌数量是否大于该当前令牌数量,以判断目标令牌桶中现有的令牌是否可以成功应对当前的虚拟机启动风暴。
70.s130、若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
71.值得注意的是,当所需令牌数量大于该当前令牌数量时,仅靠目标令牌桶中的现有令牌,无法实现对业务请求队列中全部业务请求的同步处理,故易导致对大量业务请求的处理失败,从而导致虚拟机启动失败。
72.针对上述问题,在本实施例中,在确定所需令牌数量大于该当前令牌数量之后,计算得到所需令牌数量与当前令牌数量之间的令牌数量差值,即第一令牌数量差值。然后,目标令牌桶可以基于该第一令牌数量差值生成令牌超供请求发送至目标存储节点对应的节点令牌桶,以请求该节点令牌桶对目标令牌桶中进行令牌补充。节点令牌桶在接收到目标令牌桶发送的令牌超供请求后,可以从自身预留的令牌中获取与该第一令牌数量差值对应的令牌补充至该目标令牌桶中,或者可以从未发生虚拟机启动风暴的其他逻辑卷对应的其他令牌桶中,回收与该第一令牌数量差值对应的令牌补充至该目标令牌桶中。
73.目标令牌桶在接收到节点令牌桶补充的令牌后,此时可以满足目标逻辑卷的令牌需求,可以成功实现对业务请求队列中所有业务请求的处理,从而可以实现对目标逻辑卷的虚拟机启动风暴的成功应对。此外,在虚拟机启动风暴结束后,各令牌桶可以回归正常模式,节点令牌桶也无需向各逻辑卷对应的令牌桶补充额外的令牌。
74.其中,节点令牌桶,为预先设置的与目标存储节点对应的令牌桶;在本实施例中,节点令牌桶可以按照预设令牌生成速率自行补充令牌,并可以按照预设分配规则,将自身
的令牌分发至各逻辑卷对应的令牌桶。
75.在本实施例中,当存在目标逻辑卷发生虚拟机启动风暴,且对应的目标令牌桶的当前令牌数量小于所需令牌数量时,由节点令牌桶向目标令牌桶补充缺少的令牌,可以实现对虚拟机启动风暴的成功应对。此外,在此过程中,无需对存储节点的整体令牌数量进行补充,也即无需增加额外的存储单元(例如,固态硬盘(solid state disk,ssd)等)以提升存储节点的业务处理性能,可以避免虚拟机启动风暴结束后对存储资源的浪费。
76.本发明实施例提供的技术方案,通过获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据各逻辑卷的业务请求队列检测到存在目标逻辑卷发生虚拟机启动风暴时,获取目标逻辑卷的业务请求队列对应的所需令牌数量;若确定目标逻辑卷的业务请求队列对应的所需令牌数量大于目标逻辑卷对应的目标令牌桶的当前令牌数量,则计算得到所需令牌数量与目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向目标令牌桶补充与第一令牌数量差值对应的令牌;通过节点令牌桶对发生虚拟机启动风暴的逻辑卷对应的令牌桶进行令牌补充,可以在满足虚拟机启动风暴时对存储服务质量需求的同时,避免在虚拟机启动风暴结束后对存储资源的浪费。
77.在本实施例的一个可选的实施方式中,本实施例的技术方案还可以包括:每间隔预设时间,生成预设数量的令牌添加至所述目标存储节点对应的节点令牌桶;根据所述目标存储节点对应的逻辑卷的数量和所述预设数量,计算得到各所述逻辑卷对应的令牌数量;通过所述目标存储节点对应的节点令牌桶,向各所述逻辑卷对应的令牌桶中添加各所述逻辑卷对应的令牌数量匹配的令牌。
78.其中,预设时间,可以是预先设置的向节点令牌桶中补充令牌的间隔时间。预设数量,可以为预先设置的每次向节点令牌桶中补充令牌的数量。需要说明的是,存储节点的硬件资源固定,即存储节点单位时间内可承受的业务请求的数量固定,也即存储节点可提供的存储服务质量是固定的。因此,单位时间内向节点令牌桶中添加令牌的数量是恒定的。
79.在本实施例中,各逻辑卷对应的令牌桶中的令牌,可以均由对应的节点令牌桶进行分配得到,故各逻辑卷对应的令牌桶的令牌数量之和是固定的。具体的,节点令牌桶在对令牌进行分配时,可以按照逻辑卷的数量对令牌进行平均分配,且自身不留任何令牌;例如,预设数量为30,各逻辑卷对应的令牌桶包括lun1、lun2和lun3,则节点令牌桶可以向每个令牌桶平均分配10个令牌。
80.可选的,节点令牌桶也可以先预留一定数量的令牌,然后对剩余的令牌进行平均分配;例如,预设数量为32,各逻辑卷对应的令牌桶包括lun1、lun2和lun3,节点令牌桶可以预留2个令牌,并为每个令牌桶分配10个令牌。此外,节点令牌桶还可以先预留一定数量的令牌,然后按照预设比例对剩余的令牌进行分配;续前例,节点令牌桶可以预留2个令牌,并按照1:1:3的比例对剩余的令牌的进行分配,故为lun1分配6个令牌,为lun2分配6个令牌,以及为lun3分配18个令牌。
81.需要说明的是,为了避免对存储节点的存储服务质量造成较大的影响,存储节点预留令牌的数量应远小于向各逻辑卷对应的令牌桶分配的令牌的数量。
82.可选的,在每间隔预设时间,生成预设数量的令牌添加至所述目标存储节点对应的节点令牌桶之前,还可以包括:获取所述目标存储节点对应的业务请求处理性能,并根据所述目标存储节点对应的业务请求处理性能设置所述预设数量。
83.其中,目标存储节点对应的业务请求处理性能,可以是目标存储节点在单位时间内可以承受的业务请求的数量,故目标存储节点的业务请求处理性能,可以决定每间隔预设时间向节点令牌桶补充令牌的数量。因此,在本实施例中,可以预先获取目标存储节点对应的业务处理性能,并根据该业务处理性能确定预设数量。
84.上述设置的好处在于,可以提升预设数量的设置准确性,避免业务处理压力超出存储节点的可承受范围,可以提升存储节点的稳定性。
85.实施例二
86.图2a为本发明实施例二提供的一种虚拟机启动风暴的处理方法的流程图,本实施例在上述实施例的基础上进行具体化,在本实施例中,根据各逻辑卷的业务请求队列,判断各逻辑卷中是否存在目标逻辑卷发生虚拟机启动风暴,该方法具体包括:
87.s210、获取与目标存储节点对应的各逻辑卷的业务请求队列。
88.s220、获取各所述逻辑卷的业务请求队列的队列长度,并分别判断各所述逻辑卷的业务请求队列的队列长度是否大于预设队列长度阈值。
89.其中,预设队列长度阈值,可以是预先设置的用于判断业务请求队列的队列长度是否存在异常的队列长度数值;对于大于该预设队列长度阈值的业务请求队列,则可以认为存在异常;对于小于或者等于该预设队列长度阈值的业务请求队列,则可以认为正常。
90.s230、若检测到所述各逻辑卷中存在至少一个异常逻辑卷的业务请求队列的队列长度大于预设队列长度阈值,则获取各所述异常逻辑卷的业务请求队列中各业务请求对应的业务类型。
91.在本实施例中,在判断各逻辑卷是否发生虚拟机启动风暴时,可以首先采用预设队列长度阈值对各逻辑卷进行初次判断,以筛选得到队列长度大于预设队列长度阈值的逻辑卷作为异常逻辑卷。需要说明的是,在一些特定场景下,例如,存在大量用户同时对某个逻辑卷进行操作,也可能存在大量突发业务请求的情况,因此,仅通过队列长度判断逻辑卷是否存在虚拟机启动风暴,可能存在误判的情况。
92.针对上述问题,在初步筛选得到队列长度大于预设队列长度阈值的异常逻辑卷之后,进一步判断该异常逻辑卷的业务请求队列中的每个业务请求对应的业务类型。具体的,首先,可以通过预先分析获取虚拟机启动业务对应的业务请求的大小和组成,以获取虚拟机启动业务对应的业务请求模型。然后,可以将异常逻辑卷的业务请求队列中的每个业务请求,分别与该业务请求模型进行匹配对比,以判断各业务请求是否属于虚拟机启动业务。
93.上述设置的好处在于,可以对逻辑卷进行初筛,可以避免对所有逻辑卷的业务请求队列中所有的业务请求对应的业务类型进行识别,可以极大降低虚拟机启动风暴的检测工作量,可以提升虚拟机启动风暴的检测效率。
94.s240、当检测到某一个异常逻辑卷的业务请求队列中存在至少一个业务请求对应的业务类型为虚拟机启动业务时,判断所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量是否大于或者等于预设业务请求数量阈值。
95.其中,预设业务请求数量阈值,可以是预先设置的用于判断逻辑卷是否达到启动风暴程度的业务请求数量值。启动风暴,是指到较短时间内存在大量的虚拟机同步启动,故虚拟机同步启动的数量必须大于一定数值。
96.在本实施例中,当检测到存在异常逻辑卷的业务请求队列中包括多个虚拟机启动
业务的业务请求时,此时可以初步确定该异常逻辑卷存在多个虚拟机同步启动。之后,判断该异常逻辑卷的业务请求队列中虚拟机启动业务的业务请求的数量是否大于或者等于预先设置的业务请求数量阈值,以判断该异常逻辑卷的虚拟机启动是否达到启动风暴的程度。
97.s250、若确定所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量大于或者等于预设业务请求数量阈值,则将所检测异常逻辑卷确定为目标逻辑卷,并确定所述目标逻辑卷发生虚拟机启动风暴。
98.具体的,若确定所检测异常逻辑卷的业务请求队列中虚拟机启动业务的业务请求的数量大于或者等于预设业务请求数量阈值,则可以确定在较短时间内同步启动的虚拟机达到了启动风暴的程度。此时,可以将检测到的该异常逻辑卷确定为目标逻辑卷,并确定该目标逻辑卷发生了虚拟机启动风暴。
99.在一个具体的例子中,虚拟机启动风暴的检测流程可以如图2b所示。具体的,首先,通过分析线程对各逻辑卷的业务请求队列进行采样,以获取各业务请求队列的队列长度。之后,判断各业务请求队列的队列长度是否超过预设阈值。然后,对于队列长度超过预设阈值的业务请求队列中的各业务请求进行i/o模式分析,以判断其是否为虚拟机启动i/o请求。进一步的,对于确定包括虚拟机启动i/o请求的业务请求队列,统计其虚拟机启动i/o请求的堆积数量,并判断虚拟机启动i/o请求的堆积数量是否符合虚拟机启动风暴模型(堆积数量是否大于或者等于预设的数量值),若是,则确定该业务请求队列对应的逻辑卷发生虚拟机启动风暴,并标记该逻辑卷需要超供,即需要补充令牌。
100.s260、获取所述目标逻辑卷的业务请求队列对应的所需令牌数量。
101.s270、判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量。
102.s280、若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
103.在一个具体的例子中,令牌桶的令牌超供方法的流程可以如图2c所示。具体的,首先,对各逻辑卷的总业务请求队列进行采样,以获取当前逻辑卷的业务请求队列对应的所需令牌数量,并判断该所需令牌数量是否小于或者等于该逻辑卷对应的令牌桶的当前令牌数量,即判断令牌桶中令牌是否充足。其中,若是,则消耗令牌对业务请求队列中的各业务请求进行依次处理;若否,则进一步判断该业务请求队列中各业务请求是否为burst i/o(虚拟机启动风暴i/o)。若确定为burst i/o,则向节点令牌桶请求超供,以实现对缺少令牌的补充。而若确定不为burst i/o,则将当前逻辑卷的业务请求队列挂回逻辑卷的总业务请求队列。
104.在本实施例中,对于存在虚拟机启动风暴(大量突发业务请求)的逻辑卷,通过增加令牌超供机制,可以使其能够在短时间内处理超出自身配置能力的大量业务请求,可以极大缩短虚拟机同步启动时的启动时间,例如,当存在100台vmware虚拟机同步启动时,可以将启动时间从1分钟以上缩短至20秒以内。
105.本发明实施例提供的技术方案,通过获取各逻辑卷的业务请求队列的队列长度,并在检测到各逻辑卷中存在多个异常逻辑卷的业务请求队列的队列长度大于预设队列长
度阈值时,获取每个异常逻辑卷的业务请求队列中各业务请求对应的业务类型;当检测到某一个异常逻辑卷的业务请求队列中存在多个业务请求对应的业务类型为虚拟机启动业务时,在确定所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量大于或者等于预设业务请求数量阈值时,将所检测异常逻辑卷确定为目标逻辑卷,并确定目标逻辑卷发生虚拟机启动风暴,可以实现对虚拟机启动风暴的准确和高效检测,从而可以提升对虚拟机启动风暴的处理效率。
106.实施例三
107.图3a为本发明实施例三提供的一种虚拟机启动风暴的处理方法的流程图,本实施例在上述实施例的基础上进行具体化,在本实施例中,通过目标存储节点对应的节点令牌桶向目标令牌桶补充与第一令牌数量差值对应的令牌,该方法具体包括:
108.s310、获取与目标存储节点对应的各逻辑卷的业务请求队列。
109.s320、获取各所述逻辑卷的业务请求队列的队列长度,并分别判断各所述逻辑卷的业务请求队列的队列长度是否大于预设队列长度阈值。
110.s330、若检测到所述各逻辑卷中存在至少一个异常逻辑卷的业务请求队列的队列长度大于预设队列长度阈值,则获取各所述异常逻辑卷的业务请求队列中各业务请求对应的业务类型。
111.s340、当检测到某一个异常逻辑卷的业务请求队列中存在至少一个业务请求对应的业务类型为虚拟机启动业务时,判断所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量是否大于或者等于预设业务请求数量阈值。
112.s350、若确定所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量大于或者等于预设业务请求数量阈值,则将所检测异常逻辑卷确定为目标逻辑卷,并确定所述目标逻辑卷发生虚拟机启动风暴。
113.s360、获取所述目标逻辑卷的业务请求队列对应的所需令牌数量。
114.s370、判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量。
115.s380、若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值。
116.s390、判断所述目标存储节点对应的节点令牌桶的当前令牌数量是否大于或者等于所述第一令牌数量差值。
117.在本实施例中,由于节点令牌桶中通常只预留数量很少的令牌,或者不预留任何令牌,故在通过节点令牌桶向目标令牌桶补充令牌时,需要首先判断节点令牌桶中当前令牌数量是否大于或者等于该第一令牌数量差值,即判断节点令牌桶中的当前令牌是否足够补充目标令牌桶所缺少的令牌。
118.s3100、若确定所述目标存储节点对应的节点令牌桶的当前令牌数量大于或者等于所述第一令牌数量差值,则从所述目标存储节点对应的节点令牌桶中获取与所述第一令牌数量差值对应的令牌添加至所述目标令牌桶。
119.具体的,若确定当前令牌数量大于或者等于该第一令牌数量差值,则可以直接从节点令牌桶中获取第一令牌数量差值的令牌添加至目标令牌桶中,以实现对目标令牌桶的令牌补充。
120.本发明实施例提供的技术方案,在计算得到目标逻辑卷的业务请求队列对应的所需令牌数量与目标令牌桶的当前令牌数量之间的第一令牌数量差值之后,若确定节点令牌桶的当前令牌数量大于或者等于第一令牌数量差值,则从节点令牌桶中获取与第一令牌数量差值对应的令牌添加至所述目标令牌桶;而若确定节点令牌桶的当前令牌数量小于第一令牌数量差值,则计算得到节点令牌桶的当前令牌数量与第一令牌数量差值之间的第二令牌数量差值;并获取各其他逻辑卷对应的其他令牌桶的剩余令牌数量,并根据各其他令牌桶的剩余令牌数量,从其他令牌桶中获取与第二令牌数量差值对应的令牌添加至节点令牌桶;进而从节点令牌桶中获取与第一令牌数量差值对应的令牌添加至所述目标令牌桶;可以确保在不同场景下成功实现对发生虚拟机启动风暴的目标逻辑卷对应的目标令牌桶的令牌补充,可以提升对虚拟机启动风暴的成功应对概率,可以进一步提升存储节点的稳定性。
121.在本实施例的一个可选的实施方式中,在判断所述目标存储节点对应的节点令牌桶的当前令牌数量是否大于或者等于所述第一令牌数量差值之后,还可以包括:
122.若确定所述目标存储节点对应的节点令牌桶的当前令牌数量小于所述第一令牌数量差值,则计算得到所述目标存储节点对应的节点令牌桶的当前令牌数量与所述第一令牌数量差值之间的第二令牌数量差值;
123.获取各其他逻辑卷对应的其他令牌桶的剩余令牌数量,并根据所述各其他令牌桶的剩余令牌数量,从其他令牌桶中获取与所述第二令牌数量差值对应的令牌添加至所述目标存储节点对应的节点令牌桶;
124.从所述目标存储节点对应的节点令牌桶中获取与所述第一令牌数量差值对应的令牌添加至所述目标令牌桶。
125.在另一种情况下,若当前令牌数量小于该第一令牌数量差值,则仅凭节点令牌桶中的令牌无法实现对目标令牌桶所需令牌的全部补充。此时,可以进一步计算得到第一令牌数量差值与当前令牌数量之间的第二令牌数量差值,即节点令牌桶需要额外增加的令牌数量。
126.在本实施例中,节点令牌桶可以从各逻辑卷对应的令牌桶中回收令牌,因此,当节点令牌桶的当前令牌数量不够时,可以统计除目标令牌桶之外的各其他令牌桶的剩余令牌数量。之后,节点令牌桶可以根据各其他令牌桶的剩余令牌数量,从其他令牌桶中总共回收第二令牌数量差值的令牌。
127.可选的,节点令牌桶可以对每个其他令牌桶进行平均回收,即将第二令牌数量差值除以其他令牌桶的数量,以确定平均回收令牌数量,然后从每个其他令牌桶中回收平均回收令牌数量的令牌。或者,节点令牌桶可以从对应不同剩余令牌数量的其他令牌桶中回收不同比例的令牌;例如,对于剩余令牌数量较少的其他令牌桶,回收数量较少的令牌,对于剩余令牌数量较多的其他令牌桶,回收数量较多的令牌。
128.进一步的,节点令牌桶在从其他令牌桶中回收第二令牌数量差值的令牌之后,此时节点令牌桶中的令牌数量等于第一令牌数量差值,故节点令牌桶可以将第一令牌数量差值的令牌添加至目标令牌桶中。
129.在一个具体的例子中,节点令牌桶向目标令牌桶补充令牌的流程可以如图3b所示。具体的,当节点令牌桶接收到目标令牌桶的令牌超供请求时,可以对该令牌超供请求进
行解析,以获取目标令牌桶的第一令牌数量差值。之后,节点令牌桶可以判断自身的当前令牌数量是否大于或者等于该第一令牌数量差值,以判断节点令牌桶的令牌是否充足。若确定节点令牌桶的令牌不充足,则节点令牌桶可以对除目标令牌桶之外的其他令牌桶的令牌进行计算和重分配,以从其他令牌桶中回收足够的令牌补充给目标令牌桶。而若确定节点令牌桶的令牌足够,则可以直接向目标令牌桶提供超供令牌。
130.在本实施例的另一个可选的实施方式中,根据所述各其他令牌桶的剩余令牌数量,从其他令牌桶中获取与所述第二令牌数量差值对应的令牌添加至所述目标存储节点对应的节点令牌桶,可以包括:
131.根据所述各其他令牌桶的剩余令牌数量,计算得到各所述其他令牌桶对应的令牌回收权重;根据各所述其他令牌桶对应的令牌回收权重和所述第二令牌数量差值,获取各所述其他令牌桶对应的回收令牌数量;通过各所述其他令牌桶,分别向所述目标存储节点对应的节点令牌桶添加与各所述其他令牌桶对应的回收令牌数量匹配的令牌。
132.在本实施例中,节点令牌桶在从各其他令牌桶中回收令牌时,可以将每个其他令牌桶的剩余令牌数量与总剩余令牌数量(各剩余令牌数量之和)的比值,作为各其他令牌桶对应的令牌回收权重;之后,可以根据各令牌回收权重和该第二令牌数量差值,确定每个其他令牌桶对应的回收令牌数量。最终,按照每个其他令牌桶对应的回收令牌数量,从各其他令牌桶中进行令牌回收。
133.在一个具体的例子中,其他令牌桶包括lun2和lun3,其中,lun2的剩余令牌数量为4个,lun3的剩余令牌数量为6个,则总剩余令牌数量为10个。此时,lun2对应的令牌回收权重为4/10=0.4,同理,lun3对应的令牌回收权重为6/10=0.6。若第二令牌数量差值为5,则lun2对应的回收令牌数量为5
×
0.4=2,lun3对应的回收令牌数量为5
×
0.6=3。
134.在本实施例中,通过对多个逻辑卷对应的令牌桶的令牌进行重算重分,可以达到令牌借用和令牌轮转的效果,且可以避免为了应对目标逻辑卷的虚拟机启动风暴而造成存储节点发生超负载的情况。此外,通过上述令牌回收机制,可以平衡从各其他令牌桶中回收令牌的数量,从而可以平衡各逻辑卷在令牌回收后的服务质量,可以提升存储节点的稳定性。
135.在本实施例的一个具体的实施方式中,虚拟机启动风暴的处理方法的流程可以如图3c所示。具体的,以存储节点包括两个逻辑卷lun1和lun2为例。首先,可以通过burst i/o识别器,对各逻辑卷的业务请求队列进行实时检测和识别,以判断是否存在逻辑卷发生虚拟机启动风暴。当检测到目标逻辑卷lun2发生虚拟机启动风暴时,lun2的令牌桶将向节点令牌桶发送超供请求,以请求获取额外的令牌。节点令牌桶可以通过各逻辑卷的令牌桶的压力反馈,获取此时lun1的令牌桶的剩余令牌数量。之后,节点令牌桶可以基于lun1的令牌桶的剩余令牌数量和lun2的令牌桶请求的超供令牌数量进行令牌重算,以从lun1的令牌桶中回收足够的令牌补充至lun2的令牌桶。
136.此外,由于存储节点的存储服务质量恒定,故节点令牌桶每间隔一定时间可以生成固定数量的令牌,然后,节点令牌桶可以将生成的令牌平均或者按照预设比例分配给各逻辑卷的令牌桶,以实现对令牌的预分。
137.其中,目标逻辑卷的令牌超供流程可以如图3d所示。具体的,对于发生虚拟机启动风暴的目标逻辑卷的目标令牌桶,由节点令牌桶将预留的令牌补充至目标令牌桶。而对于
未发生虚拟机启动风暴的其他逻辑卷的其他令牌桶,在检测到节点令牌桶存在令牌不足时,从自身的剩余令牌中选择一定数量的令牌增补至节点令牌桶。
138.实施例四
139.图4为本发明实施例四提供的一种虚拟机启动风暴的处理装置的结构框图,该装置具体包括:所需令牌数量获取模块410、令牌数量判断模块420和令牌补充模块430;其中,
140.所需令牌数量获取模块410,用于获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴时,获取所述目标逻辑卷的业务请求队列对应的所需令牌数量;
141.令牌数量判断模块420,用于判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量;
142.令牌补充模块430,用于若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
143.本发明实施例提供的技术方案,通过获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据各逻辑卷的业务请求队列检测到存在目标逻辑卷发生虚拟机启动风暴时,获取目标逻辑卷的业务请求队列对应的所需令牌数量;若确定目标逻辑卷的业务请求队列对应的所需令牌数量大于目标逻辑卷对应的目标令牌桶的当前令牌数量,则计算得到所需令牌数量与目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向目标令牌桶补充与第一令牌数量差值对应的令牌;通过节点令牌桶对发生虚拟机启动风暴的逻辑卷对应的令牌桶进行令牌补充,可以在满足虚拟机启动风暴时对存储服务质量需求的同时,避免在虚拟机启动风暴结束后对存储资源的浪费。
144.可选的,在上述技术方案的基础上,所需令牌数量获取模块410,包括:
145.队列长度判断单元,用于获取各所述逻辑卷的业务请求队列的队列长度,并分别判断各所述逻辑卷的业务请求队列的队列长度是否大于预设队列长度阈值;
146.业务类型获取单元,用于若检测到所述各逻辑卷中存在至少一个异常逻辑卷的业务请求队列的队列长度大于预设队列长度阈值,则获取各所述异常逻辑卷的业务请求队列中各业务请求对应的业务类型;
147.业务请求数量判断单元,用于当检测到某一个异常逻辑卷的业务请求队列中存在至少一个业务请求对应的业务类型为虚拟机启动业务时,判断所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量是否大于或者等于预设业务请求数量阈值;
148.目标逻辑卷确定单元,用于若确定所检测异常逻辑卷的业务请求队列中对应的业务类型为虚拟机启动业务的业务请求的数量大于或者等于预设业务请求数量阈值,则将所检测异常逻辑卷确定为目标逻辑卷,并确定所述目标逻辑卷发生虚拟机启动风暴。
149.可选的,在上述技术方案的基础上,令牌补充模块430,包括:
150.令牌数量差值判断单元,用于判断所述目标存储节点对应的节点令牌桶的当前令牌数量是否大于或者等于所述第一令牌数量差值;
151.第一令牌添加单元,用于若确定所述目标存储节点对应的节点令牌桶的当前令牌数量大于或者等于所述第一令牌数量差值,则从所述目标存储节点对应的节点令牌桶中获
取与所述第一令牌数量差值对应的令牌添加至所述目标令牌桶。
152.可选的,在上述技术方案的基础上,令牌补充模块430,还包括:
153.令牌数量差值计算单元,用于若确定所述目标存储节点对应的节点令牌桶的当前令牌数量小于所述第一令牌数量差值,则计算得到所述目标存储节点对应的节点令牌桶的当前令牌数量与所述第一令牌数量差值之间的第二令牌数量差值;
154.第二令牌添加单元,用于获取各其他逻辑卷对应的其他令牌桶的剩余令牌数量,并根据所述各其他令牌桶的剩余令牌数量,从其他令牌桶中获取与所述第二令牌数量差值对应的令牌添加至所述目标存储节点对应的节点令牌桶;
155.第三令牌添加单元,用于从所述目标存储节点对应的节点令牌桶中获取与所述第一令牌数量差值对应的令牌添加至所述目标令牌桶。
156.可选的,在上述技术方案的基础上,第二令牌添加单元,包括:
157.令牌回收权重计算子单元,用于根据所述各其他令牌桶的剩余令牌数量,计算得到各所述其他令牌桶对应的令牌回收权重;
158.回收令牌数量获取子单元,用于根据各所述其他令牌桶对应的令牌回收权重和所述第二令牌数量差值,获取各所述其他令牌桶对应的回收令牌数量;
159.令牌添加子单元,用于通过各所述其他令牌桶,分别向所述目标存储节点对应的节点令牌桶添加与各所述其他令牌桶对应的回收令牌数量匹配的令牌。
160.可选的,在上述技术方案的基础上,所述虚拟机启动风暴的处理装置,还包括:
161.第一令牌添加模块,用于每间隔预设时间,生成预设数量的令牌添加至所述目标存储节点对应的节点令牌桶;
162.令牌数量计算模块,用于根据所述目标存储节点对应的逻辑卷的数量和所述预设数量,计算得到各所述逻辑卷对应的令牌数量;
163.第二令牌添加模块,用于通过所述目标存储节点对应的节点令牌桶,向各所述逻辑卷对应的令牌桶中添加各所述逻辑卷对应的令牌数量匹配的令牌。
164.可选的,在上述技术方案的基础上,所述虚拟机启动风暴的处理装置,还包括:
165.预设数量设置模块,用于获取所述目标存储节点对应的业务请求处理性能,并根据所述目标存储节点对应的业务请求处理性能设置所述预设数量。
166.本发明实施例所提供的虚拟机启动风暴的处理装置可执行本发明任意实施例所提供的虚拟机启动风暴的处理方法,具备执行方法相应的功能模块和有益效果。
167.实施例五
168.图5为本发明实施例五提供的一种电子设备的结构示意图,如图5所示,该电子设备包括处理器50、存储器51、输入装置52和输出装置53;电子设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;电子设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接,图5中以通过总线连接为例。
169.存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的虚拟机启动风暴的处理方法对应的程序指令/模块(例如,虚拟机启动风暴的处理装置中的所需令牌数量获取模块410、令牌数量判断模块420和令牌补充模块430)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的虚拟机启动风暴的处理方法,
即:
170.获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴时,获取所述目标逻辑卷的业务请求队列对应的所需令牌数量;
171.判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量;
172.若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
173.存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
174.输入装置52可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
175.实施例六
176.本发明实施例六还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述方法。当然,本发明实施例所提供的一种计算机可读存储介质,其可以执行本发明任意实施例所提供的一种虚拟机启动风暴的处理方法中的相关操作。也即,该程序被处理器执行时实现:
177.获取与目标存储节点对应的各逻辑卷的业务请求队列,并在根据所述各逻辑卷的业务请求队列检测到所述各逻辑卷中存在目标逻辑卷发生虚拟机启动风暴时,获取所述目标逻辑卷的业务请求队列对应的所需令牌数量;
178.判断所述目标逻辑卷的业务请求队列对应的所需令牌数量是否大于所述目标逻辑卷对应的目标令牌桶的当前令牌数量;
179.若是,则计算得到所述目标逻辑卷的业务请求队列对应的所需令牌数量与所述目标令牌桶的当前令牌数量之间的第一令牌数量差值,并通过目标存储节点对应的节点令牌桶向所述目标令牌桶补充与所述第一令牌数量差值对应的令牌。
180.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
181.值得注意的是,上述虚拟机启动风暴的处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功
能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
182.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献