一种超融合系统及基于超融合系统的数据处理方法与流程

1.本发明涉及计算机技术领域，具体为一种超融合系统及基于超融合系统的数据处理方法。


背景技术：

2.超融合存储系统是一种面向对象的分布式存储系统，采取ssd hdd的混合存储方式，将所有物理服务器上的硬盘组成一个存储资源池，其中所有机械硬盘组成存储容量层，ssd闪存盘组成存储性能层，两者一起构建了分层持久存储。
3.现有的超融合存储系统采用的方式为将访问频度高的热数据，提升到ssd存储设备上，将访问频度低的冷数据，沉至hdd存储设备上，从而有效的提高用户的数据访问效率，提高超融合产品的性能。
4.但现有的超融合存储系统在轮换冷数据与热数据时，由于轮换周期长，不能很好的利用热数据存储单元的容量，数据长时间不轮换会导致用户搜索效率降低，且用户搜索数据也具有时段性，即在不同时段一部分相同的数据搜索频率会不同，导致数据处理效率低。


技术实现要素：

5.基于此，本发明的目的是提供一种超融合系统及基于超融合系统的数据处理方法，以解决但现有的超融合存储系统由于轮换周期长，不能很好的利用热数据存储单元的容量，数据处理效率低的技术问题。
6.为实现上述目的，本发明提供如下技术方案：一种超融合系统,包括冷数据存储单元、轮换单元、记录单元、数据输出单元，所述记录单元分别连接两组不同的第一记录存储单元和第二记录存储单元，所述轮换单元分别连接两组不同的第一热数据存储单元和第二热数据存储单元，所述第二热数据存储单元通过轮换单元连接筛分单元，所述筛分单元连接有筛分存储单元，所述筛分存储单元连接第一记录存储单元。
7.通过采用上述技术方案，设置另一组热数据存储单元，通过缩短另一组热数据存储单元的轮换周期，保证了系统能够更快且更高效的轮换热数据与冷数据，根据用户在不同时段搜索不同数据频率不同的特性，提高了数据调出的速度和效率，避免了相同的数据占用热数据存储单元的情况，提高了热数据存储单元的存储效率。
8.本发明进一步设置为，所述冷数据存储单元、第一热数据存储单元、第二热数据存储单元皆与轮换单元双向连接。
9.通过采用上述技术方案，保证冷数据存储单元、第一热数据存储单元、第二热数据存储单元能够受轮换单元控制轮换内部的数据。
10.本发明进一步设置为，所述所述冷数据存储单元、第一热数据存储单元、第二热数据存储单元皆连接有记录单元，所述记录单元连接有数据输出单元。
11.通过采用上述技术方案，通过记录单元记录所有数据的被搜索次数。
12.本发明进一步设置为，所述第一记录存储单元直接连接轮换单元，且还连接有筛分存储单元。
13.通过采用上述技术方案，第一记录存储单元为轮换单元提供轮换第一热数据存储单元和冷数据存储单元的轮换数据信息，同时为筛分存储单元提供比对数据，供筛分单元比对。
14.本发明进一步设置为，所述第二记录存储单元连接筛分单元，所述筛分单元连接有轮换单元。
15.通过采用上述技术方案，筛分单元筛分过第二记录存储单元与筛分存储单元内的数据后，将轮换数据信息发送给轮换单元。
16.本发明进一步设置为，所述筛分单元与筛分存储单元双向连接。
17.通过采用上述技术方案，保证筛分单元能够比对第一记录存储单元输入的数据与第二存储记录单元输入的数据，筛除相同的数据后输出正确的轮换数据。
18.本发明还提出了一种基于超融合系统的数据处理方法，包括以下步骤：步骤一：分别设定第一记录存储单元和第二记录存储单元的数据输出周期，记第一记录存储单元的记录输出输出周期为第一周期，记第二记录存储单元的记录输出周期为第二周期，第一周期的时长大于第二周期，根据以往数据输出记录将冷数据存入冷数据存储单元，将热数据存储进入第一热数据存储单元步骤二：在首个第一周期内，数据输出单元输出冷数据存储单元和第一热数据存储单元内的数据，第一记录存储单元和第二记录存储单元记录数据通过记录单元的次数；步骤三：在首个第一周期结束后，第一记录存储单元将存储的数据按照热度排名后输送给轮换单元和筛分存储单元，轮换单元轮换冷数据存储单元和第一热数据存储单元内的数据；步骤四：在下一个第一周期开始后，经过一个第二周期，第二记录存储单元将存储的数据传输给筛分单元，筛分单元根据筛分存储单元内存储的第一热数据存储单元内的数据，筛分去除与第一热数据存储单元内相同的数据，将记录按照热度排名后输送至轮换单元，轮换单元轮换冷数据存储单元和第二热数据存储单元内的数据。
19.综上所述，本发明主要具有以下有益效果：1、本发明通过设置另一组热数据存储单元，通过缩短另一组热数据存储单元的轮换周期，保证了系统能够更快且更高效的轮换热数据与冷数据；2、本发明通过根据用户在不同时段搜索不同数据频率不同的特性，很好的将一部分在特定时段内被高频搜索的冷数据轮换进入热数据存储单元内，提高了数据调出的速度和效率；3、本发明通过筛分单元筛分第二记录存储单元的数据，防止两组热数据存储单元内存储重复的数据，避免了相同的数据占用热数据存储单元的情况，提高了热数据存储单元的存储效率。
附图说明
20.图1为本发明的系统图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
22.下面根据本发明的整体结构，对其实施例进行说明。
23.实施例一：如图1所示，记录单元分别连接两组不同的第一记录存储单元和第二记录存储单元，轮换单元分别连接两组不同的第一热数据存储单元和第二热数据存储单元，第二热数据存储单元通过轮换单元连接筛分单元，筛分单元连接有筛分存储单元，筛分存储单元连接第一记录存储单元，为了保证冷数据存储单元、第一热数据存储单元、第二热数据存储单元能够受轮换单元控制轮换内部的数据，第一记录存储单元直接连接轮换单元，且还连接有筛分存储单元，第一记录存储单元为轮换单元提供轮换第一热数据存储单元和冷数据存储单元的轮换数据信息，同时为筛分存储单元提供比对数据，供筛分单元比对，冷数据存储单元、第一热数据存储单元、第二热数据存储单元皆与轮换单元双向连接，冷数据存储单元、第一热数据存储单元、第二热数据存储单元皆连接有记录单元，记录单元连接有数据输出单元，通过记录单元记录所有数据的被搜索次数，第二记录存储单元连接筛分单元，筛分单元连接有轮换单元，筛分单元筛分过第二记录存储单元与筛分存储单元内的数据后，将轮换数据信息发送给轮换单元，为了保证筛分单元能够比对第一记录存储单元输入的数据与第二存储记录单元输入的数据，筛除相同的数据后输出正确的轮换数据，筛分单元与筛分存储单元双向连接。
24.实施例二：分别设定第一记录存储单元和第二记录存储单元的数据输出周期，记第一记录存储单元的记录输出输出周期为第一周期，记第二记录存储单元的记录输出周期为第二周期，第一周期的时长大于第二周期，根据以往数据输出记录将冷数据存入冷数据存储单元，将热数据存储进入第一热数据存储单元，在首个第一周期内，数据输出单元输出冷数据存储单元和第一热数据存储单元内的数据，第一记录存储单元和第二记录存储单元记录数据通过记录单元的次数，在首个第一周期结束后，第一记录存储单元将存储的数据按照热度排名后输送给轮换单元和筛分存储单元，轮换单元轮换冷数据存储单元和第一热数据存储单元内的数据，轮换单元能够根据第一记录存储单元存储的数据轮换冷数据存储单元、第二热数据存储单元与第一热数据存储单元内的数据，在首个第一周期内，筛分单元由于没有筛分存储单元内的比对数据，无法向轮换单元内输送需要轮换的数据信息，第一周期为12h,第二周期为1h，在下一个第一周期开始后，经过一个第二周期，第二记录存储单元将存储的数据传输给筛分单元，筛分单元根据筛分存储单元内存储的第一热数据存储单元内的数据，筛分去除与第一热数据存储单元内相同的数据，将记录按照热度排名后输送至轮换单元，轮换单元轮换冷数据存储单元和第二热数据存储单元内的数据。
25.实施例三：分别设定第一记录存储单元和第二记录存储单元的数据输出周期，记第一记录存储单元的记录输出输出周期为第一周期，记第二记录存储单元的记录输出周期为第二周期，第一周期的时长大于第二周期，根据以往数据输出记录将冷数据存入冷数据存储单元，
将热数据存储进入第一热数据存储单元，在首个第一周期内，数据输出单元输出冷数据存储单元和第一热数据存储单元内的数据，第一记录存储单元和第二记录存储单元记录数据通过记录单元的次数，在首个第一周期结束后，第一记录存储单元将存储的数据按照热度排名后输送给轮换单元和筛分存储单元，轮换单元轮换冷数据存储单元和第一热数据存储单元内的数据，轮换单元能够根据第一记录存储单元存储的数据轮换冷数据存储单元、第二热数据存储单元与第一热数据存储单元内的数据，在首个第一周期内，筛分单元由于没有筛分存储单元内的比对数据，无法向轮换单元内输送需要轮换的数据信息，第一周期为18h,第二周期为1.5h，在下一个第一周期开始后，经过一个第二周期，第二记录存储单元将存储的数据传输给筛分单元，筛分单元根据筛分存储单元内存储的第一热数据存储单元内的数据，筛分去除与第一热数据存储单元内相同的数据，将记录按照热度排名后输送至轮换单元，轮换单元轮换冷数据存储单元和第二热数据存储单元内的数据。
26.实施例四：分别设定第一记录存储单元和第二记录存储单元的数据输出周期，记第一记录存储单元的记录输出输出周期为第一周期，记第二记录存储单元的记录输出周期为第二周期，第一周期的时长大于第二周期，根据以往数据输出记录将冷数据存入冷数据存储单元，将热数据存储进入第一热数据存储单元，在首个第一周期内，数据输出单元输出冷数据存储单元和第一热数据存储单元内的数据，第一记录存储单元和第二记录存储单元记录数据通过记录单元的次数，在首个第一周期结束后，第一记录存储单元将存储的数据按照热度排名后输送给轮换单元和筛分存储单元，轮换单元轮换冷数据存储单元和第一热数据存储单元内的数据，轮换单元能够根据第一记录存储单元存储的数据轮换冷数据存储单元、第二热数据存储单元与第一热数据存储单元内的数据，在首个第一周期内，筛分单元由于没有筛分存储单元内的比对数据，无法向轮换单元内输送需要轮换的数据信息，第一周期为24h,第二周期为2h，在下一个第一周期开始后，经过一个第二周期，第二记录存储单元将存储的数据传输给筛分单元，筛分单元根据筛分存储单元内存储的第一热数据存储单元内的数据，筛分去除与第一热数据存储单元内相同的数据，将记录按照热度排名后输送至轮换单元，轮换单元轮换冷数据存储单元和第二热数据存储单元内的数据。
27.尽管已经示出和描述了本发明的实施例，但本具体实施例仅仅是对本发明的解释，其并不是对发明的限制，描述的具体特征、结构、材料或者特点可以在任何一个或多个实施例或示例中以合适的方式结合，本领域技术人员在阅读完本说明书后可在不脱离本发明的原理和宗旨的情况下，可以根据需要对实施例做出没有创造性贡献的修改、替换和变型等，但只要在本发明的权利要求范围内都受到专利法的保护。