一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种闪存数据存储处理方法及系统与流程

2023-01-02 21:05:35 来源:中国专利 TAG:


1.本发明涉及闪存技术领域,具体涉及一种闪存数据存储处理方法及系统。


背景技术:

2.闪存是一种数据存储、读取技术,其通过电路进行数据的写入、读取和擦除,目前已经广泛应用于电子设备、数据库、移动存储等领域中。
3.闪存内包括若干个块,块内包括若干个页,在进行数据写入存储的过程中,会按照一定的逻辑顺序将数据写入多个块内,并同时存储逻辑页地址、数据校验等信息。闪存中的块具有数据的擦除次数限制,在多次擦除后块由于块内的擦除阈值电压增大,导致块的擦除效率降低最终失效。
4.现有技术中部分闪存在写入存储数据时无法考虑各个块的擦除次数,导致部分块的使用寿命较短,使闪存的部分块多次擦除后不可用,因此存在着存储数据时无法考虑闪存内块的擦除次数、影响闪存存储器性能的技术问题。


技术实现要素:

5.本技术提供了一种闪存数据存储处理方法及系统,用于针对解决现有技术中部分闪存存储数据时无法考虑闪存内块的擦除次数、影响闪存存储器性能的技术问题。
6.鉴于上述问题,本技术提供了一种闪存数据存储处理方法及系统。
7.本技术的第一个方面,提供了一种闪存数据存储处理方法,所述方法包括:获取第一待存储数据;分析判断所述第一待存储数据为更新数据或普通数据,获得第一判断结果;根据所述第一判断结果,分析所述第一待存储数据的多维度数据信息,获得第一分析结果;若所述第一待存储数据为更新数据,则根据所述第一分析结果设置更新存储优化条件和多种更新存储方案,并对多种所述更新存储方案进行优化,获得最优更新存储方案;若所述第一待存储数据为普通数据,则根据所述第一分析结果则设置存储优化条件和多种存储方案,对多种所述存储方案进行优化,获得最优存储方案;采用所述最优更新存储方案或所述最优存储方案对所述第一待存储数据进行写入存储。
8.本技术的第二个方面,提供了一种闪存数据存储处理系统,所述系统包括:第一获得单元,用于获取第一待存储数据;第一判断单元,用于分析判断所述第一待存储数据为更新数据或普通数据,获得第一判断结果;第一处理单元,用于根据所述第一判断结果,分析所述第一待存储数据的多维度数据信息,获得第一分析结果;第二处理单元,用于若所述第一待存储数据为更新数据,则根据所述第一分析结果设置更新存储优化条件和多种更新存储方案,并对多种所述更新存储方案进行优化,获得最优更新存储方案;第三处理单元,用于若所述第一待存储数据为普通数据,则根据所述第一分析结果则设置存储优化条件和多种存储方案,对多种所述存储方案进行优化,获得最优存储方案;第一执行单元,用于采用所述最优更新存储方案或所述最优存储方案对所述第一待存储数据进行写入存储。
9.本技术的第三个方面,提供了一种电子设备,包括:处理器,所述处理器与存储器
耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使电子设备以执行如第一方面所述方法的步骤。
10.本技术的第四个方面,提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
11.本技术中提供的一个或多个技术方案,至少具有如下技术效果或优点:本技术实施例提供的技术方案通过在获得当前需要进行写入存储的待存储数据后,判断其为更新数据或为普通数据,并根据判断结果对待存储数据的多维度数据信息进行分析,获得分析结果,对于更新数据,根据分析结果设置更新存储优化条件和多种更新存储方案,进行多种更新存储方案的寻优优化,获得最优更新存储方案,对于普通数据,根据该分析结果设置存储优化条件和多种存储方案,对多种存储方案进行寻优优化,获得最优存储方案,采用该最优更新存储方案或最优存储方案进行待存储数据的写入存储。本技术实施例通过针对不同的存储数据类型,进行数据信息的分析,并设置不同的优化条件和存储方案进行优化,能够获得不同数据类型下的较优的存储方案,采用该存储方案进行数据存储时,能够考虑闪存存储器内各块的擦除次数,提升各块的擦除次数的均衡性,进而达到提升闪存存储器的使用寿命和使用性能的技术效果。
12.上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
附图说明
13.图1为本技术提供的一种闪存数据存储处理方法流程示意图;图2为本技术提供的一种闪存数据存储处理方法中获得第二子分析结果的流程示意图;图3为本技术提供的一种闪存数据存储处理方法中优化获得最优存储方案的流程示意图;图4为本技术提供了一种闪存数据存储处理系统结构示意图;图5为本技术示例性电子设备的结构示意图。
14.附图标记说明:第一获得单元11,第一判断单元12,第一处理单元13,第二处理单元14,第三处理单元15,第一执行单元16,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
15.本技术通过提供了一种闪存数据存储处理方法及系统,用于针对解决现有技术中部分闪存存储数据时无法考虑闪存内块的擦除次数、影响闪存存储器性能的技术问题。
16.针对上述技术问题,本技术提供的技术方案总体思路如下:本技术实施例提供的技术方案通过在获得当前需要进行写入存储的待存储数据后,判断其为更新数据或为普通数据,并根据判断结果对待存储数据的多维度数据信息进行分析,获得分析结果,对于更新数据,根据分析结果设置更新存储优化条件和多种更新存储方案,进行多种更新存储方案的寻优优化,获得最优更新存储方案,对于普通数据,根据
该分析结果设置存储优化条件和多种存储方案,对多种存储方案进行寻优优化,获得最优存储方案,采用该最优更新存储方案或最优存储方案进行待存储数据的写入存储。
17.在介绍了本技术基本原理后,下面,将参考附图对本技术中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术的一部分实施例,而不是本技术的全部实施例,应理解,本技术不受这里描述的示例实施例的限制。基于本技术的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本技术相关的部分而非全部。
18.实施例一如图1所示,本技术提供了一种闪存数据存储处理方法,所述方法包括:s100:获取第一待存储数据;具体地,第一待存储数据为需要基于闪存技术写入存储至当前的闪存存储器内的数据。其中,当前的闪存存储器可为固态硬盘、u盘等现有技术中任意的基于闪存存储技术的存储器。
19.可选的,第一待存储数据具体可为通过网络下载,并需要保存至闪存存储器内的数据,也可为本地进行传输,需要保存至闪存存储器内的数据等。
20.s200:分析判断所述第一待存储数据为更新数据或普通数据,获得第一判断结果;具体地,在获得当前需要进行写入存储的第一待存储数据后,需要判断第一待存储数据为更新数据或普通数据。其中,更新数据为当前的闪存存储器内存储有对应的原数据,需要进行原数据进行更新的数据,在存储更新数据的过程中,可基于异位更新对更新数据进行写入存储,并将对应的原数据设置为无效数据。
21.本技术实施例中,普通数据即为非更新数据,在当前的闪存存储器内未存储有原数据,对于普通数据的存储,基于闪存技术进行写入即可。
22.可选的,普通数据和更新数据的判断可基于现有技术进行实现,本技术实施例不对此做限定。示例性地,可通过数据封装的数据头信息进行判断分析第一待存储数据在闪存存储器内是否有对应的原数据,进而判断第一带存储数据为普通数据或更新数据。
23.s300:根据所述第一判断结果,分析所述第一待存储数据的多维度数据信息,获得第一分析结果;具体地,根据该第一判断结果,获知第一待存储数据为更新数据或普通数据,进一步分析第一待存储数据的多维度数据信息。示例性地,多维度数据信息包括第一待存储数据的来源、规模大小等信息,分析获得第一分析结果,基于该第一分析结果进行第一待存储数据的存储。
24.进一步地,在分析第一待存储数据的多维度数据信息时,对于更新数据和普通数据具有不同的分析内容。为保证闪存存储器使用过程中的性能,在进行数据写入存储和擦除的过程中需要保证各块的擦除次数均衡。
25.可选的,对于更新数据,默认其需要更新,并在下一次更新的过程中,当前更新数据即作为原数据,需要进行擦除。因此,在分析更新数据的多维度数据信息,仅分析数据来源及数据规模大小即可,在写入存储的过程中,根据数据规模大小写入相应数量的块中,且由于默认需要更新擦除,尽量写入存储在擦除次数较少的块中,以均衡全部块的擦除次数。
26.对于普通数据,除分析数据来源及数据规模大小以外,还需分析数据的擦除概率
和擦除时限,对于擦除概率较大、擦除时限较短的数据,应将其写入存储至擦除次数较少的块中,对于擦除概率较大、擦除时限较大的数据,应将其写入存储至擦除次数较多的块中,以均衡全部块的擦除次数,提升闪存存储器内块的使用寿命,提升存储器的性能。
27.具体分析普通数据的擦除概率和擦除时限,可基于普通数据的数据来源进行分析,可认为不同数据来源的普通数据的重要性不同,因此擦除概率和擦除时限也不同,如此,得到最终的第一分析结果。
28.s400:若所述第一待存储数据为更新数据,则根据所述第一分析结果设置更新存储优化条件和多种更新存储方案,并对多种所述更新存储方案进行优化,获得最优更新存储方案;本技术实施例中,若第一待存储数据为更新数据,则根据第一分析结果内第一待存储数据的数据规模大小,获取需要写入的块的数量。进一步地,获取当前闪存存储器内未写入数据的块,该未写入数据的块的数量大于第一待存储数据需要写入的块的数量,否则无法写入存储,如此,按照第一待存储数据需要写入的块的数量,对可写入的块进行随机的组合,即可获得多种更新存储方案。
29.进一步地,设置更新存储优化条件,默认第一待存储数据未来需要擦除,该更新存储优化条件具体为按照某一更新存储方案存储第一待存储数据后,全部块的擦除次数趋于均衡,存储第一待存储数据后全部块的擦除次数越均衡,则更新存储方案越优。如此,按照更新存储优化条件对多种更新存储方案进行寻优优化,获得最优更新存储方案。采用该最优更新存储方案进行第一待存储数据的写入存储,能够均衡各个块的擦除次数,提升闪存存储器的使用寿命。
30.具体寻优的过程中,可采用现有技术中的任意优化算法进行寻优优化,例如可采用遗传算法等优化算法,以更新存储优化条件作为种群的优化目的,进行寻优优化。
31.s500:若所述第一待存储数据为普通数据,则根据所述第一分析结果则设置存储优化条件和多种存储方案,对多种所述存储方案进行优化,获得最优存储方案;本技术实施例中,步骤s400和s500为择一进行,根据第一待存储数据的类型进行选择。若第一待存储数据为普通数据,则第一分析结果内包括第一待存储数据的擦除概率和擦除时限信息,以及数据规模大小信息和数据来源信息,同前述内容,根据数据规模大小信息获得需要写入的块的数量,并根据当前闪存存储器内可写入的块,随机组合获得多种存储方案。
32.进一步地,根据该第一待存储数据的擦除概率和擦除时限信息,设置存储优化条件,具体地,存储优化条件也为存储后使全部块的擦除次数均衡,此外,若第一待存储数据的擦除概率较大、擦除时限较短,则将第一待存储数据优先写入存储至擦除次数较少的块中,若第一待存储数据的擦除概率较小、擦除时限较长,则将第一待存储数据优先写入存储至擦除次数较多的块中,对存储优化条件进行进一步的限制,以使全部块的擦除次数均衡。
33.如此,根据该存储优化条件对多种存储方案进行寻优优化,获得最优存储方案。同样地,具体寻优优化的过程中可采用现有技术中任意的优化算法。
34.s600:采用所述最优更新存储方案或所述最优存储方案对所述第一待存储数据进行写入存储。
35.本技术实施例中,基于前述内容,若第一待存储数据为更新数据,则采用最优更新
存储方案将第一待存储数据进行写入存储。若第一待存储数据为普通数据,则采用最优存储方案对第一待存储数据进行存储。
36.本技术实施例通过针对不同的存储数据类型,进行数据信息的分析,并设置不同的优化条件和存储方案进行优化,能够获得不同数据类型下的较优的存储方案,采用该存储方案进行数据存储时,能够考虑闪存存储器内各块的擦除次数,提升各块的擦除次数的均衡性,进而达到提升闪存存储器的使用寿命和使用性能的技术效果。
37.本技术实施例提供的方法中的步骤s200包括:s210:获取所述第一待存储数据的数据信息;s220:根据所述数据信息,判断第一闪存存储器内是否存储有与所述数据信息相符的待更新数据;s230:若存在,则判断所述第一待存储数据为更新数据,或者,若不存在,则判断所述第一待存储数据为普通数据,获得所述第一判断结果。
38.具体地,获取第一待存储数据的数据信息,该数据信息包括第一待存储数据的数据类型、数据内容、数据表、数据头等信息。
39.第一闪存存储器即为当前采用本技术实施例提供方法进行数据存储处的存储器,可为现有技术中任意的基于闪存技术的存储器。
40.根据该数据信息,判断第一闪存存储器内是否存在与数据信息相符的待更新数据,即原数据,若存在,则第一待存储数据为更新数据,若不存在,则第一待存储数据为普通数据。
41.本技术实施例通过判断第一待存储数据的类型为更新数据或普通数据,获得判断结果,作为后续进行第一待存储数据分析等的数据基础,能够根据不同的闪存数据存储需求进行不同的存储方案制定和优化,提升闪存的使用效果。
42.本技术实施例提供的方法中的步骤s300包括:s310:分析所述第一待存储数据的数据来源信息,获得第一子分析结果;s320:若所述第一待存储数据为普通数据,根据所述第一子分析结果分析所述第一待存储数据的擦除概率和擦除时限,获得第二子分析结果;s330:分析所述第一待存储数据的数据规模信息,获得第三子分析结果;s340:若所述第一待存储数据为更新数据,则将所述第一子分析结果和所述第三子分析结果作为所述第一分析结果,或者,若所述第一待存储数据为普通数据,则将所述第一子分析结果、第二子分析结果和所述第三子分析结果作为所述第一分析结果。
43.本技术实施例中,分析第一待存储数据的多维度数据信息的过程中,首先分析第一待存储数据的数据来源信息,获知第一待存储数据的来源,例如来源于邮箱下载、社交软件下载、或本地上传等,得到第一子分析结果。分析第一待存储数据的数据来源信息的过程中,可基于现有技术中的方法进行分析获取。
44.若第一待存储数据为普通数据,则根据该第一子分析结果内的数据来源信息,进行第一待存储数据的擦除概率和擦除时限的分析,获得第二子分析结果。
45.如图2所示,其中,步骤s320包括:s321:基于大数据,采集获取历史内存储数据的历史来源信息集合和历史擦除信息集合,其中,所述历史擦除信息集合包括是否擦除信息集合和擦除时限信息集合;
s322:根据所述是否擦除信息集合,计算获得所述历史来源信息集合内各历史来源信息的所述存储数据的擦除概率,获得擦除概率信息集合;s323:根据所述擦除概率信息集合内的擦除概率信息,以及所述擦除时限信息集合内的擦除时限信息,构建归类坐标空间;s324:将所述历史来源信息集合内的各历史来源信息对应的所述历史擦除信息输入所述归类坐标空间,获得多个坐标点;s325:对多个坐标点进行聚类分析,获得多个聚类结果;s326:将所述第一子分析结果输入所述归类坐标空间,获得对应的所述聚类结果,并获得对应的擦除概率和擦除时限区间,作为所述第二子分析结果。
46.具体地,基于大数据,采集获取此前历史内第一闪存存储器所存储全部数据的历史来源信息集合和历史擦除信息集合,其中,历史擦除信息集合包括是否擦除信息集合和擦除时限信息集合。
47.其中,历史来源信息集合可基于数据来源分析获取全部历史存储数据的来源信息。是否擦除信息集合可根据全部历史存储数据的存储和擦除历史获得。擦除时限信息集合可根据全部擦除的历史存储数据的存储时间和擦除时间获得。
48.进一步地,将全部的历史存储数据按照历史来源信息集合内的历史来源信息进行分类,获得各历史来源信息的历史存储数据。然后,根据该是否擦除信息集合,获取各历史来源信息内历史存储数据中擦除的历史存储数据占全部历史存储数据的比例,获得各历史来源信息内的待存储数据的擦除概率,获得擦除概率信息集合,并根据擦除时限信息集合获取各历史来源信息内全部擦除的历史存储数据的擦除时限,获得各历史来源信息内擦除历史存储数据的擦除时限信息集合。
49.根据该擦除概率信息集合内的擦除概率信息,以及擦除时限信息集合内的擦除时限信息,构建归类坐标空间。示例性地,以擦除概率信息为横坐标,以擦除实现信息为纵坐标,构建二维坐标系,获得该归类坐标空间。
50.将历史来源信息集合内的各历史来源信息内历史存储数据对应的历史擦除信息输入该归类坐标空间,获得多个坐标点,每个历史来源信息内历史存储数据对应的历史擦除信息包括相同的擦除概率信息,以及不同的擦除时限信息,如此获得多个坐标点。
51.对多个坐标点进行聚类分析,具体地,计算两两坐标点之间的欧氏距离,将欧氏距离小于一定阈值的坐标点归类为同一类坐标点,完成聚类分析,获得多个聚类结果。每个聚类结果内包括一擦除概率信息和一定范围内的擦除时限信息,且对应一历史来源信息,如此可去除部分噪声擦除时限信息,获得各历史来源信息的数据的擦除概率信息和擦除时限信息范围。
52.进一步地,将当前第一子分析结果内第一待存储数据的数据来源信息输入该归类坐标空间,根据多个聚类结果内的历史来源信息,获得当前数据来源信息对应的聚类结果。进而根据对应的聚类结果,获取当前数据来源信息的待存储数据的擦除概率和擦除时间区间,作为第二子分析结果。
53.本技术实施例通过基于大数据采集历史内待存储数据的历史来源信息集合和历史擦除信息集合,分析各数据来源信息的数据的擦除概率和擦除时限信息,作为设置第一待存储数据存储方案的数据基础,进一步提升存储后各块擦除次数的均衡程度,并设置了
特定的、可视化的坐标空间聚类分析方法,能够在非监督的情况下根据数据来源信息分析当前第一待存储数据的擦除概率和擦除时限信息,且准确度较高。
54.进一步地,继续分析第一待存储数据的数据规模信息,具体即分析第一带存储数据的数据大小,获得第三子分析结果。
55.若第一待存储数据为更新数据,则将第一子分析结果和第三子分析结果作为上述的第一分析结果。以及,若第一待存储数据为普通数据,则将第一子分析结果、第二子分析结果所述和第三子分析结果作为所述第一分析结果。
56.本技术实施例通过基于不同的维度分析第一待存储数据的多维度数据信息,作为设置存储方案和优化的数据基础,能够提升存储方案设置的准确性,并提升优化的效率和精确度。
57.本技术实施例提供的方法中的步骤s400包括:s410:获取第一闪存存储器内可进行写入的块及块信息,获得可写入块信息集合,其中,所述块信息包括块的擦除信息;s420:根据所述第一分析结果和所述可写入块信息集合,设置多种所述更新存储方案;s430:根据所述块的擦除信息内的擦除次数,进行权重分配,获得第一权重分配结果;s440:根据所述可写入块信息集合和所述第一权重分配结果,设置所述更新存储优化条件;s450:根据所述更新存储优化条件在多种所述更新存储方案内进行寻优优化,获得所述最优更新存储方案。
58.具体地,获取当前第一闪存存储器内可进行写入的块及块信息,获得可写入块信息集合,该块信息可包括块的位置、块的擦除信息等,擦除信息包括擦除次数等。
59.根据该第一分析结果和内第一待存储数据的数据规模信息,以及该可写入块信息集合,根据需要写入的块的数量对可写入块进行随机的选择组合,设置多种更新存储方案。不同的存储方案中,可将第一待存储数据按照不同的顺序写入不同的块中。
60.根据可写入块信息集合内块的擦除信息内的擦除次数,进行权重分配,获得第一权重分配结果。具体分配的过程中,对于擦除次数较大的块,分配权重值较小,对于擦除次数较大的块,分配权重值较大,分配权重的方法可基于现有技术中任意的权重分配方法进行,例如ahp层次分析法、g1权重法等。如此,获得第一权重分配结果。
61.根据该可写入块信息集合和第一权重分配结果,采用第一权重分配结果对各个块进行加权,在优化存储方案的过程中,根据存储方案中写入存储的块,计算写入存储并默认擦除各块的擦除次数的均衡性,并进行加权调整,作为更新存储优化条件,若加权调整后各块的擦除次数的均衡性越大,则存储方案的优化效果越好。
62.示例性地,计算写入存储并默认擦除各块的擦除次数的均衡性的过程中,可基于第一权重分配结果对各块实际的擦除次数进行加权调整,然后计算各块的加权后打的擦除次数的方差,计算获得各块的擦除次数的均衡性。
63.进一步地,根据该更新存储优化条件在多种更新存储方案内进行寻优优化,获得上述的最优更新存储方案。
64.示例性地,在多种更新存储方案内进行寻优优化,基于模拟退火算法思想进行寻优优化,以更新存储优化条件作为评价更新存储方案优化效果的标准,完成优化,获得上述的最优更新存储方案。
65.本技术实施例提供的方法中的步骤s500包括:s510:获取第一闪存存储器内可进行写入的块及块信息,获得可写入块信息集合,其中,所述块信息包括块的擦除信息;s520:根据所述第一分析结果和所述可写入块信息集合,设置多种所述存储方案;s530:根据所述擦除信息内块的擦除次数,进行权重分配,获得第一权重分配结果;s540:根据所述第一分析结果内的所述擦除概率和擦除时限,对多种所述存储方案进行约束;s550:根据所述第一分析结果和所述第一权重分配结果,设置所述存储优化条件;s560:根据所述存储优化条件在约束后的多种所述存储方案内进行寻优优化,获得所述最优存储方案。
66.本技术实施例中,获取第一闪存存储器内可进行写入的块及块信息,获得可写入块信息集合,其中,所述块信息包括可写入块的擦除信息以及块的位置等,块的擦除信息包括块的擦除次数等。
67.根据所述第一分析结果内第一待存储数据的数据规模信息,以及该可写入块信息集合内多个可写入的块,根据第一待存储数据的大小对可写入的块进行随机选择组合,设置多种存储方案。
68.同样地,基于前述内容,根据擦除信息内可写入块的擦除次数,进行权重分配,获得第一权重分配结果。
69.根据第一分析结果内的擦除概率和擦除时限,对多种存储方案进行约束,具体约束的过程中,若第一分析结果内第一待存储数据的擦除概率较大,擦除时限较短,则需要优先写入擦除次数较少的块中,则将包含写入了擦除次数较多的块中的存储方案进行约束去除,不作为优化的存储方案范围之内。以及,若第一分析结果内第一待存储数据的擦除概率较小,擦除时限较长,则需要优先写入擦除次数较多的块中,持续较长的时间不进行擦除,则将包含写入了擦除次数较少的块中的存储方案进行约束去除,不作为优化的存储方案范围之内。具体约束的程度,根据第一分析结果内的擦除概率大小水平以及擦除时限长短设置,且约束的存储方案内的块根据第一闪存存储器内全部块的擦除次数的水平确定。
70.同前述内容,根据第一分析结果和第一权重分配结果,设置存储优化条件。存储优化条件中,计算按照某一存储方案将第一待存储数据存储后默认擦除后各块的擦除次数的均衡性,并在计算过程中按照第一权重分配结果进行加权计算,构建获得该存储优化条件。
71.按照该存储优化条件在约束后的多种存储方案内进行寻优优化,本技术实施例中,基于模拟退火算法的思想进行寻优优化,获得最优存储方案。具体地,步骤s560包括:s561:在约束后的多种所述存储方案内随机选择一种存储方案,作为第一存储方案,并作为历史最优解;s562:根据所述存储优化条件,计算所述第一存储方案的优化存储效果;s563:在约束后的多种所述存储方案内再次随机选择一种存储方案,作为第二存
储方案;s564:根据所述存储优化条件,计算所述第二存储方案的优化存储效果;s565:判断所述第二存储方案的优化存储效果和所述第一存储方案的优化存储效果是否满足预设条件,若满足,将所述第二存储方案作为所述历史最优解;s566:进行多次迭代寻优,若所述历史最优解满足预设优化条件,则将所述历史最优解作为所述最优存储方案。
72.具体地,在约束后的存储方案内随机选择一种存储方案,作为第一存储方案,且由于当前仅寻优获得了第一存储方案,并将其作为历史最优解。
73.基于前述的存储优化条件,计算所述第一存储方案的存储效果。具体地,基于第一权重分配结果对第一闪存存储器内各块的擦除次数进行加权计算,然后在第一存储方案中写入的块内默认第一待存储数据未来需要擦除,,将写入的块的擦除次数加1,然后计算第一闪存存储器内各块的擦除次数的均衡性,示例性地,可计算方差,获得第一存储方案的优化存储效果。通过基于加权的存储优化条件,可使擦除次数更少的块的均衡性在评价存储方案优化存储效果的过程中的占比更大,更为准确。
74.继续在约束后的多种存储方案内再次随机选择一种存储方案,作为第二存储方案,并根据存储优化条件计算基于第二存储方案进行存储的优化存储效果。
75.判断第二存储方案的优化存储效果和第一存储方案的优化存储效果是否满足预设条件,若满足,将第二存储方案作为所述历史最优解。
76.该预设条件包括:若第二存储方案的优化存储效果优于第一存储方案的优化存储效果,则将第二存储方案替代第一存储方案作为历史最优解。以及,若第二存储方案的优化存储效果劣于第一存储方案的优化存储效果,则按照概率将所述第二存储方案作为历史最优解,概率如下式:其中,为第二存储方案的优化存储效果,为第一存储方案的优化存储效果,k为优化速度因子。
77.k为随着寻优迭代次数逐渐减小的常数,在寻优优化的初期,k较大,第一存储方案大概率并非为最优的存储方案,可能为局部最优,为避免优化进程停滞在第一存储方案处,k较大,以使p较大,以较大概率接受较劣的第二存储方案为最优解,以提升优化速率,快速迭代优化。而在优化的后期,当前的历史最优解大概率可能为全局最优的存储方案,为提升寻优优化的准确性,k较小,以使p较小,以较小概率接受较劣的存储方案为历史最优解,提升优化准确度。
78.可选的,k的减小方式可为指数减小或对数减小等现有技术中任意的减小方式,且k值的大小以及减小方式可根据约束后的存储方案的数量进行设置。
79.如此,继续进行第三存储方案及后续的迭代寻优优化,直到当前的历史最优解满足预设优化条件,则将历史最优解作为最优存储方案。
80.示例性地,该预设优化条件可为,历史最优解在阈值次数的迭代中未发生变化,则该历史最优解内的存储方案的优化存储效果极佳,存储后各块的擦除次数的均衡性最高,且处于迭代优化的后期,p值较小,难以接受较劣的存储作为历史最优解,如此,获得上述的
最优存储方案。
81.本技术实施例通过设置存储优化条件,并根据第一分析结果内的擦除概率和擦除时限,对多种存储方案进行约束,在多种存储方案中进行全局的寻优优化,能够获得当前存储第一待存储数据的最优存储方案,保证存储后各块的擦除次数尽量趋于均衡,提升闪存存储器的使用寿命。
82.本技术实施例中,步骤s450中的寻优优化过程与步骤s550中类似,但无需对多种更新存储方案进行优化,且根据更新存储优化条件进行优化,优化速度因子以及减小方式也需根据更新存储方案的数量进行设置,具体的寻优过程不再赘述。
83.综上所述,本技术实施例通过针对不同的存储数据类型,进行数据信息的分析,分析数据的规模、来源、擦除概率和擦除时限等,设置了特定的分析方法,提升数据分析的准确性和效率,且无需监督,并设置不同的优化条件和存储方案进行寻优优化,设置特定的优化方案,提升寻优优化的效率和准确率,能够获得不同数据类型下的较优的存储方案,采用该存储方案进行数据存储时,能够考虑闪存存储器内各块的擦除次数,提升各块的擦除次数的均衡性,进而达到提升闪存存储器的使用寿命和使用性能的技术效果。
84.实施例二基于与前述实施例中一种闪存数据存储处理方法相同的发明构思,如图4所示,本技术提供了一种闪存数据存储处理系统,其中,所述系统包括:第一获得单元11,用于获取第一待存储数据;第一判断单元12,用于分析判断所述第一待存储数据为更新数据或普通数据,获得第一判断结果;第一处理单元13,用于根据所述第一判断结果,分析所述第一待存储数据的多维度数据信息,获得第一分析结果;第二处理单元14,用于若所述第一待存储数据为更新数据,则根据所述第一分析结果设置更新存储优化条件和多种更新存储方案,并对多种所述更新存储方案进行优化,获得最优更新存储方案;第三处理单元15,用于若所述第一待存储数据为普通数据,则根据所述第一分析结果则设置存储优化条件和多种存储方案,对多种所述存储方案进行优化,获得最优存储方案;第一执行单元16,用于采用所述最优更新存储方案或所述最优存储方案对所述第一待存储数据进行写入存储。
85.进一步的,所述系统还包括:第二获得单元,用于获取所述第一待存储数据的数据信息;第二判断单元,用于根据所述数据信息,判断第一闪存存储器内是否存储有与所述数据信息相符的待更新数据;第三获得单元,用于若存在,则判断所述第一待存储数据为更新数据,或者,若不存在,则判断所述第一待存储数据为普通数据,获得所述第一判断结果。
86.进一步的,所述系统还包括:第四处理单元,用于分析所述第一待存储数据的数据来源信息,获得第一子分析结果;
第五处理单元,用于若所述第一待存储数据为普通数据,根据所述第一子分析结果分析所述第一待存储数据的擦除概率和擦除时限,获得第二子分析结果;第六处理单元,用于分析所述第一待存储数据的数据规模信息,获得第三子分析结果;第七处理单元,用于若所述第一待存储数据为更新数据,则将所述第一子分析结果和所述第三子分析结果作为所述第一分析结果,或者,若所述第一待存储数据为普通数据,则将所述第一子分析结果、第二子分析结果和所述第三子分析结果作为所述第一分析结果。
87.进一步的,所述系统还包括:第四获得单元,用于基于大数据,采集获取历史内存储数据的历史来源信息集合和历史擦除信息集合,其中,所述历史擦除信息集合包括是否擦除信息集合和擦除时限信息集合;第八处理单元,用于根据所述是否擦除信息集合,计算获得所述历史来源信息集合内各历史来源信息的所述存储数据的擦除概率,获得擦除概率信息集合;第一构建单元,用于根据所述擦除概率信息集合内的擦除概率信息,以及所述擦除时限信息集合内的擦除时限信息,构建归类坐标空间;第五获得单元,用于将所述历史来源信息集合内的各历史来源信息对应的所述历史擦除信息输入所述归类坐标空间,获得多个坐标点;第九处理单元,用于对多个坐标点进行聚类分析,获得多个聚类结果;第十处理单元,用于将所述第一子分析结果输入所述归类坐标空间,获得对应的所述聚类结果,并获得对应的擦除概率和擦除时限区间,作为所述第二子分析结果。
88.进一步的,所述系统还包括:第六获得单元,用于获取第一闪存存储器内可进行写入的块及块信息,获得可写入块信息集合,其中,所述块信息包括块的擦除信息;第十一处理单元,用于根据所述第一分析结果和所述可写入块信息集合,设置多种所述更新存储方案;第十二处理单元,用于根据所述块的擦除信息内的擦除次数,进行权重分配,获得第一权重分配结果;第十三处理单元,用于根据所述可写入块信息集合和所述第一权重分配结果,设置所述更新存储优化条件;第十四处理单元,用于根据所述更新存储优化条件在多种所述更新存储方案内进行寻优优化,获得所述最优更新存储方案。
89.进一步的,所述系统还包括:第七获得单元,用于获取第一闪存存储器内可进行写入的块及块信息,获得可写入块信息集合,其中,所述块信息包括块的擦除信息;第十五处理单元,用于根据所述第一分析结果和所述可写入块信息集合,设置多种所述存储方案;第十六处理单元,用于根据所述擦除信息内块的擦除次数,进行权重分配,获得第一权重分配结果;
第十七处理单元,用于根据所述第一分析结果内的所述擦除概率和擦除时限,对多种所述存储方案进行约束;第十八处理单元,用于根据所述第一分析结果和所述第一权重分配结果,设置所述存储优化条件;第十九处理单元,用于根据所述存储优化条件在约束后的多种所述存储方案内进行寻优优化,获得所述最优存储方案。
90.进一步的,所述系统还包括:第八获得单元,用于在约束后的多种所述存储方案内随机选择一种存储方案,作为第一存储方案,并作为历史最优解;第二十处理单元,用于根据所述存储优化条件,计算所述第一存储方案的优化存储效果;第九获得单元,用于在约束后的多种所述存储方案内再次随机选择一种存储方案,作为第二存储方案;第二十一处理单元,用于根据所述存储优化条件,计算所述第二存储方案的优化存储效果;第三判断单元,用于判断所述第二存储方案的优化存储效果和所述第一存储方案的优化存储效果是否满足预设条件,若满足,将所述第二存储方案作为所述历史最优解;第二十二处理单元,用于进行多次迭代寻优,若所述历史最优解满足预设优化条件,则将所述历史最优解作为所述最优存储方案。
91.实施例三基于与前述实施例中一种闪存数据存储处理方法相同的发明构思,本技术还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如实施例一内的方法。
92.示例性电子设备下面参考图5来描述本技术的电子设备,基于与前述实施例中一种闪存数据存储处理方法相同的发明构思,本技术还提供了一种电子设备,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得电子设备以执行实施例一所述方法的步骤。
93.该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
94.处理器302可以是一个cpu,微处理器,asic,或一个或多个用于控制本技术方案程序执行的集成电路。
95.通信接口303,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,ran),无线局域网(wireless local area networks,wlan),有线接入网等。
96.存储器301可以是rom或可存储静态信息和指令的其他类型的静态存储设备,ram或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,eeprom)、只读光盘(compact discread-only memory,cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
97.其中,存储器301用于存储执行本技术方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本技术上述实施例提供的一种闪存数据存储处理方法。
98.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solid state disk,ssd))等。
99.尽管结合具体特征及其实施例对本技术进行了描述,显而易见的,在不脱离本技术的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是本技术的示例性说明,且视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样,倘若本技术的这些修改和变型属于本技术及其等同技术的范围之内,则本技术意图包括这些改动和变型在内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献