一种高效环保智能样本研发系统的数据快速读取方法与流程

1.本发明涉及数据压缩读取技术领域，具体涉及一种高效环保智能样本研发系统的数据快速读取方法。


背景技术：

2.对于单片机等数据处理装置，其整体的运行速度不仅仅受内部处理器的数据处理频率的影响，还会受到程序存储器的数据读取速率影响，因此在数据量较大的情况下，在数据读取时往往会读取到一些无意义的冗余数据，从而导致数据读取的效率较低，现有对正常数据的读取时，存在正常数据获取不够精准以及读取顺序随机的问题，不存在先后顺序的对正常数据进行读取，毫无疑问的会影响到数据处理的效率，因此获取精确的正常数据以及按照顺序对正常数据进行高效处理具有重要意义。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于提供一种高效环保智能样本研发系统的数据快速读取方法，该方法包括以下步骤：采集高效环保智能样本研发系统的多种类型的数据；对每个类型的所述数据赋予不同的重要程度，所有类型的所述数据的重要程度累加为1；以任意一种类型的所述数据为目标数据，获取所述目标数据中每个元素在所述目标序列中出现的频率，以所述目标数据中任意元素为目标元素，获取所述目标元素的邻近元素，基于所有的邻近元素获取所述目标元素的平稳性，根据所述目标元素与其邻近元素的平稳性得到所述目标元素的平稳性变化幅度；获取所述目标元素在其他数据中的对应元素，判断所述目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度；根据所述目标元素对应的所述置信度、所述平稳性以及在目标数据中出现的频率得到所述目标元素为正常数据点的概率，根据每个所述目标元素的概率得到正常数据点，基于所述正常数据点的概率以及所述正常数据点所在类型的重要程度得到正常数据点的优先级，对所有所述正常数据点的优先级进行归一化以构建霍夫曼表；基于所述霍夫曼表进行数据读取。
4.优选的，所述获取所述目标元素的邻近元素的步骤，包括：获取所述目标元素在目标数据中的前l个相邻元素与后l个相邻元素，l为正整数，将2l个相邻元素作为所述目标元素的邻近元素。
5.优选的，所述基于所有的邻近元素获取所述目标元素的平稳性的步骤，包括：以所述目标元素和其对应的邻近元素按照时序顺序构成局部序列，计算所述局部序列中每两个相邻元素之间的差值，获取局部序列中所有差值的和；获取局部序列中最后第一元素与第一个元素的时间差，以差值的和与所述时间差
的比值作为所述目标元素的平稳性。
6.优选的，所述根据所述目标元素与其邻近元素的平稳性得到所述目标元素的平稳性变化幅度的步骤，包括：获取局部序列中所述目标元素与其相邻的下一个邻近元素之间平稳性的差值，选取所述目标元素与其相邻的下一个邻近元素之间平稳性的最大值，以平稳性的差值与平稳性的最大值的比值为所述目标元素的平稳性变化幅度。
7.优选的，所述判断所述目标元素与对应元素是否为初步关联数据的步骤，包括：判断所述目标元素的符号与对应元素的平稳性的符号是否一致，所述符号是指数值的正号或者负号；若所述目标元素的符号与对应元素的平稳性的符号一致，计算所述目标元素与对应元素之间的平稳性的差值的绝对值，当差值的绝对值大于预设的差异阈值时，所述目标元素与对应元素为初步关联数据；若所述目标元素的符号与对应元素的平稳性的符号不一致，选取所述目标元素与对应元素之间的平稳性的最小值，当所述最小值大于预设的阈值时，所述目标元素与对应元素为初步关联数据。
8.优选的，所述根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度的步骤，包括：获取对应元素的邻近元素构成第二局部序列；计算所述局部序列与所述第二局部序列中对应位置元素之间平稳性变化幅值的差值，以每个对应位置元素之间平稳性变化幅值的差值的负数作为幂指数，以自然常数e作为底数构建指数函数；获取所有对应位置元素的指数函数的求和结果，所述求和结果与2l的比值为所述置信度。
9.优选的，所述目标元素为正常数据点的概率的计算方法为：其中，表示概率；表示归一化后的平稳性变化幅度的绝对值；表示调节因子；表示目标元素与第j个初步关联数据的对应元素之间的置信度；表示目标元素对应的初步关联数据的数量；表示所有数据的类型的数量；表示目标元素对应的频率。
10.本发明具有如下有益效果：通过对每种类型的数据分配重要程度进行不同的分析，然后对每种类型数据的单个数据进行分析，获取单个元素的平稳性并基于单个元素对应的邻近元素的平稳性获取每个元素的平稳性变化幅度，对数据的分析更加全面可靠；进一步对每个元素在其他类型的数据中的对应元素进行分析，得到实际关联数据，并得到每个元素与其实际关联数据的对应元素之间的置信度，结合平稳性、以及元素在数据中出现的频率得到为正常数据点的概率，从而判断出数据中所有的正常数据点，使得正常数据点的识别更加准确且后续根据正常数据点构建霍夫曼表进行压缩时更加具有针对性，对霍夫曼表的压缩后的数据进行读取，提高了数据读取速度的同时也提高了数据处理的效率。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
12.图1为本发明一个实施例所提供的一种高效环保智能样本研发系统的数据快速读取方法流程图。
具体实施方式
13.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种高效环保智能样本研发系统的数据快速读取方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
14.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
15.下面结合附图具体的说明本发明所提供的一种高效环保智能样本研发系统的数据快速读取方法的具体方案。
16.请参阅图1，其示出了本发明一个实施例提供的一种高效环保智能样本研发系统的数据快速读取方法流程图，该方法包括以下步骤：步骤s100，采集高效环保智能样本研发系统的多种类型的数据。
17.具体的，获取高效环保智能样本研发系统的多种类型的数据，将所有类型的数量记为n，n为正整数。
18.步骤s200，对每个类型的数据赋予不同的重要程度，所有类型的数据的重要程度累加为1；以任意一种类型的数据为目标数据，获取目标数据中每个元素在目标序列中出现的频率，以目标数据中任意元素为目标元素，获取目标元素的邻近元素，基于所有的邻近元素获取目标元素的平稳性，根据目标元素与其邻近元素的平稳性得到目标元素的平稳性变化幅度。
19.传统的霍夫曼编码往往是基于数据的出现频率获取对应的优先级，没有考虑到存在冗余数据的干扰，并且仅仅根据频率进行优先级的计算效果不佳，因此对每种类型的数据进行分别分析。
20.首先，对本发明实施例中获取的n种类型的数据进行重要程度的分配，重要程度的分配方法是根据先验只是由人为进行赋予，每种类型的数据对应一个重要程度，所有类型的数据的重要程度的累加之和为1。
21.然后，以n种类型的数据中的任意一种类型的数据进行分析，将该数据记为目标数据，假设该目标数据对应的数据序列为：；表示目标数据中所有元素的数量；表示目标数据中第个元素；并且，对应元素是在时刻采集的，对应元素是在时刻采集的，其中，。
22.进一步的，对目标数据中的每个元素进行分析，获取目标数据中每个元素在目标数据中出现的频率记为，即元素出现的次数与目标数据中总元素的数量的比值；以目标数据中的元素作为目标元素进行分析，获取目标元素的邻近元素，本发明实施例中目标元素的邻近元素为、、以及，则根据目标元素对应的所有的邻近元素获取目标元素的平稳性，平稳性的计算为：其中，表示平稳性；表示第个元素；表示第个元素；表示邻近元素对应的时刻；表示邻近元素对应的时刻。
23.平稳性的绝对值越大，说明该时间段内数据变化幅度越大，平稳性为正数说明目标数据在目标元素处呈增大趋势；平稳性为负数则说明该目标数据在目标元素处呈下降趋势。
24.基于获取目标元素的平稳性相同的方法，获取目标元素的邻近元素、、以及分别对应的平稳性，将目标元素与其邻近元素构成局部序列为，则根据该局部序列中每个元素对应的平稳性得到对应的平稳性变化幅度为：其中，表示局部序列中第个元素的平稳性；表示局部序列中第个元素的平稳性；表示绝对值运算；表示取最大值函数；表示调节因子，一个极小的正数，用于防止分母为0。
25.平稳性变化幅度中的取值为8，9，10，11，即得到局部序列中四个元素对应的平稳性变化幅度。
26.步骤s300，获取目标元素在其他数据中的对应元素，判断目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度。
27.由步骤s200得到目标元素对应局部序列的平稳性变化幅度，然后获取目标元素的关联数据，关联数据指的是当目标元素发生变化时，其关联数据也随着目标元素的变化而发生变化，比如环保中生活垃圾的产量增加，也会导致污水排放量相应增加；因此根据本发明实施例中得到的n种类型的数据可得到，目标元素在其他每种类型的数据中的对应元素，例如在第w类型的数据中可得到对应元素，并可根据步骤s200中相同的方法得到对应元素的平稳性，以及对应元素的邻近元素，，，的平稳
性，则可根据对应元素的平稳性以及其邻近元素，，，的平稳性得到对应的平稳性变化幅值。
28.对每个元素对应的平稳性进行归一化处理，在根据归一化处理后的平稳性进行判断目标元素与对应元素是否为初步关联数据，首先判断目标元素的平稳性与对应元素的平稳性的符号是否一致，即同为正或者同为负：若符号不一致时，计算目标元素与对应元素之间的平稳性的差值的绝对值；本发明实施例中设置差异阈值为0.2，当差值的绝对值大于该差异阈值时，则认为目标元素与对应元素为初步关联数据；若符号一致时，计算；其中，表示取最小值函数；当计算得到的大于预设的阈值0.1时，则认为目标元素与对应元素为初步关联数据，否则，目标元素与对应元素不是初步关联数据。
29.当确定目标元素与对应元素为初步关联数据时，为提高关联数据的获取精度，对其平稳性变化进行分析，即获取目标元素与对应元素为实际关联数据的置信度，置信度的计算为：其中，表示置信度；表示目标元素对应的局部序列中第个元素的平稳性变化幅度；表示对应元素对应的局部序列中第个元素的平稳性变化幅度；表示自然常数。
30.当的取值越小，说明目标元素对对应元素的影响较大，则目标元素为正常有效数据的置信度越大。
31.以此类推，根据目标元素与其对应的每个对应元素之间的平稳性变化幅度得到目标元素的置信度。
32.步骤s400，根据目标元素对应的置信度、平稳性以及在目标数据中出现的频率得到目标元素为正常数据点的概率，根据每个目标元素的概率得到正常数据点，基于正常数据点的概率以及正常数据点所在类型的重要程度得到正常数据点的优先级，对所有正常数据点的优先级进行归一化以构建霍夫曼表。
33.根据步骤s300得到了目标元素与每个类型数据中的关联数据的对应元素之间的置信度，将目标元素对应的初步关联数据的数量记为，则获取目标元素为正常数据点的概率为：
其中，表示概率；表示归一化后的平稳性变化幅度的绝对值，绝对值越小，表明目标元素为正常数据点的概率越大；表示调节因子；表示目标元素与第j个初步关联数据的对应元素之间的置信度，置信度越大，说明目标元素对其他对应元素的影响越大，目标元素越可能为正常数据点；表示目标元素对应初步关联数据的数量；表示所有数据类型的数量；表示目标元素对应的频率，其值越大表明目标元素为正常数据点的概率越大。
34.作为优选，本发明实施例中设置正常阈值为0.9，当目标元素的概率大于0.9时，则该目标元素为正常数据点，反之，该目标元素为冗余数据点。
35.以此类推，对每种类型数据的每个元素进行分析得到其中的正常数据点和冗余数据点，再对正常数据进一步进行分析，获取正常数据进行霍夫曼编码的优先级：其中，表示概率；表示该正常数据点所在数据类型的重要程度；优先级越大，则越应该进行优先编码。
36.由此得到多个正常数据点的优先级，对所有正常数据点的优先级进行归一化处理，并根据数据优先级构建霍夫曼表：首先将数据的优先级以从小到大的方式进行排序，每个数据认为霍夫曼树的第一层的一个节点，在第一层中选择两个优先级最小的数据节点，分别赋予0和1编码，其中两者之间相对较小的为0，另一个为1，进行相连，相连即优先级相加，获取一个第二层的父节点，父节点的优先级为两子节点优先级之和，将未曾进行相连的第一层节点直接挪移到第二层，再获取第二层的两个优先级最小的数据节点进行相连，以此类推，则对每个数据都可得到其对应的二进制编码，优先级最高的数据编码长度最短，计算机在处理起来更加快速迅捷。
37.步骤s500，基于霍夫曼表进行数据读取。
38.由步骤s400得到对应的霍夫曼表，完成了对数据的压缩，在后续进行读取时，计算机直接读取压缩后的数据，通过查询通用霍夫曼表，将数据进行反编码即可得到真实数据，完成数据的快速读取。
39.综上所述，本发明实施例通过采集高效环保智能样本研发系统的多种类型的数据；对每个类型的数据赋予不同的重要程度，所有类型的数据的重要程度累加为1；以任意一种类型的数据为目标数据，获取目标数据中每个元素在目标序列中出现的频率，以目标数据中任意元素为目标元素，获取目标元素的邻近元素，基于所有的邻近元素获取目标元素的平稳性，根据目标元素与其邻近元素的平稳性得到目标元素的平稳性变化幅度；获取目标元素在其他数据中的对应元素，判断目标元素与对应元素是否为初步关联数据，若是初步关联数据，根据目标元素和对应元素的平稳性变化幅度，得到目标元素与对应元素为实际关联数据的置信度；根据目标元素对应的置信度、平稳性以及在目标数据中出现的频率得到目标元素为正常数据点的概率，当概率大于正常阈值时，目标元素为正常数据点，根据正常数据点所在类型的重要程度与正常数据点的概率得到优先级，对所有正常数据点的优先级进行归一化处理，以构建对应的霍夫曼表；通过霍夫曼表对所有的数据进行压缩，根据霍夫曼表进行反编码读取数据，提高了数据读取速度，同时提高了数据处理的效率。
40.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
41.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
42.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。