一种基于多重大数据处理的数据筛选整合方法及系统与流程

1.本发明属于大数据技术领域，尤其涉及一种基于多重大数据处理的数据筛选整合方法及系统。


背景技术：

2.近年来随着大数据技术的发展，工业大数据对企业的发展越发重要。准确的数据可以产生较高价值，例如对准确的数据进行挖掘、分析和预测，从而获得数据潜在价值的信息。大数据的价值体现在以下几个方面：对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；做小而美模式的中小微企业可以利用大数据做服务转型；面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。显然，如果数据一直不准确，对大数据的分析处理结果就失去了价值。
3.随着信息科技的发展，数据采集设备重要性越来越凸显出来，特别是传感器。因为无论是“大数据”、“人工智能”，还是“物联网”，其最重要的“基石”就是传感器。由于传感器电子元件的电器特性、传感器的制作工艺等原因，使得传感器的检测数据会有所偏差，例如有时候在相近的时间点采集的同一点位的数据值的变化会比较大，而在将传感器用于大数据领域应用中时，获取可靠的传感器数据以开展后续大数据分析计算是重中之重。但是，现有技术中没有有效的筛选整合传感器数据的方法，传感器的原始数据的可靠性较低。


技术实现要素：

4.有鉴于此，本发明实施例提供一种基于多重大数据处理的数据筛选整合方法及系统，用于解决现有的传感器采集数据可靠性较低的问题。本发明能够对传感器数据进行有效筛选整合，提高数据可靠性。
5.第一方面，本发明实施例提供一种基于多重大数据处理的数据筛选整合方法，包括：
6.控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合；
7.根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。
8.在一可选实施例中，所述根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据，包括：
9.根据第一公式对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据；
10.其中，所述第一公式为：
11.12.所述第一公式中，g1表示目标传感器的第一拟合数据，为十进制数值形式；g(i)表示目标传感器在预设时长内在同一点位采集的第i个数据，为十进制数值形式；n表示目标传感器在预设时长内在同一点位采集的数据总数；(g
min
,g
max
)表示预设的数据限位区间；f{}表示非负检验函数，若括号内的数值为非负数则函数值为1，若括号内的数值为负数则函数值为0。
13.在一可选实施例中，在所述得到目标传感器的第一拟合数据之后，还包括：
14.根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
15.根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。
16.在一可选实施例中，在所述得到目标传感器的第二拟合数据之后，还包括：
17.计算所述原始数据集合中的每个原始数据相对于所述第二拟合数据的偏差数据并存储；
18.根据各原始数据对应的偏差数据，生成偏差曲线提供给用户。
19.在一可选实施例中，所述根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间，包括：
20.根据第二公式对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
21.所述根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据，包括：
22.根据第三公式对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据；
23.其中，所述第二公式为：
[0024][0025]
所述第二公式中，(g
min
',g
max
')表示更新后的数据限位区间；
[0026]
所述第三公式为：
[0027][0028]
所述第三公式中，g2表示目标传感器的第二拟合数据。
[0029]
第二方面，本发明实施例提供一种基于多重大数据处理的数据筛选整合系统，包括：
[0030]
采集模块，用于控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合；
[0031]
第一数据拟合模块，用于根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。
[0032]
在一可选实施例中，所述第一拟合数据模块，具体用于根据第一公式对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据；
[0033]
其中，所述第一公式为：
[0034][0035]
所述第一公式中，g1表示目标传感器的第一拟合数据，为十进制数值形式；g(i)表示目标传感器在预设时长内在同一点位采集的第i个数据，为十进制数值形式；n表示目标传感器在预设时长内在同一点位采集的数据总数；(g
min
,g
max
)表示预设的数据限位区间；f{}表示非负检验函数，若括号内的数值为非负数则函数值为1，若括号内的数值为负数则函数值为0。
[0036]
在一可选实施例中，所述基于多重大数据处理的数据筛选整合系统，还包括：
[0037]
更新模块，用于根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
[0038]
第二拟合数据模块，用于根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。
[0039]
在一可选实施例中，所述更新模块，具体用于根据第二公式对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
[0040]
所述第二拟合数据模块，具体用于根据第三公式对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据；
[0041]
其中，所述第二公式为：
[0042][0043]
所述第二公式中，(g
min
',g
max
')表示更新后的数据限位区间；
[0044]
所述第三公式为：
[0045][0046]
所述第三公式中，g2表示目标传感器的第二拟合数据。
[0047]
本发明提供的一种基于多重大数据处理的数据筛选整合方法及系统，首先控制传感器短时间快速地采集同一点位数据，得到原始数据集合，然后根据预设的数据限位区间对此原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到传感器的第一拟合数据。本发明能够对传感器数据进行有效筛选整合，提高数据的准确性及可靠性。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0049]
图1为本发明实施例提供的一种基于多重大数据处理的数据筛选整合方法流程示意图；
[0050]
图2为本发明实施例提供的一种基于多重大数据处理的数据筛选整合系统结构示意图。
具体实施方式
[0051]
下面结合附图对本发明实施例进行详细描述。
[0052]
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0053]
图1为本发明实施例提供的一种基于多重大数据处理的数据筛选整合方法流程示意图。参见图1，该方法包括如下步骤s101-s102：
[0054]
s101：控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合。
[0055]
s102：根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。
[0056]
上述技术方案的有益效果为：本发明实施例提供的一种基于多重大数据处理的数据筛选整合方法，首先控制传感器短时间快速地采集同一点位数据，得到原始数据集合，然后根据预设的数据限位区间对此原始数据集合中的原始数据进行数据限位及第一次数据拟合，以消除一些变化量较大的数值，得到传感器的第一拟合数据，随后可将第一拟合数据作为大数据分析计算的原始数据，大数据分析计算的可靠性较高。本发明能够对传感器数据进行有效筛选整合，提高数据的准确性及可靠性。
[0057]
作为一可选实施例，所述步骤s102，可以包括：根据第一公式对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据；
[0058]
其中，所述第一公式为：
[0059][0060]
所述第一公式中，g1表示目标传感器的第一拟合数据，为十进制数值形式；g(i)表示目标传感器在预设时长内在同一点位采集的第i个数据，为十进制数值形式；n表示目标传感器在预设时长内在同一点位采集的数据总数；(g
min
,g
max
)表示预设的数据限位区间；f{}表示非负检验函数，若括号内的数值为非负数则函数值为1，若括号内的数值为负数则函数值为0。
[0061]
上述技术方案的有益效果为：利用第一公式(1)对所述原始多个数据(即原始数据
集合中的各个原始数据)进行数据限位以及数据一次拟合得到一次拟合后的数据，进而根据原始人为设定的不准确的数据限位区间求取出大致的一次拟合数据，从而方便后续对所述数据限位区间进行更深层次的优化。
[0062]
作为一可选实施例，所述步骤s102之后，还可以包括以下步骤s201-s202：
[0063]
s201：根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间。
[0064]
s202：根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。
[0065]
上述技术方案的有益效果为：设定数据限位区间的目的是为了消除一些变化量较大的数值，但是初次设定的限位区间有可能并不实用也不准确，因此根据第一拟合数据对所述预设的数据限位区间进行实时更新，可以让数据限位区间更实用、准确，然后让更新后的此区间对原始数据集合中的原始数据进行第二次数据拟合，使得处理后的数据更准确，也更稳定。
[0066]
作为一可选实施例，所述步骤s202之后，还包括以下步骤s301-s302：
[0067]
s301：计算所述原始数据集合中的每个原始数据相对于所述第二拟合数据的偏差数据并存储。
[0068]
s302：根据各原始数据对应的偏差数据，生成偏差曲线提供给用户。
[0069]
上述技术方案的有益效果为：以第二拟合数据为基础，将原始数据集合中的每个原始数据相对于第二拟合数据的偏差提供给用户，用户可以从此数据中了解传感器在极短时间内采集同一点位数据的变化情况，这些变化情况从客观上反映了传感器的稳定性，便于用户及时的了解传感器的稳定性情况。
[0070]
作为一可选实施例，所述步骤s201，可以包括：根据第二公式对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
[0071]
所述步骤s202，可以包括：根据第三公式对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据；
[0072]
其中，所述第二公式为：
[0073][0074]
所述第二公式中，(g
min
',g
max
')表示更新后的数据限位区间；
[0075]
所述第三公式为：
[0076][0077]
所述第三公式中，g2表示目标传感器的第二拟合数据。
[0078]
上述技术方案的有益效果为：利用第二公式(2)根据一次拟合后的数据对所述数据限位区间进行更新，目的是将所述数据限位区间与所述大数据进行自动适配，体现了系统的智能化；最后利用第三公式(3)根据更新后的数据限位区间对原始多个数据进行二次拟合，最终得到多重大数据处理的最终数据，从而根据自动适配后的数据限位区间进行二
次拟合，可以得到最优最好的最终大数据拟合数据。
[0079]
从上述实施例的内容可知，首先传感器在同一点位快速短时间采集多次数据，得到原始多个数据，接着对所述原始多个数据进行数据限位以及数据一次拟合，根据一次拟合后的数据对所述数据限位区间进行更新，再根据更新后的数据限位区间对原始多个数据进行二次拟合，最终得到多重大数据处理的最终数据，提高数据可靠性和准确性。
[0080]
图2为本发明实施例提供的一种基于多重大数据处理的数据筛选整合系统结构示意图。如图2所示，所述系统包括：
[0081]
采集模块1，用于控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合；
[0082]
第一数据拟合模块2，用于根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。
[0083]
本实施例的系统，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0084]
作为一可选实施例，所述第一数据拟合模块2，具体用于根据上述第一公式对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。
[0085]
作为一可选实施例，所述基于多重大数据处理的数据筛选整合系统，还包括：
[0086]
更新模块，用于根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
[0087]
第二拟合数据模块，用于根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。
[0088]
作为一可选实施例，所述更新模块，具体用于根据上述第二公式对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
[0089]
所述第二拟合数据模块，具体用于根据上述第三公式对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。
[0090]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的方法的装置。
[0091]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的方法。
[0092]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的方法的步骤。
[0093]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。