一种基于多重大数据处理的数据筛选整合方法及系统与流程

技术特征：
1.一种基于多重大数据处理的数据筛选整合方法，其特征在于，包括：控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合；根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。2.如权利要求1所述的基于多重大数据处理的数据筛选整合方法，其特征在于，所述根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据，包括：根据第一公式对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据；其中，所述第一公式为：所述第一公式中，g1表示目标传感器的第一拟合数据，为十进制数值形式；g(i)表示目标传感器在预设时长内在同一点位采集的第i个数据，为十进制数值形式；n表示目标传感器在预设时长内在同一点位采集的数据总数；(g
min
,g
max
)表示预设的数据限位区间；f{}表示非负检验函数，若括号内的数值为非负数则函数值为1，若括号内的数值为负数则函数值为0。3.如权利要求1或2所述的基于多重大数据处理的数据筛选整合方法，其特征在于，在所述得到目标传感器的第一拟合数据之后，还包括：根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。4.如权利要求3所述的基于多重大数据处理的数据筛选整合方法，其特征在于，在所述得到目标传感器的第二拟合数据之后，还包括：计算所述原始数据集合中的每个原始数据相对于所述第二拟合数据的偏差数据并存储；根据各原始数据对应的偏差数据，生成偏差曲线提供给用户。5.如权利要求3所述的基于多重大数据处理的数据筛选整合方法，其特征在于，所述根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间，包括：根据第二公式对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；所述根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据，包括：根据第三公式对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据；
其中，所述第二公式为：所述第二公式中，(g
min
',g
max
')表示更新后的数据限位区间；所述第三公式为：所述第三公式中，g2表示目标传感器的第二拟合数据。6.一种基于多重大数据处理的数据筛选整合系统，其特征在于，包括：采集模块，用于控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合；第一数据拟合模块，用于根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。7.如权利要求6所述的基于多重大数据处理的数据筛选整合系统，其特征在于，所述第一拟合数据模块，具体用于根据第一公式对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据；其中，所述第一公式为：所述第一公式中，g1表示目标传感器的第一拟合数据，为十进制数值形式；g(i)表示目标传感器在预设时长内在同一点位采集的第i个数据，为十进制数值形式；n表示目标传感器在预设时长内在同一点位采集的数据总数；(g
min
,g
max
)表示预设的数据限位区间；f{}表示非负检验函数，若括号内的数值为非负数则函数值为1，若括号内的数值为负数则函数值为0。8.如权利要求6或7所述的基于多重大数据处理的数据筛选整合系统，其特征在于，该系统还包括：更新模块，用于根据所述第一拟合数据对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；第二拟合数据模块，用于根据所述更新后的数据限位区间对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据。9.如权利要求8所述的基于多重大数据处理的数据筛选整合系统，其特征在于，所述更新模块，具体用于根据第二公式对所述预设的数据限位区间进行更新，得到更新后的数据限位区间；
所述第二拟合数据模块，具体用于根据第三公式对所述原始数据集合中的原始数据进行第二次数据拟合，得到目标传感器的第二拟合数据；其中，所述第二公式为：所述第二公式中，(g
min
',g
max
')表示更新后的数据限位区间；所述第三公式为：所述第三公式中，g2表示目标传感器的第二拟合数据。

技术总结
本发明的实施例公开一种基于多重大数据处理的数据筛选整合方法及系统，涉及大数据技术领域。所述方法，包括：控制目标传感器在预设时长内在同一点位采集多次数据，得到原始数据集合；根据预设的数据限位区间对所述原始数据集合中的原始数据进行数据限位及第一次数据拟合，得到目标传感器的第一拟合数据。本发明能够对传感器数据进行有效筛选整合，提高了数据可靠性。据可靠性。据可靠性。


技术研发人员：张鹏
受保护的技术使用者：重庆德明尚品电子商务有限公司
技术研发日：2022.08.19
技术公布日：2022/11/11