一种物联网传感设备感知数据质量评估方法与流程

1.本技术涉及一种质量评估方法，尤其涉及一种物联网传感设备感知数据质量评估方法，属于物联网传感设备感知数据质量评估技术领域。


背景技术：

2.物联网又称“传感网”。物联网是通过射频识别（rfid）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
3.物联网的理念和相关技术产品已经广泛渗透到社会经济民生的各个领域，在越来越多的行业创新中发挥关键作用。物联网凭借与新一代信息技术的深度集成和综合应用，在推动转型升级、提升社会服务、改善服务民生、推动增效节能等方面正发挥重要的作用，在部分领域正带来真正的“智慧”应用。
4.随着相关领域技术的进一步发展和突破、客户认知度的逐步提高，物联网将在工业、农业、电力、建筑、交通、物流、环保、医疗、安保、家居等众多领域得到更为广泛的运用。物联网市场具有巨大潜力并将在未来几年内高速发展，其良好的发展前景也为众多厂商带来了机遇与挑战。
5.物联网设备作为感知终端，基于业务的不同需要及时反馈准确有效的感知信息。感知数据质量的情况会严重影响到最终结果的分析运算，保障感知数据的质量，及时清查排除掉无效的设备及感知数据是十分有必要的。当前的数据质量检验算法通常是以整体的合格率来统计，而不是以单个数据的偏差情况来判断合格率，这种方式就造成了部分设备在规定的偏差内的合格率很高，但是偏差造成的数据质量准确率又很低。


技术实现要素：

6.在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
7.鉴于此，为解决现有技术中存在的数据质量准确率低的技术问题，本发明提供一种物联网传感设备感知数据质量评估方法。
8.方案一：一种物联网传感设备感知数据质量评估方法，其特征在于，包括，采集对接设备获取实时的物联网传感设备感知数据，并存储到数据库中；从数据库中获取物联网传感设备感知数据，所述物联网传感设备感知数据包括离散型物联网传感设备感知数据和连续型物联网传感设备感知数据，分别对离散型物联网传感设备感知数据和连续型物联网传感设备感知数据进行数据质量评估得到流程西格玛值，根据流程西格玛值确定数据质量，创建线性回归模型对物联网传感设备感知数据质量进行预测。
9.优选的，所述离散型物联网传感设备感知数据的质量评估方法包括以下步骤：
s1.从数据库中选取某个时间段离散型物联网传感设备感知数据n条，每条物联网传感设备数据分别记为i1,i2,i3.....in；将每条物联网传感设备数据分别从六个维度进行校验，得到w条缺陷数据；s2.计算机会缺陷率dpo；s3.计算百万机会缺陷数dpmo；s4.通过dmpo与西格玛的对应关系表查询得到当前物联网传感设备感知数据处于的流程西格玛值z；s5.根据流程西格玛值z评估离散型物联网传感设备感知数据的质量。
10.优选的，所述六个维度包括完整性、规范性、一致性、准确性、唯一性和关联性；物联网传感设备感知数据不符合六个维度的其中一个即为缺陷物联网传感设备数据，每条物联网传感设备感知数据有六个缺陷机会。
11.优选的，所述机会缺陷率dpo的计算方法如下所示：dpo=缺陷数/（产品数*缺陷机会数）；所述百万机会缺陷数dpmo的计算方法如下所示：dpmo=dpo*10^6其中，产品数为物联网传感设备感知数据的个数，缺陷数为物联网传感设备感知数据的缺陷个数，缺陷机会数为每条物联网传感设备感知数据缺陷数占全部物联网传感设备感知数据缺陷数的比例。
12.优选的，所述根据流程西格玛值z评估离散型物联网传感设备感知数据的质量的方法是，流程西格玛值z值越大物联网传感设备感知数据质量越好。
13.优选的，所述连续型物联网传感设备感知数据的质量评估方法包括以下步骤：步骤一、从数据库中选取某个时间段连续型物联网传感设备感知数据n条，每条物联网传感设备感知数据的结果分别记为i1,i2,i3.....in，获取连续型物联网传感设备感知数据的平均值；步骤二、将连续型物联网传感设备感知数据与平均值进行方差计算；步骤三、根据平均值和方差计算概率密度得到连续型物联网传感设备感知数据合格率p
good
，从而得到连续型物联网传感设备感知数据机会缺陷率1-p
good
；步骤四、计算百万机会缺陷数dpmo，dpmo=dpo*10^6，dpo值为1-p
good
，通过dmpo与西格玛的对应关系表查询得到当前物联网传感设备感知数据处于的流程西格玛值z；步骤五、根据流程西格玛值z评估连续型物联网传感设备感知数据的质量。
14.优选的，所述根据平均值和方差计算概率密度得到合格率的具体方法是：概率密度函数=exp(-)当=0，=1时，正态分布为标准正态分布，其概率密度函数简化为：=exp，累积概率面积函数为：p（x）=
∅
(x)==
=1根据公式，将公差下界lsl以下的不合格率计算结果为：p（x《lsl）==将公差上界usl以上的不合格率计算结果为：p（x》usl）==在公差下界与公差上界之间的区域的累积概率面积为：p(lsl≤≤usl)= =-因此，合格率即为p
good
=p(lsl≤≤usl)。
15.优选的，创建线性回归模型对物联网传感设备感知数据质量进行预测的方法：线性回归模型为：y=(x)=0 1x，其中(x)表示一个从x到y的函数映射，0和1是回归参数，x为自变量,对应时间t，y为目标输出变量，将目标输出变量通过dmpo与西格玛的对应关系表查询得知当前感知设备感知数据处于的流程西格玛值z，流程西格玛值z值越大物联网传感设备感知数据质量越好。
16.方案二、 一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述方法的步骤。
17.方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的方法。
18.本发明的有益效果如下：感知数据质量的偏差会决定应用服务的效果及决策支持的正确性，通过本发明可以有效的过滤掉缺陷设备数据，并及时标记出问题设备，提高服务决策的正确性。能够分段分析设备数据质量，动态评估出设备感知数据质量情况，对于低于设定质量标准情况及时告警，本技术可以很好的解决现有技术中存在的数据质量准确率低的技术问题。
附图说明
19.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本发明方法流程示意图；图2为本发明正态分布曲线示意图。
具体实施方式
20.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
21.实施例1、参照图1-图2说明本实施方式，一种物联网传感设备感知数据质量评估
方法，包括，采集对接设备获取实时的物联网传感设备感知数据，并存储到数据库中；从数据库中获取物联网传感设备感知数据，所述物联网传感设备感知数据包括离散型物联网传感设备感知数据和连续型物联网传感设备感知数据，分别对离散型物联网传感设备感知数据和连续型物联网传感设备感知数据进行数据质量评估得到流程西格玛值，根据流程西格玛值确定数据质量，创建线性回归模型对物联网传感设备感知数据质量进行预测。
22.具体的，采集对接设备获取实时的设备感知数据包括以下内容：首先，通过国家标准及物联网感知设备产品介绍获取到设备的感知结果参数标准偏差值（公差上界（usl）/公差下界（lsl））；其次，通过对物联网感知设备接上电网，验证设备是否正常，再次，查看并确认物联网感知设备的电压及网络带宽正常，核查设备的电压及网络带宽是否符合设备的正常工作环境要求，满足则继续进行下一步，否则告警通知，并终止检测。最后，确认设备能够正常工作后，采集设备的感知信息进行建模分析，评估设备感知数据的质量情况。
23.具体的，所述离散型物联网传感设备感知数据的质量评估方法包括以下步骤：s1. 从数据库中选取某个时间段离散型物联网传感设备感知数据n条，每条离散型物联网传感设备感知数据分别记为i1,i2,i3.....in；将每条离散型物联网传感设备感知数据分别从完整性、规范性、一致性、准确性、唯一性和关联性六个维度进行校验，得到w条缺陷数据，所述六个维度即六个缺陷机会，只要物联网传感设备感知数据不符合六个维度的其中一个即为缺陷数据，每条物联网传感设备感知数据有六个缺陷机会。
24.s2. 通过机会缺陷率dpo计算公式，即每次机会中出现缺陷的比率表示了每个样本量中缺陷数占全部机会数的比例，因此，计算机会缺陷率dpo，计算方法如下所示：dpo = 缺陷数/（产品数*缺陷机会数）；即dpo= w/(6*n)。
25.s3.计算百万机会缺陷数dpmo；计算方法如下所示：dpmo=dpo*10^6；即dmpo=(10^6*w)/(6*n)。
26.其中，产品数为物联网传感设备感知数据的个数，缺陷数为物联网传感设备感知数据的缺陷个数，缺陷机会数为每条物联网传感设备感知数据缺陷数占全部物联网传感设备感知数据缺陷数的比例。
27.s4. 通过dmpo与西格玛的对应关系表（dmpo与西格玛的对应关系表）查询得到当前离散型物联网传感设备感知数据处于的流程西格玛值z；表一dmpo与西格玛的对应关系表
s5.根据流程西格玛值z评估离散型物联网传感设备感知数据的质量，流程西格玛值z值越大其物联网传感设备感知数据质量越好。
28.具体的，所述连续型物联网传感设备感知数据的质量评估方法包括以下步骤：步骤一、从数据库中选取某个时间段连续型物联网传感设备感知数据n条，每条物联网传感设备感知数据的结果分别记为i1,i2,i3.....in，获取连续型物联网传感设备感知数据的平均值。
29.获取平均值的方法是通过下述公式实现：μ=，其中μ代表n条物联网传感设备感知数据的平均值。
30.步骤二、将连续型物联网传感设备感知数据与平均值进行方差计算，具体计算方法是：σ2=(1/n) ，其中in表示每条连续数据的值，σ
2 表示n条数据得到的方差。
31.步骤三、根据平均值和方差计算概率密度得到连续型物联网传感设备感知数据合格率p
good
，从而得到连续型物联网传感设备感知数据机会缺陷率1-p
good
；步骤四、计算百万机会缺陷数dpmo，dpmo=dpo*10^6，dpo值为1-p
good
，通过dmpo与西格玛的对应关系表查询得到当前感知设备的数据处于的流程西格玛值z；步骤五、根据流程西格玛值z评估连续型感知数据的质量。
32.具体的，参照图2说明正态分布数据n~(μ, σ2),正态分布曲线的对称轴是正态样本的平均值，样本的平均值增大，曲线向右平移，样本的平均值减小，曲线向左测平移。正态样本的标准差越大，则正态分布曲线越平坦，峰值越小，同时分布曲线下面总的概率面积为1.（rejected area为不良区域）。
33.具体的，根据平均值和方差计算概率密度得到合格率的计算方法是，概率密度函数=exp(-)
当=0，=1时，正态分布为标准正态分布，其概率密度函数简化为： =exp(-)，累积概率面积函数为：p（x）=
∅
(x)= ==1根据公式，我们将公差下界lsl以下的不合格率计算结果为：p（x《lsl）==将公差上界usl以上的不合格率计算结果为：p（x》usl）==在公差下界与公差上界之间的区域的累积概率面积为：p(lsl≤≤usl)= =-因此，合格率即为p
good
=p(lsl≤≤usl)；因此，百万机会缺陷数dpmo=（1-p
good
）*，通过dmpo与西格玛的对应关系表一查询得知当前感知设备的数据处于的流程西格玛值z，根据z值的大小可以确定当前物联网传感设备感知数据质量的好坏，z值越大其数据质量越好。
34.具体的，创建线性回归模型对物联网传感设备感知数据质量进行预测的方法：线性回归模型为：y=(x)=0 1x，其中(x)表示一个从x到y的函数映射，0和1是回归参数，x为自变量,对应时间t，y为目标输出变量，将目标输出变量通过dmpo与西格玛的对应关系表查询得知当前感知设备的数据处于的流程西格玛值z。
35.具体的，创建模型对物联网传感设备感知数据质量进行预测的方法的详细过程如下：a.对不同时间段t的数据计算得到对应的西格玛水平z值，即假设数据集s={(t1,z1),(t2,z2),...(t3,z3)}；b.假设线性回归模型为：y=(x)=0 1x，其中(x)表示一个从x到y的函数映射，0和1是回归参数， x为自变量,对应时间t，y为目标输出变量，对应西格玛水平z；c.定量化一个损失函数，使得回归参数0和1可以在求解过程中不断地优化，步骤a需要计算的最优回归参数0和1可以转换成求min((x)-y)；假设损失函数为：j()=，其中m表示训练集中实例的数量，、表示第i个观察实例；找到出一组0和1使损失函数的值最小，可使求解j()偏导为0，计算推导如下： j()==0
ꢀꢀ
（式1.3） 把0和1代式得到一个方程组如下：j()=
ꢀꢀ
= 0
j()=
ꢀꢀ
= 0可以解出： = =求得求得0和和1两个参数的值，所以线性回归模型y=(x)=0 1x可以用来预测时间段t对应的西格玛水平z值，根据z值的大小可以预测物联网传感设备感知数据质量的好坏，流程西格玛值z值越大物联网传感设备感知数据质量越好。
36.具体的，不同的时间段，预测模型能预测不同时间段对应的西格玛水平值。
37.实施例2、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于creo软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
38.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
39.所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
40.实施例3、计算机可读存储介质实施例本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于creo软件的可修改由关系驱动的建模数据的建模方法的步骤。
41.所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
42.尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域
内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。