工业数据规范化管理和质量保证方法与流程

1.本发明涉及工业数据领域，尤其涉及工业数据规范化管理和质量保证方法。


背景技术：

2.数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的的原始素材，数据可以是连续的值，比如声音、图像，称为模拟数据，也可以是离散的，如符号、文字，称为数字数据。在计算机系统中，数据以二进制信息单元0、1的形式表示。
3.随着信息化与工业化的深度融合，信息技术渗透到了工业企业产业链的各个环节，工业企业建立了很多计算机信息系统，积累了大量工业数据，工业数据已成为工业企业的重要资源，同时，数据质量贯穿于工业数据生命周期的产生、收集、存储、维护、传输、加工和利用等各个阶段，海量的工业数据存在数据残缺、数据不规范以及数据错误等数据质量问题。
4.为此，我们提出工业数据规范化管理和质量保证方法。


技术实现要素：

5.基于背景技术存在的技术问题，本发明提出了工业数据规范化管理和质量保证方法，以解决上述背景技术中提出的问题。
6.本发明提供如下技术方案：
7.工业数据规范化管理和质量保证方法，包括如下步骤：
8.a、工业数据质量管理：
9.a、策划：明确质量目标和用户需求，规划数据质量描述要素，开展数据质量描述；
10.b、实施：识别数据质量要素，新建数据质量要素，开展数据质量识别；
11.c、检查：选择评价方法，确定评价流程和步骤，开展数据质量评价；
12.d、处置：确定控制规则，选择控制方法，开展数据质量控制；
13.b、工业数据质量评价：数据质量评价方法分为直接评价方法：通过比较数据与内外部参考信息来确定数据质量；间接评价方法：使用与数据相关的外部知识推断或估计数据质量；
14.c、工业数据质量控制：“数据质量描述测试套件”用来测试数据集质量描述的正确性。
15.优选的，所述步骤b中直接评价方法可分为：完全检查方法：测试数据质量范围内的所有数据项；抽样检查方法：测试数据质量范围内的部分数据项，抽样方法、抽样率及抽样过程应在数据质量报告中报告。
16.优选的，所述步骤b中间接评价方法所依据的外部知识包括但不限于：数据质量非定量元素、数据集的其它质量报告。
17.优选的，所述步骤c中“数据质量描述测试套件”包括要素测试、可用性测试、排斥性测试、定量子元素描述项正确性检查和“数据质量报告”符合性检查。
18.本发明提供了工业数据规范化管理和质量保证方法，本方法通过对工业数据质量持续改进的模型、质量的描述、识别、评价、控制和报告等的标准化，支撑工业数据的协同建设、互联互通、共享利用，提高工业数据的质量、可用性和利用效率；本标准的实施有助于实现工业数据的规范化管理和质量保证。
附图说明
19.图1为本发明工业数据质量持续改进模型；
20.图2为本发明工数据质量描述框架；
21.图3为本发明工评价与报告数据质量结果的过程流图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.请参阅图1-3，本发明提供一种技术方案：
24.工业数据规范化管理和质量保证方法，包括如下步骤：
25.a、工业数据质量管理：
26.a、策划：明确质量目标和用户需求，规划数据质量描述要素，开展数据质量描述；
27.b、实施：识别数据质量要素，新建数据质量要素，开展数据质量识别；
28.c、检查：选择评价方法，确定评价流程和步骤，开展数据质量评价；
29.d、处置：确定控制规则，选择控制方法，开展数据质量控制；
30.工业数据质量描述
31.描述要素
32.源自数据集、用户需求的工业数据质量信息所反映的数据质量应满足用户的特定需求，质量目标表明数据质量应符合任务的特定目的，通过识别数据集、用户需求、质量目标中的质量元素来描述质量信息，质量描述可用于数据集系列、数据集或数据集内具有相同特征的部分数据；
33.一个数据集的质量用以下两个要素来描述：
34.数据质量定量元素和数据质量非定量元素；
35.每个质量定量元素可细分为多个质量定量子元素，每个质量定量子元素用多个质量定量子元素描述项描述，通过数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述项，描述数据集满足数据规范中预先设定标准的程度，并提供定量的质量信息；
36.数据质量非定量元素提供非定量的质量信息，可用于评价数据集在非预期的特定应用中的质量；质量信息的可信性，记录在“数据质量报告”中；
37.定量元素
38.构成
39.数据质量定量元素用来描述数据集的定量质量信息，用来表达符合数据规范的程度。包括但不限于以下元素：
40.完整性：特征、特征属性及特征关系存在或不存在；
41.一致性：数据结构(包括概念结构、逻辑结构、物理结构)、属性及其关系符合逻辑规则的程度；
42.准确性：包括正确性、精确性和时序性；
43.附加数据质量定量元素：用户可根据需求设置，以便描述无法用以上定量元素描述的定量的数据质量信息；
44.子元素；
45.数据质量定量子元素与数据质量定量元素相对应，用来描述数据集的定量质量信息；包括但不限于以下子元素：
46.a、完整性的子元素：
47.多余：数据集中有多余数据；
48.缺少：数据集中缺少应有数据；
49.交叉：数据集中存在交叉重复数据；
50.b、一致性的子元素：
51.概念一致性：符合概念模式规则；
52.值域一致性：值在值域范围内；
53.格式一致性：数据存储与数据集物理结构的一致性。
54.c、准确性的子元素：
55.正确性：数据反映和描述客观事物及其变化的准确程度；
56.精确性：数值符合其实际值或规定值的程度；
57.时序性：表达有序活动或序列活动相关数据时间顺序的正确性；
58.b、工业数据质量评价：数据质量评价方法分为直接评价方法：通过比较数据与内外部参考信息来确定数据质量；间接评价方法：使用与数据相关的外部知识推断或估计数据质量；
59.c、工业数据质量控制：“数据质量描述测试套件”用来测试数据集质量描述的正确性；数据集质量描述应通过该测试套件的所有测试；
60.测试一：要素测试
61.a、测试目的：证实质量要素都在质量描述中；
62.b、测试方法：
63.检查质量描述，证实数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述项已被用来描述定量的质量信息；
64.检查质量描述，证实数据质量非定量元素已被用来描述非定量的质量信息；
65.测试二：可用性测试
66.a、测试目的：证实质量描述的可用性；
67.b、测试方法：
68.识别数据规范中与定量质量相关的语句，并用其来识别可用的数据质量定量元素及其可用的数据质量定量子元素；
69.比较规范中识别的数据质量定量子元素与质量描述中所用的数据质量定量子元素，确保该数据集可用的所有数据质量定量子元素已被识别并用在质量描述中；
70.检查可用的数据质量非定量元素，确保已被识别并用在质量描述中；
71.测试三：排斥性测试
72.a、测试目的：证实质量描述中附加元素是排斥性的，且附加元素的信息已被充分提供；
73.b、测试方法：
74.检查所有附加数据质量定量元素，证实每个附加元素都描述了本标准中数据质量定量元素没有描述的定量质量信息；
75.检查所有附加数据质量定量子元素，证实每个附加子元素都描述了本标准中数据质量定量子元素没有描述的定量质量信息；
76.检查所有附加数据质量非定量元素，证实每个附加元素都描述了本标准中数据质量非定量元素没有描述的非定量质量信息；
77.测试四：定量子元素描述项正确性检查
78.a、测试目的：证实数据质量定量子元素描述项使用正确；
79.b、测试方法：比较本标准及每个可用数据质量定量子元素(包括附加数据质量定量子元素)所提供的质量信息，证实数据质量定量子元素描述项的使用符合本标准；
80.测试五：“数据质量报告”符合性检查
81.a、测试目的：证实质量描述已用“数据质量报告”报告；
82.b、测试方法：比较质量信息和“数据质量报告”，证实质量信息已用符合本标准要求的“数据质量报告”报告。
83.控制方法：
84.数据质量控制总体上可分为三个步骤：
85.生产者自查：生产者(数据集生产者)自查认为数据及其质量描述完全符合“数据质量描述测试套件”、“数据质量内容测试套件”的所有要求，才能将其提交给第三方检查；
86.第三方检查：第三方检查认为生产者提交的数据及其质量描述完全符合“数据质量描述测试套件”、“数据质量内容测试套件”的所有要求，才能将其提交给评审组检查。否则，详细指出错误，将材料返回给生产者修改；
87.评审组检查：评审组检查认为生产者提交的数据及其质量描述完全符合“数据质量描述测试套件”、“数据质量内容测试套件”的所有要求，才能将其纳入“工业数据”，否则，详细指出错误，将材料返回生产者修改。
88.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。