一种基于人工智能算法的工业大数据处理方法及系统与流程

1.本发明涉及工业大数据处理技术领域，具体来说，涉及一种基于人工智能算法的工业大数据处理方法及系统。


背景技术：

2.工业大数据是指工业领域生成的各种数据，常见的有跨界数据、信息数据还有物联网数据，已经成为了新工业革命最核心的动力，是制造业数字化、网络化、智能化发展的基础性战略资源。而新工业革命的一个典型特点就是数字化，信息化以及智能化，信息技术同制造业以及生产业高度整合，来实现产业的转变。
3.对于人工智能与大数据所存在的前提条件下，与工业化技术相互结合，实时感知了收集信息与生产数据的过程，获得了较为有效的分析结果，智能制造系统才得以应用。通过信息收集系统对生产流程进行管理，通过全球定位系统与物联网等多项功能，获取数据所存在的问题，并积极采取针对性方案解决所存在的问题，这也是基于大数据与人工智能下的要素。
4.目前，在现有技术方案中通常对工业大数据进行处理的效率低，而且在工业大数据中获得有价值的信息有限，且工业大数据存在体量庞大、分布广泛、结构复杂、价值不均匀等多种实际存在的问题，数据在分析之前需要规范和清洗，需要根据实际数据需求速度进行分布式存储，同时仅仅依赖单一的统计学分析已经远远不能满足现代智能化的工业生产线需要。面对海量和复杂的工业数据，常用的数据处理方法统计分析速度慢，难以进行大量数据查询分析，且难以保证大数据内异常数据的剔除与清洗，影响数据存储空间与利用率。
5.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.针对相关技术中的问题，本发明提出一种基于人工智能算法的工业大数据处理方法及系统，以克服现有相关技术所存在的上述技术问题。
7.为此，本发明采用的具体技术方案如下：一种基于人工智能算法的工业大数据处理方法，该方法包括以下步骤：s1、通过工业监测设备获取工业数据；s2、对所述工业数据进行智能识别与分类处理，包括：s3、对分类处理后的所述工业数据进行异常检测及预警；s4、对检测完毕后的正常数据进行分布式存储；s5、利用人工智能算法对工业数据分类处理系统进行更新迭代与优化；其中，所述对所述工业数据进行智能识别与分类处理，包括以下步骤：s21、对所述工业数据进行识别，并划分为文本参数类数据与影像类数据；s22、对所述文本参数类数据进行清洗与融合处理；
s23、对所述影像类数据进行审核与增强处理，并对内容进行标注；s24、将处理完毕的所述文本参数类数据与影像类数据进行上传；所述文本参数类数据进行清洗与融合处理，包括以下步骤：s221、利用拉依达准则对文本参数类数据进行清洗筛选；s222、计算同一类型文本参数类数据的算术平均值、剩余误差及标准差，根据异常判断准则剔除异常参数数据，并标记异常参数数据的时间节点；s223、重新计算剩余所述文本参数类数据的算术平均值、剩余误差及标准差并逐一去除异常参数数据，直至剔除所有的异常参数数据；s224、获得去除所有异常参数数据后实现融合的文本参数类数据；所述影像类数据进行审核与增强处理，并对内容进行标注，包括以下步骤：s231、对所述影像类数据进行审核，剔除异常影像数据；s232、提高所述影像类数据内视频与图像的分辨率与画面质量；s233、对所述影像类数据进行指纹提取，并利用内容识别技术提取影像类数据内容并进行标注；包括以下步骤：s2331、提取所述影像类数据的数据指纹，生成相似度分值与时间点信息，根据预先设定的阈值判断影像类数据的重复度与从属关系；s2332、根据所述重复度与从属关系对所述影像类数据进行分类；s2333、对所述影像类数据进行场景识别，对其中包含的语音与文本信息进行提取，提取关键词并作为标签进行标注；s2334、基于所述异常参数数据的时间节点定位对应的影像类数据，提取被定位影像类数据的异常节点数据指纹，基于所述异常节点数据指纹，标记具有同类数据指纹的所有影像类数据的节点，向用户发出预警。
8.进一步的，所述计算同一类型文本参数类数据的算术平均值、剩余误差及标准差，根据异常判断准则剔除异常参数数据，包括以下步骤：s2221、计算同一类型文本参数类数据的算术平均值，公式为：式中，表示同一类型文本参数类数据的算术平均值；表示同一类型文本参数类数据的数量；表示第i个文本参数类数据；s222、计算同一类型文本参数类数据的剩余误差，公式为：式中，表示第i个文本参数类数据的剩余误差；s222、利用贝塞尔公式计算出所述文本参数类数据的标准差；
式中，表示同一类型文本参数类数据的标准差；s222、若某一个文本参数类数据的剩余误差与标准差之间满足，则判定该文本参数类数据为异常参数数据并进行剔除。
9.进一步的，对所述影像类数据进行审核，剔除异常影像数据，包括以下步骤：s2311、基于所述异常参数数据的时间节点定位对应的影像类数据，提取被定位影像类数据的异常节点数据指纹；s2312、基于所述异常节点数据指纹，标记具有同类数据指纹的所有影像类数据的节点，作为异常影像数据进行剔除。
10.进一步的，所述提高所述影像类数据内视频与图像的分辨率与画面质量的方法包括超分辨率、hdr解码、tie增强、roi编码中的至少一种。
11.进一步的，所述影像类数据进行数据指纹提取，并利用内容识别技术提取影像类数据内容并进行标注，包括以下步骤：s2331、提取所述影像类数据的数据指纹，生成相似度分值与时间点信息，根据预先设定的阈值判断影像类数据的重复度与从属关系；s2332、根据所述重复度与从属关系对所述影像类数据进行分类；s2333、对所述影像类数据进行场景识别，对其中包含的语音与文本信息进行提取，提取关键词并作为标签进行标注。
12.进一步的，所述对分类处理后的所述工业数据进行异常检测及预警，包括以下步骤：s31、对所述工业数据的分类处理过程进行监控，并实时获取监测得到的异常参数数据与异常影像数据；s32、对所述异常参数数据与所述异常影像数据进行诊断；s33、根据诊断结果进行异常上报与预警提醒；s34、将所述异常参数数据、所述影像数据及所述诊断结果上传至异常数据的知识模型中进行存储。
13.进一步的，对所述异常参数数据与所述异常影像数据进行诊断，包括以下步骤：s321、将异常参数数据与异常影像数据分别传输至对应的知识模型中进行异常类别诊断；s322、当异常诊断成功后，调用系统异常提醒功能进行预警提醒，并输出诊断结果；s323、当异常诊断失败后，调用系统异常提醒功能进行预警提醒，利用人工诊断方式对异常进行诊断与修复，并挖掘该异常数据的特征关键语义进行补充，以及刷新知识模型中的异常数据类别库。
14.本发明还涉及一种基于人工智能算法的工业大数据处理系统，用于执行所述的方
法，该系统包括：数据监测采集单元，数据资源管理单元，异常诊断预警单元，分布式存储单元、算法迭代优化单元及可视化工业管理单元；所述数据资源管理单元包括数据识别分类模块、文本参数类处理模块、影像类处理模块及数据上报模块；所述异常诊断预警单元包括实时监控模块、异常诊断模块、预警提醒模块及知识模型库模块；所述可视化工业管理单元包括可视化操作模块、身份验证模块、访问控制模块、安全审计模块及安全运行模块。
15.本发明的有益效果为：1、通过构建与庞大工业大数据相匹配的人工智能算法数据处理体系，将采集到的工业数据进行识别分类与对应处理，有效提高数据整合、分析处理的效率与数据具备的精确度，结合一体化分布式自动存储，大大提高数据传输速率与存储安全性；同时，针对文本参数类数据与影像类数据的区别分别布置对应的异常值剔除与数据分析处理等相关算法流程，即通过人工智能识别算法对二者进行划分与单独分析处理，有效提高数据处理智能化与定制化，更加契合现代智能工业制造体系，保证大数据的安全高效、全面专业。
16.2、通过异常诊断预警对数据处理过程的全面实时监控，对其中清洗筛选的异常数据进行及时发现获取与诊断，保障工业大数据精简安全的前提下，大幅提高工业体系中设备隐患排查与故障诊断的效率，即对异常数据的智能识别与定位快速发现异常类别与异常位置，达到工业系统安全运维的功能效果。
17.3、通过异常针对文本类数据的异常诊断，来定位可能存在异常的影像类数据，提高了异常针对的效率。具体来说，影像类具有较大的数据量，且数据关联性高，直接进行异常诊断的话，计算量过大，本发明通过时间节点将文本类数据与影像类数据相关联，当某一时间节点的文本类数据出现异常时，则认为该时间节点的影像类数据可能存在异常，然后针对所有具有相同数据指纹的影像类数据进行预警，缩小了可能存在异常的范围，便于后续进一步的异常诊断，提高了异常诊断效率。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是根据本发明实施例的一种基于人工智能算法的工业大数据处理方法的流程图；图2是根据本发明实施例的一种基于人工智能算法的工业大数据处理方法对应工业数据处理系统的系统框图。
20.图中：1、数据监测采集单元；2、数据资源管理单元；201、数据识别分类模块；202、文本参数类处理模块；203、影像类处理模块；20301、智能审核子模块；20302、内容评估子模块；20303、影像质量子模块；204、数据上报模块；3、异常诊断预警单元；301、实时监控模块；
302、异常诊断模块；303、预警提醒模块；304、知识模型库模块；4、分布式存储单元；5、算法迭代优化单元；6、可视化工业管理单元；601、可视化操作模块；602、身份验证模块；603、访问控制模块；604、安全审计模块；605、安全运行模块。
具体实施方式
21.根据本发明的实施例，提供了一种基于人工智能算法的工业大数据处理方法及系统。
22.现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于人工智能算法的工业大数据处理方法，该方法包括以下步骤：s1、通过工业监测设备获取工业数据；工业监测设备包括配置在工业环境内各种监测传感器、工业相机，以及工业设备自身的数据采集装置、记录装置等，在工业生产过程中实时产生大量数据，该数据作为工业数据需要对其进行收录记载，作为生产记录。
23.s2、对所述工业数据进行智能识别与分类处理，包括以下步骤：s21、对所述工业数据进行识别，并划分为文本参数类数据与影像类数据；s22、对所述文本参数类数据进行清洗与融合处理，包括以下步骤：s221、利用拉依达准则对文本参数类数据进行清洗筛选；拉依达准则是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。
24.s222、计算同一类型文本参数类数据的算术平均值、剩余误差及标准差，根据异常判断准则剔除异常参数数据，并标记异常参数数据的时间节点；所述计算同一类型文本参数类数据的算术平均值、剩余误差及标准差，根据异常判断准则剔除异常参数数据，包括以下步骤：s2221、计算同一类型文本参数类数据的算术平均值，公式为：式中，表示同一类型文本参数类数据的算术平均值；表示同一类型文本参数类数据的数量；表示第i个文本参数类数据；s222、计算同一类型文本参数类数据的剩余误差，公式为：式中，表示第i个文本参数类数据的剩余误差；s222、利用贝塞尔公式计算出所述文本参数类数据的标准差；
式中，表示同一类型文本参数类数据的标准差；s222、若某一个文本参数类数据的剩余误差与标准差之间满足，则判定该文本参数类数据为异常参数数据并进行剔除。
25.检测到异常参数数据的传感器可能因为外部原因或者技术原因需要及时处理，因此需要系统对数据异常检测进行实时监控，可跟踪定位该传感器位置，可设置提醒相关工作人员查看并解决。而自适应加权融合算法的基本思想是在总均方误差最小的条件下，根据各测量数据以自适应方式寻找其对应的权值，使融合后的数据达到最优，降低数据冗余度的同时，大幅提高数据的精确度。
26.s223、重新计算剩余所述文本参数类数据的算术平均值、剩余误差及标准差并逐一去除异常参数数据，直至剔除所有的异常参数数据；s224、获得去除所有异常参数数据后实现融合的文本参数类数据；s23、对所述影像类数据进行审核与增强处理，并对内容进行标注，包括以下步骤：s231、对所述影像类数据进行审核，剔除异常影像数据，包括以下步骤：s2311、基于所述异常参数数据的时间节点定位对应的影像类数据，提取被定位影像类数据的异常节点数据指纹；s2312、基于所述异常节点数据指纹，标记具有同类数据指纹的所有影像类数据的节点，作为异常影像数据进行剔除。
27.s232、提高所述影像类数据内视频与图像的分辨率与画面质量；所述提高所述影像类数据内视频与图像的分辨率与画面质量的方法包括超分辨率、hdr解码、tie增强、roi编码中的至少一种。
28.超分辨率是对低质量、低分辨率图像，生成高质量、高分辨率图像。hdr编码为视频提供更加丰富的亮区和暗区细节。tie增强利用增强细节及画面平滑进行颜色、对比度增强。roi编码将更多编码资源分配给用户更感兴趣的视频区域，降低编码代价。
29.s233、对所述影像类数据进行指纹提取，并利用内容识别技术提取影像类数据内容并进行标注，包括以下步骤：s2331、提取所述影像类数据的数据指纹（影像类数据包括图像或视频格式，因此指纹包括图像指纹与视频指纹），生成相似度分值与时间点信息，根据预先设定的阈值判断影像类数据的重复度与从属关系；s2332、根据所述重复度与从属关系对所述影像类数据进行分类；s2333、对所述影像类数据进行场景识别，对其中包含的语音与文本信息进行提取，提取关键词并作为标签进行标注。
30.s24、将处理完毕的所述文本参数类数据与影像类数据进行上传。
31.s3、对分类处理后的所述工业数据进行异常检测及预警，包括以下步骤：s31、对所述工业数据的分类处理过程进行监控，并实时获取监测得到的异常参数
数据与异常影像数据；s32、对所述异常参数数据与所述异常影像数据进行诊断，包括以下步骤：s321、将异常参数数据与异常影像数据分别传输至对应的知识模型中进行异常类别诊断；s322、当异常诊断成功后，调用系统异常提醒功能进行预警提醒，并输出诊断结果；s323、当异常诊断失败后，调用系统异常提醒功能进行预警提醒，利用人工诊断方式对异常进行诊断与修复，并挖掘该异常数据的特征关键语义进行补充，以及刷新知识模型中的异常数据类别库。
32.s33、根据诊断结果进行异常上报与预警提醒；s34、将所述异常参数数据、所述影像数据及所述诊断结果上传至异常数据的知识模型中进行存储。
33.s4、对检测完毕后的正常数据进行分布式存储；s5、利用人工智能算法对工业数据分类处理系统进行更新迭代与优化。
34.由于工业大数据的体量庞大，数据也跟随工业生产与时间发生变化，因此人工智能算法同样需要日益改进，以至于能够对大数据保持同步，算法本身迭代与优化均在保证原算法的前提下，经过对短期内出现的新异常数据或者新生产工艺带来的变化进行考量，通过更改相应的识别阈值或者分类类别，来对智能算法进行完善，避免将新出现的工业数据等视为异常数据进行清洗。
35.另外，在本发明的另一个实施例中，还提出了基于人工智能算法的工业大数据处理方法相适配的系统，如图2所示，该系统包括：数据监测采集单元1，数据资源管理单元2，异常诊断预警单元3，分布式存储单元4、算法迭代优化单元5及可视化工业管理单元6；数据监测采集单元1，用于通过工业监测设备获取工业数据；数据资源管理单元2，用于对工业数据进行智能识别与分类处理；其中，所述数据资源管理单元2包括数据识别分类模块201、文本参数类处理模块202、影像类处理模块203及数据上报模块204；其中，所述数据识别分类模块201用于对工业数据进行识别与分类，划分为文本参数类数据与影像类数据；所述影像类处理模块203用于对所述影像类数据进行智能处理；其中，所述影像类处理模块203包括智能审核子模块20301、内容评估子模块20302及影像质量子模块20303；其中，所述智能审核子模块20301用于对影像类数据进行审核，剔除异常影像数据；所述影像质量子模块20303用于提高影像类数据的分辨率与画面质量。
36.其中，所述提高影像类数据的分辨率与画面质量的方法包括超分辨率、hdr解码、tie增强、roi编码中的至少一种。
37.所述数据上报模块204用于对将处理后的工业数据进行上报存储。
38.异常诊断预警单元3，用于对处理后工业数据进行异常检测预警；其中，所述异常诊断预警单元3包括实时监控模块301、异常诊断模块302、预警提
醒模块303及知识模型库模块304；其中，所述实时监控模块301用于对所述数据资源管理单元2进行监控并实时获取异常参数数据与异常影像数据；所述预警提醒模块303用于根据诊断结果进行异常上报与预警提醒；所述知识模型库模块304用于提供具备异常数据类别库的知识模型。
39.分布式存储单元4，用于实现工业数据的安全分布式存储；算法迭代优化单元5，用于对人工智能算法进行更新迭代与优化；可视化工业管理单元6，用于用户进行工业系统可视化管理。
40.其中，所述可视化工业管理单元6包括可视化操作模块601、身份验证模块602、访问控制模块603、安全审计模块604及安全运行模块605；所述可视化操作模块601用于提供可视化显示与指令输入操作；身份验证模块602用于保证工业数据信息安全与数据完整；访问控制模块603用于对访问者进行审核及权限管理；安全审计模块604用于记录用户登录信息数据与访问数据；安全运行模块605用于调用各工业设备与监测设备运行。
41.综上所述，借助于本发明的上述技术方案，通过构建与庞大工业大数据相匹配的人工智能算法数据处理体系，将采集到的工业数据进行识别分类与对应处理，有效提高数据整合、分析处理的效率与数据具备的精确度，结合一体化分布式自动存储，大大提高数据传输速率与存储安全性；同时，针对文本参数类数据与影像类数据的区别分别布置对应的异常值剔除与数据分析处理等相关算法流程，即通过人工智能识别算法对二者进行划分与单独分析处理，有效提高数据处理智能化与定制化，更加契合现代智能工业制造体系，保证大数据的安全高效、全面专业。
42.通过异常诊断预警单元对数据处理过程的全面实时监控，对其中清洗筛选的异常数据进行及时发现获取与诊断，保障工业大数据精简安全的前提下，大幅提高工业体系中设备隐患排查与故障诊断的效率，即对异常数据的智能识别与定位快速发现异常类别与异常位置，达到工业系统安全运维的功能效果。
43.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。