一种基于机器学习的煤炭业务处理方法及设备与流程

1.本发明涉及机器学习技术领域，尤其涉及一种基于机器学习的煤炭业务处理方法、装置、计算机设备及计算机可读存储介质。


背景技术：

2.人类在经历了蒸汽革命，电气革命和信息技术革命后，终于迎来了一场空前的智能革命。国内外各大公司纷纷宣布将人工智能作为下一步发展的战略重心。煤炭行业正处于由自动化向数字化，智能化阶段转换的过程中，也是国家实现双碳战略目标的重要一环。
3.那么如何快速提供可复用，可组装的ai基础服务能力，降低ai的使用门槛，推进煤炭行业与人工智能技术的进一步融合，使其在各业务中加速落地，催生新业态，新模式，为实现战略目标提供强大引擎。机器学习平台便呼之欲出。
4.整个机器学习的工程化落地过程，掺杂着很多与机器学习本身不很相关，却和基础设施、其他工程领域强相关且通用的事情。比如环境搭建，框架安装适配；模型部署，训练任务监控、可视化、任务调度等。机器学习平台可以解决该问题，使研发更聚焦于算法及业务应用，使非ai研发人员也可以使用ai算法和模型。
5.机器学习平台一般包括数据输入，数据标注，模型搭建，模型训练，模型评估，模型发布，模型部署几个主要环节。同时支持多种机器学习/深度学习框架，比如tensorflow(谷歌)，pytorch(脸书)，caffe(加州伯克利分校)，mxnet(亚马逊)，theano(蒙特利尔大学)，chainer等。
6.自我国将人工智能作为成下一步重要发展战略以来，人工智能在各类产业中蓬勃发展。各大厂商也相继推出了自主研发的机器学习平台(深度学习平台)像百度easydl/bml，腾讯智能钛，华为modelarts机器学习平台，科大讯飞机器学习平台，阿里机器学习平台pai，京东人工智能，海尔u 人工智能开放平台等。
7.科大讯飞机器学习平台包含了各类人工智能应用及产品，其优势在语音识别、语音合成。滴滴、高德地图、携程等企业都在用他们的语音交互服务的接口。华为modelarts机器学习平台，满足各类ai需求者的使用尤其是与自家产品的深度配合上尤为突出。在自动驾驶，智慧城市领域有不错的践行。阿里入局早，腾讯擅长医疗影像，百度擅长自然语言处理，各大厂商产品均有自身闪光的点，及在不同领域的成功实践。
8.对于煤炭行业，存在如下问题：
9.问题一：大厂成熟平台暂未有煤炭行业大量的成功实践及数据储备。
10.问题二：大厂成熟平台功能较为通用，很多功能及业务在煤炭行业使用率低。
11.问题三：随着数据保护意识的增强，煤炭行业客户并不希望数据上云，而大厂平台私有化部署成本过高。


技术实现要素：

12.本发明提供一种基于机器学习的煤炭业务处理方法、装置、计算机设备及计算机
可读存储介质，旨在解决现有机器学习平台在煤炭行业中数据储备不足，成功实践不足，使用率不高及私有化成本高的问题。
13.为此，本发明的第一个目的在于提出一种基于机器学习的煤炭业务处理方法，包括：
14.构建煤炭业务机器学习训练模型平台，获取完成标记的煤炭业务数据，输入所述煤炭业务机器学习训练模型平台进行训练；
15.基于业务类型对所述煤炭业务机器学习训练模型平台进行标准化封装，得到对应不同业务类型的应用，并将全部应用部署于机器学习部署平台；
16.采集实时煤炭业务数据，识别类型后输入对应的应用中，通过对应的应用处理所述实时煤炭业务数据。
17.其中，构建所述煤炭业务机器学习训练模型平台的步骤包括：
18.环境搭建，包括服务器配置、使用环境搭建和框架安装；
19.数据清洗，包括对煤炭业务数据的多模态数据进行去重、坏点去除；对煤炭业务数据的图像数据进行归一化数据格式及图像清晰化、均衡化处理，避免因现场光线不足，灰尘大或者反光所造成的图像模糊；其中，煤炭业务数据的模态类型至少包括：图像、音频、视频及文本大数据；
20.数据标注，包括图像框标注、线段标注和文本分割标注；
21.模型训练，将数据清洗和数据标注后的煤炭业务多模态数据作为训练集，将不同模态类型的训练集输入对应不同模态数据类型的模型中进行模型训练；
22.模型管理，针对不同煤炭业务类型，分别训练得到对应业务场景应用的模型。
23.其中，对煤炭业务数据的图像数据进行归一化数据格式的方式至少包括：图像旋转、图像裁剪和图像缩放。
24.其中，模型训练中训练的模型类型至少包括：图像分类模型、目标检测模型、语音识别模型、nlp语义理解模型、ocr识别模型。
25.其中，模型部署后得到的应用类型至少包括：设备故障监测，智能视频监测，智能装车，自动驾驶，安全管理，智能运营。
26.其中，应用采用微服务架构实现，所述微服务架构分为两端：数据生产端和数据使用端，均向微服务架构的服务注册中心注册服务，通过注册中心整体进行调度及数据与应用的组合；不同应用间相互独立，根据需求组合部署或者独立部署；同时每一应用对外消息发布联动，消息发布方式包括广播、组播和靶向通知。
27.其中，实时煤矿业务数据的来源至少包括：煤炭场景下所有终端数据、同构震动传感器、语音接入设备、视频接入设备、plc系统、erp系统、mes系统。
28.本发明的第二个目的在于提出一种基于机器学习的煤炭业务处理装置，包括：
29.模型构建模块，用于构建煤炭业务机器学习训练模型平台，获取完成标记的煤炭业务数据，输入所述煤炭业务机器学习训练模型平台进行训练；
30.应用封装模块，用于基于业务类型对所述煤炭业务机器学习训练模型平台进行标准化封装，得到不同业务类型的应用；
31.数据处理模块，用于采集实时煤炭业务数据，识别类型后输入对应的应用中，通过对应的应用处理所述实时煤炭业务数据。
32.本发明的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。
33.本发明的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。
34.本发明的第四个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述技术方案的方法。
35.区别于现有技术，本发明提供的基于机器学习的煤炭业务处理方法，通过对煤矿实际业务及应用场景进行机器学习平台设计，对煤炭行业实际应用现场及设备数据、模型进行积累，收编及优化，完成对机器学习平台在煤炭行业大量数据和成功实践的储备；对煤炭行业数据、算法模型的命名及发布进行规范化、标准化管理，提高可追溯性；采用微服务架构，将具体业务封装为应用，每个应用运行在独立的进程中，保证业务高度的独立性，低耦合，高内聚；应用之间相互协调，相互配合，为最终用户提供应用价值。
附图说明
36.本发明的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
37.图1是本发明提供的一种基于机器学习的煤炭业务处理方法的流程示意图。
38.图2是本发明提供的一种基于机器学习的煤炭业务处理方法的平台架构示意图。
39.图3是本发明提供的一种一种基于机器学习的煤炭业务处理方法的数据流传输示意图。
40.图4是本发明提供的一种基于机器学习的煤炭业务处理方法的平台结构示意图。
41.图5是本发明提供的一种基于机器学习的煤炭业务处理方法的微服务架构技术示意图。
42.图6是本发明提供的一种基于机器学习的煤炭业务处理装置的结构示意图。
43.图7是本发明提供的一种非临时性计算机可读存储介质的结构示意图。
具体实施方式
44.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
45.图2为本发明实施例所提供的一种基于机器学习的煤炭业务处理方法的流程示意图。
46.包括：
47.步骤101：构建煤炭业务机器学习训练模型平台，获取完成标记的煤炭业务数据，输入所述煤炭业务机器学习训练模型平台进行训练。
48.本发明提供整体的机器学习平台解决方案，如图2所示。从煤矿现场各类非结构数据接入，数据传输，模型训练，模型部署和前端展示。其中主要的技术点包含机器学习训练
平台和机器学习部署平台的实现。
49.如图2所示，本发明提供了煤炭行业机器学习训练及部署的整体解决方案，并从端到端解释了整个过程。最底层为数据输入层，即各类传感器，设备，软件系统数据接入。传输层为数据的适配及传输，实现将底层数据传入处理平台的。平台层，即功能层是机器学习训练平台功能的实现层，为煤炭行业提供图像分类，目标检测，语音识别，nlp语义理解，ocr识别等基础可复用功能模块。应用层即为部署层，根据实际业务进行灵活组合封装，对内对外提供服务。最后是用户展示界面，本发明支持web页面，移动终端和中央大屏等多种展示方式。
50.具体的，机器学习训练平台，包含环境搭建、数据清洗、数据标注、模型训练、模型管理、模型部署六个模块，“端到端”保障目标监测，图像分类，图像分割，语音，nlp，ocr等需求的全流程实施。机器学习训练平台的使用，可以降低煤炭行业ai的使用门槛，提高ai开发效率，拓展ai的使用场景，使资源专业高效集中化、多个需求并行，模型管理发布标准化，使需求快速落地。
51.本发明中机器学习训练平台需要端到端且自动处理的能力。如图4所示，构建所述煤炭业务机器学习训练模型平台的步骤包括：
52.环境搭建，包括服务器配置、使用环境搭建和框架安装；
53.数据清洗，包括对煤炭业务数据的多模态数据进行去重、坏点去除；对煤炭业务数据的图像数据进行归一化数据格式及图像清晰化、均衡化处理，避免因现场光线不足，灰尘大或者反光所造成的图像模糊；其中，煤炭业务数据的模态类型至少包括：图像、音频、视频及文本大数据。数据流采集过程如图3所示。
54.数据标注，包括图像框标注、线段标注和文本分割标注；
55.模型训练，将数据清洗和数据标注后的煤炭业务多模态数据作为训练集，将不同模态类型的训练集输入对应不同模态数据类型的模型中进行模型训练；
56.模型管理，针对不同煤炭业务类型，分别训练得到对应业务场景应用的模型。
57.步骤102：基于业务类型对所述煤炭业务机器学习训练模型平台进行标准化封装，得到对应不同业务类型的应用，并将全部应用部署于机器学习部署平台。
58.通过对数据进行分析挖掘，进行建模并通过机器学习的算法训练为模型，并通过模型管理来对模型进行封装、版本管理及代码管理。最后根据将已经训练好的模型进行标准化封装，通过api进行发布。
59.煤炭行业的业务场景主要分为选煤厂，井工矿和露天矿三种大的使用场景。根据选煤厂、井工矿、露天矿各个实际项目应用情况，分为设备故障监测、智能视频监测、智能装车、自动驾驶、安全管理、智能运营等多个业务模块，同时支持与其他系统与设备间通过tcp/ip进行互通互联，将应用分析结果以广播，组播，靶向发送的方式与相关设备产生联动。
60.如图5所示，本发明中封装得到的应用采用微服务架构来实现，各个应用均是一个微服务，其分为两端，数据生产端和数据使用端，其均向服务注册中心注册服务，通过注册中心整体进行调度及数据与应用的组合。因此各个应用间是独立的，可以根据需求组合部署或者独立部署。同时对外消息发布联动支持广播，组播和靶向通知等方式。因其解耦的业务应用及专业化训练学习平台，其在各个矿区的私有化落地成本大大降低。
61.步骤103：采集实时煤炭业务数据，识别类型后输入机器学习部署平台对应的应用中，通过对应的应用处理所述实时煤炭业务数据。
62.在使用时，各终端现场数据直接进入煤炭业务机器学习训练模型平台，通过平台的各类应用得到推理结果，并将该类结果输出给相关系统和终端，以实现联动或者预警。
63.具体通过铁路货车车型车号识别的实施例进行说明：
64.该实例主要用于选煤厂定量装车，具体过程如下：
65.训练过程：在火车进站位置安装摄像头，拍摄到火车侧面标识部分，采用快拍的方式，获取到的数据将通过nvr服务器进行传输均衡，之后通过网络传输至煤炭业务机器学习训练模型平台，选择算法和骨干网络对其识别模型进行训练，该过程设计轮廓识别，车号识别及特征融合多个处理方式，最终形成一个车厢车号识别模型，保存在训练平台并发布api。
66.部署过程：车厢车号识别应用通过调用api实现推理部署过程。在每列火车进展时，现场采集的数据传输到部署平台，部署平台运行推理过程并将推理结果发送至plc控制系统和前端展示页面，plc系统即根据车型车号进行定量仓配置，配合车速检测，进而实现自动装车。
67.为了实现实施例，本发明还提出一种煤层超长大直径钻孔卸压防治冲击地压装置，如图6所示，包括：
68.模型构建模块310，用于构建煤炭业务机器学习训练模型平台，获取完成标记的煤炭业务数据，输入所述煤炭业务机器学习训练模型平台进行训练；
69.应用封装模块320，用于基于业务类型对所述煤炭业务机器学习训练模型平台进行标准化封装，得到不同业务类型的应用；
70.数据处理模块330，用于采集实时煤炭业务数据，识别类型后输入对应的应用中，通过对应的应用处理所述实时煤炭业务数据。
71.为了实现实施例，本发明还提出另一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本发明实施例的煤层超长大直径钻孔卸压防治冲击地压。
72.如图7所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，指令可由煤层超长大直径钻孔卸压防治冲击地压装置的处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
73.为了实现所述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的煤层超长大直径钻孔卸压防治冲击地压。
74.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。
75.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
76.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
77.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
78.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
79.本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
80.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
81.所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。