SCADA系统中的视觉人工智能的制作方法

scada系统中的视觉人工智能
1.本技术包含受版权保护的材料。版权所有者不反对任何人按照本专利公开登载在专利商标局的文件或记录中那样传真复制本专利公开，但在其他方面保留所有版权。
2.相关申请的交叉引用
3.本技术要求于2019年11月11日提交的标题为“visual artificial intelligence in scada systems”的美国临时申请no.62/933,722的优先权，该申请通过引用整体并入本文。
技术领域
4.一些实施例一般而言涉及通过用于执行视觉人工智能(ai)的新颖且改进的框架对基于网络的计算机化内容显示、托管和提供设备、系统和/或平台修改能力并提供非原生功能，来改进此类设备、系统和/或平台的性能，以便在监控和数据获取(scada)系统中捕获、分析、分类和呈现数字图像内容。


背景技术：

5.scada系统是指收集和分析信息的分布式计算系统。scada系统通常在各种工业现场和设施中采用，诸如但不限于化工厂、食品和饮料厂、基础设施、实验室、海洋设施、采矿场、石油/天然气设施、电力/公用设施、纸浆和造纸厂、制造设施、金属制造现场、水/废物处理设施等。scada系统可以监视与工业现场的健康和运营相关的各种条件，并且还可以控制现场或设施或在其中运营的资产的各个方面。


技术实现要素：

6.所公开的系统和方法提供了用于通过基于人工智能(ai)的新颖框架在scada系统内集成图像捕获和分类的先进机制。根据一些实施例，所公开的ai框架涉及用于集成到scada系统中的网络连接的相机集合的操作。
7.在一些实施例中，网络连接的相机在scada系统中提供视觉监控，该视觉监控可以要求操作者周期性地或基本上连续地查看、检测或识别当前条件或满足准则的条件。
8.与常规系统一样，由于监视不足而引起的缺乏监督在这些系统中可以是灾难性的。因此，一些实施例提供了一种自动化机制，其用于使用人工智能(ai)来监视条件并提醒最终用户采取动作。一些实施例还提供了用于连接、配置和训练ai系统以准备监视的工作流。一些实施例使得能够使用耦合到复杂数据处理和分析能力的相对便宜的无源相机。
9.一些实施例提供了用于资产管理和可视化的方法和系统。本公开的一些实施例涉及基于资产度量来构成所选择的数据并呈现传达统一的、以资产为中心的分析用户界面的显示。作为非限制性示例，一些工业现场采用成百上千的资产来执行工业操作。确保资产的正确操作对于管理工业现场至关重要。
10.既可以是实物的也可以是数字的资产(例如，在实物资产上执行的计算机程序)会遇到几个问题，诸如计划外的停机、故障、缺陷、维护、停产以及影响工业现场的效率和工作
流的其它问题。
11.因此，一些实施例提供了用于配置、训练和连接到scada系统的新颖的计算机化机制。本公开的一些实施例通过使用处理变量触发图像捕获和报告分类状态来启用更高效、更少依赖网络和/或计算机化资源的方式来集成对来自scada系统的视觉数据的监视。
12.一些实施例涉及基于scada控制变量的图像的捕获。在一些实施例中，可以为应用工具内的捕获的图像提供用于标签分类的方法、算法或准则集合。在一些实施例中，自动训练分类的图像可以包括反馈循环。因此，在对图像或图像集进行分类后，可以将分类信息(或与图像/图像集如何被分类相关的信息)反馈(例如，递归循环)到用于后续分类的自动训练处理。
13.一些实施例包括自动迁移学习模型。一些实施例包括用于配置针对假阳性与假阴性的阈值的简化方法。一些实施例包括用于调整感兴趣参数的滑块或其它控件。
14.一些实施例包括在监视期间基于图像分类来设置scada变量。一些实施例包括在监视期间基于图像分类来动态确定和应用scada变量。一些实施例包括scada系统内的工作流。一些实施例包括分布式资产系统。一些实施例包括scada系统内的工作流。在一些实施例中，允许操作者高效地执行视觉ai操作，而无需了解ai算法或方法。
15.根据一些实施例，公开了一种计算机实现的方法，其用于通过scada系统内的ai框架来捕获、分析和分类数字图像内容。
16.一些实施例提供了一种非暂态计算机可读存储介质，其用于执行上面提到的框架功能的技术步骤。非暂态计算机可读存储介质在其上有形地存储或有形地编码计算机可读指令，这些指令在由设备(例如，应用服务器、消息服务器、电子邮件服务器、广告服务器、内容服务器和/或客户端设备等)执行时使至少一个处理器执行用于经由scada系统内的ai框架来捕获、分析和分类数字图像内容的方法。
17.根据一个或多个实施例，提供了一种系统，该系统包括被配置为提供根据此类实施例的功能的一个或多个计算设备。根据一个或多个实施例，功能在由至少一个计算设备执行的方法的步骤中被实现。根据一个或多个实施例，由计算设备的(一个或多个)处理器执行以实现根据一个或多个此类实施例的功能的程序代码(或程序逻辑)被包括在非暂态计算机可读介质中、由其实现和/或被包括在其上。
18.根据一些实施例，公开了一种计算设备，其包括：一个或多个处理器；以及非暂态计算机可读存储器，其中存储有计算机可执行指令，指令在由一个或多个处理器执行时使一个或多个处理器执行包括以下项的动作：识别图像数据集，该图像数据集包括示出与一位置处的实物资产集合相关联的内容的类型的图像集合；基于用于对图像数据集进行分类的类别集合，定义与计算设备相关联地运行的二元分类器；将二元分类器应用于图像数据集，并且基于该应用来确定供所述位置处的相机集合应用的训练模型；经由训练模型的运行来监视所述位置，该监视包括由相机集合捕获第二图像集合，第二图像集合中的每个图像包括在所述位置发生的与至少一个实物资产相关联的所捕获的内容；基于训练模型分析第二图像集合；基于分析，自动地分类第二图像集合中的每个图像；以及，基于通过训练模型执行的分析和分类，在用户界面(ui)内显示第二图像集合和指示出分类的信息。
19.在一些实施例中，图像数据集包括多个预定图像。
20.在一些实施例中，动作还包括：经由相机集合中的至少一个相机来捕获第三图像
集合，其中，识别出的图像数据集包括所捕获的第三图像集合。
21.在一些实施例中，动作还包括：分析图像数据集，并确定图像集合的类型；以及基于所确定的类型来识别类别集合。在一些实施例中，动作还包括：识别第二类别集合，第二类别集合是基于另一种类型的图像集合的；以及转换与第二类别集合相关联的设置，该转换使得第二类别集合的迁移建模与类别集合的类型对应，其中第二类别集合被用于定义二元分类器。
22.在一些实施例中，动作还包括：基于与指示出第二图像集合的分类的信息相关联的信息来更新训练模型；以及将更新后的训练模型应用于第四图像集合。
23.在一些实施例中，ui还包括如下显示，该显示包括：用于查看第二图像集合内的所捕获的图像的分类的部分；用于捕获用以进行分类的另一个图像集合的部分；以及用于从用以进行分类的另一个图像集合中选择图像的部分。
24.在一些实施例中，当计算设备处于运行时(runtime)模式时执行监视。
25.在一些实施例中，监视是基于训练模型的运行而自动执行的。
26.在一些实施例中，经由与计算设备相关联地运行的图像训练应用来执行动作。
附图说明
27.本公开的上述和其它目的、特征和优点将从以下对附图中所示的实施例的描述中变得清楚，其中附图标记贯穿各个视图指相同的部分。附图不一定按比例绘制，而是强调说明本公开的原理：
28.图1图示了根据本公开的一些实施例的图像训练应用的高层级流程；
29.图2图示了根据本公开的一些实施例的图像训练应用布局；
30.图3图示了根据本公开的一些实施例的人工智能简档(profile)下拉选单；
31.图4图示了根据本公开的一些实施例的新模型配置；
32.图5a-图5b图示了根据本公开的一些实施例的训练视图；
33.图6图示了根据本公开的一些实施例的启用视觉人工智能系统的联网环境；
34.图7图示了示出根据本公开的一些实施例在图6的联网环境中执行的图像训练应用的操作的流程图；以及
35.图8图示了根据本公开的一些实施例的在图6的联网环境中实现的计算系统的示意图。
具体实施方式
36.现在将在下文中参考附图更全面地描述本公开，附图形成本公开的一部分，并且通过非限制性说明的方式示出了某些示例实施例。但是，主题可以以多种不同的形式实现，因此，所涵盖或要求保护的主题旨在被解释为不限于本文阐述的任何示例实施例；提供示例实施例仅仅是为了说明。同样，预期要求保护或涵盖的主题的合理的宽范围。其中，例如，主题可以被实现为方法、设备、组件或系统。因而，实施例可以例如采用硬件、软件、固件或其任何组合的形式(除软件本身以外)。因此，以下详细描述不旨在以限制性意义理解。
37.贯穿本说明书和权利要求书中，术语可以具有超出了明确陈述的含义的在上下文中建议或暗示的有细微差别的含义。同样，如本文所使用的短语“在一些实施例中”不一定
指相同的实施例，并且如本文所使用的短语“在另一个实施例中”不一定指不同的实施例。例如，要求保护的主题旨在包括全部或部分示例实施例的组合。
38.一般而言，术语可以至少部分地从上下文中的使用中理解。例如，如本文所使用的诸如“和”、“或”或“和/或”之类的术语可以包括多种含义，这些含义可以至少部分地取决于使用这些术语的上下文。通常，“或”如果被用于关联列表(诸如a、b或c)，那么旨在表示此处以包容性意义使用的a、b和c，以及此处以排他性意义使用的a、b或c。此外，如本文所使用的术语“一个或多个”，至少部分地取决于上下文，可以被用于以单数意义描述任何特征、结构或特点，或者可以用于以复数意义描述特征、结构或特点的组合。类似地，诸如“一”、“一个”或“该”之类的术语也可以被理解为传达单数用法或传达复数用法，这至少部分地取决于上下文。此外，术语“基于”可以被理解为不一定旨在传达因素的排他集合，而是可以允许存在不一定明确表达的附加因素，这再次至少部分地取决于上下文。
39.下面参考方法和设备的框图和操作图示来描述本公开。可以理解的是，框图或操作图示的每个方框，以及框图或操作图示中的方框的组合，可以通过模拟或数字硬件和计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机的处理器(以如本文详述的那样更改其功能)、专用计算机、asic或其它可编程数据处理装置，使得经由计算机或其它可编程数据处理装置的处理器执行的指令实现框图或一个或多个操作方框中指定的功能/动作。在一些替代实施方式中，方框中标注的功能/动作可以不按操作图示中标注的次序发生。例如，连续示出的两个方框实际上可以基本上并发执行，或者有时可以以相反的次序执行方框，这取决于所涉及的功能/动作。
40.为了本公开的目的，非暂态计算机可读介质(或一种或多种计算机可读存储介质)存储计算机数据，该数据可以包括机器可读的形式的可由计算机执行的计算机程序代码(或计算机可执行指令)。作为示例而非限制，计算机可读介质可以包括用于数据的有形或固定存储的计算机可读存储介质，或用于对包含代码的信号进行瞬时解译的通信介质。如本文所使用的，计算机可读存储介质是指物理或有形存储装置(与信号相反)并且包括但不限于以用于有形地存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括但不限于ram、rom、eprom、eeprom、闪存或其它固态存储器技术、cd-rom、dvd或其它光学存储装置、云存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储设备、或可以被用于有形地存储期望信息或数据或指令并且可以通过计算机或处理器访问的任何其它物理或材料介质。
41.为了本公开的目的，术语“服务器”应当被理解为指提供处理、数据库和通信设施的服务点。作为示例而非限制，术语“服务器”可以指具有相关联的通信和数据存储和数据库设施的单个物理处理器，或者它可以指处理器和相关联网络和存储设备的联网或聚类复合体，以及支持由服务器提供的服务的操作软件和一个或多个数据库系统和应用软件。云服务器就是示例。
42.为了本公开的目的，“网络”应当被理解为指可以耦合设备以便可以交换讯息的网络，诸如在服务器和客户端设备或其它类型的设备之间，包括在例如经由无线网络耦合的无线设备之间。例如，网络还可以包括大容量存储装置，诸如网络附加存储装置(nas)、存储区域网络(san)、内容交付网络(cdn)或其它形式的计算机或机器可读介质。网络可以包括
因特网、一个或多个局域网(lan)、一个或多个广域网(wan)、有线类型连接、无线类型连接、蜂窝或它们的任何组合。同样，可以采用不同体系架构或者可以与不同协议符合或兼容的子网络可以在更大的网络中互操作。
43.为了本公开的目的，“无线网络”应当被理解为将客户端设备与网络耦合。无线网络可以采用独立的自组织网络、网状网络、无线局域网(wlan)网络、蜂窝网络等。无线网络还可以采用多种网络接入技术，包括wi-fi、长期演进(lte)、wlan、无线路由器(wr)网状网络或第二代、第三代、第四代或第五代(2g、3g、4g或5g)蜂窝技术、蓝牙、802.11b/g/n等。例如，网络接入技术可以启用对诸如具有不同程度的移动性的客户端设备的设备的广域覆盖。
44.简而言之，无线网络实际上可以包括任何类型的无线通信机制，通过该机制，可以在诸如客户端设备或计算设备之类的设备之间、在网络之间或网络之内等传送信号。
45.计算设备可以能够诸如经由有线或无线网络发送或接收信号，或者可以能够诸如在作为物理存储器状态的存储器中处理或存储信号，并且因此可以作为服务器操作。因此，能够作为服务器操作的设备可以包括例如专用机架式服务器、台式计算机、膝上型计算机、机顶盒、结合各种特征(诸如上述设备的两个或更多个特征)的集成设备等。
46.为了本公开的目的，客户端(或消费者或用户)设备可以包括能够诸如经由有线或无线网络发送或接收信号的计算设备。例如，客户端设备可以包括台式计算机或便携式设备，诸如蜂窝电话、智能电话、显示寻呼机、射频(rf)设备、红外(ir)设备、近场通信(nfc)设备、个人数字助理(pda)、手持计算机、平板计算机、平板电话、膝上型计算机、机顶盒、可穿戴计算机、智能手表、结合各种特征(诸如前述设备的特征)的集成或分布式设备等。
47.客户端设备的能力或特征可以有所不同。要求保护的主题旨在涵盖广泛的潜在变化，诸如启用web的客户端设备或前面提到的设备可以包括例如高分辨率屏幕(例如，hd或4k)、一个或多个物理或虚拟键盘、大容量存储装置、一个或多个加速度计、一个或多个陀螺仪、全球定位系统(gps)或其它位置识别类型能力、或具有高级功能的显示器(诸如触摸敏感的彩色2d或3d显示器)。
48.现在将参考附图更详细地描述某些实施例。图1图示了根据本公开的一些实施例的图像训练应用的高层级非限制性流程图。根据一些实施例，本文公开的图像训练应用允许用户构建图像的数据集(与资产、位置、操作、产品等相关但不限于此)并训练深度学习模型以自动将图像分类为不同的类或类别。
49.在一些实施例中，图像数据集可以包括任何类型的图像内容
─
例如，示出与在(一个或多个)位置处的实物资产的集合相关联的内容的类型的图像集合。
50.根据一些实施例，图像训练应用的高层级流程可以分为三个层次。顶层准备要馈送到训练模型中的数据(步骤150-154)。在此，根据一些实施例，用户可以选择先前存在的图像数据集。步骤150。在一些实施例中，用户可以通过添加、移除或识别不同的数据集来自发地改变图像数据集。
51.在一些实施例中，用户可以使用相机拍摄照片以存储为有用的图像。步骤152。在这种情况下，用户可以选择连接到网络的相机。在一些实施例中，用户可以提供登录凭证以认证用户。可以根据用户指定的规则的集合来捕获图像。例如，可以按进度表(例如，每小时一次)捕获图像。用户还可以指定目录来存储所捕获的图像，由此创建图像数据集。
52.一旦通过自动或其它捕获而选择了或以其它方式创建了图像数据集，图像就可以被自动分类到类别中。步骤154。在一些实施例中，用户识别类别或类别的数量。用户可以设置最大类别数量。在一些实施例中，在数据集中存在预定数量的图像之后，允许用户手动将图像分类为单独的类别。
53.在一些实施例中，中间层对所获取的数据进行训练(步骤156-158)。例如，用户选择并配置要训练的深度学习模型并开始训练。步骤156。根据一些实施例，可以使用任何已知或将要知道的深度学习、机器学习或ai算法、科技、技术或机制来实现深度学习模型，包括但不限于计算机视觉、神经网络等。在一些实施例中，结果是基于输入的图像数据集生成训练数据。步骤158。因此，可以基于图像数据集创建训练模型。
54.在一些实施例中，在底层(步骤160)，训练模型被创建以预测新图像。在一些实施例中，一旦训练结束，用户就可以使用选择的相机来捕获附加的图像。训练模型可以将新获取的图像分类为指定的类别。在一些实施例中，训练模型可以触发图像的捕获，使得捕获和分类基于经由训练好的模型分析图像帧而自动发生。在一些实施例中，可以通过使用选单、滑块或其它界面来查看分类后的图像。
55.图2图示了根据本公开的一些实施例的图像训练应用布局的非限制性示例。在一些实施例中，图像训练应用呈现用于创建图像数据集、基于图像数据集生成训练模型、然后对附加图像进行分类的直观用户界面(ui)。
56.根据一些实施例，用户通过启动图像训练应用开始。在一些实施例中，可以从单独的应用启动图像训练应用。在一些实施例中，图像训练应用可以是独立的应用。在一些实施例中，图像训练应用可以被配置为第三方图像捕获应用的增强脚本、扩展或插件。
57.在一些实施例中，用户可以在相机反馈视图中选择“开始捕获”。作为响应，相机拍摄图片并将结果所得的图像存储为图像数据集并显示在数据集视图中。数据集视图呈现数据集中的图像的几个缩略图。
58.数据集视图最初在“未分类”选项卡下呈现数据集中的图像。在一些实施例中，可以选中或取消选中训练复选框。图像训练应用中的图2的ui允许用户在“训练模式”和“测试模式”之间切换。训练模式以缩略图或网格形式呈现图像，这些图像是用于创建训练模型的数据集的一部分。测试模式呈现用于在创建训练模型之后对其进行测试的图像。
59.图像训练应用中的ui使用户能够点击个体图像以选择它们
─
例如，在ui的“数据集视图”部分中。用户可以点击“control”键来选择多个图像。在选择一个或多个图像后，用户可以通过点击期望的类别来根据类别对它们进行分类。这允许用户标记多个图像或以其它方式给多个图像加标签以创建训练模型。此外，如图2中所示，用户可以点击图像以呈现图像的放大版本以供检查
─
例如，在ui的“放大视图”中。
60.图3图示了根据本公开的一些实施例的ai简档下拉选单的非限制性示例。在一些实施例中，用户可以给每个图像加标签。在一些实施例中，一旦完成每个标签或多个标签的加标签，用户就可以从多个深度学习模型中选择深度学习模型以应用于加标签的图像数据集。在一些实施例中，用户可以点击“ai简档”的下拉选单来选择现有简档。
61.图4图示了根据本公开的一些实施例的新模型配置的非限制性示例实施例。根据一些实施例，图4示出了如何通过利用基于不同数据集的预先存在的训练模型并将其应用于新数据集来创建训练模型。例如，如果创建了为了分类金属桶而创建的训练模型，那么用
户可以迁移这个训练模型以创建用于分类塑料容器的新训练模型。这被称为“迁移学习”。迁移学习可以通过使用基于不同数据集的类似训练模型来减少生成训练模型所花费的时间量。
62.为了迁移训练模型，用户可以点击“新建”按钮来创建新的简档。用户可以选择“迁移模型”并通过点击“保存”按钮来保存。在一些实施例中，用户可以通过点击“配置”按钮来配置任何模型。
63.在一些实施例中，当配置训练模型的迁移或转换时，用户可以使用默认设置。在一些实施例中，可以配置新的或经修改的或定制的设置，在一些实施例中，这些设置依作为迁移目的地的资产或项目的类型而定。
64.在一些实施例中，用户可以决定他们想要多少个轮次(epoch)来训练新模型。用户可以指定要分类的类别的名称。用户可以指定类别阈值或假阳性和假阴性的容错率。阈值越高，它可以容错率越小。例如，如果用户使用滑块选择0.9的阈值，那么模型只有在对属于特定类别有90％的置信度时才能将图像添加到该类别中。
65.在一些实施例中，不属于任何类别的图像可以被发送到“未分类”文件夹。在一些实施例中，用户可以通过取消选中“锁定阈值”来单独滑动图像。用户在指定参数之后可以保存配置。
66.图5a-图5b图示了根据本公开的一些实施例的训练视图。根据一些实施例，用户可以在训练模式中时阅读训练视图中的“状态”。用户可以选择“开始训练”。在构建训练模型时，用户可以看到动态出现在训练视图中的图形表示。在一些实施例中，“状态”可以被显示为“训练进行中”。训练可以在给定数量的轮次之后结束或者在模型收敛的情况下结束(以先到者为准)。在一些实施例中，用户可以通过选择“在轮次之后停止训练”选项来停止训练。
67.根据一些实施例，对图像数据集进行训练可以在每个轮次生成例如.h5文件，但只会在训练结束时保留具有最高精度的权重文件。一旦训练结束，用户就可以再次启动相机以拍摄用以生成新的图像数据集供测试训练模型的图片。用户可以在训练视图中选择“开始”以开始分类。在一些实施例中，用户可以取消选中“训练”方框以查看分类后的图像。在这方面，用户从训练模式切换到测试模式。用户可以打开类别的选项卡以查看在测试模式下哪些图像已被分类到这个类别。
68.在一些实施例中，用户可以在放大视图中查看图像的放大版本。用户界面呈现预先指派的颜色以包围用以指示出对应的类别或分类的图像。根据一些实施例，用户可以用不同的图像重新训练同一模型以获得更好的精度，否则它将过度拟合。
69.图6示出了根据各种实施例的联网环境100。联网环境100包括由硬件和软件的组合构成的计算系统101。计算系统101包括数据存储库103和图像训练应用106。计算系统101可以连接到网络108，诸如互联网、内联网、外联网、广域网(wan)、局域网(lan)、有线网络、无线网络或其它合适的网络等，或任何两个或更多个此类网络的组合。
70.计算系统101可以包括例如服务器计算机或提供计算能力的任何其它系统。可替代地，计算系统101可以采用多个计算设备，这些计算设备可以被布置在例如一个或几个服务器库或计算机库或其它布置中。此类计算设备可以位于单个装置中或者可以分布在许多不同的地理位置之间。例如，计算系统101可以包括多个计算设备，它们一起可以构成托管
的计算资源、网格计算资源和/或任何其它分布式计算布置。在一些情况下，计算系统101可以与弹性计算资源对应，其中处理、网络、存储或其它计算相关资源的分配容量可以随时间变化。计算系统101可以实现使用计算系统101的资源的一个或多个虚拟机。
71.根据各种实施例，应用和/或其它功能可以在计算系统101中运行。而且，各种数据存储在数据存储库103或计算系统101可访问的其它存储器中。数据存储库103可以被实现为数据库或存储设备。
72.如上面所提到的，在计算系统101上运行的组件包括图像训练应用106，其可以访问、修改和/或生成数据存储库103的内容。图像训练应用106生成允许用户选择数据集、捕获图像、查看图像数据集标记图像、生成新的训练模型、迁移训练模型以进行重新配置以及执行分类的用户界面。图像训练应用106可以被实现为生成基于web的文档的服务器侧应用。此类文档可以是超文本标记语言(html)文档、动态html文档、扩展标记语言(xml)文档、或者可以被解码和呈现以向用户呈现数据的其它文档或数据。图像训练应用1096可以包括发送和接收通过网络108传送的数据分组或其它信息的软件。
73.在一些实施例中，存储在数据存储库103中的信息包括用户账户118、训练数据集118、测试数据集121和训练模型。用户账户118可以包括提供定制的用户界面以及用户的登录凭证以访问图像训练应用106的信息。训练数据集118包括用于创建训练模型124的图像集合。训练数据集118最初可以是未加标签的。用户可以手动标记训练数据集121或给训练数据集121加标签。测试数据集121包括最初未加标签的图像的集合。测试数据集121可以通过使用训练模型124的分类器进行分类。
74.在一些非限制性实施例中，联网环境100还包括工业现场130。工业现场130可以是化工厂、食品和饮料厂、基础设施、实验室、海洋设施、采矿现场、石油/天然气设施、电力/公用设施、纸浆和造纸厂、制造设施、金属制造现场、水/废物处理设施等。在一些实施例中，工业现场130包括至少几个资产。资产是提供功能或以其它方式相对于工业现场130而言是重要的项目、结构、设备或系统。例如，资产可以是工具、机器、计算模块、结构、车辆或工业组件。
75.在一些实施例中，工业现场130包括一个或多个相机144。相机可以是用于捕获视频或静止图片的光学传感器或其它成像设备。每个相机被配置为通过网络108与计算系统101通信。
76.在一些实施例中，联网环境100还包括一个或多个客户端设备124。客户端设备152允许用户通过网络108与计算系统101的组件交互。客户端设备152可以是例如蜂窝电话、膝上型计算机、个人计算机、移动设备或用户使用的任何其它计算设备。客户端设备152可以包括与图像训练应用106通信以构建训练模型124并使用训练模型执行工业现场102中资产的分类的应用，诸如web浏览器或移动应用。客户端设备152可以使用例如浏览器或专用应用来呈现用户界面。
77.图7是图示根据一些实施例的在图6的联网环境100中实现的图像训练应用106的功能的示例的流程图。应该理解的是，图7的流程图仅提供了可以用于实现如本文所述的图像训练应用106的许多不同类型的功能布置的示例。图7的流程图可以被视为示出根据一些实施例的由图像训练应用106实现的方法的元素的示例。
78.在一些实施例中，在项目701处，图像训练应用106确定它是否处于训练模式。训练
模式是基于训练数据集118创建训练模型124的模式。在一些实施例中，当不处于训练模式时，图像训练应用106可以处于用于测试训练模型的测试模式。在一些实施例中，图像训练应用106可以处于运行时模式以便在运行时环境中执行分类。如果图像训练应用106处于训练模式，那么流程图前进到项目705。
79.在一些实施例中，在项目705处，图像训练应用106可以基于新的训练数据118或使用训练模型迁移来创建训练模型124，该训练模型迁移利用预先存在的训练模型124并将其重新配置以应用于新的训练数据集118，如上面所讨论的。如果没有预先存在的训练模型124的迁移，那么流程图前进到项目710。
80.在一些实施例中，在项目710处，图像训练应用106向用户呈现是选择预先存在的训练数据集还是创建新的训练数据集的选项。在一些实施例中，在项目715处，图像训练应用106提示用户选择训练数据集118的位置。但是，如果用户希望创建新的训练数据集118，那么在项目720处，图像训练应用106提示用户执行图像捕获以生成训练数据集118。在这种情况下，在一些实施例中，图像训练应用106使用凭证来认证用户，然后接收对相机144的选择。
81.在一些实施例中，通过由图像训练应用106呈现的用户界面，用户可以识别一个或多个图像捕获规则，诸如使用选择的相机144捕获图像的频率、图像捕获准则(诸如例如图像质量和存储捕获的图像的位置)。在捕获足够数量的图像之后，训练数据集118就完成了。在一些实施例中，需要预定的图像最小数量以使训练数据集118被认为是完整的。
82.在一些实施例中，一旦训练数据集118被识别(或者通过选择预先存在的数据集或者通过从图像捕获生成新的数据集)，那么在项目725处，图像训练应用106呈现用于获得多个标签的用户界面。上面关于图2描述了用户界面的示例。用户界面使用网格视图提供在训练数据集118中的多个图像。用户界面允许多个图像的选择和/或交互，然后同时被加标签。在一些实施例中，ui还可以提供预览窗口以显示所选择的图像。
83.在一些实施例中，在项目730处，图像训练应用106生成训练模型124。例如，使用手动加标签的训练数据集118，用户可以指定参数以生成训练模型124。当图像训练应用106生成训练模型125时，它可以在实时生成训练模型时显示状态。该过程在生成训练模型后完成。
84.在生成训练模型时，可以使用二元分类器对图像进行分类。在一些实施例中，用户可以使用滑动标尺或其它界面来指定置信度水平阈值以指定应当如何对图像进行分类。用户还可以命名每个分类。例如，工业环境中的资产可能需要被分类到以下类别中，诸如但不限于“批准的”、“拒绝的”、“有缺陷的”、“无缺陷的”等。用户可以命名标签，作为训练模型生成的一部分。
85.在一些实施例中，在项目735处，用户可能想要从预先存在的训练模型创建训练模型。因此，在项目735处，图像训练应用106识别预先存在的训练模型。可以根据第一训练数据集已经生成了预先存在的训练模型。用户可以希望重新配置训练模型以应用于第二训练数据集。在一些实施例中，图像训练应用106提供选单以允许用户在多个预先存在的训练模型当中选择一个。
86.在一些实施例中，在项目740处，图像训练应用106重新配置选择的训练模型。这可以被称为自动迁移学习模型。这在上面关于图4进行了描述。该过程在生成训练模型后完
成。
87.当用户选择测试模式或运行时模式而不是训练模式时，然后，在项目701处，图像训练应用106选择测试数据集121进行测试。图像训练应用106可以生成用户界面以允许用户加载所选择的测试数据集121。
88.在一些实施例中，在项目740处，图像训练应用106使用训练模型运行分类器。分类器自动给测试数据集121中的图像加标签。在一些实施例中，用户可以基于分类器输出来评估训练模型124的精度。这允许用户重新配置训练模型、调整阈值置信度水平或创建新的训练数据集以微调训练模型124。
89.因此，如上面所讨论的，在捕获(一个或多个)附加图像后，训练(或经训练的)模型可以被应用，并且无需用户输入，自动地分析新获取的(一个或多个)图像并将其分类到指定的类别中。在一些实施例中，(一个或多个)分类的图像可以根据选单、滑块或其它界面对象在用户界面(ui)内可视地显示，并且在一些实施例中，分类的图像可以与指示出已发生的分类的增强数据一起显示。在一些实施例中，与图像集合如何分类相关的信息(例如，类型分类、例如哪些内容被分类以及以何种方式分类)可以被反馈(例如，经由与图像训练应用相关联的递归功能)给训练模型，以供在运行时(例如，正在捕获的另一个图像集合)或训练模式内进行后续分类。
90.图8是提供根据一些实施例的图6的计算系统101的一个示例说明的示意性框图。计算系统101可以包括一个或多个计算设备800。每个计算设备800可以包括至少一个处理器电路，其例如具有处理器803和存储器806，两者都耦合到本地接口809或总线。每个计算设备800可以包括至少一个服务器计算机或类似设备。本地接口809可以包括具有伴随地址/控制总线或其它总线结构的数据总线。
91.数据和几个组件可以存储在存储器806中。数据和几个组件可以由处理器803访问和/或执行。图像训练应用106可以存储在存储器806中并且可由处理器803执行。数据存储库103和其它数据可以存储在存储器806中。操作系统可以存储在存储器806中并且可由处理器803执行。
92.其它应用可以存储在存储器806中并且可以由处理器803执行。本文讨论的任何组件都可以以软件的形式实现，可以采用多种编程语言中的任何一种，例如，c、c 、c#、objective c、c、perl、php、visualruby或其它编程语言。
93.几个软件组件可以存储在存储器806中并且可以由处理器803执行。术语“可执行文件”可以被描述为最终可以由处理器9803运行的形式的程序文件。可执行程序的示例可以是：可以被翻译成其格式可以被加载到存储器806的随机存取部分并由处理器803运行的机器代码的经编译的程序、可以以适当格式表达的源代码
─
诸如能够被加载到存储器806的随机存取部分中并由处理器803执行的对象代码或者可以由另一个可执行程序解译以在存储器806的随机存取部分中生成指令以供处理器803执行的源代码、等等。可执行程序可以存储在存储器806的任何部分或组件中，例如随机存取存储器(ram)、只读存储器(rom)、硬盘驱动器、固态驱动器、usb闪存驱动器、存储卡、光盘(诸如压缩盘(cd)或数字多功能光盘(dvd))、软盘、磁带或任何其它存储器组件。
94.存储器806可以被定义为包括易失性和非易失性存储器二者以及数据存储组件。
易失性组件可以是在断电后不保留数据值的组件。非易失性组件可以是在断电后保留数据的组件。存储器806可以包括随机存取存储器(ram)、只读存储器(rom)、硬盘驱动器、固态驱动器、usb闪存驱动器、经由存储卡读取器访问的存储卡、经由相关联的软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当的带驱动器访问的磁带、和/或其它存储器组件，或这些存储器组件中的任何两个或更多个的组合。在实施例中，ram可以包括静态随机存取存储器(sram)、动态随机存取存储器(dram)或磁性随机存取存储器(mram)和其它此类设备。在实施例中，rom可以包括可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或其它类似的存储器设备。
95.处理器803可以表示多个处理器803和/或多个处理器核，并且存储器806可以表示可以分别在并行处理电路中操作的多个存储器806。本地接口809可以是促进多个处理器803中的任何两个之间、任何处理器803与存储器806中的任何一个之间、或存储器806中的任何两个之间的通信等的适当网络。本地接口809可以包括被设计为协调这种通信的附加系统，例如，执行负载平衡。处理器803可以是电的或其它可用的结构。
96.图像训练应用106可以以软件或由硬件执行的代码实现，如上面所讨论的，作为替代，其也可以以专用硬件或软件/硬件和专用硬件的组合实现。如果以专用硬件实现，那么每个都可以被实现为采用多种技术中的任何一种或其组合的电路或状态机。这些技术可以包括但不限于：具有用于在应用一个或多个数据信号时实现各种逻辑功能的逻辑门的分立逻辑电路、具有适当逻辑门的专用集成电路(asic)、现场可编程门阵列(fpga)或其它组件等。技术一般可以是本领域技术人员众所周知的，因此在本文不再详细描述。
97.本文描述的操作可以被实现为存储在计算机可读介质中的软件。计算机可读介质可以包括许多物理介质，例如磁性、光学或半导体介质。合适的计算机可读介质的示例可以包括但不限于磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、usb闪存驱动器或光盘。在实施例中，计算机可读介质可以是随机存取存储器(ram)，例如，静态随机存取存储器(sram)和动态随机存取存储器(dram)或磁性随机存取存储器(mram)。计算机可读介质可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或其它类型的存储设备。
98.本文描述的任何逻辑或应用，包括图像训练应用106，都可以以多种方式实现和构造。所描述的一个或多个应用可以被实现为单个应用的模块或组件。本文描述的一个或多个应用可以在共享或分离的计算设备或其组合中执行。例如，本文描述的软件应用可以在相同的计算设备800中执行，或者在同一计算系统101中的多个计算设备中执行。此外，应该理解的是，诸如“应用”、“服务”、“系统”、“引擎”、“模块”等术语可以互换并且不旨在进行限制。
99.本领域技术人员将认识到的是，本公开的方法和系统可以以许多方式实现，因此不受前述示例性实施例和示例的限制。换句话说，由单个或多个组件以硬件和软件或固件的各种组合执行的功能要素以及各个功能可以在客户端层面或者服务器层面或者这两个层面处的软件应用之间分布。在这方面，本文描述的不同实施例的任何数量的特征可以组合到单个或多个实施例中，并且具有少于或多于本文描述的所有特征的替代实施例是可能的。
100.功能也可以全部或部分地以现在已知或将要知道的方式分布在多个组件中。因
此，无数软件/硬件/固件组合在实现本文描述的功能、特征、界面和偏好方面是可能的。而且，本公开的范围涵盖用于执行所描述的特征和功能和接口的常规已知方式，以及可以对本文描述的硬件或软件或固件组件进行的那些变化和修改，如本领域技术人员现在和以后将理解的那样。
101.此外，本公开中作为流程图呈现和描述的方法的实施例以示例的方式提供，以便提供对本技术的更完整的理解。所公开的方法不限于本文呈现的操作和逻辑流程。设想替代实施例，其中各种操作的次序被更改，并且其中被描述为更大操作的一部分的子操作被独立地执行。
102.虽然出于本公开的目的已经描述了各种实施例，但不应当认为此类实施例将本公开的教导限制到这些实施例。可以对上述要素和操作进行各种改变和修改以获得保持在本公开中描述的系统和处理的范围内的结果。