用于生成HMI图形的系统和方法与流程

用于生成hmi图形的系统和方法
技术领域
1.本公开总体上涉及工业自动化系统。更具体地涉及用于生成与实现机器学习的工业自动化系统相关联的人机界面(hmi)图形的系统和方法。


背景技术：

2.工业自动化系统包括很多传感器、执行器和控制器，以用于监测和控制工业中的操作和过程。这种控制器包括具有图形画面的应用，以供操作者监测工业自动化系统的操作。图形画面使用人机界面(hmi)在计算设备上提供。
3.hmi是与控制器接口的常用连接工具。根据需要，hmi在操作者与机器之间交换信息以协调多个工业过程。hmi设计的目标是使得操作者能够通过改进的决策来管理制造过程，同时防止出现故障情况，以减少停机时间。因此，使用上下文/情境数据来感知信息和信息流的变化提供了有效的操作者hmi设计实践。现有hmi设计到最新版本的迁移或升级策略取决于多种因素，例如改进的用户界面、添加的特征和高效的通信。本文中的主要挑战是尽可能高效且经济地设计和调试目标hmi图形。
4.存在多种hmi迁移工具；然而，这些迁移工具并非100％准确，并且需要人工干预才能产生目标hmi图形。手动验证任务消耗大量时间。更具体地，当需要干预300-400个hmi时，每个hmi手动干预将耗费大量时间并且容易出错。此外，对于复杂的hmi对象，存在大量不同大小和形状的对象，这些对象的手动验证会非常繁琐，从而降低了hmi迁移效率。因此，这种手动解决方案在hmi迁移过程中可能不合适，因此需要改进的hmi迁移布置，从而提高hmi迁移效率和准确性。


技术实现要素：

5.本发明的发明人在经过创造性的和有洞察力的推理之后意识到，随着越来越多的hmi图形转换需要在如上文和下文中讨论的未来市场中实现，存在预想的问题。
6.本公开试图公开一种系统和方法以推断和提供一种有效/自动的方式来生成hmi图形和/或将hmi图形从一个版本转换为另一版本，例如，从旧有hmi转换为迁移hmi。
7.本公开提供了一种解决方案，该解决方案旨在单独或以任何组合来减轻、缓解或消除本领域中的一个或多个上述缺陷和缺点，并且提供一种自动/高效机制的解决方案以在hmi迁移期间提供改进的hmi图形。
8.第一方面是一种用于生成与工业自动化系统相关联的hmi图形的计算机实现的方法。该方法包括接收迁移hmi图形。迁移hmi图形是从旧有hmi图形获取的，并且迁移hmi图形包括多个工业对象。此外，该方法包括使用历史标记数据集在上述迁移hmi图形中标识丢失工业对象，该历史标记数据集包括工业对象的多个标记hmi图形，该工业对象包括图形对象和数据对象。一旦标识出丢失工业对象，则校正迁移hmi图形以包括标识出的丢失工业对象，并且生成已校正hmi图形并且将其输出到系统。在一些方面，向计算设备或操作工业操作系统的操作者或任何相关个人的任何其他便携式设备传输指示已校正hmi图形的通知。
9.在一些实施例中，旧有hmi图形中的工业对象与工业自动化系统/工业设备的较旧版本相关联，并且上述迁移hmi图形中的(多个)工业对象与工业自动化系统/工业设备的较新版本相关联。
10.在一些实施例中，至少一个丢失工业对象指示至少一个工业对象在迁移hmi图形(118)的场景中丢失。
11.在一些实施例中，用于在迁移hmi图形中标识丢失对象的方法包括使用对象识别技术在迁移hmi图形和旧有hmi图形两者中标识工业对象。该方法还包括确定迁移hmi图形和旧有hmi图形两者中的标识出的工业对象之间的差异，并且基于上述确定的差异并且使用至少一个工业对象的历史hmi标记数据集来在迁移hmi图形中标识丢失工业对象。
12.在一些实施例中，包括工业对象的已校正hmi图形的准确性使用包括工业对象的多个标记hmi图形(或图像)的历史hmi标记数据集来评估。在某些方面，历史hmi标记数据集可以基于领域知识/领域专家来获取。
13.在一些实施例中，用于在迁移hmi图形中标识丢失对象的方法包括：获取迁移hmi图形中的占位符，基于占位符检测迁移hmi图形中丢失工业对象的位置，并且在标识出的占位符周围创建边界框。
14.在一些实施例中，边界框使用模板匹配和图像处理技术来创建。
15.在一些实施例中，该方法还包括使用多个工业对象之间的一对一映射来评估标识出的丢失工业对象。在一些方面，一对一映射模型根据历史hmi标记数据集来利用图像处理技术，该历史hmi标记数据集包括工业对象/设备的多个标记hmi图形。
16.第二方面是一种实现机器学习以生成hmi图形的工业自动化系统。工业自动化系统包括处理器、存储器以及耦合到处理器和存储器的图形对象检测模型。图形对象检测模型被配置为接收迁移hmi图形。迁移hmi图形是从旧有hmi图形获取的，并且迁移hmi图形包括多个工业对象。此外，图形对象检测模型被配置为使用历史标记数据集在上述迁移hmi图形中标识丢失工业对象，该历史标记数据集包括工业对象的多个标记hmi图形，该工业对象包括图形对象和数据对象。一旦标识出丢失工业对象，则校正迁移hmi图形以包括标识出的丢失工业对象，并且生成和输出已校正hmi图形。在一些方面，还向计算设备或操作工业操作系统的操作者或任何相关个人的任何其他便携式设备传输指示已校正hmi图形的通知。
17.有利地，一些实施例提供hmi图形(即，旧有hmi)的自动校正，否则，在hmi迁移过程期间需要人工努力来校正hmi图形(即，迁移hmi图形)。
18.有利地，一些实施例通过实现机器学习和图像处理技术来提高hmi迁移的效率和准确性。
19.有利地，一些实施例在hmi迁移期间利用工业领域知识和基于机器视觉的智能来进行hmi图形的自动验证和校正。
附图说明
20.从以下示例性实施例的更具体描述中，上述内容将变得很清楚，如附图中所示，其中相同的附图标记在不同的视图中指代相同的部分。附图不一定按比例绘制，而是重点放在说明示例实施例上。
21.图1a和1b是示出工业自动化系统的实施例的框图；
22.图2是示出实现图1a的工业自动化系统的计算环境的框图；
23.图3是根据一些示例实施例的图1a的工业自动化系统的图形对象检测模型的示例配置；
24.图4是示意性地描绘根据一些示例实施例的所提出的方法的流程图；
25.图5是示意性地描绘根据一些示例实施例的用于标识丢失工业对象并且将其修复到迁移hmi图形上的过程的流程图；以及
26.图6-图8是根据一些示例实施例的从旧有hmi图形到迁移hmi图形并且进一步到已校正hmi图形的hmi图形迁移的示例场景。
具体实施方式
27.下文将参考附图更全面地描述本公开的方面。然而，本文中公开的系统和方法可以以很多不同的形式实现并且不应当被解释为限于本文中阐述的方面。附图中相同的数字始终指代相同的元素。
28.本文中使用的术语仅用于描述本公开的特定方面，而非旨在限制本发明。如本文中使用的，单数形式“一个(a)”、“一个(an)”和“一个(the)”也旨在包括复数形式，除非上下文另有明确指示。
29.本文中呈现的一些示例实施例涉及用于生成与实现机器学习的工业自动化系统相关联的hmi图形的系统和方法。作为本文中呈现的示例实施例的开发的一部分，将首先标识和讨论问题。
30.hmi迁移工具用于将hmi图形从一个版本转换/迁移到另一版本。但是，这些hmi迁移工具并非100％准确，需要手动干预才能产生目标hmi图形。此外，对目标人机界面图形进行手动校正，以使其看起来美观，并且具有适当的对准，包括每个图形元素及其分辨率，保持静态和动态信息的准确转换，等等。这种格式化的hmi需要手动检查并且校正任何差异，这会降低hmi迁移效率。
31.有利地，一些实施例旨在通过启用自动验证和校正hmi图形中的差异的迁移hmi图形的自动化干预来提高hmi图形迁移的效率和准确性。
32.有利地，一些实施例提供了对复杂旧有图形对象的迁移的足够支持、减少的迁移工作和成本、更多的自动化和更少的手动工程工作、以及hmi图形之间的改进的一致性。
33.有利地，一些实施例使得能够在hmi转换和基于机器视觉的智能期间利用工业领域知识来自动验证和校正hmi图形。
34.有利地，一些实施例提供了用于比较hmi迁移工具的基准平台。即，提供了任何两个任意hmi迁移工具之间的比较功能的构建。
35.如图1所示，工业自动化系统100用于控制多个工业设备/组件，这些工业设备/组件负责处理多个工业工厂(或任何技术装置)中的不同过程和机器。例如，制造产品(即，绝缘子制造工厂中的绝缘子)时的过程控制需要对在制造绝缘子的过程中在加工原材料(如粘土、瓷器等)时需要使用的工业设备/组件(例如，泵、阀门、电机、锅炉、涡轮机和发电机(btg))进行连续监测。工业自动化系统100促进了对这种多个工业工厂中的工业设备/组件的这种连续监测。每个工业工厂代表/指示用于生产至少一种产品(即，绝缘子)或其他材料的一个或多个制造设施。
36.工业自动化系统100包括负责控制/监测和/或制造产品(例如，绝缘子)或材料的多个工业设备102(或工业对象)。工业自动化系统100还包括一个或多个传感器104a和一个或多个执行器104b。传感器104a和执行器104b通信地耦合到多个工业设备102。在一些方面，传感器104a可以测量/监测工业设备102的配置和/或操作读数。配置和/或操作读数(例如，温度、压力、当前流速)，并且在读取/监测这样的配置和/或操作读数时在任何异常的情况下进一步触发警报。在一些方面，执行器104b负责驱动工业设备102的操作功能。例如，在传感器104a发出警报的情况下，执行器104b可以负责关闭阀门。因此，每个执行器104b负责操作工业自动化系统100中的工业设备102的一个或多个条件。
37.在一些方面，传感器104a/执行器104b与多个工业设备102之间的连接经由网络接口106，例如以太网网络、电信号网络、bluetooth或者任何其他网络或(多个)类型的(多个)网络。在一些其他方面，传感器104a与执行器104b之间的网络接口106有助于在传感器104a与执行器104b之间传送数据。
38.来自传感器104a和执行器104b的所有测量经由网络接口106传送到工业控制器108。在一些方面，工业控制器108可以包括例如分布式控制系统(dcs)、可编程逻辑控制器(plc)、比例积分微分(pid)控制器等。在一个示例中，每个控制器108还可以表示计算设备。控制器108负责控制传感器104a和执行器104b的操作。例如，控制器108可以利用从传感器104a获取的数据来操作执行器104b。在一些其他方面，控制器108可以用于控制/创建/修改传感器104a和执行器104b的配置。在一些其他方面，控制器108可以被配置为创建和控制每个传感器104a之间和每个执行器104b之间的逻辑连接。此外，控制器108可以控制每个传感器104a/执行器104b与工业组件102之间的配置和/或连接。
39.每个控制器108还可以负责控制工业过程的一个或多个方面。例如，控制用于处理原材料(诸如，用于制造绝缘子的粘土)的锅炉的运行。
40.工业自动化系统100的操作者可以使用人机界面(hmi)110访问控制器108并且与之交互。在一些方面，控制器108可以具有嵌入/安装(未示出)在控制器108内的hmi。与控制器108的访问和交互可以经由计算设备112来执行。在一些方面，与控制器108的访问可以包括例如访问传感器104a、执行器104b和一些工业设备102的连接和配置。此外，在一些方面，与控制器108的交互可以包括例如标识工业过程的不同状态，诸如警报状态、各种工业设备102的操作值等。
41.在一些方面，计算设备112可以包括例如任何计算机，诸如独立计算机、膝上型计算机、个人计算机(pc)、多个显示屏、平板计算机、便携式设备等。计算设备112可以包括显示单元和图形处理单元(gpu)，gpu被配置用于处理和显示工业设备102的图形图像(例如，hmi图形114)和每个工业组件102之间的连接。在一个示例中，hmi图形114指示每个工业对象102与每个传感器104a/执行器104b之间的连接的图形形式，也由计算设备112显示。此外，hmi图形114指示表示过程连接的过程线、指示过程录音或测量点的仪表线、控制连接等。每个工业组件102可以使用hmi被唯一地表示/图形显示到计算设备112的显示单元上。例如，每个执行器104b可以用图形表示为阀门，而每个传感器104a可以表示为仪表(如图7a-7c所示)。
42.如上所述，每个工业组件102可以被唯一地表示/图形显示到计算设备112的显示单元上，并且因此类似地，每个控制器108(或控制器108的每个版本的操作固件)包括其自
己的与其他控制器或其他控制器的一种版本的操作固件不同的hmi图形库。因此，每当控制器108的版本迁移到其他控制器或迁移到更加新的/已更新版本的操作固件时，总是需要hmi图形的迁移。在一些方面，hmi图形转换模型/hmi迁移工具116可以用于将旧有hmi图形114转换或迁移到新的hmi图形(即，迁移hmi图形118，如图1b所示)以提供增强的用户界面体验。
43.旧有hmi图形114设计到迁移hmi图形118的迁移或升级策略取决于多种因素，例如改进的用户界面、添加的特征和高效的通信。本文中的主要挑战是尽可能高效且经济地设计和调试目标hmi图形(最终hmi图形)。现有/传统hmi图形转换工具将图形数据从一个hmi迁移到另一hmi。然而，由于新建应用中功能规范的动态特性，现有hmi图形迁移工具可能不具备从旧有hmi图形迁移到新hmi图形的所有功能。由于符号或标签映射不正确，大多数hmi图形迁移工具仍然不准确。因此，在格式化目标hmi图形时需要手动干预来修复不准确(这会增加出错的机会)。这种手动工作可能很昂贵，并且不允许用户获取自动转换的全部好处。
44.与用于迁移hmi图形的传统机制不同，本发明寻求实现/结合机器学习机制以在hmi转换过程中自动在迁移hmi图形中标识不准确(即，丢失工业图形对象)。
45.为了达到本发明所期望的技术效果，即，在hmi转换过程中在迁移人机界面图形中自动标识不准确，本发明试图提供一种被配置为执行所提出的方法的图形对象检测模型120(可互换地用作hmi图形对象检测模型120)。在一些方面，图形对象检测模型120被配置为获取迁移hmi图形118(hmi迁移工具116的输出)。图形对象检测模型120然后被配置为在迁移hmi图形118中自动标识不准确并且校正迁移hmi图形118中的不准确。一旦被校正，图形对象检测模型120可以被配置为输出已校正hmi图形122(即，包括存在于旧有hmi图形114中的所有工业图形对象和文本信息)，如图1b所示，从而提高hmi迁移的准确性和效率。
46.在一些方面，图形对象检测模型120可以被托管在云计算服务器上并且可以由操作者/个人使用任何合适的网络接口来访问。在一些其他方面，图形对象检测模型120可以是hmi迁移工具116的一部分。
47.在一些方面，本发明提供用于将hmi转换工具(即，hmi迁移工具116)(与图形对象检测模型120集成)与任何其他hmi迁移工具(未示出)进行比较的基准平台。例如，通过以下方式来构建任何两个任意hmi转换工具之间的比较功能：a)利用hmi转换工具116来在迁移hmi图形118上标识丢失图形对象和文本信息，b)使用其他hmi迁移工具重复步骤a)。此外，在计算设备112的显示单元上核对(在步骤c))丢失信息以比较hmi迁移工具116和其他迁移工具。仪表板给出对计算设备112的详细分析以显示来自旧有系统的旧有hmi图形114、以及在两个hmi迁移工具之间进行选择的选项。在执行上述步骤a、b和c之后的比较的输出被显示到计算设备112的显示单元上。因此，基准平台指示可以由开发者、设计者和操作者有效地使用以跨hmi迁移工具进行分析和比较的hmi迁移工具之间的比较。
48.参考图2，计算环境200可以包括处理单元201、一个或多个存储器设备202(本文中称为存储器202)、存储单元203、输入单元204和输出单元205。计算环境200还可以包括一个或更多总线206，总线206在功能上耦合计算环境200的各种组件。
49.存储器202可以包括诸如随机存取存储器(ram)等易失性存储器(在通电时保持其状态的存储器)和/或诸如只读存储器(rom)、闪存、铁电ram(fram)等非易失性存储器(即使
在未通电时也保持其状态的存储器)。持久数据存储(正如本文中使用的那个术语)可以包括非易失性存储器。在某些示例实施例中，易失性存储器可以实现比非易失性存储器更快的读/写访问。然而，在某些其他示例实施例中，某些类型的非易失性存储器(例如，fram)可以实现比某些类型的易失性存储器更快的读/写访问。在某些示例中，存储单元203可以等同于存储器202。在各种实现中，存储器202可以包括多种不同类型的存储器，例如各种类型的静态随机存取存储器(sram)、各种类型的动态随机存取存储器(dram)、各种类型的不可更改rom、和/或rom的可写变体，例如电可擦除可编程只读存储器(eeprom)、闪存等。存储器202可以包括主存储器以及各种形式的高速缓冲存储器，例如(多个)指令高速缓存、(多个)数据高速缓存和(多个)转换后备缓冲器(tlb)等。此外，诸如数据高速缓存等高速缓冲存储器可以是被组织为一个或多个高速缓存级别(l1、l2等)的层次结构的多级高速缓存。
50.存储单元203可以包括可移动存储装置和/或不可移动存储装置，包括但不限于磁存储装置、光盘存储装置和/或磁带存储装置。存储单元203可以提供计算机可执行指令和其他数据的非易失性存储装置。可移动和/或不可移动的存储单元203和存储器202是计算机可读存储介质(crsm)的示例。
51.在一些方面，存储单元203存储历史hmi标记数据集207。历史hmi标记数据集207包括工业对象102的多个标记hmi图形。标记hmi图形基于工业领域知识(从各种来源获取，例如，工业领域专家的门户、在线工业领域门户、行业特定领域门户等)。例如，工业领域知识可以包括关于迁移hmi图形114中的丢失图形对象及其在迁移hmi图形114上的相应区域的所有信息。
52.因此，本发明在hmi图形转换和基于机器学习(或机器视觉)的智能期间利用工业领域知识(即，历史hmi标记数据集207)来进行hmi图形的自动验证和校正。
53.存储单元203可以存储可加载到存储器202中并且由处理单元201可执行以引起处理单元201执行或发起各种操作的计算机可执行代码、指令等。存储单元203可以附加地存储可以在计算机可执行指令的执行期间被复制到存储器202以供处理单元201使用的数据。此外，作为处理单元201对计算机可执行指令的执行的结果而生成的输出数据最初可以存储在存储器202中并且最终可以复制到存储单元203以用于非易失性存储。
54.更具体地，存储单元203可以存储操作系统(o/s)；被配置为访问存储器202的数据库102；以及一个或多个程序模块、应用、引擎、管理器、计算机可执行代码、脚本等，例如图形对象检测模型120的各种模块。被描述为存储在存储单元203中的任何组件可以包括软件、固件和/或硬件的任何组合。软件和/或固件可以包括计算机可执行指令(例如，计算机可执行程序代码)，计算机可执行指令可以加载到存储器202中以供处理单元201中的一个或多个执行以执行之前描述的对应操作中的任何一个。
55.处理单元201可以被配置为访问存储器202并且执行加载在其中的计算机可执行指令。例如，处理单元201可以被配置为执行图形对象检测模型120的各种程序模块、应用、引擎、管理器等的计算机可执行指令，以引起或促进根据本公开的一个或多个实施例的各种操作被执行。处理单元201可以包括能够接受数据作为输入、根据所存储的计算机可执行指令来处理输入数据并且生成输出数据的任何合适的处理单元。处理单元201可以包括任何类型的合适的处理单元，包括但不限于中央处理单元、微处理器、精简指令集计算机(risc)微处理器、复杂指令集计算机(cisc)微处理器、微控制器、专用集成电路(asic)、现
场可编程门阵列(fpga)、片上系统(soc)、数字信号处理器(dsp)等。此外，处理单元201可以具有任何合适的微架构设计，该设计包括任何数目的组成组件，例如寄存器、多路复用器、算术逻辑单元、用于控制对高速缓冲存储器的读/写操作的高速缓存控制器、分支预测器等。处理单元201的微架构设计可以能够支持多种指令集中的任何一种。
56.输入单元204和输出单元205可以促进图形对象检测模型120从一个或多个i/o设备对输入信息的接收以及从图形对象检测模型120向一个或多个i/o设备对信息的输出。i/o设备可以包括多种组件中的任何一种，例如具有触摸表面或触摸屏的显示器或显示屏；用于产生声音的音频输出设备，例如扬声器；音频捕获设备，例如麦克风；图像和/或视频捕获设备，例如相机；触觉单元；等等。这些组件中的任何一个都可以集成到计算环境200的组件中或仅集成到工业自动化系统100中，或者可以是分开的。i/o设备还可以包括例如任何数目的外围设备，例如数据存储设备、打印设备等。输入单元204和输出单元205还可以包括用于外部外围设备连接的i/o接口，例如通用串行总线(usb)、火线、thunderbolt、以太网端口、或可以连接到一个或多个网络的其他连接协议。.
57.(多个)i/o接口还可以包括一个或多个连接端口以连接一个或多个控制器108、用于网络电缆的接口以及连接其他计算设备(类似于计算设备112)。与端口的连接可以通过电信号电缆、hmi电缆等。此外，(多个)i/o接口还可以包括一根或多根天线以通过局域网(lan)或可选地通过无线局域网(wlan)(例如，wi-fi)无线、bluetooth和/或无线网络无线电而连接到一个或多个网络。
58.(多个)总线206可以包括系统总线、存储器总线、地址总线或消息总线中的至少一种，并且可以允许信息(例如，数据(包括计算机可执行代码)、信令、等)在视觉感知模块103的各个组件之间的交换。(多个)总线206可以包括但不限于存储器总线或存储器控制器、外围总线、加速图形端口等。
59.参考图3，图形对象检测模型120可以包括图像处理单元302、文本挖掘单元304、机器学习(ml)单元306和图形对象生成单元308。
60.图形对象检测模型120可以被配置为使用图像处理单元302从hmi迁移工具116接收迁移hmi图形118。迁移hmi图形118是从旧有hmi图形114获取的。即，迁移hmi图形118是来自hmi迁移工具116(负责迁移旧有hmi图形114)的输出hmi图形。在一些方面，迁移hmi图形118包括图形对象或数据对象形式的一个或多个工业对象102。图形对象可以包括例如传感器104a、执行器104b、工业对象102(例如，锅炉、泵等)、以及工业对象102之间和传感器104a与执行器104b之间的连接器(或指示器，例如箭头指示器)的图形表示。此外，数据对象可以包括例如与传感器104a、执行器104b和工业对象102的每个图形表示相关联的文本或任何数字。这例如以旧有hmi图形114和已校正hmi图形122的形式示出。
61.此外，hmi图形对象检测模型120可以被配置为在迁移hmi图形118中标识一个或多个丢失工业对象。图形对象检测模型120的组件(例如，图像处理单元302、文本挖掘单元304和机器学习(ml)单元306)与存储单元203通信以在上述迁移hmi图形118中标识丢失工业对象期间利用历史hmi标记数据集207。
62.在一些方面，图像处理单元302可以被配置为基于在旧有hmi图形114和迁移hmi图形118两者中标识hmi图形对象的对象识别技术来在迁移hmi图形118中标识丢失工业对象和丢失工业对象的对应位置。根据本发明的一个方面，为了在迁移hmi图形118中找到丢失
工业对象，图像处理单元302可以被配置为使用图像映射来确定旧有hmi图形114和迁移hmi图形118中的标识出的工业对象之间的差异。
63.在某些方面，可以通过检测迁移hmi图形118中占位符/默认对象的存在来获取丢失工业对象在迁移hmi图形118中的位置。迁移hmi图形118中的占位符/默认对象是在旧有hmi图形114的转换期间获取的。也就是说，当旧有hmi图形114使用hmi迁移工具116被转换时，转换后的hmi图形(即，迁移hmi图形118)包括指示丢失工业对象的一个或多个占位符/默认对象。
64.在一些方面，图像处理单元302可以被配置为使用模板匹配和图像处理方法/模型的组合来获取占位符/默认对象周围的边界框。边界框指示丢失工业对象在迁移hmi图形118中的位置，并且可以用作ml单元306的输入。例如，边界框放置在占位符周围并且这些是用于ml单元306的潜在区域(输入)，以标识丢失工业对象。在一些方面，与由边界框包围的区域中的旧有hmi图形114相关联的像素输入由ml单元306获取以用于检测在迁移hmi图形118中丢失的可能的工业对象。
65.在一些方面，ml单元306实现卷积神经网络(cnn)模型以使用历史hmi标记数据集207标识工业自动化系统100的工业对象102之间的关系。图像处理单元302与实现nn的ml单元306通信。ml单元306可以被配置为使用历史hmi标记数据集207在旧有hmi图形114和迁移hmi图形118两者中对工业对象102(从图像处理单元302标识)进行分类。在一个示例中，从历史hmi标记数据集207中确定工业对象102的语义信息，其中语义信息包括工业对象102之间的关系、工业对象102之间的上下文连接等。在一些实施例中，实现cnn模型的ml单元306使用历史hmi标记数据集207来训练。在一些其他实施例中，实现cnn模型的ml单元306可以使用具有关联标签的自动化hmi对象的历史数据来训练，并且使用与自动化hmi对象相关联的历史标记数据来交叉训练。例如，与自动化hmi对象相关联的标记数据也可以由基于至少一个反馈刺激的用户输入来生成。在又一实施例中，实现cnn模型的ml单元306可以使用自动化hmi对象的未标记历史数据来训练并且使用与自动化hmi对象相关联的标记历史数据来交叉训练。
66.除了工业对象102及其在迁移hmi图形118上的相应区域/位置的语义映射，hmi图形对象检测模型120利用一对一映射来标识要放置在迁移hmi图形118中的正确工业对象。也就是说，hmi图形对象检测模型120将占位符(由边界框指示)替换为迁移hmi图形118中的正确工业对象。
67.因此，迁移hmi图形118的指定区域中的丢失工业对象可以自动恢复，从而减少人工努力或人工干预。因此，可以通过减少手动工作来减少大量时间。
68.在一些方面，文本挖掘单元304可以被配置为在迁移hmi图形118中标识丢失文本或数据内容及其边界框。例如，文本挖掘单元304实现场景文本识别技术/模型以在迁移hmi图形118中标识丢失文本或数据内容。
69.鉴于上述内容，图4示出了由hmi图形对象检测模型120实现的示例方法400。根据方法400，从旧有hmi图形114(如上文详述的)获取迁移hmi图形118。hmi图形对象检测模型120然后接收迁移hmi图形118(框s402)。迁移hmi图形118包括至少一个工业对象。
70.根据方法400，使用至少一个工业对象的历史hmi标记数据集207来在迁移hmi图形118中标识至少一个丢失工业对象(框s404)。至少一个工业对象包括图形对象和数据/文本
对象。
71.根据方法400，校正迁移hmi图形118以包括至少一个丢失工业对象(框s406)。此外，根据方法400，生成已校正hmi图形，其中已校正hmi图形122合并至少一个丢失工业对象(框s408)。
72.根据方法400，向计算设备112传输指示已校正hmi图形122的通知(框s410)。该通知可以包括例如由计算设备112或用户期望的配置来配置的警报、诸如哔哔等声音通知等。
73.鉴于上述内容，图5示出了由hmi图形对象检测模型120实现以在迁移hmi图形118中标识和修复丢失工业对象的示例方法500。根据方法500，在上述迁移hmi图形118和旧有hmi图形114中标识102至少一个工业对象(框s502)。对象识别模型可以用于工业对象102的这种标识。
74.此外，根据方法500，确定旧有hmi图形114和迁移hmi图形118中的标识出的工业对象之间的差异(框s504)。
75.此外，根据方法500，标识迁移hmi图形118中占位符/默认对象的存在(框s506)。占位符/默认对象可以用于标识丢失工业对象在迁移hmi图形118中的位置。在某些方面，占位符/默认对象直接从迁移hmi图形118获取，该迁移hmi图形118也指示与旧有hmi图形114中的一个或多个工业对象相比，一个或多个工业对象被丢失(在特定区域)。
76.此外，根据方法500，在标识出的至少一个占位符周围创建至少一个边界框(框s508)。为了获取默认对象或占位符的边界框，hmi图形对象检测模型120利用模板匹配和图像处理技术的组合。
77.此外，根据方法500，使用迁移hmi图形118上的边界框来标识关于丢失工业对象及其相应区域两者的信息(框s510)。这可以通过使用ml单元306来实现，该ml单元306利用一对一映射来标识(使用历史hmi标记数据集207)要放置在迁移hmi图形118中的正确工业对象。
78.此外，根据方法500，在迁移hmi图形118上将占位符替换为正确的工业对象(框s512)。
79.参考图6a，旧有hmi图形114示出了工业自动化系统100的计算设备112上的工业对象(即，主泵602)的图形形式。旧有hmi图形114还示出了其他工业对象的图形形式，包括过程线、连接线、和与工业自动化系统100的计算设备112上的工业对象相关联的任何文本数据。
80.在一些方面，为了hmi迁移的目的，旧有hmi图形114被传输(作为输入)到hmi迁移工具116。hmi迁移工具116的输出可以表示为迁移hmi图形118(如图6b所示)。
81.参考图6b，迁移hmi图形118示出了工业对象102的迁移图形形式。如上所述，这些hmi迁移工具不是100％准确的，并且需要人工干预来产生目标hmi图形。例如，如图6b所示，迁移hmi图形118中，工业对象(即，主泵602)丢失。因此，根据旧有方法，对迁移hmi图形118执行手动检查以标识丢失工业对象，即，主泵602。对格式化hmi的这种人工复查/检查、以及对差异(丢失工业对象)的进一步人工校正降低了hmi迁移的效率。
82.不同于这种传统方法，所提出的方法利用历史hmi标记图像(工业对象的)使用机器学习技术来训练hmi图形对象检测模型120，以自动验证和校正迁移hmi图形118中的任何差异。此外，所提出的方法还利用对象识别模型来解决由于迁移hmi图形118中的模糊或外
观几乎相似的工业对象引起的冲突。
83.再次参考图6b，hmi图形对象检测模型120创建边界框604以代替默认对象/占位符，以指示丢失的主泵602。hmi图形对象检测模型120然后执行一对一映射以使用机器学习技术和历史hmi标记数据集207来标识要放置在迁移hmi图形118中的正确对象(包括工业对象的多个hmi标记图像)。本文中的占位符指示丢失工业对象的位置。
84.一旦标识出要放置在迁移hmi图形118上的正确工业对象，hmi图形对象检测模型120就在迁移hmi图形118上用正确工业对象替换/恢复占位符。例如，参考图6c，丢失的主泵606替换边界框602的占位符/默认对象。然后，传输已校正hmi图形122以用于进一步的添加/检查(以满足附加客户要求)并且构成目标hmi图形。
85.类似于图6a，图7b示出了包括工业自动化系统100的计算设备112上的工业对象(即，罐702)的图形形式的旧有hmi图形114。旧有hmi图形114还示出了其他工业对象的图形形式，包括带箭头的过程线704-706(向下)、过程线、连接线、和与工业自动化系统100的计算设备112上的工业对象相关联的任何文本数据。
86.为了hmi迁移的目的，旧有hmi图形114被传输(作为输入)到hmi迁移工具116。来自hmi迁移工具116的输出可以表示为迁移hmi图形118(如图7b所示)。
87.参考图7b，迁移hmi图形118示出了工业对象102的迁移图形形式。如上所述，工业对象(即，罐702)丢失，并且在迁移hmi图形118中带箭头的过程线704-706(向上)中存在差异。
88.如上所述，hmi图形对象检测模型120创建边界框708和710以代替默认对象/占位符，以指示丢失的罐702和带箭头的过程线704-706中的差异。hmi图形对象检测模型120然后执行一对一映射以使用机器学习技术和历史hmi标记数据集207来标识要放置在迁移hmi图形118中的正确对象(包括工业对象的多个hmi标记图像)。
89.一旦标识出要放置在迁移hmi图形118上的正确工业对象，hmi图形对象检测模型120就在迁移hmi图形118上用正确工业对象替换/恢复占位符。例如，参考图7c，丢失的罐702和带箭头的过程线704-706中的差异替换边界框708和710的占位符/默认对象。然后，传输已校正hmi图形122以用于进一步添加/检查(以满足附加客户要求)并且构成目标hmi图形。
90.在图6a-图6c中执行的类似操作被重复以校正图8a-图8c所示的hmi图形。参考图8a，在工业自动化系统100的计算设备112上显示旧有hmi图形114，旧有hmi图形114包括工业对象(即，控制阀802&kv-1804a和mol.sieve control)的图形形式，该图形形式具有文本按钮及其值。
91.为了hmi迁移的目的，旧有hmi图形114被传输(作为输入)到hmi迁移工具116。hmi迁移工具116的输出可以表示为迁移hmi图形118(如图8b所示)。
92.参考图8b，迁移hmi图形118示出了控制阀802的迁移图形形式，并且文本按钮连同其值在迁移hmi图形118中丢失。
93.如上所述，hmi图形对象检测模型120创建边界框804以代替默认对象/占位符，以指示迁移hmi图形118中的丢失的控制阀802和文本按钮及其值。hmi图形对象检测模型120然后执行一对一映射以使用机器学习技术和历史hmi标记数据集207(包括工业对象的多个hmi标记图像)来标识要放置在迁移hmi图形118中的正确对象。
94.一旦标识出要放置在迁移hmi图形118上的正确工业对象，hmi图形对象检测模型120就在迁移hmi图形118上用正确工业对象替换/恢复占位符。例如，参考图8c，丢失的控制阀802和文本按钮连同其值一起替换边界框804的占位符/默认对象。然后，传输已校正hmi图形122以用于进一步的添加/检查(以满足附加客户要求)并且构成目标hmi图形。
95.因此，如以上在图6-图8中讨论的，本发明提供了对迁移hmi图形118中的任何差异的自动验证和校正，其通过减少校正hmi图形的人工努力而显著地节省了生产/开发者的时间。
96.参考附图(例如，框图和/或流程图)描述了本公开的方面。可以理解，附图中的若干实体(例如，框图的块)以及附图中实体的组合可以通过计算机程序指令来实现，该指令可以存储在计算机可读存储器中，也可以加载到计算机或其他可编程数据处理装置上。这样的计算机程序指令可以被提供给通用计算机、专用计算机和/或其他可编程数据处理装置的处理器以生产机器，使得经由计算机和/或其他可编程数据处理装置的处理器执行的指令创建用于实现框图和/或流程图中指定的功能/动作的装置。
97.在一些实现中并且根据本公开的一些方面，框中标注的功能或步骤可以不按照操作图示中标注的顺序发生。例如，根据所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者有时这些框可以以相反的顺序执行。此外，根据本公开的一些方面，框中注明的功能或步骤可以在循环中连续执行。
98.在附图和说明书中，已经公开了本公开的示例性方面。然而，在实质上不脱离本公开的原理的情况下，可以对这些方面进行很多变化和修改。因此，本公开应当被视为说明性的而非限制性的，并且不限于以上讨论的特定方面。因此，尽管使用特定术语，但它们仅用于一般和描述性的意义，而不是出于限制的目的。
99.本文中提供的示例实施例的描述是为了说明的目的而呈现的。该描述并不旨在详尽无遗或将示例实施例限制为所公开的精确形式，并且根据上述教导可以进行修改和变化，或者可以从所提供的实施例的各种替代的实践中获取修改和变化。选择和描述本文中讨论的示例是为了解释各种示例实施例的原理和性质及其实际应用，以使得本领域技术者能够以适合所考虑的特定用途的各种方式和各种修改来利用示例实施例。本文中描述的实施例的特征可以在方法、装置、模块、系统和计算机程序产品的所有可能组合中组合。应当理解，本文中呈现的示例实施例可以以彼此的任何组合来实践。
100.应当注意，词语“包括”不一定排除所列元素或步骤之外的其他元素或步骤的存在，并且元素前面的词语“一个(a)”或“一个(an)”并不排除存在多个这样的元素。还应当注意，任何附图标记不限制权利要求的范围，示例实施例可以至少部分通过硬件和软件来实现，并且几个“装置”、“单元”或“设备”可以由相同的硬件项目表示。
101.在方法步骤或过程的一般上下文中描述本文中描述的各种示例实施例，这些方法步骤或过程可以在一方面由体现在计算机可读介质中的计算机程序产品实现，计算机程序产品包括计算机可执行指令，例如程序代码，计算机可执行指令由网络环境中的计算机执行。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器(rom)、随机存取存储器(ram)、光盘(cd)、数字多功能光盘(dvd)等。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关数据结构和程序模块表示用于执行本文中公开的方法的步骤的程序代码的
示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现这样的步骤或过程中描述的功能的对应动作的示例。
102.在附图和说明书中，已经公开了示例性实施例。然而，可以对这些实施例进行很多变化和修改。因此，尽管使用了特定术语，但它们仅用于一般性和描述性意义而不是出于限制的目的，实施例的范围由以下权利要求限定。