用于工业工厂运行的方法与流程

本公开提供了一种用于工业工厂运行的计算机实现的方法、对应的数据处理系统、计算机程序产品和计算机可读介质。

背景技术：

1、监测工业工厂的技术装备通常部分地由用户执行。例如，可能存在工业工厂运行中不可能自动解决问题的情况。在这些情况下，将提示用户（也称为操作方）进行干预。通常，图形用户界面被呈现并且输出给用户，图形用户界面示出过程和设备状态，例如信号等级，并且被配置为还指示警报。

2、在许多情况下，工业工厂是复杂的，并且可能会同时发布数个警报。一些警报可能比其他警报更紧迫，并且需要用户更立即的关注，然而，这可能不是从图形用户界面立即显现的。一些用户可能能够基于知识和经验在某种程度上解决这个问题。然而，这是不可靠的，使得不能可靠地确保对工厂运行的监测。因此，工厂运行很可能是次优的并且具有潜在风险。

3、因此，本公开的目的是提供一种方法和系统，其允许解决这些挑战，特别是允许更可靠和/或改进的工业工厂运行。

技术实现思路

1、本公开提供了根据独立声明的方法、数据处理系统、计算机程序产品和计算机可读介质。

2、本公开提供了一种用于工业工厂运行的计算机实现的方法。

3、该方法包括获取包括用于工业工厂的工厂监测和控制图形用户界面gui的一个或多个帧、特别是多个帧的图像数据。

4、在本公开中，用于工业工厂的工厂监测和控制图形用户界面gui将被广泛地理解为例如提供关于工业工厂的工厂状态的数据和/或允许与工业工厂、特别是与工业工厂的自动化系统交互的gui。

5、该方法包括将图像数据输入到多模态神经生成模型，诸如多模态llm。

6、该方法包括多模态神经生成模型基于图像数据生成第一输出，该第一输出包括对从多个帧推导的工业工厂运行的变化的分析，多个帧至少包括当前帧和先前帧，由此针对工业工厂的当前状态提供运行上下文。

7、该方法包括多模态神经生成模型基于第一输出和可选地图像数据生成第二输出，该第二输出包括考虑到运行上下文对工业工厂的当前状态的分析。

8、该方法包括多模态神经生成模型生成用户辅助输出，该用户辅助输出包括对与工厂运行相关联的变化的分析的分析结果的表示和/或当前状态和/或建议的用户动作和/或响应于与工厂运行相关联的用户查询的查询响应。备选地或附加地，该方法包括多模态神经生成模型生成控制输出，该控制输出被配置为控制与工厂运行相关联的自动化动作。

9、生成用户辅助输出和/或控制输出采用检索增强生成rag，该检索增强生成rag使用与工厂运行相关联的知识库。知识库可以例如包括向量存储库和/或知识图。

10、将理解的是，上述允许解决最初描述的挑战，并且例如改善工厂运行并且使其更可靠。

11、用户辅助输出可以确保用户以最高优先级解决最紧迫的事项，而不依赖用户经验或者知识。控制输出甚至可以允许解决一些事项，而不必需要任何用户交互。

12、应当理解，gui通常将至少部分地基于从工业工厂运行和监测设备接收的操作数据来生成，例如，基于操作参数和传感器数据，例如可以从其生成警报。虽然到达用户辅助输出或者控制输出的可能性可能是变化或者改进操作数据的处理，但是本公开使用gui帧来获取用户辅助输出和/或控制输出。

13、这使得本公开的方法和系统更加灵活并且适用于各种系统，因为它不需要与手头的工业工厂相关的工程数据的知识或者取决于工业工厂的特定控制系统的特定编程。该方法工作可靠，同时对超出gui的帧的任何内容都是不可知的。除了非常灵活之外，该方法和系统还允许增加数据安全性，因为不需要向神经生成模型提供工程数据和操作数据。神经生成模型可以仅接收帧（即，图像数据）以及针对第一输出的用户和/或系统提示词。针对依赖于von rag的第二输出，信息可以是通用技术信息（例如，工业工厂的组件的规范）或者更具体，这取决于手头的应用，例如可用数据、实例是在本地运行还是在受信服务器上运行等。

14、无论知识库中的信息有多具体，背景部分中描述的挑战在任何情况下都将得到解决。

15、在本公开中，术语工业工厂运行可以指工业工厂的多件装备（也称为组件）的运行。该操作可以涉及操作这些多件装备，例如开动他们（例如，打开和关闭阀门）和/或启动他们和/或关闭他们和/或操作他们，例如利用操作参数，和/或设置操作参数和/或变化操作参数和/或监测（例如，通过传感器）多件装备，和/或通过控制设备控制上述任一项。用户可以与工业工厂运行交互，例如执行对自动运行的用户干预。例如，用户可以经由对计算系统的用户输入来与工业工厂运行交互，计算系统然后可以用于生成控制数据，和/或通过与多件装备的直接交互，例如手动操作阀门。

16、图像数据可以包括一个或多个图像。特别地，图像数据可以包括图形用户界面的多个帧，例如屏幕截图。帧可以被认为是图像序列中的图像，例如用户界面的屏幕截图序列。图形用户界面的（多个）帧可以通过自动捕获图形用户界面的屏幕截图来获取，特别是在多个时间点。这可以是屏幕上可见事物的屏幕截图，并且它还可以任选地包括由操作系统的应用提供的用于获得渲染的gui的位图的方法（例如，即使它未在当前可见的窗口范围中被示出）。像这样，对于具有多个过程图形的工厂控制系统gui，即使用户仅特别地观看一个，该工具也可以捕获所有过程图形。

17、当前帧可以是在当前时间向用户显示的帧。前一帧可以是在比当前帧更早的时间捕获的帧。它不必是直接在当前帧之前的帧。可以采用单个先前帧或者可以采用多个先前帧。

18、工厂监测和控制图形用户界面可以是示出工业系统和/或过程的当前运行状态的图形界面。工厂监测和控制图形用户界面可以例如示出工业系统的多件装备（也称为组件）、他们的相互关系、他们的当前操作状态、操作参数设置、基于来自监测工业系统操作的传感器的传感器数据的数据、多件装备的信号等级和/或警报。图形用户界面可以包括用户交互元素，例如控制元素。用户交互元素可以例如包括按钮、文本输入元素、用户选择元素和/或导航元素。用户交互元素中的至少一些元素可以被配置为允许用户诸如通过选择和/或确认要自动执行（例如，经由工厂控制系统控制）的动作来查看和/或干预工业工厂的运行。

19、多模态大语言模型、神经生成模型可以是可能处理包括图像数据和文本数据的输入的任何合适的神经生成模型。例如，神经生成模型可以是预训练的生成变换器。如上所述，神经生成模型可以例如是大语言模型、llm。

20、工业工厂运行的变化可以例如包括工业系统的操作参数和/或来自监测工业系统操作的传感器的传感器数据的变化。例如，变化可以涉及温度的变化、压力的变化、罐液位的变化、一件装备的资源消耗（例如，功率消耗）的变化和/或一件装备的输出的变化。

21、在本公开中，运行上下文可以例如指的是以下一项或多项：工厂的警报和/或警告状态、传感器的传感器读数（特别是对运行最重要的）、警报、警告以及传感器读数的变化率、上述元素的不寻常组合、关于工厂的良好状态、可接受和不可接受状态的基本判断、关于如果情况继续下去的后果的基本信息、关于对警报、警告、传感器读数的修改的影响的基本信息，以及具有这些的工厂的状态。

22、用户辅助输出可以是图形输出，特别是结合在图形用户界面中的输出。例如，它可以包括符号、文本、高亮度等。用户辅助输出可以可选地至少部分地是交互式的。用户辅助输出可以包括，特别是除了视觉输出之外，触觉和/或声学输出。

23、用户辅助输出可以包括主动用户辅助输出，即，未被请求用户辅助输出的用户提示的输出。备选地或附加地，用户辅助输出可以包括反应性用户辅助输出，即，响应于用户请求或者查询而提供的输出。例如，反应性用户辅助输出可以是对输入到神经生成模型中的用户提示词的响应。

24、用户辅助输出可以包括变化的分析的分析结果的表示。例如，这种表示可以包括视觉指示符元素，例如图形用户界面上的高亮和/或符号，和/或表示分析结果的文本信息，例如以聊天窗口中的响应的形式和/或作为信息框。例如，文本信息可以描述工业工厂的状态如何变化以及可选地这在当前上下文中可能意味着什么。

25、用户辅助输出可以包括分析结果当前状态的表示。例如，这种表示可以包括视觉指示符元素，例如图形用户界面上的高亮和/或符号，和/或表示分析结果的文本信息，例如以聊天窗口中的响应的形式和/或作为信息框。例如，文本信息可以描述工业工厂的当前状态以及可选地这在当前上下文中可能意味着什么。

26、用户辅助输出可以包括与工厂运行相关联的建议用户动作的表示。例如，可以向用户提供文本输出，例如建议采取手动干预和/或例如经由gui触发自动干预。

27、用户辅助输出可以包括响应于与工厂运行相关联的用户查询的查询响应。例如，用户查询可以包括一个或多个描述和/或问题，例如关于工厂的状态、工厂的状态的变化、它意味着什么和/或采取什么动作。用户查询可以例如经由神经生成模型的聊天界面来输入，该聊天界面可以可选地是gui的部分。

28、被配置为控制与工厂运行相关联的自动化动作的控制输出可以，例如向工业工厂的控制设备输出指示，以控制输出中指定的方式控制工厂运行，例如自动改变多件装备的设置、打开或者关闭阀门、启动或关闭多件装备等。

29、可以采用用于检索增强生成rag的已知技术。这可以包括但不限于与向量存储库、图形数据库、代理/工具概念、构建sql/whisper和/或其他取回命令的文本到查询方法和/或基于视觉的取回技术的交互（参见colpali）。

30、与工厂运行相关联的知识库可以例如由例如在向量存储库中提供的向量来表示，和/或可以作为知识图来提供。下面提供了进一步的细节。这可以包括应用生成联合嵌入空间的方法——这可以发生在使用预训练语言模型（例如，bert、t5）的方法的文本等级（参见word2vec）、文档等级（潜在狄利克雷分配、潜在语义分析）上。尤其还可以采用图像嵌入（例如，经由imagenet）、多模态嵌入、图形嵌入、结构化数据嵌入。

31、在本公开的一些方面，第一输出仅基于gui的视觉流、特别是图像数据被生成。特别地，例如，没有操作数据或者工程数据可以被用于生成第一输出。这甚至进一步提高了上述灵活性和数据保护潜力。

32、在该上下文中，gui的视觉流可以包括gui的多个帧的图像数据以及可选地与其相关联的元数据，诸如时间戳等。

33、在本公开的一些方面，多模态神经生成模型的一个或多个本地实例被用于生成第一输出、第二输出和/或辅助输出和/或控制输出。

34、在本公开的一些方面，图像数据仅在多模态神经生成模型的本地实例处被处理，并且可选地，其中除图像数据之外的、包括第一输出数据的其他数据在多模态神经生成模型的本地实例处和/或在多模态神经生成模型的基于云的实例处被处理。

35、神经生成模型的本地实例具有可以进一步改进数据保护的上述方面的优点。

36、图像数据揭示了关于工业工厂和过程的大量信息，因此，就数据保护而言，在神经生成模型的本地实例处处理图像数据可能是有利的。

37、在一些示例中，可以使用多模态神经生成模型的本地实例来生成第二输出和/或辅助输出。由于第二输出采用rag，rag也可以采用敏感数据而没有暴露数据的风险。因此，由于不仅可以无风险地使用通用数据而且还可以使用工厂特定数据，同时保持数据安全性，可以使针对特定的工业工厂的输出更加精确。

38、此外，如最初所解释的，有时快速响应是重要的，例如在警报的情况下。依赖本地实例可以允许控制对神经生成模型的实例的访问的可用性，并且还不必依赖数据传输，从而允许更好地确保短响应时间。

39、在本公开的一些方面，该方法包括生成控制输出，并且还包括基于控制输出来控制与工厂运行相关联的一个或多个动作，特别是不需要先前的用户确认。

40、工厂运行中可能会出现引起警告或者警报的问题。虽然有些可能确实需要人工干预，但是通过神经生成模型的分析也可能导致自动干预就足够的结果。生成控制输出并且基于控制输出控制与工厂运行相关联的动作允许承担用户的一些负担，因为他们可能根本不必干预，即动作可以完全自动地执行，或者仅需要确认动作，响应于该动作可以自动地执行。

41、将理解，通过基于控制输出自动解决一些情况，用户具有更大的能力来解决实际上确实需要用户干预的问题，甚至不需要标识这些问题的知识或者经验，这使得整个过程更可靠。

42、在本公开的一些方面，控制输出包括过程状态变化请求，方法包括向控制工厂运行的控制组件自动地发布过程状态变化请求。

43、过程状态变化请求可以包括例如与工厂的资产交互，例如修改设定点以变化罐的阀门状态或者马达的rpm。备选地或附加地，它可以例如包括切换到冗余系统、请求关闭资产和/或重启资产。请求可以具有不同的时间维度，例如“立即”、“在下一小时内”、“在轮班期间”、“很快”。

44、应当理解，这些任务可以以自动化方式执行，因此所要求保护的方法通过神经生成模型对gui的处理，从而经由控制输出自动地使得能够处理该任务，提高了可靠性。例如，这是由于该方法不必依赖于用户的判断、经验和知识，并且与等待用户采取动作相比，可以无延迟地执行。

45、在本公开的一些方面，该方法包括基于第一输出和可选地第二输出和/或知识库来生成和/或更新运行上下文数据，特别是上下文对象，并且提供上下文数据作为用于多模态神经生成模型的输入和/或向用户输出上下文数据的表示，特别是作为查询响应的部分和/或自动地独立于用户查询。

46、例如，运行上下文数据可以包括集合过去状态、当前状态、状态变化、用户动作和/或从他们中的一个或多个得出的结论的数据。上下文可以是资产状态及其相互关系的（特别是统一的）集合。上下文可以基于事件/警报数据、遥测数据（传感器读数），可选地与正常、异常行为的基本判断、潜在动作的知识及其对系统的后果相结合，其来源于工程文档、操作方手册和/或其他与工厂相关和过程操作相关的信息源（例如，轮班记录、操作方日志等……）。

47、在本公开的一些方面，该方法包括基于第一输出和/或第二输出和/或辅助输出来配置以及向用户输出用户界面。

48、在一些方面，配置和输出用户界面可以包括生成建议的用户动作，特别是用于用户确认向控制工厂运行的控制组件发布过程状态变化请求的提示词。备选地或附加地，配置和输出用户界面可以包括响应于用户查询而生成与工厂运行相关联的查询响应。备选地或附加地，配置和输出用户界面可以包括修改工厂监测图形用户界面gui，以提供和/或标识与用户动作潜在相关的信息。

49、例如，用户界面可以是修改的工厂监测和控制图形用户界面gui，其中部分被高亮和/或隐藏和/或重新安排和/或用标签或者符号补充和/或其中警报被移除和/或高亮，和/或其中用户被提示确认自动动作和/或其中用户被提示执行某些动作。

50、作为另一示例，用户界面可以包括允许用户与神经生成模型交互的聊天窗口，即，输入提示词并且查看神经生成模型输出。用户界面，例如聊天窗口，可以单独输出或者作为工厂监测和控制图形用户界面gui的部分输出。聊天窗口可以允许迭代交互，其中用户可以例如以提示词的形式向神经生成模型提供附加输入，并且响应于此从神经生成模型接收新的输出。

51、应当注意，提供上述用户界面提高了工厂运行的整体可靠性，因为用户的适当动作较少依赖于用户的知识和经验。

52、在本公开的一些方面，该方法包括向用户自动输出辅助输出和/或响应于输入到多模态神经生成模型中的用户查询，向用户输出辅助输出。

53、自动输出可以是用户未特定请求的任何输出，例如经由提示词。自动输出可以是例如在表单通知和/或弹出窗口和/或交互式图标的形式，用户可以选择以获取更多信息。备选地或附加，自动输出可以包括gui的部分的自动高亮和/或符号的显示，其可以可选地是用户交互式图标，例如指示警告和/或附加信息可用。

54、特别地，用户查询可以是例如经由聊天窗口输入到神经生成模型中的用户输入。用户查询可以是提示词的形式。

55、响应于用户查询的输出例如可以在聊天中输出，该聊天允许用户与神经生成模型交互，特别是允许用户向神经生成模型提供输入。备选地或附加地，可以响应于用户查询输出上述其他输出中的一个或多个，例如弹出窗口、高亮、符号等。

56、可选地，可以存在确定是否启用自动输出和/或在哪些情况下允许自动输出的设置。

57、在本公开的一些方面，知识库包括轮班日志、来自审计跟踪的操作方动作和/或工作程序。

58、备选地或附加地，在本公开的一些方面，知识库包括工业工厂的一件或多件装备的技术规范。例如，这样的规范可以包括装备类型、装备的特性等。这种类型的信息可以例如源自设备制造方的零件清单和/或规范和/或工业工厂的工程数据。

59、备选地或附加地，在本公开的一些方面，知识库包括工业工厂的一件或多件装备的运行规范。例如，运行规范可以包括运行参数、警报等级、信号等级等的范围。这种类型的信息可以例如源自设备制造方的零件清单和/或规范和/或工业工厂的工程数据。

60、备选地或附加地，在本公开的一些方面，知识库包括工业工厂的多件工厂装备间的关系和/或交互的规范。例如，这样的关系可以指定预期被发现彼此连接或者以特定方式交互的组件。例如，关系和/或交互可以指定提供与特定装备交互的阀门、管道或者泵和/或提供用于监测特定装备的特定监测设备。这种类型的信息可以例如源自设备制造方的零件清单和/或规范和/或工业工厂或者用于其他工业工厂的工程数据和/或基于领域知识。

61、备选地或附加地，在本公开的一些方面，知识库包括工业工厂的一个或多个过程的技术规范。

62、这种类型的信息可以例如源自工业工厂和过程或者其它工业工厂和过程的工程数据和/或基于领域知识。

63、备选地或附加地，在本公开的一些方面，知识库包括与工业工厂的运行相关联的一个或多个潜在警报的规范，特别是与所述工业工厂的一件或多件装备的运行相关联的警报。例如，可能存在与多件装备相关联的特定警报等级，并且可以根据这些警报等级发布警报。

64、这种类型的信息可以例如源自设备制造方的零件清单和/或规范和/或工业工厂或者用于其他工业工厂的工程数据和/或基于领域知识。

65、在本公开的一些方面，多模态神经生成模型是基于变换器的模型，特别是无需领域特定训练的基于变换器的模型。特别地，可以采用生成式预训练的变换器模型。具体地，多模态神经生成模型可以被配置为处理包括图像数据和文本数据的输入，并且可以被配置为至少输出文本数据和/或控制数据。

66、以上是有利的，因为该方法可以以通用的方式应用并且快速部署，并且不需要训练模型的显著技术努力。此外，提供用户辅助输出是语言相关的任务，神经生成模型是允许用户直观地与模型交互的强大工具。这还增加了可靠性，因为用户即使没有广泛的经验，也可以以非常有针对性的方式获取正确用户干预所需的信息（例如，与在规范中或者在线进行的搜索相反）。

67、可选地，可以采用允许生成图像数据的生成模型，诸如基于扩散的模型，来提供包括生成的图像数据的辅助输出，使得例如不仅可以以文本形式提供指令，而且可以补充图形信息。

68、本公开还提供了一种数据处理系统，其包括被配置为执行本公开的方法的一个或多个处理组件，特别是如上所描述。

69、本公开还提供了一种计算机程序产品，包括指令，当程序由计算机执行时，指令使计算机执行本公开的方法，特别是如上所描述的。

70、本公开还提供了一种计算机可读介质，包括指令，指令在由计算机执行时使计算机执行本公开的方法，特别是如上所描述。

71、上面在方法的上下文中概述的特征和优点类似地适用于本文描述的处理系统、计算机程序产品和计算机可读介质。

72、通过参考附图的详细描述，进一步的特征、示例和优点将变得清楚。