用于实时系统中GUI开发和部署的系统和方法与流程

用于实时系统中gui开发和部署的系统和方法
技术领域
1.本发明涉及用于在连接的实时系统中开发和部署灵活、可动态编辑且负载平衡的gui的系统和方法。


背景技术：

2.通常，ux设计者使用数字内容创建软件工具（如sketch、photoshop等）在其pc/mac上创建所有数字资产，这包括屏幕流和内容（图像和文本）。然而，即使在创建了完整的可视化之后，他们也需要创建书面的和图解的规范/要求文档，使得它可以被转换成可以在具有适当性能和负载平衡的目标设备上执行的软件。这涉及到使用规范文档来理解复杂的gui行为的大量努力，以便将规范转换为目标硬件特定的可视化和性能。这导致了大量的迭代、延迟、视觉缺陷和性能缺陷。
3.目前，大多数软件产品能够执行从gui设计的基本图像和文本导入，并为这些基本屏幕生成gui软件。然而，这些产品不实时生成和提供gui内容的实况编辑。产品也不能监视在连接的实时系统上的计算资源负载，并且生成能够平衡计算资源负载的gui软件。
4.此外，存在可用于将来自gui设计的如图像和文本之类的数字资产转换为部分gui软件部件或基本html页面或gui原型的几个软件产品。然而，这些软件需要手动移植到目标硬件，并且随后需要由开发人员针对性能进行调谐。此外，每当gui屏幕流或屏幕可视化存在改变或者当输入源改变时，都需要重复该过程。
5.根据编号为us6496202b的美国申请，一种用于生成图形用户接口的方法和装置。该专利提供了一种设计，使用该设计，gui可以取决于用户如何在现场中与应用交互来改变其可视化。例如，当用户点击按钮时，可以关闭屏幕/片段/控件的一部分，并且可以自动添加新的屏幕/片段/控件。然而，当事件发生时，需要有人明确地决定行为应该是什么，并且一旦这被指定，设计就帮助生成满足新要求的gui。然而，所公开的系统不允许在连接的实时设备上实时编辑gui行为或规范本身。它也没有基于实时系统上的性能和负载来优化gui。
6.因此，存在对一种解决方案的需要，该解决方案从各种介质、工具和格式捕获来自ux设计者的输入，并且然后生成机器可理解的gui规范，该机器可理解的gui规范能够在没有任何手动参与的情况下在连接的实时系统上直接解释和执行。
附图说明
7.本发明的不同模式在说明书中详细公开，并在附图中图示：图1是根据本发明的各方面的用于在连接的实时设备上部署动态可编辑gui的系统的框图；以及图2是根据本技术的方面的用于使用图1的系统在连接的实时设备上部署动态可编辑gui的示例过程。
具体实施方式
8.图1图示了系统100中涉及的总体结构和部件，其中可以部署本发明的示例实施例。系统100适于在连接的实时设备上自动部署机器可执行图形用户接口（下文为“gui”）规范。系统100可以部署在各种环境中。例如，系统100可以部署在云或服务器上，该云或服务器然后可以服务于来自若干个客户端的请求/输入。系统100包括输入模块102、gui规范生成器104、gui配置器106、实时模块108、渲染模块116和输出模块118。下面进一步详细描述每个部件。
9.输入模块102被配置为从用户（本文为ux设计者）接收多个gui输入。在一个实施例中，多个gui输入可以从若干个介质捕获，所述若干个介质诸如是经由相机的图像、截屏、帧抓取器、视频、音频、如photoshop、sketch的数字内容创建工具等。在该实施例中，gui输入可以是实况转播或记录回放。
10.输入模块102进一步被配置为将多个gui输入转换为与gui开发相关的数字格式、数据和元数据。此外，处理多个gui输入以标识gui的构建块，诸如gui屏幕流、gui布局、gui内容等。在一个示例中，可以使用模式匹配、图像比较、上下文感知内容识别、机器学习技术来执行gui的构建块的标识。然而，可以设想多种其他标识技术。
11.gui规范生成器104被配置为解析经处理的gui输入，并根据多个图形用户接口输入生成机器可理解的图形用户接口规范。在一个实施例中，经处理的gui输入是数字gui数据和元数据。gui规范生成器104进一步被配置为生成用于gui流、屏幕和内容的机器可理解的规范。然后，生成的gui规范被上传到实时模块108的存储模块110上。此外，在标识gui的构建块之后，块与用于描述gui的适当元数据一起被数字存储。数字gui数据连同适当的元数据然后被传递到gui规范生成器104上，gui规范生成器104可以进一步作用于多个gui输入。gui规范生成器104可以部署在各种环境中。例如，它可以部署在云或服务器上，然后该云或服务器可以服务于来自若干个客户端的请求/输入。
12.gui配置器106被配置为将性能负载平衡参数和配置数据连同gui配置数据一起注入。gui配置器106进一步被配置为解析与gui相关的数字资产数据和元数据。在一个实施例中，在解析完成之后，gui配置器106进一步被配置为使得ux设计者/用户能够编辑在连接的实时系统中的gui流、布局和内容，并且实时在输出模块118上看到结果。
13.在替代实施例中，gui配置器106集成到内容管理系统（cms）服务器中。此外，gui配置器106被配置为从内容管理系统（cms）服务器接收针对最新数字资产的若干个动态更新。
14.实时模块108被配置为在连接的实时系统上自动部署机器可执行gui规范，并实时编辑gui输入。在实施例中，实时模块108可以部署在各种环境中。例如，实时模块108可以部署在网站、桌面、pc、mac等上。实时模块108包括存储模块110、负载平衡器112和加载引擎114。下面进一步详细描述每个部件。
15.存储模块110被配置为存储由gui规范生成器104生成的机器可理解的gui规范。在一个实施例中，机器可理解的gui规范包括gui屏幕流、布局和内容。存储模块100被配置为以xml、二进制、配置参数、表格、opengl/webgl/vulkan/openvg/2d图形库调用等形式存储机器可理解的gui规范。
16.负载平衡器112被配置为从连接的实时系统收集实时计算资源负载。负载平衡器112运行在实时系统上，并持续保持监视负载。
17.加载引擎114被配置为确保从存储模块（110）加载图形用户接口规范，并将其转发至渲染模块（116）。渲染模块116被配置为在实时系统上执行所生成的机器可理解的gui规范。在一个实施例中，当诸如屏幕流、布局和内容的gui规范在渲染模块116上执行时，负载由负载平衡器112监视，并作为负载平衡配置被实时发送到gui配置器106。gui配置器106使用负载平衡配置来优化gui配置流、布局和内容。在一个示例中，监视在连接的实时系统上的计算资源负载，并实时评估其使用，以导出最佳负载平衡策略。
18.在另一实施例中，gui配置器106与连接的实时设备上的负载平衡器112交互地连接。基于从负载平衡器112接收的负载平衡配置数据，gui配置器106将性能负载平衡参数和配置数据连同gui流、布局和内容配置数据一起注入。此外，该数据流向gui规范生成器104，gui规范生成器104使用配置数据来生成负载平衡的应用。在一个实施例中，该负载平衡的gui配置然后被发送到gui规范生成器，该gui规范生成器进而生成机器可理解的gui规范，该机器可理解的gui规范然后被存储在连接的实时系统的存储模块110上。
19.图2是根据本技术的方面的用于使用图1的系统100在连接的实时设备上部署动态可编辑gui的示例过程200。
20.在步骤202处，接收多个gui输入以标识图形用户接口的构建块。在实施例中，多个gui输入可以从若干个介质捕获，所述若干个介质诸如是经由相机的图像、截屏、帧抓取器、视频、音频、如photoshop、sketch的数字内容创建工具等。在一些实施例中，从其他位置、诸如从离线图像储存库、云存储装置等等访问gui输入。在实施例中，gui输入可以是实况转播或记录回放。
21.在步骤204处，将多个gui输入转换成数字格式，以供图形用户接口使用。处理多个gui输入以标识诸如gui屏幕流、gui布局、gui内容等之类的gui的构建块。在一个示例中，可以使用模式匹配、图像比较、上下文感知内容识别、机器学习技术来执行gui的构建块的标识。然而，可以设想多种其他标识技术。
22.在步骤206处，解析数字图形用户接口输入，并从多个gui输入生成机器可理解的图形用户接口规范。在步骤208处，在连接的实时系统上实时编辑图形用户接口行为。在解析完成之后，图1的gui配置器106被配置为使得ux设计者/用户能够编辑在连接的实时系统中的gui流、布局和内容，并且实时在输出模块118上看到结果。
23.部分示例实施例及对应的详细说明可以依据软件或算法以及计算机存储器内在数据位上操作的符号表示来呈现。这些描述和表示是本领域普通技术人员据此向本领域其他普通技术人员有效传达其工作实质的描述和表示。如这里使用的以及如一般使用的术语“算法”被认为是导致期望结果的自洽的步骤序列。步骤是需要对物理量进行物理操控的步骤。通常，尽管不是必须的，但这些量采取能够被存储、传输、组合、比较和以其他方式操控的光学、电或磁信号的形式。主要出于通用的原因，将这些信号称为位、值、元素、符号、字符、术语、数字等有时被证明是方便的。
24.本文所描述的（一个或多个）系统/（一个或多个）装置可以通过硬件元件、软件元件和/或其组合实现。例如，本发明构思的示例实施例中说明的设备和部件可以在一个或多个通用计算机或专用计算机中实现，所述一个或多个通用计算机或专用计算机诸如是处理器、控制器、算术逻辑单元（alu）、数字信号处理器、微型计算机、现场可编程阵列（fpa）、可编程逻辑单元（plu）、微处理器或可以执行指令并进行响应的任何设备。中央处理单元可以
实现操作系统（os）或在os上运行的一个或多个软件应用。此外，处理单元可以响应于软件的执行来访问、存储、操控、处理和生成数据。本领域技术人员将理解，尽管为了便于理解，可以图示单个处理单元，但是该处理单元可以包括多个处理元件和/或多个类型的处理元件。例如，中央处理单元可以包括多个处理器或者一个处理器和一个控制器。此外，处理单元可以具有不同的处理配置，诸如并行处理器。
25.根据本发明构思的上述示例实施例的方法可以利用程序指令实现，该程序指令可以由计算机或处理器执行并且可以记录在计算机可读介质中。该介质还可以包括单独的或与程序指令相组合的数据文件、数据结构等。记录在介质中的程序指令可以特别针对本发明构思的示例实施例来设计和配置，或者对于计算机软件领域的技术人员来说是已知的和可用的。计算机可读介质包括磁介质，诸如硬盘、软盘和磁带；光学介质，诸如致密盘-只读存储器（cd-rom）盘和数字多功能盘（dvd）；磁光介质；以及被专门配置为存储和执行程序指令的硬件设备，诸如只读存储器（rom）、随机存取存储器（ram）、闪速存储器等。程序指令包括诸如由编译器产生的机器代码以及可以由计算机使用解释器执行的高级代码两者。所描述的硬件设备可以被配置为执行一个或多个软件模块，以执行本发明构思的上述示例实施例的操作，或者反之亦然。
26.然而，应当记住，所有这些和类似术语应与适当的物理量相关联，并且仅是应用于这些量的方便标签。除非另有特别声明或者如从讨论中清楚，否则诸如“处理”或“计算”或“运算”或“确定”或“显示”等术语指代计算机系统或类似的电子计算设备/硬件的动作和过程，其将表示为计算机系统的寄存器和存储器内的物理电子量的数据操控和变换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。
27.应当理解，上面的描述中解释的实施例仅是说明性的，并且不限制本发明的范围。设想了许多这样的实施例和描述中解释的实施例的其他修改和改变。本发明的范围仅由权利要求书的范围来限定。