一种HMI画面中对象的可视化方法和设备与流程

一种hmi画面中对象的可视化方法和设备
技术领域
1.本发明涉及工业控制技术领域，尤其涉及一种hmi画面中被遮挡对象的可视化方法、设备和存储介质。


背景技术：

2.人机界面(human machine interface，hmi，也称为人机接口)是一种系统和用户之间进行交互和信息交换的媒介，在工业控制领域，操作员可以通过hmi对设备进行监控或操作，以提高操作员对设备整体的控制能力。而随着中国自动化水平和大型系统设备制造能力的不断提高，工业控制系统基于hmi的组态工具在各行各业得到了越来越多的应用，与之相配合的，hmi画面的还原度和复杂程度也日益增加，具体可体现于工程师需要在有限大小的画面中绘制更多且更丰富的对象。
3.而在实际工作中，工程师使用组态工具进行hmi画面编辑时，时常遇到多个重叠的对象，由于现有技术通常默认只能选中多个重叠的对象中位于最上层图层中的对象，因而若工程师要编辑的目标对象并非在画面的最上层图层中而被其他对象遮挡时，通常需要将遮挡目标对象的其他对象逐一移开，或者将目标对象移动至不与其他对象重叠的位置，才能使目标对象完整地显示在hmi画面中以进行编辑，对目标对象完成编辑后，还需要将之前移动过的对象或目标对象逐一进行复位。当hmi画面中所呈现的大量对象具有复杂的层级关系时，会导致工程师的上述操作步骤变得复杂而繁琐，有时为了保证精确性，工程师还需要记录其所移动的对象的原始坐标值，以便被移动的对象在被复位时能够被精确地恢复至原始位置，这增加了工程师的工作量和出错几率，降低了工程师的工作效率。


技术实现要素：

4.(一)要解决的技术问题
5.鉴于现有技术的上述缺点、不足，本发明提供一种hmi画面中被遮挡对象的可视化方法、设备和存储介质，其解决了用户在编辑hmi画面时，对被遮挡的目标对象需要繁琐的操作才能使其完整地显示在hmi画面中的技术问题。
6.(二)技术方案
7.为了达到上述目的，本发明采用的主要技术方案包括：
8.第一方面，本发明实施例提供一种hmi画面中对象的可视化方法，包括：
9.针对hmi画面中存在多个待选择对象时，若接收到用户触发对hmi画面中某一目标对象的选择指令，基于目标对象在图层结构树中的层级关系，获取目标对象在hmi画面中与其他待选择对象的重合关系，并判定目标对象是否处于非可视区域；
10.若是，则基于预先的可视化展示策略，将所述目标对象调整至当前hmi画面中的可视区域；
11.其中，所述图层结构树为关于hmi画面中所有待选择对象的层级关系的结构树，图层结构树中包括每一个待选择对象的z轴坐标值；
12.所述预先的可视化展示策略为，基于与目标对象存在重合关系的其他待选择对象在图层结构树的层级关系，调整目标对象的z轴坐标值，将目标对象置于所有与目标对象存在重合关系的其他待选择对象的上层，使目标对象完整地显示于hmi画面中。
13.本发明实施例提出的可视化方法，若接收到用户触发对hmi画面中某一目标对象的选择指令，获取目标对象在hmi画面中与其他待选择对象的重合关系，基于目标对象在图层结构树中的层级关系，判定目标对象处于非可视区域时，调整目标对象和与目标对象存在重合关系的其他待选择对象的的层级关系，使目标对象完整地显示于hmi画面中，避免了用户在编辑位于非可视区域的目标对象前，需要先移动与目标对象存在重合关系的其他待选择对象或目标对象的操作，减轻了用户在编辑hmi画面时对位于非可视区域的目标对象操作的复杂程度，从而提高用户的工作效率。
14.可选地，接收到用户触发对hmi画面中某一目标对象的选择指令之前，所述可视化方法还包括：
15.当hmi画面中存在至少一个待选择对象时，根据所有待选择对象间的层级关系建立图层结构树，
16.其中，图层结构树中各个待选择对象间的层级关系和待选择对象的z轴坐标值关联，一个待选择对象的z轴坐标值越大，则其对应的层级越高；
17.当两个待选择对象存在重合关系时，层级高的待选择对象遮挡层级低的待选择对象。
18.可选地，获取目标对象在hmi画面中与其他待选择对象的重合关系，基于目标对象在图层结构树中的层级关系，判定目标对象是否处于非可视区域，包括：
19.获取图层结构树中每一个待选择对象在xoy平面上的投影区域，基于目标对象的投影区域与其他待选择对象的投影区域是否存在重合区域，判断目标对象与其他待选择对象是否重合；
20.若否，则判定目标对象处于可视区域；
21.若是，则基于目标对象和与目标对象重合的其他待选择对象在图层结构树中的层级关系，判定目标对象是否处于非可视区域。
22.也即，当目标对象与其他待选择对象均不重合时，则表明目标对象位于可视区域，目标对象已经完整地显示于hmi画面中；若目标对象的投影区域与其他待选择对象的投影区域重合，则无法直接判断目标对象是否位于非可视区域，需要根据目标对象和与目标对象重合的其他待选择对象在图层结构树中的层级关系进行进一步的判断。
23.可选地，基于目标对象和与目标对象重合的其他待选择对象在图层结构树中的层级关系，判定目标对象是否处于非可视区域，包括：
24.获取目标对象的z轴坐标值b；
25.获取所有与目标对象重合的其他待选择对象的z轴坐标值，使用遍历法选取所有与目标对象重合的其他待选择对象的z轴坐标值中的最大值a；
26.判断a和b的数值大小，
27.若a＜b，则判定目标对象处于可视化区域；
28.若a＞b，则判定目标对象处于非可视化区域。
29.也即，基于图层结构树中的层级关系，首先选出所有与目标对象重合的其他待选
择对象中层级最高的对象，然后再将目标对象的层级与该对象的层级进行比较，
30.若目标对象的层级高于该对象的层级，则表明目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，目标对象处于可视区域，已经完整地显示于hmi画面中；
31.若目标对象的层级低于该对象的层级，则表明目标对象的层级比至少一个与目标对象重合的其他待选择对象的层级低，与目标对象重合的其他待选择对象中层级高于目标对象的待选择对象遮挡了目标对象。
32.可选地，基于预先的可视化展示策略，将所述目标对象调整至当前hmi画面中的可视区域，包括：
33.对目标对象的z轴坐标值增加k，使得目标对象的z轴坐标值b k》a，
34.k为正实数，调整后，目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，处于可视区域。
35.也即，基于图层结构树中的层级关系，调整目标对象的层级位置，使目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，从而使目标对象完整地显示于hmi画面中。
36.可选地，所述可视化方法还包括：
37.当目标对象位于当前hmi画面的可视区域时，若接收到用户触发位于可视区域内的用于指示恢复目标对象的原始层级关系的指示按钮的操作指令，
38.则对目标对象的z轴坐标值减去k，使目标对象在图层结构树中恢复至原始层级。
39.可选地，所述目标对象为用户当前操作的一个独立的图元；
40.或者，所述目标对象为用户当前操作的两个以上的相互独立的图元；
41.或者，所述目标对象为用户当前操作的多个子图元组合形成的一个图元。
42.可选地，若接收到用户触发对hmi画面中某一目标对象的选择指令，使目标对象完整地显示于hmi画面中时，还包括：
43.确定目标对象可编辑区域的外接矩形，对所述外接矩形的边框进行高亮显示。
44.可选地，当目标对象位于当前hmi画面的可视区域时，若接收到用户对目标对象的属性编辑操作指令和/或相关交互编辑操作指令，则对目标对象进行相应的属性编辑操作和/或相关交互编辑操作；
45.所述属性编辑操作包括下述的一项或多项：仿射变换操作、显隐变换操作、对象锁定操作、对象解锁操作、图形填充操作、内嵌文本编辑操作、对象动作操作和对象动态操作；
46.所述相关交互操作包括下述的一项或多项：对多个目标对象间的等高操作、等宽操作、等面积操作、布尔运算操作、对齐操作、等间距操作、组合操作、解除组合操作、格式刷操作和动态格式刷操作。
47.第二方面，本发明实施例提供一种计算机设备，所述计算机设备包括存储器、处理器、显示器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器用于执行所述计算机程序时用于实现如上所述的可视化方法，所述显示器用于显示hmi画面。
48.(三)有益效果
49.本发明实施例的方法，基于目标对象在图层结构树中的层级关系，获取目标对象在hmi画面中与其他待选择对象的重合关系，并判定目标对象是否处于非可视区域，若目标
对象处于非可视区域，则调整目标对象在图层结构树中的层级关系，将目标对象置于所有与目标对象存在重合关系的其他待选择对象的上层，使目标对象完整地显示于hmi画面中；此外，本发明实施例的方法，只临时改变目标对象在图层结构树中的层级关系，能够在用户完成对目标对象编辑后恢复目标对象在图层结构树的的原始层级关系。相对于现有技术而言，本可视化方法可以免去用户在编辑位于非可视区域的目标对象的过程前后，对目标对象或与目标对象重合的其他待选择对象的位置进行移动和恢复的繁琐操作，减轻了用户在编辑hmi画面时的复杂程度，提高了用户的工作效率。
附图说明
50.图1为实施例提供的一种hmi画面中对象的可视化方法的流程示意图；
51.图2为实施例中一种对象间的遮挡关系示意图；
52.图3为实施例中另一种对象间的遮挡关系示意图；
53.图4为实施例中一个位于非可视区域的目标对象显示在hmi画面中的示意图；
54.图5为图4中的目标对象经实施例中提供的可视化方法处理后，完整地显示于hmi画面中的示意图；
55.图6为另一个实施例提供的一种hmi画面中对象的可视化方法的流程示意图；
56.图7为又一个实施例提供的一种hmi画面中对象的可视化方法的流程示意图。
具体实施方式
57.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
58.本发明实施例提出一种hmi画面中对象的可视化方法，针对hmi画面中存在多个待选择对象时，若接收到用户触发对hmi画面中某一目标对象的选择指令，基于目标对象在图层结构树中的层级关系，获取目标对象在hmi画面中与其他待选择对象的重合关系，并判定目标对象是否处于非可视区域，判定目标对象位于非可视区域时，调整目标对象在图层结构树中的层级关系，使目标对象的层级高于所有与目标对象重合的其他待选择对象，从而使目标对象完整地显示于hmi画面中。本可视化方法可以免去用户在编辑位于非可视区域的目标对象的过程前后，对目标对象或与目标对象重合的其他待选择对象的位置进行移动和恢复的繁琐操作，减轻了用户在编辑hmi画面时对目标对象操作的复杂程度，提高了用户的工作效率。
59.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
60.需要说明的是，一般地，一个待选择对象在hmi画面中的位置和大小是由该待选择对象的x轴坐标、y轴坐标、z轴坐标共同确定的，其中，x轴坐标、y轴坐标分别是一段数值区间，z轴坐标是一个固定值。
61.实施例一
62.如图1所示，本发明实施例提供一种hmi画面中对象的可视化方法，本实施例的方
法可在任一计算机设备上实现，其为组态工具中对hmi画面中目标对象的可视化方法，本实施例的可视化方法包括下述的步骤：
63.s1、针对hmi画面中存在多个待选择对象时，若接收到用户触发对hmi画面中某一目标对象的选择指令，基于目标对象在图层结构树中的层级关系，获取目标对象在hmi画面中与其他待选择对象的重合关系，并判定目标对象是否处于非可视区域；
64.若是，则进入s2；
65.否则，说明目标对象已经完整地显示于hmi画面中，结束本次可视化流程。
66.s2、基于预先的可视化展示策略，将所述目标对象调整至当前hmi画面中的可视区域。
67.所述预先的可视化展示策略为，基于与目标对象存在重合关系的其他待选择对象在图层结构树的层级关系，调整目标对象的z轴坐标值，将目标对象置于所有与目标对象存在重合关系的其他待选择对象的上层，使目标对象完整地显示于hmi画面中。
68.显然的，所述图层结构树是在s1之前已经建成的结构树，且所述图层结构树为关于hmi画面中所有待选择对象的层级关系的结构树，图层结构树中包括每一个待选择对象的z轴坐标值；图层结构树中各个待选择对象间的层级关系和待选择对象的z轴坐标值关联，一个待选择对象的z轴坐标值越大，则其对应的层级越高。当两个待选择对象存在重合关系时，层级高的待选择对象遮挡层级低的待选择对象。
69.需要说明的是，所述目标对象为用户当前操作的一个独立的图元；
70.或者，所述目标对象为用户当前操作的两个以上的相互独立的图元；
71.或者，所述目标对象为用户当前操作的多个子图元组合形成的一个图元。
72.上述图元为在具体的应用场景中用来表示基本要素的图形或元素，例如，当hmi画面为反映工业控制系统中各个设备连接关系的画面时，上述图元可为hmi画面中用于表示不同设备的图形或表示控制按钮的功能图标等。
73.在实际应用场景中，若一个目标对象完整地显示在hmi画面中，则称目标对象位于可视区域，若一个目标对象没有完整地显示在hmi画面中，则称目标对象位于非可视区域。具体地，如图2～3所示，对象c为目标对象，对象a为其他待选择对象，目标对象位于非可视区域的情况包括下述两种：
74.一种情况是目标对象在xoy平面上的投影区域与其他待选择对象在xoy平面上的投影区域完全重合，且与目标对象重合的其他待选择对象的层级高于目标对象的层级，此时目标对象完全位于非可视区域。如图2所示的一种对象间的遮挡关系示意图，其中对象c完全位于非可视区域，也可称为对象c被对象a完全遮挡。
75.另一种情况是目标对象在xoy平面上的投影区域与其他待选择对象在xoy平面上的投影区域不完全重合，且与目标对象重合的其他待选择对象的层级高于目标对象的层级，此时目标对象部分位于非可视区域。如图3所示的另一种对象间的遮挡关系示意图，其中目标对象部分位于非可视区域，也可称为对象c被对象a部分遮挡。
76.对于完全位于非可视区域的目标对象，用户需要从图层结构树中对目标对象执行选择操作，对于部分位于非可视区域目标对象，用户可以从图层结构树中对目标对象执行选择操作，也可以直接在hmi画面中对目标对象执行选择操作。
77.如图4～5所示，图4为实施例中目标对象显示在hmi画面中的示意图，其中对象c为
目标对象，可以观察到，多个待选择对象遮挡住了目标对象；图5为图4中的目标对象经实施例一中提供的可视化方法处理后，目标对象完整地显示于hmi画面中的示意图。
78.本实施例提供的可视化方法，接收到用户触发对hmi画面中某一目标对象的选择指令，可直接将位于非可视区域的目标对象完整地显示于hmi画面中，减轻了用户在编辑hmi画面时对位于非可视区域的目标对象操作的复杂程度，提高了用户的工作效率。
79.实施例二
80.如图6所示的流程示意图，为了更好地理解实施例一，本实施例结合具体的子步骤进行进行详细说明。
81.s001、当hmi画面中存在至少一个待选择对象时，根据所有待选择对象间的层级关系建立图层结构树。
82.s101、接收用户基于图层结构树或hmi画面触发的对hmi画面中某一待选择对象的选择指令，将所述待选择对象确定为目标对象。
83.s102、获取图层结构树中每一个待选择对象在xoy平面上的投影区域，基于目标对象的投影区域与其他待选择对象的投影区域是否存在重合区域，判断目标对象与其他待选择对象是否重合；所述基于目标对象的投影区域与其他待选择对象的投影区域是否存在重合区域，判断目标对象与其他待选择对象是否重合，采用现有技术实现，此处不做赘述；
84.若是，则跳转到s103；
85.若否，则说明目标对象已经完整地显示于hmi画面中，结束本次可视化流程。
86.也即，当目标对象与其他待选择对象均不重合时，则表明目标对象位于可视区域，目标对象已经完整地显示于hmi画面中；若目标对象的投影区域与其他待选择对象的投影区域重合，则无法直接判断目标对象是否位于非可视区域，需要根据目标对象和与目标对象重合的其他待选择对象在图层结构树中的层级关系进行进一步的判断。
87.s103、获取目标对象的z轴坐标值b。
88.s104、获取所有与目标对象重合的其他待选择对象的z轴坐标值，使用遍历法选取所有与目标对象重合的其他待选择对象的z轴坐标值中的最大值a。也即，基于图层结构树中的层级关系，选出所有与目标对象重合的其他待选择对象中层级最高的对象。
89.s105、判断a的数值是否小于b；
90.若是，则说明目标对象已经完整地显示于hmi画面中，结束本次可视化流程。
91.若否，则跳转至s201。
92.也即，将所有与目标对象重合的其他待选择对象中层级最高的对象的层级与目标对象的层级进行比较，若目标对象的层级高于该对象的层级，则表明目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，目标对象处于可视区域，已经完整地显示于hmi画面中；若目标对象的层级低于该对象的层级，则表明目标对象的层级比至少一个与目标对象重合的其他待选择对象的层级低，与目标对象重合的其他待选择对象中层级高于目标对象的待选择对象遮挡了目标对象，需要对目标对象在图层结构树中的层级关系进行调整。
93.s201、对目标对象的z轴坐标值增加k，使得目标对象的z轴坐标值b k》a，k为正实数，调整后，目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，处于可视区域，结束本次可视化流程。
94.也即，基于图层结构树中的层级关系，调整目标对象的层级位置，使目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，从而使目标对象完整地显示于hmi画面中。
95.实施例三
96.为了适应用户对某一目标对象依次进行的选择操作、编辑操作和结束编辑后的恢复原始层级关系的完整操作流程，本实施例提出的可视化方法对实施例二提出了进一步的改进。
97.为了更好地理解本实施例的创新，本实施例的创新是对上述实施例二中步骤s102、步骤s105和步骤s201的改进，步骤s001～s101和步骤s103～s104的内容和上述实施例二中的内容基本一致，此处省略。
98.如图7所示的流程示意图，本实施例提出的可视化方法包括以下步骤：
99.s001～s101。
100.s102、获取图层结构树中每一个待选择对象在xoy平面上的投影区域，基于目标对象的投影区域与其他待选择对象的投影区域是否存在重合区域，判断目标对象与其他待选择对象是否重合；
101.若是，则跳转到s103；
102.若否，则说明目标对象已经完整地显示于hmi画面中，跳转至s202。
103.s103～s104。
104.s105、判断a的数值是否小于b；
105.若是，则说明目标对象已经完整地显示于hmi画面中，跳转至s202。
106.若否，则跳转至s201。
107.s201、对目标对象的z轴坐标值增加k，使得目标对象的z轴坐标值b k》a，k为正实数，调整后，目标对象的层级高于所有与目标对象重合的其他待选择对象的层级，处于可视区域，跳转至s202。
108.s202、确定目标对象可编辑区域的外接矩形，对所述外接矩形的边框进行高亮显示。
109.所述高亮显示用于将可编辑区域更明显地显示于hmi画面中，提高hmi画面的可读性。
110.一般地，一个目标对象的可编辑区域，指的是与所述目标对象外接的矩形所包含的区域。上述外接矩形的边框的高亮显示方法采用现有技术实现，例如，高亮显示的方法包括边框的的透明度参数减小、颜色参数的改变和亮度参数的提高等。
111.s203、接收用户对目标对象的属性编辑操作指令和/或相关交互编辑操作指令，对目标对象进行相应的属性编辑操作和/或相关交互编辑操作；
112.所述属性编辑操作包括下述的一项或多项：仿射变换操作、显隐变换操作、对象锁定操作、对象解锁操作、图形填充操作、内嵌文本编辑操作、对象动作操作和对象动态操作；
113.所述相关交互操作包括下述的一项或多项：对多个目标对象间的等高操作、等宽操作、等面积操作、布尔运算操作、对齐操作、等间距操作、组合操作、解除组合操作、格式刷操作和动态格式刷操作。
114.上述接收到用户对目标对象的属性编辑操作指令和/或相关交互编辑操作指令，
则对目标对象进行相应的属性编辑操作和/或相关交互编辑操作，均采用本领域的常规技术手段实现。
115.s204、判断用户是否触发位于可视区域内的用于指示恢复目标对象的原始层级关系的指示按钮的操作指令；
116.若否，则跳转至s203；
117.若是，则对目标对象的z轴坐标值减去k，使目标对象在图层结构树中恢复至原始层级，结束本次可视化流程。
118.在本实施例中，所述用于指示恢复目标对象的原始层级关系的指示按钮可为hmi画面中位于可视区域内的一个功能图标，若接收到用户触发所述功能图标的操作指令，则表示用户想要结束当前对目标对象的编辑操作，即可执行上述操作使目标对象在图层结构树中恢复至原始层级。
119.具体地，所述指示按钮的位置可设置于目标对象的可编辑区域附近，例如，所述指示按钮可为图5中所标示的特定指示按钮。
120.另外，本发明实施例还提供一种计算机设备，所述计算机设备包括存储器、处理器、显示器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器用于执行所述计算机程序时用于实现如上所述的可视化方法，所述显示器用于显示hmi画面。
121.由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
122.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
123.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
124.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
125.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结
构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
126.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
127.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。