基于实车在环仿真的界面元素外观测评方法和系统与流程

1.本发明实施例涉及人机交互界面测试技术，尤其涉及一种基于实车在环仿真的界面元素外观测评方法和系统。


背景技术：

2.汽车是人机协同控制的复杂系统，其中人机交互界面(human machine interface,hmi)作为人机交互的重要枢纽，在其设计开发过程中，易用性和安全性测试起到十分重要的作用。
3.现有技术中一般会根据界面上元素对驾驶安全的影响程度，或者根据用户的喜好，设计元素的外观，尚未出现对元素外观进行测评的方案，无法找出设计改进的方法并给与指导性建议。


技术实现要素：

4.本发明实施例提供一种基于实车在环仿真的界面元素外观测评方法和系统，以通过实车在环仿真的方法对人机交互界面上元素外观进行测评。
5.第一方面，本发明实施例提供了一种基于实车在环仿真的界面元素外观测评方法，所述方法应用于实车在环仿真测试系统，所述系统包括用于显示多种驾驶场景的显示屏、实车、眼动仪和处理器，所述显示屏配置于所述实车前方，所述实车配置有人机交互界面；
6.所述方法包括：
7.在实车在环仿真测试过程中，所述处理器响应于驾驶员对所述人机交互界面的操作，分析所述眼动仪采集到的驾驶员眼动信号，得到所述驾驶员的凝视点热力区域；
8.如果所述凝视点热力区域仅位于所述显示屏上且行车安全，所述处理器对所述人机交互界面在所处驾驶场景下测评通过；
9.如果所述凝视点热力区域仅位于所述人机交互界面上，或者位于显示屏上和人机交互界面上，所述处理器根据人机交互界面上的凝视点热力区域是否集中、集中于的元素类型和行车是否安全，对所述人机交互界面在所处驾驶场景下进行测评。
10.第二方面，本发明实施例还提供了一种基于实车在环仿真的界面元素外观测评系统，所述系统包括：
11.用于显示多种驾驶场景的显示屏、实车、眼动仪和处理器，所述显示屏配置于所述实车前方，所述实车配置有人机交互界面；
12.所述眼动仪用于采集驾驶员的眼动信号，并将所述眼动信号传输至所述处理器；
13.所述处理器用于在实车在环仿真测试过程中，响应于驾驶员对所述人机交互界面的操作，分析所述眼动信号，得到所述驾驶员的凝视点热力区域；如果所述凝视点热力区域仅位于所述显示屏上且行车安全，对所述人机交互界面在所处驾驶场景下测评通过；如果所述凝视点热力区域仅位于所述人机交互界面上，或者位于显示屏上和人机交互界面上，
所述处理器根据人机交互界面上的凝视点热力区域是否集中、集中于的元素类型和行车是否安全，对所述人机交互界面在所处驾驶场景下进行测评。
14.本发明实施例提供了一种新颖的基于实车在环仿真的界面元素外观测评方法，应用于实车在环仿真测试系统。通过在实车在环仿真测试过程中驾驶员对人机交互界面操作时，捕捉驾驶员的凝视点热力区域，并根据凝视点热力区域在显示屏还是人机交互界面上、是否集中、集中于的元素类型和行车是否安全，综合对元素外观在所处驾驶场景下进行测评，更加准确，符合实际驾驶情况。
附图说明
15.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明实施例提供的基于实车在环仿真的界面元素外观测评系统的结构示意图；
17.图2是本发明实施例提供的一种基于实车在环仿真的界面元素外观测评方法的流程图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
19.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
20.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
21.本发明实施例提供一种基于实车在环仿真的界面元素外观测评方法，本方法应用于基于实车在环仿真的界面元素外观测评系统，参见图1，系统包括用于显示多种驾驶场景的显示屏、实车、眼动仪(未示出)和处理器，显示屏可以是环屏，通过虚幻引擎预制场景程序，配置于所述实车前方，驾驶员在实车内通过观看显示屏上的驾驶场景(包括不同的道路和路况等)，模拟在实际场景中行车，具体可对方向盘、油门/刹车踏板和档位等执行机构进行操作。这些操作可以通过配置在执行机构上的传感器采集并传输给处理器。处理器根据
驾驶员的操作得到车辆行驶数据，包括速度和方向等。然后将车辆行驶数据输入到驾驶场景中可以模拟得到车辆的行车状态，例如车辆在驾驶场景中有无偏离车道线，是否超速，进而判断行车是否安全。
22.实车配置有人机交互界面，驾驶员在实车在环仿真测试过程中根据需求操作人机交互界面。可选的，对人机交互界面上的元素进行触摸或点击。驾驶员佩戴有眼动仪，眼动仪用于采集驾驶员的眼动信号，并将所述眼动信号传输至所述处理器。
23.本发明实施例提供的基于实车在环仿真的界面元素外观测评方法的流程图如图2所示，可适用于基于实车在环仿真场景，对车辆内人机交互界面上元素外观进行测评的情况。本实施例由上述系统中的处理器执行。结合图1，本实施例提供的方法具体包括：
24.s110、在实车在环仿真测试过程中，所述处理器响应于驾驶员对所述人机交互界面的操作，分析所述眼动仪采集到的驾驶员眼动信号，得到所述驾驶员的凝视点热力区域。
25.在实车在环仿真测试过程中，如果驾驶员有人机交互界面的操作需求，比如查询天气、地图，寻找最近的停车场等，会触摸或点击人机交互界面上对应的元素。以此作为触发条件，获取操作前后一段时间内的驾驶员的眼动信号进行分析。在实际应用场景中，考虑行车的安全性，驾驶员不宜长时间观看人机交互界面，可以自定义选取操作前后1s的眼动信号进行分析。
26.具体的，眼动仪记录了眼球的位置和运动，如果眼动仪以1000hz的采样率收集数据，在最终的数据中将获得每秒1000个单独的采样点，采样点落在人机交互界面和显示屏上成为凝视点。热力区域是可视化，显示凝视点的总体分布情况。它们通常在所呈现的显示屏或者人机交互界面上显示为颜色梯度叠加。红色，黄色和绿色按降序表示指向某个区域的时间长度，颜色越红表示眼球注视该区域的时间越长。
27.可以估计的是，在实车在环仿真场景中，凝视点热力区域可能在显示屏上，也可能在人机交互界面上，也可能均有分布。本实施例对凝视点热力区域显示在显示屏上还是人机交互界面上，采取不同的测评方法。
28.s120、判断凝视点热力区域是位于所述显示屏上还是人机交互界面上。如果仅位于显示屏上则执行s121，如果仅位于人机交互界面上，或者位于显示屏上和人机交互界面上，执行s122。
29.如果凝视点热力区域仅位于所述显示屏上，说明驾驶员的视线与行驶方向一致，则继续判断行车是否安全。具体的，处理器根据所处驾驶场景和车辆行驶数据判定行车安全，车辆行驶数据根据所述驾驶员对所述实车的执行结构的操作得到。将车辆行驶数据施加在驾驶场景中，得到车辆的行驶状态，从而根据行驶状态判断行车是否安全，例如车辆在驾驶场景中有无偏离车道线，是否超速，是否发生碰撞，方向盘转角和脚刹变化等数据是否符合预期等。如果行车安全则对所述人机交互界面在所处驾驶场景下测评通过；如果行车不安全，说明驾驶员对人机交互界面的操作影响了驾驶，可能是没有立即找到需要的元素，则测评不通过。
30.如果凝视点热力区域仅位于人机交互界面上，或者位于显示屏上和人机交互界面上，说明驾驶员的视线与行驶方向不完全一致，部分或者全部视线被人机交互界面所吸引，则处理器根据人机交互界面上的凝视点热力区域是否集中、集中于的元素类型和行车是否安全，对所述人机交互界面在所处驾驶场景下进行测评。
31.s121、判断行车是否安全。如果是，则执行s123，如果否，则执行s124。
32.s122、判断凝视点热力区域在人机交互界面上是否集中以及集中于的元素类型。如果分散则执行s124。如果集中于功能类型的元素则执行s121。如果集中于非功能类型的元素则执行s124。
33.凝视点热力区域在人机交互界面上是否集中可以通过凝视点热力区域在人机交互界面中的分布确定。是否集中的判断条件可参考现有技术。如果不集中(即分散)，说明驾驶员在界面上反复寻找，没有及时锁定需要的元素，反之，就是元素没有有效地吸引驾驶员的视线。因此测评不通过。如果凝视点热力区域集中，进一步判断其集中的是功能类型的元素还是非功能类型的元素。
34.可选的，如果所述凝视点热力区域仅位于所述人机交互界面上，或者位于显示屏上和人机交互界面上，所述处理器获取所述摄像头对所述人机交互界面进行拍摄得到的图像；所述处理器对所述图像进行目标检测，得到所述人机交互界面上的元素类型和位置；所述处理器根据所述凝视点热力区域是否集中、集中于的元素类型和行车是否安全，对所述人机交互界面在所处驾驶场景下进行测评。元素类型包括功能性元素和非功能性元素，功能性元素指的是地图、车速等行车必需的元素，非功能性元素指的是天气、音乐、视频等行车不必需的元素。
35.具体采用r-cnn或者fast r-cnn对人机交互界面进行目标检测，框选出各元素。将各元素与凝视点热力区域相匹配，以筛选出凝视点热力区域集中的元素。如果凝视点热力区域集中于功能类型的元素，说明功能类型的元素吸引了驾驶员的视线，设计得比较突出，进一步判断行车是否安全。如果凝视点热力区域集中于非功能类型的元素，说明非功能类型的元素吸引了驾驶员的视线，分散了驾驶员的视线和行车精力，则不需要判断行车是否安全，直接测评不通过。
36.s123、对所述人机交互界面在所处驾驶场景下测评通过。
37.s124、对所述人机交互界面在所处驾驶场景下测评不通过。
38.本发明实施例提供了一种新颖的基于实车在环仿真的界面元素外观测评方法，应用于实车在环仿真测试系统。通过在实车在环仿真测试过程中驾驶员对人机交互界面操作时，捕捉驾驶员的凝视点热力区域，并根据凝视点热力区域在显示屏还是人机交互界面上、是否集中、集中于的元素类型和行车是否安全，综合对元素外观在所处驾驶场景下进行测评。
39.在上述实施例和下述实施例中，在如果所述凝视点热力区域仅位于所述人机交互界面上，或者位于显示屏上和人机交互界面上，所述处理器根据人机交互界面上的凝视点热力区域是否集中、集中于的元素类型和行车是否安全，对所述人机交互界面在所处驾驶场景下进行测评之后，还包括以下操作：
40.第一步：处理器在测评不通过的人机交互界面中选择待调整元素，对所述待调整元素的外观进行调整。
41.可选的，处理器在测评不通过的人机交互界面中选择凝视点热力区域覆盖的元素，作为所述待调整元素；和/或，如果所述测评不通过的人机交互界面中凝视点个数小于阈值，从所述凝视点处选择影响驾驶行为的元素作为所述待调整元素。
42.凝视点个数小于阈值时不能形成热力区域，例如只有分散的3、4个凝视点，则无法
选择凝视点热力区域覆盖的元素，那么则从分散的凝视点处选择影响驾驶行为的元素，例如地图元素。
43.在对待调整元素的外观进行调整时，按照设定函数对所述待调整元素的视觉特征和/或位置进行调整；视觉特征至少包括颜色、形状、透明度和角度中的至少一项，所述设定函数用于确定调整方向和幅度，包括但不局限于线性函数、指数函数、对数函数等等，也可以由测试人员手动输入函数作为设定函数执行调整。
44.可选的，在对待调整元素的位置进行调整时，还可以通过测试人手动选择元素移动点，以备调整使用。
45.第二步：处理器控制所述实车运行调整后的人机交互界面，根据所述测评不通过的人机交互界面的所处驾驶场景设置所述显示屏中的驾驶场景。
46.将测评不通过的人机交互界面的所处驾驶场景，以及所处驾驶场景的关联驾驶场景和/或具有测试需求的驾驶场景，设置为所述显示屏中的驾驶场景。
47.测评时的驾驶情景类型包括测试不通过的情景及其相近的情景，测试人员也可以根据测试需求添加其他情景进行测评。示例性的，测评不通过的人机交互界面的所处驾驶场景为转弯场景，则将掉头场景和具有测试需求的变道场景设置为显示屏中的驾驶场景。
48.第三步：返回在实车在环仿真测试过程中，所述处理器响应于驾驶员对所述人机交互界面的操作，分析所述眼动仪采集到的驾驶员眼动信号，得到所述驾驶员的凝视点热力区域的操作。
49.经过元素调整以及重新设置驾驶场景后，再次进行实车在环仿真。如果测试通过则说明调整合格，如果测试不通过则重新调整。将测评通过的人机交互界面上的元素视觉特征、位置和所处驾驶场景存储至数据库，形成指导。
50.综合上述各实施例，本发明实施例的目的在于提供一种通过元素自动化调节获取最佳设计的车机产品设计评价方法，以通过在环仿真测试识别存在问题的元素，并通过实车在环仿真获取最佳设计方式，指导人机界面设计改进。
51.与现有技术相比，本发明实施例的有益效果为：
52.1)基于驾驶情景进行界面易用性和安全性测试，自动化识别问题界面和存在问题的元素。
53.2)通过预设置元素的改变方式和改变幅度函数，试验测试获取最佳设计方法，便于辅助设计者找出设计问题，给与改进建议。
54.3)自动化设计问题识别和测试方法，有效提高了人工操作的工作效率，提高设计问题识别率，避免人工工作可能存在的遗漏，减少经验成本。
55.参见图1，本发明实施例提供一种基于实车在环仿真的界面元素外观测评系统包括：用于显示多种驾驶场景的显示屏、实车、眼动仪和处理器，所述显示屏配置于所述实车前方，所述实车配置有人机交互界面；所述眼动仪用于采集驾驶员的眼动信号，并将所述眼动信号传输至所述处理器。
56.所述处理器用于在实车在环仿真测试过程中，响应于驾驶员对所述人机交互界面的操作，分析所述眼动信号，得到所述驾驶员的凝视点热力区域；如果所述凝视点热力区域仅位于所述显示屏上且行车安全，对所述人机交互界面在所处驾驶场景下测评通过；如果所述凝视点热力区域仅位于所述人机交互界面上，或者位于显示屏上和人机交互界面上，
所述处理器根据人机交互界面上的凝视点热力区域是否集中、集中于的元素类型和行车是否安全，对所述人机交互界面在所处驾驶场景下进行测评。测评结果包括测评通过和测评不通过。
57.可选的，实车在环仿真测试系统还包括摄像头，用于对人机界面进行拍摄，并将拍摄的图像传输至处理器。
58.处理器的操作和技术效果参见上述各实施例的描述，此处不再赘述。
59.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。