一种人机界面的测试方法及装置与流程

1.本发明属于人机界面测试技术领域，特别涉及一种人机界面的测试方法及装置。


背景技术：

2.人机界面(driver machine interface，简称dmi，即驾驶员界面或人机界面)是车载atp(automatic train protection，列车自动保护系统)系统的关键组成部分，安装在动车组司机驾驶室前端，接受司机输入列车相关数据和操作，显示列车当前速度、最大限速、目标速度、目标距离等驾驶信息，接受司机输入列车相关数据和操作，控制列车运行状态。
3.人机界面结构组成包含1块tft(thin film transistor，薄膜晶体管)显示屏、1块主板(含cpu及外设通信模块)、外置喇叭和按键。
4.因为该产品与行车安全息息相关，所以对于该产品的功能测试尤为重要。目前在dmi产品生产测试时，通常采用两种方式。一种是将产品上电后运行其操作系统的基础程序(不含应用程序)，此时产品显示屏能够显示欢迎界面，可以确认软件环境正常，硬件显示屏正常，但无法验证其他外设功能。另一种是在产品内部下载应用程序，此时产品能够执行atp系统正常功能，但是该测试方式必须连接外部atp主机，而且在正式应用场景下，atp需要运行多种场景，才可以遍历所有外设功能，操作时间长，环境搭建复杂。
5.基于以上情况，亟需开发一台仅针对人机界面的自动测试装置，用于完整验证产品外设功能，提高测试效率。


技术实现要素：

6.针对上述问题，本发明提供一种人机界面的测试方法，包括：通过测试主机对人机界面，即dmi进行外部设备测试，包括按键测试和显示测试；
7.获取dmi的屏幕显示图像；
8.测试主机根据屏幕显示图像确定dmi的按键功能和显示功能是否正常。
9.进一步地，所述按键测试包括：
10.测试主机通过三维运动平台对dmi的按键进行测试。
11.进一步地，三维运动平台设置与dmi的多组按键对应的多组移动部件和按压部件，分别用于按压测试dmi的各组按键；移动部件用于带动按压部件移动到指定位置，按压部件用于按压dmi的按键；
12.测试主机通过三维运动平台对dmi的按键进行测试包括：
13.测试主机控制移动部件移到指定位置，控制按压部件对dmi的按键进行按压测试。
14.进一步地，通过与dmi下侧按键对应的第一组移动部件和第一组按压部件对下侧按键进行测试；和/或
15.通过与dmi右侧按键对应的第二组移动部件和第二组按压部件对右侧按键进行测试。
16.进一步地，通过在dmi下侧设置的一套独立的按键测试结构对dmi的下侧按键进行
测试，包括：丝杆、滑轨和两台伺服电机；通过两台伺服电机分别控制滑轨水平移动和丝杆按压按键；和/或
17.通过在dmi右侧设置的一套独立的按键测试结构对dmi的右侧按键进行测试，包括：丝杆、滑轨和两台伺服电机；通过两台伺服电机分别控制滑轨竖直移动和丝杆按压按键。
18.进一步地，方法包括：通过三维运动平台对dmi的按键进行抖动测试：
19.控制三维运动平台以小于100ms的频率连续点击同一按键；
20.通过获取的屏幕显示图像判断dmi屏幕画面是否切换，若未切换，则对该按键的测试通过。
21.进一步地，方法包括：通过三维运动平台对dmi的按键进行组合测试：
22.控制三维运动平台电机先后按压两个按键，确认在任一按键按压前提下，其余按键按下后画面不切换，则按键组合测试通过。
23.进一步地，在进行所述按键测试时，控制dmi的屏幕底色交替变化，从而对屏幕进行坏点测试。
24.进一步地，方法还包括图像测试：
25.测试主机控制dmi修改显存中的图片；
26.之后，根据获取的dmi屏幕显示图像确定dmi的图像显示功能是否正常。
27.进一步地，图像测试包括：
28.测试主机发送偏差帧测试的数据包到dmi；
29.dmi根据接收的数据包从dmi硬盘中获取指定测试图片；
30.对指定测试图片进行修改，使得修改后图片与所述测试图片的像素偏差大于指定阈值；
31.将修改后的图片存储至显存中；
32.获取dmi的屏幕显示图像；
33.根据屏幕显示图像判断dmi是否出现黑屏，若出现，则dmi图像显示功能正常。
34.进一步地，测试主机通过远程控制软件启动dmi的测试程序；
35.之后，测试主机通过通信接口与dmi通信，dmi的测试程序和测试主机的测试软件实现对dmi的测试。
36.进一步地，方法还包括通信接口测试：
37.测试主机通过通信板卡持续向dmi发送数值递增的数据包；
38.dmi的测试程序通过相应的通信模块将接收的数据包转发回测试主机；
39.测试主机通过测试软件连续收到指定数量的连续的数据包，且数据包返回时间小于指定时间，则判断该通信板卡对应的通信接口测试通过。
40.本发明还提供一种人机界面的测试装置，包括：
41.测试主机、三维运动平台和相机，
42.测试主机用于对人机界面，即dmi进行外部设备测试，包括按键测试和显示测试；
43.相机用于获取dmi的屏幕显示图像；
44.测试主机还用于根据屏幕显示图像确定dmi的按键功能和显示功能是否正常。
45.进一步地，三维运动平台包括与dmi的多组按键对应的多组移动部件和按压部件，
分别用于按压测试dmi的各组按键；
46.移动部件用于带动按压部件移动到指定位置，按压部件用于按压dmi的按键。
47.进一步地，三维运动平台包括：
48.与dmi下侧按键对应的第一组移动部件和第一组按压部件，用于对下侧按键进行测试；和/或
49.与dmi右侧按键对应的第二组移动部件和第二组按压部件，用于对右侧按键进行测试。
50.进一步地，三维运动平台包括：
51.在dmi下侧设置的一套独立的按键测试结构，用于对dmi的下侧按键进行测试，包括：丝杆、滑轨和两台伺服电机；通过两台伺服电机分别控制滑轨水平移动和丝杆按压按键；和/或
52.在dmi右侧设置的一套独立的按键测试结构，用于对dmi的右侧按键进行测试，包括：丝杆、滑轨和两台伺服电机；通过两台伺服电机分别控制滑轨竖直移动和丝杆按压按键。
53.进一步地，测试主机还包含cpu板卡、声卡、网卡、mvb通信板卡、can通信板卡、rs422通信板卡以及测试软件，
54.测试主机能够通过测试软件调用各硬件驱动api接口实现测试逻辑。
55.本发明的人机界面的测试方法及装置，能够对人机界面的各种硬件设备进行高效的硬件设备的基础功能测试，便于实现自动化的人机界面出厂检测。采用三维运动平台进行按键测试，移动速度快，不遮挡屏幕，能够实现抖动测试和组合测试。图像测试过程能够对dmi的显示异常监督功能进行测试，从而提高dmi的安全性。
56.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
57.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
58.图1示出了根据本发明实施例的人机界面的测试装置结构示意图；
59.图2示出了根据本发明实施例的人机界面的测试装置的测试主机结构示意图；
60.图3示出了根据本发明实施例的人机界面的测试装置的立体结构示意图；
61.图4示出了根据本发明实施例的人机界面的测试装置的图像测试过程示意图。
具体实施方式
62.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员
在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.本发明实施例提供一种人机界面(简称dmi)的测试方法及装置。
64.如图1所示，测试装置包括三维运动平台、测试主机、交换机和电源。三维运动平台包括四台伺服电机、电机控制板、工业相机和配套丝杆和导轨，用于自动按压dmi的按键并监控dmi显示画面。
65.测试装置可实现对dmi设备的全自动硬件功能测试，包含dmi屏幕显示测试、dmi按键测试、dmi通信测试、dmi声音输出测试、dmi的usb接口测试。
66.下面对测试装置的各个部件进行说明。
67.如图2所示，测试主机采用的工控机。测试主机包含cpu板卡、声卡、网卡、mvb通信板卡、can通信板卡、rs422通信板卡，通过测试软件调用各硬件驱动api(application programming interface，应用程序接口)接口实现测试逻辑，可实现测试过程自动执行、测试状态实时显示、测试结果自动评判。解决了以往测试项目不完整或测试过程繁琐，测试时间长的问题。具体地，通过cpu板卡提供usb通信接口，用于与dmi的usb通信接口通信；通过can通信板卡提供can通信接口,用于与dmi的can通信接口通信；通过422通信板卡提供rs422通信接口，用于与dmi的rs422通信接口通信；通过mvb通信板卡提供mvb通信接口，用于与dmi的mvb通信接口通信；通过网卡提供以太网通信接口,用于通过交换机与dmi的以太网通信接口通信。测试主机还通过以太网通信接口控制三维运动平台按压dmi各按键，通过相机采集的屏幕画面进行图像识别分析，通过麦克风采集dmi的声音输出，确认dmi各功能是否正常。
68.测试主机通过交流220v供电。直流电源用于为dmi提供110v电源，dmi通过电源接口接收供电。
69.测试主机用于控制测试执行，管理测试过程，生成测试结果。测试主机通过nfs(network file system，网络文件系统)的方式连接dmi，使用securecrt软件进入dmi操作系统后运行测试主机内的测试程序，实现dmi的外设与测试主机的通信互动。dmi的外设即外部设备，包括：按键、屏幕、扬声器、通信接口等。
70.测试时，cpu板卡用于运行windows操作系统，管理各总线硬件工作；usb接口用于测试完毕后，获取dmi的usb接口储存的日志(log)，测试主机对日志进行校验；mvb通信板卡用于与dmi的mvb通信接口连接进行数据收发测试；can通信板卡用于与dmi的can通信接口连接进行数据收发测试；rs422通信接口用于连接dmi的rs422通信接口，登录dmi的操作系统，远程运行测试主机内的测试程序。以太网卡用于连接交换机，与其他以太网接口设备通信。声卡用于连接测试主机外部麦克风，监听dmi声音输出。
71.如图3所示，三维运动平台包括移动部件以及与移动部件连接的按压部件，移动部件用于带动按压部件移动到指定位置，按压部件用于按压dmi的按键。本发明实施例的dmi，包括两组不同方向排列的按键，每组按键按照一定方向直线排列。例如，屏幕下侧按键和右侧按键。本发明实施例中，三维运动平台设置多组移动部件和按压部件，分别用于按压dmi的各组按键。具体地，设置与下侧按键对应的第一组移动部件和第一组按压部件，与右侧按键对应的第二组移动部件和第二组按压部件。
72.示例性地，移动部件包括滑轨，按压部件包括丝杆。滑轨根据dmi的按键位置分布，能够带动丝杆沿滑轨滑动。在dmi下侧设置一套独立的按键测试结构包含：一支丝杆、一个
滑轨、两台伺服电机，两台伺服电机分别实现该丝杆沿滑轨水平移动和丝杆按压按键。丝杆用于上下按压，滑轨用于带动丝杆水平移动和结构固定。相同的，在dmi的右侧设置有另一套独立的按键测试结构，包括：一支丝杆、一个滑轨、两台伺服电机，两台伺服电机分别实现该丝杆沿滑轨竖直移动和丝杆按压按。丝杆用于上下按压，滑轨用于带动丝杆上下移动和结构固定。
73.采用该三维运动平台可最大程度模拟人工操作时的点压速度，解决了传统采用机械臂结构点压按键后复位时间长，运动走行距离长，单次点压速度无法达到按压间隔＜1s的问题，不仅如此三维运动平台在按压过程中不会遮挡屏幕，便于图像识别的持续画面捕捉，而且在按键抖动测试时，伺服电机控制丝杆实现＜100ms的连续点击动作，验证按键防抖功能。
74.交换机用于扩展测试主机以太网接口，分别连接三维运动平台实现dmi按键的按压控制、连接dmi以太网接口实现数据收发测试、连接相机用于dmi屏幕画面的捕捉。
75.本发明实施例还提供一种人机界面的测试方法，不失一般性地，测试方法可以通过上述实施例中的测试装置实现。
76.示例性地，测试方法步骤包括：软件环境准备、rs422通信测试、mvb通信测试、can通信测试、以太网通信测试、按键及显示测试、usb拷贝测试、喇叭声音测试。具体方法如下：
77.软件环境准备
78.在测试主机中进入linux环境，设置linux环境的网络使之能够连接dmi，之后在linux环境中其中远程控制软件securecrt，通过securecrt软件执行命令，远程启动dmi的测试程序。之后：测试主机中的测试软件与dmi的测试程序分别运行，测试主机与dmi通过通信接口交互，实现对dmi外设的功能测试。
79.第一步：测试主机启动“vmware workstation”软件，加载“ubuntu12.vmx”虚拟机,“虚拟机设置”中选择“网络适配器”，选择“桥接模式”，点击“开启此虚拟机”。本发明实施例中，测试主机的主系统为windows系统，因此通过“vmware workstation”软件，可以在windows上运行linux虚拟机，示例性地，采用ubuntu12 linux虚拟环境，以便在该环境中运行远程控制的软件。在另外的实施例中，也可以采用其他的linux虚拟机。
80.第二步：进入linux操作系统后，密码输入：honor，点击“ctrl alt t”组合快捷键，以调出命令窗口。在命令窗口输入“ifconfig”查看eth0网卡ip，并配置eth0的网络地址。具体地，输入“sudo ifconfig eth0192.168.1.65netmask 255.255.255.0”回车，密码为“honor”；再次输入“ifconfig”查看eth0网卡ip，应为“192.168.1.65”。
81.第三步：启动securecrt软件，示例性地，启动“securecrt7.3”软件，新建serial连接，“character encoding”选择“utf-8”，“normal font”选择“新宋体14pt”，“terminal”选择“linux”，“serial port”选择rs422串口卡在测试主机识别出的设备号，比如“com4”，“baud rate”选择“115200”。
82.第四步：dmi上电后，观察“securecrt7.3”软件打印窗口，出现输出日志后，点击“enter”按键，出现输入提示符后输入：
[0083]“setenv netargs setenv bootargs console＝${console}${optargs}root＝/dev/nfs
[0084]
nfsroot＝${serverip}:/home/honor/ti-sdk-am335x-evm-06.00.00.00/
targetnfs,${nfsopts}rwip＝${ipaddr}:${serverip}:${gatewayip}:${netmask}:${hostname}:eth0:off”(测试主机以nfs方式连接dmi)回车，之后输入“run netboot”回车—启动dmi。等待dmi连接测试主机正常后，输入密码“root”进入dmi操作系统。
[0085]
第四步：修改dmi环境变量，输入“vi/etc/profile”—打开并编辑profile配置文件，文件结尾增加
[0086]
export qtdir＝/home/root root//设置测试执行的目录
[0087]
export ld_library_path＝$qtdir/lib:$qtdir/plugins/imageformats:$ld_library_path//设置动态链接库路径
[0088]
export qt_plugin_path＝$qtdir/plugins//设置插件路径
[0089]
export qt_qws_fontdir＝/usr/lib/fonts//设置字体库
[0090]
export qws_mouse_proto＝/dev/input/mice”//设置鼠标输入
[0091]
保存后退出。
[0092]
第五步：切换到测试项目路径，启动测试程序。输入“cd”回车，输入“cd qt/dmi/test”，输入“./test-qws-nomouse”启动测试程序。
[0093]
通过以上五步，dmi开始运行测试程序，等待测试响应。启动测试主机测试软件，进行自动测试。
[0094]
因为此配置过程使用rs422通信，所以软件环境配置成功后即可确认rs422通信测试项通过。
[0095]
通信接口测试
[0096]
测试主机通过通信板卡持续向dmi发送数值递增的数据包；
[0097]
dmi的测试程序通过相应的通信板卡将接收的数据包转发回测试主机；
[0098]
测试主机通过测试软件连续收到指定数量的连续的数据包，且数据包返回时间小于指定时间，则判断该通信板卡对应的通信接口测试通过。
[0099]
具体地，通信接口测试包括：以太网通信测试、mvb通信测试、can通信测试，还可以包括rs422通信测试，但由于本发明实施例中采用rs422通信启动dmi测试程序，因此，可以不进行单独的rs422通信测试。
[0100]
以太网通信测试
[0101]
测试主机通过以太网接口持续发送数值递增的数据包，dmi收到数据包后将数据包转发回测试主机，测试主机通过测试软件连续收到100包连续的数据，且数据返回时间小于2.5倍通信周期判断测试通过。具体地，数据包包含n(n》1)个字节，如16字节，测试时，每次发送的数据包相较于上一包数据，每个字节数值加1。
[0102]
mvb通信测试
[0103]
测试主机通过mvb通信板卡持续向dmi发送32字节递增数据包，测试主机通过测试软件连续收到100包连续的数据，且数据返回时间小于2.5倍通信周期判断测试通过。示例性地，
[0104]
mvb通信板卡发送端口地址为：pd_source_address＝0x38b
[0105]
mvb通信板卡接收端口地址为：pd_sink_address＝0x398
[0106]
端口收发数据包大小(字节)port_size:32
[0107]
通信周期(毫秒)port_cycletime:64
[0108]
can通信测试
[0109]
测试主机通过can通信板卡持续向dmi发送扩展帧格式的递增数据，测试主机的测试软件连续收到100帧连续的数据，且数据返回时间小于2.5倍通信周期判断测试通过。
[0110]
can扩展帧是由28位canid和8字节数据共同组成，下表为测试主机和dmi的canid值，测试主机发送数据为a0e00100(左对齐) 8byte数据(每一帧较上一帧，每字节数值加1)，dmi发送数据为e0a00100(左对齐) 8byte数据(每一帧较上一帧，每字节数值加1)。can地址，即canid节点由28比特(bits)构成，其中，8位用于目标标识，8位用于表示源，8位用于表示类型，5位用于表示参数。剩余3位以0在首端或末端补足。
[0111][0112]
can通信波特率：1mbps
[0113]
按键测试
[0114]
按键测试包括：按键及显示测试、按键抖动测试和组合按压测试。
[0115]
按键及显示测试：测试主机通过以太网接口向三维运动平台发送按键坐标值，三维运动平台收到按键坐标值后在2-3s范围内，通过伺服电机完成移动部件的移动和目标按键按压。同时测试主机通过以太网持续采集dmi屏幕画面，依次按压dmi右侧8个按键，下侧11个按键，屏幕应显示对应按键的字符，dmi测试程序控制屏幕底色以1s为周期交替变化，用于识别屏幕坏点。示例性地，屏幕底色为红、蓝交替闪烁。测试主机通过判断发送按压命令和屏幕显示字符一致性，判断该按键是否通过测试，当所有按键正常时，判断屏幕显示正常，测试通过。按键过程中持续捕捉屏幕画面，确认切换中无黑屏、闪屏情况。具体地，屏幕指定位置，如屏幕中心位置会显示一个字符，该字符是随每次按压按键变化，屏幕底色是周期交替变化，在按键测试的同时进行屏幕坏点测试。坏点是指屏幕上存在故障的显示点，坏点在图像切换时会出现无法顺利切换像素的问题。
[0116]
按键抖动测试：控制三维运动平台以一定频率反复多次点击指定按键，确认屏幕画面未切换，则通过抖动测试。示例性地，按照《100ms速度反复点击10次同一按键，确认画面未切换，并如此依次遍历dmi右侧8个按键和下侧11个按键。
[0117]
组合按压测试：控制三维运动平台电机先后按压两个按键，确认在任一按键按压前提下，其余按键按下后画面不切换，依次遍历任意两个按键组合，共88种组合。
[0118]
图像测试
[0119]
测试主机通过mvb发送图像偏差帧测试的数据包到dmi，dmi在接收到该数据包后修改显存中当前图像，调整图像像素与原值偏差大于指定阈值，如5％，通过相机图像识别判断屏幕是否显示黑屏，若是，则测试通过。
[0120]
如图4所示，图像测试过程如下：
[0121]
步骤
①
：dmi获取并处理mvb总线数据，当mvb总线数据的类型为偏差帧测试时，获
取mvb总线数据中指定的测试图片id。
[0122]
具体地，dmi通过mvb硬件接口从测试装置获取mvb总线数据。dmi包括软件和硬件。硬件包括mcu(microcontroller unit，微控制单元)、硬盘和显存等。软件包括应用程序和底层驱动。其中，应用程序即测试程序，包含通信控制、按键控制和显示控制等。dmi上的测试程序通过mcu运行，获取并分析mvb总线数据。
[0123]
测试装置以数据包的形式发送mvb总线数据到dmi。测试程序处理mvb数据，当数据包中的测试类型字段为偏差帧测试时，测试程序获取该数据包中指定位置的测试图片id值。具体地，测试类型字段占用指定位置的1个字节，测试图片id值占用指定位置的4个字节。
[0124]
测试图片id值是存储在dmi硬盘中的图片id值。dmi作为一种安全型设备，其屏幕显示和更新是通过调用预先存储在硬盘中的图片进行的。在dmi的硬盘中，存储了数百或数千张用于显示在屏幕上的图像，包括速度曲线图片等。
[0125]
步骤
②
：dmi的测试程序将硬盘中对应测试图片id值的测试图片取出。
[0126]
步骤
③
：将测试图片中大于指定比例，如大于5％的像素值进行修改，将修改后的图片写入显存内。
[0127]
dmi的底层驱动每周期执行显存内的图片检测步骤，即步骤4、5：
[0128]
步骤
④
：每周期获取硬盘中对应id值的图片。dmi底层驱动能够通过软件接口从上层的应用程序中获取当前显存中的图片的id值。
[0129]
步骤
⑤
：每周期获取显存当前图片，并与第
④
步从硬盘中获得的图片数据进行对比，当偏差大于5％时，输出黑屏。
[0130]
本发明实施例中，测试装置在发送进行偏差帧测试的mvb总线数据后，通过相机图像识别，判断屏幕是否显示黑屏，若是，则测试通过。
[0131]
本发明实施例的图像测试过程，通过偏差帧测试，对dmi自身对屏幕显示功能的监督功能进行测试，避免dmi显示出现故障时不能及时反馈黑屏，提高了dmi的显示安全性。
[0132]
喇叭声音测试
[0133]
dmi测试程序运行时持续发出440hz单频声音信号，测试主机通过声卡外接的麦克风持续监听dmi工作输出声音，当确认声音持续输出1分钟且声音频率范围440hz
±
20hz时，确认测试通过。
[0134]
声音采样率：22050s/s，s表示sample(样本)，如字节或比特。即，声音采样频率为每秒
[0135]
usb拷贝测试
[0136]
在dmi的usb接口插入存有第一文件的u盘，第一文件具有第一文件名，存储有第一内容。dmi测试程序根据第一文件名读取第一文件的内容，判断读取内容为第一文件内容后，在u盘中新建第二文件，并在第二文件中存储第二内容，且第二文件具有第二文件名。u盘用于在读写测试后拔取，并验证是否存在第二文件名及其内容是否为第二内容，若是，则通过usb拷贝测试。第一文件名与第二文件名不同。第一内容与第二内容不同。
[0137]
开始测试前在dmi的usb接口插入内部存有文件名为“test”的测试文件的u盘，文件内存储“1234567890”字符串。dmi测试程序会读取u盘内test文件，当确认文件内容为“1234567890”后，新建“check”文件，文件内容为“abcdefgh”。测试完毕后手动拔出usb接口
u盘，使用测试主机检查u盘内的“check”文件，使用记事本打开，确认文件内记录有字符串“abcdefgh”，即可确认本台dmi测试项通过。
[0138]
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。