基于视觉标定的触屏测试方法、装置、设备及存储介质与流程

本发明涉及自动化测试的，尤其涉及一种基于视觉标定的触屏测试方法、装置、设备及存储介质。

背景技术：

1、随着智能座舱技术的快速迭代，车载触摸屏幕的自动化测试技术日益受到业界重视。当前相关技术主要分为基于系统调试接口的软件触控注入方案与基于物理机械臂的触控模拟方案。软件注入方案虽执行效率较高，但在触控时序、压力感应等物理特性复现上存在固有局限，且高度依赖被测设备的系统级调试权限。因此，结合机器视觉的物理机械臂触控方案逐渐成为主流发展方向。该技术利用相机捕获被测屏幕画面，建立图像像素与机械臂物理坐标的映射关系，进而引导机械臂末端执行器完成点击、滑动等交互动作，以客观反映屏幕的真实物理响应特性。

2、现有的机械臂触屏测试技术在坐标标定与测试验证环节仍存在一些不足；一方面，现有坐标标定多采用单层直接映射机制，未将相机视场内的屏幕显示区域与机械臂实际物理工作范围进行独立解耦与分层管理，当相机位姿微调或更换被测设备时，需进行耗时且缺乏灵活性的全局重新标定，且单纯的线性映射难以有效吸收边缘定位误差及轻微透视形变；另一方面，现有技术普遍缺乏视觉反馈闭环验证，其视觉采集多仅用于离线录像记录，在机械臂执行触控操作后，未能利用视觉算法对当前屏幕画面进行实时比对分析，无法自动确认触控动作是否触发预期界面响应，如此，导致测试结果仍高度依赖人工后期逐帧核验，严重制约了无人值守自动化测试的实现。

技术实现思路

1、为了克服现有技术方案的不足，本发明实施例提供了一种基于视觉标定的触屏测试方法、装置、设备及存储介质。

2、本发明解决其技术问题所采用的技术方案是：

3、第一方面，本发明提供了一种基于视觉标定的触屏测试方法，所述触屏测试方法应用于控制终端，所述控制终端与机械臂和相机控制连接，所述触屏测试方法包括：

4、控制所述相机拍摄被测屏幕，并获取所述相机所拍摄的画面中的第一感兴趣区域，以及所述机械臂的触控端触碰所述被测屏幕显示区域时与所述第一感兴趣区域对应的第二感兴趣区域；

5、获取所述机械臂的触控端在显示界面上的目标触控位置，并将所述目标触控位置映射为所述相机所拍摄的画面中的目标像素坐标；

6、根据所述目标像素坐标与所述第一感兴趣区域的边界计算归一化相对位置；

7、根据所述归一化相对位置与所述第二感兴趣区域的边界，计算所述机械臂的目标坐标；

8、控制所述机械臂的触控端移动至所述目标坐标执行触控操作；

9、通过所述相机获取所述机械臂的触控端在执行所述触控操作后的被测屏幕当前画面，对所述被测屏幕当前画面进行视觉验证，以确认所述触控操作是否产生预期界面响应。

10、第二方面，本发明又提供了一种基于视觉标定的触屏测试装置，所述触屏测试装置设置于控制终端，所述控制终端与机械臂和相机控制连接，所述触屏测试装置包括：

11、获取模块，用于控制所述相机拍摄被测屏幕，并获取所述相机所拍摄的画面中的第一感兴趣区域，以及所述机械臂的触控端触碰所述被测屏幕显示区域时与所述第一感兴趣区域对应的第二感兴趣区域；

12、第一映射模块，用于获取所述机械臂的触控端在显示界面上的目标触控位置，并将所述目标触控位置映射为所述相机所拍摄的画面中的目标像素坐标；

13、计算模块，用于根据所述目标像素坐标与所述第一感兴趣区域的边界计算归一化相对位置；

14、第二映射模块，用于根据所述归一化相对位置与所述第二感兴趣区域的边界，计算所述机械臂的目标坐标；

15、控制模块，用于控制所述机械臂的触控端移动至所述目标坐标执行触控操作；

16、验证模块，用于通过所述相机获取所述机械臂的触控端在执行所述触控操作后的被测屏幕当前画面，对所述被测屏幕当前画面进行视觉验证，以确认所述触控操作是否产生预期界面响应。

17、第三方面，本发明还提供了一种计算机设备，所述计算机设备包括处理器、网络接口、存储器和通信总线，其中，处理器、网络接口、存储器通过通信总线完成相互间的通信；

18、存储器，用于存放计算机程序；

19、处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一项所述的基于视觉标定的触屏测试方法的步骤。

20、第四方面，本发明再提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的基于视觉标定的触屏测试方法的步骤。

21、与现有技术相比，本发明的有益效果是：

22、通过第一感兴趣区域和第二感兴趣区域，将相机视场内的屏幕显示区域与机械臂物理工作范围进行独立解耦与分层管理；在获取目标触控位置后，先将其映射为相机画面中的目标像素坐标，再结合第一感兴趣区域边界计算归一化相对位置，最后结合第二感兴趣区域边界计算机械臂目标坐标，从而以分层映射机制替代单层直接映射，避免了相机位姿微调或更换设备时的全局重新标定，且归一化比例计算有效吸收了边缘定位误差及轻微透视形变；在机械臂执行触控操作后，通过控制相机实时获取被测屏幕当前画面，并利用视觉算法对该当前画面进行自动比对验证以确认是否产生预期界面响应，从而构建了视觉反馈闭环，取代了离线录像人工核验，实现了无人值守的自动化测试。

1.一种基于视觉标定的触屏测试方法，其特征在于，所述触屏测试方法应用于控制终端，所述控制终端与机械臂和相机控制连接，所述触屏测试方法包括：

2.根据权利要求1所述的基于视觉标定的触屏测试方法，其特征在于，所述根据所述目标像素坐标与所述第一感兴趣区域的边界计算归一化相对位置，包括：

3.根据权利要求1或2中任一项所述的基于视觉标定的触屏测试方法，其特征在于，在所述第一感兴趣区域内选取多个标定点，并记录各所述标定点在相机所拍摄的画面中的像素坐标集合；获取所述机械臂的触控端依次移动至与所述标定点对应的物理位置，并记录为所述机械臂的物理坐标集合；

4.根据权利要求3所述的基于视觉标定的触屏测试方法，其特征在于，所述采用插值算法计算所述机械臂的目标坐标，包括：

5.根据权利要求1所述的基于视觉标定的触屏测试方法，其特征在于，所述触屏测试方法还包括：

6.根据权利要求5所述的基于视觉标定的触屏测试方法，其特征在于，所述触屏测试方法还包括：

7.根据权利要求1所述的基于视觉标定的触屏测试方法，其特征在于，所述对所述被测屏幕当前画面进行视觉验证，以确认所述触控操作是否产生预期界面响应，包括：

8.一种基于视觉标定的触屏测试装置，其特征在于，所述触屏测试装置设置于控制终端，所述控制终端与机械臂和相机控制连接，所述触屏测试装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、网络接口、存储器和通信总线，其中，处理器、网络接口、存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于视觉标定的触屏测试方法的步骤。