基于生理参数的软件产品体验监测方法、装置及相关组件与流程

1.本发明涉及计算机视觉领域，尤其涉及一种基于生理参数的软件产品体验监测方法、装置及相关组件。


背景技术：

2.目前软件产品的使用体验指用户在使用软件产品完成自己所期望目标的过程中产生的生理和心理方面的总体感受。软件产品的使用体验对用户的工作效率、用户对软件产品的接受度以及购买决策具有重要影响。
3.当前关于软件产品使用体验的评估主要通过一些主观性的量表完成。这类方法邀请一定数量的典型用户使用产品，然后填写相关的使用体验量表，已获取用户关于软件产品使用体验的主观印象，后期还需进行大量的数据分析来推测软件产品的体验障碍。这种方式工作量大，且获得的数据并不准确，无法帮助研究人员精准定位软件产品的问题所在。


技术实现要素：

4.本发明的目的是提供一种基于生理参数的软件产品体验监测方法、装置及相关组件，旨在解决对现有软件产品的评估不准确的问题。
5.为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种基于生理参数的软件产品体验监测方法，其包括：
6.获取用户在执行测试任务过程中的测试时长、眼动数据、面部表情数据以及操作行为数据；
7.基于所述操作行为数据，判断所述测试任务是否完成；
8.若所述测试任务完成，则继续判断所述测试时长是否超过测试时长阈值；若所述测试时长未超过测试时长阈值，则判定测试任务成功并结束；若所述测试时长超过测试时长阈值，则判定测试任务失败，并将所述面部表情数据输入至表情分析模块，得到表情判断结果；
9.判断所述眼动数据是否有异常，若所述眼动数据异常，则将所述眼动数据与所述表情判断结果结合并输出体验故障报告。
10.另外，本发明要解决的技术问题是还在于提供一种基于生理参数的软件产品体验监测装置，其包括：
11.获取单元，用于获取用户在执行测试任务过程中的测试时长、眼动数据、面部表情数据以及操作行为数据；
12.第一判断单元，用于基于所述操作行为数据，判断所述测试任务是否完成；
13.第二判断单元，用于若所述测试任务完成，则继续判断所述测试时长是否超过测试时长阈值；若所述测试时长未超过测试时长阈值，则判定测试任务成功并结束；若所述测试时长超过测试时长阈值，则判定测试任务失败，并将所述面部表情数据输入至表情分析模块，得到表情判断结果；
14.输出单元，用于判断所述眼动数据是否有异常，若所述眼动数据异常，则将所述眼动数据与所述表情判断结果结合并输出体验故障报告。
15.另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于生理参数的软件产品体验监测方法。
16.另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于生理参数的软件产品体验监测方法。
17.本发明实施例公开了一种基于生理参数的软件产品体验监测方法、装置及相关组件，其中，方法包括：获取用户在执行测试任务过程中的测试时长、眼动数据、面部表情数据以及操作行为数据；基于所述操作行为数据，判断所述测试任务是否完成；若所述测试任务完成，则继续判断所述测试时长是否超过测试时长阈值；若所述测试时长未超过测试时长阈值，则判定测试任务成功并结束；若所述测试时长超过测试时长阈值，则判定测试任务失败，并将所述面部表情数据输入至表情分析模块，得到表情判断结果；判断所述眼动数据是否有异常，若所述眼动数据异常，则将所述眼动数据与所述表情判断结果结合并输出体验故障报告。该方法通过分析用户在执行测试任务过程中的测试时长、眼动数据、面部表情数据以及操作行为数据，可以准确判断用户在使用软件过程中产生的情绪、操作的反馈，进而为软件产品的开发团队提供修改参考消息。
附图说明
18.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例提供的基于生理参数的软件产品体验监测方法的流程示意图；
20.图2为本发明实施例提供的基于生理参数的软件产品体验监测方法的结构示意图；
21.图3为本发明实施例提供的基于生理参数的软件产品体验监测方法的子结构示意图；
22.图4为本发明实施例提供的基于生理参数的软件产品体验监测装置的示意性框图；
23.图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示
所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
26.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.请参阅图1，图1为本发明实施例提供的基于生理参数的软件产品体验监测方法的流程示意图；
29.如图1所示，该方法包括步骤s101～s104。
30.s101、获取用户在执行测试任务过程中的测试时长、眼动数据、面部表情数据以及操作行为数据；
31.s102、基于所述操作行为数据，判断所述测试任务是否完成；
32.s103、若所述测试任务完成，则继续判断所述测试时长是否超过测试时长阈值；若所述测试时长未超过测试时长阈值，则判定测试任务成功并结束；若所述测试时长超过测试时长阈值，则判定测试任务失败，并将所述面部表情数据输入至表情分析模块，得到表情判断结果；
33.s104、判断所述眼动数据是否有异常，若所述眼动数据异常，则将所述眼动数据与所述表情判断结果结合并输出体验故障报告。
34.在本实施例中，先定义要测试的产品性能，把用户使用该功能完成特定目标的过程定义为测试任务；定义完成测试任务过程中用户所要操作的界面元素，例如按钮、下拉菜单、需要填写内容的对话框等，以及针对这些界面元素的操作流程，如先点击某个按钮，之后填写某个对话框，再点击另外一个按钮等；定义测试任务的起点和终点，例如执行点击某个界面元素代表测试任务开始，点击另外一个界面元素代表测试任务结束；定义该测试任务可以接受的最长时限，需要说明的是，可接受的最长时限可以通过采集经常使用软件相关功能的用户完成测试任务的时间分析获得。
35.在做好上述准备工作后，在软件运行平台启动要监测用户体验的软件，并让用户按照任务流程开始执行测试任务，获取用户在执行测试任务过程中的眼动数据、面部表情数据以及操作行为数据，并记录该用户在整个测试任务所耗费的测试时长。
36.需要说明的是，软件产品运行平台是支持待监测软件运行的操作系统环境和硬件系统，如个人计算机或智能手机等；本技术通过对眼动数据、面部表情数据以及操作行为数据进行融合分析，进而判定用户在完成特定测试任务时所遇到的页面或操作项是否对使用过程造成了障碍，依据判定规则和结果，将体验障碍页面报告给体验研究人员，可以准确判断用户在使用软件过程中产生的情绪、操作的反馈，进而为软件产品的开发团队提供修改参考消息。
37.在一具体实施例中，所述步骤s101包括以下步骤：
38.s10、利用眼动仪获取用户的注视点、眼动轨迹以及注视点停留时长，得到眼动数据；
39.s11、利用摄像头捕捉用户的眼部、嘴部以及额头区域的图像，得到面部表情数据；
40.s12、监控用户的鼠标点击指令、键盘的输入指令以及鼠标悬停时间，得到操作行为数据。
41.需要说明的是，在测试任务开始前，需要先将眼动仪进行调焦，使得用户戴上眼动仪后无需花费时间再操作，进而确保得到测试时长的有效性；其中，鼠标悬停时间，即鼠标处于无操作状态所耗费的时间。
42.眼动仪和面向被试面部安装的摄像头，分别用来采集被试在使用软件产品过程中的眼动生理数据和面部表情数据。眼动仪和摄像头均安装在所要监测软件同一操作系统环境下，在待监测软件启动后，在系统后台收集用户的操作行为数据。通过对来自眼动仪、摄像头、监控系统对体验的数据进行融合分析，进而判定用户在完成特定测试任务时所遇到的页面或操作项是否对使用过程造成了障碍，依据判定规则和结果，将体验障碍页面报告给体验研究人员。
43.结合图2，在一具体实施例中，所述步骤s102包括以下步骤：
44.s20、获取当前鼠标悬停时间，并判断所述鼠标悬停时间是否超过无操作时间阈值，若所述鼠标悬停时间超过无操作时间阈值，则执行步骤s21，若所述鼠标悬停时间未超过无操作时间阈值，则执行步骤s22；
45.s21、记录当前操作页面以及上一操作对象的操作行为以及预先定义的下一操作对象的操作行为，并输出体验故障报告，其中，所述操作对象包括鼠标、键盘；
46.s22、继续判断当前操作行为是否为测试任务中的最后一个操作行为，若当前操作行为是测试任务中的最后一个操作行为，则判定测试任务完成，若当前操作行为不是测试任务中的最后一个操作行为，则判定测试任务未完成。
47.在实际软件体验过程中，用户按照测试任务流程进行软件测试，若是在测试任务过程中，用户感觉这一步骤的操作较为困难，或者无法理解该操作步骤的具体内容，将会造成鼠标长时间处于无操作状态，进而导致鼠标悬停时间超过无操作时间阈值，所以需要记录当前用户操作界面以及上一操作对象的操作行为以及下一需要操作的操作行为，例如用户当前需要执行a命令，但是用户没有在指定时间范围内执行，则记录执行a命令时软件停留的画面，并记录执行a命令之前的操作行为，例如点击“开始”按钮，以及下一需要操作的操作行为，例如点击“结束”按钮以结束a指令，将这一部分用户体验不佳的过程用体验故障报告输出，方便软件开发人员及时了解用户的体验故障情况。
48.若是当前操作行为是测试任务中的最后一个操作行为，则说明用户不会再点击鼠标，则鼠标悬停时间肯定会超过无操作时长阈值，进而可以判断出测试任务是否完成。
49.在一具体实施例中，所述步骤s104之前，包括以下步骤：
50.s30、若所述表情判断结果为负向情绪，则执行步骤s31，若所述表情判断结果为非负向情绪，则执行步骤s33；
51.s31、获取所述负向情绪持续时长，并判断所述负向情绪持续时长是否超过负向情绪时间阈值，若所述负向情绪持续时长超过负向情绪时间阈值，则执行步骤s32，若所述负向情绪持续时长未超过负向情绪时间阈值，则执行步骤s33；
52.s32、回溯并输出由所述负向情绪持续时长范围内用户的操作行为数据和眼动数据构成的体验故障报告；
53.s33、回溯所有的眼动数据，并判断所述眼动数据是否有异常。
54.需要说明的是，本技术不对表情分析模块作具体限定；若判定用户带有负面情绪，且负面情绪持续的时间超过负向情绪时间阈值，则说明用户在这段时间范围内对软件的体验很糟糕，所以需要输出当时的体验故障报告，以及时告知软件开发者，若是用户带有负面情绪，但负面情绪持续的时间未超过负向情绪时间阈值，说明用户在该阶段出现负面情绪是已经被提前预知的，例如初始体验该软件的用户在操作过程中遇到新鲜的东西，是可以有疑惑等负面情绪的，只要在合理的负向情绪时间阈值内，即可被接纳。
55.为了更加清楚的了解用户的软件体验过程，本技术除了通过面部表情识别，还判断是否有眼动轨迹异常，结合图2，在一具体实施例中，所述步骤s104，包括以下步骤：
56.s40、回溯所述眼动数据，判断是否有眼动轨迹异常；若存在眼动轨迹异常，则执行步骤s41，若不存在眼动轨迹异常，则结束。
57.s41、获取眼动轨迹异常的持续时长，并获取在所述眼动轨迹异常的持续时长范围内的操作行为数据，并输出体验故障报告。
58.在本实施例中，若眼动数据中的眼动轨迹异常，则输出相应的体验故障报告，以供软件开发者参考。
59.结合图3，在一具体实施例中，所述步骤s40，包括以下步骤：
60.s50、判断用户的注视点在两个注视焦点标识中的反复次数是否超过反复次数阈值，若用户的注视点在两个注视焦点标识中的反复次数超过反复次数阈值，则执行步骤s51，若用户的注视点在两个注视焦点标识中的反复次数未超过反复次数阈值，则执行步骤s52，其中，两个所述注视焦点标识为两个不重合的画面区域；
61.s51、判定所述眼动轨迹异常；
62.s52、判断用户的注视点是否反复按顺序在多个注视焦点标识移动，若存在用户的注视点反复按顺序在多个注视焦点标识移动，则返回执行步骤s51，若不存在用户的注视点反复按顺序在多个注视焦点标识移动，则执行步骤s53；
63.s53、判断在所述预设移动时间阈值内用户的注视点是否在多个注视焦点移动，若在所述预设移动时间阈值内用户的注视点在多个注视焦点移动，则执行步骤s54，若在所述预设移动时间阈值内用户的注视点没有在多个注视焦点移动，则执行步骤s55；
64.s54、判断用户在所述预设移动时间阈值内是否有操作行为，若用户在所述预设移动时间阈值内没有操作行，则返回执行步骤s51，若用户在所述预设移动时间阈值内有操作行为，则执行步骤s55；
65.s55、判断用户的注视点的停留时长是否超过停留时长阈值；若用户的注视点的停留时长超过停留时长阈值，则返回执行步骤s51，若用户的注视点的停留时长未超过停留时长阈值，则执行步骤s56；
66.s56、判定所述眼动轨迹异常。
67.在本实施例中，眼动仪在工作时，会按照时序，将用户所观看画面内的某些区域标识为注视焦点，并为其编号，如1，2，3
……
；在所述步骤s50中，用户的注视点在两个注视焦点标识中的反复即经过眼动仪计算分析之后发现，用户的视觉焦点在1和3之间往复，即先看1的区域，再看3的区域，又看1的区域，又看3的区域，诸如此类有规律的行为；如果用户的注视点在两个注视焦点标识中的反复次数超过反复次数阈值，则判定所述眼动轨迹异常。
68.在所述步骤s52中，用户的注视点是否反复按顺序在多个注视焦点标识移动，即指
经过眼动仪计算分析之后发现，用户的视觉焦点在1、3、5这三个区域之间往复，即先看1的区域，再看3的区域，再看5的区域，又看1的区域，又看3的区域，又看5的区域，诸如此类有规律的行为。
69.在判定所述眼动轨迹异常时，将异常眼动轨迹所涉及的操作对象、以及焦点停留时长超过预定时限的操作对象声明为体验障碍项，并报告给研究人员。
70.本发明实施例还提供一种基于生理参数的软件产品体验监测装置，该基于生理参数的软件产品体验监测装置用于执行前述基于生理参数的软件产品体验监测方法的任一实施例。具体地，请参阅图4，图4是本发明实施例提供的基于生理参数的软件产品体验监测装置的示意性框图。
71.如图4所示，基于生理参数的软件产品体验监测装置500，包括：
72.获取单元501，用于获取用户在执行测试任务过程中的测试时长、眼动数据、面部表情数据以及操作行为数据；
73.第一判断单元502，用于基于所述操作行为数据，判断所述测试任务是否完成；
74.第二判断单元503，用于若所述测试任务完成，则继续判断所述测试时长是否超过测试时长阈值；若所述测试时长未超过测试时长阈值，则判定测试任务成功并结束；若所述测试时长超过测试时长阈值，则判定测试任务失败，并将所述面部表情数据输入至表情分析模块，得到表情判断结果；
75.输出单元504，用于判断所述眼动数据是否有异常，若所述眼动数据异常，则将所述眼动数据与所述表情判断结果结合并输出体验故障报告。
76.该装置通过对眼动数据、面部表情数据以及操作行为数据进行融合分析，进而判定用户在完成特定测试任务时所遇到的页面或操作项是否对使用过程造成了障碍，依据判定规则和结果，将体验障碍页面报告给体验研究人员，可以准确判断用户在使用软件过程中产生的情绪、操作的反馈，进而为软件产品的开发团队提供修改参考消息。
77.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
78.上述基于生理参数的软件产品体验监测装置可以实现为计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
79.请参阅图5，图5是本发明实施例提供的计算机设备的示意性框图。该计算机设备1100是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
80.参阅图5，该计算机设备1100包括通过系统总线1101连接的处理器1102、存储器和网络接口1105，其中，存储器可以包括非易失性存储介质1103和内存储器1104。
81.该非易失性存储介质1103可存储操作系统11031和计算机程序11032。该计算机程序11032被执行时，可使得处理器1102执行基于生理参数的软件产品体验监测方法。
82.该处理器1102用于提供计算和控制能力，支撑整个计算机设备1100的运行。
83.该内存储器1104为非易失性存储介质1103中的计算机程序11032的运行提供环境，该计算机程序11032被处理器1102执行时，可使得处理器1102执行基于生理参数的软件产品体验监测方法。
84.该网络接口1105用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本
发明方案所应用于其上的计算机设备1100的限定，具体的计算机设备1100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
85.本领域技术人员可以理解，图5中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图5所示实施例一致，在此不再赘述。
86.应当理解，在本发明实施例中，处理器1102可以是中央处理单元(central processing unit，cpu)，该处理器1102还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
87.在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的基于生理参数的软件产品体验监测方法。
88.所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
89.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
90.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。