交互信息测试方法、装置、电子设备和存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及自动化测试、深度学习、虚拟现实和增强现实等技术领域，可应用于智能家居和智能客服等场景下。更具体地，本公开提供了一种交互信息测试方法、装置、电子设备和存储介质。


背景技术：

2.随着人工智能技术的发展，用户对人机交互技术提出了更高的要求。在各种领域中，一些智能设备(例如智能音箱)可以提供多模态的信息交互功能。例如，智能设备可以展示一虚拟形象。该虚拟形象可以通过语音、面部表情和肢体动作等与用户进行交互。


技术实现要素：

3.本公开提供了一种交互信息测试方法、装置、设备以及存储介质。
4.根据本公开的一方面，提供了一种交互信息测试方法，该方法包括：对来自于交互信息的多个待测试图像分别进行目标检测，得到多个第一检测结果，其中，第一检测结果包括待测试图像中至少一个待测试对象的第一检测框；根据第一检测结果，确定至少一个第一局部图像；根据至少一个第一局部图像和至少一个第二局部图像，确定图像比较结果，其中，至少一个第二局部图像是根据第二检测结果确定的，第二检测结果是对预设图像进行目标检测得到的；以及根据图像比较结果，确定测试结果。
5.根据本公开的另一方面，提供了一种交互信息测试装置，该装置包括：目标检测模块，用于对来自于交互信息的多个待测试图像分别进行目标检测，得到多个第一检测结果，其中，第一检测结果包括待测试图像中至少一个待测试对象的第一检测框；第一确定模块，用于根据第一检测结果，确定至少一个第一局部图像；第二确定模块，用于根据至少一个第一局部图像和至少一个第二局部图像，确定图像比较结果，其中，至少一个第二局部图像是根据第二检测结果确定的，第二检测结果是对预设图像进行目标检测得到的；以及第三确定模块，用于根据图像比较结果，确定测试结果。
6.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
7.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
8.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开提供的方法。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：
11.图1是根据本公开的一个实施例的可以应用交互信息测试方法和装置的示例性系统架构示意图；
12.图2是根据本公开的一个实施例的交互信息测试方法的流程图；
13.图3是根据本公开的另一个实施例的确定图像比较结果的流程图；
14.图4是根据本公开的另一个实施例的确定图像比较结果的流程图；
15.图5是根据本公开的另一个实施例的确定测试结果的流程图；
16.图6是根据本公开的另一个实施例的确定测试结果的流程图；
17.图7a是根据本公开的一个实施例的待测试图像的示意图；
18.图7b和图7c是根据本公开的一个实施例的第一局部图像的示意图；
19.图8是根据本公开的一个实施例的交互信息测试装置的框图；
20.图9是根据本公开的一个实施例的可以应用交互信息测试方法的电子设备的框图。
具体实施方式
21.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
22.可以对具有交互功能的智能设备或程序产品进行测试，以便确定智能设备能否满足预设需求。例如，在智能设备的硬件或软件更新后，可以基于人工测试的方式对智能设备进行测试。但，人工测试的方式需要较高的人工成本。此外，人工测试的灵活性较差。在多模态的信息交互过程中，智能设备可以展示不同的虚拟形象、不同的图像背景，也可以同时利用虚拟形象的肢体动作、语音等进行交互。人工测试容易遗漏或产生错误的测试结果。
23.图1是根据本公开一个实施例的可以应用交互信息测试方法和装置的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
24.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
25.用户可以同终端设备101、102、103交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101、102、103的显示屏例如可以展示虚拟形象，以便为用户提供多模态交互。在多模态交互过程中，虚拟形象可以展示各种面部表情和肢体动作，也可以发出语音。此外，在多模态交互过程中，终端设备101、102、103也可以在显示屏上展示各种图像或文本。
26.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103
所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
27.需要说明的是，本公开实施例所提供的交互信息测试方法一般可以由服务器105执行。相应地，本公开实施例所提供的交互信息测试装置一般可以设置于服务器105中。本公开实施例所提供的交互信息测试方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的交互信息测试方法装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
28.在一些实施例中，可以训练一个目标检测模型，以便进行交互信息测试。
29.例如，目标检测模型例如可以yolo(you only look once)v5模型。
30.例如，可以获取多个样本图像，以便训练目标检测模型。又例如，也可以采集例如上文所述的智能设备的显示屏上的图像作为样本图像。
31.例如，可以对样本图像进行标注，得到样本图像的标签。在标注过程中，可以在样本图像上确定一个或多个样本对象。可以确定每个样本对象的类别信息。可以确定每个样本对象的样本检测框。样本检测框可以标记每个样本对象在样本图像中所处的区域。在一个示例中，样本检测框包括检测框4个顶点的坐标。在另一个示例中，样本检测框包括检测框中心点的坐标、检测框的宽度和检测框的高度。
32.又例如，样本对象例如可以包括虚拟形象、虚拟形象的局部(例如手、头等部位)等等。在一个示例中，虚拟形象可以与人、动物、植物、机器等对象对应。虚拟形象可以为至少一个。
33.例如，可以利用多个样本图像对目标检测模型进行训练，得到训练后的目标检测模型。
34.图2是根据本公开的一个实施例的交互信息测试方法的流程图。
35.如图2所示，该方法200可以包括操作s210至操作s240。
36.在操作s210，对来自于交互信息的多个待测试图像分别进行目标检测，得到多个第一检测结果。
37.例如，交互信息可以是用户在与各种智能设备进行交流互动的过程中产生的。
38.在一个示例中，智能设备可以展示虚拟形象。
39.在一个示例中，以查询天气的交互过程为示例，用户可以发出与语音信息“小某，今天天气怎么样”对应的音频。处于待测试模式的智能设备将与该语音信息对应的音频作为输入音频。针对该输入音频，智能设备可以生成反馈信息，该反馈信息例如可以为“今天有雨，最高气温30摄氏度”。接下来，处于待测试模式的智能设备可以利用显示屏上的虚拟形象展示与该反馈信息对应的肢体动作和/或面部表情。
40.例如，为了对具有交互功能的智能设备或程序产品进行测试，在上文所述的查询天气的交互过程中，在一定时长内，针对处于待测试模式的智能设备，可以录制其显示屏上的全部内容，作为待测试视频。
41.例如，可以将待测试图像输入上文所述的目标检测模型，得到第一检测结果。
42.例如，第一检测结果包括待测试图像中至少一个待测试对象的第一检测框。
43.又例如，第一检测框可以标记每个待测试对象在待测试图像中所处的区域。
44.在操作s220，根据第一检测结果，确定至少一个第一局部图像。
45.例如，根据第一检测框在待测试图像中标记的区域，从待测试图像中确定出一个第一局部图像。
46.在操作s230，根据至少一个第一局部图像和至少一个第二局部图像，确定图像比较结果。
47.例如，至少一个第二局部图像是根据第二检测结果确定的，第二检测结果是对预设图像进行目标检测得到的。例如，可以将预设图像输入上文所述的目标检测模型，得到第二检测结果。
48.例如，预设图像可以来自于预设视频。
49.在一个示例中，预设视频可以在获得待测试视频之前录制，也可以在获得待测试视频之后录制，本公开对此不进行限制。
50.在一个示例中，以查询天气的交互过程为示例，响应于接收到与语音信息“小某，今天天气怎么样”对应的音频，处于预设模式的智能设备将与该语音信息对应的音频作为输入音频。针对该输入音频，智能设备可以生成预设反馈信息，该预设反馈信息例如可以为“今天有雨，最高气温30摄氏度”。接下来，智能设备可以利用显示屏上的虚拟形象展示与该预设反馈信息对应的预设肢体动作和/或预设面部表情。
51.在一个示例中，在上文所述的查询天气的交互过程中，在一定时长内，针对处于预设模式的智能设备，可以录制其显示屏上的全部内容，作为预设视频。
52.又例如，第二检测框可以标记每个预设对象在预设图像中所处的区域。
53.例如，根据第二检测框在预设图像中标记的区域，从预设图像中确定出一个第二局部图像。
54.例如，对于一个待测试图像，可以确定第一局部图像与至少一个第二局部图像之间的至少一个局部相似度。将至少一个相似度中最大的局部相似度作为与第一局部图像对应的局部相似度。针对至少一个第一局部图像，在与第一局部图像对应的局部相似度均大于预设局部相似度阈值的情况下，可以将该待测试图像作为一个有效图像。
55.例如，可以将根据有效图像的数量作为被除数，将待测试图像的总数量作为除数，进行除法运算，得到图像比较结果。
56.在操作s240，根据图像比较结果，确定测试结果。
57.例如，在图像比较结果大于预设图像比较阈值的情况下，确定的测试结果可以指示测试通过。
58.通过本公开实施例，对来自于交互信息的待测试图像进行了目标检测，并根据检测结果进行了比较，可以在智能设备展示了包括多个对象或多种动作的情况下，实现自动化测试，降低人工成本。
59.在一些实施例中，可以将预设视频和待测试视频存储至数据库中。
60.在一些实施例中，待测试对象例如可以包括虚拟形象、虚拟形象的局部(例如手、头等部位)等等。在一个示例中，虚拟形象可以与人、动物、植物、机器等对象相对应。虚拟形象可以为至少一个。
61.例如，如上文所述，第一检测框可以标记每个待测试对象在待测试图像中所处的
区域。在一个示例中，第一检测框包括第一检测框4个顶点的坐标。在另一个示例中，第一检测框包括第一检测框中心点的坐标、第一检测框的宽度和第一检测框的高度。
62.在一些实施例中，预设对象例如可以包括虚拟形象、虚拟形象的局部(例如手、头等部位)等等。在一个示例中，虚拟形象可以与人、动物、植物、机器等对象相对应。虚拟形象可以为至少一个。
63.例如，如上文所述，第二检测框可以标记每个预设对象在预设图像中所处的区域。在一个示例中，第二检测框包括第二检测框4个顶点的坐标。在另一个示例中，第二检测框包括第二检测框中心点的坐标、第二检测框的宽度和第二检测框的高度。
64.在一些实施例中，多个待测试图像来自于待测试视频，待测试视频是根据交互信息确定的。
65.在一些实施例中，对来自于交互信息的多个待测试图像分别进行目标检测，得到多个第一检测结果包括：对待测试视频进行抽帧，得到多个待测试图像；以及对多个待测试图像分别进行目标检测，得到多个第一检测结果。
66.例如，根据待测试视频的时间信息，可以进行抽帧。在一个示例中，待测试视频的时长为15秒，可以从与每秒对应的视频中抽取一定数量的视频帧，以便得到多个待测试图像。
67.在一些实施例中，对来自于交互信息的多个待测试图像分别进行目标检测，得到多个第一检测结果还包括：获取多个第二检测结果，其中，第二检测结果包括预设图像中至少一个预设对象的第二检测框，多个预设图像是对预设视频进行抽帧得到的。
68.例如，根据预设视频的时间信息，可以进行抽帧。在一个示例中，预设视频的时长为15秒，可以从与每秒对应的视频中抽取一定数量的视频帧，以便得到多个预设图像。
69.在一些实施例中，可以利用上文所述的训练后的目标检测模型，对待测试图像进行目标检测，得到第一检测结果。可以利用上文所述的训练后的目标检测模型，对预设图像进行目标检测，得到第二检测结果。
70.例如，第一检测结果还可以包括至少一个待测试对象的类别信息。又例如，第二检测结果还可以包括至少一个预设对象的类别信息。
71.又例如，至少一个待测试对象可以包括1个类别的待测试对象。在1个类别的待测试对象中，第i个类别的待测试对象的最大数量可以为ki个。
72.在一个示例中，在将待测试图像输入训练后的目标检测模型之后，目标检测模型可以确定待测试图像中的至少一个待测试对象。待测试对象的类别信息可以有1个。在目标检测模型输出的第一初始检测结果中，第i个类别的待测试对象的数量可以为hi个。hi大于或等于ki。此外，在第一初始检测结果中，每个第i个类别的待测试对象与一个类别概率值对应。保留类别概率值较大的ki个第i个类别的待测试对象，从第一初始检测结果中删除其他类别概率值较小的第i个类别的待测试对象，以便得到第一检测结果。i为大于或等于1的整数。i为大于1或等于1的整数，i为小于或等与i的整数。hi为大于或等于1的整数，ki为大于或等于1的整数。
73.又例如，至少一个预设对象也可以包括1个类别的预设对象。在1个类别的预设对象中，第i个类别的预设对象的最大数量也可以为ki个。
74.在一个示例中，在将预设图像输入训练后的目标检测模型之后，目标检测模型可
以确定预设图像中的至少一个预设对象。预设对象的类别信息可以有1个。在目标检测模型输出的第二初始检测结果中，第i个类别的预设对象的数量可以为hi个。hi大于或等于ki。此外，在第二初始检测结果中，每个第i个类别的预设对象与一个类别概率值对应。保留类别概率值较大的ki个第i个类别的预设对象，从第二初始检测结果中删除其他类别概率值较小的第i个类别的预设对象，以便得到第二检测结果。
75.在一些实施例中，待测试图像与一个预设图像匹配，与待测试图像匹配的预设图像是根据待测试图像与多个预设图像之间的多个第一相似度确定的。
76.在本公开实施例中，可以根据待测试图像与多个预设图像之间的多个第一相似度，确定与待测试图像匹配的预设图像。
77.例如，第一相似度例如可以为ssim(structural similarity，结构相似度)。又例如，可以将与待测试图像的第一相似度最大的预设图像作为与待测试图像匹配的预设图像。
78.又例如，可以基于滑动窗口策略，确定待测试图像与预设图像之间的ssim，作为第一相似度。在一个示例中，可以利用滑动窗口遍历每个待测试图像和预设图像，以便计算二者的ssim。
79.又例如，如上文所述，在查询天气的交互过程中，可以录制处于待测试模式的智能设备上的显示屏上的全部内容作为待测试视频。在一个示例中，可以录制处于待测试模式的智能设备上的显示屏上的全部内容，作为初始待测试视频。对于来自于初始待测试视频的多个待测试图像，在确定待测试图像img_t’与多个预设图像之间的多个第一相似度之后，可以确定该多个第一相似度中最大的第一相似度s1_max是否大于预设初始相似度阈值。在第一相似度s1_max小于预设初始相似度阈值的情况下，可以将待测试图像img_t’从来自于初始待测试视频的多个待测试图像中删除。采用类似的方式处理来自于初始待测试视频的每个待测试图像，可以根据初始待测试视频得到待测试视频。
80.通过本公开实施例，在获取与每个待测试图像匹配的预设图像之后，可以使得待测试视频与预设视频对齐。
81.在一些实施例中，根据第一检测结果，确定至少一个第一局部图像包括：针对待测试对象，从与待测试图像匹配的预设图像中确定第一目标预设对象，其中，第一目标预设对象的类别信息与待测试对象的类别信息一致，第一目标预设对象来自于至少一个预设对象；根据待测试对象的第一检测框，确定第一局部图像；以及根据第一目标预设对象的第二检测框，确定第二局部图像。
82.例如，在待测试图像img_t中，待测试对象obj_t1的类别信息可以指示待测试对象obj_t1为虚拟形象的左手；待测试对象obj_t2的类别信息可以指示待测试对象obj_t2为虚拟形象的头部。
83.又例如，在与待测试图像img_t匹配的预设图像img_ref1中，预设对象obj_r11的类别信息可以指示预设对象obj_r11为虚拟形象的左手；预设对象obj_r12的类别信息可以指示预设对象obj_r12为虚拟形象的头部。
84.又例如，如上文所述，待测试对象obj_t1的类别信息和预设对象obj_r11的类别信息一致。针对待测试对象obj_t1，可以将预设对象obj_r11作为第一目标预设对象。接下来，根据待测试对象obj_t1的第一检测框，可以确定第一局部图像img_t_p1。根据预设对象
obj_r11的第二检测框，可以确定第二局部图像img_ref1_p1。
85.又例如，如上文所述，待测试对象obj_t2的类别信息和预设对象obj_r12的类别信息一致。针对待测试对象obj_t2，可以将预设对象obj_r12作为第一目标预设对象。接下来，根据待测试对象obj_t2的第一检测框，可以确定第一局部图像img_t_p2。根据预设对象obj_r12的第二检测框，可以确定第二局部图像img_ref1_p2。
86.可以理解，在确定了至少一个第一局部图像和至少一个第二局部图像之后，可以确定图像比较结果。图像比较结果例如可以包括第一子比较结果。下面将结合图3来详细说明确定图像比较结果的一种方式。
87.图3是根据本公开的另一个实施例的确定图像比较结果的流程图。
88.如图3所示，该方法330可以根据至少一个第一局部图像和至少一个第二局部图像，确定图像比较结果。下面将结合操作s331至操作s333进行详细说明。
89.在操作s331，根据至少一个第一局部图像和至少一个第二局部图像，得到至少一个第二相似度。
90.例如，至少一个第一局部图像可以包括上文所述的第一局部图像img_t_p1和第一局部图像img_t_p2。又例如，至少一个第二局部图像可以包括上文所述的第二局部图像img_ref1_p1和第二局部图像img_ref1_p2。
91.又例如，可以根据第一局部图像img_t_p1和第二局部图像img_ref1_p1，得到第二相似度s21。又例如，可以根据第一局部图像img_t_p2和第二局部图像img_ref1_p2，得到第二相似度s22。
92.在操作s332，响应于确定第二相似度小于第一预设相似度阈值，将待测试图像确定为第一目标待测试图像。
93.例如，第一预设相似度阈值可以为0.95。
94.例如，响应于第二相似度s21和第二相似度s22中的至少一个小于第一预设相似度阈值，将上文所述的待测试图像img_t作为一个第一目标待测试图像。
95.接下来，可以对多个待测试图像均执行操作s331和操作s332，以便确定每个待测试图像是否可以作为第一目标待测试图像。
96.在操作s333，根据待测试图像的数量和第一目标待测试图像的数量，确定第一子比较结果。
97.例如，待测试图像的总数为100个，第一目标待测试图像的数量为2个。二者之间的差值为相似度大于或等于第一预设相似度阈值的待测试图像的数量。在一个示例中，将该差值(例如98)作为被除数，将待测试图像的总数量(例如100)作为除数，进行除法运算，可以得到第一子比较结果(例如0.98)。
98.通过本公开实施例，在待测试图像和与该待测试图像匹配的预设图像，可以确定预设对象是否与待测试对象一致。可以更加准确地进行测试，使得测试结果更加准确。
99.例如，如上文所述，预设图像img_ref1与待测试图像img_t匹配，二者整体上的相似度较高。确定待测试对象obj_t1和预设对象obj_r11是否一致，可以确定预设图像img_ref1与待测试图像img_t中与对象相关的局部区域是否一致。若待测试对象obj_t1和预设对象obj_r11不一致，可以认为待测试图像img_t和预设图像img_ref1之间存在误差。可以更加准确地进行测试，使得测试结果更加准确。
100.在一些实施例中，根据第一子比较结果，可以确定测试结果。
101.例如，可以根据第一子比较结果与第一预设图像比较阈值，确定测试结果。在一个示例中，在第一子比较结果大于或等于第一预设图像比较阈值的情况下，确定的测试结果可以指示测试通过。在一个示例中，第一预设图像比较阈值可以为0.95、1等数值。
102.在一些实施例中，根据第一检测结果，确定至少一个第一局部图像包括：根据与待测试图像匹配的预设图像的时间信息，从除与待测试图像匹配的预设图像之外的多个预设图像中，确定至少一个目标预设图像；针对待测试对象，从目标预设图像中确定第二目标预设对象，其中，第二目标预设对象的类别信息与待测试对象的类别信息一致，第二目标预设对象来自于目标预设图像中的至少一个预设对象；根据待测试对象的第一检测框，确定第一局部图像；以及根据第二目标预设对象的第二检测框，确定第二局部图像。
103.例如，如上文所述，待测试图像img_t与img_ref1匹配。待测试图像img_t的时间信息可以指示：待测试图像img_t是从待测试视频中第1秒的视频中抽取的第2个视频帧
104.又例如，预设图像img_ref0的时间信息可以指示：预设图像img_ref0是从预设视频中第1秒的视频中抽取的第1个视频帧。可以将预设图像img_ref0作为目标预设图像。
105.例如，如上文所述，在待测试图像img_t中，待测试对象obj_t1的类别信息可以指示待测试对象obj_t1为虚拟形象的左手；待测试对象obj_t2的类别信息可以指示待测试对象obj_t2为虚拟形象的头部。
106.又例如，在预设图像img_ref0中，预设对象obj_r01的类别信息可以指示预设对象obj_r01为虚拟形象的左手；预设对象obj_r02的类别信息可以指示预设对象obj_r02为虚拟形象的头部。
107.又例如，如上文所述，待测试对象obj_t1的类别信息和预设对象obj_r01的类别信息一致。针对待测试对象obj_t1，可以将预设对象obj_r01作为第二目标预设对象。接下来，根据待测试对象obj_t1的第一检测框，可以确定第一局部图像img_t_p1。根据预设对象obj_r01的第二检测框，可以确定第二局部图像img_ref0_p1。
108.又例如，如上文所述，待测试对象obj_t2的类别信息和预设对象obj_r02的类别信息一致。针对待测试对象obj_t2，可以将预设对象obj_r02作为第二目标预设对象。接下来，根据待测试对象obj_t2的第一检测框，可以确定第一局部图像img_t_p2。根据预设对象obj_r02的第二检测框，可以确定第二局部图像img_ref0_p2。
109.可以理解，在确定了至少一个第一局部图像和至少一个第二局部图像之后，可以确定图像比较结果。图像比较结果例如可以包括第二子比较结果。下面将结合图4来详细说明确定图像比较结果的一种方式。
110.图4是根据本公开的另一个实施例的确定图像比较结果的流程图。
111.如图4所示，该方法430可以根据至少一个第一局部图像和至少一个第二局部图像，确定图像比较结果。下面将结合操作s434至操作s436进行详细说明。
112.在操作s434，根据至少一个第一局部图像和至少一个第二局部图像，得到至少一个第三相似度。
113.例如，至少一个第一局部图像可以包括上文所述的第一局部图像img_t_p1和第一局部图像img_t_p2。又例如，至少一个第二局部图像可以包括上文所述的第二局部图像img_ref0_p1和第二局部图像img_ref1_p2。
114.又例如，可以根据第一局部图像img_t_p1和第二局部图像img_ref0_p1，得到第三相似度s3_1。又例如，可以根据第一局部图像img_t_p2和第二局部图像img_ref0_p2，得到第三相似度s3_2。
115.在操作s435，响应于确定至少一个第三相似度均大于或等于第二预设相似度阈值，将待测试图像确定为第二目标待测试图像。
116.例如，第二预设相似度阈值可以为0.95。
117.例如，响应于第三相似度s3_1和第三相似度s3_2中均大于或等于第二预设相似度阈值，将上文所述的待测试图像img_t作为一个第二目标待测试图像。
118.接下来，可以对多个待测试图像均执行操作s434和操作s435，以便确定每个待测试图像是否可以作为第二目标待测试图像。
119.在操作s436，根据待测试图像的数量和第二目标待测试图像的数量，确定第二子比较结果。
120.例如，待测试图像的总数为100个，第二目标待测试图像的数量为10个。二者之间的差值为相似度小于第二预设相似度阈值的待测试图像的数量。在一个示例中，将该差值(例如90)作为被除数，将待测试图像的总数量(例如100)作为除数，进行除法运算，可以得到第二子比较结果(例如0.90)。
121.在一些实施例中，根据第二子比较结果，可以确定测试结果。
122.例如，可以根据第二子比较结果与第二预设图像比较阈值，确定测试结果。在一个示例中，在第二子比较结果大于或等于第二预设图像比较阈值的情况下，确定的测试结果可以指示测试通过。在一个示例中，第二预设图像比较阈值可以为0.95、1等数值。
123.通过本公开实施例，可以确定待测试视频是否出现了卡顿，可以更准确地进行测试，使得测试结果更加准确。
124.例如，如上文所述，预设图像img_ref1和待测试图像img_t匹配。对于预设图像img_ref0、预设图像img_ref1和待测试图像img_t，预设图像img_ref1与待测试图像img_t之间的相似度较高，而预设图像img_ref0与待测试图像img_t之间的相似度较低，预设图像img_ref1中的对象与待测试图像img_t中的对象可以是一致的。预设图像img_ref0可以是从预设视频中第1秒的视频中抽取的第1个视频帧。预设图像img_ref1可以是从预设视频中第1秒的视频中抽取的第2个视频帧。待测试图像img_t可以是从待测试视频中第1秒的视频中抽取的第2个视频帧。对于一个流畅的视频，第1个视频帧中对象和第2个视频帧中的对象可以是不一致的。
125.确定待测试对象obj_t1和预设对象obj_r01是否一致，以及确定待测试对象obj_t2和预设对象obj_r02是否一致，可以确定预设图像img_ref0与待测试图像img_t中与对象相关的局部区域是否一致。若预设图像img_ref0与待测试图像img_t中与对象相关的局部区域均一致，可以确定预设图像img_ref0中的对象和待测试图像img_t中的对象未发生变化，待测试视频出现了卡顿。
126.如上文所述，可以根据图像数据确定测试结果。可以理解，还可以根据音频数据确定测试结果。下文将进行详细说明。
127.在一些实施例中，以查询天气的交互过程为示例，用户可以发出语音信息“小某，今天天气怎么样”。响应于接收到该语音信息，处于待测试模式的智能设备将与该语音信息
对应的音频作为输入音频。针对该输入音频，智能设备可以生成反馈信息，该反馈信息例如可以为“今天有雨，最高气温30摄氏度”。接下来，处于待测试模式的智能设备可以利用显示屏上的虚拟形象展示与该反馈信息对应的肢体动作和/或面部表情。此外，还可以播放与反馈信息对应的反馈音频。
128.例如，如上文所述，在查询天气的交互过程中，在一定时长内，针对处于待测试模式的智能设备，可以录制其显示屏上的全部内容并采集相关音频数据，作为待测试视频。
129.在一些实施例，以查询天气的交互过程为示例，响应于接收到语音信息“小某，今天天气怎么样”，处于预设模式的智能设备将与该语音信息对应的音频作为输入音频。针对该输入音频，智能设备可以生成预设反馈信息，该预设反馈信息例如可以为“今天有雨，最高气温30摄氏度”。接下来，智能设备可以利用显示屏上的虚拟形象展示与该预设反馈信息对应的预设肢体动作和/或预设面部表情。此外，还可以播放与反馈信息对应的预设反馈音频。
130.在一个示例中，如上文所述，在查询天气的交互过程中，在一定时长内，针对处于预设模式的智能设备，可以录制其显示屏上的全部内容并采集相关音频数据，作为预设视频。
131.下面将结合图5对利用采集的相关音频数据确定测试结果进行详细说明。
132.图5是根据本公开的另一个实施例的确定测试结果的流程图。
133.如图5所示，方法540可以根据图像比较结果，确定测试结果。下面将结合操作s541至操作s545进行详细说明。
134.在操作s541，根据待测试视频，得到至少一个待测试音频。
135.例如，可以利用vad(voice activity detection，语音端点检测)技术处理待测试视频的音频数据，得到至少一个待测试音频。
136.在操作s542，根据预设视频，得到至少一个预设音频。
137.例如，待测试音频与一个预设音频对应。
138.例如，可以利用vad技术处理预设视频的音频数据，得到至少一个预设音频。
139.例如，以待测试视频的时长是15秒为示例，待测试音频的时间信息指示：待测试音频voc_t存在的时间是第6秒至第15秒。与该待测试音频voc_t对应的预设音频voc_ref的时间信息可以指示：预设音频voc_ref存在的时间是第6秒至第15秒。可以理解，如上文所述，在待测试视频与预设视频对齐之后，可以获取与待测试音频voc_t对应预设音频voc_ref。
140.在操作s543，分别对至少一个待测试音频和至少一个预设音频进行语音识别，得到至少一个待测试音频文本和至少一个预设音频文本。
141.在本公开实施例中，对待测试音频进行划分，得到待测试输入音频和待测试反馈音频；对待测试输入音频进行语音识别，得到待测试输入文本；对待测试反馈音频进行语音识别，得到待测试反馈文本。
142.例如，可以利用echo cancellation(回声消除)算法对待测试音频voc_t进行划分，得到待测试输入音频voc_t_in和待测试反馈音频voc_t_out。再利用各种语音识别模型，分别对待测试输入音频voc_t_in和待测试反馈音频voc_t_out进行语音识别，得到待测试输入文本tvoc_t_in和待测试反馈文本tvoc_t_out。
143.在本公开实施例中，对预设音频进行划分，得到预设输入音频和预设反馈音频；对
预设输入音频进行语音识别，得到预设输入文本；以及对预设反馈音频进行语音识别，得到预设反馈文本。
144.例如，可以利用echo cancellation算法对预设音频voc_ref进行划分，得到预设输入音频voc_ref_in和预设反馈音频voc_ref_out。再利用各种语音识别模型，分别对预设输入音频voc_ref_in和预设反馈音频voc_ref_out进行语音识别，得到预设输入文本tvoc_ref_in和预设反馈文本tvoc_ref_out。
145.在操作s544，根据至少一个待测试音频文本和至少一个预设音频文本，确定音频文本比较结果。
146.在本公开实施例中，将与待测试音频对应的预设音频作为目标预设音频。
147.例如，如上文所述，该待测试音频voc_t与预设音频voc_ref对应。可以将预设音频voc_ref作为目标预设音频。
148.在本公开实施例中，将待测试输入音频的待测试输入文本与目标预设音频的预设输入文本进行匹配，得到第一匹配结果。
149.例如，可以将待测试输入文本tvoc_t_in与预设输入文本tvoc_ref_in中相同字符的数量作为被除数，将预设输入文本tvoc_ref_in中字符的数量作为除数，进行除法运算，得到的输入文本准确率。若输入文本准确率大于预设输入文本准确率阈值，可以确定第一匹配结果指示匹配成功。
150.在本公开实施例中，将待测试输入音频的待测试反馈文本与目标预设音频的预设反馈文本进行匹配，得到第二匹配结果。
151.例如，可以将待测试反馈文本tvoc_t_out与预设反馈文本tvoc_ref_out中相同字符的数量作为被除数，将预设反馈文本tvoc_ref_out中字符的数量作为除数，进行除法运算，得到的反馈文本准确率。若反馈文本准确率大于预设反馈文本准确率阈值，可以确定第二匹配结果指示匹配成功。
152.在本公开实施例中，响应于确定第一匹配结果和第二匹配结果中的至少一个指示匹配失败，将待测试音频确定为目标待测试音频；以及根据目标待测试音频的数量和待测试音频的数量，确定音频文本比较结果。
153.例如，目标待测试音频的数量可以为0，待测试音频的数量可以为1，将二者的差值作为被除数，将待测试音频的数量作为除数，进行除法运算，得到音频文本比较结果。
154.在操作s545，根据音频文本比较结果和图像比较结果，确定测试结果。
155.例如，可以根据音频文本比较结果与预设音频文本比较阈值，确定测试结果。
156.在一个示例中，如上文所述，图像比较结果包括第一比较结果和第二比较结果。在第一子比较结果大于或等于第一预设图像比较阈值、第二子比较结果大于或等于第二预设图像比较阈值以及音频文本比较结果大于或等于预设音频文本比较阈值的情况下，确定的测试结果可以指示测试通过。
157.在一些实施例中，可以对待测试音频或预设音频进行降噪处理，以删除与输入音频或反馈音频无关的噪音。
158.如上文所述，可以根据图像数据和音频数据确定测试结果。可以理解，还可以根据文本数据确定测试结果。下文将进行详细说明。
159.在一些实施例中，以查询天气的交互过程为示例，用户可以发出语音信息“小某，
今天天气怎么样”。响应于接收到该语音信息，处于待测试模式的智能设备将与该语音信息对应的音频作为输入音频。针对该输入音频，智能设备可以生成反馈信息，该反馈信息例如可以为“今天有雨，最高气温30摄氏度”。接下来，处于待测试模式的智能设备可以利用显示屏上的虚拟形象展示与该反馈信息对应的肢体动作和/或面部表情，以及可以播放与反馈信息对应的反馈音频。此外，还可以将与反馈信息对应的文本数据展示在显示屏上。
160.例如，如上文所述，在查询天气的交互过程中，在一定时长内，针对处于待测试模式的智能设备，可以录制其显示屏上的全部内容并采集相关音频数据，作为待测试视频。
161.在一些实施例，以查询天气的交互过程为示例，响应于接收到语音信息“小某，今天天气怎么样”，处于预设模式的智能设备将与该语音信息对应的音频作为输入音频。针对该输入音频，智能设备可以生成预设反馈信息，该预设反馈信息例如可以为“今天有雨，最高气温30摄氏度”。接下来，智能设备可以利用显示屏上的虚拟形象展示与该预设反馈信息对应的预设肢体动作和/或预设面部表情，以及可以播放与反馈信息对应的预设反馈音频。此外，还可以将与预设反馈信息对应的文本数据展示在显示屏上。
162.在一个示例中，如上文所述，在查询天气的交互过程中，在一定时长内，针对处于预设模式的智能设备，可以录制其显示屏上的全部内容并采集相关音频数据，作为预设视频。
163.下面将结合图6对利用文本数据确定测试结果进行详细说明。
164.图6是根据本公开的另一个实施例的确定测试结果的流程图。
165.如图6所示，方法640可以根据图像比较结果，确定测试结果。下面将结合操作s646至操作s648进行详细说明。
166.在操作s646，分别对与待测试图像匹配的预设图像和待测试图像进行文本识别，得到预设图像文本和待测试图像文本。
167.例如，可以利用ctc(connectionist temporal classification，时序分类)技术分别对待测试图像img_t和预设图像img_ref1进行文本识别，得到预设图像文本timg_ref1和待测试图像文本timg_t。
168.在操作s647，根据预设图像文本和待测试图像文本，确定图像文本比较结果。
169.例如，可以确定待测试图像文本timg_t与预设图像文本timg_ref1中相同字符的数量。
170.接下来，可以对多个待测试图像均执行操作s434和操作s435，以便确定多个待测试图像文本与多个预设图像文本中相同字符的总数量。再将相同字符的总数量作为被除数，多个预设图像文本中字符的总数量作为除数，进行除法运算，得到图像文本比较结果。
171.在操作s648，根据图像文本比较结果和图像比较结果，确定测试结果。
172.例如，可以根据图像文本比较结果与预设图像文本比较阈值，确定测试结果。
173.在一个示例中，如上文所述，图像比较结果包括第一比较结果和第二比较结果。在第一子比较结果大于或等于第一预设图像比较阈值、第二子比较结果大于或等于第二预设图像比较阈值以及图像文本比较结果大于或等于预设图像文本比较阈值的情况下，确定的测试结果可以指示测试通过。
174.在一些实施例中，可以根据音频文本比较结果、图像文本比较结果和图像比较结果，确定测试结果。
175.例如，如上文所述，图像比较结果包括第一比较结果和第二比较结果。在第一子比较结果大于或等于第一预设图像比较阈值、第二子比较结果大于或等于第二预设图像比较阈值、音频文本比较结果大于预设音频文本比较阈值以及图像文本比较结果大于或等于预设图像文本比较阈值的情况下，确定的测试结果可以指示测试通过。
176.在一些实施例中，根据图像比较结果，确定测试结果包括：在待测试视频的时长信息与预设视频的时长信息一致的情况下，根据图像比较结果，确定测试结果。
177.例如，待测试视频的时长为15秒，预设视频的时长为15秒，可以确定二者一致。接下来，可以根据图像比较结果，确定测试结果。
178.又例如，若待测试视频的时长大于预设视频的时长，可以确定测试失败，同时确定智能设备出现卡顿。
179.又例如，若待测试视频的时长小于预设视频的时长，可以确定智能设备的运行异常或部分功能未实现。
180.在一些实施例中，待测试视频的时间信息中可以包括多个时段。
181.例如，在时段t1(例如第1秒至第5秒)，待测试视频中出现待测试对象obj_1。待测试视频中无音频和文本。在时段t2(例如第6秒至第8秒)，待测试视频中出现待测试对象obj_2。此外，待测试视频中出现输入音频，且待测试视频中出现与输入音频对应的文本。在时段t3(例如第9秒至第15秒)，待测试视频中出现待测试对象obj_3。此外，待测试视频中出现反馈音频，且待测试视频中出现与反馈音频对应的文本。
182.在一些实施例中，预设视频的时间信息中可以包括多个时段。
183.例如，在时段t1(例如第1秒至第5秒)，预设视频中出现预设对象obj_1’。预设视频中无音频和文本。在时段t2(例如第6秒至第8秒)，预设视频中出现预设对象obj_2’。此外，预设视频中出现输入音频，且预设视频中出现与输入音频对应的文本。在时段t3(例如第9秒至第15秒)，预设视频中出现预设对象obj_3’。此外，预设视频中出现反馈音频，且预设视频中出现与反馈音频对应的文本。
184.进一步地，在一个示例中，在时段t1，可以根据待测试图像和预设图像，利用上文所述的方法330和430，确定时段t1的图像比较结果。
185.在时段t2，可以根据待测试图像和预设图像，利用上文所述的方法330和430，确定时段t2的图像比较结果。还可以根据上文所述的方法540和方法640，确定时段t2的音频文本比较结果和时段t2的图像文本比较结果。
186.在时段t3，可以根据待测试图像和预设图像，利用上文所述的方法330和430，确定时段t3的图像比较结果。还可以根据上文所述的方法540和方法640，确定时段t3的音频文本比较结果和时段t3的图像文本比较结果。
187.接下来，在每个时段的图像比较结果大于或等于预设图像比较阈值、每个时段的音频文本比较结果大于预设音频文本比较结果以及每个时段的图像文本比较结果大于或等于预设图像文本比较阈值的情况下，确定的测试结果可以指示测试通过。
188.上文对本公开提供的方法进行了详细说明，下面将结合待测试图像及第一局部图像来对本公开提供的方法进行进一步详细说明。
189.图7a是根据本公开的一个实施例的待测试图像的示意图。
190.如图7a所示，待测试图像700中包括虚拟形象710。
191.将待测试图像700输入目标检测模型，可以得到待测试对象711、待测试对象712、待测试对象711的第一检测框721和待测试对象712的第一检测框722。例如，待测试对象711可以为虚拟形象710的头部，待测试对象712可以为虚拟形象的右手。
192.如图7a所示，待测试图像700还包括一个文本区域730。利用ctc技术对待测试图像700进行文本识别，得到的待测试文本中可以包括文本区域730中的多个英文字符。
193.图7b和图7c是根据本公开的一个实施例的第一局部图像的示意图。
194.如图7b所示，第一局部图像741可以是根据第一检测框721得到的。第一局部图像741可以与待测试对象711对应。
195.如图7c所示，第一局部图像742可以是根据第一检测框722得到的。第一局部图像742可以与待测试对象712对应。
196.图8是根据本公开的一个实施例的交互信息测试装置的框图。
197.如图8所示，该装置800可以包括目标检测模块810、第一确定模块820、第二确定模块830和第三确定模块840。
198.目标检测模块810，用于对来自于交互信息的多个待测试图像分别进行目标检测，得到多个第一检测结果。例如，第一检测结果包括待测试图像中至少一个待测试对象的第一检测框。
199.第一确定模块820，用于根据第一检测结果，确定至少一个第一局部图像。
200.第二确定模块830，用于根据至少一个第一局部图像和至少一个第二局部图像，确定图像比较结果。例如，至少一个第二局部图像是根据第二检测结果确定的，第二检测结果是对预设图像进行目标检测得到的。
201.第三确定模块840，用于根据图像比较结果，确定测试结果。
202.在一些实施例中，多个待测试图像来自于待测试视频，待测试视频是根据交互信息确定的，目标检测模块包括：获取子模块，用于获取多个第二检测结果，其中，第二检测结果包括预设图像中至少一个预设对象的第二检测框，多个预设图像是对预设视频进行抽帧得到的。抽帧子模块，用于对待测试视频进行抽帧，得到多个待测试图像；以及目标检测子模块，用于对多个待测试图像分别进行目标检测，得到多个第一检测结果。
203.在一些实施例中，待测试图像与一个预设图像匹配，与待测试图像匹配的预设图像是根据待测试图像与多个预设图像之间的多个第一相似度确定的。
204.在一些实施例中，第一确定模块包括：第一确定子模块，用于针对待测试对象，从与待测试图像匹配的预设图像中确定第一目标预设对象，其中，第一目标预设对象的类别信息与待测试对象的类别信息一致，第一目标预设对象来自于至少一个预设对象；第二确定子模块，用于根据待测试对象的第一检测框，确定第一局部图像；以及第三确定子模块，用于根据第一目标预设对象的第二检测框，确定第二局部图像。
205.在一些实施例中，图像比较结果包括第一子比较结果，第二确定模块包括：第一获得子模块，用于根据至少一个第一局部图像和至少一个第二局部图像，得到至少一个第二相似度；第四确定子模块，用于响应于确定第二相似度小于第一预设相似度阈值，将待测试图像确定为第一目标待测试图像；以及第五确定子模块，用于根据待测试图像的数量和第一目标待测试图像的数量，确定第一子比较结果。
206.在一些实施例中，第一确定模块包括：第六确定子模块，用于根据与待测试图像匹
配的预设图像的时间信息，从除与待测试图像匹配的预设图像之外的多个预设图像中，确定至少一个目标预设图像；第七确定子模块，用于针对待测试对象，从目标预设图像中确定第二目标预设对象，其中，第二目标预设对象的类别信息与待测试对象的类别信息一致，第二目标预设对象来自于目标预设图像中的至少一个预设对象；第八确定子模块，用于根据待测试对象的第一检测框，确定第一局部图像；以及第九确定子模块，用于根据第二目标预设对象的第二检测框，确定第二局部图像。
207.在一些实施例中，图像比较结果包括第二子比较结果，第二确定模块包括：第二获得子模块，用于根据至少一个第一局部图像和至少一个第二局部图像，得到至少一个第三相似度；第十确定子模块，用于响应于确定至少一个第三相似度均大于或等于第二预设相似度阈值，将待测试图像确定为第二目标待测试图像；以及第十一确定子模块，用于根据待测试图像的数量和第二目标待测试图像的数量，确定第二子比较结果。
208.在一些实施例中，第三确定模块包括：第三获得子模块，用于根据待测试视频，得到至少一个待测试音频；第四获得子模块，用于根据预设视频，得到至少一个预设音频，其中，待测试音频与一个预设音频对应；语音识别子模块，用于分别对至少一个待测试音频和至少一个预设音频进行语音识别，得到至少一个待测试音频文本和至少一个预设音频文本；第十二确定子模块，用于根据至少一个待测试音频文本和至少一个预设音频文本，确定音频文本比较结果；以及第十三确定子模块，用于根据音频文本比较结果和图像比较结果，确定测试结果。
209.在一些实施例中，待测试音频文本包括待测试输入文本和待测试反馈文本，预设音频文本包括预设输入文本和预设反馈文本，语音识别子模块包括：第一划分单元，用于对待测试音频进行划分，得到待测试输入音频和待测试反馈音频；第一语音识别单元，用于对待测试输入音频进行语音识别，得到待测试输入文本；第二语音识别单元，用于对待测试反馈音频进行语音识别，得到待测试反馈文本；第二划分单元，用于对预设音频进行划分，得到预设输入音频和预设反馈音频；第三语音识别单元，用于对预设输入音频进行语音识别，得到预设输入文本；以及第四语音识别单元，用于对预设反馈音频进行语音识别，得到预设反馈文本。
210.在一些实施例中，第十二确定子模块包括：第一确定单元，用于将与待测试音频对应的预设音频作为目标预设音频；第一匹配单元，用于将待测试输入音频的待测试输入文本与目标预设音频的预设输入文本进行匹配，得到第一匹配结果；第二匹配单元，用于将待测试输入音频的待测试反馈文本与目标预设音频的预设反馈文本进行匹配，得到第二匹配结果；第二确定单元，用于响应于确定第一匹配结果和第二匹配结果中的至少一个指示匹配失败，将待测试音频确定为目标待测试音频；以及第三确定单元，用于根据目标待测试音频的数量和待测试音频的数量，确定音频文本比较结果。
211.在一些实施例中，第三确定模块包括：文本识别子模块，用于分别对与待测试图像匹配的预设图像和待测试图像进行文本识别，得到预设图像文本和待测试图像文本；第十四确定子模块，用于根据预设图像文本和待测试图像文本，确定图像文本比较结果；以及第十五确定子模块，用于根据图像文本比较结果和图像比较结果，确定测试结果。
212.在一些实施例中，第三确定单元还用于在待测试视频的时长信息与预设视频的时长信息一致的情况下，根据图像比较结果，确定测试结果。
213.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
214.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
215.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
216.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
217.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
218.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如交互信息测试方法。例如，在一些实施例中，交互信息测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的交互信息测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行交互信息测试方法。
219.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
220.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处
理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
221.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
222.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
223.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
224.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
225.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
226.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。