用户交互方法、装置、存储介质及电子设备与流程

1.本公开涉及人机交互技术领域，具体地，涉及一种用户交互方法、装置、存储介质及电子设备。


背景技术：

2.随着科技的发展，人机交互的技术也愈发成熟，移动终端上越来越多的应用程序中都会涉及到人机交互，而娱乐场景的人机交互，更能够为用户带来更多的欢乐。
3.然而，娱乐场景的人机交互方式单一，通常是简单地获取用户操作，并根据用户操作对人机交互进行简单的应答。因此，根据交互过程录制的视频所能展示的特效也相对单一、不够真实，进而使得交互过程中用户感受不到趣味性，导致用户体验较差。


技术实现要素：

4.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.第一方面，本公开提供一种用户交互方法，该方法包括：响应于获取到用户的预设行为信息，显示与所述预设行为信息对应的第一动画元素，所述第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具；获取用户的声音信息；在所述声音信息满足预设的吹气判定条件的情况下，显示用于模拟所述工具的工作结果的第二动画元素。
6.第二方面，本公开提供一种用户交互装置，该装置包括：第一动画元素显示模块、声音信息获取模块以及第二动画元素显示模块。其中：
7.第一动画元素显示模块，用于响应于获取到用户的预设行为信息，显示与所述预设行为信息对应的第一动画元素，所述第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具；
8.声音信息获取模块，用于获取用户的声音信息；
9.第二动画元素显示模块，用于在所述声音信息满足预设的吹气判定条件的情况下，显示用于模拟所述工具的工作结果的第二动画元素。
10.第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现第一方面方法的步骤。
11.第四方面，本公开提供一种电子设备，包括：
12.存储装置，其上存储有计算机程序；
13.处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面方法的步骤。
14.通过上述技术方案，用户在通过电子设备进行用户交互的过程中，如视频录制时，电子设备可以响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，其中，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具；再获取用户的
声音信息，并在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素。从而能够结合用户的预设行为信息和声音信息进行交互，并根据不同的信息显示不同的动画元素，以在电子设备上生动地模拟用户对上述工具进行吹气时产生的效果，使得交互的方式更加多样化、增加了交互的趣味性，并且使得对吹气场景的模拟效果也更加真实，可有效提升用户体验。
15.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
16.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
17.图1是本公开一个实施例提供的用户交互方法的应用环境示意图。
18.图2是本公开一个实施例提供的用户交互方法的流程示意图。
19.图3是本公开一个实施例提供的视频录制界面的界面示意图。
20.图4是本公开另一个实施例提供的视频录制界面的界面示意图。
21.图5是本公开另一个实施例提供的用户交互方法的流程示意图。
22.图6是本公开又一个实施例提供的视频录制界面的界面示意图。
23.图7是本公开再一个实施例提供的视频录制界面的界面示意图。
24.图8是本公开又另一个实施例提供的视频录制界面的界面示意图。
25.图9是本公开又再一个实施例提供的视频录制界面的界面示意图。
26.图10是本公开又一个实施例提供的用户交互方法的流程示意图。
27.图11是本公开一个实施例提供的用户交互装置的结构示意图。
28.图12是本公开一个实施例提供的电子设备的结构示意图。
具体实施方式
29.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
30.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
31.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
32.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
33.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域
技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
34.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
35.随着人机交互技术的不断发展，越来越多的交互场景被开发，以提高用户使用电子设备时的趣味性。特别是短视频兴起以后，用户可以在录制视频的过程中通过与电子设备进行交互，在用户交互界面，例如视频录制界面，生成的有趣的动画效果，进而得到具有丰富特效的短视频。
36.在相关技术中，用户在与电子设备进行交互时，通常是由电子设备采集用户的图像信息，并根据用户的图像信息生成相应的待模拟场景的动画特效。
37.示例性的，例如待模拟场景为用户吹泡泡的游戏场景，在该场景下，用户可以对电子设备做出吹泡泡的动作，电子设备则采集用户的面部图像，并根据面部图像中用户的嘴部动作特征触发生成泡泡的动画特效。
38.然而，仅通过嘴唇动作来模拟吹泡泡的场景，会让动画特效停留在动作表面，导致用户无法真实体验到吹泡泡的感觉，因为在真实世界中，用户在吹泡时泡会对着吹泡器吹出气流，泡泡则伴随气流产生，且泡泡的产生情况与气流的大小相关，这些过程都无法在上述交互方式中体现，导致用户体验较差。
39.另外，仅通过嘴唇动作触发生成泡泡的动画特效也存在触发不精准的问题，例如用户做出与吹泡泡动作相似的动作(如嘟嘴)时，可能导致电子设备因误触发展示吹泡泡的动画特效。
40.可见，相关技术中的交互方式太过单一，导致待模拟场景无法真实、有效地在电子设备中被还原。
41.针对上述问题，本公开提供了一种用户交互方法、装置、存储介质及电子设备，能够结合用户的预设行为信息和声音信息进行交互，增加了交互方式的多样性，并根据不同的信息显示不同的动画元素，以在电子设备上生动地模拟用户对上述工具进行吹气时产生的效果，使得交互的方式更加多样化、增加了交互的趣味性，并且使得对吹气场景的模拟效果也更加真实，可有效提升用户体验。
42.下面对本公开提供的一种用户交互方法所涉及的应用环境进行说明，请参考图1，本公开的提供的用户交互方法可以应用于如图1所示的电子设备。该电子设备100可以包括图像采集模块110、数据处理模块(图中未示出)、图像显示模块120、以及音频采集模块130。
43.其中，图像采集模块110可以用于采集面向电子设备100的用户的图像(以下可称用户图像)，该用户图像可以包括面部图像、动作图像等，可选的，图像采集模块110可以为高清摄像头。
44.其中，图像显示模块120可以用于显示图像采集模块110采集的图像，也可以显示电子设备100中预先存储的图像或动画元素等。可选的，该图像显示模块120以包括但不限于：液晶显示器、投影模组、触控屏等。
45.其中，音频采集模块130可以采集用户的声音信息，可选的，该音频采集模块130可以为设置在电子设备100上的麦克风阵列。
46.其中，数据处理模块可以对图像采集模块110采集的图像信息和音频采集模块130采集的声音信息进行处理。
47.可选的，该电子设备100可以包括但不限于：智能手机、个人电脑、平板电脑、智能电视、智能可穿戴设备、智能投影设备等。
48.请参考图2，其示出了本公开一个实施例提供的用户交互方法，该用户交互方法可以应用于如图1所示的电子设备，该用户交互方法可以包括以下步骤：
49.101、响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具。
50.其中，预设行为信息可以表征用户做出预设行为。
51.在一些实施方式中，预设行为可以是用户使用真实世界中的以吹气方式进行工作的工具(以下可以简称工具)的行为。示例性的，例如工具为真实世界中的吹泡器时，该预设行为就可以是用户手握吹泡器的行为，用户的预设行为信息可以为用户模拟握住吹泡器(如握拳)的图像信息，该图像信息可以由图像采集模块采集得到。
52.承接上述示例，当电子设备通过图像采集模块采集到用户模拟握住吹泡器的图像信息时，可以响应于该图像信息，在视频录制界面显示第一动画元素。其中，视频录制界面为用户进行视频录制时电子设备显示录制图像的界面，该视频录制界面中可以显示图像采集模块采集到的用户图像。如图3所示，当目标工具为吹泡器时，第一动画元素为吹泡器对应的动画元素，如虚拟吹泡器21的图像，此时，视频录制界面中显示的是用户手握虚拟吹泡器21的画面。
53.102、获取用户的声音信息。
54.在一些实施方式中，当电子设备上显示与预设行为信息对应的第一动画元素时，电子设备可以通过音频采集模块采集用户的声音信息，从而可以获得用户的声音信息。
55.可选的，当电子设备上没有显示与预设行为信息对应的第一动画元素时，电子设备可以关闭音频采集模块，以停止采集用户的声音信息。
56.103、在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素。
57.其中，吹气判定条件用于判定用户发出的声音信息是否为吹气的声音。
58.在一些实施方式中，电子设备可以将当前获得的声音信息与标准吹气声音信息进行匹配，如果当前获得的声音信息与标准吹气声音信息匹配成功，则可以确定声音信息满足预设的吹气判定条件。可选的，标准的吹气声音信息可以预先存储在电子设备的本地数据库中，也可以存储在与电子设备建立通信链路的服务器中，可由电子设备从服务器中调用。
59.在另一些实施方式中，电子设备中还可以配置有预先训练好的声音识别模型，该声音识别模型可以基于用户吹气时发出的声音信息样本训练得到，电子设备在获得声音信息后，可以将该声音信息输入到声音识别模型，若该声音识别模型输出该声音信息为吹气的声音的标签，则可以确定声音信息满足预设的吹气判定条件。可选的，该声音识别模型可以为机器学习模型，用户使用该模型时每输入一次声音信息，都能够使模型输出的结果更加准确。
60.当声音信息满足预设的吹气判定条件时，电子设备可以显示用于模拟工具的工作结果的第二动画元素。承接上述示例，当工具为吹泡器时，第二动画元素为吹泡器工作时产生的泡泡对应动画元素，如虚拟泡泡22的图像。举例来说，如图4所示，此时，电子设备的视
频录制界面显示的是用户对虚拟吹泡器21图像做出吹气动作，并且虚拟吹泡器21的吹泡口生成虚拟泡泡22的画面。
61.可见，在本实施例中，通过响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，其中，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具；再获取用户的声音信息，并在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素。从而能够结合用户的预设行为信息和声音信息进行交互，并根据不同的信息显示不同的动画元素，以在电子设备上生动地模拟用户对上述工具进行吹气时产生的效果，使得交互的方式更加多样化、增加了交互的趣味性，并且使得对吹气场景的模拟效果也更加真实，可有效提升用户体验。
62.请参考图5，其示出了本公开一个实施例提供的用户交互方法，该用户交互方法可以应用于如图1所示的电子设备，该用户交互方法可以包括以下步骤：
63.201、响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具。
64.在一些实施方式中，预设行为信息还可以为，基于用户在电子设备上做出的针对第一动画元素的选取操作生成的信息。例如，若用户在电子设备的视频录制界面上点击与第一动画元素对应的图标，则电子设备可以在视频录制界面显示的预设位置显示第一动画元素。可选的，选取操作还可以包括语音操作、手势操作等。
65.202、获取用户的声音信息。
66.其中，步骤202的具体实施方式可以参考步骤102，故不在此赘述。
67.203、提取声音信息的属性参数。
68.在一些实施方式中，电子设备中可以预先配置有声音特征解析模块，该声音特征解析模块可以对声音信息进行解析，并提取出该声音信息的属性参数。可选的，声音特征解析模块可以对声音信息进行时域解析，如根据声音信息产生的时间顺序，分析信号的周期性、概率密度、概率分布等时域参数，作为属性参数。可选的，声音特征解析模块也可以对声音信息进行幅域解析，如分析声音信息在幅域的均值、均方值、均方差等幅域参数，作为属性参数。可选的，声音特征解析模块还可以对声音信息进行频域解析，如将声音信息通过傅里叶变换，分解成若干单一的谐波分量，得到信号的频率结构以及各谐波幅值和相位信息等频域参数，作为属性参数。可选的，声音特征解析模块可以采用上述三种解析方式中的至少一种解析方式对声音信息进行解析，以得到属性参数。
69.可选的，属性参数可以包括声纹特征参数，具体的，声纹特征参数可以包括基频、共振峰、即时功率谱、音强、音长、频率倒谱系数、频率、振幅中的一种或多种组合。
70.可以理解的是，在本实施例中，声音信息指的是声音信号。
71.在一些实施方式中，在提取声音信息的属性参数之前，还可以对声音信息进行噪音过滤处理，其中，噪音过滤处理可以有效过滤声音信息中的环境噪音和语音噪音。示例性的，电子设备可以利用语音识别技术识别出环境噪音、语音噪音等噪音，并将该噪音进行过滤，仅保留具有吹气特征的声音。
72.可选的，电子设备在对声音信息进行噪音过滤处理以后，还可以对声音信息进行预处理，以进一步滤除噪音。可选的，预处理可以包括异点剔除、零均值变换、算术平均、取中位值法、取加权平均值中的一种。
73.204、根据属性参数判断声音信息是否包括用户吹气产生的声音信息。
74.在一些实施方式中，电子设备可以将属性参数与预设属性参数进行比对，其中，预设属性参数为吹气声音对应的属性参数，若该属性参数与预设属性参数匹配，则确定声音信息包括用户吹气产生的声音信息。
75.一种示例，例如预设属性参数为预设声纹特征参数，若属性参数中包括声纹特征参数，且该声纹特征参数与预设声纹特征参数一致，则可以确定该属性参数与预设属性参数匹配。可选的，除了通过声纹特征参数进行比对，还可以结合属性参数中的时域参数、幅域参数、频域参数进行比对，以提高判断准确性。
76.另一种示例，若属性参数与预设属性参数之间的相似度大于相似度阈值，可以确定属性参数和预设属性参数匹配。
77.205、在确定声音信息包括用户吹气产生的声音的情况下，确定声音信息满足吹气判定条件。
78.承接上述示例，在电子设备检测到从声音信息提取的属性参数与预设属性参数匹配时，可以确定声音信息满足吹气判定条件。
79.206、在声音信息满足预设的吹气判定条件的情况下，根据属性参数确定第二动画元素的显示参数。
80.在一些实施方式中，显示参数包括第二动画元素的显示速率和/或第二动画元素的显示数量。属性参数可以包括音强和/或频率。可选的，音强可以与显示速率正相关、音强还可以与显示数量正相关、频率可以与显示速率正相关、频率还可以与显示数量正相关。
81.可以理解的是，显示速率越大，在电子设备的视频录制界面中第二动画元素的移动速度和生成速度越快。音强指的是声音强度。
82.示例性的，例如电子设备根据第一属性参数确定第一显示参数，根据第二属性参数确定第二显示参数。若第一属性中的频率大于第二属性参数中的频率，则第一显示参数大于第二显示参数。若第一属性参数中的音强大于第二属性参数中的音强，则第一显示参数大于第二显示参数。
83.207、根据显示参数显示用于模拟工具的工作结果的第二动画元素。
84.承接上述示例，并以第一动画元素为虚拟吹泡器21、第二动画元素为虚拟泡泡22为例，如图6和图7所示，图6是根据第一显示参数显示的画面、图7是根据第二显示参数显示的画面。可见，当第一显示参数大于第二显示参数时，例如在第一显示参数中的显示数量大于第二显示参数中的显示数量时，图6中显示的虚拟泡泡22的数量比图7中显示的虚拟泡泡22的数量多。
85.又例如，第一显示参数对应的第一属性参数中的时长与第二显示参数对应的第二属性参数中的时长相同，且第一显示参数中显示速率比第二显示参数中显示速率大时，图6中显示的距离虚拟吹泡器21最远的泡泡与虚拟吹泡器21之间的第一距离大于图7中显示的距离虚拟吹泡器21最远的泡泡与虚拟吹泡器21之间的第二距离。从而可以根据用户的吹气声音的强度和频率在电子设备上更生动地模拟出用户吹泡泡的场景，提升了用户在吹泡泡场景中的交互体验。
86.可选的，显示参数还可以包括显示尺寸，其中，显示尺寸表征第二动画元素在电子设备上显示时，第二动画元素的尺寸。可选的，显示尺寸可以与属性参数中的音强正相关，
显示尺寸还可以与属性参数中的频率负相关。
87.在本实施方式中，通过根据属性参数来调节第二动画元素的显示尺寸，其中，显示尺寸可以与属性参数中的音强正相关，与属性参数中的频率负相关，由于真实世界中，吹气的声音强度越大，用户吹气时越用力，吹出的泡泡也就越大；吹气的频率越大，表明吹气的周期越短，吹出的泡泡越小。因此，通过上述显示方式，能够在电子设备上更真实地模拟用户吹泡泡的场景。
88.在一些实施方式中，第二动画元素携带广告信息。
89.可选的，广告信息包括广告商预先配置的品牌标志、品牌颜色、品牌名称中的至少一种。
90.示例性的，例如第二动画元素为虚拟泡泡22，品牌标志为“axx”，如图8所示，在电子设备的视频录制界面中显示的虚拟泡泡22上会印有“axx”的标志。又例如，品牌颜色为蓝色，那么显示的虚拟泡泡22可以是蓝色的虚拟泡泡22。
91.在本实施方式中，通过使第二动画元素携带广告信息，可以在用户进行趣味性交互的同时进行广告推广，使用户更容易接受广告信息，提升了广告的推广效率。
92.在一些实施方式中，电子设备还可以提供广告配置界面，广告商可以通过指定的入口进入广告配置界面，在广告配置界面中配置将在第二动画元素上显示的广告信息。
93.在一些实施方式中，在用户交互过程中，例如在视频录制过程时，对已经显示的第二动画元素的总数量进行实时显示。
94.示例性的，如图9所示，在视频录制界面中，可以实时显示从虚拟吹泡器21中产生的虚拟泡泡22的总数量。
95.在一些实施方式中，电子设备可以用户交互过程中，例如在视频录制时不显示已经出现的第二动画元素的总数量，而在视频录制结束时，显示整个视频录制过程中出现的第二动画元素的总数量。
96.可选的，第二动画元素还可以包括虚拟气球，相应的，第一动画元素还可以是虚拟的吹气球装置。可选的，第二动画元素还可以是虚拟花瓣，相应的，第一动画元素还可以是虚拟花朵。可见，第一动画元素和第二动画元素还可以是其它形态的虚拟物体，在此不做限定。
97.在本实施例中，通过提取声音信息的属性参数，根据属性参数判断声音信息是否包括用户吹气产生的声音信息，在确定声音信息包括用户吹气产生的声音的情况下，确定声音信息满足吹气判定条件，从而可以根据声音信息中的一种或多种更具体的属性参数来判断声音信息是否满足吹气判定条件，提升了判断准确性。另外，通过根据属性参数确定第二动画元素的显示参数，并根据显示参数显示用于模拟工具的工作结果的第二动画元素，可以在用户交互过程中，根据用户声音的变化情况，改变第二动画元素的显示效果，提高互动的实时性，使用户体验更加真实。
98.请参考图10，其示出了本公开一个实施例提供的用户交互方法，该用户交互方法可以应用于如图1所示的电子设备，该用户交互方法可以包括以下步骤：
99.301、获取用户的行为信息。
100.在一些实施方式中，用户的行为信息可以是用于反映用户动作、姿势等的特征信息，例如，行为信息可以包括骨骼关键点、手指关键点、手部轮廓等。示例性的，电子设备可
以通过图像采集模块采集用户图像，然后通过图像识别技术对用户图像进行识别，以得到骨骼关键点、手指关键点、手部轮廓等。
101.302、若根据行为信息确定用户做出指定手势，则确定行为信息为预设行为信息。
102.在一些实施方式中，行为信息包括手指关键点，步骤302的具体实施方式可以包括：若手指关键点与预设关键点匹配，则确定用户做出指定手势，并确定行为信息为预设行为信息。
103.其中，指定手势可以是用户手握第一动画元素对应的工具的手势。预设关键点可以是用户做出指定手势时记录的关键点。
104.示例性的，电子设备可以将手指关键点与预设关键点进行比对，若手指关键点与预设关键点一致，则可以确定用户做出指定手势。或者，若手指关键点与预设关键点之间的相似度大于预设相似度，则可以确定用户做出指定手势。
105.其中，上述实施例中的关键点可以是指关键点对应的坐标。
106.在另一些实施方式中，电子设备可以根据行为信息中的一种或多种信息组合，确定用户是否做出指定手势。例如，行为信息包括手指关键点、骨骼关键点、手部轮廓。电子设备可以将行为信息中的手指关键点与预设关键点进行匹配，将骨骼关键点与预设骨骼关键点进行匹配，将行为信息中的手部轮廓与预设手部轮廓进行匹配，若上述三种匹配方式的匹配结果均为匹配成功，则可以确定用户做出指定手势，以确保识别的准确性。
107.在一些实施方式中，在步骤303之前，该用户交互方法还可以包括：显示提示信息，其中，提示信息用于提示用户做出指定手势。
108.示例性的，例如，电子设备正在模拟吹泡泡的交互场景，此时，电子设备的视频录制界面可以显示“请做出手握吹泡器动作”的文字。可选的，电子设备还可以播放“请做出手握吹泡器动作”的语音。
109.可选的，承接上述示例，当电子设备确定用户做出指定手势后，电子设备可以在视频录制界面显示吹泡泡游戏开始的倒计时，以提醒用户准备开始吹泡泡游戏。
110.可选的，承接上述示例，吹泡泡游戏可以设定游戏时长，若吹泡泡游戏临近结束时，如电子设备检测到游戏开始时刻到当前时刻的时长为预设时长时，电子设备可以显示距离游戏结束的计时。
111.在一些实施方式中，在步骤303之前，该方法还包括：在指定界面中的至少部分区域显示视频录制入口，响应于用户对视频录制入口做出的进入操作，从指定界面切换到视频录制界面，并将拍摄到的用户的图像显示在视频录制界面中。
112.示例性的，指定界面可以包括但不限于：视频播放平台的首页界面、视频播放平台中对应某个广告商主页的界面、视频播放界面。以抖音平台为例，视频录制入口可以包括：抖音feed入口、企业号入口、挑战赛入口等。可选的，进入操作可以为用户在指定界面中对视频录制入口对应的图标的点击操作。例如，用户点击指定界面中与挑战赛入口对应的“挑战赛”图标，电子设备则可以响应于用户对视频录制入口做出的进入操作，从指定界面切换到视频录制界面，并将拍摄到的用户的图像显示在视频录制界面中。
113.303、响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具。
114.在一些实施方式中，步骤301的具体实施方式还可以包括：在视频录制界面中对应
指定手势的位置显示第一动画元素。
115.示例性的，由于视频录制界面可以显示用户图像，当电子设备确定用户做出指定手势时，可以获取在视频录制界面的用户图像中指定手势的位置坐标，并在该位置坐标上显示第一动画元素。
116.304、获取用户的声音信息。
117.305、在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素。
118.306、若检测到用户的行为信息发生改变，且改变后的行为信息不为预设行为信息，或者在指定时长内没有检测到用户的声音信息，则显示第三动画元素，第三动画元素用于提醒用户视频录制结束。
119.承接上述示例，例如，在电子设备检测到用户的手势不为手握虚拟吹泡器21的手势时，表明吹泡泡游戏结束，即视频录制结束，则可以显示用于提醒用户视频录制结束的第三动画元素。又例如，电子设备在指定时长内没有检测到用户的声音信息，表明用户没有做出吹起动作，则可以显示用于提醒用户视频录制结束的第三动画元素。示例性的，在视频录制结束时，电子设备显示的第三动画元素可以包括虚拟祝福语贴纸，例如显示为“happy children`s day”的虚拟贴纸字样。可选的，第三动画元素还可以为动态图片，如烟花爆炸的动态图片。
120.在一些实施方式中，该用户交互方法还包括：
121.在视频录制结束后，若接收到用户做出的发布操作，则响应于发布操作，对录制完成的视频进行发布。
122.示例性的，在视频录制结束时，电子设备可以在视频录制界面显示是否发布该视频的发布图标，若电子设备检测到用户在电子设备上对该发布图标，做出点击操作，则可以响应于发布操作，将录制完成的视频发布到视频播放平台。再获取用户的声音信息。在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素。若检测到用户的行为信息发生改变，且改变后的行为信息不为预设行为信息，或者在指定时长内没有检测到用户的声音信息，则显示第三动画元素，第三动画元素用于提醒用户视频录制结束。从而能够结合用户的动作和声音来进行吹气场景的人机互动，具体的，先识别手势进而生成道具，后识别出声音后再通过道具表现出具体玩法，两者前后有很强的关联性，增加了用户体验吹气场景的真实性。并且在用户停止吹气或停止做出指定手势时，结束游戏，更贴近真实世界中使用吹气道具的场景，进一步提升了用户体验真实性。另外，通过识别吹气声音来进行吹气动画特效的展示，相比于识别用户的嘴部动作来进行吹气动画特效的展示，降低了用户的操作难度。
123.在本实施例中，通过获取用户的行为信息，若根据行为信息确定用户做出指定手势，则确定行为信息为预设行为信息。并响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具。
124.请参考图11，其示出了本公开一个实施例提供的用户交互装置，该用户交互装置400可以包括：第一动画元素显示模块410、声音信息获取模块420以及第二动画元素显示模块430。其中：
125.第一动画元素显示模块410，用于响应于获取到用户的预设行为信息，显示与预设行为信息对应的第一动画元素，第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具。
126.声音信息获取模块420，用于获取用户的声音信息。
127.第二动画元素显示模块430，用于在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素。
128.在一些实施方式中，该用户交互装置400还包括：
129.属性参数提取模块，用于提取声音信息的属性参数。
130.识别模块，用于根据属性参数判断声音信息是否包括用户吹气产生的声音信息。
131.确定模块，用于在确定声音信息包括用户吹气产生的声音的情况下，确定声音信息满足吹气判定条件。
132.在一些实施方式中，第二动画元素显示模块430，包括：
133.显示参数确定子模块，用于根据属性参数确定第二动画元素的显示参数。
134.第二动画元素显示子模块，用于根据显示参数显示用于模拟工具的工作结果的第二动画元素。
135.在一些实施方式中，属性参数包括音量大小，和/或，确定为用户吹气产生的声音在声音信息中出现的频率。
136.显示参数包括第二动画元素的显示速率和/或第二动画元素的显示数量。
137.在一些实施方式中，该用户交互装置400，还包括：
138.行为信息获取模块，用于获取用户的行为信息。
139.手势判断模块，用于若根据行为信息确定用户做出指定手势，则确定行为信息为预设行为信息。
140.在一些实施方式中，行为信息包括手指关键点，手势判断模块具体用于：若手指关键点与预设关键点匹配，则确定用户做出指定手势，并确定行为信息为预设行为信息。
141.在一些实施方式中，第一动画元素显示模块410具体用于：在视频录制界面中对应指定手势的位置显示第一动画元素。
142.在一些实施方式中，该用户交互装置400，还包括：
143.第三动画元素显示模块，用于若检测到用户的行为信息发生改变，且改变后的行为信息不为预设行为信息，或者在指定时长内没有检测到用户的声音信息，则显示第三动画元素，第三动画元素用于提醒用户视频录制结束。
144.在一些实施方式中，该用户交互装置400，还包括：
145.数量显示模块，用于在视频录制过程中，对已经显示的第二动画元素的总数量进行实时显示。
146.在一些实施方式中，该用户交互装置400，还包括：
147.提示信息显示模块，用于显示提示信息，其中，提示信息用于提示用户做出指定手势。
148.在一些实施方式中，该用户交互装置400，包括：
149.入口显示模块，用于在指定界面中的至少部分区域显示视频录制入口。
150.切换模块，用于响应于用户对视频录制入口做出的进入操作，从指定界面切换到
视频录制界面，并将拍摄到的用户的图像显示在视频录制界面中。
151.在一些实施方式中，该用户交互装置400，还包括：
152.发布模块，用于在视频录制结束后，若接收到用户做出的发布操作，则响应于发布操作，对录制完成的视频进行发布。
153.在一些实施方式中，第二动画元素携带广告信息。
154.在一些实施方式中，广告信息包括广告商预先配置的品牌标志、品牌颜色、品牌名称中的至少一种。
155.下面参考图12，其示出了适于用来实现本公开实施例的电子设备(例如图1中的电子设备)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
156.如图12所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
157.通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
158.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
159.需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其
中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
160.在一些实施方式中，电子设备可以利用诸如http(hypertext transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
161.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
162.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于获取到用户的预设行为信息，显示与所述预设行为信息对应的第一动画元素，所述第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具；获取用户的声音信息；在所述声音信息满足预设的吹气判定条件的情况下，显示用于模拟所述工具的工作结果的第二动画元素。。
163.或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于获取到用户的预设行为信息，显示与所述预设行为信息对应的第一动画元素，所述第一动画元素是模拟的真实世界中的以吹气方式进行工作的工具；获取用户的声音信息；在所述声音信息满足预设的吹气判定条件的情况下，显示用于模拟所述工具的工作结果的第二动画元素。。
164.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
165.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令
的组合来实现。
166.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第二动画元素显示模块还可以被描述为“在声音信息满足预设的吹气判定条件的情况下，显示用于模拟工具的工作结果的第二动画元素的模块”。
167.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
168.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
169.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
170.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
171.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。