一种动态壁纸上的分区手势与语音交互方法及系统与流程

本发明涉及动态壁纸交互，具体为一种动态壁纸上的分区手势与语音交互方法及系统。

背景技术：

1、动态壁纸是在设备主屏幕或锁屏界面展示动态画面或视频内容的应用程序。用户通过长按或特定手势进入壁纸预览或设置界面，与动态壁纸本身的交互方式多为简单的触摸滑动切换画面或点击跳转，交互功能较为单一。部分动态壁纸应用尝试加入音频输入或输出功能以丰富交互形式，例如语音控制壁纸切换或声纹识别，但这些功能通常需要额外的辅助应用或通过独立的界面实现，壁纸自身对语音采集和语音内容获取的集成度较低。现有技术中，若要在动态壁纸内实现语音交互，往往通过壁纸进程直接申请麦克风权限并创建音频采集组件。动态壁纸通常以视频播放作为主要视觉呈现方式，视频播放器组件会长期占据音频硬件资源，当壁纸进程同时启动音频采集时，会因音频硬件资源冲突导致采集失败或视频播放异常。另一种方案是借助第三方独立的录音应用完成语音采集，然后将录音结果回传给壁纸服务，此类方案的交互需要用户在壁纸界面与录音应用之间切换，操作割裂，且无法在壁纸表面直接触发采集的开始与结束。同时，当壁纸需要获取服务端下发的语音内容并在壁纸展示期间播放时，通常会通过壁纸进程内部的音频播放器实现，播放语音时可能申请系统音频焦点，导致正在播放的壁纸视频声音被中断或混音不当，影响壁纸动态画面的连贯视听体验。此外，在壁纸显示区域较大的设备上，缺乏将不同空间位置的手势操作与不同语音功能建立对应关系的机制，用户无法直观地通过触碰区域选择启动语音采集还是获取语音内容，交互意图的判断效率较低。针对以上问题，需要解决在壁纸表面利用分区双击手势分别启动音频采集和语音内容查询，以及在启动音频采集时处理壁纸视频播放与音频硬件资源占用的冲突、在播放获取的语音内容时维持壁纸视频持续渲染而不抢占音频焦点的问题。

技术实现思路

1、本发明目的在于提供一种动态壁纸上的分区手势与语音交互方法及系统，以解决动态壁纸场景下语音采集与壁纸视频播放之间的音频资源冲突问题，以及用户无法在壁纸表面通过分区手势直接触发语音采集与语音内容查询两种交互操作的问题。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种动态壁纸上的分区手势与语音交互方法，包括：在动态壁纸引擎的运行环境中，通过触摸事件回调接口接收作用于壁纸显示表面上的触摸事件，并由内置于所述动态壁纸引擎中的手势识别模块从所述触摸事件中解析出触摸坐标信息与双击手势类型；以所述壁纸显示表面的可见显示区域纵向高度为划分依据，将所述可见显示区域划分为上半交互区域与下半交互区域；当所述触摸坐标信息落入所述上半交互区域且所述手势类型为双击时，由所述动态壁纸引擎向独立于所述动态壁纸引擎运行的前台服务进程发送音频采集启动指令；当所述触摸坐标信息落入所述下半交互区域且所述手势类型为双击时，由所述动态壁纸引擎向所述前台服务进程发送语音内容查询指令。通过将动态壁纸的可见显示区域划分为上、下半区，并结合双击手势识别，使得用户能够在壁纸界面上直接触发音频采集或语音内容查询，无需离开当前壁纸场景，操作路径短、响应及时。

3、作为本发明的一个优选技术方案，在接收触摸事件的过程中，由所述动态壁纸引擎获取所述触摸事件中的原始触摸坐标，并将所述原始触摸坐标映射至所述可见显示区域的标准化坐标系中，在所述标准化坐标系内计算触摸落点相对于所述可见显示区域的顶部边界的纵向距离与所述可见显示区域的纵向总高度的比值，依据所述比值与预设分区阈值的大小关系判定所述触摸落点所属的交互区域。这种基于比例的分区判断方式能够自适应不同屏幕尺寸和壁纸缩放状态，保证交互区域划分的一致性和手势识别的准确性。

4、优选的，所述动态壁纸引擎向所述前台服务进程发送音频采集启动指令时，通过跨进程通信接口将所述音频采集启动指令传递至所述前台服务进程，所述前台服务进程响应于所述音频采集启动指令创建音频采集器实例，所述音频采集器实例配置有麦克风硬件访问权限和音频编码参数，并开始从麦克风硬件采集音频数据帧。由此，音频采集工作由独立的前台服务进程承担，即使动态壁纸引擎所在进程被系统回收或重启，也能保证音频采集的连续性，并且前台服务进程具备持久化运行能力，能稳定持有麦克风硬件资源。

5、进一步的，所述前台服务进程响应于所述音频采集启动指令创建音频采集器实例后，向所述动态壁纸引擎返回音频采集已启动的确认消息，所述动态壁纸引擎在收到所述确认消息后暂停当前壁纸视频的播放器组件的解码操作，并释放所述播放器组件占用的音频硬件资源，同时保持所述壁纸显示表面的表面持有权归属于所述动态壁纸引擎。在音频采集期间，动态壁纸引擎释放音频硬件资源可有效避免麦克风采集回路与壁纸视频音频输出之间的冲突，防止回声或杂音引入；同时保留表面持有权，确保壁纸视图层级稳定，不会因资源释放导致壁纸界面消失或闪烁。

6、更进一步的，所述释放所述播放器组件占用的音频硬件资源后，所述动态壁纸引擎在所述壁纸显示表面上持续渲染预设的静态占位图像，并暂停向服务端发起的周期性视频资源查询任务，直至再次接收到所述触摸事件回调接口传递的触摸事件且所述手势识别模块从所述触摸事件中解析出双击手势类型时，由所述动态壁纸引擎向所述前台服务进程发送音频采集结束指令。这样，音频采集期间壁纸显示静态图像并停止网络请求，既能降低系统资源消耗，又可以避免因壁纸视频内容变化对用户体验造成干扰，同时向用户直观呈现“正在录音”的状态。

7、优选的，所述动态壁纸引擎向所述前台服务进程发送音频采集结束指令后，所述前台服务进程响应于所述音频采集结束指令停止所述音频采集器实例的采集操作，将所述音频采集器实例已编码输出的音频数据封装为音频文件写入本地高速缓存，并通过独立网络请求模块将所述音频文件上传至服务端，在所述上传完成后所述前台服务进程向所述动态壁纸引擎发送采集结束且上传完成的确认消息。由前台服务进程统一完成音频文件的封装与上传，解耦了动态壁纸引擎与网络传输逻辑，提高了模块独立性和上传可靠性。

8、在此基础上，所述前台服务进程向所述动态壁纸引擎发送采集结束且上传完成的确认消息后，所述动态壁纸引擎响应于所述确认消息重新构建所述播放器组件，为所述播放器组件重新绑定至所述壁纸显示表面的表面持有对象，并从所述播放器组件上次暂停时的播放位置恢复视频解码与渲染操作，同时恢复向所述服务端发起的周期性视频资源查询任务。由此，在音频采集任务彻底完成后，动态壁纸能够无缝恢复视频播放和资源更新，用户感知不到壁纸视频的中断，保证了交互完成后的视觉连续性。

9、作为本发明的一个技术方案，所述动态壁纸引擎向所述前台服务进程发送语音内容查询指令时，经由跨进程通信接口将所述语音内容查询指令传递至所述前台服务进程，所述前台服务进程响应于所述语音内容查询指令调用网络请求模块向服务端查询与当前宠物标识对应的最新语音内容网络地址，并将所述最新语音内容网络地址返回至所述动态壁纸引擎。

10、进一步的，所述前台服务进程将所述最新语音内容网络地址返回至所述动态壁纸引擎后，所述动态壁纸引擎将所述最新语音内容网络地址传递给所述前台服务进程中运行的音频播放器实例，所述音频播放器实例从所述最新语音内容网络地址拉取语音音频数据并通过扬声器硬件输出，在所述音频播放器实例输出语音音频数据期间，所述动态壁纸引擎维持自身的视频播放组件对壁纸视频的持续解码与渲染操作，且所述前台服务进程不请求系统音频焦点。这样，播放查询到的语音内容时，壁纸视频保持正常渲染，并不会因为语音播放而抢断其他应用音频焦点或导致壁纸视频播放异常，实现了语音播报与动态壁纸视效的并行呈现，用户体验流畅统一。

11、本发明还提供一种动态壁纸上的分区手势与语音交互系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述动态壁纸上的分区手势与语音交互方法。该系统能够在动态壁纸这一入口上实现分区手势与语音采集、语音内容获取的深度融合，整体交互高效、资源协调合理，显著提升用户操作便捷性和功能可用性。

12、在上述技术方案中，本发明提供的技术效果和优点：

13、将动态壁纸的可见显示区域纵向划分为上半交互区域和下半交互区域，并依据触摸坐标信息落入的区域和双击手势类型分别触发音频采集启动指令和语音内容查询指令。通过上半交互区域的双击手势启动音频采集，下半区域的双击手势启动语音内容查询，用户无需离开壁纸显示界面或切换到其他应用，即可在壁纸表面通过触碰不同区域的双击实现两种不同语音交互功能的快速触发。分区手势的映射关系简洁直观，减少了交互过程中的误操作概率，使动态壁纸的交互维度从单一的视觉展示扩展到兼具语音输入和语音内容获取的多通道交互。在触摸坐标信息落入上半交互区域且手势为双击时，动态壁纸引擎向前台服务进程发送音频采集启动指令，前台服务进程独立于动态壁纸引擎运行并创建音频采集器实例进行音频数据帧采集。前台服务进程与壁纸引擎分离的架构使音频采集操作不受壁纸引擎自身播放状态的影响，避免在壁纸进程内部直接启动音频采集时因音频硬件资源被壁纸视频播放器组件占用而导致的冲突。动态壁纸引擎在接收到前台服务进程返回的音频采集已启动确认消息后，暂停当前壁纸视频播放器组件的解码操作并释放播放器组件占用的音频硬件资源，同时保持壁纸显示表面的表面持有权归属于动态壁纸引擎，并在壁纸显示表面上持续渲染预设的静态占位图像。释放音频硬件资源后，前台服务进程能够独立无冲突地使用麦克风硬件完成音频采集，壁纸显示表面不因暂停视频解码而失去画面，通过静态占位图像维持界面完整性，用户感知到的仅是壁纸画面从动态视频切换为静态图像，视觉连续性得到保留，且避免了动态壁纸退出导致的壁纸应用被系统回收的风险。

14、在音频采集结束后，前台服务进程将采集的音频数据封装上传，并向动态壁纸引擎发送采集结束且上传完成的确认消息，动态壁纸引擎据此重新构建播放器组件，恢复视频解码与渲染操作。音频采集期间暂停视频解码并释放音频硬件资源，采集完成后重新构建播放器组件并从暂停位置恢复播放，使得动态壁纸在音频采集任务完成后能够无缝接续之前的视频播放进度，避免重新加载或从头播放带来的突兀感。对于下半交互区域双击触发的语音内容查询，动态壁纸引擎向前台服务进程发送语音内容查询指令，前台服务进程查询最新语音内容网络地址并返回，由前台服务进程中的音频播放器实例拉取语音音频数据并通过扬声器输出，播放期间动态壁纸引擎维持自身视频播放组件对壁纸视频的持续解码与渲染操作，前台服务进程不请求系统音频焦点。语音内容播放与壁纸视频播放并行进行，壁纸视频的声音不被中断或覆盖，两种音频输出共存于各自独立的音频轨道上，实现动态画面与语音提示的同时呈现，避免了因抢夺音频焦点造成的播放断续或静音问题，提升了动态壁纸作为信息承载界面的复合表达能力。