基于浏览器插件的页面语音交互方法及浏览器插件与流程
本发明涉及人机交互,尤其涉及一种基于浏览器插件的页面语音交互方法及浏览器插件。
背景技术:
1、随着数字化转型战略的深入推进,企业信息化水平日益提升。为挖掘数据价值,各类数据可视化应用应运而生,其中以浏览器页面形式运行的商业智能大屏、数据看板、管理驾驶舱等应用尤为常见,已成为企业日常运营分析和决策支撑的重要工具。
2、然而,现有的浏览器页面交互方式仍存在诸多不便。在商业大屏演示、展会展厅讲解等场景中,用户通常需要亲自使用鼠标、键盘等输入设备对页面进行操作,或者依赖助手配合控制。当演示者距离屏幕较远、双手被占用或不便于接触输入设备时,页面交互便受到限制,影响演示的连贯性和效果。此外,传统大屏页面所展示的内容往往是静态或仅按预定逻辑刷新,缺乏灵活、实时的交互能力。虽然已有方案尝试引入语音控制,但往往需要对目标页面进行二次开发以嵌入语音识别逻辑,缺乏通用性且部署周期长。或者依赖专用的外部硬件终端接收语音指令,增加了成本和部署复杂度。
技术实现思路
1、本发明所要解决的技术问题是提供一种基于浏览器插件的页面语音交互方法及浏览器插件,以解决上述技术问题。
2、本发明解决上述技术问题的技术方案如下:一种基于浏览器插件的页面语音交互方法,包括:响应于监测到用户访问网站,判断被访问网站的地址是否属于预配置的监听网站列表;当所述被访问网站的地址属于所述预配置的监听网站列表时,在所述被访问网站的页面环境中启动语音监听;对通过语音监听采集到的音频流进行实时分析,当识别出目标唤醒关键词时,进入唤醒就绪状态;在所述唤醒就绪状态下,持续对采集到的音频流进行实时分析,当识别出目标操作关键词时,在所述被访问网站的页面中执行与所述目标操作关键词对应的页面交互指令。
3、本发明的有益效果是:本方法通过浏览器插件实现零侵入式的页面语音交互,无需对目标网页进行任何代码修改或二次开发,即可适配各类网站,具有良好的通用性和即插即用特性。采用唤醒词机制,用户仅需语音说出预设关键词即可唤醒交互功能,无需手动点击或依赖外部硬件设备,真正解放双手,特别适用于商业大屏演示等不便手动操作的场景。通过对网站地址的预配置监听,仅在指定页面自动启动语音监听,结合唤醒就绪状态下的持续性语音分析,既保证了交互的实时响应,又避免了无关页面的资源浪费,实现了低功耗与高效能的统一。
4、在上述技术方案的基础上,本发明还可以做如下改进。
5、进一步,所述在所述被访问网站的页面中执行与所述目标操作关键词对应的页面交互指令,包括:当所述目标操作关键词为脚本执行关键词时,在所述被访问网站的页面上下文中,加载并执行与所述目标操作关键词关联的脚本代码。
6、采用上述进一步方案的有益效果是:通过将语音指令与自定义脚本代码关联,无需修改页面原有逻辑即可用语音触发任意复杂的交互行为,极大地扩展了语音控制的灵活性,能够适配不同业务场景下的个性化需求。
7、进一步,所述在所述被访问网站的页面中执行与所述目标操作关键词对应的页面交互指令,包括:当所述目标操作关键词为元素操作关键词时,定位所述被访问网站页面中与所述元素操作关键词预关联的目标文档对象模型元素;触发所述目标文档对象模型元素的预设事件,或修改所述目标文档对象模型元素的视觉样式属性;其中,所述视觉样式属性包括放大、缩小、显示、隐藏、全屏中的至少一种。
8、采用上述进一步方案的有益效果是:通过直接定位页面中的dom元素,并触发其预设事件或修改其视觉样式属性,实现对图表、按钮、面板等组件的直观视觉控制,无需页面预先植入任何语音逻辑,实现零侵入式操作。
9、进一步,所述持续对采集到的音频流进行实时分析,包括:获取当前麦克风音量,并根据所述当前麦克风音量对所述音频流进行过滤处理,得到预处理音频流;按照预设的分割策略,将所述预处理音频流划分为多个音频流片段;将所述音频流片段依次发送至语音服务端进行语音识别,并接收所述语音服务端返回的识别结果。
10、采用上述进一步方案的有益效果是:通过实时获取麦克风音量对音频流进行过滤,剔除静音或低质量的无效音频段,并按照预设的分割策略将连续语音切分为独立的音频片段,从而有效减轻语音服务端的处理压力,提高识别准确性并降低网络带宽消耗。
11、进一步,所述在所述被访问网站的页面中执行与所述目标操作关键词对应的页面交互指令,包括:当所述目标操作关键词为查询关键词时,从所述识别结果中解析出与所述查询关键词对应的查询条件;将所述查询条件发送至业务服务端,请求获取查询结果数据;接收所述业务服务端返回的查询结果数据;在所述被访问网站的页面中,生成并渲染用于可视化展示所述查询结果数据的图表。
12、采用上述进一步方案的有益效果是:通过从语音识别结果中自动解析出查询条件,并发送至业务服务端获取数据,随后在页面中动态生成可视化图表,用户无需手动输入或鼠标点击,即可完成数据问答与图表展示,显著提升数据查询的便捷性和实时性,特别适用于大屏演示场景下的即问即答。
13、进一步,所述将所述音频流片段依次发送至语音服务端进行语音识别,并接收所述语音服务端返回的识别结果,包括:与所述语音服务端建立websocket连接;基于所述websocket连接将所述音频流片段依次发送至所述语音服务端,并接收所述语音服务端返回的识别结果。
14、采用上述进一步方案的有益效果是:通过与语音服务端建立websocket长连接,实现音频流片段的低延迟实时传输和识别结果的快速返回,能够保证语音交互的流畅与连贯,即使在网络条件一般的情况下也能获得良好的用户体验。
15、进一步,方法还包括:在所述唤醒就绪状态下,当识别出目标关闭关键词时,退出所述唤醒就绪状态。
16、采用上述进一步方案的有益效果是:通过识别预设的关闭关键词,用户可随时语音命令退出唤醒状态,停止对后续操作指令的响应。
17、进一步,在启动语音监听之前,还包括:获取浏览器的语音录制权限。
18、采用上述进一步方案的有益效果是:获取浏览器的麦克风使用权限,确保插件能够合法、稳定地采集用户音频数据。
19、为解决上述技术问题,本发明还提供了一种用于页面语音交互的浏览器插件,包括:
20、判断模块,用于响应于监测到用户访问网站,判断被访问网站的地址是否属于预配置的监听网站列表;
21、语音监听模块,用于当所述被访问网站的地址属于所述预配置的监听网站列表时,在所述被访问网站的页面环境中启动语音监听;
22、唤醒模块,用于对通过语音监听采集到的音频流进行实时分析,当识别出目标唤醒关键词时,进入唤醒就绪状态;
23、执行模块,用于在所述唤醒就绪状态下,持续对采集到的音频流进行实时分析,当识别出目标操作关键词时,在所述被访问网站的页面中执行与所述目标操作关键词对应的页面交互指令。
24、为解决上述技术问题,本发明还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如前所述的基于浏览器插件的页面语音交互方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com