一种基于边缘计算摄像头路由器网关低延迟语音交互方法与流程

本发明涉及智能家居及物联网通信，特别指一种基于边缘计算摄像头路由器网关低延迟语音交互方法。

背景技术：

1、随着物联网与人工智能深度融合，智能家居系统正由单品智能向全屋智能演进，语音交互因其自然性与便捷性，已成为核心人机交互方式。典型的智慧家庭局域网内部署有摄像头、路由器、网关等多类功能设备，分别承担安防监控、网络连接与数据转发、协议转换与设备管理等职能。上述设备虽物理共存于同一子网，但其硬件算力呈现显著层级差异：摄像头多搭载嵌入式低功耗soc，算力有限；路由器采用中等算力网络处理器；而网关或家庭中枢则可能配置ai加速芯片，具备相对较强的计算能力。该异构算力架构虽具备资源互补潜力，却亦为协同计算带来现实技术障碍。

2、当前，智能家居语音交互的主流实现方案可归为两类。

3、第一类为单设备独立交互方案。由单一设备独立完成从语音采集、唤醒、识别到语义理解的全链路处理，部分高端产品通过soc集成npu以运行轻量级模型。然而，受限于终端功耗与尺寸，本地算力远逊于云端，难以承载大规模深度学习模型，导致复杂语义理解、多轮对话及远场降噪等场景下性能显著不足。同时，各设备间缺乏信息共享与协同决策，同一区域内多设备并存时易引发“一呼百应”、相互干扰等异常响应，严重影响体验。

4、第二类为纯云端交互方案。终端仅负责音频采集与编码上传，由云端服务器完成自动语音识别（asr）、自然语言理解（nlu）及文本转语音（tts）等计算密集型任务，并将结果返回终端执行。该方案借助云端弹性算力可获较高识别精度，但其根本缺陷在于对公网传输的强依赖：语音数据需经多跳路由、协议封装及云端排队，端到端延迟普遍超过500ms，在网络拥塞或跨地域情形下可达数秒，远超人机交互流畅感知阈值（研究表明200ms以内为流畅，300ms以上即有明显迟滞），造成糟糕的交互体验。此外，持续音频流公网上行传输亦带来不容忽视的隐私安全风险。

5、基于上述现状，现有方案至少存在以下技术缺陷：

6、（一）交互延迟过高。云端方案受公网往返时延、云端排队及编解码耗时影响，端到端延迟难以压缩至可接受范围，即使采用websocket长连接等优化手段，亦无法消除公网物理时延瓶颈；而单设备方案因算力有限，本地推理速度缓慢，亦难以满足低延迟要求。

7、（二）语音数据传输缺乏优先级保障与自适应调整机制。语音数据与其他业务数据在同一条wi-fi链路上竞争资源，大流量场景下语音包因无优先级保障，易遭遇队列等待与丢包重传，导致延迟剧烈波动。现有服务质量（qos）机制多为静态优先级配置，无法根据语音识别的实时置信度或网络传输状态动态调整传输策略，亦无法在识别质量下降时主动调整音频编码码率以适配当前网络条件，从而影响端到端交互的稳定性和识别准确率。

8、（三）多设备协同机制缺失。家庭环境中常存在多个具备语音采集能力的设备，但现有方案缺乏统一的仲裁与协同协议，无法依据设备位置、音频信噪比、当前负载等信息动态选择最优响应节点，致使多设备同时唤醒、重复响应或误唤醒频发。

9、因此，如何提供一种基于边缘计算摄像头路由器网关低延迟语音交互方法，实现提升智慧家庭语音交互的实时性、可靠性与用户体验，成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题，在于提供一种基于边缘计算摄像头路由器网关低延迟语音交互方法，实现提升智慧家庭语音交互的实时性、可靠性与用户体验。

2、本发明提供了一种基于边缘计算摄像头路由器网关低延迟语音交互方法，包括以下步骤：

3、步骤s1：摄像头持续采集环境音频并由本地唤醒引擎检测预设唤醒词，当检测到所述唤醒词时，所述摄像头生成唤醒触发消息并发送至路由器；

4、步骤s2：所述路由器接收所述唤醒触发消息后，识别语音交互业务的业务类型，为所述语音交互业务建立优先传输通道，并将所述唤醒触发消息转发至网关，触发所述网关进入语音接收准备状态；

5、步骤s3：所述摄像头在所述唤醒词之后，将接收的语音指令音频数据按照预设分片规则切割为连续的分片数据包，各所述分片数据包包含所述语音指令音频数据的音频内容片段，并经由所述路由器的所述优先传输通道向所述网关发送；

6、步骤s4：所述网关在接收所述分片数据包的过程中，对流式到达的音频数据执行实时语音识别处理，并根据识别结果进行语义解析以生成控制指令；其中，所述网关在识别结果满足预设置信度条件时提前启动所述语义解析，实现边接收边识别边解析的流式并行处理；

7、步骤s5：所述网关根据所述控制指令执行任务操作，并将执行结果或查询获取的回复内容转换为回复音频流，经由所述路由器的所述优先传输通道推送至指定播放设备进行播放；

8、其中，所述语音交互方法的语音采集、传输、识别、语义解析及回复播报均在局域网内完成闭环，不依赖公网传输。

9、进一步的，所述步骤s2中，所述为所述语音交互业务建立优先传输通道，具体包括：所述路由器解析接收到的数据包中的业务类型标识，所述接收到的数据包至少包括所述唤醒触发消息，为归属于语音交互业务的数据流分配高于常规业务数据的传输优先级，并启用无线接入点调度机制为所述摄像头分配专属传输资源；

10、所述触发所述网关进入语音接收准备状态，包括：所述网关将语音识别模型和语义解析模型加载至高速缓存，并根据自身当前计算负载确定分片传输参数，将所述分片传输参数经由所述路由器反馈至所述摄像头，所述摄像头按照所述分片传输参数执行所述步骤s3中将语音指令音频数据切割为连续的分片数据包的操作。

11、进一步的，所述步骤s3中，所述分片数据包携带时序标识信息，所述网关根据所述时序标识信息对各分片数据包进行时序对齐和乱序重排，并依据所述时序标识信息检测丢包，对检测到的丢包触发重传机制；

12、所述摄像头在发送所述分片数据包的过程中，对所述语音指令音频数据进行端点检测，当检测到用户语音停顿超过预设时长时，自动判定语音指令结束并向所述网关发送传输结束标识。

13、进一步的，所述步骤s4中，所述预设置信度条件包括第一置信度阈值和第二置信度阈值，所述第二置信度阈值高于所述第一置信度阈值；当识别结果的置信度达到所述第一置信度阈值时，所述网关启动对当前已识别文本的语义解析并生成候选控制指令集合；当所述候选控制指令集合中某一候选指令的置信度达到所述第二置信度阈值时，所述网关将该候选指令确定为最终的控制指令。

14、进一步的，在所述识别结果的置信度达到所述第一置信度阈值但尚未达到所述第二置信度阈值期间，所述网关根据所述候选控制指令集合中的各候选指令进行并行预执行操作，生成对应的预执行结果并缓存；当所述最终的控制指令确定后，若所述最终的控制指令匹配某一预执行结果，则直接调用该预执行结果执行所述步骤s5中的任务操作。

15、进一步的，在所述步骤s4与所述步骤s5之间，所述方法还包括传输反馈调整步骤：

16、所述网关根据当前语音识别的置信度和网络传输状态生成反馈调整信号并发送至所述路由器；所述路由器根据所述反馈调整信号动态调整所述优先传输通道的传输优先级等级和向所述摄像头发送码率调整指示。

17、进一步的，所述路由器根据所述反馈调整信号动态调整所述优先传输通道的传输优先级等级，具体包括：当所述反馈调整信号指示网络拥塞加剧时，所述路由器提升所述优先传输通道的优先级等级；当所述反馈调整信号指示识别置信度持续偏低时，所述路由器向所述摄像头发送码率提升指示以提高音频编码码率。

18、进一步的，在所述步骤s1之前，所述方法还包括多设备仲裁步骤：

19、多个摄像头同时检测到所述唤醒词时，各摄像头分别将各自采集音频的音频特征信息上报至所述网关；所述网关根据所述音频特征信息从所述多个摄像头中选定一个主响应终端，并向未选中的摄像头发送抑制响应指令，由所述主响应终端执行后续步骤；

20、所述音频特征信息包括音频信噪比和声源方向角；所述网关以音频信噪比最高者为优先选定条件，或以声源方向角与预设参考方向的偏差最小者为优先选定条件。

21、进一步的，所述步骤s4中，所述对流式到达的音频数据执行实时语音识别处理之前，还包括回声消除处理：

22、所述网关获取预设时间窗口内发送至所述指定播放设备的回复音频流的参考信号，将所述参考信号与所述摄像头采集的音频信号进行比对，从所述采集的音频信号中滤除与所述参考信号相关的回声分量；

23、所述网关根据所述路由器转发的网络时延信息动态调整所述回声消除的处理参数，其中所述网络时延信息反映所述回复音频流从所述网关发送至所述指定播放设备，再经所述摄像头采集到的回路时延。

24、进一步的，所述步骤s5中，所述指定播放设备接收所述回复音频流后，对所述回复音频流进行缓冲，当缓冲数据量达到预播放阈值时开始播放，播放过程中对检测到的缺失数据包向所述路由器发起本地重传请求，由所述路由器从本地重传缓存中响应所述重传请求；

25、所述网关根据所述控制指令执行任务操作，包括：

26、若所述控制指令为设备控制类，所述网关经由所述路由器向目标物联网设备下发控制信号；

27、若所述控制指令为信息查询类，所述网关优先查询本地缓存数据，若本地缓存未命中则通过加密通道向云端发起查询请求。

28、本发明的优点在于：

29、1、通过构建一个完全在局域网内闭环的端到端处理架构，从物理路径上根除了公网传输与云端排队带来的固有延迟瓶颈，并在此基础上引入流式并行处理机制，使网关能够在音频分片数据包逐个到达的过程中边接收边识别，同时借助双置信度阈值策略提前启动语义解析与候选指令的预执行操作，将识别计算与任务执行在时间线上高度重叠，从而大幅压缩端到端响应时间；在传输层面，通过路由器为语音业务动态建立优先传输通道并实时根据网关反馈的识别置信度和网络拥塞状态自适应调整传输优先级及音频编码码率，结合分片数据包的时序对齐、丢包本地重传与播放端的缓冲预加载机制，既保障了语音流在复杂家庭wi-fi环境下的稳定可靠传输，又通过回声消除处理滤除设备自身播放音频的干扰，确保采集到的用户指令纯净度，进而提升识别准确率；同时，针对多设备共存的家庭场景，引入多设备仲裁机制依据音频信噪比和声源方向角智能选定唯一主响应终端并抑制其他设备，从根本上避免“一呼百应”和互相干扰，由此在复杂动态的家庭网络环境下为智慧家庭语音交互提供了兼具低延迟、高可靠、强抗扰性和良好人机体验的完整技术方案。

30、2、语音交互方法的语音采集、传输、识别、语义解析及回复播报均在局域网内完成闭环，不依赖公网传输；这一架构设计充分利用了家庭局域网内摄像头、路由器、网关的物理就近性，将计算密集型的语音识别与语义解析任务卸载至具备较强算力的网关设备上执行，既规避了公网物理时延瓶颈与网络拥塞导致的延迟波动，又避免了持续音频流上行公网传输所带来的隐私泄露风险，为端到端延迟压缩至人机交互流畅感知阈值以内提供了架构层面的根本保障。

31、3、在路由器侧为语音交互业务分配高于常规业务数据的传输优先级，并启用无线接入点调度机制为摄像头的语音数据分配专属传输资源；同时，网关并非被动接收数据，而是在进入语音接收准备状态时根据自身当前计算负载确定分片传输参数并反馈至摄像头，使摄像头能够按照网关的计算能力自适应地切割音频分片；这一双向适配机制既从网络传输层面保障了语音数据的低延迟通路，又从源头控制了音频数据的流入速率，有效避免了因网关计算过载而引入的处理延迟。

32、4、边接收边识别边解析的流式并行处理架构，结合基于第一置信度阈值与第二置信度阈值的分级处理机制：当识别结果达到较低的第一置信度阈值时即提前启动语义解析并生成候选控制指令集合，当某一候选指令达到较高的第二置信度阈值时即确定最终指令，且在置信度过渡期间对候选指令进行并行预执行并缓存结果；这一机制使得语音交互的处理流水线高度并行化，候选指令的预执行更使得最终指令确定后的任务响应近乎即时完成，显著压缩了从语音指令结束到任务操作执行之间的端到端时延。

33、5、构建从网关经由路由器至摄像头的反馈控制回路，网关根据当前语音识别置信度和网络传输状态生成反馈调整信号，路由器据此动态提升优先传输通道的优先级等级以应对网络拥塞加剧，或向摄像头发送码率提升指示以提高音频编码码率从而改善识别置信度持续偏低的问题；这一闭环反馈机制使系统能够在变化的网络条件和识别质量下自适应地调整传输资源分配与音频编码策略，有效抑制了因网络波动或音频质量不足导致的交互延迟抖动和识别准确率下降。

34、6、设置多设备仲裁步骤，当多个摄像头同时检测到唤醒词时，各摄像头分别将音频信噪比和声源方向角等音频特征信息上报至网关，由网关以信噪比最高者或声源方向角与预设参考方向偏差最小者为优先选定条件，从多个候选设备中选定一个主响应终端，并向未选中的摄像头发送抑制响应指令；该仲裁机制使得系统能够在多设备共存场景中智能、准确地定位最合适的声音采集设备，从根本上消除了多设备同时响应的冲突，显著提升了多设备家庭环境下的语音交互体验。

35、7、通过分片数据包携带时序标识信息，使网关能够对各分片进行时序对齐、乱序重排并触发丢包重传，同时摄像头通过端点检测自动判定语音指令结束，保障了音频数据在传输过程中的完整性与时序正确性；在网关侧获取回复音频流的参考信号并与采集音频信号进行比对，滤除与参考信号相关的回声分量，并依据网络时延信息动态调整回声消除处理参数，有效抑制了播放设备回声对语音识别的干扰；两者的结合使得即使在包含播放设备回声的复杂声学环境中，系统依然能够获得高质量的语音输入，保证了识别准确率不受影响。

36、8、构建了自适应的传输与编码调节能力；一方面，分片数据包携带时序标识，使网关能够进行乱序重排并精确触发丢包重传，同时摄像头通过端点检测自动判定语音结束，避免了尾音截断或冗余传输；另一方面，网关根据识别置信度和网络拥塞状态实时生成反馈信号，路由器据此动态提升优先通道等级或指示摄像头上调音频编码码率；这种双向闭环反馈机制，使得系统能够在网络劣化时优先保语音传输，并在识别困难时主动提升音源质量，极大地增强了系统在wi-fi干扰等复杂环境下的稳定性。

37、9、针对多设备共存的家庭或办公场景，提出多摄像头同时唤醒时的仲裁机制；网关基于音频信噪比和声源方向角，智能选定最靠近声源或拾音最清晰的设备作为主响应终端，并抑制其余设备；这一优点有效避免了“一呼百应”导致的重复识别和资源浪费；同时，引入基于网络时延动态调整参数的回声消除处理，利用发送至播放设备的参考信号滤除采集音频中的回声分量，解决了本地闭环中因麦克风与扬声器近距离耦合而产生的声学干扰，保证了输入音频的纯净度，从而提升了识别准确率。

38、10、在回复播报与任务执行层面，提出了接收端的缓冲预播放机制和本地重传缓存，播放设备在缓冲量达到阈值时才开始播放，有效消除了网络抖动引起的卡顿，且缺失数据包可从路由器本地直接重传，无需源头重发；在执行任务操作时，对控制指令进行分类处理：设备控制类直接下发至物联网设备，信息查询类则优先查询本地缓存；该优点巧妙地平衡了实时控制的高效性与信息查询的及时性，仅在本地缓存未命中时才经由加密通道访问云端，既减少了不必要的公网访问，又确保了查询类指令能够获取最新数据，体现了系统设计的周全性。