一种基于异构多核的双模式检索增强语音交互方法及系统与流程

本发明涉及语音交互，尤其涉及一种基于异构多核的双模式检索增强语音交互方法及系统。

背景技术：

1、智能语音交互技术快速发展，为办公、教育等场景提供了便利。现有技术方案普遍采用异构处理器进行基础的分工协作，并通过上层操作系统的软件调度机制，实现设备在离线录音与在线问答等功能模式间的切换。音频采集与处理任务多依赖单核处理器或同构多核的通用任务调度，数据缓冲通常采用静态预分配的环形缓冲区。同时，检索增强生成（rag）技术已被部分系统采纳，用于从固定的云端公共知识库中检索信息，以增强在线问答的准确性。

2、然而，这些通过软件层统一调度资源、使离线数据与云端知识库独立运作的技术路径，在需要高隐私、高可靠性及深度数据融合的应用场景下，仍存在以下亟待解决的根本性缺陷：1）现有rag方案多面向固定公共知识库，无法将用户离线产生的私有、动态会议记录转化为可检索利用的向量知识，造成数据孤岛，导致个人历史数据无法赋能在线智能问答；2）模式切换依赖软件调度，所有硬件外设需先行上电再由系统软关闭，产生冗余功耗峰值，且这种软件层隔离并不彻底，存在后台唤醒导致的隐私泄露风险；3）在低功耗离线录音场景下，高保真音频写入与存储卡i/o阻塞存在根本矛盾，传统单核或任务调度架构无法解决，导致长时间录音必然丢帧，破坏后续数据挖掘的基础。4）现有低功耗方案通过状态机管理降低功耗，但待机时仍需维持主处理器或复杂监听电路的运行，无法满足超长续航需求。故亟需一种能解决上述问题的语音交互方法及系统。

技术实现思路

1、针对现有技术中所存在的不足，本发明提供了一种基于异构多核的双模式检索增强语音交互方法及系统，其解决了现有技术中存在的离线录音数据与在线知识库相互孤立导致的数据孤岛问题。

2、根据本发明的实施例，一种基于异构多核的双模式检索增强语音交互方法，包括以下步骤：

3、s1：通过物理按键触发ulp协处理器中断，基于所述ulp协处理器修改rtc内存中的模式标志位，生成切换信号；

4、s2：异构多核处理器在启动引导阶段读取所述模式标志位，并执行对应的硬件初始化流程，将系统配置为数据库工作模式或知识库工作模式；

5、s3：当系统配置为数据库工作模式时，所述异构双核处理器对采集的音频信号进行实时音频处理，将处理后的纯净音频帧加密后存储于存储设备，并进一步将音频或转换后的文本数据生成带语义标签的向量化数据，存储于第一向量数据库；

6、当系统被配置为知识库工作模式时，接收用户查询，通过检索增强双通道检测并行地从所述第一向量数据库和第二知识库中检索相关信息片段；

7、将来自所述第一向量数据库的私有信息片段与来自所述第二知识库的通用知识片段进行加权融合，形成增强提示信息，并将所述增强提示信息输入大语言模型，得到最终回答。

8、进一步地，所述硬件初始化流程包括：

9、若为数据库工作模式，则初始化i2s接口、麦克风阵列驱动和aes加密模块，所述麦克风阵列驱动配置为支持多通道同步采样以进行波束成形，所述aes加密模块配置为硬件加速的aes-256加密模式；

10、若为知识库工作模式，则初始化wi-fi驱动和向量数据库接口，所述wi-fi驱动用于建立网络连接，所述向量数据库接口用于适配云端向量检索服务。

11、进一步地，所述异构多核处理器包括第一处理器核和第二处理器核，双核间通过共享环形缓冲区进行数据交互，其中：

12、所述第一处理器核为实时控制核，绑定i2s接口，对所述音频信号进行实时进行信号增强与多源分离预处理，并将处理得到的带标签音频数据写入所述共享环形缓冲区；

13、所述第二处理器核为应用核，通过异步读取所述共享环形缓冲区中的数据流，调用aes硬件加速器进行加密与数据库管理。

14、进一步地，所述信号增强采用延迟-求和波束成形算法，配置为动态调整波束指向角以跟踪声源方向；

15、所述多源分离预处理包括语音活动检测和说话人分离，其中，所述语音活动检测用于区分语音段与非语音段，所述说话人分离用于为不同说话人的语音段附加说话人标签。

16、进一步地，所述aes硬件加速器加密过程与音频帧写入向量数据库过程并行执行；

17、所述aes硬件加速器配置为流水线化加密单元；

18、所述第一向量数据库配置为支持按时间戳及说话人标签进行索引的向量存储结构。

19、进一步地，所述共享环形缓冲区的容量根据存储设备最大物理阻塞延时动态分配，所述共享环形缓冲区的最小容量需满足：

20、；

21、其中，为共享环形缓冲区的最小容量，为音频采样率，为采样位宽对应的字节数，为音频通道数，为存储设备的最大写入阻塞延时。

22、进一步地，所述检索增强双通道检测包括：

23、基于所述大语言模型输出的token条件概率分布，计算生成序列的平均负对数概率；

24、知识匹配度计算：计算生成文本的句级嵌入与检索知识片段的token级嵌入之间的最大余弦相似度平均值；

25、融合决策：根据所述平均负对数概率与所述最大余弦相似度平均值构建决策矩阵，输出幻觉类型与处理策略。

26、进一步地，所述加权融合包括：

27、统计所述第一向量数据库中与用户查询相似度超过基础阈值的知识片段数量，计算知识库覆盖率；

28、基于所述知识库覆盖率与预设的领域基准值，通过加权线性组合生成动态筛选阈值；

29、根据所述动态筛选阈值从第一向量数据库中检索私有会议纪要片段，并与第二知识库检索出的通用知识片段进行组合。

30、另一方面，根据本发明实施例，还提供了一种基于异构多核的双模式检索增强语音交互系统，所述系统用于实现如上述方面中任一项所述的一种基于异构多核的双模式检索增强语音交互方法，包括：

31、模式切换硬件单元，包括物理按键、ulp协处理器及rtc内存；所述物理按键连接所述ulp协处理器的中断引脚，所述ulp协处理器连接所述rtc内存，用于响应按键中断修改存储于rtc内存中的模式标志位；

32、异构多核处理器，包括第一处理器核和第二处理器核；所述异构多核处理器连接所述rtc内存，被配置为在启动引导阶段读取所述模式标志位，并根据其值选择执行数据库工作模式或知识库工作模式；

33、音频采集与处理单元，在所述数据库工作模式下被启用，连接所述第一处理器核，用于采集音频信号；

34、第一向量数据库，连接所述异构多核处理器，用于存储在数据库工作模式下生成的带语义标签的音频或文本数据的向量化表示；

35、第二知识库，在所述知识库工作模式下被启用，用于存储通用知识数据；

36、检索增强生成单元，在所述知识库工作模式下被启用，连接所述第一向量数据库和所述第二知识库，用于根据用户查询从两者中并行检索信息片段，并将结果组合后形成增强提示信息；

37、大语言模型，与所述检索增强生成单元连接，用于接收所述增强提示信息并生成回答。

38、进一步地，所述系统还包括可微分修正模块，以知识对齐度为目标函数，对所述大语言模型的隐状态求导，通过梯度反向调整高风险token的概率分布，重新生成修正片段，并通过修正效果验证循环直至对齐度高于设定阈值。

39、本发明的技术原理为：利用ulp与rtc内存实现物理按键触发的硬件级模式切换，在启动阶段根据标志位彻底初始化不同外设，实现离线与在线模式的物理隔离。离线模式下，异构双核通过动态容量的共享环形缓冲区协同，第一核实时处理音频，第二核异步加密存储，确保高保真录音零丢帧；在线模式下，系统并行检索本地私有向量库与云端公共知识库，并通过双通道预检测评估风险，利用动态阈值融合策略将私有历史与公共知识深度融合，最终输入大语言模型生成精准、个性化的回答。

40、相比于现有技术，本发明具有如下有益效果：

41、1、本发明通过将离线模式下生成的私有向量数据库与云端公共知识库并行检索并加权融合，其解决了现有检索增强生成方案无法利用本地私有动态数据，造成数据孤岛的技术问题，实现了个性化、精准化智能问答的效果；

42、2、本发明采用超低功耗协处理器和rtc内存实现的硬件级模式感知与切换机制，并在启动阶段执行分立的硬件初始化，其解决了软件调度模式切换存在冗余功耗、延迟及隐私泄露风险的技术问题，实现了物理级彻底隔离、极低待机功耗，保障绝对隐私。

43、3、在数据库工作模式下，采用异构双核架构与根据存储卡阻塞延时动态分配容量的共享环形缓冲区，解决了低功耗硬件在长时间高保真录音时，因i/o阻塞导致的音频数据丢帧问题，确保原始音频数据完整性。

44、4、本发明在深度休眠时仅维持ulp协处理器与rtc内存运行，将系统整体待机功耗降至极低水平（低于5μa），其解决了现有方案待机时主处理器或监听电路仍需运行导致的高功耗，显著延长设备续航时间。