一种音频处理方法及会议音频设备与流程

本技术涉及计算机应用，尤其涉及一种音频处理方法及会议音频设备。

背景技术：

1、随着智能设备和多媒体技术的不断发展，在线上沟通例如会议等场景中应用智能设备来对沟通内容进行采集录制，生成多媒体文件例如纪要文件，以便沟通结束后回顾沟通内容，且有效防止了沟通过程中，因使用个人设备进行沟通内容录制导致沟通泄露的可能性，这样，这类智能设备越来越多地被应用在日常和办公生活中。目前，这类智能设备在应用过程中，通常将采集到的用户声音信息发送至服务器后，通过服务器来进行用户声音识别，以及语音识别生成会议纪要，在此过程中，容易出现信息泄露的风险，导致用户的声音特征被不法分子获取，给用户造成较大的损失。如何降低会议纪要过程中这种信息泄露风险成为当前亟需解决的技术问题。

2、申请内容

3、为解决上述技术问题，本技术期望提供一种音频处理方法及会议音频设备，解决了目前在会议纪要生成过程中，需要将包括用户的声纹特征上传音频信息至服务器端才能进行语音识别的问题，提出了一种在音频设备本地进行语音识别，生成对应的文本内容的技术方案，由于用户的声音信息不需要上传至服务器端进行语音识别等处理，降低了用户的声音特征被泄露的风险，有效保证了用户的信息安全。

4、本技术的技术方案是这样实现的：

5、本技术提供一种音频处理方法，所述方法应用于会议音频设备，所述会议音频设备通过终端设备与远端设备进行信息交互，所述方法包括：

6、获取音频流数据；其中，所述音频流数据包括所述会议音频设备对其所处环境进行本地音频采集得到的上行音频流数据，以及所述终端设备发送的下行音频流数据；

7、基于预设处理顺序，分别对所述上行音频流数据和下行音频流数据进行语音识别，确定音频文本内容。

8、上述方案中，所述方法还包括：

9、基于本地声纹库对所述音频流数据进行声纹识别，确定所述音频文本内容对应的第一用户身份信息；

10、基于所述第一用户身份信息和所述音频文本内容，生成音频日志信息。

11、上述方案中，所述会议音频设备连接会议视频设备，所述方法还包括：

12、接收所述会议视频设备采集的视频画面；

13、基于所述视频画面和所述本地声纹库，确定所述音频文本内容对应的第一用户身份信息。

14、上述方案中，所述基于预设处理顺序，分别对所述上行音频流数据和下行音频流数据进行语音识别，得到所述音频文本内容，包括：

15、基于所述预设处理顺序，采用串行传输的方式，将所述上行音频流数据和所述下行音频流数据依次输入至第一线程进行音频流实时语音识别，得到实时文本内容；

16、输出所述实时文本内容，以使显示设备显示所述实时文本内容；其中，所述音频文本内容包括所述实时文本内容。

17、上述方案中，所述方法还包括：

18、基于所述预设处理顺序，依次分别对所述上行音频流数据和下行音频流数据进行语句分割，得到所述上行音频流数据对应的至少一条第一音频语句或所述下行音频流数据对应的至少一条第二音频语句；

19、存储所述至少一条第一音频语句至上行音频流数据存储队列，存储所述至少一条第二音频语句至下行音频流数据存储队列；

20、基于所述预设处理顺序，通过第二线程依次从所述上行音频流数据存储队列和所述下行音频流数据存储队列中获取语句进行语句识别，得到语句文本内容；其中，所述音频文本内容包括所述语句文本内容。

21、上述方案中，所述方法还包括：

22、输出所述语句文本内容，以更新所述显示设备显示的所述实时文本内容。

23、上述方案中，所述基于本地声纹库对所述音频流数据进行声纹识别，确定所述音频文本内容对应的第一用户身份信息，包括：

24、按照所述预设处理顺序，依次从所述上行音频流数据存储队列和所述下行音频流数据存储队列中获取待识别语句；

25、提取所述待识别语句的声纹特征，得到至少一个声纹特征；

26、存储所述至少一个声纹特征至声纹存储队列；

27、通过第三线程对所述本地声纹库和所述声纹存储队列进行匹配处理，得到每一待识别语句对应的所述第一用户身份信息。

28、上述方案中，所述通过第三线程对所述本地声纹库和所述声纹存储队列进行匹配处理，得到每一待识别语句对应的所述第一用户身份信息，包括：

29、若所述第三线程确定所述声纹存储队列中包括的声纹特征的数量超过第一数量，对所述声纹存储队列中的全部声纹特征进行聚类分析，得到聚类结果；

30、将所述聚类结果与所述本地声纹库中的声纹进行匹配处理，确定所述聚类结果中每一类声纹特征匹配的所述第一用户身份信息，如此得到每一所述待识别语句对应的所述第一用户身份信息。

31、上述方案中，所述显示设备包括所述会议音频设备的可触控显示屏幕，或所述终端设备，或所述远端设备包括的与所述终端设备参与同一会议的至少一个与会设备，或所述远端设备包括的至少用于提供纪要服务的云端设备。

32、上述方案中，所述方法还包括：

33、确定信息反馈模式；

34、若所述信息反馈模式为第一模式，发送所述音频日志信息至所述终端设备，以使所述终端设备上传所述音频日志信息至云端设备，进而使所述云端设备基于所述音频日志信息生成会议纪要；其中，所述云端设备属于所述远端设备；

35、若所述信息反馈模式为第二模式，发送所述音频日志信息和所述音频日志信息对应的会议音频信息至所述终端设备，以使所述终端设备上传所述音频日志信息和对应的会议音频信息至所述云端设备，进而使所述云端设备基于所述会议音频信息进行语音识别，得到校正文本信息，基于所述音频日志信息和所述校正文本信息生成会议纪要。

36、上述方案中，所述方法还包括：

37、若接收到所述终端设备发送的更新指令，基于所述更新指令，将本地声纹库中的第二用户身份信息更新为第三用户身份信息；其中，所述更新指令用于指示将所述第二用户身份信息更新为所述第三用户身份信息，所述第三用户标识信息是用户对所述终端设备上显示的所述第二用户身份信息进行修改得到的；

38、将所述音频日志信息中的所述第二用户身份信息修改为所述第三用户身份信息。

39、本技术提供一种音频处理装置，所述装置应用于会议音频设备，所述会议音频设备通过终端设备与远端设备进行信息交互，所述装置包括：获取单元和识别单元；其中：

40、所述获取单元，用于获取音频流数据；其中，所述音频流数据包括所述会议音频设备对其所处环境进行本地音频采集得到的上行音频流数据，以及所述终端设备发送的下行音频流数据；

41、所述识别单元，用于基于预设处理顺序，分别对所述上行音频流数据和下行音频流数据进行语音识别，确定音频文本内容。

42、本技术提供一种会议音频设备，所述设备至少包括：麦克风、扬声器、存储器、处理器和通信总线；其中：

43、所述麦克风，用于对所述会议音频设备所处环境进行本地音频采集，得到上行音频流数据；

44、所述扬声器，用于播放获取的音频流数据；

45、所述存储器，用于存储可执行指令；

46、所述通信总线，用于实现所述麦克风、所述扬声器、所述处理器和所述存储器之间的通信连接；

47、所述处理器，用于执行所述存储器中存储的信息处理程序，实现如上述任一项所述的音频处理方法的步骤。

48、本技术提供一种存储介质，所述存储介质上存储有信息处理程序，所述信息处理程序被执行时用于实现如上述任一项所述的音频处理方法的步骤。

49、本技术实施例提供了一种音频处理方法及会议音频设备，通过会议音频设备获取音频流数据后，会议音频设备基于预设处理顺序，分别对上行音频流数据和下行音频流数据进行语音识别，确定音频文本内容。这样，通过在音频设备本地进行语音识别，并生成对应的音频文本内容的音频日志信息，解决了目前在会议纪要生成过程中，需要将包括用户的声纹特征的音频信息上传至服务器端才能进行语音识别的问题，提出了一种在音频设备本地进行语音识别，生成对应的文本内容的技术方案，由于用户的声音信息不需要上传至服务器端进行语音识别等处理，降低了用户的声音特征被泄露的风险，有效保证了用户的信息安全。

技术实现思路