一种融合语音识别、对话生成与数字人输出的智能客服系统的制作方法

本发明涉及计算机信息处理，尤其涉及一种融合语音识别、对话生成与数字人输出的智能客服系统。

背景技术：

1、随着人工智能技术在商业接待、门店导览、展厅讲解、前台咨询和智能客服终端中的应用，终端设备逐渐需要同时具备语音采集、语音识别、问题理解、智能回答、语音播报以及数字人视频呈现等交互能力；现有智能客服系统通常需要分别接入语音识别服务、对话生成服务、语音合成服务和数字人视频驱动服务，各类服务的通信协议、鉴权方式、数据格式和返回结果存在差异，导致终端侧需要维护多条连接和多套适配逻辑，增加了设备接入复杂度和后续维护成本。

2、在实际流式交互过程中，用户语音输入、语音识别结果、大模型流式回答、语音合成结果以及数字人视频结果之间存在连续的时序关系。若系统缺乏统一的会话管理和消息编排机制，终端重连、用户中断、网络波动或者第三方服务异步返回时，容易出现旧请求结果被误发送至新会话、不同用户会话结果串话、识别结果与后续回答不匹配等问题；同时，大模型回答通常以连续流式文本返回，如果等待完整回答后再进行播报，会增加用户首次听到回复的等待时间；如果逐字或者过短片段播报，又会造成语音表达割裂、音频频繁切换和数字人视频呈现不自然。此外，现有智能客服系统在文本、语音和数字人视频输出时，往往分别处理字幕展示、语音播报和视频驱动，缺乏统一的片段边界和片段序号关联机制，容易导致字幕、语音和数字人视频之间出现乱序、错位或者不同步的问题。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的终端接入多个异构人工智能服务复杂、流式交互中会话结果易串话且文本、语音和数字人视频输出难以同步的问题，而提出的一种融合语音识别、对话生成与数字人输出的智能客服系统。

2、为了解决现有技术存在的问题，本发明采用了如下技术方案：

3、一种融合语音识别、对话生成与数字人输出的智能客服系统，包括：

4、统一协议接入模块，用于接收终端通过单一websocket长连接发送的统一协议报文，所述统一协议报文包括接口类型、会话标识、消息序号、负载数据和视频启用标记，所述负载数据包括音频负载或者用户文本；

5、消息分发模块，用于根据所述接口类型将所述负载数据分发至语音识别模块、对话生成模块或语音合成模块；

6、会话管理模块，用于根据所述会话标识建立终端连接与语音识别连接、语音合成连接及数字人视频任务关联信息的映射，并保存当前有效消息序号；

7、语音识别模块，用于对所述音频负载进行清洗、解码和分片获得音频片段，并根据所述音频片段获得识别文本；

8、对话生成模块，用于根据所述识别文本或所述用户文本生成流式回答文本，并对所述流式回答文本进行缓存和分段，获得携带所述消息序号的语义片段；

9、语音合成模块，用于根据所述语义片段生成语音片段；

10、多模态输出模块，用于根据同一语义片段生成文本片段和语音片段，并在所述视频启用标记表示启用视频时生成数字人视频流地址，将同一语义片段对应的输出结果绑定相同片段序号；

11、结果校验模块，用于在所述输出结果回传前校验所述输出结果携带的消息序号与所述当前有效消息序号是否一致，并在一致时回传所述输出结果。

12、优选地，所述会话管理模块包括：

13、连接保存单元，用于根据所述会话标识保存终端连接对象；

14、重复接入处理单元，用于在检测到相同会话标识再次接入时关闭已保存的终端连接，并将新终端连接保存为当前终端连接；

15、消息序号更新单元，用于在终端重连或者用户中断接收时更新所述当前有效消息序号；

16、过期结果过滤单元，用于将携带的消息序号与所述当前有效消息序号不一致的识别结果、语音片段或者数字人视频流地址丢弃。

17、优选地，所述语音识别模块包括：

18、音频清洗单元，用于去除所述音频负载中的音频数据前缀、空格和换行字符，获得清洗音频数据；

19、音频解码单元，用于对所述清洗音频数据进行解码，获得音频字节流；

20、音频分片单元，用于根据采样率、位深、声道数和分段时长确定分片长度，并按照所述分片长度将所述音频字节流划分为多个音频片段；

21、分片标识单元，用于为每一音频片段配置递增序号，并对最后一个音频片段配置最终包标识；

22、识别结果转换单元，用于将根据所述音频片段得到的中间识别结果和最终识别结果转换为统一业务协议结果；

23、识别响应接收单元，用于接收语音识别服务根据所述音频片段返回的识别响应；

24、识别文本解析单元，用于从所述识别响应中解析中间识别文本、最终识别文本和最终包状态；

25、识别文本输出单元，用于在所述最终包状态表示语音识别结束时，将所述最终识别文本作为所述识别文本发送至所述对话生成模块。

26、优选地，所述消息分发模块包括：

27、识别开始分发单元，用于在所述接口类型为语音识别开始请求时，触发所述语音识别模块建立语音识别连接；

28、音频数据分发单元，用于在所述接口类型为音频数据上传请求时，将所述负载数据发送至所述语音识别模块；

29、识别结束分发单元，用于在所述接口类型为语音识别结束请求时，触发所述语音识别模块发送携带最终包标识的音频片段并释放对应语音识别连接；

30、对话分发单元，用于在所述接口类型为对话请求时，将所述识别文本或者所述用户文本发送至所述对话生成模块；

31、合成分发单元，用于在所述接口类型为语音合成请求时，将待合成文本发送至所述语音合成模块。

32、优选地，所述对话生成模块包括：

33、流式事件接收单元，用于接收对话模型连续返回的回答类事件和工具响应类事件；

34、片段缓存单元，用于将所述回答类事件中的文本内容写入片段缓存队列；

35、分段判定单元，用于在检测到分段标点、自然断句事件、由会话配置确定的无内容持续时长、由会话配置确定的最长缓存长度或者回答结束事件时，确定分段边界；

36、语义片段生成单元，用于从所述片段缓存队列中提取所述分段边界之前的文本作为语义片段，并将回答结束事件下的剩余文本作为最终语义片段；

37、知识内容保存单元，用于保存所述工具响应类事件中的知识命中内容。

38、优选地，所述多模态输出模块包括：

39、文本输出单元，用于根据所述语义片段生成文本片段，并为所述文本片段配置片段序号；

40、语音输出单元，用于接收所述语音合成模块根据所述语义片段生成的语音片段，并为所述语音片段配置与所述文本片段相同的片段序号；

41、视频输出单元，用于在所述视频启用标记表示启用视频时，将所述语音片段发送至数字人视频驱动服务，获得数字人视频流地址，并为所述数字人视频流地址配置与所述文本片段相同的片段序号；

42、回传组织单元，用于按照片段序号组织所述文本片段、所述语音片段以及在生成时的所述数字人视频流地址，获得所述输出结果。

43、优选地，所述语音合成模块包括：

44、参数读取单元，用于根据会话配置读取语种、音色和情感参数；

45、请求封装单元，用于将所述语义片段以及所述语种、音色和情感参数封装为语音合成请求；

46、音频接收单元，用于接收语音合成服务返回的音频流分片；

47、编码处理单元，用于将所述音频流分片转换为音频编码数据，并在所述音频编码数据超过由会话配置或者系统默认配置确定的发送长度时，将所述音频编码数据划分为多个编码片段。

48、优选地，所述结果校验模块包括：

49、结果标记读取单元，用于读取待回传输出结果携带的会话标识、消息序号和片段序号；

50、有效性判断单元，用于根据所述会话标识读取所述当前有效消息序号，并判断所述待回传输出结果携带的消息序号是否与所述当前有效消息序号一致；

51、结果发送单元，用于在判断结果为一致时，将所述待回传输出结果通过所述单一websocket长连接发送至终端；

52、结果丢弃单元，用于在判断结果为不一致时，停止发送所述待回传输出结果，并记录丢弃原因。

53、优选地，还包括配置与日志模块，所述配置与日志模块包括：

54、配置读取单元，用于根据会话标识、门店标识或者配置编号读取语音识别语言、语音合成音色、语音合成语种和语音合成情感参数；

55、追踪标识生成单元，用于为一次对话链路生成追踪标识；

56、日志记录单元，用于记录会话标识、追踪标识、消息序号、片段序号、用户问题、回答内容、知识命中内容、语音识别耗时、语音合成耗时、视频生成耗时和异常信息；

57、日志关联单元，用于根据所述追踪标识将同一次对话链路中的识别结果、语义片段、语音片段和数字人视频流地址进行关联；

58、权限控制单元，用于按照权限控制规则限制所述日志记录单元记录的日志内容的查阅权限。

59、优选地，还包括知识库调用模块，所述知识库调用模块包括：

60、结构化输入生成单元，用于根据用户问题、追踪标识、门店标识和用户标识生成结构化输入内容；

61、知识库选择单元，用于根据所述结构化输入内容中的门店标识或者地理意图选择对应知识库；

62、检索结果判断单元，用于将所述知识库返回的检索结果与由会话配置确定的最低匹配条件进行比较；

63、回答约束单元，用于在所述检索结果满足所述最低匹配条件时，将所述检索结果提供给所述对话生成模块，在所述检索结果不满足所述最低匹配条件时，生成转人工提示内容并提供给所述对话生成模块。

64、与现有技术相比，本发明的有益效果是：

65、1、本发明通过统一协议接入模块使终端仅通过单一websocket长连接接入服务端，并在统一协议报文中携带接口类型、会话标识、消息序号、负载数据和视频启用标记，由服务端侧的消息分发模块、语音识别模块、对话生成模块、语音合成模块和多模态输出模块完成不同人工智能能力的统一编排；终端无需分别适配语音识别服务、对话生成服务、语音合成服务和数字人视频驱动服务的异构协议，降低了终端设备的接入复杂度、协议适配成本和后续维护难度；通过会话管理模块建立终端连接与语音识别连接、语音合成连接及数字人视频任务关联信息之间的映射，并结合当前有效消息序号进行回传前校验，能够在终端重连、用户中断或异步任务迟到返回时丢弃过期结果，避免旧请求结果误发至新会话，提高了流式客服交互过程中的会话隔离性和结果可靠性。

66、2、本发明通过对语音识别结果或者用户文本生成流式回答文本，并对流式回答文本进行缓存和分段，获得携带消息序号的语义片段，使语音合成和数字人视频输出不必等待完整回答结束即可基于已形成的语义片段逐段执行，从而缩短用户首次获得回复的等待时间，并避免逐字播报造成的语义割裂和音频频繁切换；进一步地，多模态输出模块基于同一语义片段生成文本片段、语音片段以及在启用视频时生成数字人视频流地址，并将同一语义片段对应的输出结果绑定相同片段序号，使终端能够按照片段序号匹配字幕、语音和数字人视频输出，减少文本展示、语音播报和数字人视频呈现之间的乱序、错位和不同步问题，提高了智能客服系统的实时交互体验和多模态输出一致性。