一种针对施工行业的信息交互方法与流程

本技术涉及人工智能，具体而言，涉及一种针对施工行业的信息交互方法。

背景技术：

1、随着人工智能技术的发展，数字人作为一种新型的人机交互形态，已被广泛应用于客服咨询、知识问答、业务办理等场景。在施工行业中，施工人员在作业现场需要及时获取技术规范、施工工艺指导、安全操作说明等多种知识信息，同时也需要观看相关的施工视频来辅助理解和学习。

2、然而，现有的数字人问答系统通常仅支持知识查询的单一交互模式，无法在同一系统中实现知识查询和视频播放控制的统一交互。在知识检索方面，现有系统通常依赖单一知识库进行检索，当该知识库中缺少与用户问题匹配的知识时，无法提供有效的检索结果。在视频播放控制方面，现有系统通常需要用户通过触屏或遥控器等物理方式进行操控，对于佩戴劳保手套或处于高处作业的施工人员而言，操作不便。因此，如何提供一种能够同时支持知识查询和视频播放控制，且具有分级检索能力的信息交互方法，是目前亟需解决的技术问题。

技术实现思路

1、为解决上述技术问题，本技术提供了一种针对施工行业的信息交互方法，以解决相关技术中数字人问答交互模式单一、知识检索依赖单一知识库导致覆盖率与响应效率不足、以及视频播放控制依赖物理操作而难以适用于不便手动操作场景的问题。

2、为实现上述技术目的，本技术提供了如下技术方案：

3、第一方面，本技术实施例提供了一种针对施工行业的信息交互方法，包括：

4、对接收到的语音数据进行语音识别，并对识别得到的文本进行意图识别，确定语音数据对应的交互意图；响应于交互意图为知识查询意图，基于文本在第一知识库中进行检索，当第一知识库的检索结果满足预设匹配条件时，将第一知识库的检索结果确定为目标检索结果，当第一知识库的检索结果不满足预设匹配条件时，基于文本在第二知识库中进行检索，将第二知识库的检索结果确定为目标检索结果，其中，第一知识库为本地部署的私有知识库，第二知识库为远程部署的共享知识库；对目标检索结果进行语音合成处理，通过数字人以语音形式向用户输出目标检索结果对应的回答信息；响应于交互意图为视频播放意图，通过命令词识别模型对文本进行命令词匹配，基于匹配得到的目标命令词执行对应的视频播放控制操作。

5、采用本实施例，能够通过意图识别将用户的语音输入区分为知识查询和视频播放两种交互模式，并采用第一知识库优先、第二知识库兜底的分级检索策略，提高知识查询的覆盖率和响应效率，同时通过命令词匹配实现语音驱动的视频播放控制，为用户提供双模式统一的信息交互能力。

6、结合第一方面，在本技术实施例的一种可选实现方式中，在对接收到的语音数据进行语音识别之前，通过长连接通信协议持续采集麦克风音频流，对麦克风音频流进行编码处理和语音端点检测；对检测到的语音片段提取音频特征，将音频特征输入唤醒模型进行唤醒判定，当唤醒判定的输出分值超过预设唤醒阈值时，确定唤醒成功并接收语音数据。

7、采用本实现方式，能够通过长连接通信协议实现持续的音频流采集，并结合语音端点检测和唤醒模型实现免触控的语音唤醒，使系统在接收到有效唤醒指令后才进入语音识别流程，避免环境噪声的干扰。

8、结合第一方面，在本技术实施例的一种可选实现方式中，对识别得到的文本进行意图识别，确定语音数据对应的交互意图，包括：对文本进行语义分析，确定文本中是否包含预设的命令词；当文本中包含预设的命令词时，确定交互意图为视频播放意图；当文本中不包含预设的命令词时，确定交互意图为知识查询意图。

9、采用本实现方式，能够通过确定文本中是否包含预设命令词来区分交互意图类型，实现知识查询和视频播放两种模式的自动切换，无需用户手动选择交互模式。

10、结合第一方面，在本技术实施例的一种可选实现方式中，第一知识库通过如下方法构建：对目标文档进行光学字符识别，得到目标文档对应的文本数据；基于预训练语言模型对文本数据进行问答对提取和预处理，建立第一知识库。

11、采用本实现方式，能够通过光学字符识别将纸质文档或图片格式的文档转化为可检索的文本数据，并利用预训练语言模型自动提取问答对，降低知识库构建的人工成本。

12、结合第一方面，在本技术实施例的一种可选实现方式中，基于文本在第二知识库中进行检索，将第二知识库的检索结果确定为目标检索结果，包括：通过语义理解模型对文本进行语义解析，在第二知识库中进行分片检索，得到候选检索结果集合；通过重排序模型对候选检索结果集合进行二次排序，基于排序权重获取相似度最高的目标分片；将目标分片输入至语言模型进行总结处理，得到目标检索结果。

13、采用本实现方式，能够通过语义理解模型和重排序模型的两级检索策略，先从大规模知识库中快速召回候选结果，再通过精排获取最相关的目标分片，提高远程知识库检索的准确性。

14、结合第一方面，在本技术实施例的一种可选实现方式中，预设匹配条件为第一知识库的检索结果的置信度大于预设置信度阈值。

15、采用本实现方式，能够通过量化的置信度阈值确定第一知识库检索结果的可靠性，当置信度不足时自动转向第二知识库检索，实现检索策略的自适应切换。

16、结合第一方面，在本技术实施例的一种可选实现方式中，通过数字人以语音形式向用户输出目标检索结果对应的回答信息，包括：对目标检索结果进行文本预处理和分片处理，得到多个文本片段；对多个文本片段进行语音合成，生成对应的合成语音和字幕数据；基于预设的数字人形象模型对合成语音进行口型合成，将合成后的数字人形象与字幕数据同步输出至用户。

17、采用本实现方式，能够将文本检索结果通过语音合成和数字人形象渲染相结合的方式输出，实现语音、口型和字幕的多模态同步呈现，提高回答信息的可理解性。

18、结合第一方面，在本技术实施例的一种可选实现方式中，该方法还包括：对视频资源进行多级分类标签管理，其中，多级分类标签包括一级类别标签和二级类别标签，一级类别标签用于标识工程类型，二级类别标签用于标识构筑物类型；对每个视频资源添加关键字描述信息，以在命令词匹配时基于关键字描述信息提高视频检索的匹配准确度。

19、采用本实现方式，能够通过多级分类标签对视频资源进行结构化管理，并通过关键字描述信息丰富视频的检索维度，提高视频命令词匹配的准确度。

20、结合第一方面，在本技术实施例的一种可选实现方式中，基于匹配得到的目标命令词执行对应的视频播放控制操作，包括：当目标命令词为播放命令词时，验证播放命令词对应的视频索引的有效性，当视频索引有效时，加载并播放对应的视频；当目标命令词为控制命令词时，执行控制命令词对应的播放控制动作，其中，播放控制动作包括暂停播放、继续播放、全屏显示、退出全屏、视频切换、视频列表二次筛选和返回视频列表中的至少一种。

21、采用本实现方式，能够将视频命令词细分为播放命令词和控制命令词两类，并在执行播放命令时增加视频索引有效性验证，避免因无效索引导致的播放异常，同时支持多种播放控制动作，满足用户对视频播放的灵活操控需求。

22、结合第一方面，在本技术实施例的一种可选实现方式中，基于预设的数字人形象模型对合成语音进行口型合成，包括：通过目标检测模型对数字人形象模型的人脸区域进行追踪，得到人脸区域追踪结果，其中，数字人形象模型的基础形象通过三维建模生成，并通过视频帧循环渲染得到；基于人脸区域追踪结果，通过口型驱动模型根据合成语音对数字人形象模型进行口型合成。

23、采用本实现方式，能够通过目标检测模型对数字人形象的人脸区域进行追踪，并由口型驱动模型驱动口型与合成语音同步，同时以三维建模和视频帧循环渲染生成数字人基础形象，提高数字人形象的真实感和交互自然度。

24、根据本技术实施例的第二个方面，提供了一种针对施工行业的信息交互装置。该装置包括：意图识别单元，用于对接收到的语音数据进行语音识别，并对识别得到的文本进行意图识别，确定语音数据对应的交互意图；知识检索单元，用于响应于交互意图为知识查询意图，基于文本在第一知识库中进行检索，当第一知识库的检索结果满足预设匹配条件时，将第一知识库的检索结果确定为目标检索结果，当第一知识库的检索结果不满足预设匹配条件时，基于文本在第二知识库中进行检索，将第二知识库的检索结果确定为目标检索结果，其中，第一知识库为本地部署的私有知识库，第二知识库为远程部署的共享知识库；回答输出单元，用于对目标检索结果进行语音合成处理，通过数字人以语音形式向用户输出目标检索结果对应的回答信息；视频控制单元，用于响应于交互意图为视频播放意图，通过命令词识别模型对文本进行命令词匹配，基于匹配得到的目标命令词执行对应的视频播放控制操作。

25、采用本实施例，能够通过意图识别单元区分知识查询和视频播放两种交互意图，知识检索单元基于分级检索策略提高知识查询的覆盖率，回答输出单元通过数字人实现多模态信息输出，视频控制单元通过命令词匹配实现语音驱动的视频控制，为用户提供统一的信息交互能力。

26、上述第二方面及其各可选实现方式所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

27、第三方面，本技术提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的信息交互方法。

28、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述任一项所述的信息交互方法。

29、第五方面，本技术实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；所述计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的信息交互方法。

30、从上述技术方案可以看出，本技术提供了一种针对施工行业的信息交互方法，该方法包括：对接收到的语音数据进行语音识别并进行意图识别，确定交互意图；响应于知识查询意图，采用第一知识库优先、第二知识库兜底的分级检索策略确定目标检索结果，并通过数字人以语音形式输出回答信息；响应于视频播放意图，通过命令词匹配执行视频播放控制操作。本技术能够将知识查询与视频播放控制统一到同一语音交互入口，提升知识查询的覆盖率与响应效率，并实现语音驱动的免手动视频控制，适用于佩戴劳保手套、高处作业等不便手动操作的场景。