一种终端设备及语义理解方法与流程

本技术涉及终端设备，尤其涉及一种终端设备及语义理解方法。

背景技术：

1、终端设备是指能够实现特定功能的设备，可以是智能电视、通信终端、智能广告屏、投影仪、打印机、扫描仪等设备。以智能电视为例，智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

2、终端设备可支持语音交互功能，用户可通过自然语言指令控制终端设备完成频道切换、音量调节、家电控制、媒资搜索等多种业务领域的操作。终端设备需要准确理解用户的自然语言指令，并将其转换为设备可执行的设备指令。

3、现有的语义理解方案通常采用单一模型处理所有业务领域的自然语言指令。但在实际应用中，用户的自然语言指令通常涉及多个不同的业务领域，例如电视控制、智能家居设备控制、媒体内容搜索等。不同业务领域之间存在语义重叠和意图混淆的问题。例如，自然语言指令“调大”在电视控制领域可能表示增大音量，而在空调控制领域可能表示升高空调温度。单一模型难以有效区分这些跨领域的语义差异，导致意图识别准确率下降，从而影响终端设备对用户指令的正确执行。

4、并且，当用户的自然语言指令涉及多个设备时，例如同时控制洗衣机和电视，需要准确识别出涉及到的多个设备，并将最终生成的设备指令正确路由至相应的设备执行。单一模型在处理此类跨设备场景时，易因意图识别准确率低导致指令路由混乱的问题，降低用户体验。

技术实现思路

1、本技术提供一种终端设备及语义理解方法，以解决多业务领域场景下意图识别准确率低的问题。

2、第一方面，本技术提供一种终端设备，包括：

3、通信装置，被配置为与至少一个外部设备通信连接；

4、控制器，被配置为：

5、获取用户输入的自然语言文本；

6、将所述自然语言文本输入意图分类模型，对所述自然语言文本进行意图分类，得到所述意图分类模型输出的所述自然语言文本对应的目标领域类别和目标设备标识；所述目标设备标识用于表征目标设备；所述目标设备为所述终端设备或所述外部设备；

7、在预设的多个领域适配器中确定与所述目标领域类别对应的目标领域适配器，并将所述目标领域适配器挂载至基座模型；其中，所述多个领域适配器共享所述基座模型，所述领域适配器为对所述基座模型进行参数微调训练得到的微调分支；所述基座模型为预训练的多语言大模型；

8、将所述自然语言文本输入挂载有所述目标领域适配器的所述基座模型，对所述自然语言文本进行意图识别和槽位抽取，得到所述基座模型输出的所述自然语言文本对应的原始槽位信息；所述原始槽位信息为表征用户意图的参数信息；

9、将所述原始槽位信息映射为所述目标设备对应的设备指令；

10、若所述目标设备标识表征的所述目标设备为所述终端设备，则执行所述设备指令；

11、若所述目标设备标识表征的所述目标设备为所述外部设备，控制所述通信装置向所述外部设备发送所述设备指令。

12、上述技术方案具有以下有益效果或优点：

13、通过设置意图分类模型对用户输入的自然语言文本进行初步意图分类，输出目标领域类别和目标设备，再从多个领域适配器中匹配并挂载对应领域的目标领域适配器，通过挂载有目标领域适配器的基座模型进行意图识别和槽位抽取，得到原始槽位信息，并将原始槽位信息映射为目标设备对应的设备指令，根据目标设备的不同直接执行或发送设备指令。本实施例通过意图分类模型实现领域级别的粗粒度分类，再通过领域适配器实现领域内的细粒度意图识别和槽位抽取，形成两级处理架构，解决多业务领域场景下意图混淆的问题，提高意图识别的准确性。同时，多个领域适配器共享同一个基座模型，可避免为每个业务领域独立部署大模型所带来的资源浪费，降低显存占用与计算开销。此外，通过区分目标设备为终端设备或外部设备，可实现跨设备场景下的指令正确路由和并行下发，满足智能家居及物联网领域的多设备联动需求。

14、在本技术的一些实施例中，所述控制器将所述原始槽位信息映射为所述目标设备对应的设备指令，具体被配置为：

15、确定所述原始槽位信息中的槽位名和槽位值；其中，所述槽位名用于表征所述用户意图的参数类别，所述槽位值用于表征所述参数类别对应的具体参数内容，所述参数类别包括操作对象或操作属性；

16、根据所述槽位名和所述槽位值确定槽位类型；

17、按照所述槽位类型对应的归一化路径对所述槽位值进行归一化处理，得到标准槽位值；

18、将所述槽位名映射为所述目标设备对应的目标终端指令字段；

19、基于所述目标终端指令字段和所述标准槽位值，生成所述目标设备对应的设备指令。

20、上述技术方案具有以下有益效果或优点：

21、原始槽位信息包括槽位名和槽位值。可根据槽位名和槽位值确定槽位类型，按照槽位类型对应的归一化路径对槽位值进行归一化处理，得到标准槽位值，再将槽位名映射为目标设备对应的目标终端指令字段，最后基于目标终端指令字段和标准槽位值生成设备指令。本实施例通过对原始槽位值进行分类并按照对应的归一化路径进行处理，将用户自然语言中格式不统一、单位混杂、表述多样的原始槽位值转换为标准化的标准槽位值，解决原始槽位值无法直接适配不同品牌、不同协议的设备指令格式要求的问题，使得语义理解结果可直接适配具体终端指令格式，提高系统的通用性和兼容性。

22、在本技术的一些实施例中，所述控制器根据所述槽位名和所述槽位值确定槽位类型，具体被配置为：

23、若所述槽位名属于时间相关字段，或所述槽位值匹配预设的时间正则表达式，则确定所述槽位类型为时间类；

24、若所述槽位名属于数值相关字段，或所述槽位值匹配预设的数字加单位正则表达式，则确定所述槽位类型为数值类；

25、若所述槽位名不属于数值相关字段和时间相关字段，则确定所述槽位类型为名称类。

26、上述技术方案具有以下有益效果或优点：

27、通过槽位名所属字段类型与槽位值正则表达式匹配相结合的方式，将槽位类型划分为时间类、数值类与名称类三类，实现槽位类型的自动判别与分类。

28、在本技术的一些实施例中，所述控制器按照所述槽位类型对应的归一化路径对所述槽位值进行归一化处理，得到标准槽位值，具体被配置为：

29、若所述槽位类型为时间类，则将所述槽位值转换为标准时间格式，得到所述标准槽位值；

30、若所述槽位类型为数值类，则将所述槽位值转换为标准数值和标准单位，得到所述标准槽位值；

31、若所述槽位类型为名称类，则将所述槽位值映射为标准实体值，得到所述标准槽位值。

32、上述技术方案具有以下有益效果或优点：

33、针对时间类、数值类和名称类三种不同的槽位类型，分别采用时间格式转换、数值单位转换和标准实体映射三种差异化的归一化路径对槽位值进行处理，实现对不同类型槽位值的标准化处理，使各类槽位值均能得到针对性的规整处理，输出的标准槽位值具备统一的数据格式与明确的语义含义。

34、在本技术的一些实施例中，所述控制器将所述槽位值映射为标准实体值，具体被配置为：

35、获取标准实体知识库表；所述标准实体知识库表包括标准实体值与别名的映射关系；所述别名包括多语言表述、简称、俗称和错误拼写中的至少一种；

36、在所述标准实体知识库表中查找与所述槽位值相同的第一别名，将所述槽位值映射为所述第一别名对应的标准实体值。

37、上述技术方案具有以下有益效果或优点：

38、通过构建标准实体知识库表，将用户自然语言中可能出现的多种表述形式（包括多语言表述、简称、俗称、拼写错误等）统一映射到标准实体值。通过在标准实体知识库表中查找与槽位值相同的别名，将槽位值映射为该别名对应的标准实体值，能够有效处理用户口语表达中的名称变体，提升实体名称识别的容错能力与标准化程度，减少因用户表述不规范导致的实体匹配失败问题。

39、在本技术的一些实施例中，所述控制器还被配置为：

40、若所述标准实体知识库表中不存在所述第一别名，则计算所述槽位值与所述标准实体知识库表中各所述别名之间的编辑距离或字符串相似度，确定所述编辑距离小于预设距离或所述字符串相似度大于预设第一相似度阈值的第二别名，将所述槽位值映射为所述第二别名对应的标准实体值；

41、若所述标准实体知识库表中不存在所述第二别名，则将所述标准实体知识库表中各别名编码为别名向量，将所述槽位值编码为槽位向量，计算所述槽位向量与各所述别名向量之间的余弦相似度，确定所述余弦相似度大于预设第二相似度阈值的第三别名，将所述槽位值映射为所述第三别名对应的标准实体值。

42、上述技术方案具有以下有益效果或优点：

43、构建精确匹配、编辑距离或字符串相似度匹配、向量余弦相似度匹配的三级递进式实体匹配机制。当一级精确匹配未命中时，进一步采用编辑距离或字符串相似度匹配进行回退处理，若仍未命中则采用向量检索进行二次回退处理。该三级匹配机制在保证高置信度匹配结果准确性的同时，有效提升实体匹配的召回率，能够应对拼写错误程度较高、语义相近但字面差异较大等复杂变体情况，进一步增强名称类槽位归一化的鲁棒性。

44、在本技术的一些实施例中，所述控制器还被配置为：

45、获取槽位名终端指令映射表；所述槽位名终端指令映射表以业务领域类别、设备类型和槽位名为三维索引，存储对应的终端指令字段、字段类型和值传递方式；所述终端指令字段用于表征所述设备类型对应的可识别的指令参数名称；所述字段类型用于表征所述终端指令字段的数值类型；所述值传递方式用于表征将所述标准槽位值赋值给所述终端指令字段的处理方式；

46、根据所述目标领域类别、所述目标设备的设备类型和所述槽位名，在所述槽位名终端指令映射表中进行三维索引检索，以确定对应的所述目标终端指令字段、字段类型和值传递方式；

47、基于所述目标终端指令字段、所述字段类型和所述值传递方式，将所述标准槽位值填充至所述目标终端指令字段，以生成所述目标设备对应的设备指令。

48、上述技术方案具有以下有益效果或优点：

49、构建以业务领域类别、设备类型和槽位名为三维索引的槽位名终端指令映射表，存储对应的终端指令字段、字段类型和值传递方式，在进行指令映射时根据三维索引检索确定目标终端指令字段、字段类型和值传递方式，并基于这些信息将标准槽位值填充至目标终端指令字段生成设备指令。可以实现槽位名到不同设备的指令字段的灵活映射，能够同时适配多业务领域、多设备类型、多槽位名的组合场景。并且槽位名终端指令映射表可支持热更新，新增设备类型或业务领域时仅需扩展映射表配置，无需修改核心解析逻辑，提升系统的可扩展性和维护便捷性。

50、在本技术的一些实施例中，所述控制器还被配置为：

51、获取上下文信息；所述上下文信息包括历史对话、设备信息、语言信息和设备状态中的至少一项；

52、根据所述自然语言文本、所述上下文信息和预设的提示词模板，构建结构化输入；

53、将所述结构化输入输入所述意图分类模型，以对所述自然语言文本进行意图分类。

54、上述技术方案具有以下有益效果或优点：

55、将历史对话、设备信息、语言信息、设备状态等上下文信息与自然语言文本相结合，按照预设提示词模板构建结构化输入后送入意图分类模型。该多维度上下文融合机制使意图分类模型能够结合对话历史、设备属性、语言环境、运行状态等多方面信息进行综合判断，提升对指代消解、多轮对话、多语言场景、设备状态约束等复杂情况的处理能力，使意图分类结果更加贴合用户实际交互场景，减少因上下文信息缺失导致的分类偏差。

56、在本技术的一些实施例中，所述领域适配器包括低秩分解矩阵，所述控制器将所述目标领域适配器挂载至所述基座模型，具体被配置为：

57、将所述目标领域适配器的低秩分解矩阵注入所述基座模型的注意力层中，并在挂载过程中保持所述基座模型的参数不变。

58、上述技术方案具有以下有益效果或优点：

59、采用低秩分解矩阵注入注意力层的方式实现领域适配器的挂载，仅需调整极少量参数即可实现领域专属的意图识别和槽位抽取能力，单个领域适配器的参数量远小于基座模型的参数量，可降低训练成本和存储开销。同时，在挂载过程中保持基座模型参数保持不变，使得多个领域适配器可以共享同一个基座模型，新增业务领域仅需训练并挂载新的领域适配器，无需改动基座模型，实现快速迭代与即插即用。

60、第二方面，本技术提供一种语义理解方法，应用于终端设备，所述终端设备与至少一个外部设备通信连接；所述方法包括：

61、获取用户输入的自然语言文本；

62、将所述自然语言文本输入意图分类模型，对所述自然语言文本进行意图分类，得到所述意图分类模型输出的所述自然语言文本对应的目标领域类别和目标设备标识；所述目标设备标识用于表征目标设备；所述目标设备为所述终端设备或所述外部设备；

63、在预设的多个领域适配器中确定与所述目标领域类别对应的目标领域适配器，并将所述目标领域适配器挂载至基座模型；其中，所述多个领域适配器共享所述基座模型，所述领域适配器为对所述基座模型进行参数微调训练得到的微调分支；所述基座模型为预训练的多语言大模型；

64、将所述自然语言文本输入挂载有所述目标领域适配器的所述基座模型，对所述自然语言文本进行意图识别和槽位抽取，得到所述基座模型输出的所述自然语言文本对应的原始槽位信息；所述原始槽位信息为表征用户意图的参数信息；

65、将所述原始槽位信息映射为所述目标设备对应的设备指令；

66、若所述目标设备标识表征的所述目标设备为所述终端设备，则执行所述设备指令；

67、若所述目标设备标识表征的所述目标设备为所述外部设备，控制所述通信装置向所述外部设备发送所述设备指令。

68、上述技术方案具有以下有益效果或优点：

69、通过设置意图分类模型对用户输入的自然语言文本进行初步意图分类，输出目标领域类别和目标设备，再从多个领域适配器中匹配并挂载对应领域的目标领域适配器，通过挂载有目标领域适配器的基座模型进行意图识别和槽位抽取，得到原始槽位信息，并将原始槽位信息映射为目标设备对应的设备指令，根据目标设备的不同直接执行或发送设备指令。本实施例通过意图分类模型实现领域级别的粗粒度分类，再通过领域适配器实现领域内的细粒度意图识别和槽位抽取，形成两级处理架构，解决多业务领域场景下意图混淆的问题，提高意图识别的准确性。同时，多个领域适配器共享同一个基座模型，可避免为每个业务领域独立部署大模型所带来的资源浪费，降低显存占用与计算开销。此外，通过区分目标设备为终端设备或外部设备，可实现跨设备场景下的指令正确路由和并行下发，满足智能家居及物联网领域的多设备联动需求。