基于边缘节点的语义处理方法、系统、装置及存储介质与流程

1.本技术涉及语义处理技术领域，尤其涉及一种基于边缘节点的语义处理方法、系统、装置及存储介质。


背景技术：

2.随着人工智能技术的不断发展，基于语义处理、理解的语义处理技术也发展迅速。以应用语义理解的人机交互设备为例，通过语义处理，人们可以使用更为自然的语言，更方便地完成人与机器的交互，从而达到降低人机交互设备的操作门槛，提高各项工作的效率的目的。
3.然而，相关技术中的通用语义理解服务，并不能很好地适应于各种具体的业务场景。例如医疗、金融等行业中包含大量的专用词汇，又例如一些网新媒体行业的用词更新非常快速，相关技术中的通用语义理解服务难以满足特定业务的场景化识别需求。另外，各个行业内的信息数据资产有一定的安全性和隐私性要求，这些要求通用语义处理服务也难以满足。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术提出一种基于边缘节点的语义处理方法、系统、装置及存储介质。
5.第一方面，本技术实施例提供了一种基于边缘节点的语义处理方法，所述方法由基于边缘节点的语义处理系统中的边缘节点执行，所述基于边缘节点的语义处理系统包括边缘节点和终端，所述方法包括：获取待处理语料；根据位于所述边缘节点的行业知识库和场景化语料库，对所述待处理语料进行行业特征匹配，确定语料场景；根据所述语料场景，确定行业语言模型；根据所述行业语言模型和所述待处理语料，确定第一语义结果；将所述第一语义结果返回所述终端。
6.可选地，所述基于边缘节点的语义处理系统还包括云端，所述方法还包括：根据所述行业知识库和场景化语料库，计算所述第一语义结果的第一置信度；当所述第一置信度低于预设的置信度阈值，向云端发起协同处理请求，以使云端获取补充语料，并将所述补充语料返回所述边缘节点；根据所述补充语料和所述第一语义结果，确定若干第二语义结果；根据所述行业知识库和场景化语料库，计算所述第二语义结果的第二置信度；将所述第二置信度最高的第二语义结果返回所述终端。
7.可选地，所述方法还包括：将所述补充语料加入到所述行业知识库和场景化语料库中。
8.可选地，所述以使云端获取补充语料，包括：根据预设的检索条件，以使云端在互联网中进行检索所述补充语料；其中，所述检索条件包括与所述第一语义结果发音相同。
9.可选地，所述方法还包括所述行业语言模型的构建过程，具体包括：在获取到的语料样本中随机抽取n类样本作为第一样本集，所述第一样本集中包含n类第一样本；其中，所
述第一样本集中的样本类别包括场景结果和目标主题；在每一类所述第一样本中，抽取k个实例作为第一实例集，所述第一实例集中包含k个第一实例；其中，所述实例为特征词；将抽取出来的所有第一实例作为支持集，将所述第一样本集中除所述第一实例以外的所有实例作为查询集；其中，所述支持集用于模型训练，所述查询集用于模型测试；利用所述支持集和所述查询集对所述行业语言模型进行训练和测试；在训练过程中，采用梯度权值增加的方法逐步增加所述第一实例中标记实例的权重；当训练次数达到预设的第一数量，完成对所述行业语言模型的构建；其中，n和m均为正整数。
10.第二方面，本技术实施例提供了一种基于边缘节点的语义处理系统，所述装置应用于基于边缘节点的语义处理系统中的边缘节点，所述基于边缘节点的语义处理系统包括边缘节点和终端，所述装置包括：第一模块、第二模块、第三模块、第四模块和第五模块；所述第一模块用于获取待处理语料；所述第二模块用于对所述待处理语料进行行业特征匹配，确定语料场景；所述第三模块用于根据所述语料场景，确定行业语言模型；所述第四模块用于根据所述行业语言模型和所述待处理语料，确定第一语义结果；所述第五模块用于将所述第一语义结果返回所述终端。
11.可选地，所述基于边缘节点的语义处理系统还包括云端，所述装置还包括：第六模块、第七模块、第八模块、第九模块和第十模块；所述第六模块用于根据位于所述边缘节点的行业知识库和场景化语料库，计算所述第一语义结果的第一置信度；所述第七模块用于当所述第一置信度低于预设的置信度阈值，通过云端获取补充语料；所述第八模块用于根据所述补充语料和所述第一语义结果，确定若干第二语义结果；所述第九模块用于根据所述行业知识库和场景化语料库，计算所述第二语义结果的第二置信度；所述第十模块用于将所述第二置信度最高的第二语义结果返回所述终端。
12.第三方面，本技术实施例提供了一种装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的基于边缘节点的语义处理方法。
13.第四方面，本技术实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如第一方面所述的基于边缘节点的语义处理方法。
14.本技术实施例的有益效果如下：该方法由边缘节点来执行，首先边缘节点获取到终端发来的待处理语料，并根据位于边缘节点的行业知识库和场景化语料库，对所述待处理语料进行行业特征匹配，确定待处理语料对应的语料场景；根据所述语料场景，选取对应的行业语言模型对待处理语料进行处理，生成对应于待处理语料的第一语义结果，边缘节点将该第一语义结果发送回终端，完成本次语义处理。本技术实施例提出通过行业语言模型来对待处理语料进行处理，有助于提高语义处理结果与对应行业、对应业务场景的拟合度；另外，本技术实施例的语义处理过程主要在边缘节点完成，边缘节点的设计有助于满足用户的安全性和隐私性要求，对于语义处理技术的推广有积极的作用。
附图说明
15.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
16.图1是本技术实施例提供的基于边缘节点的语义处理系统的示意图；
17.图2为本技术实施例提供的基于边缘节点的语义处理方法的步骤流程图；
18.图3为本技术实施例提供的场景结果、特征词和目标主题之间的对应关系；
19.图4为本技术实施例提供的根据第三方资源进行语义结果更新的步骤流程图；
20.图5为本技术实施例提供的基于边缘节点的语义处理系统的示意图；
21.图6为本技术实施例提供的一种装置的示意图。
具体实施方式
22.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
23.需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
24.下面结合附图，对本技术实施例作进一步阐述。
25.参考图1，图1是本技术实施例提供的基于边缘节点的语义处理系统的示意图，如图1所示，该系统100包括终端110和边缘节点120。在本技术实施例中，终端可以为任意一种能够向边缘节点提交语义处理请求的电子设备，例如手机、智能手机、个人数字助手(personal digital assistant，pda)、可穿戴设备、掌上电脑ppc(pocket pc)、平板电脑等。可以理解的是，终端可通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。终端设备可以向边缘节点提交语义处理请求，并且接收边缘节点返回的语义处理结果。
26.边缘节点可以为任意一种能够进行语义处理的电子设备，例如手机、智能手机、个人数字助手(personal digital assistant，pda)、可穿戴设备、掌上电脑ppc(pocket pc)、平板电脑等。边缘节点可以接收来自终端的语义处理请求，进行语义处理服务，并且向终端返回语义处理结果。
27.在另一些实施例中，如图1所示，本技术实施例提出的基于边缘节点的语义处理系统还包括云端130。在本技术实施例中，云端为提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。云端可以接收来自边缘节点的协同处理请求，执行对应的网络搜索服务，并且向边缘节点返回补充语料。
28.通过如图1所示的基于边缘节点的语义处理系统，可以实现本技术实施例提出的基于边缘节点的语义处理方法，该方法的具体实现过程将在以下内容中说明。
29.参照图2，图2为本技术实施例提供的基于边缘节点的语义处理方法的步骤流程图，该方法由图1所示系的基于边缘节点的语义处理系统中的边缘节点120执行，该方法包括但不限于步骤s200-s240：
30.s200、获取待处理语料；
31.具体地，边缘节点获取到需要进行语义处理的待处理语料，该待处理语料由图1中
的终端110发送。边缘节点根据终端的语义处理请求，对待处理语料进行语义处理。在本技术实施例中，待处理语料为同一个行业内的语料，语料的表现形式包括但不限于用户对话、常用指令、行业论文、行业相关新闻等等，以行业内的语料作为语义处理的训练语料，能够提高语义处理服务与本行业的拟合度，有助于提高基于边缘节点的语义处理方法的准确性。
32.s210、根据位于边缘节点的行业知识库和场景化语料库，对待处理语料进行行业特征匹配，确定语料场景；
33.具体地，不同行业一般有不同的专有名词，在语义分析的过程中，需要依赖这些名词的解释来帮助进行语义分析。因此，本技术实施例提出存储在边缘节点中的行业知识库，该行业知识库中的内容一般为对行业内专有名词的解释。例如交通运输行业，行业知识库中可以存储对“早高峰”、“事故易发路段”、“盲点”等等名词的解释。而在对语句进行语义分析时，不仅需要明确语句中一些行业专有名词的具体含义，还需要通过语句中词语的关系等等，明确该语句的意图。因此，本技术实施例还提出存储在边缘节点中的场景化语料库，通过该场景化语料库，可以对语句的具体含义进行分析。例如在汽车控制领域，当输入的语句为：“打开驾驶座车窗”，则根据本技术实施例提出的行业知识库，可以是确定“驾驶座”、“车窗”的具体含义；而通过场景化语料库，可以分析确定该语句的意图应当是打开指定的车窗，则可以确定车辆接下来需要执行的动作。
34.在本步骤中，将获得的待处理语料与行业知识库和场景化语料库进行行业特征匹配，从而确定当前待处理语料是属于哪个行业。可以理解的是，即使是同一行业内，针对不同业务的语料特征也有可能不同，因此可以根据不同业务场景，对行业内语料在进行细分，在本步骤中，行业特征匹配还可以识别出待处理语料是属于行业内的哪个业务场景，从而确定出当前待处理语料对应的语料场景。
35.在一些实施例中，行业特征匹配具体可以是先对行业知识库中的重点词或者说关键词进行标注，将待处理语料中的词语与这些关键词进行匹配，在不同的行业知识库中，与待处理语料匹配的关键词最多的行业知识库则可以代表该待处理语料所对应的行业。
36.在另外一些实施例中，可能相似行业的行业知识库的语料重合度也较高，也就是说在进行行业特征匹配的时候，相似行业可能区分度比较低，难以为待处理语料匹配到正确的行业。则在进行行业匹配时，也可以综合考虑同一关键词在不同行业知识库中的词频，在待处理语料与两个行业知识库中的关键词匹配数量相近的情况下，可以考虑通过对比关键词在不同行业知识库中的词频来确定待处理语料所在行业。
37.s220、根据语料场景，确定行业语言模型；
38.具体地，本技术实施例中的边缘节点处存储有多种行业对应的语言模型，因此，根据步骤s210确定的语料场景，可以确定对应的行业语言模型。行业语言模型是在通用语言模型的基础上添加行业特征语言属性；通用语言模型一般定义了自然语言中标记序列的概率分布，标记一般可以是词、字符或字节等。该语言模型用于对语料进行识别，并生成语义处理结果。该行业语言模型为设置于边缘节点的轻量模型，可以通过比较少的语料样本训练得到，该行业语言模型的训练方法在以下内容中说明。
39.在本技术实施例中，需要对行业语言模型进行训练。首先，考虑到一些行业的语料比较匮乏，因此采用小样本学习(few shot learning)的方法进行训练，具体是获取到该行
业的大量语料样本，并在这些语料样本中随机抽取n类样本作为第一样本集，第一样本集中包含n类第一样本；其中，第一样本集中的样本类别包括场景结果和目标主题；在每一类第一样本中，抽取k个实例作为第一实例集，第一实例集中包含k个第一实例；其中，实例为特征词；将抽取出来的所有第一实例作为支持集，将第一样本集中除第一实例以外的所有实例作为查询集；其中，支持集用于模型训练，查询集用于模型测试；利用支持集和查询集对行业语言模型进行训练和测试。参照图3，图3为本技术实施例提供的场景结果、特征词和目标主题之间的对应关系，如图3所示，该对应关系是非线性的，m为对应关系的条数，n为特征词的数量。在训练的过程中，采用梯度权值增加的方法逐步增加第一实例中标记实例的权重，标记实例是第一实例中人工标记出来的一部分，也就是人工增加图3中一部分标记的特征词的权重。增加权重的依据，可以是特征词的词频、词序列等等自定义的内容。例如，场景化的语义识别中，认为特征词的标记作用比较显著，则对于场景化识别有关键作用的特征词赋予固定的高权值，次要作用的特征词赋予较低权值，以此类推。通过梯度权值增加的方法，实现该行业语言模型支持个性化场景的语义理解的目标。当训练次数达到预设的第一数量，完成对行业语言模型的构建。
40.s230、根据行业语言模型和待处理语料，确定第一语义结果；
41.具体地，根据上述步骤s220确定的行业语言模型，对待处理语料进行处理，也就是将待处理语料输入行业语言模型，行业语言模型输出对应的语义处理结果，称为第一语义结果，第一语义结果的具体内容包括但不限于请求类型和请求结果。
42.s240、将第一语义结果返回终端；
43.具体地，边缘节点将第一语义结果返回到终端，获取到第一语义结果的终端可以根据该语义结果执行对应的服务，从而完成由终端到边缘节点，再由边缘节点到终端的整个语义处理过程。
44.参照图1，本技术实施例提供了一种基于边缘节点的语义处理系统，该系统包括终端和边缘节点。通过步骤s200-s240，本技术实施例提供了一种基于边缘节点的语义处理方法，该方法由图1所示的边缘节点来执行，首先边缘节点获取到终端发来的待处理语料，并根据位于边缘节点的行业知识库和场景化语料库，对待处理语料进行行业特征匹配，确定待处理语料对应的语料场景；根据语料场景，选取对应的行业语言模型对待处理语料进行处理，生成对应于待处理语料的第一语义结果，边缘节点将该第一语义结果发送回终端，完成本次语义处理。本技术实施例提出通过行业语言模型来对待处理语料进行处理，有助于提高语义处理结果与对应行业、对应业务场景的拟合度；另外，本技术实施例的语义处理过程主要在边缘节点完成，边缘节点的设计有助于满足用户的安全性和隐私性要求，对于语义处理技术的推广有积极的作用。
45.在一些实施例中，本技术实施例提出的基于边缘节点的语义处理方法还包括根据第三方资源进行语义结果更新的步骤，参照图4，图4为本技术实施例提供的根据第三方资源进行语义结果更新的步骤流程图，该方法包括但不限于步骤s400-s440：
46.s400、根据行业知识库和场景化语料库，计算第一语义结果的第一置信度；
47.具体地，根据待处理语料对应的行业知识库和场景化语料库，计算第一语义结果的第一置信度，第一置信度用于表征该第一语义结果与对应行业、对应业务场景的拟合程度，根据第一置信度，可以反映出第一语义结果的可靠性。
48.s410、当第一置信度低于预设的置信度阈值，向云端发起协同处理请求，以使云端获取补充语料，并将补充语料返回边缘节点；
49.具体地，上述步骤s400计算出第一语义结果的第一置信度，将该第一置信度与预先设置的置信度阈值进行对比，置信度阈值用于表征该第一语义结果可靠的所需要的最低置信度。那么可以理解的是，若第一置信度高于或等于预设的置信度阈值，说明当前第一语义结果比较可靠，则边缘节点可以将该第一语义结果直接返回终端。相反地，若第一置信度低于预设的置信度阈值，说明当前第一语义结果不够可靠，或者说，可以认为当前的行业语言模型没有对应的处理结果。
50.根据第一置信度确定当前的第一语义结果不够可靠，则边缘节点会向云端发起协同处理请求，并且接收云端发回的补充语料。由于在边缘节点中，行业知识库和场景化语料库的存储量确实是有限的，而在本技术实施例中，补充语料是指除了行业知识库和场景化语料库记载的内容以外的，同一行业内的语料。
51.而云端获取补充语料的具体方式，可以是云端在包括但不限于第三方的行业知识库和场景化语料库，或者是社交网络中进行检索，在检索中也可以切换不同的搜索引擎以期获得更全面的检索结果。而在检索时，预设的检索条件可以是与第一语义结果含有相同发音的内容，例如通过词语的整个拼音单元或者是词语发音首字母来进行检索。在另外一些实施例中，还可以基于词汇同现等信息，对于第一语义结果相似的内容进行检索。本技术实施例不对云端的检索方式和检索途径作具体限制，本技术想要说明的是，当边缘节点中的行业知识库和场景化语料库没有与第一语义结果对应的处理结果，则可以通过云端协同的方式扩大行业知识的范围，得到能够补充行业知识库和场景化语料库的补充语料。
52.s420、根据补充语料和第一语义结果，确定若干第二语义结果；
53.具体地，通过云端发回的补充语料，对第一语义结果进行补充。补充的形式可以是选取补充语料中的若干个关键文本加入第一语义结果中，从而在第一语义结果的基础上，生成若干个第二语义结果。
54.可以理解的是，若从补充语料中选取不同数量或者是不同的关键文本，添加到第一语义结果中，可以得到不同的第二语义结果，因此对应同一段补充语料和同一第一语义结果，可能会得到多个第二语义结果。
55.s430、根据行业知识库和场景化语料库，计算第二语义结果的第二置信度；
56.具体地，类似于上述步骤s400，计算步骤s420获得的若干个第二语义结果所对应的若干个第二置信度。类似于第一置信度，第二置信度用于表征该第二语义结果与对应行业、对应业务场景的拟合程度，根据第二置信度，可以反映出第二语义结果的可靠性。
57.s440、将第二置信度最高的第二语义结果返回终端；
58.具体地，在步骤s430计算得到的若干个第二置信度中选择数值最高的一个，该最高的第二置信度所对应的第二语义结果可以认为是最可靠的语义处理结果，因此，边缘节点将该第二语义结果作为本次语义处理过程的结果，返回到终端中。
59.在一些实施例中，可以将上述步骤s410获取到的补充语料补充到对应的行业知识库和场景化语料库中，在每次加入新的补充语料后，可以根据更新后的行业知识库和场景化语料库对行业语言模型进行迭代更新，从而令行业语言模型能够尽量跟上对应行业的语料更新速度，令该行业语言模型能够更好地与对应行业、对应业务场景拟合，得到置信度更
高的语义处理结果。
60.通过步骤s400-s440，本技术实施例提供了根据第三方资源进行语义结果更新的方案，对于行业语料更新比较快的行业，本技术实施例可以及时根据第三方资源对行业知识库和场景化语料库进行更新，并利用更新后的行业知识库和场景化语料库对行业语言模型进行更新，从而令行业语言模型始终与本行业的语料有较高的拟合度，有助于提高语义识别的准确度，对于不同的行业场景下的语义处理服务都有积极的作用。
61.通过以上实施例中的一个或多个，本技术实施例提出一种由边缘节点执行的语义理解方法，首先边缘节点获取到终端发来的待处理语料，并根据位于边缘节点的行业知识库和场景化语料库，对待处理语料进行行业特征匹配，确定待处理语料对应的语料场景；根据语料场景，选取对应的行业语言模型对待处理语料进行处理，生成对应于待处理语料的第一语义结果，边缘节点将该第一语义结果发送回终端，完成本次语义处理。本技术实施例提出通过行业语言模型来对待处理语料进行处理，有助于提高语义处理结果与对应行业、对应业务场景的拟合度；另外，本技术实施例的语义处理过程主要在边缘节点完成，边缘节点的设计有助于满足用户的安全性和隐私性要求，对于语义处理技术的推广有积极的作用。
62.参照图5，图5为本技术实施例提供的基于边缘节点的语义处理系统的示意图，该装置应用于基于边缘节点的语义处理系统中的边缘节点，该装置500包括第一模块510、第二模块520、第三模块530、第四模块540和第五模块550；第一模块用于获取待处理语料；第二模块用于对待处理语料进行行业特征匹配，确定语料场景；第三模块用于根据语料场景，确定行业语言模型；第四模块用于根据行业语言模型和待处理语料，确定第一语义结果；第五模块用于将第一语义结果返回终端。
63.在另一些实施例中，本技术实施例提供的基于边缘节点的语义处理系统还包括第六模块、第七模块、第八模块、第九模块和第十模块；第六模块用于根据位于边缘节点的行业知识库和场景化语料库，计算第一语义结果的第一置信度；第七模块用于当第一置信度低于预设的置信度阈值，通过云端获取补充语料；第八模块用于根据补充语料和第一语义结果，确定若干第二语义结果；第九模块用于根据行业知识库和场景化语料库，计算第二语义结果的第二置信度；第十模块用于将第二置信度最高的第二语义结果返回终端。
64.参考图6，图6为本技术实施例提供的一种装置的示意图，该装置600包括至少一个处理器610，还包括至少一个存储器620，用于存储至少一个程序；图6中以一个处理器及一个存储器为例。
65.处理器和存储器可以通过总线或者其他方式连接，图6中以通过总线连接为例。
66.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
67.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。
可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
68.本技术实施例还公开了一种计算机存储介质，其中存储有处理器可执行的程序，其特征在于，处理器可执行的程序在由处理器执行时用于实现本技术提出的基于边缘节点的语义处理方法。
69.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
70.以上是对本技术的较佳实施进行了具体说明，但本技术并不局限于上述实施方式，熟悉本领域的技术人员在不违背本技术精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。