一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

信息匹配模型的训练、信息匹配方法和装置与流程

2021-12-07 20:51:00 来源:中国专利 TAG:


1.本发明涉及计算机技术领域,尤其涉及一种信息匹配模型的训练、信息匹配方法和装置。


背景技术:

2.信息匹配即利用算法计算两条信息的相似度,在当前各类对话系统中都是非常核心的应用。比如,许多系统可以通过将问题与海量的样本进行匹配,根据匹配的结果,进行相应的应答。
3.在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
4.现有的信息匹配方法需要人力资源来维护并扩展非常多的相似问法,导致运营成本比较高。


技术实现要素:

5.有鉴于此,本发明实施例提供一种信息匹配模型的训练、信息匹配方法和装置,通过信息匹配模型完成信息匹配,而无须大量的人力资源来维护并扩展相似语句,能够有效地降低运营成本。
6.为实现上述目的,根据本发明实施例的一个方面,提供了一种信息匹配模型的训练方法,包括:
7.确定多个训练信息组,其中,所述训练信息组包括两段训练信息以及所述训练信息组的匹配标签;
8.根据所述两段训练信息,为所述训练信息组生成对应的特征得分向量;
9.利用所述特征得分向量和所述匹配标签,训练预先设置的待训练模型;
10.根据训练的结果,生成信息匹配模型。
11.优选地,为所述训练信息组生成对应的特征得分向量,包括:
12.为所述训练信息组中的所述两段训练信息计算语义特征分数;
13.计算所述训练信息组对应的实体特征分数以及属性特征分数;
14.利用所述实体特征分数、所述属性特征分数以及所述语义特征分数,生成所述训练信息组对应的特征得分向量。
15.优选地,
16.在计算所述训练信息组对应的实体特征分数以及属性特征分数之前,进一步包括:为所述训练信息中每一段所述训练信息生成对应的实体特征向量以及属性特征向量;
17.计算所述训练信息组对应的实体特征分数以及属性特征分数的步骤,包括:根据每一段所述训练信息对应的所述实体特征向量以及所述属性特征向量,计算所述训练信息组对应的实体特征分数以及属性特征分数。
18.优选地,
19.所述训练信息标注有实体标签和属性标签;
20.为所述训练信息中每一段所述训练信息生成对应的实体特征向量以及属性特征向量,包括:
21.根据所述实体标签和所述属性标签,确定所述训练信息包括的实体特征和属性特征;
22.根据预设的第一实体词典,将所述实体特征转化为对应的实体特征向量;
23.根据预设的第一属性词典,将所述属性特征转化为对应的属性特征向量。
24.优选地,为所述训练信息组中的所述两段训练信息计算语义特征分数,包括:
25.计算所述训练信息组中每一段所述训练信息对应的语义特征向量;
26.确定两段所述训练信息对应的所述语义特征向量之间的距离分数,将所述距离分数作为第一语义特征分数。
27.优选地,为所述训练信息组中的所述两段训练信息计算语义特征分数,包括:
28.根据所述训练信息组中的每一段训练信息的长度和预设长度,计算第二语义特征分数。
29.优选地,为所述训练信息组中的所述两段训练信息计算语义特征分数,包括:
30.确定所述训练信息组中的所述两段训练信息之间的最大匹配长度;
31.根据所述最大匹配长度和所述训练信息组中每一段训练信息的长度,计算第三语义特征分数。
32.优选地,所述信息匹配模型的训练方法,进一步包括:对原始训练信息进行归一化处理;
33.所述确定多个训练信息组,包括:根据归一化后的结果,确定多个训练信息组。
34.优选地,所述确定多个训练信息组,包括:
35.当接收到第一训练信息时,从预设的信息库中,为所述第一训练信息初筛出预设段数的第二训练信息;
36.针对每一段所述第二训练信息,执行:
37.利用所述第二训练信息、所述第一训练信息以及由所述第一训练信息和所述第二训练信息确定出的匹配标签,构成训练信息组。
38.第二方面,本发明实施例提供基于上述任一实施例的训练出的信息匹配模型实现的信息匹配方法,包括:
39.当接收到询问信息时,分别为所述询问信息和预设的匹配库中的多个待匹配信息生成对应的特征得分向量;
40.将所述询问信息对应的特征得分向量和所述待匹配信息对应的特征得分向量,输入所述信息匹配模型;
41.根据所述信息匹配模型确定出的匹配结果,从所述多个待匹配信息中,确定所述询问信息对应的匹配信息。
42.优选地,所述信息匹配方法,进一步包括:
43.为所述预设的匹配库构建出倒排索引;
44.利用所述倒排索引,从所述预设的匹配库中,为所述询问信息筛选出预设数量的待匹配信息;
45.为预设的匹配库中的待匹配信息生成对应的特征得分向量的步骤,包括;
46.为筛选出的所述预设数量的待匹配信息生成对应的特征得分向量。
47.优选地,分别为所述询问信息和预设的匹配库中的待匹配信息生成对应的特征得分向量的步骤,包括:
48.分别为所述询问信息和所述待匹配信息,计算对应的语义特征分数、实体特征分数以及属性特征分数;
49.利用所述实体特征分数、所述属性特征分数以及所述语义特征分数,生成对应的特征得分向量。
50.优选地,所述信息匹配方法,进一步包括:根据所述询问信息包括的实体特征和属性特征以及所述待匹配信息包括的实体特征和属性特征,分别为所述询问信息和所述待匹配信息生成对应的实体特征向量以及属性特征向量;
51.为所述询问信息计算对应的实体特征分数以及属性特征分数的步骤,包括:根据所述询问信息对应的所述实体特征向量、所述属性特征向量以及所述待匹配信息对应的实体特征向量和属性特征向量,计算所述询问信息对应的实体特征分数以及属性特征分数。
52.优选地,
53.所述待匹配信息标注有实体标签和属性标签;
54.分别为所述询问信息和所述待匹配信息生成对应的实体特征向量以及属性特征向量,包括:
55.根据所述待匹配信息标注的实体标签和所述属性标签,确定所述待匹配信息包括的实体特征和属性特征;
56.根据预设的第二实体词典,分别将所述询问信息和所述待匹配信息中的实体特征转化为对应的实体特征向量;
57.根据预设的第二属性词典,分别将所述询问信息和所述待匹配信息中的属性特征转化为对应的属性特征向量。
58.优选地,
59.所述待匹配信息配置有解答信息;
60.所述信息匹配方法进一步包括:
61.输出所述询问信息对应的匹配信息的解答信息给发起所述询问信息的用户。
62.第三方面,本发明实施例提供一种信息匹配模型的训练装置,包括:确定单元、处理单元以及训练单元,其中,
63.所述确定单元,用于确定多个训练信息组,其中,所述训练信息组包括两段训练信息以及所述训练信息组的匹配标签;
64.所述处理单元,用于根据所述确定单元确定出的训练信息组中的两段训练信息,为所述训练信息组生成对应的特征得分向量;
65.所述训练单元,用于利用所述处理单元生成的特征得分向量和所述匹配标签,训练预先设置的待训练模型;根据训练的结果,生成信息匹配模型。
66.优选地,
67.所述处理单元,用于为所述训练信息组中的所述两段训练信息计算语义特征分数;计算所述训练信息组对应的实体特征分数以及属性特征分数;利用所述实体特征分数、所述属性特征分数以及所述语义特征分数,生成所述训练信息组对应的特征得分向量。
68.第四方面高,本发明实施例提供一种信息匹配装置,包括:向量生成单元和匹配单元,其中,
69.所述向量生成单元,用于当接收到询问信息时,分别为所述询问信息和预设的匹配库中的待匹配信息生成对应的特征得分向量;
70.所述匹配单元,用于将所述向量生成单元生成的询问信息对应的特征得分向量和所述待匹配信息对应的特征得分向量,输入所述信息匹配模型;根据所述信息匹配模型确定出的匹配结果,从所述待匹配信息中,确定所述询问信息对应的匹配信息,其中,所述信息匹配模型基于上述任一实施例提供的信息匹配模型的训练方法得到。
71.上述发明中的一个实施例具有如下优点或有益效果:由于采用为训练信息组生成对应的特征得分向量和训练信息组的匹配标签,训练待训练模型,其中,特征得分向量是基于训练信息得到的,能够比较好的反映训练信息,那么,通过特征得分向量和训练信息组的匹配标签能够体现信息之间的匹配关系。基于此得到的信息匹配模型能够实现信息匹配,而无须大量的人力资源来维护并扩展相似语句,能够有效地降低运营成本。
72.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
73.附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
74.图1是根据本发明实施例的信息匹配模型的训练方法的主要流程的示意图;
75.图2是根据本发明实施例的为训练信息组生成对应的特征得分向量的主要流程的示意图;
76.图3是根据本发明实施例的为训练信息生成对应的实体特征向量以及属性特征向量的主要流程的示意图;
77.图4是根据本发明实施例的信息匹配方法的主要流程的示意图;
78.图5是根据本发明实施例的信息匹配模型的训练装置的主要单元的示意图;
79.图6是根据本发明实施例的信息匹配装置的主要单元的示意图;
80.图7是本发明实施例可以应用于其中的示例性系统架构图;
81.图8是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。
具体实施方式
82.以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
83.训练信息是指用来训练信息匹配模型的文本信息或语音信息,其一般为一个完整的语句。如a市有名的旅游景点有哪些,b地区的美食都有哪些等。
84.一个训练信息组的结构可为(训练信息1,训练信息2)。
85.训练信息组的匹配标签主要是用来表示一个训练信息组中的两段训练信息之间的匹配情况的,如果一个训练信息组中的两段训练信息之间相匹配(即两段训练信息表达
的意思相同或相似),则匹配标签表识为1,如果一个训练信息组中的两段训练信息之间不匹配(即两段训练信息表达的意思完全不同),则匹配标签表识为0。
86.图1是根据本发明实施例的信息匹配模型的训练方法,如图1所示,该信息匹配模型的训练方法可包括如下步骤:
87.s101:确定多个训练信息组,其中,训练信息组包括两段训练信息以及训练信息组的匹配标签;
88.s102:根据两段训练信息,为训练信息组生成对应的特征得分向量;
89.s103:利用特征得分向量和匹配标签,训练预先设置的待训练模型,以得到信息匹配模型。
90.其中,待训练模型可为svr支持向量回归模型。
91.其中,特征得分向量是指根据训练信息的特征计算出的特征得分组成的向量。
92.在图1所示的实施例中,由于采用为训练信息组生成对应的特征得分向量和训练信息组的匹配标签,训练待训练模型,其中,特征得分向量是基于训练信息得到的,能够比较好的反映训练信息,那么,通过特征得分向量和训练信息组的匹配标签能够体现信息之间的匹配关系。基于此得到的信息匹配模型能够实现信息匹配,而无须大量的人力资源来维护并扩展相似语句,能够有效地降低运营成本。
93.在本发明一个实施例中,如图2所示,为训练信息组生成对应的特征得分向量,可包括如下步骤:
94.s201:为训练信息组中的两段训练信息计算语义特征分数;
95.s202:计算训练信息组对应的实体特征分数以及属性特征分数;
96.s203:利用实体特征分数、属性特征分数以及语义特征分数,生成训练信息组对应的特征得分向量。
97.一般来说训练信息(语句)的特征主要包括语义特征、实体特征以及属性特征。即通过语义特征、实体特征以及属性特征能够比较准确的体现训练信息(语句),其中,而语义特征主要是用来表示训练信息所表达的语义。对于实体和属性来说,比如,针对训练信息:a市有名的旅游景点有哪些,其实体为a市,属性为旅游景点。为了方便训练待训练模型,在本发明实施例中,分别为语义特征、实体特征以及属性特征计算对应的语义特征分数、实体特征分数以及属性特征分数,因此,通过语义特征分数、实体特征分数以及属性特征分数能够比较准确的表达训练信息。
98.其中,生成训练信息组对应的特征得分向量主要是将两段训练信息得到的语义特征分数、实体特征分数以及属性特征分数拼接起来。相应地,经过拼接得到的特征得分向量一种表达方式可为(语义特征分数,实体特征分数,属性特征分数)。值得说明的是,语义特征分数,实体特征分数,属性特征分数可任意拼接形成特征得分向量(比如,另一种拼接得到的特征得分向量表达方式可为(实体特征分数,语义特征分数,属性特征分数)),只需保证用来训练同一待训练模型的多个训练信息组所对应的特征得分向量的表达方式一致。
99.通过上述过程不仅将训练信息数据化,简化了训练信息的复杂度,而且上述实体特征分数、所述属性特征分数以及所述语义特征分数能够比较真实的反映其对应的训练信息,相应地,特征得分向量也能够比较真实的反映训练信息组,不仅能够使训练能够顺利进行,而且能够保证训练结果的准确性。
100.在本发明一个实施例中,在计算训练信息组对应的实体特征分数以及属性特征分数之前可进一步包括:为训练信息中每一段训练信息生成对应的实体特征向量以及属性特征向量;相应地,计算训练信息组对应的实体特征分数以及属性特征分数的步骤,包括:根据每一段训练信息对应的实体特征向量以及属性特征向量,计算训练信息组对应的实体特征分数以及属性特征分数。
101.其中,计算训练信息组对应的实体特征分数为利用训练信息组中的两段训练信息对应的实体特征向量计算得到;
102.计算训练信息组对应的属性特征分数为利用训练信息组中的两段训练信息对应的属性特征向量计算得到。
103.可采用下述计算公式(1),分别计算实体特征分数或属性特征分数。
104.计算公式(1):
[0105][0106]
其中,当f
i
表征训练信息组i对应的实体特征分数时,a
i1
表征训练信息组i中的一段训练信息对应的实体特征向量,a
i2
表征训练信息组i中的另一段训练信息对应的实体特征向量;当f
i
表征训练信息组i对应的属性特征分数时,a
i1
表征训练信息组i中的一段训练信息对应的属性特征向量,a
i2
表征训练信息组i中的另一段训练信息对应的属性特征向量。
[0107]
通过上述过程实现了计算训练信息组的实体特征分数和属性特征分数。
[0108]
上述实体特征分数和属性特征分数一定程度上能够反映训练信息组中两段训练信息之间的匹配情况。
[0109]
在本发明一个实施例中,训练信息标注有实体标签和属性标签;相应地,如图3所示,为训练信息中每一段训练信息生成对应的实体特征向量以及属性特征向量可包括如下步骤:
[0110]
s301:根据实体标签和属性标签,确定训练信息包括的实体特征和属性特征;
[0111]
s302:根据预设的第一实体词典,将实体特征转化为对应的实体特征向量;
[0112]
s303:根据预设的第一属性词典,将属性特征转化为对应的属性特征向量。
[0113]
值得说明的是,上述步骤s302和步骤s303之间没有严格的先后顺序。
[0114]
其中,第一实体词典可以为现有的实体词典,也可以为所有训练数据组中的所有实体组成的实体词典。
[0115]
其中,第一属性词典可以为现有的属性词典,也可以为所有训练数据组中的所有属性组成的属性词典。
[0116]
实体标签和属性标签是为了能够清楚地区别出训练信息中的实体和属性,而设定的特征标记。比如,训练信息:a市有名的旅游景点有哪些,对应的实体为a市,属性为旅游景点,则可为a市标记(t),为旅游景点标记(x),还可为a市标记一种颜色,为旅游景点标记另一种颜色,以实现对实体和属性的特征标记。
[0117]
针对根据预设的第一实体词典,将实体特征转化为对应的实体特征向量具体实现方式:根据第一实体词典包括的实体个数,确定实体特征向量包括的元素个数,根据实体特征在第一实体字典中的位置,为实体特征向量中的相应位置的元素赋值1,其他元素赋值0。比如,第一实体词典包括的实体个数为50,实体特征a在第一实体词典中的位置为第50位,
则得到的实体特征向量(共50个元素):(0,0,0,
……
,1)。
[0118]
针对根据预设的第一属性词典,将属性特征转化为对应的属性特征向量具体实现方式:根据第一属性词典包括的属性个数,确定属性特征向量包括的元素个数,根据属性特征在第一属性字典中的位置,为属性特征向量中的相应位置的元素赋值1,其他元素赋值0。比如,第一属性词典包括的实体个数为30,属性特征b在第一属性词典中的位置为第10位,则得到的属性特征向量(共30个元素):(0,0,0,0,0,0,0,0,0,1,0,
……
,0)。
[0119]
在本发明一个实施例中,为训练信息组中的两段训练信息计算语义特征分数可包括六种实现方式:
[0120]
实现方式一:计算训练信息组中每一段训练信息对应的语义特征向量;确定两段训练信息对应的语义特征向量之间的距离分数,将距离分数作为第一语义特征分数。
[0121]
其中,利用下述计算公式(2),计算训练信息中的词语对应的语义特征值,并利用训练信息包括的所有词语对应的语义特征值和预设的词语词典,确定训练信息对应的语义特征向量;
[0122]
计算公式(2):
[0123][0124]
其中,y
ijk
表征训练信息组i中第j段训练信息中的词语k对应的语义特征值;w
k
表征所有的训练信息组中词语k的出现频率;n
ij
表征训练信息组i中第j段训练信息包括的总词数;z表征总的训练信息的数量;z
k
表征包括词语k的训练信息的数量。
[0125]
该预设的词语词典可由所有训练数据组所包括的词语组成,也可选用现有的词语词典。
[0126]
利用训练信息包括的所有词语对应的语义特征值和预设的词语词典,确定训练信息对应的语义特征向量具体可为,根据预设的词语词典包括的词语的总个数,确定语义特征向量的元素个数,根据训练信息中的词语在词语词典中的位置,为语义特征向量中相应位置的元素赋值该词语的语义特征值。比如,词语词典包括100个词语,一个训练信息中包括的10个词语顺序对应词语词典中的前10个词语,则该训练信息对应的语义特征向量:(y
ij1
,y
ij2


,y
ij10
,0,0,

,0)(即语义特征向量中前10个元素对应训练信息包括的词语的语义特征值,后90个为0)。
[0127]
确定两段训练信息对应的语义特征向量之间的距离分数具体实施方式可为:
[0128]
利用下述计算公式(3),计算两段训练信息对应的语义特征向量之间的距离分数;
[0129][0130]
其中,f
i
表征训练信息组i中的两段训练信息对应的距离分数,b
i1
表征训练信息组i中的一段训练信息对应的语义特征向量,b
i2
表征训练信息组i中的另一段训练信息对应的语义特征向量。
[0131]
实现方式二:根据训练信息组中的每一段训练信息的长度和预设长度,计算第二语义特征分数。
[0132]
该计算第二语义特征分数具体:每一段训练信息的长度除以预设长度,得到第二
语义特征分数。比如一段训练信息的长度是10个字,设定的最大长度是30个字,那么第二语义特征分数是0.33。
[0133]
在该实现方式中一个训练信息组包括两个第二语义特征分数,相应地,特征得分向量对应的表达方式可为(第二语义特征分数1,第二语义特征分数2,实体特征分数,属性特征分数)。
[0134]
实现方式三:确定训练信息组中的两段训练信息之间的最大匹配长度;根据最大匹配长度和训练信息组中每一段训练信息的长度,计算第三语义特征分数。
[0135]
该计算第三语义特征分数具体:利用训练信息组中的两段训练信息之间的最大匹配长度除以该训练信息组中每一段训练信息的长度。比如训练信息1长度是10个字,训练信息2长度是15个字,两个训练信息最大匹配长度是5个字,那么训练信息1对应的第三语义特征分数是0.5,训练信息2对应的第三语义特征分数是0.33。相应地,特征得分向量对应的表达方式可为(第三语义特征分数1,第三语义特征分数2,实体特征分数,属性特征分数)。
[0136]
实现方式四:实现方式一与实现方式二拼接得到,相应地,特征得分向量对应的表达方式可为(第一语义特征分数,第二语义特征分数1,第二语义特征分数2,实体特征分数,属性特征分数)。
[0137]
实现方式五:实现方式一与实现方式三拼接得到,相应地,特征得分向量对应的表达方式可为(第一语义特征分数,第三语义特征分数1,第三语义特征分数2,实体特征分数,属性特征分数)。
[0138]
实现方式六:实现方式一、实现方式二以及实现方式三拼接得到,相应地,特征得分向量对应的表达方式可为(第一语义特征分数,第二语义特征分数1,第二语义特征分数2,第三语义特征分数1,第三语义特征分数2,实体特征分数,属性特征分数)。
[0139]
在本发明一个实施例中,信息匹配模型的训练方法可进一步包括:对原始训练信息进行归一化处理;相应地,确定多个训练信息组,包括:根据归一化后的结果,确定多个训练信息组。通过上述归一化处理可以保证信息的一致性,从而进一步提高训练结果的准确性。
[0140]
其中,归一化的过程是指将几个表达同一内容或同一位置的词语转化为同一个词语,比如,词语a、词语b、词语c均表达同一内容或者同一位置,则可将词语b、词语c均转换为词语a。
[0141]
在本发明一个实施例中,确定多个训练信息组可包括:当接收到第一训练信息时,从预设的信息库中,为第一训练信息初筛出预设段数的第二训练信息;针对每一段第二训练信息,执行:利用第二训练信息、第一训练信息以及由第一训练信息和第二训练信息确定出的匹配标签,构成训练信息组。
[0142]
其中,为第一训练信息初筛出预设段数的第二训练信息可具体:利用预设的信息库的倒排索引为第一训练信息初筛出与第一训练信息最接近的预设段数的第二训练信息。该预设段数比如20段。
[0143]
通过上述过程能够有效地保证多个训练信息组对应的匹配标签分配均衡,避免匹配标签为非匹配的个数过多,以进一步保证训练结果的准确性。
[0144]
值得说明的是,训练信息组的个数一般不小于5000。
[0145]
基于上述各个实施例得到的特征得分向量和匹配标签,训练预先设置的待训练模
型的具体实施方式:为预先设置的待训练模型输入:训练集t={(x1,y1),(x2,y2),

,(x
n
,y
n
)},其中x
m
∈r
n
(x
m
表示第m个训练信息组对应的特征得分向量,r
n
表征所有训练信息组对应的特征得分向量所组成的集合),y
m
∈{0,1}(y
m
表示第m个训练信息组对应的匹配标签,0表示不匹配,1表示匹配),m=1,2,

n;输出:回归决策函数。
[0146]
其训练过程实质:通过迭代方式对svr支持向量回归模型选取适当的支持向量回归参数,构出回归决策函数。其具体迭代过程与现有的支持向量回归迭代过程一致,在此不再赘述。
[0147]
如图4所示,本发明实施例提供一种信息匹配模型实现的信息匹配方法,该信息匹配方法可包括如下步骤:
[0148]
s401:当接收到询问信息时,分别为询问信息和预设的匹配库中的多个待匹配信息生成对应的特征得分向量;
[0149]
s402:将询问信息对应的特征得分向量和待匹配信息对应的特征得分向量,输入信息匹配模型;
[0150]
s403:根据信息匹配模型确定出的匹配结果,从多个待匹配信息中,确定询问信息对应的匹配信息。
[0151]
其中,本发明实施例使用的信息匹配模型可为上述任一实施例提供的信息匹配模型的训练方法得到的。
[0152]
其中,询问信息可为文本形式,也可为语音形式的。
[0153]
预设的匹配库可以为一个问答系统所具有的数据库,在该匹配库中一般存在大量的询问信息以及与询问信息相匹配的答案。
[0154]
待匹配信息是指存储在匹配库中的任意一条信息或者从匹配库初筛出的任意一条信息。
[0155]
匹配结果一般为1或0,其中,1表征询问信息与待匹配信息相匹配(即询问信息与待匹配信息相似或相同);0表征询问信息与待匹配信息不匹配(即询问信息与待匹配信息既不相似,也不相同)。
[0156]
基于信息匹配模型实现的信息匹配,能够有效地提高信息匹配效率以及信息匹配的准确性。
[0157]
在本发明一个实施例中,信息匹配方法可进一步包括:为预设的匹配库构建出倒排索引;利用倒排索引,从预设的匹配库中,为询问信息筛选出预设数量的待匹配信息;相应地,为预设的匹配库中的待匹配信息生成对应的特征得分向量的步骤可包括:为筛选出的预设数量的待匹配信息生成对应的特征得分向量。
[0158]
通过上述倒排索引的方式为询问信息筛选出预设数量的待匹配信息,以使初筛出的待匹配信息与询问信息最为相似或接近,避免不必要的计算,从而有效地节省计算资源。
[0159]
在本发明一个实施例中,分别为询问信息和预设的匹配库中的待匹配信息生成对应的特征得分向量的步骤可包括:分别为询问信息和待匹配信息,计算对应的语义特征分数、实体特征分数以及属性特征分数;利用实体特征分数、属性特征分数以及语义特征分数,生成对应的特征得分向量。
[0160]
前面信息匹配模型的训练过程是:基于训练信息(语句)的语义特征计算出的语义特征分数、基于训练信息(语句)的实体特征计算出的实体特征分数以及基于训练信息(语
句)的属性特征计算出的属性特征分数,生成的特征得分向量,来训练信息匹配模型。基于此,在信息匹配过程,分别为询问信息和待匹配信息,计算对应的语义特征分数、实体特征分数以及属性特征分数;利用实体特征分数、属性特征分数以及语义特征分数,生成对应的特征得分向量,以使基于信息匹配模型实现的信息匹配的结果比较准确。
[0161]
该利用实体特征分数、属性特征分数以及语义特征分数,生成对应的特征得分向量与信息匹配模型的训练过程中训练信息组对应的特征得分向量表达方式一致。
[0162]
在本发明一个实施例中,信息匹配方法,进一步包括:根据询问信息包括的实体特征和属性特征以及待匹配信息包括的实体特征和属性特征,分别为询问信息和待匹配信息生成对应的实体特征向量以及属性特征向量;相应地,为询问信息计算对应的实体特征分数以及属性特征分数的步骤可包括:根据询问信息对应的实体特征向量、属性特征向量以及待匹配信息对应的实体特征向量和属性特征向量,计算询问信息对应的实体特征分数以及属性特征分数。
[0163]
其中,询问信息包括的实体特征和属性特征可以为用户标注的,也可以为信息匹配过程中信息匹配装置标注的。
[0164]
其中,分别为询问信息和待匹配信息生成对应的实体特征向量以及属性特征向量可采用现有的技术实现,也可采用下述实施例提供的方案实现。
[0165]
其中,可采用下述计算公式(4),分别计算询问信息对应的实体特征分数或属性特征分数。
[0166]
计算公式(4):
[0167][0168]
其中,当r表征询问信息对应的实体特征分数时,g表征询问信息对应的实体特征向量,c
v
表征待匹配信息v对应的实体特征向量;当r表征询问信息对应的属性特征分数时,g表征询问信息对应的属性特征向量,c
v
表征待匹配信息v对应的属性特征向量。
[0169]
在本发明一个实施例中,待匹配信息标注有实体标签和属性标签;相应地,分别为询问信息和待匹配信息生成对应的实体特征向量以及属性特征向量,包括:根据待匹配信息标注的实体标签和属性标签,确定待匹配信息包括的实体特征和属性特征;根据预设的第二实体词典,分别将询问信息和待匹配信息中的实体特征转化为对应的实体特征向量;根据预设的第二属性词典,分别将询问信息和待匹配信息中的属性特征转化为对应的属性特征向量。
[0170]
其中,第二实体词典可以为:现有的实体词典,也可以为:由预设的匹配库所包括的实体组成的实体词典。
[0171]
其中,第二属性词典可以为:现有的属性词典,也可以为:由预设的匹配库所包括的属性组成的属性词典。
[0172]
其中,根据预设的第二实体词典,分别将询问信息和待匹配信息中的实体特征转化为对应的实体特征向量以及根据预设的第二属性词典,分别将询问信息和待匹配信息中的属性特征转化为对应的属性特征向量,与前面实施例提供的根据预设的第一实体词典,将实体特征转化为对应的实体特征向量以及根据预设的第一属性词典,将属性特征转化为对应的属性特征向量,所采用的方法一致,在此不再赘述。
[0173]
在本发明一个实施例中,待匹配信息配置有解答信息;相应地,信息匹配方法可进一步包括:输出询问信息对应的匹配信息的解答信息给发起询问信息的用户。通过该过程可实现自动问答服务。由于上述信息匹配方法能够比较准确的为询问信息查找到匹配信息,则该匹配信息对应的解答信息能够满足用户需求。
[0174]
如图5所示,本发明实施例提供一种信息匹配模型的训练装置500,该信息匹配模型的训练装置500可包括:确定单元501、处理单元502以及训练单元503,其中,
[0175]
确定单元501,用于确定多个训练信息组,其中,训练信息组包括两段训练信息以及所述训练信息组的匹配标签;
[0176]
处理单元502,用于根据确定单元501确定出的训练信息组中的两段训练信息,为训练信息组生成对应的特征得分向量;
[0177]
训练单元503,用于利用处理单元502生成的特征得分向量和匹配标签,训练预先设置的待训练模型,以得到信息匹配模型。
[0178]
在本发明一个实施例中,处理单元502,用于为训练信息组中的两段训练信息计算语义特征分数;计算训练信息组对应的实体特征分数以及属性特征分数;利用实体特征分数、属性特征分数以及语义特征分数,生成训练信息组对应的特征得分向量。
[0179]
在本发明一个实施例中,处理单元502,用于为训练信息中每一段训练信息生成对应的实体特征向量以及属性特征向量;根据每一段训练信息对应的实体特征向量以及属性特征向量,计算训练信息组对应的实体特征分数以及属性特征分数。
[0180]
在本发明一个实施例中,训练信息标注有实体标签和属性标签;处理单元502,用于根据实体标签和所述属性标签,确定训练信息包括的实体特征和属性特征;根据预设的第一实体词典,将实体特征转化为对应的实体特征向量;根据预设的第一属性词典,将属性特征转化为对应的属性特征向量。
[0181]
在本发明一个实施例中,处理单元502,用于计算训练信息组中每一段训练信息对应的语义特征向量;确定两段训练信息对应的语义特征向量之间的距离分数,将距离分数作为第一语义特征分数。
[0182]
在本发明一个实施例中,处理单元502,用于根据训练信息组中的每一段训练信息的长度和预设长度,计算第二语义特征分数。
[0183]
在本发明一个实施例中,处理单元502,用于确定训练信息组中的两段训练信息之间的最大匹配长度;根据最大匹配长度和训练信息组中每一段训练信息的长度,计算三语义特征分数。
[0184]
在本发明一个实施例中,确定单元501,用于对原始训练信息进行归一化处理;根据归一化后的结果,确定多个训练信息组。
[0185]
在本发明一个实施例中,确定单元501,用于当接收到第一训练信息时,从预设的信息库中,为第一训练信息初筛出预设段数的第二训练信息;针对每一段第二训练信息,执行:利用第二训练信息、第一训练信息以及由第一训练信息和第二训练信息确定出的匹配标签,构成训练信息组。
[0186]
如图6所示,本发明实施例提供一种信息匹配装置600,包括:向量生成单元601和匹配单元602,其中,
[0187]
向量生成单元601,用于当接收到询问信息时,分别为询问信息和预设的匹配库中
的待匹配信息生成对应的特征得分向量;
[0188]
匹配单元602,用于将向量生成单元601生成的询问信息对应的特征得分向量和待匹配信息对应的特征得分向量,输入信息匹配模型;根据信息匹配模型确定出的匹配结果,从待匹配信息中,确定询问信息对应的匹配信息,信息匹配模型基于上述实施例提供的信息匹配模型的训练方法得到或者信息匹配模型基于上述实施例提供的信息匹配模型的训练装置。
[0189]
在本发明一个实施例中,信息匹配装置600可进一步包括:索引生成单元以及初筛单元(图中未示出),其中,
[0190]
索引生成单元,用于为预设的匹配库构建出倒排索引;
[0191]
初筛单元,用于利用倒排索引,从预设的匹配库中,为询问信息筛选出预设数量的待匹配信息;
[0192]
向量生成单元601,用于为筛选出的预设数量的待匹配信息生成对应的特征得分向量。
[0193]
在本发明一个实施例中,向量生成单元601,用于分别为询问信息和待匹配信息,计算对应的语义特征分数、实体特征分数以及属性特征分数;利用实体特征分数、属性特征分数以及语义特征分数,生成对应的特征得分向量。
[0194]
在本发明一个实施例中,向量生成单元601,用于根据询问信息包括的实体特征和属性特征,为询问信息生成对应的实体特征向量以及属性特征向量;根据询问信息对应的实体特征向量以及属性特征向量,计算询问信息对应的实体特征分数以及属性特征分数。
[0195]
在本发明一个实施例中,待匹配信息标注有实体标签和属性标签;向量生成单元601,进一步用于根据待匹配信息标注的实体标签和属性标签,确定待匹配信息包括的实体特征和属性特征;根据预设的第二实体词典,将待匹配信息中的实体特征转化为对应的实体特征向量;根据预设的第二属性词典,将待匹配信息中的属性特征转化为对应的属性特征向量;根据待匹配信息对应的实体特征向量以及属性特征向量,计算待匹配信息对应的实体特征分数以及属性特征分数。
[0196]
在本发明一个实施例中,待匹配信息配置有解答信息;信息匹配装置600,进一步包括:输出单元(图中未示出),其中,
[0197]
输出单元,用于输出询问信息对应的匹配信息的解答信息给发起询问信息的用户。
[0198]
图7示出了可以应用本发明实施例的信息匹配模型的训练方法或信息匹配模型的训练装置或信息匹配方法或信息匹配装置的示例性系统架构700。
[0199]
如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0200]
用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0201]
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0202]
服务器705可以是提供各种服务的服务器,例如对用户利用终端设备701、702、703所提供的第一训练信息初筛出对应的第二训练信息构成训练信息组提供支持的后台管理服务器(仅为示例),又例如对用户利用终端设备701、702、703所提供的询问信息匹配询问结果提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的训练信息、询问信息等数据进行分析等处理,并将处理结果(例如询问结果
--
仅为示例)反馈给终端设备。
[0203]
需要说明的是,本发明实施例所提供的信息匹配模型的训练方法或信息匹配方法一般由服务器705执行,相应地,信息匹配模型的训练装置或信息匹配装置一般设置于服务器705中。
[0204]
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
[0205]
下面参考图8,其示出了适于用来实现本发明实施例的服务器的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
[0206]
如图8所示,计算机系统800包括中央处理单元(cpu)801,其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中,还存储有系统800操作所需的各种程序和数据。cpu 801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0207]
以下部件连接至i/o接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0208]
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时,执行本发明的系统中限定的上述功能。
[0209]
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本
发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
[0210]
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0211]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括确定单元、处理单元以及训练单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,确定单元还可以被描述为“确定多个训练信息组的单元”。
[0212]
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:确定多个训练信息组,其中,训练信息组包括两段训练信息以及训练信息组的匹配标签;根据两段训练信息,为训练信息组生成对应的特征得分向量;利用特征得分向量和匹配标签,训练预先设置的待训练模型以得到信息匹配模型。
[0213]
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:为训练信息组中的两段训练信息计算语义特征分数;计算训练信息组对应的实体特征分数以及属性特征分数;利用实体特征分数、属性特征分数以及语义特征分数,生成训练信息组对应的特征得分向量。
[0214]
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:当接收到询问信息时,分别为询问信息和预设的匹配库中的待匹配信息生成对应的特征得分向量;将询问信息对应的特征得分向量和待匹配信息对应的特征得分向量,输入信息匹配模型;根据信息匹配模型确定出的匹配结果,从待匹配信息中,确定询问信息对应的匹配信息。
[0215]
根据本发明实施例的技术方案,由于采用为训练信息组生成对应的特征得分向量和训练信息组的匹配标签,训练待训练模型,其中,特征得分向量是基于训练信息得到的,
能够比较好的反映训练信息,那么,通过特征得分向量和训练信息组的匹配标签能够体现信息之间的匹配关系。基于此得到的信息匹配模型能够实现信息匹配,而无须大量的人力资源来维护并扩展相似语句,能够有效地降低运营成本。
[0216]
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献