一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

评论处理模型训练、评论排序方法、装置、设备及介质与流程

2022-11-23 16:16:22 来源:中国专利 TAG:


1.本发明涉及分类模型技术领域,尤其涉及一种评论处理模型训练、评论排序方法、装置、设备及介质。


背景技术:

2.随着科学技术的发展,越来越多商品都相应采用线上销售的模式。当用户在选购商品时,往往会查看相同类型的不同商品的商品评论,进而基于这些商品评论从中筛选出购买的商品。因此,对商品的商品评论进行有效排序是非常重要的。
3.现有技术中,往往是通过人工筛选的方式,商家根据个人想法将优质评论排序在前,将劣质评论排序在后。如此,会导致对商品评论的排序效率较低。由于人工筛选对商品评论进行排序的方式携带过多的个人想法,导致商品评论的排序准确率较低。


技术实现要素:

4.本发明实施例提供一种评论处理模型训练、评论排序方法、装置、设备及介质,以解决现有技术中对商品评论的排序效率较低且准确率较低的问题。
5.一种评论处理模型训练方法,包括:
6.获取至少一个训练评论文本组;一个所述训练评论文本组包括训练评论文本、训练评论标签、训练文本特征和训练文本向量;
7.获取包含初始参数的预设评论模型;所述预设评论模型中包括情感识别模块、特征识别模块和文本分类模块;
8.将所述训练评论文本输入至所述情感识别模块,获取第一评论值,将所述训练文本特征输入至所述特征识别模块,获取第二评论值,将所述训练文本向量输入至所述文本分类模块,获取第三评论值;
9.根据所述第一评论值、第二评论值和第三评论值确定所述训练评论文本对应的预测评论标签,并根据所述预测评论标签和所述训练评论标签确定所述预设评论模型的预测损失值;
10.在所述预测损失值未达到预设的收敛条件时,迭代更新所述预设评论模型中的初始参数,直至所述预测损失值达到所述收敛条件时,将收敛之后的所述预设评论模型记录为评论处理模型。
11.一种评论处理模型训练装置,包括:
12.文本获取模块,用于获取至少一个训练评论文本组;一个所述训练评论文本组包括训练评论文本、训练评论标签、训练文本特征和训练文本向量;
13.模型获取模块,用于获取包含初始参数的预设评论模型;所述预设评论模型中包括情感识别模块、特征识别模块和文本分类模块;
14.文本预测模块,用于将所述训练评论文本输入至所述情感识别模块,获取第一评论值,将所述训练文本特征输入至所述特征识别模块,获取第二评论值,将所述训练文本向
量输入至所述文本分类模块,获取第三评论值;
15.损失确定模块,用于根据所述第一评论值、第二评论值和第三评论值确定所述训练评论文本对应的预测评论标签,并根据所述预测评论标签和所述训练评论标签确定所述预设评论模型的预测损失值;
16.模型更新模块,用于在所述预测损失值未达到预设的收敛条件时,迭代更新所述预设评论模型中的初始参数,直至所述预测损失值达到所述收敛条件时,将收敛之后的所述预设评论模型记录为评论处理模型。
17.一种评论排序方法,包括:
18.接收评论排序指令;所述评论排序指令中包括多个目标评论文本;
19.确定所述目标评论文本对应的目标文本特征和目标文本向量,并将所述目标评论文本、所述目标文本特征和所述目标文本向量输入至评论处理模型中;所述评论处理模型是根据上述评论处理模型训练方法得到;
20.获取所述评论处理模型输出的所述目标评论文本对应的情感评论值,所述目标文本特征对应的特征评论值和所述目标文本向量对应的文本评论值;
21.根据同一所述目标评论文本对应的情感评论值、特征评论值和文本评论值,确定该目标评论文本的评论排序值;
22.根据所述评论排序值对各所述目标评论文本进行排序,得到评论文本排序结果。
23.一种评论排序装置,包括:
24.指令接收模块,用于接收评论排序指令;所述评论排序指令中包括目标商品对应的多个目标评论文本;
25.文本处理模块,用于确定所述目标评论文本对应的目标文本特征和目标文本向量,并将所述目标评论文本、所述目标文本特征和所述目标文本向量输入至评论处理模型中;所述评论处理模型是根据上述评论处理模型训练方法得到;
26.评论值获取模块,用于获取所述评论处理模型输出的所述目标评论文本对应的情感评论值,所述目标文本特征对应的特征评论值和所述目标文本向量对应的文本评论值;
27.评论值整合模块,用于根据同一所述目标评论文本对应的情感评论值、特征评论值和文本评论值,确定该目标评论文本的评论排序值;
28.评论排序模块,用于根据所述评论排序值对各所述目标评论文本进行排序,得到所述目标商品对应的评论文本排序结果。
29.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述评论处理模型训练方法,或所述处理器执行所述计算机程序时实现上述评论排序方法。
30.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述评论处理模型训练方法,或所述计算机程序被处理器执行时实现上述评论排序方法。
31.上述评论处理模型训练、评论排序方法、装置、设备及介质,该评论处理模型训练方法通过在预设评论模型中设置情感识别模块、特征识别模块和短语分类模块,使得情感识别模块聚焦于训练评论文本中的情感类别,特征识别模块聚焦于训练评论文本的离散特征(也即上述训练文本特征),以及文本分类模块聚焦于训练评论文本的内容质量(也即上
述的训练文本向量)。从而实现基于情感类别分析、离散特征分析和内容质量分析对训练评论文本是否为优质评论的判定,提高了对商品评论的优劣进行判定的效率和准确率。从而便于根据商品评论的优劣对各商品评论进行排序,提高了商品评论排序的效率和准确率。
附图说明
32.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
33.图1是本发明一实施例中评论处理模型训练方法或评论排序方法的一应用环境示意图;
34.图2是本发明一实施例中评论处理模型训练方法的一流程图;
35.图3是本发明一实施例中评论排序方法的一流程图;
36.图4是本发明一实施例中评论处理模型训练装置的一原理框图;
37.图5是本发明一实施例中评论排序装置的一原理框图;
38.图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
39.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
40.本发明实施例提供的评论处理模型训练方法,该评论处理模型训练方法可应用如图1所示的应用环境中。具体地,该评论处理模型训练方法应用在评论处理模型训练系统中,该评论处理模型训练系统包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,用于解决现有技术中对商品评论的排序效率较低且准确率较低的问题。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。其中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
41.在一实施例中,如图2所示,提供一种评论处理模型训练方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
42.s10:获取至少一个训练评论文本组;一个所述训练评论文本组包括训练评论文本、训练评论标签、训练文本特征和训练文本向量。
43.可以理解地,训练评论文本可以从不同的应用程序上采集得到。例如,可以从购物应用程序中采集到不同商品的评论作为该训练评论文本,亦或者从外卖应用程序中采集到不同商品的评论作为该训练评论文本。训练评论标签用于表征训练评论文本的评论分值
(评论分值越高表征该训练评论文本是优质评论。反之,评论分值越低表征该训练评论文本是劣质评论)。进一步地,该训练评论标签可以为评论分值范围。也即只需要后续对该训练评论文本进行预测得到的分值属于该评论分值范围,即可认为预测成功。反之,若后续对该训练评论文本进行预测得到的分值不属于该评论分值范围,即可认为预测失败。训练评论标签可以预先通过人工标注得到。
44.进一步地,训练文本特征为训练评论文本的离散特征。示例性地,训练文本特征可以为训练评论文本中包含的正向情感字词的数量(正向情感字词可以为非常好、多次回购或者强力推荐等)、负向情感字词的数量(负向情感字词可以为质量不好、差评或者投诉等)、文本字符数量(即训练评论文本中包含的字符总数)以及是否存在广告嫌疑(可以通过正则表达式确定训练评论文本中是否出现了加微信,加qq或者搜索公众号等)。训练文本向量即为训练评论文本的向量表征。训练文本向量可以通过文本处理模型(如bert模型等)对训练评论文本进行向量转换后生成。进一步地,在同一个训练评论文本组中的训练评论标签、训练文本特征和训练文本向量均与该训练评论文本组中的训练评论文本关联。
45.s20:获取包含初始参数的预设评论模型;所述预设评论模型中包括情感识别模块、特征识别模块和文本分类模块。
46.可以理解地,预设评论模型即用于对训练评论文本的评论分值进行预测的模型。在预设评论模型中设置情感识别模块、特征识别模块和文本分类模块。其中,情感识别模块可以采用fasttext模型构建,该情感识别模块用于判断训练评论文本的情感类别,如正向情感类别或者负向情感类别。从而根据该情感类别确定训练评论文本为优质评论的概率值,从而将该概率值作为该训练评论文本在情感类别角度上的评论分值。在本实施例中,可以预先构建包含正向情感字词和负向情感字词的词集。从而通过该词集对情感识别模块进行训练,使得该情感识别模块可以识别出文本(如上述训练评论文本)中包含的正向情感字词或者负向情感字词。
47.进一步地,特征识别模块即为逻辑回归模块,该特征识别模块用于根据训练文本特征确定训练评论文本是否为优质评论,并输出该训练评论文本为优质评论的概率值,从而将该概率值作为该训练评论文本在离散特征角度上的评论分值。在本实施例中,可以预先构建优质评论所对应的离散特征和劣质评论所对应的离散特征,从而通过优质评论所对应的离散特征和劣质评论所对应的离散特征对特征识别模块进行训练,使得特征识别模块可以区分训练文本特征是优质评论所对应的离散特征或者劣质评论所对应的离散特征。
48.进一步地,文本分类模块可以采用bert模型构建,该文本分类模块从内容质量上对训练评论文本是否为优质评论进行判断,得到训练评论文本为优质评论的概率值,从而将该概率值作为该训练评论文本在内容质量角度上的评论分值。在本实施例中,可以预先构建内容质量标签词库。如通过爬虫或者网上收集等方式,从商品质量、用户体验、客服服务、物流服务和售后服务等5个方面构建质量标签词库。在该质量标签词库中包括优质内容词集和劣质内容词集,从而根据优质内容词集和劣质内容词集对文本分类模块进行训练。使得文本分类模块可以根据训练文本向量区分训练评论文本中的优质字词和劣质字词。
49.s30:将所述训练评论文本输入至所述情感识别模块,获取第一评论值,将所述训练文本特征输入至所述特征识别模块,获取第二评论值,将所述训练文本向量输入至所述文本分类模块,获取第三评论值。
50.可以理解地,第一评论值即表征情感识别模块从情感类别角度确定训练评论文本为优质评论的概率值。第二评论值即表征特征识别模块基于训练文本特征从离散特征角度确定训练评论文本为优质评论的概率值。第三评论值即表征文本分类模块基于训练文本向量从内容质量角度确定训练评论文本为优质评论的概率值。
51.具体地,在获取预设评论模型之后,即可将训练评论文本、训练文本特征和训练文本向量输入至预设评论模型中。通过预设评论模型中的情感识别模块确定训练评论文本的情感类别,从而根据该情感类别确定训练评论文本为优质评论的第一评论值。通过预设评论模型中的特征识别模块确定训练文本特征的文本特征分布,从而根据该文本特征分布确定训练文本特征对应的训练评论文本为优质评论的第二评论值。通过预设评论模型中的文本分类模块确定训练文本向量中包含的字词是否为优质评论对应的字词,从而输出训练文本向量对应的训练评论文本为优质评论的第三评论值。
52.s40:根据所述第一评论值、第二评论值和第三评论值确定所述训练评论文本对应的预测评论标签,并根据所述预测评论标签和所述训练评论标签确定所述预设评论模型的预测损失值。
53.可以理解地,预测评论标签即表征预设评论模型预测训练评论文本是否为优质评论的标签。预测评论标签可以为表征训练评论文本是优质评论的标签,也可以为表征训练评论文本不是优质评论的标签。预测损失值即表征训练评论标签和预测评论标签之间的差距程度。
54.具体地,在获取第一评论值、第二评论值和第三评论值之后,即可将同一训练评论文本对应的第一评论值、第二评论值和第三评论值之和确定为评论值总和。并将评论值总和与预设评论值阈值(预设概率值阈值可以根据训练需求进行设定,例如,将预设评论值阈值设定为0.7或者0.8等)进行比较,得到比较结果,从而根据该比较结果确定训练评论文本对应的预测评论标签。在确定预测评论标签之后,即可根据同一个训练评论文本对应的训练评论标签和预测评论标签,确定预测损失值。其中,可以通过交叉熵损失函数或者绝对值损失函数等损失函数根据训练评论标签和预测评论标签确定预测损失值。进一步地,在上述说明中指出训练评论标签可以为评论分值范围。进而在得到预测评论标签后,由于该预测评论标签即为表征训练评论文本为优质评论的评论分值。因此,可以确定预测评论标签的评论分值是否属于训练评论标签对应的评论分值范围。也即只需要预测评论标签的评论分值属于该评论分值范围,即可认为预测成功。反之,若后续预测评论标签的评论分值不属于该评论分值范围,即可认为预测失败。
55.其中,比较结果可以为表征评论值总和大于或等于预设评论值阈值的结果,也可以为表征评论值总和小于预设评论值阈值的结果。进一步地,当比较结果表征评论值总和大于或等于预设评论值阈值的结果时,预测评论标签表征的训练评论文本是优质评论的评论分值较高,也即该训练评论文本是优质评论的概率较高。当比较结果表征评论值总和小于预设评论值阈值的结果时,预测评论标签表征的训练评论文本是优质评论的评论分值较低,也即该训练评论文本是优质评论的概率较低。
56.s50:在所述预测损失值未达到预设的收敛条件时,迭代更新所述预设评论模型中的初始参数,直至所述预测损失值达到所述收敛条件时,将收敛之后的所述预设评论模型记录为评论处理模型。
57.可以理解地,该收敛条件可以为预测损失值小于设定阈值的条件,也即在预测损失值小于设定阈值时,停止训练;收敛条件还可以为预测损失值经过了10000次计算后值为很小且不会再下降的条件,也即预测损失值经过10000次计算后值很小且不会下降时,停止训练,将收敛之后的所述预设评论模型记录为评论处理模型。
58.进一步地,根据预测评论标签和训练评论标签确定预设评论模型的预测损失值之后,在预测损失值未达到预设的收敛条件时,根据该预测损失值调整预设评论模型的初始参数。并将本次训练的训练评论文本组中的训练评论文本、训练文本特征和训练文本向量重新输入至调整初始参数后的预设评论模型中,以在该训练评论文本组的预测损失值达到预设的收敛条件时,选取另一个训练评论文本组,并执行上述步骤s30和s40并得到与该训练评论文本组对应的预测损失值,并在该预测损失值未达到预设的收敛条件时,根据该预测损失值再次调整预设评论模型的初始参数,使得该训练评论文本组的预测损失值达到预设的收敛条件。
59.如此,在通过所有训练评论文本组对预设评论模型进行训练之后,使得预设评论模型输出的结果可以不断向准确地结果靠拢,让模型识别准确率越来越高,直至所有训练评论文本组的预测损失值均达到预设的收敛条件时,将收敛之后的预设评论模型记录为评论处理模型。
60.在本实施例中,通过在预设评论模型中设置情感识别模块、特征识别模块和短语分类模块,使得情感识别模块聚焦于训练评论文本中的情感类别,特征识别模块聚焦于训练评论文本的离散特征(也即上述训练文本特征),以及文本分类模块聚焦于训练评论文本的内容质量(也即上述的训练文本向量)。从而实现基于情感类别分析、离散特征分析和内容质量分析对训练评论文本是否为优质评论的判定,提高了对商品评论的优劣进行判定的效率和准确率。从而便于根据商品评论的优劣对各商品评论进行排序,提高了商品评论排序的效率和准确率。
61.在一实施例中,步骤s10之前,也即所述获取至少一个训练评论文本组之前,还包括:
62.(1)获取评论文本集;所述评论文本集中包括至少一个训练评论文本;一个所述训练评论文本对应一个训练评论标签。
63.可以理解地,训练评论文本可以从不同的应用程序上采集得到。例如,可以从购物应用程序中采集到不同商品的评论作为该训练评论文本,亦或者从外卖应用程序中采集到不同商品的评论作为该训练评论文本。训练评论标签用于表征训练评论文本的评论分值(评论分值越高表征该训练评论文本是优质评论。反之,评论分值越低表征该训练评论文本是劣质评论)。进一步地,该训练评论标签可以为评论分值范围。也即只需要后续对该训练评论文本进行预测得到的分值属于该评论分值范围,即可认为预测成功。反之,若后续对该训练评论文本进行预测得到的分值不属于该评论分值范围,即可认为预测失败。训练评论标签可以预先通过人工标注得到。
64.(2)对所述训练评论文本进行特征提取,得到所述训练评论文本对应的训练文本特征。
65.可以理解地,在上述说明中指出训练文本特征为训练评论文本的离散特征。示例性地,训练文本特征可以为训练评论文本中包含的正向情感字词的数量(正向情感字词可
以为非常好、多次回购或者强力推荐等)、负向情感字词的数量(负向情感字词可以为质量不好、差评或者投诉等)、文本字符数量(即训练评论文本中包含的字符总数)以及是否存在广告嫌疑(可以通过正则表达式确定训练评论文本中是否出现了加微信,加qq或者搜索公众号等)。因此,在采集到训练评论文本之后,即可根据预先构建的包含正向情感字词和负向情感字词的词集,确定该训练评论文本中包含的正向情感字词的数量和/或负向情感字词的数量。还可以对训练评论文本中的每一个字符进行统计,从而确定训练评论文本中包含的字符总数。还可以设置正则表达式,从而根据设置的正则表达式从训练评论文本中查询是否出现微信、qq或者微信公众号等字眼。从而确定训练评论文本对应打的训练文本特征。
66.(3)对所述训练评论文本进行向量转换,得到所述训练评论文本对应的训练文本向量。
67.具体地,在获取训练评论文本后,即可对训练评论文本进行分词,得到分词后的训练评论文本。进而将分词后的训练评论文本输入至文本处理模型(如bert模型)中。文本处理模型会确定训练评论文本中各分词的词嵌入向量、语句分块张量和位置编码张量,从而根据训练评论文本中各分词的词嵌入向量、语句分块张量和位置编码张量,确定训练评论文本对应的训练短语向量。
68.(4)将所述训练评论文本、与该训练评论文本对应的训练评论标签、训练文本特征和训练文本向量关联记录为训练评论文本组。
69.具体地,在确定训练评论文本所对应的训练文本特征和训练文本向量之后,即可将训练评论文本、与该训练评论文本对应的训练评论标签、训练文本特征和训练文本向量关联记录为训练评论文本组。从而根据不同的训练评论文本即可得到多个不同的训练评论文本组。
70.在一实施例中,步骤s30中,也即所述将所述训练评论文本输入至所述情感识别模块,获取第一评论值,包括:
71.(1)通过所述情感识别模块对所述训练评论文本进行分词处理,得到所述训练评论文本中的至少一个训练评论字词。
72.可以理解地,训练评论字词即为训练评论文本中不同字结合得到的词组。在本实施例中,可以预先将第三方词典设置在情感识别模块中。该第三方词典中包括多个预设字词,从而使得情感识别模块可以根据第三方词典中的预设字词对训练评论文本进行分词处理。也即情感识别模块将预设字词和训练评论文本进行匹配,从而拆解出训练评论文本中包含的预设字词,进而得到训练评论字词。
73.(2)确定所述训练评论字词对应的评论字词向量,并对各所述训练评论字词对应的评论字词向量进行特征映射,得到映射特征向量。
74.可以理解地,评论字词向量即为训练评论字词对应的向量表征。映射特征向量即为对评论字词向量进行线性变换之后映射得到的向量。
75.具体地,在通过情感识别模块对训练评论文本进行分词处理,得到所述训练评论文本中的至少一个训练评论字词之后,即可通过情感识别模块的隐藏层对各训练评论字词进行向量转换,从而得到训练评论字词对应的评论字词向量。进而对各训练字词向量进行线性变换,并将线性变换后的训练字词向量映射至情感识别模块的中间层。最后,通过中间
层对线性变换后的训练字词向量进行映射,得到映射特征向量。
76.(3)基于所述映射特征向量确定所述第一评论值。
77.具体地,在对各训练评论字词对应的评论字词向量进行特征映射,得到映射特征向量之后,情感识别模块即可基于映射特征向量确定训练评论文本属于优质评论的概率值,即为第一评论值。进一步地,在上述说明中指出通过包含正向情感字词和负向情感字词的词集对情感识别模块进行训练。如此,情感识别模块可以识别上述正向情感字词和负向情感字词对应的向量表征,进而可以将映射特征向量和正向情感字词和负向情感字词对应的向量表征进行匹配,从而确定训练评论文本中的训练评论字词是正向情感字词或者负向情感字词。最后基于识别出训练评论字词是正向情感字词或者负向情感字词的结果,确定第一评论值。
78.在一实施例中,步骤s30中,也即所述将所述训练文本特征输入至所述特征识别模块,获取第二评论值,包括:
79.(1)通过所述特征识别模块确定所述训练文本特征对应的文本特征分布。
80.具体地,在获取预设评论模型之后,将训练文本特征输入至预设评论模型中的特征识别模块中。在该特征识别模块中预先构建分布坐标系,该分布坐标系中存在一条分界线。进而通过特征识别模块确定训练文本特征对应的文本特征分布,也即将所有训练文本特征设置在该分布坐标系中。训练文本特征在该分布坐标系中的位置即为文本特征分布。
81.(2)基于所述文本特征分布确定所述第二评论值。
82.具体地,在通过特征识别模块确定训练文本特征对应的文本特征分布之后,即可基于文本特征分布确定第二评论值。也即,在上述说明中指出特征识别模块中预先构建分布坐标系,且分布坐标系中存在一条分界线。处于该分界线之上,且远离该分界线的训练文本特征越多,则表征训练评论文本是优质评论的概率越高。此时第二评论值可以为0.8或者0.9。处于该分界线之下,且远离该分界线的训练文本特征越多,则表征训练评论文本是劣质评论的概率越高。此时第二评论值可以为0.1或者0.2。若所有训练文本特征均在分界线附近,则表征该训练评论文本可能是优质评论,也可能是劣质评论。此时第二评论值可以为0.5左右。如此,即可基于文本特征分布确定训练文本特征在分布坐标系上与分界线的位置关系,从而得到第二评论值。
83.在一实施例中,步骤s30中,也即所述将所述训练文本向量输入至所述文本分类模块,获取第三评论值,包括:
84.(1)通过所述文本分类模块中的卷积网络层对所述训练文本向量进行卷积处理,得到卷积特征向量。
85.具体地,在获取预设评论模型之后,通过预设评论模型中的文本分类模块中的卷积网络层的卷积核(卷积核数量和卷积核大小在本实施例中不作限定)对训练文本向量进行卷积处理,从而提取训练文本向量中的特征,得到卷积特征向量。
86.(2)通过所述文本分类模块中的池化网络层对所述卷积特征向量进行池化处理,得到池化特征向量。
87.具体地,在通过文本分类模块中的卷积网络层对训练文本向量进行卷积处理,得到卷积特征向量之后,将卷积特征向量输入至池化网络层(池化网络层可以为平均池化层或者最大池化层)中。通过池化网络层对卷积特征向量进行池化处理,得到池化特征向量。
如此,即可降低卷积特征向量中的特征维度,提高数据处理效率。
88.(3)通过所述文本分类模块中的全连接层根据所述池化特征向量,确定所述第三评论值。
89.具体地,在通过文本分类模块中的池化网络层对卷积特征向量进行池化处理,得到池化特征向量之后,将池化特征向量输入至文本分类模块中的全连接层中。通过全连接层根据池化特征向量对该训练评论文本进行分类,也即确定训练评论文本属于优质评论的概率值,即第三评论值。进一步地,在上述实施例中指出预先构建包括优质内容词集和劣质内容词集的内容质量标签词库,从而根据优质内容词集和劣质内容词集对文本分类模块进行训练。因此,文本分类模块在得到池化特征向量之后,即可通过全连接层将池化特征向量和优质内容词集和劣质内容词集中字词对应的向量进行匹配。从而确定训练评论文本中包含的字词是优质内容字词或者劣质内容字词,即可得到第三评论值。
90.在一实施例中,如图3所示,提供一种评论排序方法,包括:
91.s01:接收评论排序指令;所述评论排序指令中包括多个目标评论文本。
92.可以理解地,评论排序指令可以由用户通过客户端直接发送,也可以在用户通过客户端上传目标评论文本之后自动生成。目标评论文本可以为购物应用程序中采集到不同商品的评论,也可以从外卖应用程序中采集到不同商品的评论。
93.s02:确定所述目标评论文本对应的目标文本特征和目标文本向量,并将所述目标评论文本、所述目标文本特征和所述目标文本向量输入至评论处理模型中;所述评论处理模型是根据上述评论处理模型训练方法得到。
94.可以理解地,目标文本特征为目标评论文本的离散特征。示例性地,目标文本特征可以为目标评论文本中包含的正向情感字词的数量(正向情感字词可以为非常好、多次回购或者强力推荐等)、负向情感字词的数量(负向情感字词可以为质量不好、差评或者投诉等)、文本字符数量(即目标评论文本中包含的字符总数)以及是否存在广告嫌疑(可以通过正则表达式确定目标评论文本中是否出现了加微信,加qq或者搜索公众号等)。目标文本向量即为目标评论文本的向量表征。目标文本向量可以通过文本处理模型(如bert模型等)对目标评论文本进行向量转换后生成。
95.s03:获取所述评论处理模型输出的所述目标评论文本对应的情感评论值,所述目标文本特征对应的特征评论值和所述目标文本向量对应的文本评论值。
96.具体地,在确定目标评论文本对应的目标文本特征和目标文本向量之后,将目标评论文本,与该目标评论文本对应的目标文本特征和目标文本向量输入至评论处理模型中。也即将目标评论文本输入至评论处理模型中的情感识别模块中,获取情感识别模块输出的情感评论值。将目标文本特征输入至评论处理模型中的特征识别模块中,获取特征识别模块输出的特征评论值。将目标文本向量输入至评论处理模型中的文本分类模块中,获取文本分类模块输出的文本评论值。具体地实现过程与上述实施例中评论处理模型训练方法相同,在此不再赘述。
97.s04:根据同一所述目标评论文本对应的情感评论值、特征评论值和文本评论值,确定该目标评论文本的评论排序值。
98.可以理解地,评论排序值即为表征该目标评论文本被评为优质评论文本的概率值。也即该评论排序值越高,对应的目标评论文本越优质。反之,评论排序值越低,对应的目
标评论文本越劣质。
99.具体地,在获取评论处理模型输出的目标评论文本对应的情感评论值,目标文本特征对应的特征评论值和目标文本向量对应的文本评论值之后,即可根据同一目标评论文本对应的情感评论值、特征评论值和文本评论值,确定该目标评论文本的评论排序值。其中,可以通过下述表达式确定评论排序值:
100.y=w1x1 w2x2 w3x3
101.其中,y为评论排序值;w1为情感评论值对应的第一权重值;x1为情感评论值;w2为特征评论值对应的第二权重值;x2为特征评论值。w3为文本评论值对应的第三权重值;x3为文本评论值。进一步地,第一权重值、第二权重值和第三权重值可以随机设置,且第一权重值、第二权重值和第三权重值之和为1。示例性地,将第一权重值设置为0.3,将第二权重值设置为0.3以及将第三权重值设置为0.4。
102.s05:根据所述评论排序值对各所述目标评论文本进行排序,得到评论文本排序结果。
103.具体地,在根据同一目标评论文本对应的情感评论值、特征评论值和文本评论值,确定该目标评论文本的评论排序值之后,即可将各目标评论文本按照评论排序值从大到小进行排序,得到评论文本排序结果。进而即可根据该评论文本排序结果,在目标评论文本对应的应用程序中对所有目标评论文本进行排序。如此,即可高效且准确地对商品评论进行排序。进而可以将优质评论排序在前,以在用户选购商品时可以优先参考优质评论,提高用户选购商品的效率。
104.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
105.在一实施例中,提供一种评论处理模型训练装置,该评论处理模型训练装置与上述实施例中评论处理模型训练方法一一对应。如图4所示,该评论处理模型训练装置包括文本获取模块10、模型获取模块20、文本预测模块30、损失确定模块40和模型更新模块50。各功能模块详细说明如下:
106.文本获取模块10,用于获取至少一个训练评论文本组;一个所述训练评论文本组包括训练评论文本、训练评论标签、训练文本特征和训练文本向量;
107.模型获取模块20,用于获取包含初始参数的预设评论模型;所述预设评论模型中包括情感识别模块、特征识别模块和文本分类模块;
108.文本预测模块30,用于将所述训练评论文本输入至所述情感识别模块,获取第一评论值,将所述训练文本特征输入至所述特征识别模块,获取第二评论值,将所述训练文本向量输入至所述文本分类模块,获取第三评论值;
109.损失确定模块40,用于根据所述第一评论值、第二评论值和第三评论值确定所述训练评论文本对应的预测评论标签,并根据所述预测评论标签和所述训练评论标签确定所述预设评论模型的预测损失值;
110.模型更新模块50,用于在所述预测损失值未达到预设的收敛条件时,迭代更新所述预设评论模型中的初始参数,直至所述预测损失值达到所述收敛条件时,将收敛之后的所述预设评论模型记录为评论处理模型。
111.优选地,评论处理模型训练装置还包括:
112.评论文本获取模块,用于获取评论文本集;所述评论文本集中包括至少一个训练评论文本;一个所述训练评论文本对应一个训练评论标签;
113.特征提取模块,用于对所述训练评论文本进行特征提取,得到所述训练评论文本对应的训练文本特征;
114.向量转换模块,用于对所述训练评论文本进行向量转换,得到所述训练评论文本对应的训练文本向量;
115.数据整合模块,用于将所述训练评论文本、与该训练评论文本对应的训练评论标签、训练文本特征和训练文本向量关联记录为训练评论文本组。
116.优选地,文本预测模块30包括:
117.分词处理单元,用于通过所述情感识别模块对所述训练评论文本进行分词处理,得到所述训练评论文本中的至少一个训练评论字词;
118.特征映射单元,用于确定所述训练评论字词对应的评论字词向量,并对各所述训练评论字词对应的评论字词向量进行特征映射,得到映射特征向量;
119.第一预测单元,用于基于所述映射特征向量确定所述第一评论值。
120.优选地,文本预测模块30还包括:
121.特征分布确定单元,用于通过所述特征识别模块确定所述训练文本特征对应的文本特征分布;
122.第二预测单元,用于基于所述文本特征分布确定所述第二评论值。
123.优选地,文本预测模块30还包括:
124.卷积处理单元,用于通过所述文本分类模块中的卷积网络层对所述训练文本向量进行卷积处理,得到卷积特征向量;
125.向量池化单元,用于通过所述文本分类模块中的池化网络层对所述卷积特征向量进行池化处理,得到池化特征向量;
126.第三预测单元,用于通过所述文本分类模块中的全连接层根据所述池化特征向量,确定所述第三评论值。
127.关于评论处理模型训练装置的具体限定可以参见上文中对于评论处理模型训练方法的限定,在此不再赘述。上述评论处理模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
128.在一实施例中,如图5所示,提供一种评论排序装置,包括:
129.指令接收模块01,用于接收评论排序指令;所述评论排序指令中包括目标商品对应的多个目标评论文本;
130.文本处理模块02,用于确定所述目标评论文本对应的目标文本特征和目标文本向量,并将所述目标评论文本、所述目标文本特征和所述目标文本向量输入至评论处理模型中;所述评论处理模型是根据上述评论处理模型训练方法得到;
131.评论值获取模块03,用于获取所述评论处理模型输出的所述目标评论文本对应的情感评论值,所述目标文本特征对应的特征评论值和所述目标文本向量对应的文本评论
值;
132.评论值整合模块04,用于根据同一所述目标评论文本对应的情感评论值、特征评论值和文本评论值,确定该目标评论文本的评论排序值;
133.评论排序模块05,用于根据所述评论排序值对各所述目标评论文本进行排序,得到所述目标商品对应的评论文本排序结果。
134.在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中评论处理模型训练方法或者评论排序方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种评论处理模型训练方法,或该计算机程序被处理器执行时以实现一种评论排序方法。
135.在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中的评论处理模型训练方法,或处理器执行计算机程序时实现上述实施例中的评论排序方法。
136.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中的评论处理模型训练方法,或计算机程序被处理器执行时实现上述实施例中的评论排序方法。
137.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
138.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
139.以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献