网络舆情文本聚类方法、装置、设备、介质及程序产品与流程
本技术涉及,尤其涉及一种网络舆情文本聚类方法、装置、设备、介质及程序产品。
背景技术:
1、随着互联网技术的发展,网络舆情文本已成为反映用户观点的核心要素,对网络舆情文本进行聚类,从而基于聚类结果处理网络舆情对应的异常事件变得越来越重要。
2、相关技术中,首先将采集到的多条网络舆情文本进行分词处理,得到每条网络舆情文本的分词结果,再通过计算网络舆情文本的分词结果的相似度,对网络舆情文本进行聚类,得到上述多条网络舆情文本聚类结果。
3、然而,上述方案中,由于仅基于对网络舆情文本的分词结果来对网络舆情文本进行聚类处理,易将表述不同但实际对应同一类事件的网络舆情文本划分进不同分类。例如,“宽带无法连接”和“没有网”这两条舆情文本本质上对应同一类事件,但由于这两者在分词结果上相似度较低,导致被划分进不同的分类。如此,相关技术中,网络舆情文本聚类结果不够准确。
技术实现思路
1、本技术提供一种网络舆情文本聚类方法、装置、设备、介质及程序产品,用于提高网络舆情文本聚类结果的准确性。
2、第一方面,本技术实施例提供了一种网络舆情文本聚类方法,该方法包括:基于至少一条网络舆情文本和应答文本,获取第一关键词集合,上述网络舆情文本用于描述用户发表的观点,上述应答文本用于答复上述用户发表的观点,上述第一关键词集合包括从上述网络舆情文本和上述应答文本中提取到的第一关键词;将上述第一关键词集合输入到词向量模型中,生成第二关键词集合,上述第二关键词集合包括上述第一关键词的近义词;基于上述第一关键词集合、上述第二关键词集合和上述至少一条网络舆情文本对应的第一标签,生成上述至少一条网络舆情文本的聚类结果,上述第一标签包括以下至少一项:用户情感标签、业务关键词标签,上述用户情感标签用于描述网络舆情文本对应的情感类型和情感强度,上述业务关键词标签用于描述网络舆情文本所属的内容类别。
3、本技术提供的技术方案至少带来以下有益效果:本方案中,分别获取网络舆情文本和应答文本的第一关键词集合,并生成第一关键词的近义词,得到第二关键词集合,之后基于第一关键词集合、第二关键词集合和每条舆情文本对应的第一标签确定舆情文本的聚类结果,避免了表述不同但实际对应同一类事件的网络舆情文本被划分进不同分类的问题,提高了网络舆情文本的聚类结果的准确性。
4、一种可能的实现方式,上述基于上述第一关键词集合、上述第二关键词集合和上述至少一条网络舆情文本对应的第一标签,生成上述至少一条网络舆情文本的聚类结果,包括:基于上述第一关键词集合、上述第二关键词集合和上述至少一条网络舆情文本对应的第一标签,计算上述至少一条网络舆情文本中每两条网络舆情文本之间的第一相似度;基于该第一相似度,生成上述至少一条网络舆情文本的聚类结果。
5、另一种可能的实现方式,上述基于第一关键词集合、第二关键词集合和至少一条网络舆情文本对应的第一标签,计算至少一条网络舆情文本中每两条网络舆情文本之间的第一相似度,包括:基于第一网络舆情文本和第二网络舆情文本对应的第一关键词集合,计算第二相似度,上述第一网络舆情文本为上述至少一条网络舆情文本中的任意一条网络舆情文本,上述第二网络舆情文本为上述至少一条网络舆情文本中的除上述第一网络舆情文本之外的任意一条网络舆情文本;基于上述第一网络舆情文本和上述第二网络舆情文本对应的第二关键词集合,计算第三相似度;基于上述第一网络舆情文本和上述第二网络舆情文本对应的第一标签,计算第四相似度;基于上述第二相似度、上述第三相似度和上述第四相似度,计算上述第一网络舆情文本和上述第二网络舆情文本之间的第一相似度。
6、又一种可能的实现方式,上述生成上述至少一条网络舆情文本的聚类结果,包括:将上述至少一条网络舆情文本划分至至少一个类别;上述方法还包括:基于上述至少一条网络舆情文本的聚类结果,确定至少一个异常事件,上述异常事件为上述至少一个类别中网络舆情文本数量超过第一阈值的类别对应的事件;基于上述至少一个异常事件,确定上述至少一个异常事件的处理策略。
7、又一种可能的实现方式,上述基于上述第二相似度、上述第三相似度和上述第四相似度,计算上述第一网络舆情文本和上述第二网络舆情文本之间的第一相似度,包括:基于第一权重对上述第二相似度进行加权,得到加权后的第二相似度;基于第二权重对上述第三相似度进行加权,得到加权后的第三相似度;基于第三权重对上述第四相似度进行加权,得到加权后的第四相似度;计算上述加权后的第二相似度、上述加权后的第三相似度和上述加权后的第四相似度的算术和,将上述算术和确定为上述第一网络舆情文本和上述第二网络舆情文本之间的第一相似度。
8、第二方面,本技术实施例提供了本技术提供一种网络舆情文本聚类装置,包括:获取模块和生成模块;该获取模块,用于基于至少一条网络舆情文本和应答文本,获取第一关键词集合,上述网络舆情文本用于描述用户发表的观点,上述应答文本用于答复上述用户发表的观点,上述第一关键词集合包括从上述网络舆情文本和上述应答文本中提取到的第一关键词;上述生成模块,用于将上述第一关键词集合输入到词向量模型中,生成第二关键词集合,该第二关键词集合包括上述第一关键词的近义词;以及,基于上述第一关键词集合、上述第二关键词集合和上述至少一条网络舆情文本对应的第一标签,生成上述至少一条网络舆情文本的聚类结果,上述第一标签包括以下至少一项:用户情感标签、业务关键词标签,上述用户情感标签用于描述网络舆情文本对应的情感类型和情感强度,上述业务关键词标签用于描述网络舆情文本所属的内容类别。
9、一种可能的实现方式,上述生成模块,具体用于:基于上述第一关键词集合、上述第二关键词集合和上述至少一条网络舆情文本对应的第一标签,计算上述至少一条网络舆情文本中每两条网络舆情文本之间的第一相似度;基于该第一相似度,生成上述至少一条网络舆情文本的聚类结果。
10、另一种可能的实现方式,上述生成模块,具体用于:基于第一网络舆情文本和第二网络舆情文本对应的第一关键词集合,计算第二相似度,上述第一网络舆情文本为上述至少一条网络舆情文本中的任意一条网络舆情文本,上述第二网络舆情文本为上述至少一条网络舆情文本中的除上述第一网络舆情文本之外的任意一条网络舆情文本;基于上述第一网络舆情文本和上述第二网络舆情文本对应的第二关键词集合,计算第三相似度;基于上述第一网络舆情文本和上述第二网络舆情文本对应的第一标签,计算第四相似度;基于上述第二相似度、上述第三相似度和上述第四相似度,计算上述第一网络舆情文本和上述第二网络舆情文本之间的第一相似度。
11、又一种可能的实现方式,上述生成模块,具体用于:将上述至少一条网络舆情文本划分至至少一个类别;上述装置还包括:确定模块;该确定模块,用于基于上述至少一条网络舆情文本的聚类结果,确定至少一个异常事件,上述异常事件为上述至少一个类别中网络舆情文本数量超过第一阈值的类别对应的事件;基于上述至少一个异常事件,确定上述至少一个异常事件的处理策略。
12、又一种可能的实现方式,上述生成模块,具体用于:基于第一权重对上述第二相似度进行加权,得到加权后的第二相似度;基于第二权重对上述第三相似度进行加权,得到加权后的第三相似度;基于第三权重对上述第四相似度进行加权,得到加权后的第四相似度;计算上述加权后的第二相似度、上述加权后的第三相似度和上述加权后的第四相似度的算术和,将上述算术和确定为上述第一网络舆情文本和上述第二网络舆情文本之间的第一相似度。
13、第三方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。
14、第四方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。
15、第五方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。
16、第六方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
17、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com