一种基于语义和词扩展的社交用户主题分析方法及系统

1.本发明涉及一种网络用户信息评定技术领域，更具体地说，它涉及一种基于语义和词扩展的社交用户主题分析方法及系统。


背景技术：

2.随着互联网的不断发展，网络中的短文本数据呈爆发式增长，人们可以在各种社交平台中发布各种信息。因此，如何从社交平台中分析用户特征是非常有研究价值和实际意义的事情。其中，社交用户的主题特征便是研究重点之一。目前各大社交平台如微博、推特、微信等的信息传播大多都是短文本形式。短文本数据和篇章级的长文本数据不同，短文本数据有着不同的语言规律。而用户又是社交平台中的主体，每位用户可以发布成千的短文本信息。对于企业来讲，针对用户的主题信息进行分析，可以让企业提出具有针对性的方案以此提升用户体验，具有一定的商业价值，对于学者而言，分析用户的主题分布，可以作为社会科学研究成果。
3.当前，针对社交平台用户的主题特征提取常用方法是将同一用户所有的发文整合成一个整体，使其成为一个长文档，再把该长文档输入到主题模型中便得到文档的主题分布，将此分布视为用户的主题分布，这样做虽然可以解决短文本稀疏问题，同时也能获取“用户级”的主题特征。但是，用户的发文间很可能不存在任何上下文关联，甚至讲述的不是同一主题的事物。因此，简单的将同一用户的所有发文合并成伪文档是不合理的。
4.因此，如何使得分析出的用户的主题分布特征更加的合理是目前亟需解决的问题。


技术实现要素：

5.本发明的目的是提供一种基于语义和词扩展的社交用户主题分析方法及系统；解决了现有技术主题分析方法得出的主题分布特征的用户发文信息间很可能不存在任何上下文关联，甚至讲述的不是同一主题的事物的问题；本发明改进了传统的短文本主题模型，提出了基于语义和词扩展的短文本主题模型，该模型针对每条社交发文信息进行主题分析，得到主题分布矩阵，再根据每条发文信息的互动信息计算出该条发文信息的权重矩阵，即该条发文信息的重要程度，最后利用主题分布矩阵和权重矩阵计算出用户的主题分布，相较于现有技术的直接构造伪文档的用户主题分析方法，本发明的基于语义和词扩展的社交用户主题分析方法更具优势性。
6.本发明的上述技术目的是通过以下技术方案得以实现的：
7.第一方面，提供了一种基于语义和词扩展的社交用户主题分析方法，包括以下步骤：
8.获取用户的发文信息和所述发文信息在社交网络平台中产生的互动信息；
9.对所述发文信息进行预处理操作，获得发文信息的文本数据；
10.根据所述文本数据构建基于语义和词扩展的短文本主题模型；
11.将所述发文信息输入所述短文本主题模型进行计算，获得所述发文信息的多个第一主题分布矩阵；
12.根据所述互动信息计算用户每条所述发文信息的权重矩阵；
13.根据所述权重矩阵对多个所述第一主题分布矩阵进行加权处理，获得多个第二主题分布矩阵；
14.对所述多个第二主题分布矩阵进行向量合并和归一化处理，获得用户所述发文信息的主题分布。
15.与现有技术相比较而言，本发明改进了传统的短文本主题模型，提出了基于语义和词扩展的短文本主题模型，该模型针对每条社交发文信息进行主题分析，得到主题分布矩阵，再根据每条发文信息的互动信息计算出该条发文信息的权重矩阵，即该条发文信息的重要程度，最后利用主题分布矩阵和权重矩阵计算出用户的主题分布，相较于现有技术的直接构造伪文档的用户主题分析方法，本发明的基于语义和词扩展的社交用户主题分析方法更具优势性。
16.进一步的，所述预处理操作包括对所述发文信息进行分词操作、去除所述发文信息的停用词以及去除所述发文信息中的干扰符号。
17.进一步的，所述根据所述文本数据构建基于语义和词扩展的短文本主题模型的步骤如下：
18.采用语义依存分析法提取所述文本数据上下文中具有语义关联的第一词对；
19.获取所述文本数据的待扩展关键词，将所述待扩展关键词输入外部语料库中，利用点互信息计算所述待扩展关键词与外部词料库中词的相关性。
20.进一步的，设定所述相关性的判断阈值，若所得所述相关性大于所述判断阈值，则将待扩展关键词与外部语料库中的词组成第二词对。
21.进一步的，对所述多个第二主题分布矩阵内所有的向量进行合并，获得用户的主题分布特征向量，利用softmax函数对所述主题分布特征向量进行归一化处理，获得用户所述发文信息的主题分布。
22.第二方面，提供了一种基于语义和词扩展的社交用户主题分析系统，包括：
23.信息获取单元，用于获取用户的发文信息和所述发文信息在社交网络平台中产生的互动信息；
24.预处理单元，用于对所述发文信息进行预处理操作，获得发文信息的文本数据；
25.模型构建单元，用于根据所述文本数据构建基于语义和词扩展的短文本主题模型；
26.第一计算单元，用于将所述发文信息输入所述短文本主题模型进行计算，获得所述发文信息的多个第一主题分布矩阵；
27.第二计算单元，用于根据所述互动信息计算用户每条所述发文信息的权重矩阵；
28.加权处理单元，用于根据所述权重矩阵对多个所述第一主题分布矩阵进行加权处理，获得多个第二主题分布矩阵；
29.合并处理单元，用于对所述多个第二主题分布矩阵进行向量合并和归一化处理，获得用户所述发文信息的主题分布。
30.进一步的，所述预处理单元包括分词单元和去除单元；
31.所述分词单元，用于对所述发文信息进行分词操作，所述去除单元，用于去除所述发文信息的停用词以及去除所述发文信息中的干扰符号。
32.进一步的，所述模型构建单元包括语义提取单元和词扩展单元；
33.所述语义提取单元，用于采用语义依存分析法提取所述文本数据上下文中具有语义关联的第一词对；
34.所述词扩展单元，用于获取所述文本数据的待扩展关键词，将所述待扩展关键词输入外部语料库中，利用点互信息计算所述待扩展关键词与外部词料库中词的相关性。
35.进一步的，所述词扩展单元还包括判断单元；
36.所述判断单元，用于设定所述相关性的判断阈值，若所得所述相关性大于所述判断阈值，则将待扩展关键词与外部语料库中的词组成第二词对。
37.进一步的，所述合并处理单元还包括向量合并单元和处理单元；
38.所述向量合并单元，用于对所述多个第二主题分布矩阵内所有的向量进行合并，获得用户的主题分布特征向量；
39.所述处理单元，用于利用softmax函数对所述主题分布特征向量进行归一化处理，获得用户所述发文信息的主题分布。
40.与现有技术相比，本发明具有以下有益效果：
41.1.本发明的分析方法提出了一种基于语义和词扩展的短文本主题模型，该模型在传统的短文本主题模型基础之上，不仅融合了短文本的语义信息，还通过外部语料知识库进行词对扩展，在解决短文本稀疏问题的同时，增强文本的主题倾向。
42.2.本发明在基于语义和词扩展的短文本主题模型之上，采用了一种依据用户发文信息之间的互动信息的发文主题加权法，区别发文间的重要程度，从而计算用户的主题分布。相较于传统的主题特征计算方法，更具合理性。
附图说明
43.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：
44.图1为本发明一实施例提供的社交用户主题分析方法流程示意图；
45.图2为现有技术的短文本主题模型词对获取示意图；
46.图3为本发明一实施例提供的基于语义和词扩展的短文本主题模型的词对获取示意图；
47.图4为本发明一实施例提供的获取用户主题分布的流程示意图；
48.图5为本发明一实施例提供的构建基于语义和词扩展的短文本主题模型的方法流程示意图；
49.图6为本发明一实施例提供的社交用户主题分析系统结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
51.需说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
52.实施例一：
53.如图1所示，本技术实施例一提供一种基于语义和词扩展的社交用户主题分析方法，包括以下步骤：
54.s1，获取用户的发文信息和所述发文信息在社交网络平台中产生的互动信息；
55.用户的发文信息包括用户的固定个人信息，如用户id，以及其原创的作品信息，如文章id、发文内容等，发文信息主要指的是短文本信息。与每条发文信息产生互动行为的为互动信息，包括转发数量、点赞数量、收藏数量、评论数量、关注数量和分享数量等。要分析社交网络众用户发文的主题分布，本技术以社交网络用户中的所有发文信息作为基础，以及与每篇发文信息产生互动行为的互动信息。
56.s2，对所述发文信息进行预处理操作，获得发文信息的文本数据；
57.对于发文信息进行预处理操作得到发文信息的文本数据是本领域的常规技术手段，因此不再进行多余的叙述。
58.s3，根据所述文本数据构建基于语义和词扩展的短文本主题模型；
59.具体的，如图2所示，图2即是现有技术中的短文本主题模型(简称btm模型)用来获取短文本的词对信息的方式，但是采用滑动窗口的方式获取词对信息时忽略了词对在短文本中的上下文的语义关联，因此本技术的基于语义和词扩展的短文本主题模型采用语义依存的方法来提取文本中的词对，使得btm模型能够融合上下文本的语义信息。在现有技术中主要是通过构造伪文档的方式来提取用户的主题特征，其能解决了短文本稀疏问题，因此为使本技术提出的短文本主题模型能够解决短文本稀疏这一问题，提出了基于词关联的词对扩展方法(即词扩展的短文本主题模型)，使得btm模型能够解决短文本的稀疏问题。
60.s4，将所述发文信息输入所述短文本主题模型进行计算，获得所述发文信息的多个第一主题分布矩阵；
61.将用户所有发文信息输入基于语义和词扩展的短文本主题模型，可获得每条发文信息的第一主题分布矩阵，则每个用户所有发文信息的主题分布实质为一个d*k维的第一主题分布矩阵，d表示用户所有的发文信息，k表示设定的主题数。d*k维的第一主题分布矩阵记为tuser。
62.s5，根据所述互动信息计算用户每条所述发文信息的权重矩阵；
63.每位用户可以获得d*1维度的权重矩阵，d表示用户所有的发文信息，d*1维度的权重矩阵记为h
user
。根据互动信息所计算的权重矩阵即为发文信息的“热度”，权重矩阵的值可作为对应发文信息的权重值，权重值表示该条发文信息对于用户的重要程度，值越高表示发文信息的主题分布越重要，影响力越强。
64.s6，根据所述权重矩阵对多个所述第一主题分布矩阵进行加权处理，获得多个第二主题分布矩阵；
65.在s5中，权重值表示该条发文信息对于用户的重要程度，因此通过互动信息所计算的权重矩阵h
user
对发文信息的第一主题分布矩阵进行加权处理tuser，即可得到用户的
第二主题分布矩阵x
user
。由于第一主题分布矩阵是由基于语义和词扩展的短文本主题模型对用户所有的发文信息进行计算而得出的多维矩阵，因此由每条互动信息对所对应的发文信息进行权重添加，从而计算出用户的主题分布。
66.s7，对所述多个第二主题分布矩阵进行向量合并和归一化处理，获得用户所述发文信息的主题分布。
67.对于多个第二主题分布矩阵x
user
，需要将多个矩阵内所有的向量进行合并，以表示用户的主题分布，但由于各用户的互动次数不同，导致用户间的主题分布的值存在很大的差异，因此需要进行归一化处理，以降低主题分布的差异性。
68.本技术实施例一的又一个实施例中，所述预处理操作包括对所述发文信息进行分词操作、去除所述发文信息的停用词以及去除所述发文信息中的干扰符号。
69.需要说明的是，预处理操作还可包括对发文信息进行词性标注处理，对发文信息进行关键词抽取、主题抽取、摘要、事件抽取和语义抽取，使得其转化的文本数据更加多样性。
70.本技术实施例一的又一个实施例中，如图5所示，所述根据所述文本数据构建基于语义和词扩展的短文本主题模型的步骤如下：
71.采用语义依存分析法提取所述文本数据上下文中具有语义关联的第一词对；
72.获取所述文本数据的待扩展关键词，将所述待扩展关键词输入外部语料库中，利用点互信息计算所述待扩展关键词与外部词料库中词的相关性。
73.具体的，基于语义和词扩展的短文本主题模型对传统btm模型进行改进。如图2所示，传统btm模型中采用滑动窗口的方式获取词对信息时忽略了词对在文本中的上下文的语义关联。如图3所示，改进后的btm模型采用语义依存的方法来提取文本中的词对，使得btm模型融合了文本语义信息，如在传统btm模型中，以“xx赢得xx国大选成为下届xx国总统”为例，在对发文信息进行预处理操作后，构建词对数据集的过程中，滑动窗口会将“大选”和“成为”构建为一个词对，但是以人对这句话地理解分析，“大选”和“成为”之间没有语法和逻辑上的关联，将两个词组成词对并增强两词同属一个主题的概率是不合理的，“xx”和“总统”两词之间，明显有着语义和逻辑关联，增强它们同属一个主题的概率更加合理，但由于滑动窗口大小的原因，“xx”和“总统”并不会将构成一个词对。而在以语义依存方法提取的第一词对，仍以“xx赢得xx国大选成为下届xx国总统”这句话为例，“xx”与“成为”之间属于主谓关系，“成为”与“总统”之间属于动宾关系，“xx”与“总统”为主宾关系。因此在词对构建中，选择将强关联关系的词组成第一词对，使得组成的第一词对具备在发文信息中的上下文的语义关联。
74.同时，为了保证该模型可进一步解决发文信息为短文本时的稀疏问题，提出了基于词关联的词对扩展方法，该方法是通过对待扩展关键词x输入到外部语料中，通过点互信息pmi来计算待扩展关键词x与外部语料中词y的相关性。x和y的点互信息记为pmi(x,y)，如下式所示：
[0075][0076]
其中，p(x)为关键词x在外部语料库中出现的概率；p(y)为词y在外部语料库中出现的概率。例如以“小米”、“苹果”、“华为”、“电脑”等词为例(假如这些词是从文本中用户发
文信息中从提取出来的)，在新闻类外部数据集中提取与这些词的pmi值最高的目标词：
[0077]
表1词扩展计算的结果示例
[0078][0079][0080]
最终可以“小米”一词扩展出的词对为“小米酷派”、“小米miui”、“小米生态链”等。“苹果”一词可扩展的词对：“苹果apple”、“苹果乔布斯”、“苹果库克”等，其他词也是类似的词扩展方法。从而解决发文信息为短文本信息时的稀疏问题。
[0081]
本技术实施例一的又一个实施例中，设定所述相关性的判断阈值，若所得所述相关性大于所述判断阈值，则将待扩展关键词与外部语料库中的词组成第二词对。
[0082]
具体的，通过相关性计算所得的相关性值，满足设定的判断阈值，判断阈值一般为200，则认为待扩展关键词与外部语料库中词所具备关联性较强，可以组成第二词对。
[0083]
本技术实施例一的又一个实施例中，对所述多个第二主题分布矩阵内所有的向量进行合并，获得用户的主题分布特征向量，利用softmax函数对所述主题分布特征向量进行归一化处理，获得用户所述发文信息的主题分布。
[0084]
具体的，如图4所示，现在已有的技术方案中是将用户所有发文组合成一个长文档后，直接输入传统btm模型中进行主题分析。而本发明是将用户每一个发文单独进行主题分析后，再将同一用户所有个发文的主题分布合并和归一化处理，以此作为用户的主题特征。归一化处理如下式所示：u
topic
表示用户发文的主题分布，xd表示主题分布特征向量，d表示用户所有的发文信息(可以为用户发了多少篇文章)。
[0085]
综合上述技术方案，本技术实施例一的社交用户主题分析方法，在传统的短文本主题模型基础上，提出了基于语义和词扩展的短文本主题模型，该模型针对每条社交发文信息进行主题分析，得到主题分布矩阵，再根据每条发文信息的互动信息计算出该条发文信息的权重矩阵，即该条发文信息的重要程度，最后利用主题分布矩阵和权重矩阵计算出用户的主题分布，相较于现有技术的直接构造伪文档的用户主题分析方法，本发明的基于语义和词扩展的社交用户主题分析方法更具优势性。
[0086]
实施例二：
[0087]
基于同一构思，如图6所示，本实施例二在实施例一的基础上提供了一种基于语义和词扩展的社交用户主题分析系统，包括：
[0088]
信息获取单元110，用于获取用户的发文信息和所述发文信息在社交网络平台中产生的互动信息；
[0089]
预处理单元120，用于对所述发文信息进行预处理操作，获得发文信息的文本数据；
[0090]
模型构建单元130，用于根据所述文本数据构建基于语义和词扩展的短文本主题模型；
[0091]
第一计算单元140，用于将所述发文信息输入所述短文本主题模型进行计算，获得所述发文信息的多个第一主题分布矩阵；
[0092]
第二计算单元150，用于根据所述互动信息计算用户每条所述发文信息的权重矩阵；
[0093]
加权处理单元160，用于根据所述权重矩阵对多个所述第一主题分布矩阵进行加权处理，获得多个第二主题分布矩阵；
[0094]
合并处理单元170，用于对所述多个第二主题分布矩阵进行向量合并和归一化处理，获得用户所述发文信息的主题分布。
[0095]
本技术实施例二的社交用户主题分析系统，在传统的短文本主题模型基础上，提出了基于语义和词扩展的短文本主题模型，该模型针对每条社交发文信息进行主题分析，得到主题分布矩阵，再根据每条发文信息的互动信息计算出该条发文信息的权重矩阵，即该条发文信息的重要程度，最后利用主题分布矩阵和权重矩阵计算出用户的主题分布，相较于现有技术的直接构造伪文档的用户主题分析系统，本发明基于语义和词扩展的社交用户主题分析系统更具优势性。
[0096]
本技术实施例二的又一个实施例中，所述预处理单元120包括分词单元和去除单元；
[0097]
所述分词单元，用于对所述发文信息进行分词操作，所述去除单元，用于去除所述发文信息的停用词以及去除所述发文信息中的干扰符号。
[0098]
本技术实施例二的又一个实施例中，所述模型构建单元130包括语义提取单元和词扩展单元；
[0099]
所述语义提取单元，用于采用语义依存分析法提取所述文本数据上下文中具有语义关联的第一词对；
[0100]
所述词扩展单元，用于获取所述文本数据的待扩展关键词，将所述待扩展关键词输入外部语料库中，利用点互信息计算所述待扩展关键词与外部词料库中词的相关性。
[0101]
本技术实施例二的又一个实施例中，所述词扩展单元还包括判断单元；
[0102]
所述判断单元，用于设定所述相关性的判断阈值，若所得所述相关性大于所述判断阈值，则将待扩展关键词与外部语料库中的词组成第二词对。
[0103]
本技术实施例二的又一个实施例中，所述合并处理单元170还包括向量合并单元和处理单元；
[0104]
所述向量合并单元，用于对所述多个第二主题分布矩阵内所有的向量进行合并，获得用户的主题分布特征向量；
[0105]
所述处理单元，用于利用softmax函数对所述主题分布特征向量进行归一化处理，获得用户所述发文信息的主题分布。
[0106]
需要说明的是，本实施例二中上述各程序单元所执行的方法可参照本发明社交用户主题分析方法中各个实施例，因此不再叙述。
[0107]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明
的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。