一种基于词向量语义引导的种子主题建模方法与流程

本发明属于自然语言处理与文本挖掘，具体涉及一种基于词向量语义引导的种子主题建模方法，尤其涉及一种通过构建种子词对应的语义相似度场，并将语义相似度引入折叠吉布斯采样过程，同时结合探索采样与利用采样实现大规模文档集合主题发现的方法，可应用于新闻聚合、数字图书馆文献组织、客户反馈文本分析等场景。

背景技术：

1、随着新闻平台、数字图书馆、企业客户反馈平台等信息系统产生的文本数据规模不断扩大，依靠人工逐篇阅读和分类的方式难以满足大规模文档组织、内容发现和语义分析的需要。主题模型能够从大量文档中自动发现潜在主题，并以若干具有代表性的词语描述各主题，从而使用户快速掌握文档集合中的内容构成。

2、隐含狄利克雷分配模型(latent dirichlet allocation,lda)，是一种常用的主题建模方法。lda模型能够将一篇文档表示成多个主题的概率混合，并将每个主题表示成多个词语的概率分布。在模型推断过程中，可以利用折叠吉布斯采样方法，通过不断调整语料库中各词元的主题指派结果，逐步估计文档-主题分布以及主题-词分布。

3、传统lda模型的主题发现主要依据词语之间的共现统计关系，即根据词语在文档中的共同出现情况进行主题划分。然而，该类方法不能直接利用词语自身具有的语义信息。因此，在一些语料中，通过传统lda模型得到的主题虽然具有一定统计规律，但同一主题中的词语在语义上的关联程度可能较低，从而使得到的主题结构与人工理解的语义类别存在差异，并影响后续文本分类、文本聚类等任务的处理效果。

4、为提高主题模型的可控性，现有技术还提出了种子引导主题模型。例如，种子引导lda允许用户针对不同主题预先给定若干种子词，并通过调整模型先验参数，使指定的种子词更倾向于被分配到相应主题。该方式能够在一定程度上向主题建模过程引入人工先验知识。

5、但是，现有种子引导方法的引导作用通常主要集中于预先指定的种子词自身。对于与种子词具有相近语义但并未被直接指定为种子词的其他词语，难以获得相应的语义引导。例如，当种子词为“加密”时，与其语义相关的“解密”“密文”等词语并不能仅由于这种语义关联而自动获得相应主题的引导，导致种子引导所覆盖的词汇范围较小。现有seededlda的种子引导只作用于种子词本身，且引导强度固定、缺乏针对不理想种子词的处理机制。

6、另一方面，在折叠吉布斯采样过程中，当前词元的主题指派结果依赖此前采样形成的指派计数。当采样初期由于种子词选择不准确或者初始计数具有较强随机性而形成错误主题指派时，该错误主题指派会进一步影响后续的采样概率，使错误不断累积和自我强化，进而可能使采样过程固定于不理想的主题结构。本发明将该现象称为采样链锁定。

7、因此，如何在保留折叠吉布斯采样计算过程相对透明和高效特点的基础上，将种子词的引导范围扩展至与种子词具有语义相关性的词汇，使种子引导强度能够连续调节，同时在采样过程中保留纠正不理想种子锚点及初期错误指派的能力，是现有种子引导主题建模技术需要解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于词向量语义引导的种子主题建模方法，以解决现有种子主题建模方法存在的种子引导覆盖范围有限、语义引导强度难以灵活调节以及不理想种子锚点容易造成采样链锁定的问题。

2、本发明利用词向量表征词语之间的语义相关关系，根据各主题对应的种子词集合建立覆盖词表的语义相似度场，并将语义相似度以乘性增强因子的方式引入折叠吉布斯采样条件概率。在此基础上，通过探索概率控制探索采样与利用采样之间的切换，使主题采样过程中始终保留随机探索路径，从而在利用种子语义信息引导主题形成的同时，保留主题之间的竞争和调整能力。

3、为实现上述目的，本发明提供一种基于词向量语义引导的种子主题建模方法，包括以下步骤。

4、s1，获取目标语料库和词向量模型，确定待构建的主题总数，获取分别与各主题对应的种子词集合，并设置隐含狄利克雷分配模型的先验参数、相似度增强系数、相似度阈值以及探索概率

p。

5、s2，针对目标语料库的词表中的每个词，分别确定词与各主题对应的种子词集合之间的语义相似度，并根据相似度阈值对语义相似度进行筛选，获得覆盖词表和各主题的语义相似度场，并根据筛选后的语义相似度确定词对应的候选主题集合。

6、s3，对目标语料库中的词元进行折叠吉布斯采样，在隐含狄利克雷分配模型对应的条件概率基础上，根据当前词元对应的词与各主题的语义相似度以及相似度增强系数确定语义增强因子，并利用语义增强因子对条件概率进行乘性调整，获得当前词元对应于各主题的增强采样分布。

7、s4，针对当前词元，当其对应的候选主题集合非空时，以探索概率

p执行探索采样，从候选主题集合中随机选择主题，并以概率1-

p执行利用采样，按照增强采样分布选择主题；当其对应的候选主题集合为空时，按照增强采样分布选择主题，根据选择的主题更新主题指派计数，并对目标语料库中的词元迭代执行主题采样。

8、s5，在完成主题采样后，根据主题指派计数估计主题-词分布和文档-主题分布，并根据主题-词分布和文档-主题分布输出各主题的代表词以及各文档的主题构成。

9、进一步地，在s1中，词向量模型可以采用公开发布的预训练词向量模型，也可以利用目标语料库进行训练获得。针对第

k个主题设置种子词集合，其中，，

k为待构建的主题总数。

10、隐含狄利克雷分配模型的先验参数包括和；和用于控制主题分布的平滑程度；为相似度增强系数，用于控制语义引导作用的强度；为相似度阈值，用于确定词与对应主题之间是否形成语义关联；

p为探索概率，用于控制主题采样过程中执行探索采样的概率。

11、进一步地，在s2中，当词

w属于第

k个主题对应的种子词集合时，将词

w与种子词集合之间的语义相似度设置为：

12、

13、当词

w不属于种子词集合时，分别计算词

w的词向量与种子词集合中各个种子词的词向量之间的余弦相似度，并从得到的多个余弦相似度中确定最大值：

14、

15、其中，表示词

w与第

k个主题对应的种子词集合之间的语义相似度；s表示种子词集合中的种子词；表示词

w对应的词向量；表示种子词s对应的词向量；表示词向量与词向量之间的余弦相似度。

16、当得到的语义相似度小于相似度阈值时，将对应的语义相似度置为0，表示词

w与第

k个主题之间不构成满足相似度阈值要求的语义关联。

17、通过对词表中的每个词以及全部主题执行上述计算，获得覆盖整个词表和全部主题的语义相似度场，使种子词的引导信息由种子词自身扩展至与种子词具有语义相关性的其他词。

18、进一步地，词

w对应的候选主题集合表示为：

19、

20、候选主题集合包括与词

w之间存在满足相似度阈值要求的语义关联关系的各个主题。当为空时，表示当前词

w与任一主题的种子词集合之间均不存在满足相似度阈值要求的语义关联。

21、进一步地，在s3中，对于目标语料库中的词元，设词元对应的词表索引为

t，并且词元属于文档

m，则词元被分配至第

k个主题的增强后的条件概率为：

22、

23、其中，表示当前词元对应的主题指派结果；表示排除当前词元后的主题指派结果；表示目标语料库中的词元数据；和分别为隐含狄利克雷分配模型的先验参数；为相似度增强系数；表示当前词元对应的词

w与第

k个主题的种子词集合之间的语义相似度。

24、表示排除当前词元后，文档

m中被指派至第

k个主题的词元数量；表示排除当前词元后，词表索引为t的词被指派至第

k个主题的次数；表示排除当前词元后，被指派至第

k个主题的词元总数；

v表示目标语料库对应的词表大小；上标表示对应统计量在计算时排除当前词元。

25、其中，为语义增强因子。

26、当词

w与第

k个主题对应的种子词集合之间的语义相似度增加时，语义增强因子随之增大，从而提高当前词元被分配至第

k个主题的相对概率。当时，所述语义增强因子等于1，因此不会对隐含狄利克雷分配模型原有的条件概率产生附加的语义倾斜。

27、通过改变相似度增强系数λ，可以连续调整词向量语义信息对于主题采样过程的影响程度，同时保留由目标语料库词语共现关系形成的原始概率项。因此，语义信息并非替代原有的语料共现信息，而是在原有采样分布基础上进行乘性调整。

28、进一步地，在s4中，对于当前待采样词元，首先根据当前词元对应的词w确定候选主题集合。

29、当候选主题集合非空时，根据探索概率

p确定当前采样过程执行探索采样或者利用采样。

30、执行探索采样时，从候选主题集合所包括的主题中均匀随机选择一个主题，并将选择的主题作为当前词元的主题指派结果。

31、执行利用采样时，根据s3确定的当前词元对应于各主题的增强采样分布进行多项式采样，并根据采样结果确定当前词元的主题指派结果。

32、探索采样的执行概率为

p，利用采样的执行概率为1-

p。

33、当候选主题集合为空时，直接按照s3获得的增强采样分布进行主题采样。由于此时当前词

w与全部主题对应的种子词集合之间的语义相似度均被设置为0，因此针对各主题的语义增强因子均为1，相应的增强采样分布退化为不包含语义增强作用的lda采样分布。

34、完成当前词元的主题选择后，根据选择的主题更新相应的主题指派计数，并继续针对其他词元进行主题采样。通过多轮迭代更新，逐步获得稳定的主题指派结果。

35、上述探索采样使整个采样过程中始终存在随机探索路径。对于人工确定的种子词存在偏差的情况，探索采样能够使多个语义相关主题之间保持竞争关系，降低单一种子锚点持续控制相关词元主题指派结果的可能性。

36、特别是在采样初期，由于主题指派计数尚具有较强的随机性，当不理想的种子词或者初始错误指派影响后续计数时，探索采样能够持续提供不同主题被选择的可能性，从而削弱错误指派不断自我强化所导致的采样链锁定。

37、与先运行若干轮普通lda模型，再在预设时刻开启种子引导的处理方式相比，本发明在整个主题采样过程中均按照探索概率

p保留探索分支，因此无需针对不同目标语料库预先确定语义引导的切换时机。

38、进一步地，在s5中，当完成预定轮次的主题采样后，根据得到的主题指派计数估计主题-词分布。

39、第

k个主题对应词表中第

t个词的主题-词分布为：

40、

41、其中，表示第

k个主题下词表中第

t个词的概率；表示词表索引为

t的词被指派至第

k个主题的次数；表示被指派至第

k个主题的词元总数；为对应的先验参数；

v为词表大小。

42、根据主题指派计数估计文档-主题分布：

43、

44、其中，表示文档

m属于第

k个主题的比例；表示文档

m中被指派至第

k个主题的词元数量；表示文档

m中的词元总数；为对应的先验参数；

k为主题总数。

45、根据主题-词分布，可以按照各词在对应主题下的概率确定各主题的代表词列表；根据文档-主题分布，可以确定不同文档分别对应于各个主题的比例，并形成各文档的主题构成。

46、在一种优选实施方式中，设置为0.1，设置为0.01，相似度增强系数设置为0.5～2.0，进一步优选为1.0～2.0；相似度阈值设置为0.4～0.5；探索概率

p设置为0～0.2，进一步优选为0.1；每个主题对应的种子词数量设置为1～8个，进一步优选为3个。

47、与现有技术相比，本发明至少具有以下有益效果。

48、（1）利用词向量确定词表中各词与不同主题对应种子词集合之间的语义相似度，并通过相似度阈值进行筛选，从而形成覆盖词表的语义相似度场。由此，种子词的引导作用不再局限于人工直接给定的种子词，而能够传播至与种子词具有语义相关关系的其他词语，有利于提高得到的主题结构与人工语义类别之间的一致程度。

49、（2）本发明在传统折叠吉布斯采样条件概率的基础上引入形式的乘性语义增强因子，在保留目标语料库原有词语共现证据的同时，利用词向量语义信息对主题采样概率进行调整。通过改变相似度增强系数λ，可以连续调节语义信息对于主题采样的影响程度，从而克服传统种子引导方法引导强度不易调节的问题。

50、（3）采用由探索概率

p控制的探索采样和利用采样相结合的混合采样方式，在主题采样的整个过程中保留随机探索路径，不需要人为确定由普通采样向种子引导采样转换的时间点。通过探索采样能够使多个相关主题之间保持竞争关系，并降低采样初期错误指派持续积累和自我强化的概率，从而提高主题模型的运行稳定性。

51、（4）本发明的语义增强是在原有折叠吉布斯采样概率基础上通过乘性增强因子实现，无需改变原有主题模型的基本推断框架，因此能够在引入语义引导能力的同时保持较低的附加计算成本。

52、（5）实验结果显示，在20 newsgroups、reuters-21578及web of science三个语料集上，本发明在分类、聚类以及主题一致性评价方面整体获得较好的结果，并且多次独立运行的波动程度低于普通lda模型。

53、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。