一种基于大语言模型的舆情主题识别方法

本发明涉及舆情识别，尤其涉及一种基于大语言模型（large languagemodel, llm）的舆情主题识别方法。

背景技术：

1、城市火灾作为典型的突发公共安全事件，具有突发性强、破坏性大、影响范围广等特征，极易引发社会恐慌与舆情发酵，形成复杂网络舆情。随着社交媒体成为公众信息发布与诉求表达的核心渠道，各类社交媒体平台涌现大规模城市火灾评论文本。这些社交媒体文本普遍呈现非正式、口语化、碎片化、长度短、噪声大等特点，蕴含着公众关注的热点主题，是应急处置部门制定响应策略的关键依据。因此，从大规模非结构化的舆情文本中识别出热点主题具有重要意义和挑战性。

2、主题建模的核心目标是通过无监督方式解析文本，从文本数据集中挖掘潜在主题并推断主题分布。通过主题建模，能够分析出社交媒体文本中公众关心的话题，有助于识别城市火灾网络舆情的关键主题。早期的潜在狄利克雷分配（latent dirichletallocation, lda）与非负矩阵分解（nonnegative matrix factorization, nmf）是开创性的主题模型，通过词袋（bag-of-words, bow）模型将文档表示为潜在主题的混合体。然而，这些传统主题建模技术通过bow模型表示，忽略了词之间的语义关系，因此无法准确地表示文档。

3、针对这一问题，神经主题模型（neural topic model, ntm）应运而生。该模型通过在建模框架中整合神经组件实现优化，相较于传统主题建模方法，它突破了忽视词语间语义关联的局限，具备显著优势。不同于传统的lda，ntm通过神经网络学习文本更丰富的潜在表征，从而提升主题的一致性和相关性。

4、通过检索文本主题建模方法相关文献、专利，调研业界的一些案例，目前主流的主题建模方法bertopic仍存在以下一些不足：

5、1.文本预处理的不足：bertopic的默认配置中，用于主题关键词提取的countvectorizer对社交媒体噪声鲁棒性较弱。例如，社交媒体文本存在着许多无实际内容的舆情文本数据，包括空值数据、重复数据，或者仅有转发非用户自行编辑内容的数据，以及网页链接、特殊字符等。这些内容若未被有效清洗，会污染词向量空间，导致主题中出现大量无意义关键词，将影响后续的主题建模性能。

6、而且，countvectorizer 默认使用英文分词逻辑，不支持中文分词与中文字符处理。若仅使用常用停用词表，而没有考虑城市火灾应用场景的特殊性，则无法有效去除特定领域中一些对语义理解无实质帮助的高频停用词，以及保留重要功能类停用词（如“不”“未”），导致对主题建模过程产生干扰。

7、此外，在bertopic生成关键词列表时，若直接调用thulac、jieba、hanlp等分词工具，基于内置基础词典分词而不考虑城市火灾领域专业术语（如“轰燃”“破拆排烟”“过火面积”），以及其他一些oov（out-of-vocabulary）词（如网络新词/流行语、用户自造词/缩写/拼音梗、复合词），则易导致领域词汇切分错误、oov词识别失败。

8、2.文本嵌入向量表示的不足：bertopic默认采用sentence-bert（s-bert）作为嵌入向量生成模型，通过预训练的语义编码能力实现文本向量化。然而，s-bert的固有架构特性使其在处理复杂社交媒体文本时存在以下显著瓶颈：

9、（1）输入长度限制导致语义丢失。s-bert最大输入长度被限定为512个词元（token），但是社交媒体文本常呈现出碎片化、口语化与超长化特征，模型会对超出部分进行截断，这可能导致关键语义信息丢失，影响主题建模准确性。

10、（2）编码维度限制语义表达能力。s-bert默认输出768维的隐藏层向量。虽然该维度足以捕捉基本语义特征，但在处理复杂语义差异时，有限的编码维度可能难以充分表达文本的细微语义差异，影响深层语义理解。

11、（3）架构特性适配性不足。s-bert的预训练语料以规范文本为主，处理包含大量噪声数据的社交媒体文本时鲁棒性较弱。其静态编码范式难以适配社交媒体文本的动态性、多样性与噪声特性，限制了其在复杂社交媒体场景下的有效分析能力。

12、3.主题过多且重叠度高的不足：虽然bertopic无需预设主题数量，由内部hdbscan聚类算法自动识别出主题，但易出现主题数量过多，且主题之间存在着语义重叠的现象。为固定主题数量并提升主题可解释性，需解决初始聚类主题碎片化、重叠度高的问题。

13、本发明针对现有主流主题建模技术bertopic在复杂的城市火灾场景的不足，提出了一种基于大语言模型的舆情主题识别方法，以有效识别城市火灾网络舆情的热点主题，从而为应急处置决策者提供全面的辅助信息，辅助应急管理部门有效管控舆情。本发明主要解决以下三类问题：

14、（1）解决bertopic在复杂的城市火灾场景中因文本预处理不能有效去除数据噪声，从而导致主题识别性能下降的问题。

15、（2）解决bertopic默认嵌入向量表示难以捕获深层语义的问题。

16、（3）解决bertopic生成的初始主题数量偏多、语义冗余度高、碎片化明显，难以满足下游任务需求的问题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于大语言模型的舆情主题识别方法。

2、本发明的目的是通过以下技术方案来实现的：一种基于大语言模型的舆情主题识别方法，包括以下步骤：

3、文本预处理阶段：对待识别的舆情文本执行轻量级文本预处理与深度级文本预处理，以去除数据噪声并规范词汇形式；

4、嵌入向量编码阶段：选取经社交媒体文本语料库预训练的llm，将预处理后的舆情文本编码为高维嵌入向量；

5、嵌入向量降维阶段：采用均匀流形近似与投影umap算法对高维嵌入向量进行降维，生成保留局部语义结构的低维嵌入向量；

6、主题聚类阶段：采用基于层次密度的空间聚类hdbscan算法对低维嵌入向量进行层次密度聚类，划分出离散主题，为每个舆情文本分配主题标签；

7、主题表示生成阶段：基于聚类后的主题标签，采用c-tf-idf算法提取每个主题的关键词，并调用llm为每个主题生成自然语言描述的主题语义标签；

8、主题合并阶段：基于llm判断初始主题间的语义相似度，迭代合并语义重叠的主题，直至主题数量达到预设目标值。

9、优选的，所述的轻量级文本预处理在嵌入向量编码阶段之前执行，包括：去除网络链接、去除提及符号、去除特殊字符及空白字符、统一大小写、将表情符号转换为文本描述和执行词形还原统一词汇形态，并基于分词后的词汇序列计算哈希值或余弦相似度，设置相似度阈值剔除重复或高度相似的文本；以及过滤长度过短且无实质语义的低价值文本；

10、所述深度级文本预处理在主题表示生成阶段执行，包括：构建包含目标舆情领域术语、网络热词及缩略表达的自定义领域词典，基于自定义领域词典结合oov规则进行标准化和上下文纠错，进而实现分词；构建包含目标舆情领域高频停用词和通用停用词的混合停用词表，并基于混合停用词表剔除停用词，同时保留否定类功能词，不纳入停用列表；然后通过词性标注过滤功能词保留实义词，并剔除单字词汇与语料级高频噪声词。

11、优选的，所述的目标舆情领域术语为城市火灾领域术语，所述目标舆情领域高频停用词为城市火灾领域高频停用词，所述否定类功能词包括不、未、非和无。

12、优选的，所述的嵌入向量编码阶段还包括以下步骤：

13、将预处理后的舆情文本转换为llm的词元序列，输入llm的transformer编码器，取最后一层cls词元的输出或所有词元输出的均值池化作为嵌入向量，并对嵌入向量执行l2归一化处理。

14、优选的，所述的大语言模型为基于transformer或glm架构的预训练大语言模型，具备文本词元转换、语义嵌入编码、自然语言生成及语义相似度判别功能，支持长上下文输入，隐藏层维度大于等于3584，原生上下文窗口长度大于等于8k词元，输出高维嵌入向量，且经过社交媒体文本预训练。在一具体实施过程中，llm为qwen3模型的8b版本，训练语料整合各类社交媒体与网络舆情文本，隐藏层维度为4096维，原生上下文窗口大小为32k词元，可通过yarn技术扩展至128k词元。

15、优选的，所述的嵌入向量降维阶段还包括以下步骤：

16、在高维空间中，对每个高维嵌入向量采用k近邻算法找到每个高维嵌入向量的最近邻数据点，并基于最近邻数据点构建带权近邻图，并使用高斯核函数计算边的权重

w

ij，计算公式为：

17、其中，

d

ij是高维空间中数据点

i和数据点

j之间的距离，数据点

j是数据点

i的k近邻；是控制局部密度的距离阈值，是局部尺度参数，以控制近邻范围；

18、在低维空间构建近邻图，采用二项分布近似计算边的权重，计算公式为：

19、其中，是低维空间中数据点

i和数据点

j之间的距离；

a是第一超参数，用于调整低维空间中的距离分布；

b是第二超参数，用于控制两点距离增大时权重的下降快慢；

20、使用交叉熵作为优化目标函数，通过最小化目标函数来优化低维嵌入，使低维空间的拓扑结构匹配高维空间，优化目标函数如下式所示：

21、。

22、优选的，所述的主题聚类阶段还包括以下步骤：

23、在低维嵌入空间中，计算任意两点与的欧氏距离，并分别求取两点到各自k近邻点的距离作为核心距离与，用以表征局部密度，由此定义两点间的互达距离为：

24、；

25、基于高维嵌入向量计算数据点间的互达距离，构建加权完全连通图，并通过最小生成树刻画数据的密度连通结构；随后在最小生成树基础上构建层次聚类树，采用自顶向下的拆分方式，结合最小簇大小与核心邻域数，将层次树压缩为多个稳定且互不重叠的聚类簇，最终为每个舆情文本分配主题簇标签。

26、优选的，所述的主题表示生成阶段还包括以下步骤：

27、将深度级文本预处理输出的词序列输入bertopic的countvectorizer组件进行文档向量化，生成文档-词频稀疏矩阵；

28、采用c-tf-idf算法基于文档-词频稀疏矩阵和聚类标签进行权重计算，计算公式为：

29、其中，

w表示一个词；

t表示一个聚类主题；

tf

w,t表示词

w在分配至聚类主题t的所有文档中出现的总次数；a为每个聚类主题的平均词数；

tf

w,为词w在所有聚类文档中出现的总次数；

30、按c-tf-idf权重降序选取前预设数量个词作为主题关键词；并调用llm，生成自然语言描述的主题语义标签，优化主题表示。

31、优选的，所述的主题合并阶段还包括以下步骤：

32、提取每个初始主题的识别特征，所述识别特征包括基于c-tf-idf得分排序的主题关键词和代表性文档；

33、为每个初始主题分配唯一id，并调用llm生成概括主题核心的语义标签；

34、执行迭代合并过程：将当前剩余所有主题的语义标签与主题关键词输入llm，由llm识别并返回语义最相似的两个主题id；若最高相似度超过主题相似度阈值或当前主题数未达到目标数，则合并该相似主题对，为合并后的主题生成新id和新语义标签，更新文档的主题标签和主题列表；重复执行迭代合并，直至主题数量降至预设目标值，当迭代终止后，输出最终合并后的主题列表。

35、本发明的有益效果是：

36、1）显著提升了对复杂社交媒体舆情文本的预处理能力，有效降低了数据噪声对主题识别的干扰：本发明设计了轻量级与深度级两级文本预处理策略。轻量级预处理通过去除网络链接、特殊字符、表情符号转换及冗余文本过滤，为嵌入模型提供了干净的输入；深度级预处理通过构建包含目标领域术语（如城市火灾领域的“轰燃”、“破拆排烟”）和网络热词的自定义词典，结合oov规则实现精准分词，并构建包含领域高频停用词同时保留“不、未、非、无”等否定功能词的混合停用词表，再经词性过滤剔除噪声。该策略相较于bertopic默认的countvectorizer，显著增强了对社交媒体噪声（空值、重复、特殊字符）的鲁棒性，解决了中文分词及领域词汇切分错误的问题，并避免了关键否定词的误删，从而为主题建模提供了高质量的词向量空间，从根本上提升了主题识别的准确性。

37、2）采用经社交媒体语料预训练的llm进行文本编码，大幅提升了嵌入向量的语义表征能力：本发明突破了bertopic默认使用sentence-bert（s-bert）的局限，选用如qwen3-8b等经大规模社交媒体文本预训练的llm进行文本编码。具有更高的隐藏层维度（4096维）和更大的上下文窗口（32k词元），克服了s-bert的512词元长度限制和768维编码能力不足的缺陷。能够捕获更广泛的语义模式和细微差别，特别是对包含大量碎片化、口语化及噪声的社交媒体文本具有更强的鲁棒性，从而生成更具区分度的高维嵌入向量，为后续的降维与聚类奠定了坚实的语义基础。

38、3）通过umap降维与hdbscan聚类，实现了高效的密度聚类与噪声识别：本发明采用均匀流形近似与投影（umap）算法对高维llm嵌入向量进行非线性降维，在保留局部语义结构的同时大幅降低计算复杂度。随后采用基于层次密度的空间聚类（hdbscan）算法，通过计算互达距离和构建最小生成树进行层次密度聚类，相较于传统需要预设主题数量的方法，hdbscan能够自动识别聚类簇并有效标记噪声文本，避免了将噪声强行归入某个主题，提高了聚类结果的纯净度和可靠性。

39、4）融合c-tf-idf与llm生成主题表示，兼顾关键词准确性与语义可读性：本发明在主题表示生成阶段，先采用基于类别的词频-逆文档频率（c-tf-idf）算法提取每个主题的核心关键词，保证了关键词的区分度；进而调用llm，基于这些关键词和代表性文档自动生成自然语言描述的主题语义标签（如“火灾-消防通道堵塞与物业责任”）。该方式克服了纯关键词列表语义模糊、可解释性差的缺点，使得主题含义一目了然，便于应急处置决策者快速理解舆情焦点。

40、5）基于llm的主题迭代合并策略，有效解决了主题碎片化与语义重叠问题：针对bertopic因采用hdbscan自动聚类导致主题数量过多、重叠度高的问题，本发明设计了基于llm的主题合并阶段，通过提取每个初始主题的核心关键词和代表性文档，调用llm生成语义标签，并基于语义相似度迭代合并最相似的主题对，直至达到预设主题数量。该方案相较于传统基于聚类或关键词重叠的归约方法，实现了更高层次的语义理解与判断，合并结果更符合人类认知，显著提升了最终主题的凝聚性、可解释性和多样性，为下游任务（如舆情态势分析、应急处置决策）提供了精准、简洁的主题信息。