一种基于深度学习的文本数据降噪方法、电子设备和计算机程序产品与流程

本技术涉及一种基于深度学习的文本数据降噪方法、电子设备和计算机程序产品，属于自然语言处理的。

背景技术：

1、目前，现有技术中主流的文本数据降噪方法主要包括基于规则的方法：如正则表达式匹配、停用词过滤；基于统计的方法：如tf-idf、频率统计；基于聚类的方法：如k-means、dbscan；基于神经网络的方法：如bert去噪、transformer自注意力机制，等等。

2、经检索，与本技术实施例最接近的现有技术包括：《cn113420154a 基于层次注意的分层多标签文本分类模型的构建方法》《cn118193743a一种基于预训练模型的多层级文本分类模型》 ，两件专利二者均涉及“分层”，前者还使用了“注意力机制”，但其技术本质为“多层级文本分类”，目标是提升分类准确率，而非对文本内容进行清洗或重构。下面对上述在先申请文件存在的主要缺陷进行进一步的分析：

3、现有技术一：cn113420154a，基于层次注意的分层多标签文本分类模型的构建方法

4、其主要缺陷如下：

5、1、无噪声识别与抑制机制：该现有技术提供的技术方案完全聚焦于“分类预测”，仅通过层次注意力融合文本与标签的语义关联，最终输出分类标签（如“科技→人工智能”），不涉及任何对原始文本中噪声（如拼写错误、无关词汇、重复表达）的识别或处理，无法解决净化文本的核心需求。

6、2、未优化原始文本内容：该现有技术提供的技术方案明确不改变输入文本的结构和内容，其注意力机制仅用于特征加权以辅助分类决策（如强化与标签相关的文本特征），而非判断词项是否为噪声并进行保留或删除。因此，即使原始文本存在噪声，该技术方案也会将噪声纳入分类特征，可能导致分类误差无法通过降噪从源头优化文本质量。

7、3、无法处理语义冗余的问题：该现有技术提供的技术方案的层级结构基于“标签隶属关系”（如一级标签与二级标签的包含关系），而非文本内容的语义关联。对于原始文本中存在的重复表达、语义无关信息等噪声，其模型无法识别冗余，更无法通过分层聚类或权重调整进行抑制，无法通过语义相似度划分簇并针对性处理冗余噪声。

8、现有技术二：cn118193743a，一种基于预训练模型的多层级文本分类模型

9、1、缺乏文本净化能力：该现有技术提供的技术方案全程围绕“分类标签预测” 展开（如通过预训练模型编码文本、动态调整映射矩阵优化二级分类），未设计任何针对原始文本噪声的处理模块。对于输入文本中的拼写错误、无关词汇等，其模型会直接将含噪声的文本编码为特征，可能导致特征污染，影响分类精度，无法通过语义权重动态抑制噪声，难以从源头提升文本质量。

10、2、“动态映射” 不涉及语义降噪：该专利的核心创新是“根据一级分类结果动态调整二级分类的映射矩阵”，其本质是优化标签间的关联逻辑，而非处理文本内容本身。即使原始文本存在语义冲突或冗余，该方案也无法通过权重调整或注意力机制区分关键信息与噪声，并未通过引入语义先验矩阵强化高相关性词项（关键信息）的权重，弱化噪声词项。

11、3、无法适应 “非结构化文本噪声”场景：该专利的预处理仅包括 “去除特殊字符、标点符号、停用词”等基础操作，未涉及基于语义的深层降噪（如识别上下文无关的词汇、修复语义冲突表达）。对于日志、对话等非结构化文本中复杂的语义噪声，其方案无法处理，也无法结合噪声抑制函数实现差异化降噪，难以适应复杂场景。

12、综上所述，现有技术已经不能满足人们的要求，亟需进行改进。

技术实现思路

1、本技术实施例针对背景技术中所涉及的缺陷，提供一种基于深度学习的文本数据降噪方法、电子设备和计算机程序产品，旨在解决文本分析过程中，因噪声识别不精准、关键信息易丢失、缺乏细粒度控制等问题导致的文本分析和理解错误。

2、本技术实施例采用如下技术方案实现：

3、根据本技术实施例的一个方面，提供了一种基于深度学习的文本数据降噪方法，包括：获取原始文本序列，通过预训练的语言模型对所述原始文本序列进行编码，将所述原始文本序列转换为语义向量化表示；对所述语义向量化表示中的向量进行相似性度量计算，根据相似性度量计算的结果，构建对应的语义相似度矩阵；应用dbscan算法对所述语义相似度矩阵进行密度聚类处理，生成层级标签，计算语义向量化表示中的每个词项的全局语义重要性分数，得到语义相关性权重向量；对所述层级标签和所述语义相关性权重向量进行噪声抑制，并基于transformer架构对语义相关性权重向量进行注意力增强，输出降噪文本。

4、根据本技术实施例的至少一个具体实施方式，所述获取原始文本序列，通过预训练的语言模型对所述原始文本序列进行编码，将所述原始文本序列转换为语义向量化表示，进一步包括：通过预训练的语言模型将所述原始文本序列映射为低维连续向量空间中的语义向量化表示，所述语义向量化表示用于表征文本整体语义，所述语义向量化表示包括句级的语义向量表示和词级的词级嵌入向量序列，所述词级嵌入向量序列用于表征文本中词项的上下文相关语义。

5、根据本技术实施例的至少一个具体实施方式，所述对所述语义向量化表示中的向量进行相似性度量计算，根据相似性度量计算的结果，构建对应的语义相似度矩阵，进一步包括：所述相似性度量计算为余弦相似度计算，计算任意两个向量间的余弦相似度，根据余弦相似度计算的结果，构建对应的语义相似度矩阵。

6、根据本技术实施例的至少一个具体实施方式，所述应用dbscan算法对所述语义相似度矩阵进行密度聚类处理，生成层级标签，计算语义向量化表示中的每个词项的全局语义重要性分数，得到语义相关性权重向量，进一步包括：应用dbscan算法对所述语义相似度矩阵进行密度聚类处理，基于语义相似性对所述语义向量化表示进行层级划分，形成不同的语义簇，生成对应的层级标签；将所述层级标签发送至一个噪声抑制模块，所述噪声抑制模块用于根据语义权重对词频进行非线性衰减。

7、根据本技术实施例的至少一个具体实施方式，所述全局语义重要性分数包括：与其他所有词项的语义相似度、归一化处理后得到的语义相关性权重向量。

8、根据本技术实施例的至少一个具体实施方式，所述对所述层级标签和所述语义相关性权重向量进行噪声抑制，并基于transformer架构对语义相关性权重向量进行注意力增强，输出降噪文本，进一步包括：将所述层级标签发送给一个噪声抑制模块，所述噪声抑制模块通过指数衰减函数进行噪声抑制，如果当前词频高于预设的阈值，则标记为噪声并删除，将噪声衰减后的词频或布尔掩码发送给一个输出模块；基于transformer架构引入语义先验矩阵，对语义相关性权重向量进行注意力增强，输出注意力增强后的降噪文本。

9、根据本技术实施例的至少一个具体实施方式，所述对所述层级标签和所述语义相关性权重向量进行噪声抑制，进一步包括：所述噪声抑制模块通过层级标签过滤噪声样本，并通过语义权重过滤噪声词。

10、根据本技术实施例的又一个方面，提供了一种基于深度学习的文本数据降噪系统，用于实现所述的基于深度学习的文本数据降噪方法，包括：语义向量化表示模块，获取原始文本序列，通过预训练的语言模型对所述原始文本序列进行编码，将所述原始文本序列转换为语义向量化表示；语义相似度矩阵构建模块，对所述语义向量化表示中的向量进行相似性度量计算，根据相似性度量计算的结果，构建对应的语义相似度矩阵；语义相关性权重向量生成模块，应用dbscan算法对所述语义相似度矩阵进行密度聚类处理，生成层级标签，计算语义向量化表示中的每个词项的全局语义重要性分数，得到语义相关性权重向量；注意力增强降噪文本输出模块，对所述层级标签和所述语义相关性权重向量进行噪声抑制，并基于transformer架构对语义相关性权重向量进行注意力增强，输出降噪文本。

11、根据本技术实施例的再一个方面，提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行所述方法的步骤。

12、根据本技术实施例的还一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述的方法。

13、本技术实施例具备的有益技术效果是：

14、本技术实施例提出了分层聚类、语义权重、分级降噪的协同机制，通过语义相似性聚类实现文本层级划分，以词项语义相关性权重作为重要性依据，利用衰减函数实现差异化降噪，并结合增强型注意力机制进一步强化关键信息的建模，能够对原始文本中的噪声进行识别或处理，通过降噪从源头优化文本质量，有针对性地处理冗余噪声，强化高相关性关键信息的权重，弱化噪声词项，实现差异化降噪，更加适应复杂场景。

15、本技术实施例专注于文本降噪、修复和净化文本，填补了“分层分级语义降噪”的现有技术空白，有针对性地解决了现有技术降噪方法中噪声抑制不精准、关键信息易丢失的问题，通过语义权重和噪声抑制函数动态调整降噪强度，对高语义相关性词项（关键信息）进行弱降噪，而对低相关性词项（噪声）强降噪，避免降噪一刀切导致的关键信息丢失问题，还能够针对非连续性、多主题文本（如多轮对话、混合主题日志），通过分层聚类（dbscan）捕捉语义簇关联，结合注意力增强模块（引入语义先验矩阵）提升跨簇关键信息关注度，大大扩展了本技术实施例的应用场景范围。

16、本技术实施例将dbscan聚类算法应用于文本降噪前的语义分组，进行层级聚类，而非像现有技术那样仅用于分类或异常检测，dbscan聚类结果能够直接影响后续降噪策略的选择，可以通过控制参数进行全局设置或按层级动态调整，适应稀疏或密集语义分布。在通过dbscan进行聚类处理的同时，本技术实施例还可以通过权重调整及注意力机制区分关键信息与噪声，并引入语义先验矩阵强化高相关词项（关键信息）的权重，弱化噪声词项，即：先按照语义特征进行分层，再根据文本的重要性进行分级降噪，实现了对关键信息的高保真保留与噪声的精准抑制。