金融新闻数据清洗系统及方法与流程

本发明涉及金融新闻数据清洗系统及方法，属于数据处理。

背景技术：

1、随着金融信息服务的快速发展，多源异构的金融新闻数据呈现出爆发式增长态势。现有的金融新闻数据清洗方法主要采用基于统一资源定位符完全匹配或标题字符串相似度的规则进行去重处理，并依赖人工标注或简单的关键词提取来生成股票与题材标签。然而，该方法仅能适配单一信源或格式规整的新闻文本，完全无法应对金融新闻中一篇报道同时涉及多个股票或题材、且来自公告精选、研报、大涨解读、热点新闻、机构首席观点等多种信源的复杂场景。实际业务中，不同信源的数据生产方各异，扩展字段的schema缺乏统一标准，且不同信源对同一金融事件的报道存在大量语义重复，传统方法因缺乏对多主题内容的语义理解能力而无法准确拆分，导致标签混杂、语义向量表示不准确、推送粒度粗放。

2、这一缺陷导致下游系统在检索和推送时，要么因无法识别同义表述而漏检，要么因跨信源报道同一事件而产生大量重复推送，严重影响用户体验。

技术实现思路

1、本发明提供金融新闻数据清洗系统，其主要目的在于提升金融新闻数据清洗的准确性。

2、为实现上述目的，本发明提供的金融新闻数据清洗系统，所述系统包括：

3、数据规范化预处理模块，用于获取多源异构金融新闻原始数据，并读取已存储的金融新闻数据，对所述多源异构金融新闻原始数据进行规范化预处理，得到标准化金融新闻数据；

4、语义拆分与结构化模块，用于调用预设的大语言模型智能体对所述标准化金融新闻数据进行多主题语义拆分，得到单主题子文章集合，并对所述单主题子文章集合执行语义结构化处理，得到结构化金融新闻数据；

5、标签校验与清洗模块，用于将所述结构化金融新闻数据中的标签与标签主数据进行匹配校验处理，得到有效标签，以对所述结构化金融新闻数据进行标签清洗处理，得到目标金融新闻数据；

6、双路向量表征模块，用于对所述目标金融新闻数据的文章要素进行稠密向量编码与稀疏向量编码，得到稠密向量和稀疏向量，对所述稠密向量和所述稀疏向量进行向量融合，得到双路向量表征数据；

7、语义去重过滤模块，用于基于所述双路向量表征数据，在所述金融新闻数据中执行语义相似度检索，得到语义相似度得分，基于所述语义相似度得分对所述目标金融新闻数据进行去重过滤处理，得到清洗后的金融新闻数据集。

8、可选地，所述对所述多源异构金融新闻原始数据进行规范化预处理，得到标准化金融新闻数据，包括：

9、对所述多源异构金融新闻原始数据进行通用规则预处理，得到通用预处理数据；

10、从所述通用预处理数据中提取所述多源异构金融新闻原始数据携带的信源标识；

11、基于所述信源标识，对所述通用预处理数据进行差异化扩展字段解析，得到候选标签提示与信源结构化字段；

12、基于所述候选标签提示与所述信源结构化字段，对所述通用预处理数据进行信源适配与格式归一化，得到标准化金融新闻数据。

13、可选地，基于所述信源标识，对所述通用预处理数据进行差异化扩展字段解析，得到候选标签提示与信源结构化字段，包括：

14、当所述信源标识匹配公告精选信源时，从扩展字段中解析股票代码数组，与股票主数据进行校验后作为候选标签提示，并提取影响力、摘要、公告类型字段作为信源结构化字段；

15、当所述信源标识匹配研报信源时，从扩展字段中解析研报页数及标签列表，经股票主数据校验后将股票标签作为候选标签提示；

16、当所述信源标识匹配大涨解读信源时，从扩展字段中解析题材名称、题材驱动逻辑及题材上涨家数，将题材列表作为候选标签提示，题材详情作为信源结构化字段；

17、当所述信源标识匹配热点新闻信源时，从扩展字段中解析题材、股票、排序索引及标签时间，并支持按url查询已存储数据判断是否存在重复；

18、当所述信源标识匹配机构首席观点信源时，从扩展字段解析标签列表，设置信源类型标识，并固定知识星球跳转地址作为信源结构化字段；

19、当所述信源标识未匹配任何已配置的专属处理逻辑时，调用词过滤服务基于金融词典和正则规则提取文章正文中提及的股票实体，将提取结果与股票主数据校验后作为候选标签提示。

20、可选地，所述调用预设的大语言模型智能体对所述标准化金融新闻数据进行多主题语义拆分，得到单主题子文章集合，包括：

21、将标准化金融新闻数据按段落与句群粒度切分为候选语义单元，并向大语言模型智能体注入主题切分提示词，由智能体标注每个语义单元所属的主题类别及相邻单元间的主题切换点；

22、依据所述主题切换点将所述候选语义单元聚合为若干候选主题簇，并统计各候选主题簇的实体共现密度与金融要素覆盖度；

23、若同一候选主题簇内的实体共现密度低于预设凝聚阈值，则回溯拆分并将低凝聚片段并入相邻主题簇；

24、若相邻候选主题簇的金融要素覆盖度相似度高于预设分离阈值，则合并为同一单主题子文章；

25、将经凝聚与分离修正后的候选主题簇分别补全为独立成篇的单主题子文章，得到单主题子文章集合。

26、可选地，所述对所述单主题子文章集合执行语义结构化处理，得到结构化金融新闻数据，包括：

27、提取所述单主题子文章集合中的标题、正文、摘要字段和影响力字段；

28、对所述摘要字段和所述影响力字段进行规整处理，得到内容摘要和情感极性标识；

29、将提取的所述标题、所述正文、所述内容摘要和所述情感极性标识按预设字段结构进行封装，得到结构化金融新闻数据。

30、可选地，所述将所述结构化金融新闻数据中的标签与标签主数据进行匹配校验处理，得到有效标签，包括：

31、对所述结构化金融新闻数据中的候选标签按标签类型进行分拣处理，得到分路标签集合；

32、提取所述分路标签集合中的标签代码，分别与标签主数据中预存的股票索引和题材索引进行查询匹配，得到初步匹配标签；

33、对所述初步匹配标签进行元数据附加与无效项剔除处理，得到有效标签。

34、可选地，所述基于所述有效标签，对所述结构化金融新闻数据进行标签清洗处理，得到目标金融新闻数据，包括：

35、对所述有效标签按标签代码执行去重操作，得到去重标签集合；

36、从所述结构化金融新闻数据中剔除去重标签集合为空的子文章，得到保留子文章集合；

37、将所述保留子文章集合及对应的去重标签集合组装为具备固定键名的结构化文档，得到目标金融新闻数据。

38、可选地，所述对所述目标金融新闻数据的文章要素进行稠密向量编码与稀疏向量编码，得到稠密向量和稀疏向量，包括：

39、对所述目标金融新闻数据的各文章要素进行语义嵌入，得到稠密嵌入向量；

40、基于预设权重对所述各维度稠密嵌入向量进行加权合成，得到稠密向量；

41、对所述目标金融新闻数据的文章要素进行词项激活编码，得到初始稀疏向量；

42、对所述初始稀疏向量中的维度分量进行质量过滤处理，得到稀疏向量。

43、可选地，所述对所述稠密向量和所述稀疏向量进行向量融合，得到双路向量表征数据，包括：

44、将所述稠密向量按照预设维度的浮点数数组格式进行序列化，得到稠密向量字段；

45、将所述稀疏向量中的非零维度分量提取为词项标识符与权重值的键值对集合，得到稀疏向量字段；

46、将所述稠密向量字段与所述稀疏向量字段封装为包含双路表征字段的统一数据结构，得到双路向量表征数据。

47、一种金融新闻数据清洗方法，其特征在于，所述方法包括:

48、获取多源异构金融新闻原始数据，并读取已存储的金融新闻数据，对所述多源异构金融新闻原始数据进行规范化预处理，得到标准化金融新闻数据；

49、调用预设的大语言模型智能体对所述标准化金融新闻数据进行多主题语义拆分，得到单主题子文章集合，并对所述单主题子文章集合执行语义结构化处理，得到结构化金融新闻数据；

50、将所述结构化金融新闻数据中的标签与标签主数据进行匹配校验处理，得到有效标签，以对所述结构化金融新闻数据进行标签清洗处理，得到目标金融新闻数据；

51、对所述目标金融新闻数据的文章要素进行稠密向量编码与稀疏向量编码，得到稠密向量和稀疏向量，对所述稠密向量和所述稀疏向量进行向量融合，得到双路向量表征数据；

52、基于所述双路向量表征数据，在所述金融新闻数据中执行语义相似度检索，得到语义相似度得分，基于所述语义相似度得分对所述目标金融新闻数据进行去重过滤处理，得到清洗后的金融新闻数据集。

53、本发明通过对所述多源异构金融新闻原始数据进行规范化预处理，有助于消除不同信源在数据格式、扩展字段及内容质量上的异构性，从而为后续的大语言模型智能体处理提供统一的输入标准，并确保语义去重阶段具备可靠的历史比对基准，本发明通过调用预设的大语言模型智能体对所述标准化金融新闻数据进行多主题语义拆分，可以有效避免多主题混杂导致的标签歧义和语义向量表示不准确的问题，从而得到所述单主题子文章集合，本发明通过将所述结构化金融新闻数据中的标签与标签主数据进行匹配校验处理，可以拦截大语言模型智能体提取过程中产生的幻觉标签与过时标签，从而保证金融新闻数据与实时行情系统的语义一致性，提升下游业务系统对标签数据的信任度，本发明通过对所述目标金融新闻数据的文章要素进行稠密向量编码与稀疏向量编码，有助于兼顾深层语义相似性捕捉与关键词精确匹配能力，从而为语义级去重提供兼顾语义等价与关键词精准的检索基础，解决单一稠密向量在金融领域存在的语义漂移问题，本发明通过基于所述双路向量表征数据，在所述金融新闻数据中执行语义相似度检索，可以突破统一资源定位符和标题文本完全匹配的限制，从不同信源发布的新闻中准确识别出描述同一金融事件的语义重复内容，从而扩大去重覆盖范围并降低误判率。因此，本发明可以提升金融新闻数据清洗的准确性。