基于大模型和数据驱动的智能信息资源管理方法及系统与流程

摘要: 本发明涉及信息资源管理,更具体的说是涉及基于大模型和数据驱动的智能信息资源管理方法及系统。背景技术:1、在信息技术快速发展的背景下,海量异构数据资源的产生与积累...
基于大模型和数据驱动的智能信息资源管理方法及系统与流程

本发明涉及信息资源管理,更具体的说是涉及基于大模型和数据驱动的智能信息资源管理方法及系统。

背景技术:

1、在信息技术快速发展的背景下,海量异构数据资源的产生与积累使得信息资源管理面临前所未有的复杂性与挑战。传统的信息资源管理方式多依赖于静态规则配置和人工干预机制,无法有效适应数据类型多样、语义结构复杂、访问行为动态演化等实际需求,尤其在多源数据融合、资源间语义关联挖掘与智能调度方面存在较大局限性。

2、现有信息资源管理技术主要聚焦于基础的数据采集、标签分类与规则式检索,缺乏对资源内容语义的深层理解,无法对资源间隐含的语义关系进行有效建模,导致资源冗余高、检索精度低、管理策略滞后。部分研究尝试引入机器学习方法进行资源分类或推荐,但由于未能构建统一的语义表示结构,依赖特定场景规则,系统泛化能力与自适应调整能力不足,难以支撑复杂动态环境下的信息资源协同调度。

3、近年来,大模型,如bert与深度学习技术在自然语言处理与语义建模领域取得了显著成果,知识图谱结构也成为刻画资源间语义关联的重要表达形式。然而,现有方案普遍存在三个主要问题:一是缺乏对资源内容与行为特征的融合建模,无法将访问行为与语义结构有效结合;二是资源调度与组织策略缺乏数据驱动优化机制,未能实现策略的自演化与动态更新;三是语义关联推理过程存在准确性不足、路径评估单一等问题,难以支撑高精度的资源推荐与管理决策。

技术实现思路

1、为了解决上述技术问题,本发明提出了基于大模型和数据驱动的智能信息资源管理方法及系统,构建融合行为特征与语义要素的知识图谱,并结合路径推理算法对资源节点进行置信度评估与筛选排序,实现信息资源在异构环境下从语义理解到智能调度的全链路精准映射与策略自优化。

2、为了实现上述目的,本发明采用如下技术方案:

3、第一方面,本发明实施例提供基于大模型和数据驱动的智能信息资源管理方法,包括如下步骤:

4、s1、获取信息资源集合与行为数据集合并进行预处理,生成资源内容序列与行为记录序列;

5、s2、基于预训练的bert模型对所述资源内容序列进行上下文语义分析,提取语义要素集合;

6、s3、以所述语义要素为节点,对节点间的关系边进行支持度计算与路径评分,根据所述支持度与所述路径评分对关系边进行筛选,并对筛选后的各节点进行一致性校验,构建知识图谱;

7、s4、对所述行为记录序列进行资源共现特征提取,对所述行为记录序列与所述知识图谱中的各节点进行时间对齐,生成行为特征集合;

8、s5、对所述行为特征集合进行特征编码并映射至所述知识图谱,识别出映射节点与相似节点;

9、s6、对所述映射节点与所述相似节点之间的可达路径进行路径频次统计与置信度评分,根据频次统计与置信度评分结果筛选关联路径集合,生成目标资源序列;

10、s7、根据所述目标资源序列对所述信息资源集合进行调度控制,并将调度结果写入资源行为集合,对所述行为记录序列进行更新。

11、进一步的,所述步骤s1中,信息资源集合表示待管理的包含时间戳的多源结构化或非结构化数据集合,包含文档、图像、表格、日志或音频;所述行为数据集合表示包含访问行为、操作记录与交互日志数据的集合;所述预处理包括对信息资源集合执行格式归一、去噪与时间校准操作,对行为数据集合执行格式标准化、缺失值填补与时间对齐操作。

12、进一步的,所述步骤s2,具体包括:

13、s21、按预设文本边界规则对资源内容序列进行顺序切分,得到多个文本片段,经位置标记与顺序绑定后生成文本片段序列;

14、s22、将所述文本片段序列输入预训练的bert模型,对各文本片段进行上下文编码,提取词向量集合并按原始顺序排列为词向量序列;

15、s23、以词向量为节点,以词语在文本片段内的相邻关系及共现关系为边,构建词语共现图;所述共现关系定义为:若两词语间隔不超过k个词语,则二者存在共现关系,k为预设正整数;

16、s24、初始化所述词语共现图中各节点的权重值,执行textrank多轮迭代更新直至收敛,输出按权重值降序排列的词语排序结果;

17、s25、按预设映射模板对所述词语排序结果进行筛选,得到关键词集合,对各关键词的向量执行聚合操作,汇总后按资源内容序列的原始顺序组建语义要素集合。

18、进一步的,所述步骤s3,具体包括:

19、s31、以所述语义要素为节点,遍历任意两个语义要素构建节点对,并根据各节点对的余弦相似度及各节点在所述语义要素集合中的位置构建有向关系边集合;

20、s32、采用pra算法对各关系边计算支持度与路径评分,剔除所述支持度低于预设参考值且所述路径评分低于设定评分阈值的关系边;

21、s33、采用transe模型对剩余关系边对应的节点对进行向量一致性校验,保留满足预设一致性条件的节点对,构建连接边集合;

22、s34、基于节点集合与所述连接边集合生成所述知识图谱。

23、进一步的,所述步骤s32具体包括:

24、s321、以每一关系边的源节点为起点,在所述知识图谱中进行有向路径遍历,提取不超过设定最大跳数的所有语义路径,并筛选出包含该关系边的候选路径集合;

25、s322、统计每一关系边在所述候选路径集合中的出现次数,计算该次数与全部语义路径数量的比值,作为该关系边的路径频次支持度;

26、s323、按以下方式计算每一关系边的路径语义评分:

27、以各候选路径的节点数量作为路径结构长度值;

28、提取候选路径中每一连续节点对在资源表示集合中的资源表示对并计算向量相似度,将全部向量相似度的均值作为路径语义连贯度值;

29、将所述路径结构长度值与所述路径语义连贯度值按设定权重进行加权叠加,作为该关系边的路径语义评分值;

30、s324、剔除所述路径频次支持度低于预设参考值且所述路径语义评分低于设定评分阈值的关系边。

31、进一步的,所述步骤s4,具体包括:

32、s41、对所述行为记录序列进行时间步展开,按设定滑动窗口长度与步长划分为多个时间片段,遍历各时间片段内被访问的信息资源对,构建资源共现对集合,并统计其在滑动窗口中的出现频次,构建共现频次矩阵;

33、s42、基于所述共现频次矩阵构建资源共现图,所述资源共现图以信息资源为节点、以共现关系为边;提取所述资源共现图的节点与边,调用tf-idf算法计算各信息资源的权重值并归一化,生成资源共现序列;

34、s43、将所述行为记录序列中的访问时间映射至所述资源共现序列,采用动态时间规整算法将映射结果与所述知识图谱中的节点配对,计算最小对齐代价路径,获得对齐结果集合;

35、s44、融合所述资源共现序列与所述对齐结果集合,将各信息资源与对应的对齐结果进行标签级绑定,构建融合标签集合,并按时间顺序排列为所述行为特征集合。

36、进一步的,所述步骤s42,具体包括:

37、根据所述共现频次矩阵,以信息资源为节点、以非零共现频次为边构建资源共现图,所述资源共现图为无向图,边权重为对应的共现频次;

38、提取所述资源共现图中的全部节点与边,为各信息资源分配唯一资源标识并建立索引映射关系,调用tf-idf算法对各信息资源与全部共现资源之间的共现频次进行加权计算,生成权重值集合。

39、进一步的,所述步骤s5,具体包括:

40、s51、采用多层感知机对所述行为特征集合进行特征编码,生成编码特征集合;

41、s52、计算各编码特征向量与所述知识图谱中全部节点的余弦相似度,筛选高于设定阈值的节点,构建映射节点集合;

42、s53、根据所述映射节点集合,调用simrank算法在所述知识图谱中识别相似节点,构建相似节点集合;具体包括:

43、以每一映射节点为基础节点,在知识图谱中遍历与其存在直接连接边或两跳路径的节点作为候选相似节点;

44、统计各候选相似节点与基础节点共享的邻接节点数量,计算结构共现度指标;

45、对各结构共现度指标进行z-score标准化处理,并结合知识图谱中的边权进行加权计算,生成结构相似度值;

46、将结构相似度值高于预设相似参考值的候选节点标记为相似节点,构建该映射节点的相似节点集合。

47、进一步的,所述步骤s6,具体包括:

48、s61、采用pcra算法构建所述映射节点集合与所述相似节点集合之间的所有候选节点对,生成候选节点对集合;

49、s62、在所述知识图谱中,以每一候选节点对为搜索范围,提取从映射节点到相似节点之间不超过设定最大跳数的全部路径,并经结构有效性检验剔除无效路径,构建可达路径集合;

50、s63、统计各可达路径在全部候选节点对中出现的频次,计算其与候选节点对总数的比值作为频次指标,生成路径频次记录表;

51、s64、提取每一可达路径中连续节点编码特征的余弦相似度,计算其均值作为路径相似度值,并与该路径的路径长度进行加权求和,生成路径评分值,形成路径评分记录表;

52、s65、筛选频次指标高于预设参考值且路径评分值高于设定评分阈值的可达路径,构成关联路径集合,提取所述关联路径集合中全部终点节点对应的信息资源,按路径评分值降序排列,生成目标资源序列。

53、第二方面,本发明实施例提供基于大模型和数据驱动的智能信息资源管理系统,如第一方面所述的方法,该系统包括:

54、数据采集模块,用于获取信息资源集合与行为数据集合并进行预处理,生成资源内容序列与行为记录序列;

55、语义分析模块,用于基于预训练的bert模型对所述资源内容序列进行上下文语义分析,提取语义要素集合;

56、图谱构建模块,用于以所述语义要素为节点,对节点间的关系边进行支持度计算与路径评分,根据所述支持度与所述路径评分对关系边进行筛选,并对筛选后的各节点进行一致性校验,构建知识图谱;

57、特征提取模块,用于对所述行为记录序列进行资源共现特征提取,对所述行为记录序列与所述知识图谱中的各节点进行时间对齐,生成行为特征集合;

58、相似识别模块,用于对所述行为特征集合进行特征编码并映射至所述知识图谱,识别出映射节点与相似节点;

59、路径筛选模块,用于对所述映射节点与所述相似节点之间的可达路径进行路径频次统计与置信度评分,根据频次统计与置信度评分结果筛选关联路径集合,生成目标资源序列;

60、调度控制模块,用于根据所述目标资源序列对所述信息资源集合进行调度控制,并将调度结果写入资源行为集合,对所述行为记录序列进行更新。

61、本发明实施例提供的上述技术方案的有益效果至少包括:

62、本发明实现了对信息资源内容的上下文理解与关键词提取,能够从原始非结构化文本中提取高质量的语义要素集合,为后续知识图谱构建提供了准确、丰富的语义基础,有效提升了对资源间潜在关联关系的建模能力。

63、本发明完成了资源行为特征与语义图谱的深度融合,提高了系统在面对复杂语义关联和行为模式变化时的适应性与精度。

64、本发明通过构建从资源表示到目标资源序列的完整调度控制链条,实现了基于语义理解与数据反馈驱动的资源推荐与管理策略更新机制,调度结果可动态反馈至行为数据集合中,实现对管理策略的持续优化与演化,有效避免了传统信息系统中规则僵化和调度滞后的问题,整体提升了信息资源管理的智能化水平、响应效率与调度精准度。