招投标文档处理方法及计算机设备与流程
本技术涉及数据处理,尤其涉及一种招投标文档处理方法及计算机设备。
背景技术:
1、招投标信息的数据来源非常广泛,包括招标公告、中标公告等,通过这些数据来源可以获得招投标信息。为了获取较为全面的招投标信息通常会考虑多种数据来源,导致获取到的招投标文档存在冗余、重复的问题,且招投标文档的内容一般比较长、有效信息分散,不同的招投标文档的形式不统一、格式多样化,因此影响招投标信息获取的有效性,进一步导致招投标文档的处理、项目分类等任务的学习性能,从而影响项目决策效率和市场响应速度。
技术实现思路
1、本技术的目的在于提供一种招投标文档处理方法,解决了多源的招投标文本的结构稀疏性与语义歧义性共存的问题,提升多源的招投标文本去重的准确性。
2、第一方面,本技术提供了一种招投标文档处理方法,方法包括:
3、基于各个招投标文档构建招投标图谱,获取招投标图谱的邻接矩阵、属性矩阵和工期矩阵,其中,工期矩阵表示招投标图谱中各节点的计划工期之间的重叠工期,邻接矩阵表示招投标图谱中各节点之间的拓扑关系,属性矩阵表示招投标图谱中各节点的语义向量;
4、通过深度非负矩阵分解网络对邻接矩阵、属性矩阵和工期矩阵进行联合分解,得到邻接重构矩阵和属性重构矩阵;
5、针对招投标图谱中的每一个节点,基于邻接重构矩阵和属性重构矩阵对工期矩阵中的重叠工期增强学习,得到节点的招投标线索;
6、基于招投标图谱中各个节点的招投标线索,对招投标图谱进行社区划分得到社区划分结果,根据社区划分结果确定重复的招投标线索;
7、基于重复的招投标线索对各个招投标文档进行对齐。
8、可选的,基于招投标图谱中各个节点的招投标线索,对招投标图谱进行社区划分得到社区划分结果,根据社区划分结果确定重复的招投标线索,包括:
9、基于各个节点的招投标线索,采用社区发现算法对招投标图谱进行社区划分,得到社区划分结果;
10、将具有相同的社区划分结果的节点所对应的招投标线索确定为重复的招投标线索;
11、基于重复的招投标线索对各个招投标文档进行对齐。
12、可选的,基于各个招投标文档构建招投标图谱,获取招投标图谱的邻接矩阵、属性矩阵和工期矩阵,包括:
13、基于各个招投标文档生成包含招投标文档中的关键信息的各个摘要,以每个摘要作为节点,以两个节点之间的关键信息的匹配关系作为边,构建招投标图谱,关键信息包括项目编号、建设单位、投标单位、建设地点以及计划工期,其中,针对项目编号缺失的节点,找到与其建设单位和投标单位均一致的节点,计算两个节点的建设单位之间的距离和计划工期之间的重叠工期,若距离小于第一阈值且重叠工期大于第二阈值,两个节点之间建立边关系;
14、获取招投标图谱的邻接矩阵、属性矩阵和工期矩阵。
15、可选的,通过深度非负矩阵分解网络对邻接矩阵、属性矩阵和工期矩阵进行联合分解,得到邻接重构矩阵和属性重构矩阵,包括:
16、以邻接重构矩阵的乘积逼近工期矩阵作为分解约束条件,在分解约束条件下采用深度非负矩阵分解网络对邻接矩阵进行分解,得到邻接重构矩阵;
17、采用深度非负矩阵分解网络对属性矩阵和邻接矩阵进行联合分解,将获取的属性矩阵的分解矩阵和邻接矩阵的分解矩阵进行重构,得到属性重构矩阵;
18、以邻接矩阵、邻接重构矩阵、属性矩阵、属性重构矩阵以及分解约束条件,确定深度非负矩阵分解网络的目标函数,以目标函数调整深度非负矩阵分解网络的参数。
19、可选的,通过深度非负矩阵分解网络对邻接矩阵、属性矩阵和工期矩阵进行联合分解,得到邻接重构矩阵和属性重构矩阵,包括:
20、以邻接重构矩阵的乘积逼近工期矩阵作为分解约束条件,基于分解约束条件下采用深度非负矩阵分解网络对邻接矩阵进行分解,得到邻接重构矩阵,其中,分解约束条件fa(h)表示为:
21、
22、其中,k表示社区数,hik表示邻接重构矩阵h中节点i对应社区k的标签值,hjk表示邻接重构矩阵h中节点j对应社区k的标签值,tij表示节点i和节点j之间的计划工期的重叠工期;
23、采用深度非负矩阵分解网络对属性矩阵和邻接矩阵进行联合分解,将获取的属性矩阵的分解矩阵和邻接矩阵的分解矩阵进行重构,得到属性重构矩阵表示为:
24、
25、其中,x表示属性矩阵,h表示邻接重构矩阵,w表示属性重构矩阵,d表示节点的语义向量的维度;
26、以邻接矩阵、邻接重构矩阵、属性矩阵、属性重构矩阵以及分解约束条件,确定所深度非负矩阵分解网络的目标函数,以目标函数调整深度非负矩阵分解网络的参数,其中,目标函数ljoint表示为:
27、
28、其中,γ表示属性重构损失的权重,λ表示工期约束强度,α表示比例因子,β表示正则化项的系数,表示拓扑重构损失,表示属性重构损失,表示邻接重构矩阵的正则化项和属性重构矩阵的正则化项。
29、可选的,采用深度非负矩阵分解网络对属性矩阵和邻接矩阵进行联合分解,将获取的属性矩阵的分解矩阵和邻接矩阵的分解矩阵进行重构,得到属性重构矩阵,包括:
30、基于邻接重构矩阵、属性矩阵以及属性重构矩阵确定节点的拓扑嵌入与语义向量的一致性约束损失;
31、在一致性约束损失下,采用深度非负矩阵分解网络对属性矩阵和邻接矩阵进行联合分解,将获取的属性矩阵的分解矩阵和邻接矩阵的分解矩阵进行重构,得到属性重构矩阵。
32、可选的,针对招投标图谱中的每一个节点,基于邻接重构矩阵和属性重构矩阵对工期矩阵中的重叠工期增强学习,得到节点的招投标线索,包括:
33、对所述邻接重构矩阵中的元素进行筛选处理,得到每一个节点各自的伪社区标签;
34、针对每一个节点,基于所述节点的目标伪社区标签,从各个节点中选择出各伪社区标签均与目标伪社区标签不同的节点,将选择出的各个节点进行组合得到节点的候选负样本集,基于节点与候选负样本集中每个候选负样本的语义向量的相似度的反比例值,得到每个候选负样本的采样概率,基于采样概率从候选负样本集确定节点的负样本集;
35、针对每一个节点,基于节点的目标伪社区标签,从各个节点中选择出各伪社区标签与目标伪社区标签相同的节点,将选择出的各个节点进行组合得到节点的正样本集;
36、对正样本集合和负样本集合进行对比学习,基于对比学习结果将节点的拓扑关系和语义向量相融合的特征作为节点的招投标线索。
37、可选的,对正样本集合和负样本集合进行对比学习,基于对比学习结果将节点的拓扑关系和语义向量相融合的特征作为节点的招投标线索,包括:
38、通过对比学习层对节点的正样本集合和负样本集合进行对比学习,基于节点的正样本的拓扑嵌入、正样本的语义向量以及负样本的的语义向量确定对比学习层的对比损失函数,对比损失函数使得节点与各个正样本之间的相似度最大化,与负样本之间的相似度最小化;
39、基于对比学习结果,将节点的拓扑嵌入和语义向量相融合的特征作为节点的招投标线索。
40、可选的,对正样本集合和负样本集合进行对比学习,基于对比学习结果将节点的拓扑关系和语义向量相融合的特征作为节点的招投标线索,包括:
41、通过对比学习层对节点的所述正样本集合和负样本集合进行对比学习,基于节点的正样本的拓扑关系、正样本的语义向量以及负样本的的语义向量确定对比学习层的对比损失函数,对比损失函数使得节点与各个正样本之间的相似度最大化、与负样本之间的相似度最小化,其中,对比损失函数表示为:
42、
43、zi=hi;
44、
45、其中,n表示招投标图谱中的节点数量,hi表示节点i的拓扑嵌入,xiwt表示节点i的正样本集合的语义向量,表示节点i的负样本集合,表示指示函数,τ表示温度超参数;
46、基于对比学习结果,将节点的拓扑嵌入和语义向量相融合的特征作为节点的招投标线索。
47、第二方面,本技术提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如上所述的招投标文档处理方法的步骤。
48、本技术通过深度非负矩阵分解可以提取招投标图谱的社区结构,通过重叠工期的增强学习将招投标领域知识融入社区划分,使得社区结构不仅反映拓扑的连接性,还能表征业务的逻辑关联性;将节点的拓扑关系和特征属性信息相融合,在社区划分时,既能符合节点的拓扑的连接性,又能保留节点的文本的语义特征信息,解决了招投标多源文本中的结构稀疏性与语义歧义性共存的问题,提升招投标文本去重的准确性,对多源的招投标文档进行准确、全面、高效的去重处理,从而对公共资源交易数据进行有效挖掘、分析和处理,以降低交易成本,提高资源配置效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com