一种基于大数据的设备招标参数智能处理方法及系统与流程

摘要: 本发明涉及招标参数处理,特别涉及一种基于大数据的设备招标参数智能处理方法及系统。背景技术:1、随着设备采购数字化与产品资料电子化程度提升,设备相关数据广泛分布于...
一种基于大数据的设备招标参数智能处理方法及系统与流程

本发明涉及招标参数处理,特别涉及一种基于大数据的设备招标参数智能处理方法及系统。

背景技术:

1、随着设备采购数字化与产品资料电子化程度提升,设备相关数据广泛分布于产品彩页、说明书、技术参数表、报价单及招投标公告等载体,涵盖设备名称、品牌、规格型号、技术参数、价格等信息,是设备检索、参数比对、采购分析与选型的重要基础。现有技术通常通过ocr、版面解析获取文本与表格内容,借助规则匹配、语义识别等提取字段,对格式固定的数据可通过预设字段映射转换为结构化数据。

2、但设备资料来源多样、版式差异大、专业术语繁杂、参数表述不,现有方法存在明显局限。图文混排、多栏布局及多表组合场景下,基于固定位置或模板的提取易出现参数遗漏、字段错位及设备参数混淆;设备名称、参数名称存在多套表述体系,仅靠字符串匹配或同义词词典难以兼顾归并准确性与类别区分度;参数值包含范围值、限定值等多种形式,固定规则易造成数值、单位识别错误,数据无法直接比对计算。

3、同时,设备技术参数与价格信息分属不同数据源,且文档识别、信息抽取、数据标准化等环节相互独立,缺乏面向设备领域的语义关联机制,数据一致性不足,需大量人工校核,制约了设备数据的检索、统计与深度应用。

技术实现思路

1、基于此,本发明的目的是提供一种基于大数据的设备招标参数智能处理方法及系统,以解决现有技术缺乏面向设备领域的语义关联机制,导致数据一致性不足的问题。

2、本发明实施例第一方面提出了:

3、一种基于大数据的设备招标参数智能处理方法,其中,所述方法包括:

4、对待处理文件进行ocr及文档版面解析,以识别文本与版面结构信息,根据文本与版面结构信息生成中间文档;

5、对所述中间文档进行内容分区,识别若干候选内容区域,以筛选出符合预设条件的候选内容,根据候选内容以及相关的上下文建立层级关联关系;

6、当中间文档包含多台设备或多个型号时,基于层级关联关系分别建立独立的设备对象,根据各个设备对象构建出设备语义特征,以进行语义匹配,将同一类设备映射为标准设备名称,并生成唯一的设备实体标识;

7、针对中间文档中的待处理参数构建参数语义特征,以判断是否为同一技术指标,将对应参数归一为标准参数名称,建立原始参数名、标准参数名与唯一参数标识的映射关系。

8、本发明的有益效果是:本方案通过对待处理文件进行ocr与版面解析,精准识别文本及版面结构并生成结构化中间文档;经内容分区筛选与层级关联构建,解决了文档内容碎片化、语义关联缺失的问题;针对多设备或多型号场景,通过构建设备对象与设备语义特征,实现设备名称标准化映射与唯一实体标识生成,消除异构文档中设备命名差异;通过构建参数语义特征并完成参数归一化,统一技术指标表述,建立原始参数名、标准参数名与唯一标识的映射关系。本方案有效弥补了设备领域语义关联机制的缺失,显著提升跨文档设备数据的一致性与标准化程度,减少语义歧义,提高设备数据处理、检索与共享的效率。

9、进一步的,所述对待处理文件进行ocr及文档版面解析的步骤包括:

10、待处理文件至少包括产品彩页、产品说明书、技术白皮书、产品介绍文件、技术参数表、报价单、招标文件、投标文件、中标公告和成交公告中的一种或多种;

11、采用ocr文档解析引擎对待处理文件进行解析,将原始文件转换为markdown或具有层级关系的中间文档格式;

12、中间文档格式至少包括文本内容、标题及标题层级、段落顺序、表格行列关系、图片对应的识别文本、页面信息、文本块之间的位置或从属关系中的一种或多种。

13、进一步的,所述方法还包括采购结果信息抽取与设备价格多字段关联步骤,具体包括:

14、对于中标公告、成交公告及其他采购结果资料,采用ocr及文档解析方法获得结构化中间文档;

15、基于结构化中间文档按照采购结果抽取规则形成采购结果记录,分别对采购结果执行设备名称语义归一化处理,根据设备名称、品牌、规格型号及辅助上下文建立设备匹配特征;

16、根据设备匹配特征确定设备匹配结果,当匹配评分达到预设关联阈值且关键字段不存在冲突时,将采购价格记录关联至对应设备实体标识。

17、进一步的,所述对所述中间文档进行内容分区,识别若干候选内容区域,以筛选出符合预设条件的候选内容,根据候选内容以及相关的上下文建立层级关联关系的步骤,具体包括:

18、基于中间文档的标题层级、表格行列从属关系、文本块位置与缩进关系,计算各文本块之间的版面结构距离,将版面结构距离小于预设结构阈值的文本块聚合为初始内容块;

19、针对每个初始内容块,计算设备领域关键词匹配度、技术参数密度、表格参数占比,并结合该内容块在文档中的章节深度、与前后相邻内容块的语义连续性,将置信度高于对应动态阈值的内容块确定为候选内容区域;

20、根据候选内容区域在文档中的章节从属关系、表格与正文的引用关系、跨页面的标题延续关系,建立候选内容之间的父子层级关联、并列层级关联与跨页引用层级关联。

21、进一步的,所述当中间文档包含多台设备或多个型号时,基于层级关联关系分别建立独立的设备对象,根据各个设备对象构建出设备语义特征,以进行语义匹配,将同一类设备映射为标准设备名称,并生成唯一的设备实体标识的步骤,具体包括:

22、基于候选内容区域之间的层级关联关系,以设备名称的出现位置为种子点,沿父子层级关联方向进行设备边界传播,将传播范围内的候选内容区域划分为同一设备对应的内容集合,为每个内容集合建立独立的设备对象;

23、从每个设备对象的内容集合中,分别提取语义特征,并基于各视角特征之间的共现关系进行多视角特征融合,构建设备语义特征向量;

24、将各设备对象的语义特征向量与标准设备库中的标准设备特征向量进行相似度匹配,当存在多个相似度高于预设匹配阈值的标准设备时,基于设备对象中型号、品牌字段的匹配度进行二次消歧,确定最终映射的标准设备名称;

25、为每个映射完成的设备对象生成全局唯一的设备实体标识,并记录该设备对象对应的所有原始名称、型号变体及所属候选内容区域的位置信息。

26、进一步的,所述针对中间文档中的待处理参数构建参数语义特征,以判断是否为同一技术指标,将对应参数归一为标准参数名称,建立原始参数名、标准参数名与唯一参数标识的映射关系的步骤,具体包括:

27、基于设备实体标识,从对应设备对象的候选内容区域的文本、表格及图片标注中,提取所有待处理参数的参数名称、取值、量纲、精度、取值范围、测试条件、约束条件;

28、基于提取的信息,为每个待处理参数构建参数语义特征,并基于同一设备对象内各参数的取值共现关系,构建参数关联特征;

29、将参数语义特征及参数关联特征与标准参数特征进行语义对齐,结合预设校验条件,判定多个待处理参数是否对应同一技术指标;

30、将判定为同一技术指标的待处理参数归一为对应的标准参数名称,为每个标准参数名称生成唯一参数标识,并建立映射关系。

31、进一步的,在执行内容分区、设备对象建立及参数归一化步骤时,还包括基于参数映射结果的闭环校验过程,具体包括:

32、基于已建立的映射关系,校验每个待处理参数对应的设备归属与候选内容区域的层级关联关系是否一致;

33、当存在参数归属与层级关联关系不一致时,计算不一致参数对应的设备实体标识的置信度,沿层级关联关系反向传播置信度调整量,调整对应候选内容区域的边界划分与设备对象的归属划分,更新候选内容区域与设备对象;

34、基于更新后的设备对象,重新执行的参数语义特征构建与参数归一化步骤,迭代执行上述校验与调整过程,直至参数归属与层级关联关系的一致性满足预设要求或达到最大迭代次数。

35、本发明实施例第二方面提出了:

36、一种基于大数据的设备招标参数智能处理系统,其中,所述系统包括:

37、解析模块,用于对待处理文件进行ocr及文档版面解析,以识别文本与版面结构信息,根据文本与版面结构信息生成中间文档;

38、分区模块,用于对所述中间文档进行内容分区,识别若干候选内容区域,以筛选出符合预设条件的候选内容,根据候选内容以及相关的上下文建立层级关联关系;

39、构建模块,用于当中间文档包含多台设备或多个型号时,基于层级关联关系分别建立独立的设备对象,根据各个设备对象构建出设备语义特征,以进行语义匹配,将同一类设备映射为标准设备名称,并生成唯一的设备实体标识;

40、校验模块,用于针对中间文档中的待处理参数构建参数语义特征,以判断是否为同一技术指标,将对应参数归一为标准参数名称,建立原始参数名、标准参数名与唯一参数标识的映射关系。

41、进一步的,所述对待处理文件进行ocr及文档版面解析的步骤包括:

42、待处理文件至少包括产品彩页、产品说明书、技术白皮书、产品介绍文件、技术参数表、报价单、招标文件、投标文件、中标公告和成交公告中的一种或多种;

43、采用ocr文档解析引擎对待处理文件进行解析,将原始文件转换为markdown或具有层级关系的中间文档格式;

44、中间文档格式至少包括文本内容、标题及标题层级、段落顺序、表格行列关系、图片对应的识别文本、页面信息、文本块之间的位置或从属关系中的一种或多种。

45、进一步的,所述方法还包括采购结果信息抽取与设备价格多字段关联步骤,具体包括:

46、对于中标公告、成交公告及其他采购结果资料,采用ocr及文档解析方法获得结构化中间文档;

47、基于结构化中间文档按照采购结果抽取规则形成采购结果记录,分别对采购结果执行设备名称语义归一化处理,根据设备名称、品牌、规格型号及辅助上下文建立设备匹配特征;

48、根据设备匹配特征确定设备匹配结果,当匹配评分达到预设关联阈值且关键字段不存在冲突时,将采购价格记录关联至对应设备实体标识。

49、进一步的,所述对所述中间文档进行内容分区,识别若干候选内容区域,以筛选出符合预设条件的候选内容,根据候选内容以及相关的上下文建立层级关联关系的步骤,具体包括:

50、基于中间文档的标题层级、表格行列从属关系、文本块位置与缩进关系,计算各文本块之间的版面结构距离,将版面结构距离小于预设结构阈值的文本块聚合为初始内容块;

51、针对每个初始内容块,计算设备领域关键词匹配度、技术参数密度、表格参数占比,并结合该内容块在文档中的章节深度、与前后相邻内容块的语义连续性,将置信度高于对应动态阈值的内容块确定为候选内容区域;

52、根据候选内容区域在文档中的章节从属关系、表格与正文的引用关系、跨页面的标题延续关系,建立候选内容之间的父子层级关联、并列层级关联与跨页引用层级关联。

53、进一步的,所述当中间文档包含多台设备或多个型号时,基于层级关联关系分别建立独立的设备对象,根据各个设备对象构建出设备语义特征,以进行语义匹配,将同一类设备映射为标准设备名称,并生成唯一的设备实体标识的步骤,具体包括:

54、基于候选内容区域之间的层级关联关系,以设备名称的出现位置为种子点,沿父子层级关联方向进行设备边界传播,将传播范围内的候选内容区域划分为同一设备对应的内容集合,为每个内容集合建立独立的设备对象;

55、从每个设备对象的内容集合中,分别提取语义特征,并基于各视角特征之间的共现关系进行多视角特征融合,构建设备语义特征向量;

56、将各设备对象的语义特征向量与标准设备库中的标准设备特征向量进行相似度匹配,当存在多个相似度高于预设匹配阈值的标准设备时,基于设备对象中型号、品牌字段的匹配度进行二次消歧,确定最终映射的标准设备名称;

57、为每个映射完成的设备对象生成全局唯一的设备实体标识,并记录该设备对象对应的所有原始名称、型号变体及所属候选内容区域的位置信息。

58、进一步的,所述针对中间文档中的待处理参数构建参数语义特征,以判断是否为同一技术指标,将对应参数归一为标准参数名称,建立原始参数名、标准参数名与唯一参数标识的映射关系的步骤,具体包括:

59、基于设备实体标识,从对应设备对象的候选内容区域的文本、表格及图片标注中,提取所有待处理参数的参数名称、取值、量纲、精度、取值范围、测试条件、约束条件;

60、基于提取的信息,为每个待处理参数构建参数语义特征,并基于同一设备对象内各参数的取值共现关系,构建参数关联特征;

61、将参数语义特征及参数关联特征与标准参数特征进行语义对齐,结合预设校验条件,判定多个待处理参数是否对应同一技术指标;

62、将判定为同一技术指标的待处理参数归一为对应的标准参数名称,为每个标准参数名称生成唯一参数标识,并建立映射关系。

63、进一步的,在执行内容分区、设备对象建立及参数归一化步骤时,还包括基于参数映射结果的闭环校验过程,具体包括:

64、基于已建立的映射关系,校验每个待处理参数对应的设备归属与候选内容区域的层级关联关系是否一致;

65、当存在参数归属与层级关联关系不一致时,计算不一致参数对应的设备实体标识的置信度,沿层级关联关系反向传播置信度调整量,调整对应候选内容区域的边界划分与设备对象的归属划分,更新候选内容区域与设备对象;

66、基于更新后的设备对象,重新执行的参数语义特征构建与参数归一化步骤,迭代执行上述校验与调整过程,直至参数归属与层级关联关系的一致性满足预设要求或达到最大迭代次数。

67、本发明实施例第三方面提出了:

68、一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上面所述的基于大数据的设备招标参数智能处理方法。

69、本发明实施例第四方面提出了:

70、一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如上面所述的基于大数据的设备招标参数智能处理方法。

71、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。