一种工程造价原始数据结构化转换方法及系统与流程
本发明涉及造价数据领域,具体为一种工程造价原始数据结构化转换方法及系统。
背景技术:
1、工程造价原始资料通常来源于工程量清单、预算文件、材料价格表等文件,文件形式既包括文本段落,也包括表格行列。现有结构化转换方案通常先对原始资料进行文本识别、表格解析和字段抽取,再按照预设模板识别名称、单位、工程量、综合单价、合价等内容,并将识别结果写入结构化表格。该类方案能够处理字段排列较规范、字段含义较明确的造价资料,但其判断重点通常集中在名称字段和计价字段是否能够匹配模板要求。
2、在工程造价资料中,单个名称字段往往需要结合附近的专业类别、系统名称、规格型号、施工部位或价格时间等描述内容才能确定其具体归属。例如,同样是“钢管安装”,在不同语境下可能对应给排水、消防或其他专业内容。现有方案即使能够识别名称字段及其计价字段,也难以进一步判断附近描述内容是否语义集中、数量是否充分以及是否能够共同指向同一工程语境。因此,部分字段组成看似满足模板要求的内容,仍可能因周围描述分散、语义不集中或依据不足,导致结构化转换结果存在归属不准确、写入不可靠的问题。
技术实现思路
1、针对现有技术的不足,本发明提供了一种工程造价原始数据结构化转换方法,解决背景技术中提出的结构化转换结果存在归属不准确、写入不可靠的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、第一方面,本发明公开了一种工程造价原始数据结构化转换方法,包括如下步骤:
4、s1、构建目标工程的造价信息载体序列;其中,造价信息载体序列表征按照载体位序排列的n个造价信息载体;
5、s2、在造价信息载体序列中构建目标计价主体的候选造价条目,以及候选造价条目对应的候选条目向量;
6、s3、基于候选条目向量,判定候选造价条目为异常造价条目或者有效造价条目;
7、s4、当候选造价条目被判定为有效造价条目,构建有效造价条目的k个条件字段簇;其中,k个条件字段簇分别继承簇内条件字段所属造价信息载体的载体位序;
8、s5、在k个条件字段簇内进行簇内语义聚合计算,生成k个簇内语义聚合度;其中,簇内语义聚合度用于表征对应条件字段簇内条件字段之间的语义聚合程度;
9、s6、读取k个条件字段簇各自簇内包含的条件字段数量;
10、s7、对k个条件字段簇各自的条件字段数量进行对数归一化,得到k个字段数量权重;其中,同一条件字段簇的簇内语义聚合度和字段数量权重共享同一载体位序;
11、s8、将共享同一载体位序的簇内语义聚合度与字段数量权重相乘,生成k个位序支撑强度;
12、s9、基于k个位序支撑强度,对有效造价条目进行二分类标记,得到上下文支撑异常条目或上下文支撑合格条目;
13、s10、将所述上下文支撑合格条目写入预设造价结构模板。
14、在其中的一些实施例中,构建目标工程的造价信息载体序列,包括:
15、s1-1、获取目标工程的原始造价文件;
16、s1-2、对原始造价文件进行标准化处理,生成n个造价信息载体;其中,造价信息载体包括标准造价语句、标准清单行或者标准费用行;
17、s1-3、获取n个造价信息载体各自在原始造价文件中的原始承载位置;
18、s1-4、基于n个造价信息载体各自的原始承载位置,构建造价信息载体序列。
19、在其中的一些实施例中,基于n个造价信息载体各自的原始承载位置,构建造价信息载体序列,包括:
20、s1-4-1、基于各造价信息载体对应的原始承载位置,获取各造价信息载体对应的区块序号以及区块内顺序号;
21、s1-4-2、以区块序号为第一排序依据,区块内顺序号为第二排序依据,对n个造价信息载体进行二级排序;
22、s1-4-3、为排序后的n个造价信息载体依次分配连续递增的载体位序,并将分配载体位序后的n个造价信息载体定义为所述造价信息载体序列。
23、在其中的一些实施例中,在造价信息载体序列中构建目标计价主体的候选造价条目,以及候选造价条目对应的候选条目向量,包括:
24、s2-1、在造价信息载体序列中锚定目标计价主体;
25、s2-2、读取目标计价主体所属造价信息载体的载体位序;
26、s2-3、以目标计价主体所属的载体位序为中心,选定前后预设位序区间的造价信息载体;
27、s2-4、在前后预设位序区间的造价信息载体中,锚定与目标计价主体对应的r个计价字段;
28、s2-5、将目标计价主体与r个计价字段配对,生成候选造价条目;
29、s2-6、对候选造价条目中的目标计价主体和r个计价字段进行特征化,并按预设字段顺序拼接,生成候选条目向量。
30、在其中的一些实施例中,判定候选造价条目为异常造价条目或者有效造价条目,包括:
31、s3-1、计算候选条目向量与m个模板条目向量之间的m个条目相似度;其中,各模板条目向量关联对应的条目标签;
32、s3-2、在m个条目相似度中锚定最大条目相似度;
33、s3-3、将最大条目相似度与第一相似阈值比较;
34、s3-4、若最大条目相似度大于第一相似阈值,则判定候选造价条目为有效造价条目;否则,判定为异常造价条目。
35、在其中的一些实施例中,构建有效造价条目的k个条件字段簇,包括:
36、s4-1、当候选造价条目被判定为有效造价条目,锚定最大条目相似度对应的模板条目向量;
37、s4-2、读取所述模板条目向量关联的条目标签,以及条目标签映射的条件字段范围;
38、其中,条目标签用于标识有效造价条目在造价结构中的条目类型,条件字段范围用于限定有效造价条目需要匹配的条件字段类型;
39、s4-3、基于条件字段范围限定的条件字段类型,在所述前后预设位序区间的造价信息载体中检索与目标计价主体相关的j个条件字段;其中,j个条件字段均继承其所属造价信息载体的载体位序;
40、s4-4、根据j个条件字段继承的载体位序,将继承相同载体位序的条件字段聚合为同一条件字段簇,生成有效造价条目的k个条件字段簇。
41、在其中的一些实施例中,在k个条件字段簇内进行簇内语义聚合计算,生成k个簇内语义聚合度,包括:
42、s5-1、在k个条件字段簇中选定任一个目标条件字段簇;
43、s5-2、提取目标条件字段簇内的g个条件字段;
44、s5-3、对条件字段数量g进行判定;若g大于1,则对g个条件字段进行语义特征化,生成g个条件语义特征,并执行步骤s5-4至s5-5;若g等于1,则执行步骤s5-6;
45、s5-4、计算g个条件语义特征对应的g个字段语义聚合度;其中,字段语义聚合度用于表征对应条件字段在目标条件字段簇内的语义聚合程度;
46、s5-5、在g个字段语义聚合度中选定中位聚合度,标记为目标条件字段簇的簇内语义聚合度;
47、s5-6、当g等于1时,将该条件字段对应的字段语义聚合度以及目标条件字段簇的簇内语义聚合度设置为1;
48、s5-7、遍历k个条件字段簇,重复计算簇内语义聚合度,直至得到k个簇内语义聚合度;其中,k个簇内语义聚合度均继承对应条件字段簇的载体位序。
49、在其中的一些实施例中,计算g个条件语义特征各自的字段语义聚合度,包括:
50、s5-4-1、在g个条件语义特征中选定任一个目标语义特征;
51、s5-4-2、计算目标语义特征与其余g-1个条件语义特征之间的g-1个余弦相似度;
52、s5-4-3、对g-1个余弦相似度进行线性归一化,生成g-1个语义相似度;其中,语义相似度的取值范围为0至1;
53、s5-4-4、计算g-1个语义相似度的相似度均值和相似度方差,并确定语义相似度的方差归一化基准;
54、s5-4-5、将方差归一化基准减去相似度方差,并将相减差值与方差归一化基准求比,生成语义稳定权重;
55、s5-4-6、将语义稳定权重与相似度均值相乘,生成目标语义特征的字段语义聚合度;
56、s5-4-7、遍历g个条件语义特征,重复生成目标语义特征的字段语义聚合度,直至得到g个字段语义聚合度。
57、在其中的一些实施例中,对k个条件字段簇各自的条件字段数量进行对数归一化,得到k个字段数量权重,包括:
58、s7-1、提取k个条件字段簇各自的条件字段数量;
59、s7-2、分别对k个条件字段数量加1后取自然对数,得到k个对数数量值;
60、s7-3、将k个对数数量值求和,得到对数数量和值;
61、s7-4、分别将k个对数数量值与对数数量和值求比,得到k个字段数量权重。
62、在其中的一些实施例中,基于k个位序支撑强度,标记有效造价条目,包括:
63、s9-1、在k个位序支撑强度中,锚定最大位序支撑强度;
64、s9-2、将最大位序支撑强度与支撑强度阈值进行比较;
65、s9-3、若最大位序支撑强度小于支撑强度阈值,则将有效造价条目标记为上下文支撑异常条目;
66、s9-4、若最大位序支撑强度大于或者等于支撑强度阈值,则将有效造价条目标记为上下文支撑合格条目。
67、本发明提供了一种工程造价原始数据结构化转换方法,具备以下有益效果:
68、本发明通过根据条件字段所属造价信息载体的载体位序,对条件字段进行关联评价,并结合簇内语义聚合程度和字段数量对有效造价条目的上下文支撑能力进行判断,使造价条目的评价过程不仅考虑字段组成关系,还能够考虑字段之间的空间关联和语义一致性,从而提高工程造价原始数据结构化转换过程中条目归属判断的准确性;
69、进一步地,通过对同一载体位序下的条件字段进行支撑强度计算,使来源分散或者语义关联较弱的条件字段难以形成有效支撑,从而减少因局部字段匹配但上下文依据不足导致的错误结构化转换结果,提高结构化造价数据的可靠性;
70、进一步地,将满足上下文支撑要求的有效造价条目写入预设造价结构模板,使输出的结构化造价数据同时满足字段组成要求和上下文关联要求,从而提高工程造价资料转换过程中条目归属判断的准确性,增强结构化造价数据的可靠性。
71、第二方面,本发明公开了一种工程造价原始数据结构化转换系统,用于执行第一方面所述的工程造价原始数据结构化转换方法,所述系统包括:
72、载体序列构建模块,用于构建目标工程的造价信息载体序列;其中,造价信息载体序列表征按照载体位序排列的n个造价信息载体;
73、造价条目构建模块,用于在造价信息载体序列中构建目标计价主体的候选造价条目,以及候选造价条目对应的候选条目向量;
74、条目判定模块,用于基于候选条目向量,判定候选造价条目为异常造价条目或者有效造价条目;
75、字段簇构建模块,用于当候选造价条目被判定为有效造价条目,构建有效造价条目的k个条件字段簇;其中,k个条件字段簇分别继承簇内条件字段所属造价信息载体的载体位序;
76、语义聚合计算模块,用于在k个条件字段簇内进行簇内语义聚合计算,生成k个簇内语义聚合度;其中,簇内语义聚合度用于表征对应条件字段簇内条件字段之间的语义聚合程度;
77、字段数量读取模块,用于读取k个条件字段簇各自簇内包含的条件字段数量;
78、数量权重归一模块,用于对k个条件字段簇各自的条件字段数量进行对数归一化,得到k个字段数量权重;其中,同一条件字段簇的簇内语义聚合度和字段数量权重共享同一载体位序;
79、位序强度生成模块,用于将共享同一载体位序的簇内语义聚合度与字段数量权重相乘,生成k个位序支撑强度;
80、支撑条目标记模块,用于基于k个位序支撑强度,对有效造价条目进行二分类标记,得到上下文支撑异常条目或上下文支撑合格条目;
81、合格条目写入模块,用于将所述上下文支撑合格条目写入预设造价结构模板。
82、与现有技术相比,本发明的一种工程造价原始数据结构化转换系统的有益效果与上述的一种工程造价原始数据结构化转换方法的有益效果相同,故此处不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com